AI 系统的结构化输出：为什么你的 AI 经常输出格式错误？解析约束解码 (Constrained Decoding) 与 JSON Mode 的工程原理

每次调用 LLM API 时指定 `response_format: { "type": "json_object" }`，你的模型真的能保证输出合法 JSON 吗？答案是否定的——至少在没有约束解码（Constrained Decoding）的情况下不是。

问题的本质：Token 概率不关心格式

LLM 的本质是下一个 Token 预测器。它输出的每个 Token 都基于概率采样，没有任何内置机制确保闭合大括号的数量等于开放大括号，也没有机制保证引号成对出现。

当你要求模型"输出 JSON"时，实际上是在赌模型的训练数据中包含了足够多的 JSON 示例，让它在概率上倾向于生成合法 JSON。但概率不是保证。一个典型的失败案例：模型在输出深层嵌套对象时，可能在中间截断，留下一个未闭合的 JSON，导致下游解析器直接报错。

这种"概率合规"在生产环境中是灾难性的。一个格式错误的 JSON 意味着整个处理链路中断——日志解析失败、数据库写入异常、前端渲染白屏。

约束解码（Constrained Decoding）的核心思路很简单：**在 Token 生成阶段，只允许模型采样那些能保持目标格式合法的 Token。**

具体实现分两步：

1. **构建格式约束的有限状态机**。对于 JSON，这意味着维护一个栈，追踪当前处于对象、数组、字符串还是数字上下文，并计算已开放但未闭合的括号和引号数量。每一步，状态机都能计算出"当前哪些 Token 是合法的"。

2. **在采样时过滤 logits**。模型输出 logits 向量后，将所有不在合法集合中的 Token 概率置为负无穷（或极低值），然后从过滤后的分布中采样。

以 JSON 为例：如果当前上下文刚输出了 `{"name": "`，状态机知道接下来只能接受普通字符串字符或结束引号 `"`，而不会允许 `{` 或 `[`。这个过滤在每次生成 Token 时都会执行，因此从第一个 Token 到最后一个 Token，输出始终是合法 JSON。

不同的推理框架对"JSON Mode"的实现深度完全不同：

| 框架 | 实现方式 | 保证级别 |

|------|----------|----------|

| OpenAI API | Prompt-level 软约束 | 概率合规（无保证） |

| vLLM + Outlines | 正则/BNF 硬约束 | 语法保证 |

| Llama.cpp + Grammar | GBNF 文法约束 | 语法保证 |

| Guidance | 交错模板 + Token 掩码 | 语法保证 |

OpenAI 的 JSON Mode 实际上只是将 `json_object` 提示词注入到系统消息中，并降低非 JSON Token 的采样概率——它没有真正的约束解码。这就是为什么即使指定了 JSON Mode，仍然偶尔会收到格式错误的响应。

vLLM 集成了 Outlines 库，后者将 JSON Schema 编译为有限状态机，实现真正的硬约束。Llama.cpp 的 GBNF（Grammar-Based Neural Formatting）采用类似思路，但使用自定义文法描述语言。

约束解码不是免费的。每次 Token 生成都需要运行状态机转换，这在批量解码时会产生显著的调度开销。

实测数据（基于 LLaMA-3-70B，A100 80GB）：

- **无约束**：基线，约 35 tokens/s

- **JSON 约束（Outlines/vLLM）**：约 28 tokens/s，下降约 20%

- **复杂嵌套 JSON 约束**：约 22 tokens/s，下降约 37%

性能下降的主要来源不是状态机本身（它很轻量），而是**采样阶段的 logits 过滤**。当合法 Token 集合非常稀疏时（例如 JSON 中只有少数几个 Token 合法），采样器需要更多时间在过滤后的分布中做重采样。

1. **生产环境必须用硬约束解码**。不要依赖 Prompt 级别的 JSON Mode，至少使用 vLLM + Outlines 或 Llama.cpp + GBNF。对于 API 调用，考虑在后端做一层格式校验和修复。

2. **Schema 越简单，约束解码越快**。尽量使用扁平 JSON 结构，避免深层嵌套。一个深度为 1 的 JSON 对象比深度为 4 的对象快约 15%。

3. **对于非 JSON 场景同样适用**。约束解码不限于 JSON——你可以约束模型输出特定正则表达式、CSV 行、SQL 语句或自定义 DSL。任何可以用形式文法描述的格式都可以约束。

4. **注意约束与生成质量的权衡**。过于严格的约束可能导致模型在边界情况下无法表达，表现为输出截断或重复 Token。建议在约束定义中加入适当的容错分支（例如允许 `null` 或空字符串作为兜底）。

结构化输出不是一个"加个参数就能解决"的问题。理解约束解码的原理，才能在生产中做出正确的工程取舍。