现代 AI 的“计算效率”：投机采样（Speculative Decoding）的工程真相

在 LLM 的推理过程中，最核心的瓶颈在于其“自回归”的本质：每生成一个 Token，都需要将整个模型权重从显存加载到计算单元一次。这意味着无论模型是 7B 还是 70B，生成速度很大程度上受限于内存带宽（Memory Bound），而非计算能力（Compute Bound）。

为了打破这个瓶颈，工业界引入了 投机采样（Speculative Decoding）。它的核心逻辑是：既然大模型太慢，能不能让一个小模型先“猜”几个词，大模型再来一次性审核？

投机采样的核心机制：草稿与验证

投机采样通过引入一个轻量级的草稿模型（Draft Model）来加速推理过程。其工作流程分为两个阶段：

1. 草稿阶段 (Drafting)

小模型（例如 Llama-3-8B 或更小的 Distil-model）快速连续生成 $K$ 个 Token。由于小模型参数量少，加载权重的开销极低，生成速度极快。此时，这些 Token 是一个“猜测序列”。

2. 验证阶段 (Verification)

大模型（Target Model）接收这 $K$ 个 Token 以及之前的上下文，在一次前向传播中并行地计算这 $K$ 个位置的概率分布。
- 如果大模型认为小模型的猜测在某个位置 $\text{Token}_i$ 出现了偏差，则丢弃 $\text{Token}_i$ 及其之后的所有内容。
- 大模型会修正这个错误点，并输出正确的 $\text{Token}_i$。

为什么这能加速？

在传统的自回归生成中，生成 $K$ 个 Token 需要 $K$ 次大模型前向传播。而在投机采样中：
- 理想情况：如果小模型的猜测全部正确，生成 $K+1$ 个 Token 仅需 $1$ 次大模型前向传播 + $K$ 次小模型前向传播。由于小模型的开销几乎可以忽略不计，速度提升接近 $K$ 倍。
- 最差情况：如果第一个词就猜错了，则退化为传统模式（1 次小模型 + 1 次大模型），仅增加微小的开销。

工程挑战与权衡

尽管理论完美，但在实际部署中需要解决三个关键问题：

1. 分布对齐 (Distribution Alignment)：如果草稿模型的预测分布与目标模型差异过大，接受率（Acceptance Rate）会极低，导致加速效果消失。因此，通常需要对草稿模型进行针对性的蒸馏训练。
2. KV Cache 同步：验证阶段需要高效地处理 KV Cache 的回滚和更新。如果验证失败，必须迅速将缓存状态恢复到最后一个正确 Token 的位置。
3. 硬件利用率：投机采样将推理从 Memory-bound 推向了 Compute-bound。在 GPU 计算资源极其紧张的环境下，这种方法可能无法获得显著收益。

总结：用冗余计算换取时间

投机采样揭示了现代 AI 推理的一个深刻洞察：在内存带宽成为绝对瓶颈时，增加额外的、低成本的计算量（冗余计算）反而能降低整体延迟。这种“以算代时”的策略正成为 LLM 推理框架（如 vLLM, TensorRT-LLM）的标准配置，标志着 AI 系统优化从单纯的“减法”转向了精巧的“加法”。