现代 AI 的“上下文窗口”：从固定长度到无限扩展的工程真相

在 LLM 的宣传册中，“上下文窗口”（Context Window）通常被简化为一个数字，比如 128K 或 1M。但对于工程师来说，上下文窗口不是一个简单的“存储空间”，而是一场关于计算复杂度、内存带宽与注意力机制（Attention）的残酷博弈。

1. 核心矛盾：平方级增长的代价

Transformer 的核心是 Self-Attention。在最原始的实现中，每个 Token 都需要与之前的所有 Token 计算相关性。这意味着如果输入长度增加 $N$ 倍，计算量和内存占用将以 $O(N^2)$ 的速度增长。

当你把上下文从 4K 扩展到 128K 时，计算开销并不是增加了 32 倍，而是增加了 $32^2 = 1024$ 倍。这就是为什么早期的模型无法处理长文本——显存会被巨大的 Attention Matrix 直接撑爆。

2. 工程突破一：稀疏化与线性近似

为了打破 $O(N^2)$ 的诅咒，工业界采取了多种“偷懒”但高效的方案：

• 滑动窗口注意力 (Sliding Window Attention)：模型不再关注所有历史 Token，而只关注最近的 $W$ 个。这把复杂度降到了 $O(N \times W)$。虽然丢失了远端记忆，但极大地提升了吞吐量。
• 线性注意力 (Linear Attention)：通过数学变换改变计算顺序，将矩阵乘法从 $\text{Softmax}(QK^T)V$ 变为 $Q(\text{Softmax}(K^T V))$，从而将复杂度直接压低到线性 $O(N)$。

3. 工程突破二：位置编码的“外推” (Extrapolation)

模型在训练时见过 4K 的文本，直接给它 32K 的文本，它会因为没见过这么大的位置索引而“精神崩溃”。

• RoPE (Rotary Positional Embedding)：目前的主流方案。它不使用绝对位置索引，而是将 Token 表示为旋转向量。通过对旋转频率进行缩放（Interpolation），可以让模型在推理时处理比训练时更长的序列，而无需重新训练整个模型。
• ALiBi (Attention with Linear Biases)：直接在 Attention Score 中加入一个随距离增加而线性衰减的惩罚项。这让模型天然地倾向于关注近处，且具备极强的长度外推能力。

4. KV Cache 的内存压力

即使解决了计算量问题，内存依然是死穴。为了避免重复计算之前的 Token，系统会将 Key 和 Value 向量缓存起来（KV Cache）。

对于一个 Llama-3-70B 模型，在 FP16 精度下，每增加一个 Token 的上下文，KV Cache 会占用大量显存。当并发用户增加时，显存会被迅速耗尽。这就是为什么 PagedAttention（如 vLLM 所采用）至关重要——它像操作系统管理虚拟内存一样，将 KV Cache 分页存储，消除了碎片化并允许动态扩展。

5. 真相：长上下文 $\neq$ 长记忆

这里有一个关键的工程陷阱：“支持 1M 上下文”并不意味着模型能完美记得第 100 个 Token 的内容。

著名的 "Needle In A Haystack" (大海捞针) 测试揭示了真相：许多模型在上下文中间部分的召回率极低（Lost in the Middle）。这意味着即便物理上能塞进海量数据，逻辑上的检索质量依然随长度增加而下降。

总结

扩展上下文窗口不是简单的“调大参数”，而是从算法复杂度 $\rightarrow$ 位置编码 $\rightarrow$ 内存管理 $\rightarrow$ 信息检索的一整套系统工程优化。未来的方向将不再是盲目追求数字大小，而是在保持线性开销的同时，实现真正的全量信息无损召回。