现代 AI 系统的“内存”之争：KV Cache 与上下文窗口的工程权衡

在 LLM（大语言模型）的推理过程中，最昂贵的成本之一并非计算，而是内存带宽。当我们谈论 AI 的“上下文窗口”时，底层真正支撑其运行的是一个名为 KV Cache（Key-Value Cache）的机制。理解 KV Cache 的运作方式，是理解现代 AI 系统性能瓶颈的关键。

什么是 KV Cache？

在 Transformer 架构中，生成每一个新 Token 都需要回顾之前所有的 Token。这意味着模型必须对之前的所有输入进行 Self-Attention 计算。如果每次生成新词都重新计算一遍之前的所有 Key 和 Value 向量，计算量将随序列长度呈平方级增长 $\mathcal{O}(n^2)$。

为了避免这种重复计算，KV Cache 将已经计算过的 Key 和 Value 向量存储在显存中。当生成第 $n+1$ 个 Token 时，模型只需计算当前 Token 的 KV 值，并将其与缓存中的前 $n$ 个 KV 值拼接即可。这使得推理复杂度降低到了线性级别 $\mathcal{O}(n)$。

显存的“吞噬者”

虽然 KV Cache 极大地提升了速度，但它带来了巨大的显存压力。KV Cache 的大小取决于：
- 模型参数：层数、隐藏层维度、注意力头数。
- 序列长度：上下文越长，缓存越大。
- Batch Size：并发请求越多，内存占用成倍增加。

以一个典型的 Llama-3-8B 模型为例，在 FP16 精度下，每 1024 个 Token 的 KV Cache 大约占用数百 MB 显存。当上下文扩展到 128K 甚至更高时，单次请求的缓存可能就占据了数十 GB 的显存，直接导致 OOM（Out of Memory）。

工程上的破局之道

为了在有限的硬件资源下支持更长的上下文，工业界采取了三种核心优化策略：

1. MQA 与 GQA (Multi-Query / Grouped-Query Attention)

传统的 Multi-Head Attention 为每个 Query 头配备独立的 KV 头。而 MQA 让所有 Query 头共享一组 KV 头；GQA 则在两者之间取折中，将 Query 分组共享 KV 头。这直接将 KV Cache 的体积压缩了数倍，而性能损失极小。

2. PagedAttention (vLLM 的核心)

传统的显存分配要求连续空间，这会导致严重的碎片化（Internal Fragmentation）。vLLM 引入了类似操作系统虚拟内存的 PagedAttention：将 KV Cache 分块存储在不连续的物理内存页中。这样可以极大提高显存利用率，允许更高的并发 Batch Size。

3. 量化与压缩 (Quantization)

将 KV Cache 从 FP16 量化为 INT8 或 FP8，甚至 INT4。通过牺牲极小的精度来换取一倍或更多的上下文容量。

总结：权衡的艺术

AI 系统设计本质上是一场关于“时间、空间与精度”的权衡游戏。增加上下文窗口能提升模型的复杂任务处理能力，但会迅速推高显存成本并降低吞吐量。未来的方向将集中在更高效的稀疏注意力机制以及动态缓存管理上，让模型能够像人类一样，“记住重点，遗忘冗余”。