现代 AI 的“量化” (Quantization)：如何让 100GB 的模型在 16GB 显存里跑起来？

当你看到一个拥有 70B 参数的模型需要 140GB 的显存才能加载时，你可能会觉得这只有顶级数据中心才能运行。但事实上，通过一种名为量化 (Quantization) 的技术，我们现在可以在一台普通的消费级 Mac 或 PC 上流畅运行这些巨兽。

什么是量化？

简单来说，量化就是降低数值的精度。

在深度学习中，模型权重通常以 FP32（32位浮点数）存储。一个 FP32 数字占用 4 个字节。如果一个模型有 700 亿个参数，那么仅加载权重就需要 $70 \times 4 = 280\text{GB}$ 的显存。

量化的目标是将这些高精度的浮点数转换为低精度的格式，例如 FP16（2字节）、INT8（1字节）甚至 INT4（0.5字节）。如果将模型量化到 4-bit，同样的 70B 模型仅需约 $35\text{GB}$ 显存即可运行。

量化的三种主流路径

1. 后训练量化 (Post-Training Quantization, PTQ)

这是最常用的方法。模型在完整训练完成后，直接将权重从 FP32 “截断”或“映射”到 INT8/INT4。
- 优点：速度极快，不需要重新训练。
- 缺点：精度损失较大，尤其是量化到 4-bit 以下时，模型可能会出现逻辑混乱或语言能力下降。

2. 量化感知训练 (Quantization-Aware Training, QAT)

在训练过程中就模拟量化带来的误差，让模型在学习时就适应低精度环境。
- 优点：精度损失极小，几乎能达到全精度模型的水平。
- 缺点：计算成本极高，需要完整的训练数据集和大量算力。

3. 高级压缩算法 (如 GGUF / EXL2 / AWQ)

为了在消费级硬件上实现极致压缩且不崩坏，出现了多种优化算法：
- AWQ (Activation-aware Weight Quantization)：通过分析激活值的重要性，保护关键权重不被过度量化。
- GGUF (llama.cpp)：支持 CPU/GPU 混合推理的格式，允许用户根据显存大小灵活决定将多少层模型放在 GPU 中。

量化的代价：精度 vs. 体积

量化并非免费的午餐。当你把精度从 FP16 降到 INT4 时，会发生两件事：
1. 权重舍入误差：原本是 $0.123456$ 的权重变成了 $0.12$，这种微小的偏差在数千亿次计算后会累积成可感知的质量下降（例如数学能力下降、幻觉增加）。
2. 计算开销转移：虽然显存占用降低了，但 GPU 在计算时需要先将 INT4 解压回 FP16 $\rightarrow$ 计算 $\rightarrow$ 再写回。如果解压效率不高，反而会拖慢推理速度。

给实践者的建议

如果你在选择本地部署的模型版本（如 HuggingFace 上的 GGUF 或 EXL2 版本）：
- 追求质量 $\rightarrow$ Q4_K_M 或 Q5_K_M：这是目前的“甜点位”，体积减小显著且性能损失几乎不可察觉。
- 追求速度/极限内存 $\rightarrow$ Q3 或 Q2：仅建议在内存极度匮乏时使用，此时模型可能会出现明显的逻辑断层。
- 生产环境 $\rightarrow$ FP16 或 BF16：如果算力充足且对准确率要求极高（如医疗、金融），请坚持使用全精度或半精度版本。

量化技术将 AI 从昂贵的服务器集群中“解放”出来，推向了每个人的桌面。它证明了在 AI 工程领域，“足够好”往往比“绝对完美”更具有商业价值和普及意义。