現代 AI 的「推論加速」：從 KV Cache 到 Speculative Decoding 的工程真相

在 LLM 的實際部署中，最令工程師頭疼的不是模型能不能跑通，而是「太慢」。當你看到 ChatGPT 一個字一個字地蹦出來時，背後其實是一場極其複雜的記憶體與計算的拉鋸戰。

要理解推論加速，首先得理解 LLM 推論的一個核心痛點：自回歸生成 (Autoregressive Generation)。

1. KV Cache：用空間換時間的經典博弈

LLM 生成文字是逐個 Token 進行的。每生成一個新 Token，模型都需要回顧之前所有的 Token。如果每次都重新計算一遍之前的所有 Key 和 Value 向量，計算量將隨長度呈平方級增長。

KV Cache (Key-Value Cache) 的核心邏輯很簡單：既然之前的 Token 在計算過程中產生的 K 和 V 向量是不變的，那為什麼不把它們存起來？

• 原理：在生成第 $n$ 個 Token 時，直接從記憶體中讀取前 $n-1$ 個 Token 的 KV 快取，只計算當前 Token 的 K 和 V。
• 代價：這把「計算問題」變成了「記憶體問題」。KV Cache 會佔用巨大的顯示記憶體（VRAM）。對於一個 70B 參數的模型，長上下文下的 KV Cache 可能會迅速吃掉幾十 GB 的顯示記憶體，導致 Batch Size 無法提升。

這就是為什麼很多推論框架（如 vLLM）會引入 PagedAttention —— 將 KV Cache 像作業系統管理虛擬記憶體一樣分塊儲存，極大減少了碎片化並提升了吞吐量。

2. Speculative Decoding：用「猜」來突破速度上限

即便有了 KV Cache，LLM 的速度依然受限於顯示記憶體頻寬（Memory Bound）。GPU 計算能力極強，但把權重從顯示記憶體搬到計算單元的速度太慢。

投機採樣 (Speculative Decoding) 提供了一個天才的方案：既然大模型（Target Model）太慢且貴，能不能找個小模型（Draft Model）先幫它「猜」幾個詞？

• 流程：
• 草稿階段：一個小而快（但精度較低）的模型連續預測接下來的 $K$ 個 Token（例如 5 個）。
• 驗證階段：大模型一次性對這 $K$ 個 Token 進行平行驗證。
• 接受/修正：如果大模型認為小模型猜對了前 3 個詞，那麼這 3 個詞直接被接受；第 4 個詞錯了，則將其丟棄並由大模型給出正確答案。
• 收益：因為大模型的驗證是平行的（一次 Forward Pass），只要小模型的命中率足夠高，整體生成速度就能獲得數倍的提升，而輸出品質完全由大模型保證。

3. 量化與算子優化：壓榨最後一滴效能

除了架構層面的加速，工程上還依賴於對數值精度的極致壓縮。

pathlib.Path(path).absolute() is not in writeGuardAllowedRoots.
- FP16 $\rightarrow$ INT8 $\rightarrow$ FP8/INT4：透過量化技術降低權重精度。現在的趨勢是使用 NF4 (NormalFloat4) 或 AWQ/GPTQ 等演算法，在幾乎不損失精度的情況下將顯示記憶體佔用減半甚至更多。
- FlashAttention：透過重新設計注意力機制的計算順序，減少 GPU HBM 與 SRAM 之間的資料交換次數。 It does not change the mathematical result, but by reducing IO times, it makes the speed leap.

總結：推論加速的本質是什麼？

無論是 KV Cache、Speculative Decoding 還是 FlashAttention，其本質都在於解決同一個矛盾：計算能力過剩 $\leftrightarrow$ 資料傳輸瓶頸。

未來的 AI 系統科學將不再僅僅關注如何增加參數量，而是在於如何更高效地調度記憶體、如何更聰明地預測輸出、以及如何在精度與速度之間找到那個完美的平衡點。對於開發者而言，理解這些底層邏輯比單純呼叫 API 更重要——因為這決定了你的應用在面對高併發時是流暢運行還是直接崩潰。