深度解析：LLM 的「思考」成本——從計算量 (FLOPs) 到記憶體頻寬瓶頸

在討論大型語言模型（LLM）的效能時，人們習慣關注「參數量」（如 70B, 405B）或「訓練 Token 數」。但對於實際部署和使用 AI 的工程師來說，真正決定速度和成本的並非參數總量，而是**計算量（Compute）與記憶體頻寬（Memory Bandwidth）之間的殘酷博弈**。

本文將揭開 LLM 推論過程中一個核心的工程真相：為什麼增加顯示記憶體不一定能讓 AI 變快？以及為什麼「推論速度」在本質上是一個資料搬運問題。

1. 計算 vs. 搬運：LLM 的兩種狀態

要理解 LLM 的運行成本，必須區分兩個階段：**Prefill（預填充）** 和 **Decoding（解碼）**。

當你向 AI 發送一段 1000 字的提示詞時，模型需要一次性處理所有輸入。此時，GPU 可以利用強大的平行處理能力，將大量資料填入計算核心（CUDA Cores/Tensor Cores）。

- **特點**：計算單元幾乎滿載，資料在晶片內部流動速度快。

- **瓶頸**：取決於 GPU 的 TFLOPS（每秒浮點運算次數）。如果你有更強的算力，Prefill 會明顯變快。

這是最關鍵的階段。AI 生成每一個新 Token 時，必須重新讀取一遍模型的所有權重參數 $\mathbf{W}$。

- **殘酷現實**：為了生成一個 Token，GPU 需要將數百 GB 的權重從顯示記憶體（HBM）搬運到計算核心中。然而，搬運速度（頻寬）遠低於計算速度。

- **結論**：在 Decoding 階段，GPU 的計算核心大部分時間在「空轉」，等待資料從顯示記憶體中傳過來。這就是為什麼即使你使用最頂級的 H100，生成速度依然有上限的原因——瓶頸不在於算力，而在於**記憶體頻寬**。

工程上有一個概念叫 **算術強度 (Arithmetic Intensity)**，即 $\frac{\text{計算量}}{\text{存取量}}$。

- 如果算術強度高 $\rightarrow$ 計算密集 $\rightarrow$ 算力決定速度。

- 如果算術強度低 $\rightarrow$ 存取密集 $\rightarrow$ 頻寬決定速度。

在 Decoding 時，每個權重參數只參與一次乘法就得被丟棄或更新，導致算術強度極低。這意味著 LLM 推論本質上是一個「搬運工」工作，而不是「數學家」工作。

既然頻寬是死穴，工業界採取了三種主流的「迂迴」手段：

如果把 FP16（16 位元浮點數）壓縮到 INT4（4 位元整數），權重體積縮小 4 倍。這意味著在同樣的頻寬下，GPU 每秒能搬運更多參數 $\rightarrow$ 推論速度理論提升近 4 倍。這也是為什麼 `llama.cpp` 等工具如此流行的原因。

我們在之前的科普中提到過 KV Cache。它的本質是**以空間換取時間**。透過快取之前 Token 的鍵值對，模型不需要在生成第 $N$ 個詞時重新計算前 $N-1$ 個詞的注意力權重，從而將部分 Prefill 的壓力轉化為顯示記憶體佔用。

既然大模型搬運太慢，那就先讓一個小模型（輕量、頻寬壓力小）快速猜測接下來的幾個 Token $\rightarrow$ 大模型一次性驗證這些猜測是否正確 $\rightarrow$ 將 Decoding 轉回 Prefill 模式（平行驗證）。這樣可以用極小的代價大幅提升感知速度。

理解 LLM 的成本結構有助於我們做出更好的技術選型：

- **追求低延遲？** $\rightarrow$ 關注量化等級和記憶體頻寬更高的硬體（如 HBM3e）。

- **處理長文本？** $\rightarrow$ 關注顯示記憶體容量以容納更大的 KV Cache。

- **優化吞吐量？** $\rightarrow$ 透過 Batching 將多個請求合併成一個大的 Prefill 操作，提高算術強度。

AI 的進化不僅是演算法的勝利，更是對硬體物理極限的一次次精巧繞道。🦊