現代 AI 的「上下文視窗」：從注意力機制到線性注意力 (Linear Attention) 的演進

在 LLM 的參數表中，有一個指標經常被拿來作為「能力」的象徵：上下文視窗 (Context Window)。從早期的 4K 到現在的 128K 甚至 1M，廠商們在數字上展開了激烈的軍備競賽。但對於開發者來說，視窗越大並不意味著越好，因為這裡隱藏著一個極其殘酷的數學陷阱：二次方複雜度 (Quadratic Complexity)。

1. 標準 Transformer 的「記憶體黑洞」

目前的絕大多數 LLM 基於標準 Transformer 架構，其核心是 Scaled Dot-Product Attention。簡單來說，Attention 的本質是讓每一個 Token 在生成時，都要去「回顧」之前所有的 Token。

如果輸入序列長度為 $N$，那麼計算注意力矩陣時需要計算 $N \times N$ 個相關性分數。這意味著：
- 計算量隨長度呈 $O(N^2)$ 增長。
- 記憶體佔用（尤其是 KV Cache）同樣隨長度呈 $O(N^2)$ 或 $O(N)$ 線性增長（取決於具體實作），但在計算中間矩陣時，記憶體壓力會瞬間激增。

當你把上下文從 8K 增加到 128K 時，計算量不是增加了 16 倍，而是增加了 $16^2 = 256$ 倍。這就是為什麼即便有 H100 叢集，超長上下文的推論速度依然會顯著下降，且顯示記憶體極易 OOM（Out of Memory）。

2. 從 Softmax 到線性注意力的突破

為了打破這個二次方詛咒，研究界提出了 線性注意力 (Linear Attention)。其核心思路是利用矩陣乘法的結合律來改變計算順序。

在標準 Attention 中，計算順序是：
$\text{Attention}(Q, K, V) = \text{softmax}(QK^T)V$
這裡必須先算 $QK^T$（得到 $N \times N$ 的矩陣），然後再乘以 $V$。

而線性注意力嘗試透過某種核函數 $\phi(\cdot)$ 將 $\text{softmax}$ 分解：
$\text{Attention}(Q, K, V) \approx (\phi(Q)\phi(K)^T)V = \phi(Q)(\phi(K)^T V)$
透過改變括號的位置，我們先計算 $\phi(K)^T V$（得到一個固定大小的狀態矩陣），再用 $\phi(Q)$ 去乘它。此時，複雜度從 $O(N^2)$ 直接降到了 $O(N)$。

這意味著無論上下文多長，每一步推論的計算成本幾乎是恆定的。這正是像 RWKV、RetNet 以及最近大火的 Mamba 等架構試圖實現的目標——用 RNN 的效率實現 Transformer 的效果。

3. 工程實踐中的權衡：精度 vs. 速度

雖然線性注意力在數學上很優雅，但在實際工程中存在一個巨大的痛點：精度損失 (Precision Loss)。

$\text{softmax}$ 之所以強大，是因為它能產生極強的「聚焦」效果（讓模型精準地關注到某個特定的 Token）。而線性近似往往會導致注意力分布變得「平滑」，模型在處理需要極高精確度檢索的任務（如 Needle In A Haystack 測試）時表現較差。

因此，目前的工業界採取了多種折衷方案：
- FlashAttention: 不改變演算法複雜度，但透過優化 GPU SRAM 的讀寫（Tiling），極大提升了實際執行速度並降低了記憶體峰值。
- Sliding Window Attention: 只關注最近的 $W$ 個 Token，將複雜度強行限制在 $O(N \times W)$。
- Sparse Attention: 只在特定的模式下進行計算（如 BigBird 或 Longformer）。

4. 給開發者的建議

在構建基於 LLM 的應用時，不要盲目追求「超長視窗」。一個成熟的 AI 系統設計應該是：
1. 優先 RAG (檢索增強生成): 將海量文件切片儲存在向量資料庫中，只將最相關的 Top-K 片段餵給模型。這比直接塞入 100K Token 更經濟且準確。
2. 精簡 Prompt: 透過 Prompt Engineering 去除冗餘資訊，減少不必要的 KV Cache 開銷。
3. 關注推論延遲: 如果你的應用對即時性要求高且輸入較長，考慮使用支援線性複雜度或經過 FlashAttention 優化的模型版本。

總結： 上下文視窗的擴張不是簡單的數字遊戲，而是記憶體頻寬與數學近似之間的博弈。理解 $O(N^2)$ 到 $O(N)$ 的演進，才能在成本與效能之間找到真正的平衡點。