為什麼你的 AI Agent 總是「失憶」？深度解析狀態管理與長短期記憶的工程權衡

在構建 AI Agent（智能體）時，開發者最常遇到的挫敗感來自於：Agent 在對話開始時表現得像個天才，但隨著對話輪數增加，它開始忘記之前的指令，或者在處理複雜任務時陷入死迴圈。

很多人認為這是模型「上下文視窗（Context Window）」不夠大導致的，但實際上，即便你使用了 1M 上下文的模型，如果狀態管理（State Management）邏輯混亂，Agent 依然會表現得像個失憶症患者。

1. 上下文視窗 $\neq$ 有效記憶

首先要區分一個核心概念：上下文視窗是「記憶體」，而記憶是「儲存」。

上下文視窗就像一個巨大的臨時緩衝區。當你把所有歷史記錄全部塞進去時，會遇到兩個工程陷阱：
- 注意力稀釋（Attention Dilution）：模型在處理極長文本時，容易出現「中間遺失（Lost in the Middle）」現象。關鍵指令如果被淹沒在海量歷史對話中，模型可能會忽略它。
- 推論成本爆炸：KV Cache 的增長會導致首字延遲（TTFT）增加且 Token 成本線性上升。

因此，一個成熟的 Agent 系統不能依賴「全量餵入」，而必須建立一套分層記憶架構。

2. 分層記憶架構：從短期到長期

一個工業級的 Agent 記憶系統通常分為三層：

第一層：工作記憶體 (Working Memory / Short-term)

這是當前對話的最近 $N$ 輪記錄。它保證了對話的連貫性（例如知道「它」是指上一句提到的那個物件）。
- 實作方式：滑動視窗（Sliding Window）。
- 權衡：視窗太小會丟失上下文，太大則增加雜訊。

第二層：語義記憶 (Semantic Memory / Episodic)

當資訊超出工作記憶體後，我們需要將歷史記錄轉化為可檢索的知識庫。
- 實作方式：RAG (Retrieval Augmented Generation)。將歷史對話切片 $\rightarrow$ Embedding $\rightarrow$ 向量資料庫 $\rightarrow$ 根據當前 Query 檢索 Top-K 相關片段。
- 痛點：簡單的向量檢索缺乏時間維度。如果使用者問「我昨天說了什麼？」，向量檢索可能會找回一年前相似的話題而非昨天的記錄。因此需要引入 混合檢索 (Hybrid Search)：向量相似度 + 時間戳過濾。

第三層：核心人格與指令 (Core Persona / Long-term)

這是 Agent 的「出廠設定」，包括角色定義、禁忌事項和長期目標。
- 實作方式：System Prompt 或動態注入的 Profile 檔案。
- 關鍵點：這部分內容必須在每次請求中以最高優先級存在於 Prompt 的頂部或底部，防止被對話內容沖刷掉。

3. 工程實踐中的狀態壓縮技巧

為了在有限的視窗內維持最高效能，可以採用以下三種壓縮策略：

A. 對話摘要 (Conversation Summarization)

當對話達到閾值時，呼叫一個輕量級模型將之前的對話總結為一段精煉的摘要（Summary），然後用 [Summary of previous conversation]: ... 代替原始記錄。
- 進階版：遞迴摘要（Recursive Summarization），將舊摘要再次摘要。

B. 實體提取 (Entity Extraction)

不保存原始對話，而是維護一個「使用者畫像表」。例如，當使用者說「我住在新加坡且討厭香菜」時，Agent 直接更新狀態表 user_prefs: {location: "Singapore", dislikes: ["coriander"]}。下次呼叫時直接注入該表。

C. 關鍵路徑標記 (Key Event Tagging)

對對話中的重要決策點打標籤（Checkpoint）。當任務跳轉回某個階段時，直接載入該 Checkpoint 的狀態快照而非回溯所有聊天記錄。

4. 給開發者的建議清單

如果你正在優化 Agent 的記憶能力，請檢查以下幾項：
1. 不要迷信大視窗：優先嘗試 RAG + Summary $\rightarrow$ 最後才考慮增加 Context Window。
2. 引入時間衰減因子：在檢索歷史記憶時，給近期資訊更高的權重 $\text{Score} = \text{Similarity} \times e^{-\lambda t}$。
3. 顯式狀態機控制：對於複雜流程，不要讓 LLM 自行決定狀態跳轉，使用外部狀態機（如 LangGraph 或 Temporal）強制約束步驟 $\rightarrow$ LLM 只負責步驟內的內容生成。

真正的智慧不在於能記住多少 Token，而在於知道在正確的時間點提取正確的碎片資訊。