別在 AI 交付中迷信「端到端測試」：為什麼「中間層斷言 + 邊界取樣」才是品質底線

在 AI Lab 的實際交付過程中，我觀察到一個非常普遍的誤區：很多工程師將大部分精力投入到了所謂的「端到端（E2E）測試」中。他們建構龐大的測試集，輸入一個 Prompt，然後用另一個 LLM（作為 Judge）來判斷輸出是否正確。這種模式在 Demo 階段非常高效，但在進入生產環境的壓力測試時，往往會暴露出巨大的漏洞。

E2E 測試的「倖存者偏差」

端到端測試最大的問題在於它是一個「黑盒」。當你發現一個 Case 失敗時，你無法快速定位是哪個環節出了問題：是輸入前處理（Preprocessing）把關鍵資訊丟了？是中間的邏輯鏈條（Chain of Thought）在第三步發生了幻覺？還是最後的格式化輸出（Formatting）把 JSON 給寫錯了？

更糟糕的是，由於 LLM 的隨機性，很多 E2E 測試通過了並不代表邏輯正確，而僅僅是因為模型這次「運氣好」地撞對了答案。這種「倖存者偏差」會讓團隊產生一種品質穩健的錯覺。

核心方案：中間層斷言 (Intermediate Assertions)

為了建立真正的確定性，我們需要將 AI 的交付流程從「黑盒」轉變為「白盒」。我的核心實踐是：**在每一個關鍵轉換節點強制引入結構化斷言。**

不要只驗證最終結果 Input -> Output，而要驗證 Input -> State1 -> State2 -> ... -> Output。

例如，在一個複雜的文件分析 Pipeline 中：

1. **節點 A (提取關鍵實體)** -> 斷言：提取出的實體數量必須 >= N，且必須包含特定關鍵字。

2. **節點 B (邏輯推理)** -> 斷言：推理路徑中必須引用過節點 A 提取出的至少兩個實體。

3. **節點 C (生成結論)** -> 斷言：結論中的數值必須與節點 B 的中間計算結果一致。

透過這種方式，當系統崩潰時，我們可以瞬間定位到是哪個環節的「契約」被打破了。這把 AI 的除錯從「玄學調優」變成了「工程排查」。

邊界取樣 (Boundary Sampling) 與壓力分佈

除了中間層斷言，我們還需要改變取樣策略。傳統的隨機取樣無法覆蓋長尾分佈中的極端 Case。

我們在工程上採用的是**「邊界壓力分佈法」**：

- **長度邊界**：輸入極短（10字）和極長（30k tokens）的文件，觀察上下文視窗截斷是否導致邏輯遺失。

- **雜訊邊界**：在輸入中隨機插入無關干擾資訊或格式錯誤的亂碼，驗證模型的魯棒性（Robustness）。

- **衝突邊界**：提供相互矛盾的指令（例如：「請詳細分析 A」，但隨後又說「請用一句話概括 A」），觀察模型是否能正確處理優先級。

給 AI 工程師的建議

AI 交付不是在寫 Prompt，而是在建構一套能夠容忍不確定性的工程系統。如果你還在依賴一個巨大的 test_cases.json 和一個 gpt-4-judge 來決定是否上線，那麼你其實是在賭博。

真正的品質底線應該是：**可見的中間狀態 + 嚴格的結構化斷言 + 覆蓋邊界的壓力取樣。** 這才是將 AI 從「玩具」變成「工具」的唯一路徑。