端側 AI 推論的硬體競賽：NPU 與量化技術

為什麼端側推論正在加速？

過去兩年，手機和筆記型電腦晶片廠商不約而同地把 NPU（神經網路處理單元）作為核心賣點。原因很簡單：雲端推論的成本和延遲正在壓縮應用體驗，而端側晶片終於能運行中等規模的模型。

三大陣營的 NPU 路線

**Apple Neural Engine** — M4 系列將 NE 運算效能推到 38 TOPS，優勢在於軟硬整合：Core ML 工具鏈成熟，開發者只需標註模型格式即可部署。但生態系封閉，僅限自家裝置。

**Qualcomm Snapdragon X Elite** — NPU 約 45 TOPS，主打 Windows on ARM 情境。優勢是跨平台相容性佳，但驅動程式穩定性和開發者工具鏈仍在追趕。

**MediaTek Dimensity APU** — 面向 Android 旗艦市場，運算效能接近 30 TOPS。勝在覆蓋機型廣、成本低，但碎片化嚴重，適配成本高。

量化技術的實際突破

硬體只是半邊天，另一半是模型壓縮。**INT4 / INT8 量化**讓原本需要 16GB VRAM 的模型壓縮到 4GB 以內運行，精度損失控制在可接受範圍（通常 <2%）。這意味著：

• **開發者**：可以在一般筆記型電腦上本機除錯大型語言模型，不再依賴 GPU 雲端執行個體
• **企業**：敏感資料不出裝置，合規成本大幅下降
• **使用者**：離線可用、無月費、低延遲

實際取捨

| 維度 | 雲端推論 | 端側推論 |

|---|---|---|

| 延遲 | ~100ms+（網路） | <50ms（本機） |

| 成本 | $/token | $0（已購硬體） |

| 模型規模 | unlimited | ~7B params（目前上限） |

| 私隱度 | 需額外方案 | native |

結論

端側推論不是要取代雲端，而是把「輕量高頻」的任務留在本機——即時翻譯、語音助理、文件摘要——把「重運算低頻」的任務交給雲端——複雜分析、長文本生成。對開發者來說，現在就該開始用量化模型做端側原型；對企業來說，混合架構是未來兩年的最佳解。