SWE-bench跑到94%了，AI写代码真的靠谱了吗？

2025年底，几家顶级AI实验室相继宣布其模型在SWE-bench Verified上的得分突破90%，部分系统甚至声称达到了94%以上。这些数字在AI圈引发了不小的震动。SWE-bench是目前最被广泛认可的AI编程能力评测基准，用于衡量AI系统在真实GitHub Issues上的自动修复能力。94%的通过率，听起来已经接近人类工程师的水平了。

但AI写的代码，真的靠谱了吗？

这个问题值得认真拆解，因为评测数字和生产环境之间的距离，往往比人们想象的要大得多。

SWE-bench是什么，它在测什么

SWE-bench由普林斯顿大学和卡内基梅隆大学的研究团队于2023年推出。它从GitHub上12个顶级开源Python仓库（包括Django、Flask、NumPy、Pandas、Scikit-learn等）中收集了2294个真实的bug修复任务。

每个任务的形式是：给定一个GitHub Issue描述和代码库，让AI系统生成一个可以通过原始测试套件的补丁。评测结果用"通过率"衡量——即AI成功生成了能让相关测试通过的补丁的比例。

SWE-bench Verified是其升级版本，经过人工筛选确保测试用例本身质量可靠，目前是行业内最主流的基准之一。

数字背后的局限性

局限一：任务选择的偏差

SWE-bench中的任务虽然来自真实的GitHub Issues，但不是随机采样的。能够进入基准测试的Issue，往往是那些有清晰复现步骤、有完整测试用例、修复范围相对明确的bug。

真实的工程工作中，很大一部分时间花在另一类问题上：需求模糊的功能开发、没有测试覆盖的历史遗留代码、需要理解业务逻辑才能判断正确性的修改、跨系统的集成问题，以及没有明确通过/失败标准的性能优化。SWE-bench不覆盖这些类型的任务。

局限二：测试通过 ≠ 代码正确

这是最关键的一点。SWE-bench的评测标准是：生成的补丁是否能让原始测试套件通过。但测试套件本身是不完整的——它测试的是已知行为，而不是所有正确行为。

AI可以通过一个测试，同时引入新的bug、用脆弱的方式修复了表面症状而非根本原因、降低代码的可维护性，或在边缘情况下产生错误结果。在一项对SWE-bench解决方案的独立分析中，研究者发现大约20-30%的"通过"补丁存在至少一个非测试覆盖的问题。

局限三：代码库规模和复杂性的限制

SWE-bench中的任务，通常涉及的上下文窗口在几千到几万token之间。但真实的生产代码库动辄数百万行代码，复杂的依赖关系，需要理解大量跨文件的逻辑才能安全地修改某一处。当前的AI系统在面对超大型代码库时，理解和推理能力下降是系统性的。

局限四：评测集的污染风险

随着SWE-bench越来越成为主流基准，它的评测数据也越来越可能出现在训练数据中。一些研究者已经指出，顶级模型在SWE-bench上的快速进步，部分可能来自于对评测集的"记忆"而非真正的泛化能力提升。

AI代码在实际使用中表现如何

生产力提升是真实的。GitHub Copilot的用户调查显示，使用AI辅助编程的开发者平均任务完成速度提升约55%。这不是基准测试的数字，这是真实工作中的反馈。

错误引入率也在上升。多项研究表明，使用AI生成代码的开发者在引入安全漏洞方面的概率比不使用的开发者更高——尤其当开发者没有足够仔细地审查AI生成的代码时。

代码审查成本没有消失。AI生成的代码仍然需要认真审查。有工程师反映，审查AI生成的代码有时比自己写还要花时间——因为AI生成的代码看起来"像真的"，容易让人降低警惕。

复杂推理仍然是瓶颈。在需要深度理解业务逻辑、系统架构、安全约束的任务上，当前AI系统的可靠性显著低于简单的语法修复或模式匹配类任务。

什么场景下AI代码是可靠的

• 样板代码生成：CRUD操作、数据转换、配置文件、测试桩代码
• 已知模式的实现：常见算法、标准库用法、框架惯例
• 文档和注释生成：解释已有代码的功能
• 简单bug修复：类型错误、语法问题、简单的逻辑错误
• 代码重构：在明确约束下的提取函数、重命名、结构调整

什么场景下需要谨慎

• 安全敏感代码：身份验证、授权、加密、输入验证
• 并发和线程安全：AI在这个领域的错误率显著更高
• 高度领域特定的逻辑：需要深度业务知识的代码
• 接口契约的设计：API设计、数据模型设计
• 性能关键路径：需要精确理解系统瓶颈的优化

结论：94%是真实的进步，但不是终点

SWE-bench上的94%，代表了AI编程能力的真实、显著进步。把这个数字说成"没意义"是不诚实的。

但把它解读为"AI写代码已经可以无需审查直接部署"，同样是不准确的。

更准确的表述是：AI编程工具已经成为合格的编程助手，在特定类型的任务上可以大幅提升效率；但在需要深度推理、安全保证、系统级理解的场景下，人类监督仍然是不可省略的环节。

工程实践上，合理的做法是：把AI当成一个能力很强但需要认真审查的初级工程师，而不是一个可以无条件信任的资深架构师。随着技术继续发展，这条线在哪里，会持续移动。但现在，它还没有移动到"直接交付生产"的位置。