代码评测变难后，基准本身也要被测试
摘要
OpenAI 对 SWE-Bench Pro 的审计提醒我们：当模型能力快速上升，评测集里的坏任务、隐藏测试和模糊提示会直接扭曲判断。学习 AI 编程，不能只看排行榜。
这篇研究说了什么
OpenAI 在 2026 年 7 月 8 日发布对代码评测的分析，重点审查 SWE-Bench Pro 中的任务质量。文章指出，前沿模型在公开 731 个任务上的通过率曾在八个月内从 23.3% 上升到 80.3%，这让评测集能否继续提供有效信号变得更关键。
OpenAI 使用数据点分析管线、Agent 辅助审计和工程师人工标注来检查任务。结果显示，自动管线标出 200 个问题任务，人工标注认为 249 个任务存在破坏性问题，约占 34.1%。
问题出在哪里
文章把主要问题归为四类：测试过度严格、提示缺少必要要求、测试覆盖不足，以及提示本身会误导模型。换句话说，模型失败不一定代表能力不足，可能是题目没有公平定义任务。
这对所有 AI 编程工具评测都有提醒意义。真实代码任务往往来自长期维护的仓库，问题描述、历史讨论、隐藏测试和参考实现并不总是天然一致。
对学习者有什么用
看模型排行时，不要只看一个百分比。你需要问：任务是否真实，测试是否公平，是否要求模型读取现有项目约定，是否允许运行测试，失败样例有没有被分析。
自己练习 AI 编程时，也可以把评测思路用到日常任务里。写清需求、补充验收条件、运行测试、分析失败原因，比单纯让模型多试几次更能提升结果质量。
更可靠的评估方式
好的评测应该让失败反映模型限制，让成功反映完整解决问题，而不是让隐藏细节决定分数。OpenAI 在文末撤回了此前采用 SWE-Bench Pro 的建议，也说明评测结论需要随数据质量更新。
对团队来说，更实用的做法是建立自己的小型任务集：包含真实代码、明确验收、可复现环境和人工复核记录。这样比直接套用公开榜单更接近生产判断。