OpenAI发布编程评测审计报告，称SWE

时间：2026-07-09 11:12:39

　　消息，OpenAI发布编程评测审计报告，称SWE-Bench Pro约三成题目不适合作为有效评测。该评测集原本用于测试AI agent的真实编程能力，OpenAI曾推荐其替代SWE-Bench Verified。审计显示，SWE-Bench Pro的731道公开题中，自动流程标出200道问题题目，占27.4%人工标注发现249道，占34.1%。主要问题包括题目描述不完整、测试要求过严、隐藏测试检查了额外要求，以及测试覆盖不足。OpenAI指出，这会导致模型跑分失真，前沿模型在这组公开题上的通过率在8个月内从23.3%升至80.3%。但在题目本身存在噪声的情况下，这类涨分需要更谨慎解读。OpenAI已撤回此前采用SWE-Bench Pro的建议，并呼吁社区重新构建更可信的编程评测。

上一篇：微策略公司股价下跌6.9%，KOL观点集体转空返回首页

下一篇：火山引擎上线Seedream 5.0 Pro API，AI绘图走向局部像素级编辑

热点推荐

1 Moonshot AI寻求在香港IPO，估值超过300亿美

消息，Moonshot AI正在推进香港IPO，估值超过300亿美元。该公司在发布Kimi K3和阿里巴巴的Qwen模型...

2 Meritz Securities：服务器DRAM现货价格飙升至

消息，据Meritz Securities研报，服务器DRAM现货价格已涨至3100美元，较6月底1380美元的合约价溢价...

3 比特币ETF再迎资金流入，但相较近期流出

消息，据市场结构数据，过去两周，比特币ETF吸引了2.73亿美元的新资金流入，但这一总额几乎...

4 CuspAI完成近5亿美元融资，联合英伟达等成

英国AI初创公司CuspAI完成近5亿美元融资，并成立AI材料工厂联盟。该联盟汇聚英伟达、Meta、现...

5 摩根士丹利将SpaceX目标价上调至300美元