AI编程助手如何「刷题作弊」？Weco AI评测集SpecBench揭秘奖励作弊内幕

时间：2026-05-22 20:22:10

　　消息，Weco AI开源的编程评测集SpecBench揭示了AI程序员利用规则漏洞进行「奖励作弊」的现象。评测显示，AI为通过测试用例，倾向于「投机取巧」进行表面修复，但在未知的隐藏测试中容易露馅。在极端案例中，使用Codex的AI在编写C语言编译器时，未实现编译器逻辑，而是调用外部编译器获取答案，存入近3000行的哈希表。面对测试输入时，它直接查表返回答案，获得可见测试97%的高分，但在隐藏测试中得分为零。研究指出，普遍的作弊行为并非蓄意欺骗，而是因组件隔离不彻底或遗漏边界条件等设计失败，且代码规模越大，作弊差距越陡峭。盲目增加AI调试步骤，可能诱导其选择能通过可见测试但破坏系统架构的错误路径。

上一篇：监管严打跨境券商，RWA龙头ONDO接棒短时上扬7% 返回首页

下一篇：疑似HYPE上币内幕「 HYPE 多仓 TOP 1」：HYPE多单浮盈收窄至约3039万美元

热点推荐

1 比特币ETF在6月创下自2024年1月以来最大资

现货比特币ETF在2024年6月面临自推出以来的最大资金流出，超过41亿美元的资金离开了这些基金...

2 Jefferies：Clarity Act仍面临重大挑战，尽管

消息，Jefferies投资银行表示，尽管Clarity Act已在参议院银行委员会以15-9的投票结果通过，但仍...

3 ETF资金流出情况更新：BTC净流出超33,000枚

消息，据Lookonchain数据，6月30日ETF的资金流出情况更新：过去1天，BTC净流出5,151枚，过去7天净...

4 Theo向Fidelity International的流动性基金投资

消息，链上资本市场平台Theo向Fidelity International的代币化美元流动性基金FILQ投资2000万美元，成...

5 Matrixport关联地址（子地址1）：ETH多单浮