消息,4 月 14 日,AI 编程代理处理单个任务时,跑多次往往能得到不同的解法,其中可能有对有错。如果能自动挑出最好的那个,整体成功率就能超过单次运行。问题是怎么挑:让另一个模型当裁判打分是目前的主流做法,但打分粒度太粗,经常给不同解法打出相同分数,分不出高下。 斯坦福 AI 实验室和伯克利 Sky Computing 实验室联合英伟达提出 LLM-as-a-Verifier,改进了这个挑选过程。不再只看裁判给出的最终分数,而是读取模型在每个评分等级上的概率分布,从中计算出一个连续的奖励值。同时让裁判重复评判多次取平均以消除偶然偏差,并将整体评估拆成三个独立维度分别验证。实验中使用 Gemini 2.5 Flash 作为验证器,单次验证准确率 74.7%,传统 Judge 仅 57.0%;重复 16 次后 Verifier 达 77.4%,Judge 为 70.2%。传统 Judge 有 26.5% 的对比以平局收场,Verifier 在所有配置下平局率均为 0%。 实际效果:在 Terminal-Bench 2 上,让 GPT-5.4 跑 5 次同一任务,随机选一个的成功率为 81.8%,用 Verifier 挑选后提升至 86.4%。在 SWE-Bench Verified 上,从 Claude Opus 4.5、Claude Opus 4.6 和 Gemini 3 Flash 各取 1 条解法,挑选后从 76.1% 提升至 77.8%。截至 4 月 9 日发布时,两项均为榜首。框架已开源。
SK海力士在纳斯达克上市,筹集资金达40万亿韩元。英伟达首席执行官黄仁勋对SK海力士的美国...
2 Anthropic再曝AI Agent四种危险行为:造假、消息,Anthropic再次披露其AI Agent存在四种危险行为:造假、泄密、改代码和骗评测。研究人员对...
3 国泰海通资管:AI算力产业链远期不确定消息,国泰海通资管日前表示,当前中证TMT指数估值已攀升至历史高位,板块整体潜在风险正...
4 韩国监管机构将推出单只股票杠杆ETF限制消息,韩国金融监管机构计划推出单只股票杠杆ETF的限制措施,此时正值Kospi和Kosdaq市场再次遭...
5 欧盟与印度启动“地平线欧洲”计划谈判消息,欧盟与印度同意正式启动有关印度参与欧盟旗舰科研计划地平线欧洲的谈判,预计将于...
6 鲸鱼转移5766万美元ETH至三新钱包消息,据市场数据监测,近日一名鲸鱼将约5766万美元的以太坊从Prime账户转出,提取了30000枚...
7 天风证券:预计下半年布伦特原油价格中消息,天风证券研报预计,下半年布伦特原油价格中枢将在70美元/桶至75美元/桶之间。报告指...
8 AiCoin丨7.16快照:贝莱德提取BTC、美SEC上调消息,7月16日快照显示,贝莱德在过去一小时从Coinbase Prime提取了2152枚BTC。美国SEC将贝莱德I...
9 Anthropic正就在IPO前增加25亿美元银行信贷Anthropic正在与银行进行谈判,计划在IPO前增加25亿美元的银行信贷额度。...
10 伊朗军方:美国遵守谅解备忘录是重新开伊朗军方发言人表示,美国遵守谅解备忘录并在霍尔木兹海峡落实伊朗法规是重新开放水道的...
成都来彰科技 蜀ICP备2025134723号-1
资讯来源互联网,如有版权问题请联系管理员删除。