当前位置:主页 > 业界 >

Muon训练时自信很准,换到新样本就容易过头

时间:2026-04-27 16:17:20

  消息,Muon优化器在训练时表现出很高的自信度,但在新样本上容易出现过度自信的现象。最新论文《too sharp, too sure: when calibration follows curvature》指出,模型在训练集上能准确判断自己的把握程度,但在测试集上,置信度与实际正确率不符,导致过度自信。实验显示,Muon在CIFAR-10图像分类任务中的测试ECE为0.065,AdamW为0.061,SGD为0.081,SAM为0.020。Muon的训练ECE几乎为0,显示出训练集与测试集之间的落差更明显。论文提出的Calmo方法能将Muon的测试ECE降至0.019,但尚未在大语言模型上验证。DeepSeek V4技术报告显示,部分模块仍使用AdamW,提醒需关注Muon在泛化时的表现。

热点推荐
1 红旗连锁“交卷” 一季度净利润环比大增

4月27日盘后,红旗连锁发布了2026年一季度报告。营业收入下滑收窄的同时,净利润环比开始恢...

2 Muon训练时自信很准,换到新样本就容易过

消息,Muon优化器在训练时表现出很高的自信度,但在新样本上容易出现过度自信的现象。最新...

3 Juniper研究:到2035年B2B稳定币支付将达5万

消息,据Juniper Research报告,跨境B2B稳定币支付预计到2035年将达到5万亿美元,2026年的总交易额...

4 西联汇款计划于5月推出美元支持的稳定币

消息,西联汇款计划于5月推出其美元支持的稳定币USDPT,作为其数字资产战略的一部分。该代...

5 美国收到伊朗谈判新方案

美国已收到伊朗通过巴基斯坦转交的谈判新方案。该方案与黎巴嫩广场电视台稍早前披露的伊...

6 0xbac2...d897:千万规模BTC空头清算压力最大

消息,据HyperInsight监测,持仓千万美元级别的BTC空头阵营中,距强制清算最近的地址为0xbac开头...

7 K Bank与Ripple建立战略合作,测试链上资金

韩国互联网银行K Bank宣布已与Ripple建立战略合作,将利用Ripple全球支付网络和基础设施,验证...

8 疑似HYPE上币内幕:HYPE多单浮盈扩大至5

消息,据HyperInsight监测,HYPE多单浮盈已扩大至580万美元,涨幅达49.03%。当前币价为42.88美元,...

9 Curve创始人提议清理坏账,开放金库代币

消息,吴说获悉,Curve Finance创始人Michael Egorov在Curve治理论坛提交提案称,CRV-Long Llamalend市场在...

10 分析师:比特币ETF周流入达8.23亿美元,投

美国比特币ETF在过去一周的净流入超过8.23亿美元,尽管投资者锁定了54.6亿美元的利润,但仍显...

成都来彰科技 蜀ICP备2025134723号-1

资讯来源互联网,如有版权问题请联系管理员删除。