DeepMind研究员推测DeepSeekV4延期原因：训练数据翻倍至33T引发严重不稳定

时间：2026-04-24 15:30:57

　　消息，DeepMind研究员Susan Zhang推测，DeepSeek V4的延期原因是训练数据翻倍至33T引发的严重不稳定性。根据V4技术报告，V4-Flash和V4-Pro分别在32T和33T tokens上预训练，较V3的约15T tokens翻倍。报告坦承训练过程中遭遇了显著的不稳定性挑战，loss spike反复出现，根源在于MOE层的异常值，路由机制本身还会加剧这些异常值，简单回滚无法根治。DeepSeek找到两个方案并已应用于实际训练：预见性路由，将路由索引计算与主干网络更新解耦，仅在检测到loss spike时自动触发，额外开销约20%Swiglu clamping，将激活值钳位到固定范围直接压制异常值。报告称两者均有效，但承认底层原理尚未充分理解。

上一篇：伊朗战争重创聚酯供应商，或提高Zara和HM等快时尚零售商的成本返回首页

下一篇：比特币ETF在过去5个交易日吸纳18991 BTC

热点推荐

1 Circle与Nomura合作，计划明年在日本推出跨

消息，Circle与Nomura合作，计划最早于明年在日本推出跨境货币兑换结算服务，目标瞄准4400亿美...

2 Glassnode：近1180万比特币处于亏损，创历史

消息，据Glassnode数据显示，随着比特币价格跌至59,100美元，近10.83万枚比特币现已处于亏损状态...

3 Notion公测Claude与Cursor智能体：看板直接派

消息，Notion宣布在business与enterprise计划中公测外部智能体平台，支持将Anthropic旗下Claude和AI编程...

4 日本SBI收购Bitbank，打造680亿美元加密交易

消息，日本SBI控股公司宣布收购Bitbank，交易金额为467亿日元。此次合并后，SBI将持有约1.1万亿...

5 WTI原油期货日内跌幅达2.00%，现报68.93美元