nanochat 项目训练效率提升，单个节点 2 小时可训出 GPT

时间：2026-03-13 09:19:13

　　消息，ME News 消息，3 月 13 日，近日，作者 karpathy 宣布其项目 nanochat 的训练效率得到显著提升。目前，在单个配备 8 个 H100 GPU 的节点上，训练一个达到 GPT-2 能力水平的模型仅需 2 小时，相比一个月前所需的约 3 小时有所缩短。作者表示，这一提升主要归功于将训练数据集从 FineWeb-edu 切换为 NVIDIA ClimbMix。他曾尝试 Olmo、FineWeb、DCLM 等数据集，但都导致性能下降，而 ClimbMix 则开箱即用，效果很好。此外，作者透露已成功设置 AI 代理来自动迭代优化 nanochat。在最近约 12 小时内，该代理在功能分支上进行了 110 次修改，将 d12 模型的验证损失从 0.862415 降至 0.858039，且未增加实际耗时。作者表示，过去约两周他更多地在优化“元设置”，而非直接修改 nanochat 代码库。

上一篇：PyTorch 介绍 NVIDIA NeMo AutoModel 训练库返回首页

下一篇：新加坡科技投资公司 MetaComp 完成由阿里巴巴领投的 Pre

标准Chartered支持的Anchorpoint已准备推出港元稳定币HKDAP，预计将在7月底前联合宣布。该稳定币将...

2 贝佐斯注资CuspAI探索新材料用于芯片制造

消息，贝佐斯所注资的英国创企CuspAI于周一成立人工智能材料铸造厂联盟，汇聚了逾48家科技巨...

3 Loopring完成L2 NFT返还，发送2046枚至1241个地

消息，吴说获悉，Loopring宣布已完成L2 NFT返还，通过9批以太坊主网交易向1241个一级网络地址发...

4 广发证券刘晨明：近期市场调整受外部因

消息，广发证券策略首席分析师刘晨明表示，近期A股回调主要源于外部输入性因素，属于情绪...

5 比特币现货ETF净流入7567万美元，以太坊净

消息，上周交易日比特币现货ETF净流入7567万美元，以太坊现货ETF净流入1.05亿美元，SOL现货ET...

6 AI杠杆押注担忧加剧，韩股大跌5%