热点
字节跳动开源MoE技术,助力AI训练效率大幅提升
时间:2025-03-12 10:24
近日,字节跳动旗下豆包大模型团队宣布了一项重大技术突破——成功优化混合专家(MoE)架构,并将此技术成果慷慨开源,与全球AI社区共享。
据悉,这项创新技术将大模型的训练效率提升了约1.7倍,同时显著降低了40%的训练成本。
这一成果在字节跳动的万卡集群训练中得到了验证,内部数据显示,该技术已帮助节省数百万GPU小时的训练算力,充分展现了其高效性和实用性。
豆包大模型团队表示,开源这一技术是为了推动整个AI社区在模型训练效率方面的共同进步。他们希望通过分享这一宝贵资源,为更多研究者和开发者提供支持,加速AI技术的创新与应用。
此外,字节跳动在AI领域的投入持续加大。有消息称,该公司今年计划斥资高达400亿人民币购买AI芯片,以进一步加强其在AI技术领域的实力和竞争力。
随着这项开源技术的推出,字节跳动再次展示了其在AI技术研发领域的领先地位,为全球AI社区的发展注入了新的活力和动力。