字节豆包推UltraMem架构，降推理成本83%

　　近日，字节跳动豆包大模型团队宣布推出全新稀疏模型架构UltraMem。该架构解决了MoE推理的高额访存问题，推理速度较MoE架构提升2-6倍，推理成本最高降83%。

　　UltraMem具有出色的Scaling特性，实验显示，在同等计算资源下，训练规模达2000万value的UltraMem模型能同时实现领先的推理速度和模型性能。该创新成果已被ICLR 2025接收，为AI领域提供新思路。

　　UltraMem参考PKM设计，但针对其缺陷进行改进，实现更高效访存和优质检索，同时降低显存和部署成本。在降低推理成本和提升速度的同时，UltraMem还保持了模型效果。

　　实验表明，UltraMem在模型效果和推理速度方面均优于MoE和PKM架构。

　　推理成本的降低将助推AI技术在更多领域应用，尤其是资源受限的场景。对于用户而言，UltraMem架构的突破和推理速度的提升可使AI应用响应更迅速，交互更流畅，优化使用体验，提高效率。