头条
Arm与阿里巴巴达成深度合作,推动端侧多模态AI性能提升
时间:2025-03-05 23:12
近日,Arm宣布与阿里巴巴淘天集团继续深化合作,推出了基于Arm KleidiAI的集成技术,成功实现了阿里巴巴通义千问Qwen2-VL-2B-Instruct模型在搭载Arm CPU的移动设备上的运行。这一创新不仅优化了端侧设备的多模态AI工作负载,更在图像理解、文本生成以及多语言生成的多模态推理中取得了显著成果。
在2025年世界移动通信大会(MWC)上,Arm展示了这一合作的技术突破。演示中,Qwen2-VL-2B-Instruct模型展现了其在智能手机上的应用,能够结合视觉与文本输入,精准提炼图像内容并生成丰富的描述。此次演示使用了搭载MediaTek天玑9400移动系统芯片的设备,彰显了该技术在实际应用中的强大能力。
Arm产品管理高级总监Stefan Rosinger表示,随着多模态AI模型的快速发展,如何在硬件资源有限的端侧设备上高效部署这些模型成为一大挑战。通过KleidiAI的引入,Arm成功为AI推理工作负载提供了优化性能,解决了电力和内存的限制,并有效提升了AI模型的响应速度和计算效率。
得益于KleidiAI与MNN框架的结合,Qwen2-VL-2B-Instruct模型的预填充和解码性能分别提升了57%和28%,为阿里巴巴的应用程序带来了更流畅的用户体验。此举不仅推动了AI工作负载在端侧设备的高效处理,也为开发者提供了一个性能显著提升的解决方案,进一步加速了边缘计算领域的AI发展。