兴中资讯

推荐

ARM架构CPU实现AI任务处理,拓展AI应用新领域

时间:2024-12-19 15:30

  随着人工智能技术的快速发展,GPU与NPU的需求日益增长。然而,ARM架构CPU如今已逐渐具备处理AI工作任务的能力,无需搭配GPU和NPU。

  据Android Authority报道,使用ARM v8、v9、Cortex-A、Cortex-X或Neoverse技术的CPU,因支持更强大的矩阵乘法效能,已具备运行加速机器学习工作的能力。

  此外,ARM的Neon技术、可扩充矢量扩充(SVE)以及可扩充矩阵扩充(SME)等指令集,也让CPU能够执行加入矩阵运算的工作。

  ARM的Kleidi技术进一步提升了移动设备和服务器用ARM平台的AI处理能力。该技术涵盖一系列资源与合作协定,包括高效能的机器学习核心数据库KleidiAI,可协助优化采用各类硬件加速器的ARM架构CPU,支持从传统机器学习到生成式AI的各种任务。

  如今,开发人员只需使用ARM架构CPU,就能将大型语言模型轻松部署至手机或其他边缘装置上,无需GPU、NPU或云端辅助。

  ARM架构运行的AI模型还具备可移动、可扩充的特性,只需进行一次优化,即可部署至各类不同平台,无需另行修改设定,为开发人员带来了更多便利。