推荐
IBM宣布CPO技术突破:以光速加速AI训练
时间:2024-12-13 12:00
近日,IBM推出了一种新型的共封装光学技术(CPO),该技术能够利用光速在数据中心内部实现高速连接,从而替代传统的铜电缆。这一创新技术不仅提高了数据中心的通信带宽,还显著减少了GPU加速器的闲置时间,加速了AI模型的训练速度,并大幅节省了能源。
IBM发布的技术论文详细阐述了CPO技术的原理和应用。尽管光纤技术已在全球商业和通信领域广泛应用,但大多数数据中心内部仍依赖铜电缆进行短距离通讯。这导致了GPU加速器在训练AI模型时的闲置和能源浪费。而CPO技术的引入,则解决了这一问题,使得数据中心内部的通信更加高效。
IBM高级副总裁兼研究总监Dario Gil表示,由于生成式AI对能源和处理能力的需求不断增加,数据中心必须不断发展以适应这一趋势。CPO技术的突破,使得未来的芯片能够像光纤电缆一样进行数据传输,开启了一个更快、更可持续的通信新时代,能够处理未来的AI工作负载。
据IBM计算,CPO技术的应用将使大型语言模型(LLM)的训练时间从三个月缩短到三周,同时降低能源使用量,减少与训练LLM相关的成本。换算成发电量,训练AI模型时节省的能源相当于5000个美国家庭的年度能源使用量。