业界
Cerebras推出云端AI服务,速度远超AWS
时间:2024-11-27 15:23
Cerebras公司近日宣布,其专为AI应用设计的第三代晶圆级引擎(WSE-3)芯片打造的云端AI服务Cerebras Inference。
在处理Meta的4,050亿参数大型语言模型Llama 3.1时,每秒可处理969个词元,速度较AWS利用NVIDIA或AMD GPU所打造的云端AI服务快了75倍。
据悉,Cerebras Inference运行Llama 3.1模型的速度是目前全球最快的,比GPT-4快12倍,比Claude 3.5 Sonnet快18倍。而在处理分子动态模拟任务时,单个第二代WSE也比全球排名第二的超级电脑快了768倍,比专为该任务设计的超级电脑Anton 3高出20%。
此外,Cerebras Inference在处理80亿和70亿参数的Llama 3.1模型时,速度是由NVIDIA GPU打造的AWS服务的20倍。
在测试当中,Cerebras Inference也远超其他以GPU打造的AI云端服务,如Fireworks需耗时20秒的西洋棋程序测试,Cerebras Inference只需3秒。
Cerebras表示,其WSE芯片在处理大规模AI模型和复杂计算任务时具有显著优势,将为用户带来前所未有的速度和效率。