头条
d-Matrix推出AI芯片Corsair,无需GPU与HBM辅助加速推论
时间:2024-11-26 16:26
近日,硅谷AI芯片新创d-Matrix宣布推出Corsair处理器,专为聊天机器人、影片生成器等AI应用设计,无需GPU和高带宽存储器(HBM)辅助,即可加速服务器AI推论效能。Corsair芯片样本已交付客户测试,预计2025年量产出货。
Corsair芯片专为执行AI推论任务设计,适合用于训练后的AI模型处理任务。与NVIDIA等芯片大厂推出的AI芯片辅助不同,Corsair可在单一芯片上同时处理众多用户指令,持续应对用户新要求或修改调整内容。
Corsair在单一服务器中80亿参数的Llama3模型,能以每词元(Token)耗时1毫秒(ms)的运算速度,提供每秒处理60,000个Token的效能。而在单一机架中700亿参数的Llama3模型,能提供每秒处理30,000个Token的效能。Corsair具有效能、耗能效率和成本优势。
d-Matrix表示,AI发展的下一步将是人工智能代理(AI Agent)与交互式影片生成的应用出现,Corsair利用小芯片封装、紧密整合存储器及运算,再加上Aviator解决方案堆叠,为AI研发人员提供更多辅助。