快讯
AI巨头竞相采用“蒸馏”技术:低成本模型的崛起与挑战
随着人工智能技术的快速发展,全球领先的AI公司,包括OpenAI、微软和Meta,正在纷纷采用一种名为“蒸馏”的技术,以创建更低成本、更高效的AI模型。这一技术的核心是通过一个大型的“教师”模型生成数据,训练一个小型的“学生”模型,从而将大型模型的知识快速转移,以实现更低的成本和更快的运行速度。
“蒸馏技术非常神奇。”OpenAI平台产品负责人Olivier Godement表示,这一过程能够将大型智能模型的能力传授给小型模型,使其在特定任务上表现出色,同时大幅降低运行成本。例如,OpenAI的GPT-4等大型语言模型需要巨额的开发和维护成本,但通过蒸馏,开发者可以在笔记本电脑或智能手机上快速运行其功能。
在中国,DeepSeek利用蒸馏技术基于开源系统构建了高效的人工智能模型,这一成就引起了全球的关注。然而,这也引发了对硅谷AI领导地位的质疑,甚至导致华尔街对美国大型科技股的信心受挫。蒸馏技术的普及,使得初创企业能够以更低的成本快速构建基于该技术的应用程序,这对传统AI巨头的商业模式构成了挑战。
尽管蒸馏模型在性能上可能不如大型模型,但它们在特定场景下表现出色。例如,IBM研究院的David Cox指出,大多数企业并不需要庞大的模型来运行产品,蒸馏模型已足够用于客服聊天机器人或在小型设备上运行。不过,大型模型仍将在高风险任务中发挥关键作用,因为这些任务需要更高的准确性和可靠性。
此外,蒸馏技术也引发了关于AI技术竞争的新思考。当大型语言模型的能力可以在几个月内被快速复制时,这意味着企业即使投入巨额资金开发大型模型,也可能很快被竞争对手赶超。这不仅对AI公司的商业模式提出了挑战,也让开源模式的优势更加凸显。Meta的首席AI科学家Yann LeCun表示,开源理念意味着开发者可以从全球技术进步中受益,而蒸馏技术正是这一理念的体现。