Snowflake公司推出SwiftKV技术，优化AI模型

时间：2025-01-20 22:44:48

　　Snowflake公布了一项名为“SwiftKV”的AI模型调校技术，并在Hugging Face平台上开源了三款基于此技术调校的Llama 3.1 AI模型。

　　SwiftKV技术的核心在于对模型提示词处理过程的优化。在实际应用中，AI模型处理用户输入的提示词往往是最为消耗计算资源的环节，尤其是当企业为模型自定义了极长的提示词时，这一问题更为突出。据称，这些自定义提示词的长度平均达到了输出生成内容的10倍之多，这无疑给AI模型的运行效率带来了巨大挑战。

　　然而，SwiftKV技术的出现打破了这一困境。据Snowflake介绍，该技术专门针对预制提示词处理进行了优化，不仅突破了传统的键值（Key-Value，KV）缓存压缩技术的限制，还在模型推理过程中引入了模型重组与知识保存自我蒸馏方法。据称，SwiftKV技术可以帮助AI模型降低50%的推理时间，这一成果无疑令人瞩目。

　　在实验验证中，SwiftKV技术的优势得到了充分展现。在优化Llama 3.1的80亿和700亿参数模型后，相应模型的整体吞吐量提升了两倍之多。同时，这些优化后的模型在代码自动补全、文本摘要等方面也表现出色，进一步证明了SwiftKV技术的有效性和实用性。

上一篇：乐道汽车加速布局换电站，将有1200座换电站投入运营返回首页

下一篇：印度总理力推电动汽车制造业，目标到2030年销量增长8倍

热点推荐

1 BIT称贪婪与恐惧指数改善，比特币具备反

消息，据A早期发行in监测，BIT表示，尽管市场空头仓位较重且交易量低迷，但其贪婪与恐惧指...

2 Solana链上非USDCUSDT稳定币供应量达48.1亿美

消息，据Solanafloor监测，Solana链上非USDC/USDT稳定币供应量达到48.1亿美元，创下历史新高，由U...

3 海湾基石石油公司因安全局势变化暂时停

消息，海湾基石石油公司宣布，鉴于地区安全局势变化，作为安全防范措施，已暂时停产。公...

4 LBBW：外国私营投资者再次成为美国国债的

消息，LBBW高级固定收益分析师Elmar Voelker在一份报告中表示，来自私营部门的外国投资者显然已...