Snowflake公司推出SwiftKV技术，优化AI模型

时间：2025-01-20 22:44:48

　　Snowflake公布了一项名为“SwiftKV”的AI模型调校技术，并在Hugging Face平台上开源了三款基于此技术调校的Llama 3.1 AI模型。

　　SwiftKV技术的核心在于对模型提示词处理过程的优化。在实际应用中，AI模型处理用户输入的提示词往往是最为消耗计算资源的环节，尤其是当企业为模型自定义了极长的提示词时，这一问题更为突出。据称，这些自定义提示词的长度平均达到了输出生成内容的10倍之多，这无疑给AI模型的运行效率带来了巨大挑战。

　　然而，SwiftKV技术的出现打破了这一困境。据Snowflake介绍，该技术专门针对预制提示词处理进行了优化，不仅突破了传统的键值（Key-Value，KV）缓存压缩技术的限制，还在模型推理过程中引入了模型重组与知识保存自我蒸馏方法。据称，SwiftKV技术可以帮助AI模型降低50%的推理时间，这一成果无疑令人瞩目。

　　在实验验证中，SwiftKV技术的优势得到了充分展现。在优化Llama 3.1的80亿和700亿参数模型后，相应模型的整体吞吐量提升了两倍之多。同时，这些优化后的模型在代码自动补全、文本摘要等方面也表现出色，进一步证明了SwiftKV技术的有效性和实用性。

上一篇：乐道汽车加速布局换电站，将有1200座换电站投入运营返回首页

下一篇：印度总理力推电动汽车制造业，目标到2030年销量增长8倍

热点推荐

1 某巨鲸在HyperLiquid以25倍杠杆做空6914枚E

消息，据Onchain Lens监测，一名巨鲸向HyperLiquid存入约50万美元，以25倍杠杆开设6914枚ETH空头仓位...

2 Vitalik Buterin：对AI发展速度存在巨大不确

消息，以太坊联合创始人Vitalik Buterin表示，他对AGI/ASI发展速度仍存在巨大不确定性，不确定未...

3 稳定币发行量减少139亿美元，Tron链USDT却

消息，最近几个月，由于加密市场整体行情萎靡，USDT和USDC两大头部稳定币的发行量减少了约...

4 特朗普再次发出警告：若伊朗企图暗杀我

消息，美国总统特朗普：1000枚导弹已锁定目标并瞄准伊朗，如果伊朗政府敢对其在全球多地扬...