谷歌TurboQuant：3bit量化KV缓存无精度损失，推理最高快8倍

时间：2026-03-25 11:01:33

　　消息，据 1M AI News 监测，谷歌研究院发布量化压缩算法 TurboQuant，可将大语言模型的 KV 缓存压缩至 3 bit，内存占用缩减至少 6 倍，无需训练或微调，不损失模型精度。4 bit 模式下，在英伟达 H100 GPU 上计算注意力的速度较 32 bit 未量化基线倍。研究团队在 LongBench、Needle In A Haystack、ZeroSCROLLS 等长上下文基准上用 Gemma 和 Mistral 模型验证，TurboQuant 在所有测试中均达到最优表现。该算法由两个子算法组成：PolarQuant 通过极坐标变换消除传统量化方法的内存开销，QJL 仅用 1 bit 校正残余误差。该研究由谷歌研究院 Amir Zandieh 和副总裁兼 Google Fellow Vahab Mirrokni 主导，与韩国 KAIST 和纽约大学合作完成，将在 ICLR 2026 上发表。谷歌表示该技术的主要应用之一是解决 Gemini 等模型的 KV 缓存瓶颈。

上一篇：Claude Code 新增自动模式功能返回首页

下一篇：亚太市场承接「特朗普利好」，金银、原油趋势放大，股市普涨

热点推荐

1 BIT称贪婪与恐惧指数改善，比特币具备反

消息，据A早期发行in监测，BIT表示，尽管市场空头仓位较重且交易量低迷，但其贪婪与恐惧指...

2 Solana链上非USDCUSDT稳定币供应量达48.1亿美

消息，据Solanafloor监测，Solana链上非USDC/USDT稳定币供应量达到48.1亿美元，创下历史新高，由U...

3 海湾基石石油公司因安全局势变化暂时停

消息，海湾基石石油公司宣布，鉴于地区安全局势变化，作为安全防范措施，已暂时停产。公...

4 LBBW：外国私营投资者再次成为美国国债的

消息，LBBW高级固定收益分析师Elmar Voelker在一份报告中表示，来自私营部门的外国投资者显然已...

5 阿里巴巴推出Qwen3.8 Max AI模型，全球排名