Baseten推出KV缓存压缩方案Still：单次前向传播压缩最高200倍

时间：2026-06-12 19:09:37

　　消息，Baseten研究团队发布KV缓存压缩方法Still，通过冻结基座模型参数并训练轻量级perceiver压缩器，实现单次前向传播中最高200倍的KV缓存压缩，无需在线优化。现有KV压缩方法分为两类：一类从原始token中筛选重要缓存，另一类生成新缓存但需在线优化。Still采用摊销合成思路，在transformer每层加入约1%基座模型参数的perceiver压缩器，通过隐式查询对KV缓存执行交叉注意力，生成新的压缩KV缓存。在Qwen与Gemma模型测试中，Still在8k至64k上下文、8至200倍压缩率范围内保持高准确率，并在长上下文基准Ruler中超越snapkv、h2o和kv-distill等方法，matched-training任务中领先kv-distill约8至22个百分点。压缩后的缓存在多文档摘要测试中恢复74%至95%的全上下文性能增益。

上一篇：香港按12亿港元发行全球最大数字债券返回首页

下一篇：伊通社：海峡既不移交管理权，也不赋予美国角色

热点推荐

1 LAB热度上升，24h成交量放大至近7日平均水

消息，据a早期发行in监测，LAB过去24小时成交量放大至近7日平均水平的3.9倍，价格累计下跌5...

2 阿里巴巴新AI模型称仅次于Anthropic的Fabl

消息，阿里巴巴宣布其新AI模型Qwen3.8 Max的参数量达到2.4万亿，声称在领先的前沿AI模型中仅次...

3 Solana网络单日收入重回区块链榜首，为近

消息，据Solanafloor数据，Solana在7月18日的网络收入位居所有区块链第一，这是近五个月以来的首...

4 Nouriel Roubini：AI可能迫使政府采用普遍基

消息，Nouriel Roubini在接受Bloomberg TV采访时警告，人工智能的快速发展可能迫使各国政府选择普...

5 A股三大股指走低，深证成指跌2%