字节 Seed 论文解释 DeepSeek 长上下文「抽风」：分块 KV 压缩带来相位敏感性，检索准确度最多相差 40 个百分点
字节 Seed 团队今年 9 月底在 arXiv 提交论文，研究分块 KV 缓存压缩带来的相位敏感性。该研究评估了基础版和后训练版的 DeepSeek-V4-Flash 和 DeepSeek-V4-Pro，以及后训练后的 DeepSeek-V4.1-Flash。这类压缩以固定步幅把连续标记的窗口压缩为更少的缓存条目，能降低长上下文推理的内存和注意力成本，但也引入了 Token 相位这一新的位置坐标。团队发现采用这种压缩的模型存在系统性不对称：相同信息在一个阶段很容易检索、在另一个阶段却很难检索，这种检索性能的周期性变化被称作相位敏感性；在采用此类压缩的大型开放权重模型中，长上下文检索准确度在各阶段之间可能相差高达 40 个百分点。