已发布集合

SparDA 用 Forecast 投影选择下一层 KV 块

该方法针对长上下文推理中的 KV cache 选择成本，可能改善稀疏注意力效率。

已发布证据

每条内容都保留摘要，并提供回到来源语境的路径。

X2026-08-12

帖子称 NVIDIA researchers 构建了 SparDA，在 Q、K、V 之外加入 Forecast 投影，用上一层预测下一层所需 KV 块；该变体使解码快1.7x、长推理准确率提高6.5 points。