跳到主要内容

证据简报

SparDA 用 Forecast 投影选择下一层 KV 块

帖子称 NVIDIA researchers 构建了 SparDA,在 Q、K、V 之外加入 Forecast 投影,用上一层预测下一层所需 KV 块;该变体使解码快1.7x、长推理准确率提高6.5 points。

发布
更新
编辑
Frontline Lab
来源
X
来源作者
@akshay_pachaar
相关主题
1
采集时间
2026-08-13

Frontline Lab 摘要与来源

编辑摘要

帖子称 NVIDIA researchers 构建了 SparDA,在 Q、K、V 之外加入 Forecast 投影,用上一层预测下一层所需 KV 块;该变体使解码快1.7x、长推理准确率提高6.5 points。

这份简报保留原始来源,摘要和编辑判断都可以回到原文独立核验。

来源署名X · @akshay_pachaar

打开原始来源

相关已发布证据

相关关系来自共同主题、实体、分类、标签与社区语境;每条结果仍保留独立来源回链。