已发布集合

OlmPool 显示四项架构选择削弱长上下文

研究提示短上下文验证可能漏掉长上下文退化，影响模型架构取舍。

已发布证据

每条内容都保留摘要，并提供回到来源语境的路径。

X2026-08-12

@dair_ai 称，Ai2、Carnegie Mellon 和 University of Washington 研究归一化、GQA、预训练上下文长度和滑动窗口注意力，发现组合三项以上会显著降低长上下文性能，并发布 OlmPool。