小红书Dots团队提出DoSA加速稀疏注意力

小红书 Dots 团队提出并开源稀疏注意力索引器加速方法 DoSA：它利用分数上下界提前排除候选，团队称在保持原始 Top-K 选择结果不变的前提下过滤了约 97% 的候选。只有当得分上界严格低于门槛下界时，候选才会被排除。 在约 1M token 上下文下，Dots3-Note-preview、GLM-5.2 和 DeepSeek-V3.2 的首 token 延迟较各自 SGLang 基线分别降低约 37%、46% 和 48%。由于主注意力和前馈层等计算仍需执行，端到端首 token 延迟的加速比低于索引器本身的加速比。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。