机器之心·· 4 小时前AI 评分55
小红书 Dots 团队提出 DoSA,将百万 token 上下文首 token 延迟减半
提速不降智,小红书DoSA将首token延迟减半
AI 导读
小红书 Dots 团队自研的 DoSA 通过分数上下界加速稀疏注意力中的索引器,在保持原始 Top-K 选择结果的前提下提前过滤约 97% 的候选。在约 1M token 上下文下,Dots3-Note-preview、GLM-5.2 和 DeepSeek-V3.2 的首 token 延迟较各自 SGLang 基线分别降低约 37%、46% 和 48%。
来源:机器之心 · mp.weixin.qq.com