跳到正文
新智元· 新智元·· 2 天前AI 评分38

注意力也是FFN?北邮MiTA用快权重视角重构高效注意力,已被NeurIPS 2026接收

注意力也是FFN?从快权重出发,重新理解高效注意力 |NeurIPS'26

AI 导读

北京邮电大学团队提出Mixture-of-Top-k Attention(MiTA),将注意力机制展开为快权重FFN,并据此设计可变形、可复用的Top-k专家,该工作已被NeurIPS 2026接收且代码已开源。

来源:新智元 · mp.weixin.qq.com