机器之心·2026-10-16 11:23· 4 小时前AI 评分36

港科大与华为提出 BalanceRoute：破解大模型推理跨组同步等待，解码吞吐提升约 15%

卡加了，吞吐为何没跟上？大模型推理中的等待，有了新解法

AI 导读

香港科技大学周子杰团队与华为 2012 实验室理论部联合提出 BalanceRoute，通过数学建模刻画 MoE 模型解码中的跨组同步等待，将短期负载预测转化为在线路由决策。

来源：机器之心 · mp.weixin.qq.com