港科大与华为提出BalanceRoute推理负载均衡方法

香港科技大学周子杰团队与华为2012实验室理论部联合提出BalanceRoute，通过数学建模刻画MoE模型解码中的跨组同步等待，将短期负载预测转化为在线路由决策。 在论文的96卡主实验中，采用实际预测器的BR-H相对所比较的最强基线，解码吞吐提升约15%。该主实验使用96张昇腾910C NPU运行DeepSeek-V3 671B（W8A8），包含8个解码工作单元；单轮调度耗时中位数1.20毫秒、99%分位2.77毫秒，低于约60毫秒的单步解码时间预算。 该工作已被NeurIPS 2026接收，并已部署于双方共建的MaaS推理服务系统MathBot-Pie。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。