跳到正文
机器之心·· 3 小时前AI 评分71

清华 MADSys 与趋境科技发布 KT-FT:让 CPU 直接参与 MoE 微调计算

别再让计算等着搬权重了!KTransformers让CPU直接参与MoE微调计算

AI 导读

清华大学 MADSys 实验室与趋境科技提出 KTransformers-FineTune(KT-FT),联合 LlamaFactory 团队开源,让 CPU 用留在主存中的权重直接完成 MoE 专家计算,GPU 负责注意力模块。

来源:机器之心 · mp.weixin.qq.com