机器之心·· 3 小时前AI 评分71
清华 MADSys 与趋境科技发布 KT-FT:让 CPU 直接参与 MoE 微调计算
别再让计算等着搬权重了!KTransformers让CPU直接参与MoE微调计算
AI 导读
清华大学 MADSys 实验室与趋境科技提出 KTransformers-FineTune(KT-FT),联合 LlamaFactory 团队开源,让 CPU 用留在主存中的权重直接完成 MoE 专家计算,GPU 负责注意力模块。
来源:机器之心 · mp.weixin.qq.com