清华 MADSys 与趋境科技开源 KT-FT 微调方案
热点事件持续更新
清华 MADSys 与趋境科技开源 KT-FT 微调方案
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
清华大学 MADSys 实验室与趋境科技提出 KTransformers-FineTune(KT-FT),并联合 LlamaFactory 团队开源。该方案让 CPU 用留在主存中的权重直接完成 MoE 专家计算,GPU 负责注意力模块,实现 CPU/GPU 协同微调。 据发布方称,KT-FT 的吞吐达到传统卸载范式的 2.5~21.2 倍,并已作为执行后端接入 LlamaFactory,开发者可沿用原有微调流程,按官方指南完成硬件检查、配置选择和微调;发布方还称其实现了同等硬件条件下 LoRA 微调与推理的一键执行。
AI 根据报道生成 · 1 小时前更新
最新进展10月16日 14:18
清华 MADSys 与趋境科技发布 KT-FT:让 CPU 直接参与 MoE 微调计算报道时间线
沿着报道,了解事件的不同侧面。
10月16日
- 机器之心清华 MADSys 与趋境科技发布 KT-FT:让 CPU 直接参与 MoE 微调计算
清华大学 MADSys 实验室与趋境科技提出 KTransformers-FineTune(KT-FT),联合 LlamaFactory 团队开源,让 CPU 用留在主存中的权重直接完成 MoE 专家计算,GPU 负责注意力模块。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。