清华团队开源Puro-2B预训练方案

清华大学陈文光、吕凯风团队发布全流程开源的Puro-2B（普罗-2B）预训练方案，开源训练数据、框架、配置和模型权重。团队在消费级显卡RTX 5090集群上从头训练约20亿参数模型，最多使用1.4万亿token。 据团队称，以约4400美元的预训练计算成本，该模型在15项任务平均指标上超过Qwen2-1.5B；6900美元成本的最佳版本平均性能接近Qwen2.5-1.5B。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。