跳到正文
新智元· 新智元·· 3 小时前AI 评分74

清华团队开源 Puro-2B:RTX 5090 预训练成本不到 5090 美元

小团队也能预训练!普罗2B:RTX5090训练成本不到5090美元

AI 导读

清华大学陈文光与吕凯风团队推出全流程开源的 Puro-2B(普罗-2B),开源训练数据、框架、配置和模型权重,在 RTX 5090 集群上从头训练约 20 亿参数模型,最多使用 1.4 万亿 token。

来源:新智元 · mp.weixin.qq.com