清华团队推出OSWorld-Science科研智能体基准

清华大学研究团队牵头，联合多所海内外高校研究者推出 OSWorld-Science——一个面向真实科研场景的计算机使用智能体评测基准及配套基础设施。该基准包含 146 项专家设计的任务，覆盖 7 大科学领域、14 种科研软件配置。 研究团队用这 146 项任务测评了 12 个视觉语言模型，其中 Claude Fable 5.1 以 73.7% 的平均任务得分领先。 参与机构包括清华大学、加州大学洛杉矶分校、耶鲁大学、卡内基梅隆大学、加州大学伯克利分校、斯坦福大学、浙江大学、香港大学、东京大学等，并获得 Kimi、Z.ai、Alibaba 等公司基础模型部门的支持。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。