南洋理工发布 CodeActionBench 具身操作基准

南洋理工大学研究者与合作者发布 CodeActionBench，一个基于 RoboTwin 2.0 和 SAPIEN 构建的双臂机器人操作评测基准，包含 25 个仿真任务。团队对 9 个模型与运行框架配置共进行 675 次尝试，成功率从 2.7% 到 73.3%，其中 GPT-6 Astra 达 73.3%。 评测不进行任务专属微调，也不提供任务示范、专门的感知或抓取模块输出、特权场景状态及预设任务策略。每个任务固定一个场景实例，每个配置在每个任务上尝试三次，共 75 次尝试；七个配置使用 Reference harness，另外两个采用 Claude Code 和 Codex CLI。 评分由独立的隐藏 verifier 检查物理结果，且不返回给 Agent。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。