研究:AI 编码智能体生成更多代码,但未带来更多软件产出
哈佛大学研究者 Fiona Chen 和 James Stratton 基于 Jellyfish 的聚合分析数据,考察 2021 年至 2026 年 3 月间 700 多家软件开发公司、70 多万名员工的 3 亿条工作事件(如提交和 pull request),发现人工代码审查成为 AI 编码工具整体效率的显著瓶颈。
哈佛大学研究者 Fiona Chen 和 James Stratton 基于 Jellyfish 的聚合分析数据,考察 2021 年至 2026 年 3 月间 700 多家软件开发公司、70 多万名员工的 3 亿条工作事件(如提交和 pull request),发现人工代码审查成为 AI 编码工具整体效率的显著瓶颈。
GitHub 发布 ReviewBench,一个面向 AI 代码审查的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含 19 种语言、187 个开源仓库的 219 个 pull request。
推荐理由:GitHub 公开了代码审查基准的构建方法与离线信号,读者可据此判断评测结果与线上表现的关系。
Multiverse Computing 发布论文《Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs》,提出 QAH 方法:在结构压缩并量化后,直接从压缩前的原始全精度模型蒸馏,而不是从恢复出的 bfloat16 checkpoint 蒸馏。
推荐理由:论文给出压缩加量化后从原始模型蒸馏的修复方案,并附9项基准对比,可看方法差异与代价。
Epoch 与 METR 发布 MirrorCode 基准,用于测试 AI 系统在长周期编程任务上的表现,任务要求仅凭 CLI 访问、在没有源码和网络的情况下重新实现完整程序。
Hugging Face 发布 ScarfBench(Self-Contained Application Refactoring Benchmark),用于评测 AI 智能体在 Spring、Jakarta EE、Quarkus 之间的跨框架迁移能力,包含 34 个应用、102 个框架实现、204 个迁移任务和 1331 个专家测试。