跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

12 条精选近 30 天 9 条共收录 42 条

更新

评测基准的精选

10月8日周四第 1–12 条
  1. The Decoder82

    Anthropic 发布 Claude Haiku 5.5,价格最高下调 90%

    Anthropic 发布 Claude Haiku 5.5,这是其迄今最快、最便宜的小模型,平均价格比 Haiku 4.5 低约 75%,10 万 token 以内提示词的价格降幅最高达 90%,超过 10 万 token 则贵 5 倍。

    推荐理由:对比 Haiku 4.5 与 GPT-6 Luna 的基准和分档定价,可看清小模型在成本敏感任务上的取舍。

10月7日周三
  1. Hugging Face Blog62

    Nemotron 微调后在 IOI 2026 与 IMO 2026 双双达到金牌水平

    英伟达团队基于 Nemotron 3 通过 SFT、RL 和生成-验证-精炼推理流程,在 IOI 2026 和 IMO 2026 双双达到金牌水平。IOI 2026 中 Nemotron-3-Ultra-CC 得 535.4/600,高于 361.12 的金牌线;IMO 2026 系统得 30/42,高于 29 的官方金牌线。

    推荐理由:原文公开了从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方与数据集,可据此复现领域专家模型。

  2. Latent Space88

    OpenAI 发布内部模型产出的 722 篇数学论文,称解决 500 个公开难题中的 90 个

    OpenAI 在一个公开 GitHub 仓库中发布了内部前沿模型产出的数学成果,称这批 722 篇手稿分为 372 个相关结果族,来自约 4000 个研究问题的评估,平均每个结果消耗约三小时 ChatGPT Pro 的思考算力,模型本身尚未发布。

    推荐理由:OpenAI 用内部数学模型的 722 篇论文给出算力与验证方式,读者可据此判断 AI 做数学的当前边界。

10月6日周二
  1. GitHub Blog · AI & ML62

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含 19 种语言、187 个开源仓库的 219 个 pull request。

    推荐理由:GitHub 公开了代码审查基准的构建方法与离线信号,读者可据此判断评测结果与线上表现的关系。

9月29日周二
  1. Simon Willison82

    Anthropic 发布 Claude Sonnet 5.5

    Anthropic 发布新 Sonnet 模型 Claude Sonnet 5.5,官方称其运行速度快 30% 以上、多数工作成本最多降低 30%,定价与 Sonnet 5 相同但在各项基准上均优于 Sonnet 5。

    推荐理由:作者用同一组鹈鹕提示词实测新 Sonnet,并对比免费层与 ChatGPT 的能力差异。

9月23日周三
9月16日周三
  1. Hugging Face Blog66

    IBM 研究提出 ALTK-Evolve 一致性指南:把智能体一致性差距从 24.4pp 降到 12.0pp

    IBM 研究团队在 ALTK-Evolve 中新增一致性指南(consistency guidelines)与 Consistency Analyzer,用于诊断并减少智能体在重复运行中的结果波动。

    推荐理由:原文给出 Pass^k 与一致性差距的量化诊断方法,并展示把差距减半的实测结果,可迁移到智能体可靠性评估。

8月21日周五
8月4日周二
  1. Microsoft Research71

    微软研究院开源 Orchard:可扩展智能体 AI 框架

    微软研究院发布开源框架 Orchard,核心是 Orchard Env 这一可复用的 Kubernetes 环境服务,支持软件工程、网页导航和个人助理三类智能体,并可直接在 Codex、OpenClaw、ZeroClaw 等真实部署框架内训练。

    推荐理由:微软研究院开源 Orchard 框架,读者可了解其环境服务如何让同一套基础设施训练软件工程、网页导航与个人助理三类智能体。

7月15日周三