跳到正文
10月9日周五
  1. The Verge · AI40

    Instinct 如何对抗 Muse 和 Dots:一款没有 App 的 AI 智能体

    Instinct 是一款仅靠 iMessage、WhatsApp 或邮件交互的 AI 智能体,无 App、无月费,需邀请或等待名单批准,9 月底公司估值达 100 亿美元。面对 OpenAI 的 Muse 和 Dots 竞争,创始人 Noah Shinn 称其专注日常个人助理场景,测试中能完成预约、邮件跟进和 Ikea 退货等任务,但也会漏掉网页弹窗中的关键信息。

10月8日周四
  1. The Decoder82

    Anthropic 发布 Claude Haiku 5.5,价格最高下调 90%

    Anthropic 发布 Claude Haiku 5.5,这是其迄今最快、最便宜的小模型,平均价格比 Haiku 4.5 低约 75%,10 万 token 以内提示词的价格降幅最高达 90%,超过 10 万 token 则贵 5 倍。

    推荐理由:对比 Haiku 4.5 与 GPT-6 Luna 的基准和分档定价,可看清小模型在成本敏感任务上的取舍。

10月7日周三
  1. Hugging Face Blog62

    Nemotron 微调后在 IOI 2026 与 IMO 2026 双双达到金牌水平

    英伟达团队基于 Nemotron 3 通过 SFT、RL 和生成-验证-精炼推理流程,在 IOI 2026 和 IMO 2026 双双达到金牌水平。IOI 2026 中 Nemotron-3-Ultra-CC 得 535.4/600,高于 361.12 的金牌线;IMO 2026 系统得 30/42,高于 29 的官方金牌线。

    推荐理由:原文公开了从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方与数据集,可据此复现领域专家模型。

  2. Latent Space88

    OpenAI 发布内部模型产出的 722 篇数学论文,称解决 500 个公开难题中的 90 个

    OpenAI 在一个公开 GitHub 仓库中发布了内部前沿模型产出的数学成果,称这批 722 篇手稿分为 372 个相关结果族,来自约 4000 个研究问题的评估,平均每个结果消耗约三小时 ChatGPT Pro 的思考算力,模型本身尚未发布。

    推荐理由:OpenAI 用内部数学模型的 722 篇论文给出算力与验证方式,读者可据此判断 AI 做数学的当前边界。

  3. Simon Willison30

    Mistral Large 4

    Simon Willison 用同一提示词测试 Mistral Large 4 生成 SVG 的能力,与 Claude Opus 5.5、GPT-6.1-sol、Gemini 3.8 Flash 对比,提示词为"穿渔网袜的犰狳在火星乱穿马路"。各模型均使用默认推理等级。

  4. Microsoft Research22

    Microsoft 研究员 Jennifer Neville:AI 评测如何暴露模型的“意外失败”

    Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。

10月6日周二
  1. Simon Willison22

    Qwen3.8 27B 用英文单词做加法的基准测试

    本地 Qwen3.8-27B-Q4_K_M.gguf 在禁用推理时用英文单词做加法仅得 23.57% 数值准确率,格式合规率 96.17%,一至三位数操作数准确率 97.04%,十至十三位数骤降至 6.44%。启用推理后 169 次配对测试答对 167 次,但每次仅跑一个样本。该实验在 DGX Spark 上复现 GPT-4o 的单词加法测试。

  2. GitHub Blog · AI & ML62

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含 19 种语言、187 个开源仓库的 219 个 pull request。

    推荐理由:GitHub 公开了代码审查基准的构建方法与离线信号,读者可据此判断评测结果与线上表现的关系。

10月3日周六
10月2日周五
9月30日周三
9月29日周二
  1. Simon Willison82

    Anthropic 发布 Claude Sonnet 5.5

    Anthropic 发布新 Sonnet 模型 Claude Sonnet 5.5,官方称其运行速度快 30% 以上、多数工作成本最多降低 30%,定价与 Sonnet 5 相同但在各项基准上均优于 Sonnet 5。

    推荐理由:作者用同一组鹈鹕提示词实测新 Sonnet,并对比免费层与 ChatGPT 的能力差异。

9月23日周三
9月22日周二
9月16日周三
  1. Hugging Face Blog66

    IBM 研究提出 ALTK-Evolve 一致性指南:把智能体一致性差距从 24.4pp 降到 12.0pp

    IBM 研究团队在 ALTK-Evolve 中新增一致性指南(consistency guidelines)与 Consistency Analyzer,用于诊断并减少智能体在重复运行中的结果波动。

    推荐理由:原文给出 Pass^k 与一致性差距的量化诊断方法,并展示把差距减半的实测结果,可迁移到智能体可靠性评估。

9月2日周三
  1. Hugging Face Blog31

    Hugging Face 推出 BenchMIRT:LLM 基准测试究竟在测什么?

    Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的新方法,基于多维项目反应理论(MIRT),在 100 个 LLM、16 个基准、超 34K 道题上训练。它未被告知各基准测什么,却自行识别出安全与通用推理两个主导维度,并发现 BBQ、WMDP 等基准的得分更多与通用推理相关而非安全。

8月28日周五
8月21日周五
8月17日周一
8月13日周四
  1. Microsoft Research39

    MindTopo:微软推出评估多模态模型拓扑推理能力的新基准

    微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、分离、顺序、包围和绳结五类拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上明显强于交互式规划任务,失败多发生在规划阶段而非感知阶段,且图像与视频生成工具在跨多步动作中维持拓扑关系并不可靠。

8月4日周二
  1. Microsoft Research71

    微软研究院开源 Orchard:可扩展智能体 AI 框架

    微软研究院发布开源框架 Orchard,核心是 Orchard Env 这一可复用的 Kubernetes 环境服务,支持软件工程、网页导航和个人助理三类智能体,并可直接在 Codex、OpenClaw、ZeroClaw 等真实部署框架内训练。

    推荐理由:微软研究院开源 Orchard 框架,读者可了解其环境服务如何让同一套基础设施训练软件工程、网页导航与个人助理三类智能体。

7月27日周一
7月15日周三
7月6日周一
7月1日周三
6月30日周二
6月15日周一
5月4日周一
4月14日周二
  1. Google Research48

    Google 推出 Vantage:用生成式 AI 评估未来技能

    Google 在 Google Labs 上线研究实验 Vantage,用生成式 AI 构建模拟对话环境,评估高中与大学生面向未来的技能,目前提供英文版并可注册。Vantage 与纽约大学合作开发,由 Executive LLM 动态引导对话、AI Evaluator 依据评分量表打分,在 188 名 18-25 岁美国测试者中,AI 评分与人类专家评分的一致性接近两位专家评分者之间的一致性。

4月3日周五
4月1日周三