Alexa Plus 评测:智能家居更强了,但当私人助理还不够格
Alexa Plus 是目前最好的智能家居语音助手,能理解"我冷了"这类模糊指令,天气、计时等响应从 2025 年的 10-15 秒缩短到 3-5 秒,还能上传食谱照片边做饭边对话。但它的私人助理功能仍不成熟,Echo Show 上的全屏广告严重破坏体验,作者建议想避开广告可选 Echo Dot Max。
Alexa Plus 是目前最好的智能家居语音助手,能理解"我冷了"这类模糊指令,天气、计时等响应从 2025 年的 10-15 秒缩短到 3-5 秒,还能上传食谱照片边做饭边对话。但它的私人助理功能仍不成熟,Echo Show 上的全屏广告严重破坏体验,作者建议想避开广告可选 Echo Dot Max。
Instinct 是一款仅靠 iMessage、WhatsApp 或邮件交互的 AI 智能体,无 App、无月费,需邀请或等待名单批准,9 月底公司估值达 100 亿美元。面对 OpenAI 的 Muse 和 Dots 竞争,创始人 Noah Shinn 称其专注日常个人助理场景,测试中能完成预约、邮件跟进和 Ikea 退货等任务,但也会漏掉网页弹窗中的关键信息。
AI 模型众包排行榜 Arena 完成 2 亿美元 B 轮融资,估值 31 亿美元,由 Lightspeed Venture Partners 和 Khosla Ventures 领投,Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicis 等参投。
Anthropic 发布 Claude Haiku 5.5,这是 Haiku 系列约一年来的首次更新,定价与 OpenAI 的 GPT-6 Luna 持平,官方称其平均运行成本比 Haiku 4.5 低约 75%。
推荐理由:汇总了 Haiku 5.5 的定价、第三方评测与 token 消耗数据,便于判断小模型在智能体工作流中的成本取舍。
Anthropic 发布 Claude Haiku 5.5,这是其迄今最快、最便宜的小模型,平均价格比 Haiku 4.5 低约 75%,10 万 token 以内提示词的价格降幅最高达 90%,超过 10 万 token 则贵 5 倍。
推荐理由:对比 Haiku 4.5 与 GPT-6 Luna 的基准和分档定价,可看清小模型在成本敏感任务上的取舍。
英伟达团队基于 Nemotron 3 通过 SFT、RL 和生成-验证-精炼推理流程,在 IOI 2026 和 IMO 2026 双双达到金牌水平。IOI 2026 中 Nemotron-3-Ultra-CC 得 535.4/600,高于 361.12 的金牌线;IMO 2026 系统得 30/42,高于 29 的官方金牌线。
推荐理由:原文公开了从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方与数据集,可据此复现领域专家模型。
OpenAI 在一个公开 GitHub 仓库中发布了内部前沿模型产出的数学成果,称这批 722 篇手稿分为 372 个相关结果族,来自约 4000 个研究问题的评估,平均每个结果消耗约三小时 ChatGPT Pro 的思考算力,模型本身尚未发布。
推荐理由:OpenAI 用内部数学模型的 722 篇论文给出算力与验证方式,读者可据此判断 AI 做数学的当前边界。
Simon Willison 用同一提示词测试 Mistral Large 4 生成 SVG 的能力,与 Claude Opus 5.5、GPT-6.1-sol、Gemini 3.8 Flash 对比,提示词为"穿渔网袜的犰狳在火星乱穿马路"。各模型均使用默认推理等级。
Mistral 发布 Mistral Large 4 预览版,这是一个 1 万亿参数、490 亿激活参数的模型,在自有 3,800 块 NVIDIA Grace Blackwell GPU 集群上训练,目前通过其 API 提供。
Google 发布图像生成与编辑模型 Nano Banana 2.1,取代 2026 年 2 月发布的 Nano Banana 2,官方称其在各方面均有提升。价格约为上一代一半,1K 图像从 6.70 美分降至 3.36 美分,4K 从 15.10 美分降至 7.56 美分。
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。
本地 Qwen3.8-27B-Q4_K_M.gguf 在禁用推理时用英文单词做加法仅得 23.57% 数值准确率,格式合规率 96.17%,一至三位数操作数准确率 97.04%,十至十三位数骤降至 6.44%。启用推理后 169 次配对测试答对 167 次,但每次仅跑一个样本。该实验在 DGX Spark 上复现 GPT-4o 的单词加法测试。
Amazon Bedrock AgentCore Evaluations 支持内置与自定义评估器,可在开发和生产阶段衡量智能体的准确性、任务成功率与行为表现。
HackerRank 将其 AI 面试官 Chakra 面向客户正式开放,此前约六个月的测试中已完成超过 50 万场面试,Snowflake、Snorkel、Capgemini 等公司参与试用。
GitHub 发布 ReviewBench,一个面向 AI 代码审查的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含 19 种语言、187 个开源仓库的 219 个 pull request。
推荐理由:GitHub 公开了代码审查基准的构建方法与离线信号,读者可据此判断评测结果与线上表现的关系。
OpenAI 发布 GPT-6.1 Sol,定价为每百万输入/输出 token 2 美元/10 美元,据称在 DeepSWE v1.1 上比 GPT-6 Sol 高 6.4 分,在 AutomationBench 上比 Opus 5.5 高 2.2 分。
MIT 研究者 Alex Zhang 在 Latent Space 播客中介绍了递归语言模型(RLM)等工作,基于 RLM 的 harness 是首个接近解决 ARC-AGI-3 的系统,早于 OpenAI 的 Astra。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
Anthropic 发布 Claude Sonnet 5.5,在 Terminal-Bench 4.0 上从上一代 Sonnet 5 的 10.3% 提升到 70.6%,超过上周 Opus 5.5 的 66.4%。
推荐理由:Sonnet 5.5 在多项基准上逼近 Opus 5.5,同时价格只有一半,读者可据此判断中端模型的性价比变化。
Anthropic 发布新 Sonnet 模型 Claude Sonnet 5.5,官方称其运行速度快 30% 以上、多数工作成本最多降低 30%,定价与 Sonnet 5 相同但在各项基准上均优于 Sonnet 5。
推荐理由:作者用同一组鹈鹕提示词实测新 Sonnet,并对比免费层与 ChatGPT 的能力差异。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
Anthropic 发布 Claude Opus 5.5,约一小时后 OpenAI 发布 GPT-6 Sol 和 GPT-6 Luna。
推荐理由:作者实测新模型并整理价格表,读者可据此判断这一轮降价对模型选型的影响。
英国 AI Security Institute(AISI)正使用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果,以提升评测科学的可复现性。
IBM 研究团队在 ALTK-Evolve 中新增一致性指南(consistency guidelines)与 Consistency Analyzer,用于诊断并减少智能体在重复运行中的结果波动。
推荐理由:原文给出 Pass^k 与一致性差距的量化诊断方法,并展示把差距减半的实测结果,可迁移到智能体可靠性评估。
Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的新方法,基于多维项目反应理论(MIRT),在 100 个 LLM、16 个基准、超 34K 道题上训练。它未被告知各基准测什么,却自行识别出安全与通用推理两个主导维度,并发现 BBQ、WMDP 等基准的得分更多与通用推理相关而非安全。
Hugging Face 与 Voice Arena 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语由此成为该多语言榜单上首个 Indic 语言。
Hugging Face 发布研究,提出共识分歧探针、掩蔽实体检索和拼写切换三项测试来量化语音识别中的基准优化现象。
推荐理由:通过三项探针量化语音模型对基准的过拟合,并给出可复用的检测脚本与榜单入口。
Import AI 第 469 期介绍了 DiG-bench(Discovery in Games)基准,包含 70 款隐藏规则的游戏,用于测试 AI 通过探索自主发现环境规则的能力,目前仅公开 21 款。
微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、分离、顺序、包围和绳结五类拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上明显强于交互式规划任务,失败多发生在规划阶段而非感知阶段,且图像与视频生成工具在跨多步动作中维持拓扑关系并不可靠。
微软研究院发布开源框架 Orchard,核心是 Orchard Env 这一可复用的 Kubernetes 环境服务,支持软件工程、网页导航和个人助理三类智能体,并可直接在 Codex、OpenClaw、ZeroClaw 等真实部署框架内训练。
推荐理由:微软研究院开源 Orchard 框架,读者可了解其环境服务如何让同一套基础设施训练软件工程、网页导航与个人助理三类智能体。
Epoch 与 METR 发布 MirrorCode 基准,用于测试 AI 系统在长周期编程任务上的表现,任务要求仅凭 CLI 访问、在没有源码和网络的情况下重新实现完整程序。
Hume 发布 Real World VoiceEQ 基准,用于评估语音交互的人类质量,覆盖 40 多个专有与开源语音模型、15+ 评测维度和 60 多项指标,涵盖 ASR、TTS、S2S 和语音理解。
推荐理由:原文给出语音 AI 在 15+ 维度上的评测结果,读者可据此理解现有基准为何高估真实表现。
Import AI 第 464 期汇总三项进展:Fable 在 KernelBench-Mega 上写出首个真正的 megakernel,在 RTX PRO 6000 Blackwell 上用 CUDA 实现 18.71X 加速。
Hugging Face 发布 ScarfBench(Self-Contained Application Refactoring Benchmark),用于评测 AI 智能体在 Spring、Jakarta EE、Quarkus 之间的跨框架迁移能力,包含 34 个应用、102 个框架实现、204 个迁移任务和 1331 个专家测试。
Every Eval Ever(EEE)与 Hugging Face Community Evals 实现互通,评测结果可交叉发布并回链至完整 EEE 记录。EEE 数据存储已收录约 229,000 条评测结果,覆盖超 22,000 个模型和 2,200 个基准,来自 31 种报告格式。
英国 AI Security Institute 对齐团队与 Timaeus 联合成立非营利研究机构 Sequent,认为"对齐尚未走上正轨",计划两年内扩至 40-80 名全职员工,初期募资 1 亿至 1.5 亿美元,研究方向涵盖可扩展监督、学习理论、博弈论与 personas。
Jack Clark 在 Import AI 455 中判断,到 2028 年底前有 60% 以上概率出现无需人类参与的 AI 研发,即 AI 系统能自主训练出自己的后继版本;若只看 2027 年,他给出的概率是 30%。
Google 在 Google Labs 上线研究实验 Vantage,用生成式 AI 构建模拟对话环境,评估高中与大学生面向未来的技能,目前提供英文版并可注册。Vantage 与纽约大学合作开发,由 Executive LLM 动态引导对话、AI Evaluator 依据评分量表打分,在 188 名 18-25 岁美国测试者中,AI 评分与人类专家评分的一致性接近两位专家评分者之间的一致性。
Google Research 提出一套框架,用改编自 IRI、ERQ 等心理学问卷的情境判断测试(SJT),在真实用户-助手场景中评估 LLM 行为倾向与人类共识的对齐程度。
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡,发现常用的 1、3、5 名标注者往往不足,可靠结果常需每条目 10 名以上标注者。