Microsoft 研究员 Jennifer Neville:AI 评测如何暴露模型的“意外失败”
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。
NVIDIA 提出 AI 工厂投资回报取决于产出能力、使用寿命与需求三项因素,其平台通过全栈协同设计实现每兆瓦吞吐最大化。SemiAnalysis AgentX 数据显示,Vera Rubin NVL72 每兆瓦吞吐量比 GB300 NVL72 高 30 倍以上,在 DeepSeek V4 Pro 上每百万 token 成本低至 45 倍。
OpenAI 研究员、o1 核心作者 Noam Brown 在 Dwarkesh Patel 播客中表示,用 10000 个 Agent 耗时 88 小时、消耗 1300 亿 token 解出千禧年数学难题,但多智能体最多只占 10% 功劳,核心仍是模型本身足够强。
OpenAI CEO Sam Altman 在联合国安理会发表讲话,谈及 AI 安全、人类对 AI 的控制以及国际合作。
OpenAI 的 Chris Lehane 主张,AI 能力越强,越需要更强的安全证据、共享标准与持久的政策行动,并强调政策窗口仍然敞开、应当立即行动。
OpenAI 的 Jakub Pachocki 反思日益强大的 AI 及保持其对齐的挑战,呼吁加强安全保障并推动国际协调。