Hugging Face 提出离线 Top-K Logits 与融合分块 KL 损失,让知识蒸馏低成本规模化
Hugging Face 最新论文提出两项系统改动,让大语言模型知识蒸馏的显存开销大幅下降:一是离线缓存教师模型每位置的 top-100 logits,训练时无需同时加载教师模型;二是融合分块 KL 损失,避免生成完整的词表×序列长度矩阵。
Hugging Face 最新论文提出两项系统改动,让大语言模型知识蒸馏的显存开销大幅下降:一是离线缓存教师模型每位置的 top-100 logits,训练时无需同时加载教师模型;二是融合分块 KL 损失,避免生成完整的词表×序列长度矩阵。
Google Research 提出 Chain-of-Evidence(CoE)可验证性框架,并以此构建自主科研原型 Science One Framework,配套 CoE Audit 自动评估指标。
推荐理由:原文给出可验证性框架与审计指标,并对比多个自主科研系统的引用与代码对齐表现。
微软研究院提出 Echoverse,为 computer-use 智能体构建 12 个训练世界,包括 10 个深度领域世界和 2 个能力世界,强调行为保真、状态一致、工作流深度和基于数据库的验证。
推荐理由:微软研究院公开了合成环境工厂的构建流程与训练数据,读者可据此理解高保真环境如何影响 computer-use 智能体的训练效果。
Berkeley AI Research 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX,新增结构化 CUDA-to-MLX 翻译层,让已有 CUDA 内核作为知识库适配 Apple Silicon。
推荐理由:读者可看到 CUDA 优化经验如何被结构化迁移到 Apple Silicon,以及翻译层对内核性能的具体贡献。
Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督,以替代完整交互历史作为智能体的工作上下文。在协作编程基准 CollabBench 上,基于重建的信念评分(rec-BG)将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值上下文 token 数也低于全上下文设置。
Google Research 发布研究论文 SymptomAI,用五个基于 Gemini Flash 2.0 的对话式智能体对 13917 名参与者进行端到端症状问诊与鉴别诊断(DDx)评估。
推荐理由:Google 用 13917 人随机对照研究比较 SymptomAI 与真实临床医生的鉴别诊断,并给出可穿戴生物信号佐证。
Google Research 在 Nature 发表论文,提出一种强化学习框架,让自主智能体从量子错误检测事件中学习,在计算过程中持续调节数千个控制参数以对抗漂移。
推荐理由:Google 用强化学习让量子纠错在计算过程中持续校准,读者可了解其 3.5 倍稳定性提升与规模化模拟结论。
DharmaOCR 在葡萄牙语 OCR 基准上以 0.925 分领先 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过葡萄牙语监督微调加 DPO 两阶段训练,将全部参数集中于巴西葡萄牙语,从而在提取质量和稳定性上取得优势。
Google Research 在 ICLR 2026 论文中指出,扩散模型的创造力源于神经网络训练中的"分数平滑"效应:权重衰减等正则化使学到的分数函数变平滑,去噪过程因此生成落在训练数据点之间的插值样本,而非简单记忆。研究用一维两点实验验证,权重衰减越强、分数函数越平滑,粒子越易停在插值区。
Hume 发布 Real World VoiceEQ 基准,用于评估语音交互的人类质量,覆盖 40 多个专有与开源语音模型、15+ 评测维度和 60 多项指标,涵盖 ASR、TTS、S2S 和语音理解。
推荐理由:原文给出语音 AI 在 15+ 维度上的评测结果,读者可据此理解现有基准为何高估真实表现。
Google Research 发布 SensorFM,一个直接从无标注可穿戴数据学习的大型传感器基础模型,预训练语料超过一万亿分钟多模态信号,来自五百万名同意参与者。
推荐理由:Google 用一万亿分钟可穿戴数据预训练通用生理表征,读者可了解基础模型在健康领域的规模化路径。
Google Research 在 Nature Cities 发表研究,在 10 座美国城市用修改后的 Google Maps 算法将约 2% 的行程引导至耗时相近的替代路线,为期六个月。
Hugging Face 发布 ScarfBench(Self-Contained Application Refactoring Benchmark),用于评测 AI 智能体在 Spring、Jakarta EE、Quarkus 之间的跨框架迁移能力,包含 34 个应用、102 个框架实现、204 个迁移任务和 1331 个专家测试。
Dharma AI 撰文解读 Goldfeder、Wyder、LeCun 与 Shwartz-Ziv 的 2026 年论文《AI Must Embrace Specialization via Superhuman Adaptable Intelligence》。
Hugging Face 博客介绍 DiScoFormer(Density and Score Transformer),一个 Transformer 模型可在单次前向传播中同时估计数据分布的密度与 score,无需针对新分布重新训练。
Google Research 发布新架构,将多 Token 预测(MTP)头挂载到已冻结的 Gemini Nano v3 模型上,已在 Pixel 9 和 10 系列上线,作为开箱即用的加速方案。
推荐理由:Google 把 MTP 头挂到冻结的 Gemini Nano v3 上,读者可了解端侧推测解码如何省内存并提速。
Google Research 提出线性弹性缓存,将页面淘汰建模为滑雪租赁问题,用轻量机器学习动态调整缓存大小。在 Spanner 生产环境测试中,内存用量降低 15.5%,缓存未命中仅增加 5.5%,总拥有成本(TCO)降低约 5%,实际 I/O 成本影响仅 0.5%。该方案用浅层决策树预测页面 TTL,可翻译为几行 C++ 代码。
Google Research 在 COLM 2026 论文中揭示,让模型生成推理链能解锁原本无法召回的事实答案,即使问题只是单跳事实查询。研究用 Gemini-2.5(Flash 和 Pro)与 Qwen3-32B 在 SimpleQA Verified 和 EntityQuestions 上对比推理开关两种模式,发现两个机制:额外 token 充当计算缓冲,以及生成相关事实的"事实启动"效应。
Google Research 发布矢量化数据集,将 Farmscapes 2020 的高分辨率栅格地图转化为可操作的树篱、石墙和矮林清单,覆盖英国超 13 万平方公里。该框架基于在 3 亿多张全球卫星图像上预训练的 RSF Vision-Transformer 骨干微调,并用 Polsby–Popper 紧凑度评分(线性特征阈值低于 0.5)自动区分林地、树丛与树篱。
Google DeepMind 发布 AI Control Roadmap,一套用于在 Google 内部构建和管理高级 AI 的框架,采用纵深防御思路,在模型对齐之外增加系统级安全层,即使对齐不完美也能提供保障。
推荐理由:DeepMind 公开内部 AI 控制路线图,给出检测与响应分级和百万条编码智能体轨迹的监控数据。
Google 公布多项关于消费者使用 AI 工具理解皮肤问题的研究,其中发表于 JAMA Dermatology 的大规模调查显示,2345 名参与者使用 AI 原型工具后,尝试命名皮肤状况的比例超 62%,命名准确率 23%,约为无辅助对照组 8% 的三倍。但研究也发现,AI 辅助在判断下一步就医建议上未带来统计显著改善,用户比皮肤科医生更倾向选择不那么紧急的处理方式。
Google Research 在 AISTATS 2026 提出 Regularized f-Divergence Kernel Tests,用于审计机器遗忘。该框架基于 f-divergence 的相对距离检验,支持 Chi-squared、KL 和 Hockey-stick 等散度,可自动选择最优散度与超参数,无需样本拆分。理论上证明任意样本量下可控制假阳性,假阴性风险随样本增加收敛至零。
Google DeepMind 公布在塞拉利昂开展的预注册随机对照试验结果,使用 Guided Learning 的学生数学成绩比对照组提升 0.258 个标准差,约相当于 1.2 至 1.7 年的常规学习进度,八周内完成。
推荐理由:原文给出塞拉利昂随机对照试验的量化结果与交互数据,可了解 AI 辅助教学的实际效果与局限。
Google Research 在 Nature 发表研究,提出 PHRM 系统,可在日常使用手机时通过前摄在面部解锁后采集 8 秒视频,被动估算心率与每日静息心率。
推荐理由:Google 用手机前摄在解锁后被动测心率,并公开迄今最大规模多肤色 rPPG 数据集与预训练模型。
Google 为隐私分析服务推出新的零信任安全聚合方案,结合新型密码学聚合方法与 TEE 硬件保护,用户设备只需发送单条消息即可完成数据提交,无需多轮在线交互。该方案可证明 Google 只能获得群体的匿名聚合洞察,原始数据即使在硬件保护范围内也不会被解密或重建,仅在最终聚合匿名化后才处理明文。
Google DeepMind 介绍生物学家 Omar Abudayyeh 和 Jonathan Gootenberg 的实验室使用 Co-Scientist 加速衰老研究。
斯坦福大学医学院 Gary Peltz 团队利用 Google Co-Scientist 从已有药物文献中筛选肝纤维化候选药,其提出的 3 个候选中有 2 个在活体人类肝细胞测试中阻断纤维化并促进肝细胞再生,而 Peltz 自行挑选的 2 个药物均无效。表现最突出的是抗癌药 vorinostat,阻断了 91% 可驱动肝瘢痕形成的损伤反应。相关研究已发表于 Advanced Science。
Google DeepMind 与 Google Research 开发的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天以 80% 置信度预测飓风 Melissa 将以五级强度登陆牙买加,三日前置信度接近 100%。
推荐理由:原文给出 WeatherNext 在真实飓风预报中的提前量与置信度数据,读者可据此判断 AI 天气模型的实际业务价值。
伯克利 AI 研究团队梳理了并行推理领域进展,指出当前多数方法(如 Self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild!
Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗的“三方照护”模式。在 98 个真实初级保健问题的盲评中,该系统 97 例无关键错误,医生对其回答的偏好高于现有证据综合工具;在 140 项问诊技能评估中,AI 在 68 项上达到或超过初级保健医生水平,但识别危险信号和指导关键体格检查仍不如专家医生。
推荐理由:Google DeepMind 公布 AI co-clinician 研究计划,用医生盲评和模拟问诊数据说明医疗智能体当前的能力边界。
Google Research 介绍了科学家使用 Empirical Research Assistance(ERA)的四类实践:公共卫生领域,团队每周向 CDC 的流感。
推荐理由:Google 官方汇总 ERA 在流行病预测、宇宙学、碳监测与神经科学四个方向的落地结果,可看到 AI 辅助科研的具体边界。
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,把大规模训练拆成相互解耦的计算“岛屿”,岛屿间异步传输数据,从而隔离局部硬件故障。
推荐理由:原文给出跨数据中心异步训练在带宽、容错和跨代硬件上的实测结果,可据此判断分布式预训练的工程取舍。
Google Research 在 ICLR 论文中提出 ReasoningBank,一个从成功和失败经验中蒸馏高层推理记忆的智能体框架,代码已开源。
推荐理由:论文给出从成功与失败经验中蒸馏记忆的框架,并附 WebArena 与 SWE-Bench-Verified 上的成功率与步数对比。
伯克利 AI 研究团队提出基于梯度的规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、向状态迭代直接注入随机性以探索、并重塑梯度让动作获得清晰信号,从而让世界模型的长时程规划变得可行。
Google Research 提出推理优先的合成数据生成框架 Simula,将数据集生成重构为机制设计问题,通过全局多样化、局部多样化、复杂化和双批评者质量检查四个步骤,实现无种子、智能体式的数据集构建。
Google Research 提出 MoGen(Neuronal Morphology Generation),用 PointInfinity 点云流匹配模型生成合成神经元形态,为 PATHFINDER 重建模型补充训练数据,使小鼠轴突重建误差率降低 4.4%,主要来自 merge error 的减少。
Google 在 Google Labs 上线研究实验 Vantage,用生成式 AI 构建模拟对话环境,评估高中与大学生面向未来的技能,目前提供英文版并可注册。Vantage 与纽约大学合作开发,由 Executive LLM 动态引导对话、AI Evaluator 依据评分量表打分,在 188 名 18-25 岁美国测试者中,AI 评分与人类专家评分的一致性接近两位专家评分者之间的一致性。
Google Research 推出 ConvApparel 数据集,包含超 4,000 段人机多轮对话、近 15,000 轮,用于量化 LLM 用户模拟器与真实人类的真实感差距。该数据集采用双智能体采集协议,参与者被随机分配到有帮助的 "Good" 智能体或故意不帮忙的 "Bad" 智能体,并配有逐轮用户满意度标注。研究同时提出基于群体统计对齐、人类相似度评分和反事实验证的三支柱评估框架。
Google 发布两款学术智能体:PaperVizAgent 用于生成论文配图,ScholarPeer 用于自动同行评审。PaperVizAgent 由检索、规划、风格、可视化和评审五个智能体协作,在 0-100 分评测中总分 60.2,超过 GPT-Image-1.5、Nano-Banana-Pro、Paper2Any,是唯一超过 50.0 人类基线的框架。
Google Research 提出一套框架,用改编自 IRI、ERQ 等心理学问卷的情境判断测试(SJT),在真实用户-助手场景中评估 LLM 行为倾向与人类共识的对齐程度。