跳到正文
只看一手#多模态
  1. OpenAI News80

    OpenAI 全球上线 GPT-6，ChatGPT 引入 Intelligent UI

    OpenAI 宣布 GPT-6 正在 ChatGPT 中面向全球上线，并同步引入 Intelligent UI。官方称新版本响应更快，提供可视化内容与可直接探索和使用的交互体验。

    推荐理由：OpenAI 官方公布 GPT-6 在 ChatGPT 全球上线，并同步带来 Intelligent UI 的视觉与交互体验。

  2. Hugging Face Blog62

    Liquid AI 发布 d1-3B 与 d1-omni-600M 端侧决策模型

    Liquid AI 开源 d1 决策模型家族的两个模型 d1-3B 和 d1-omni-600M（实验性），二者不生成 token，而是在单次前向传播中给出答案。

    推荐理由：Liquid AI 公开两个决策模型，给出端侧延迟与七项基准对比，可据此判断小模型做结构化决策的可行性。

  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2，一个基于 Gemma 4 架构、740M 参数的开源多模态嵌入模型，采用 Apache 2.0 许可，可把文本、图像、音频和视频映射到统一嵌入空间。

    推荐理由：官方给出 740M 参数、模块化编码器与端侧内存占用，可据此判断本地多模态检索的落地成本。

  1. Mistral AI84

    Mistral 发布 Mistral Large 4 公开预览，1 万亿参数原生多模态

    Mistral AI 发布 Mistral Large 4 公开预览，可在 Mistral Studio 试用预览 API，权重将于本月底开放。该模型为 1 万亿参数、49B 激活参数的原生多模态模型，官方称其在编码、智能体工作流和多模态理解上表现突出，并在网络安全、金融、法律等企业场景中达到开源模型领先水平。

    推荐理由：官方给出 1 万亿参数、49B 激活与多项基准对比，可据此判断开源权重模型在编码与智能体任务上的位置。

  1. Microsoft Research60

    微软研究院发布 Quine：面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine，一个面向生物学复杂性的 AI 研究系统，由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究，预测并优先排序数千种化合物，最高排名化合物在湿实验中产生了最大的经典态向基底态转变，从缩小化合物搜索空间到选出候选验证仅用一个周末。

    推荐理由：微软研究院公开 Quine 的多模态生物世界模型与实验闭环设计，并给出胰腺癌化合物筛选的湿实验验证结果。

  2. 量子位84

    AMD 以 82 亿美元全股票收购李飞飞 World Labs

    AMD 宣布以 82 亿美元全股票收购李飞飞的 World Labs，交易预计 2026 年底前完成，仍须取得监管批准。交割后李飞飞将加入 AMD 担任执行副总裁兼首席科学家，直接向苏姿丰汇报，联合创始人 Justin Johnson 和 Ben Mildenhall 继续带领团队并入 AMD。

    推荐理由：交易金额、估值倍数与投资方回报结构都有具体数字，可据此观察芯片厂商布局世界模型的路径。

  1. Google Research68

    Google Research 发布 AI 视频联合导演框架，实现连贯长视频生成

    Google Research 发布 AI video co-director，一个构建在 Gemini 和 Veo 之上的多智能体编排框架，用于生成多镜头连贯长视频。

    推荐理由：Google 把长视频生成拆成四个可组合框架，并给出多镜头一致性与角色保持的评测结果。

  1. Google DeepMind78

    Google DeepMind 为 Gemini 3.7 Flash 等模型推出智能体视频理解

    Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能，官方称视频分析 token 消耗最多降低 88%、成本最多降低 66%、准确率最多提升 7%。

    推荐理由：官方给出 token 与成本降幅及可用入口，读者可据此判断长视频分析的成本结构变化。

  1. Google DeepMind77

    Google DeepMind 发布 Gemini Omni 1.1 Flash，支持场景延展与 4K 上采样

    Google DeepMind 发布 Gemini Omni 1.1 Flash，为开发者带来一批生成视频创作控制能力，通过 Gemini API 在 Google AI Studio 提供。

    推荐理由：官方给出场景延展、首尾帧插值与 4K 上采样等具体能力与开放入口，可据此判断生成视频工作流的变化。

  1. Google Research60

    Google Research 发布 PhotoScan：用手机照片估算体成分并预测胰岛素抵抗

    Google Research 提出 PhotoScan，一个可从普通 2D 手机照片估算体脂率、Android-to-Gynoid 脂肪比（A/G）和内脏与皮下脂肪面积比（V/S）的深度学习框架，用于预测胰岛素抵抗。

    推荐理由：Google Research 用手机照片估算体成分并预测胰岛素抵抗，读者可了解其与 DXA、BIA 的精度对比。

  1. Google DeepMind71

    Google DeepMind 发布 SL2T 手语转文本模型，率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语言手语转文本模型 SL2T，首次将手语 AI 带入消费产品，在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语（ASL）转英文听写，后续将扩展更多设备与语言。

    推荐理由：官方披露 SL2T 的训练规模、手语到文本的翻译路径与隐私设计，可了解手语 AI 从实验室走向消费产品的技术取舍。

  2. Google Research71

    Google 发布 AMIE (Video)：实时视频问诊达到专家级表现

    Google Research 发布 AMIE (Video)，基于 Gemini 和 Project Astra 构建，可在实时视频问诊中感知非语言线索、引导虚拟体格检查并同步完成诊断推理。

    推荐理由：Google 用 300 场随机对照视频问诊给出 AMIE 与真人医生同级的评测结果，可看多智能体架构如何拆分实时对话与推理。

  1. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言版：开放权重、12 种语言与自托管部署

    NVIDIA 发布 Magpie TTS Multilingual，一个 364M 参数的开源权重语音合成模型，支持英语、西班牙语、法语、德语、意大利语、越南语、普通话、印地语、日语以及新增的现代标准阿拉伯语、韩语和巴西葡萄牙语共 12 种语言，每种语言含男女声。

    推荐理由：原文给出 364M 开源权重模型的多语言扩展与自托管延迟数据，可据此判断级联语音架构的部署取舍。

  1. Hugging Face Blog80

    Meta 发布开源多模态模型 Muse Glimmer 30B，面向本地智能体场景

    Meta 发布 Muse Glimmer，一个从 Muse 蒸馏到 30B 参数的多模态模型，采用 Apache 2.0 许可，面向本地智能体场景，如编码、文档分析和个人助理。

    推荐理由：Meta 开源 30B 多模态模型，附完整基准对比与本地部署路径，可据此判断端侧智能体的可行性。

  1. Mistral AI66

    Mistral AI 发布 Shieldstral：3B 开源多模态安全分类器

    Mistral AI 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，以 Apache 2.0 许可开放下载，可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务，推理时用自然语言写入策略即可返回校准后的安全分数，无需重新训练，统一处理文本与图像。官方称其在文本安全上可匹配最多 7 倍参数量的模型，并在多模态审核上取得新的 SOTA。

    推荐理由：3B 开源安全分类器把内容审核变成推理时可换策略的问答任务，可据此判断小模型在审核场景的可用边界。

  1. Google DeepMind71

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2，称其为面向机器人最强大的具身推理模型，可作为高层大脑让机器人对话、理解物理世界并规划多步任务，再把动作执行交给底层 VLA 模型，还能原生调用 Google Search 等工具。

    推荐理由：官方给出 ER 2 在进度分类、时刻定位与多机器人协作上的具体指标和开放入口，可据此判断机器人大脑的能力边界。

  1. Google DeepMind80

    Google DeepMind 发布 Gemini Robotics 2，为机器人带来全身智能

    Google DeepMind 发布 Gemini Robotics 2，作为新一代机器人的智能层，首次实现对完整人形机器人的全身控制，并带来更精细的手部与夹爪操作能力。

    推荐理由：Gemini Robotics 2 把机器人控制从上半身扩展到全身，并给出多机协作与端侧快速适配的具体路径。

  1. Hugging Face Blog85

    Thinking Machines 在 Hugging Face 发布 Inkling 及 Inkling-Small 多模态模型

    Thinking Machines Lab 在 Hugging Face 发布 Inkling 系列多模态大模型，Inkling 为约 1T 参数、41B 激活参数的 MoE 模型，原生支持图像、文本、音频输入，上下文窗口 1M，并推出 276B 总参数、12B 激活参数的 Inkling-Small。

    推荐理由：原文给出 Inkling 的架构细节、部署配置与基准对比，读者可据此判断这一开源多模态模型的落地门槛。

  1. Google Research60

    Google 发布 SensorFM：面向可穿戴健康数据的通用基础模型

    Google Research 发布 SensorFM，一个直接从无标注可穿戴数据学习的大型传感器基础模型，预训练语料超过一万亿分钟多模态信号，来自五百万名同意参与者。

    推荐理由：Google 用一万亿分钟可穿戴数据预训练通用生理表征，读者可了解基础模型在健康领域的规模化路径。