技术方向
文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
47 条精选近 30 天 9 条共收录 84 条
Thinking Machines Lab 在 Hugging Face 发布 Inkling 系列多模态大模型，Inkling 为约 1T 参数、41B 激活参数的 MoE 模型，原生支持图像、文本、音频输入，上下文窗口 1M，并推出 276B 总参数、12B 激活参数的 Inkling-Small。
推荐理由：原文给出 Inkling 的架构细节、部署配置与基准对比，读者可据此判断这一开源多模态模型的落地门槛。
Google Research 发布 SensorFM，一个直接从无标注可穿戴数据学习的大型传感器基础模型，预训练语料超过一万亿分钟多模态信号，来自五百万名同意参与者。
推荐理由：Google 用一万亿分钟可穿戴数据预训练通用生理表征，读者可了解基础模型在健康领域的规模化路径。
Mistral AI 发布首个具身导航模型 Robostral Navigate，这是一个 8B 模型，仅用单个普通 RGB 相机、无需 LiDAR 或深度传感器，在 R2R-CE 验证集 unseen 上达到 76.6% 成功率，比最佳单相机方案高 9.7 个点，比使用深度或多相机的最佳系统高 4.5 个点。
推荐理由：官方给出单目 RGB 相机在 R2R-CE 上的成绩与训练方法，读者可据此判断具身导航的硬件门槛变化。
Hugging Face 与 Cerebras 联合发布实时语音到语音演示，用 Cerebras 加速 Gemma 4 31B 推理，构建开放的级联语音流水线。
推荐理由：原文给出了可复用的开源语音到语音流水线架构，读者可据此了解各模块如何组合与替换。
Google DeepMind 发布 Nano Banana 2 Lite（gemini-3.1-flash-lite-image）和 Gemini Omni Flash（gemini-omni-flash-preview）。
推荐理由：两款模型同时开放开发者入口，并给出延迟、单价与能力边界，便于判断图像与视频生成链路的成本取舍。
Mistral 发布 OCR 4，在提取文本之外返回边界框、块类型分类和逐页逐词置信度分数，支持 170 种语言、可单容器自托管部署。官方称独立标注者在 600 多份文档的盲评中平均 72% 更偏好 OCR 4，并在 OlmOCRBench 上取得 85.20 的最高总分。
推荐理由：官方给出 OCR 4 的边界框、块分类与置信度输出，以及自托管和按页计价方案，可据此判断文档解析管线的选型。
Google DeepMind 发布 Gemini 3.5 Live Translate，这是一款支持 70+ 语言的近实时语音到语音翻译音频模型，能自动检测语言并保留说话者的语调、节奏和音高。
推荐理由：官方给出 70+ 语言实时语音翻译的连续生成机制与多产品落地节奏，可据此判断实时翻译的可用边界。
Google DeepMind 发布 Gemma 4 12B，一款面向笔记本电脑的智能体多模态模型，介于边缘端 E4B 与 26B MoE 之间，是首个支持原生音频输入的中等规模 Gemma 模型。
推荐理由：Gemma 4 12B 用无编码器架构把视觉和音频直接接入 LLM，读者可据此判断本地多模态智能体的硬件门槛。
Google Research 在 Nature 发表研究，提出 PHRM 系统，可在日常使用手机时通过前摄在面部解锁后采集 8 秒视频，被动估算心率与每日静息心率。
推荐理由：Google 用手机前摄在解锁后被动测心率，并公开迄今最大规模多肤色 rPPG 数据集与预训练模型。
Google DeepMind 在实验性原型 Project Genie 中上线 Street View 真实影像锚定能力，用户可在地图上选择美国地点并搭配风格与角色描述，生成以真实地点为起点的可交互世界。
推荐理由：官方说明 Genie 接入 Street View 真实影像，读者可了解世界模型如何以真实地点为锚点生成可交互环境。
Google DeepMind 发布 Omni 家族首个模型 Gemini Omni Flash，可组合图像、音频、视频和文本作为输入生成高质量视频，并通过自然语言多轮对话编辑视频。
推荐理由：Gemini Omni Flash 把对话式视频编辑和多模态输入生成整合进 Gemini 应用与 YouTube Shorts，可据此判断视频创作流程的变化。
Google 扩展内容透明度与验证工具，把 SynthID 的图像、视频和音频验证从 Gemini 应用带到搜索，并将在未来几周进入 Chrome；该验证功能在 Gemini 中已被使用 5000 万次。
推荐理由：Google 把 SynthID 与 C2PA 验证铺到搜索、Gemini 和 Chrome，读者可据此了解内容溯源工具的落地范围。
Google DeepMind 发布 Gemini 3.5 模型系列，首发的 3.5 Flash 面向智能体与编码任务，在 Terminal-Bench 2.1 取得 76.2%、GDPval-AA 取得 1656 Elo、MCP Atlas 取得 83.6%，多模态理解在 CharXiv Reasoning 上为 84.2%，输出速度是其他前沿模型的 4 倍。
推荐理由：官方给出 3.5 Flash 在编码与智能体基准上的具体分数和速度对比，可据此判断其能力定位。
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗的“三方照护”模式。在 98 个真实初级保健问题的盲评中，该系统 97 例无关键错误，医生对其回答的偏好高于现有证据综合工具；在 140 项问诊技能评估中，AI 在 68 项上达到或超过初级保健医生水平，但识别危险信号和指导关键体格检查仍不如专家医生。
推荐理由：Google DeepMind 公布 AI co-clinician 研究计划，用医生盲评和模拟问诊数据说明医疗智能体当前的能力边界。
Google DeepMind 发布 Gemini 3.1 Flash TTS，称其在可控性、表现力和语音质量上均有提升，在 Artificial Analysis TTS 榜单上取得 1,211 Elo 分数。
推荐理由：官方给出 Elo 1,211、70+ 语言与音频标签等具体指标，可据此判断语音生成的可控性提升。
Google DeepMind 发布 Gemini Robotics-ER 1.6，这是其面向机器人的推理优先模型升级版，重点增强空间推理与多视角理解，并新增仪表读数能力，可读取压力表、液位计和数字读数。
推荐理由：官方给出与前代及 Gemini 3.0 Flash 的对比，并首次加入仪表读数能力，可据此判断机器人在设施巡检中的自主程度。
Google DeepMind 发布 Gemma 4 开源模型家族，包含 E2B、E4B、26B MoE 和 31B Dense 四个尺寸，采用 Apache 2.0 许可。
推荐理由：Gemma 4 以四个尺寸覆盖从手机到工作站的部署，并给出 Arena 排名与 Apache 2.0 许可，便于判断开源模型的可用边界。
Google DeepMind 公布 AI 指针的四条交互原则，并展示由 Gemini 驱动的实验性指针演示，用户可在 Google AI Studio 中通过指向和语音编辑图片或查找地点。
推荐理由：Google DeepMind 公开 AI 指针的四条交互原则，并已在 Chrome 落地，读者可据此判断 AI 交互从提示词转向指向与语音的路径。
Google 发布 Vibe Coding XR 工作流，将 Gemini 与基于 WebXR、three.js、LiteRT.js 的 XR Blocks 框架结合，把自然语言提示词直接转成具备物理感知的 Android XR 应用，耗时不到 60 秒。
推荐理由：Google 把 Gemini 的长上下文推理接到 WebXR 框架上，读者可据此判断自然语言生成 XR 原型的可行边界。
Google Research 与多家 NHS 机构合作的 AIMS 研究在 Nature Cancer 发表两项配套研究，评估 AI 乳腺癌检测系统。
推荐理由：两项 Nature Cancer 研究给出 AI 读片在 NHS 双读流程中的敏感度、时间与仲裁数据，可了解医疗 AI 落地的真实约束。