Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking
Google DeepMind 发布两款实时语音对话模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking，前者面向规模化与成本效率，后者面向高复杂度任务与多步推理。
推荐理由：官方给出两款语音模型的基准成绩与开放渠道，可据此判断实时语音智能体的能力水位与接入方式。
技术方向
语音与音频 最新动态
AI 语音与音频的进展：语音合成、实时对话、音乐生成与音频理解的模型与产品。
16 条精选近 30 天 1 条共收录 31 条
更新
语音与音频的精选
Google DeepMind精选AI 评分8282
OpenAI News精选AI 评分6666 OpenAI 在 API 中推出 GPT-Live-1 语音模型
OpenAI 在 API 中推出 GPT-Live-1，支持自然的全双工语音对话，并带来更强的指令遵循、自定义音色和电话通信支持。
推荐理由：OpenAI 把全双工语音对话能力开放到 API，开发者可据此评估语音应用的接入方式。
Google DeepMind精选AI 评分7171 Google DeepMind 发布语音转文字模型 Gemini 3.5 Transcribe
Google DeepMind 发布 Gemini 3.5 Transcribe，称其为目前最精确的语音转文字模型，可将原始音频直接转为准确、经过润色和格式化的文本。
推荐理由：官方给出 WER、延迟与多语言等量化指标，并说明两套 API 的接入方式，便于开发者评估语音链路选型。
Hugging Face Blog精选AI 评分6262 Hugging Face 研究：语音识别基准优化如何被量化
Hugging Face 发布研究，提出共识分歧探针、掩蔽实体检索和拼写切换三项测试来量化语音识别中的基准优化现象。
推荐理由：通过三项探针量化语音模型对基准的过拟合，并给出可复用的检测脚本与榜单入口。
Google Research精选AI 评分7171 Google 发布 AMIE (Video)：实时视频问诊达到专家级表现
Google Research 发布 AMIE (Video)，基于 Gemini 和 Project Astra 构建，可在实时视频问诊中感知非语言线索、引导虚拟体格检查并同步完成诊断推理。
推荐理由：Google 用 300 场随机对照视频问诊给出 AMIE 与真人医生同级的评测结果，可看多智能体架构如何拆分实时对话与推理。
Hugging Face Blog精选AI 评分6262 NVIDIA 发布 Magpie TTS 多语言版：开放权重、12 种语言与自托管部署
NVIDIA 发布 Magpie TTS Multilingual，一个 364M 参数的开源权重语音合成模型，支持英语、西班牙语、法语、德语、意大利语、越南语、普通话、印地语、日语以及新增的现代标准阿拉伯语、韩语和巴西葡萄牙语共 12 种语言，每种语言含男女声。
推荐理由：原文给出 364M 开源权重模型的多语言扩展与自托管延迟数据，可据此判断级联语音架构的部署取舍。
Google DeepMind精选AI 评分6060 Google DeepMind 在 Google Flow Music 发布 Lyria 3.5 音乐生成模型
Google DeepMind 发布音乐生成模型 Lyria 3.5，并在 Google Flow Music 中上线。官方称新版本在音乐性、歌词和人声质量上有明显提升，可生成更复杂自然的旋律结构、提示词遵循度和结构感知更好的歌词，以及更具情感表达和发音更准确的人声，同时支持更便捷地控制输出节奏与时长。
推荐理由：官方给出 Lyria 3.5 在旋律、歌词、人声与节奏时长控制上的具体改进，可据此判断音乐生成能力的变化。
Hugging Face Blog精选AI 评分6262 Hume 发布 Real World VoiceEQ：衡量语音 AI 的人类质量
Hume 发布 Real World VoiceEQ 基准，用于评估语音交互的人类质量，覆盖 40 多个专有与开源语音模型、15+ 评测维度和 60 多项指标，涵盖 ASR、TTS、S2S 和语音理解。
推荐理由：原文给出语音 AI 在 15+ 维度上的评测结果，读者可据此理解现有基准为何高估真实表现。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI
Hugging Face 与 Cerebras 联合发布实时语音到语音演示，用 Cerebras 加速 Gemma 4 31B 推理，构建开放的级联语音流水线。
推荐理由：原文给出了可复用的开源语音到语音流水线架构，读者可据此了解各模块如何组合与替换。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译模型
Google DeepMind 发布 Gemini 3.5 Live Translate，这是一款支持 70+ 语言的近实时语音到语音翻译音频模型，能自动检测语言并保留说话者的语调、节奏和音高。
推荐理由：官方给出 70+ 语言实时语音翻译的连续生成机制与多产品落地节奏，可据此判断实时翻译的可用边界。
Google DeepMind精选AI 评分6262 Google DeepMind 发布 AI co-clinician 医疗 AI 研究计划
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗的“三方照护”模式。在 98 个真实初级保健问题的盲评中，该系统 97 例无关键错误，医生对其回答的偏好高于现有证据综合工具；在 140 项问诊技能评估中，AI 在 68 项上达到或超过初级保健医生水平，但识别危险信号和指导关键体格检查仍不如专家医生。
推荐理由：Google DeepMind 公布 AI co-clinician 研究计划，用医生盲评和模拟问诊数据说明医疗智能体当前的能力边界。
Google DeepMind精选AI 评分7171 Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型
Google DeepMind 发布 Gemini 3.1 Flash TTS，称其在可控性、表现力和语音质量上均有提升，在 Artificial Analysis TTS 榜单上取得 1,211 Elo 分数。
推荐理由：官方给出 Elo 1,211、70+ 语言与音频标签等具体指标，可据此判断语音生成的可控性提升。
Mistral AI精选AI 评分7272 Mistral AI 发布 Voxtral TTS 语音合成模型
Mistral AI 发布首个文本转语音模型 Voxtral TTS，4B 参数，支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语共 9 种语言，具备情感表达和零样本跨语言音色适配能力。
推荐理由：官方给出 4B 参数、70ms 延迟与 9 种语言支持，读者可据此判断企业语音智能体的成本与部署门槛。
Mistral AI精选AI 评分7575 Mistral 发布 Voxtral Transcribe 2 语音转写模型家族
Mistral AI 发布 Voxtral Transcribe 2，包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime，后者以 Apache 2.0 协议开放权重。
推荐理由：官方给出两款语音转写模型的延迟、错误率与定价对比，可据此判断实时语音场景的选型与成本。
Mistral AI精选AI 评分6262 Mistral 为 Le Chat 推出 Deep Research、语音模式等多项新功能
Mistral 为 Le Chat 上线一批新功能，包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言推理、用于整理对话的 Projects，以及与 Black Forest Labs 合作的图像编辑。
推荐理由：Mistral 一次性为 Le Chat 补齐深度研究、语音、推理与图像编辑，读者可据此判断其产品线布局。
Mistral AI精选AI 评分8080 Mistral 发布 Voxtral 语音理解模型，24B 与 3B 双版本开源
Mistral AI 发布 Voxtral 语音理解模型，提供 24B 和 3B 两个版本，均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文，可处理最长 30 分钟音频转写或 40 分钟音频理解，具备内置问答与摘要、多语言自动检测和语音直接触发函数调用等能力。
推荐理由：Mistral 开源两款语音理解模型，给出与 Whisper、GPT-4o mini、ElevenLabs 的对比和 API 定价，便于评估落地成本。