跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

47 条精选近 30 天 9 条共收录 84 条

更新

多模态的精选

10月8日周四第 1–20 条
10月7日周三
10月6日周二
  1. Mistral AI84

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数原生多模态

    Mistral AI 发布 Mistral Large 4 公开预览,可在 Mistral Studio 试用预览 API,权重将于本月底开放。该模型为 1 万亿参数、49B 激活参数的原生多模态模型,官方称其在编码、智能体工作流和多模态理解上表现突出,并在网络安全、金融、法律等企业场景中达到开源模型领先水平。

    推荐理由:官方给出 1 万亿参数、49B 激活与多项基准对比,可据此判断开源权重模型在编码与智能体任务上的位置。

9月30日周三
  1. The Decoder80

    AMD 以 82 亿美元收购世界模型初创公司 World Labs

    AMD 宣布以约 82 亿美元全股票交易收购专注空间智能的初创公司 World Labs,交易预计在 2026 年底前完成,尚待监管批准。World Labs 创始人李飞飞将加入 AMD 领导团队,出任执行副总裁兼首席科学家,直接向 CEO 苏姿丰汇报并负责前沿研究。

    推荐理由:这笔全股票收购把世界模型团队并入芯片厂商,读者可据此观察硬件与模型整合的新路径。

9月29日周二
  1. Microsoft Research60

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,从缩小化合物搜索空间到选出候选验证仅用一个周末。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环设计,并给出胰腺癌化合物筛选的湿实验验证结果。

  2. Latent Space78

    AINews:Opus 5.5 擅长生成解说视频

    AINews 汇总 9/24-9/25 的 AI 动态,指出 Opus 5.5 本周发布后社区反馈积极,尤其在用代码生成解说视频上表现突出。Opus 5.5 在 SimpleBench 上以 88.4% 领先,Terminal-Bench-Science 上从低推理档的 24% 升至 xhigh 档的 62%,但 max 档回落到 59%。

    推荐理由:汇总 Opus 5.5 在视频生成与 Agent 任务上的社区反馈,并给出 Jev、Photon 等基础设施的实测数字。

  3. 量子位84

    AMD 以 82 亿美元全股票收购李飞飞 World Labs

    AMD 宣布以 82 亿美元全股票收购李飞飞的 World Labs,交易预计 2026 年底前完成,仍须取得监管批准。交割后李飞飞将加入 AMD 担任执行副总裁兼首席科学家,直接向苏姿丰汇报,联合创始人 Justin Johnson 和 Ben Mildenhall 继续带领团队并入 AMD。

    推荐理由:交易金额、估值倍数与投资方回报结构都有具体数字,可据此观察芯片厂商布局世界模型的路径。

9月25日周五
9月2日周三
8月28日周五
8月17日周一
  1. Google Research60

    Google Research 发布 PhotoScan:用手机照片估算体成分并预测胰岛素抵抗

    Google Research 提出 PhotoScan,一个可从普通 2D 手机照片估算体脂率、Android-to-Gynoid 脂肪比(A/G)和内脏与皮下脂肪面积比(V/S)的深度学习框架,用于预测胰岛素抵抗。

    推荐理由:Google Research 用手机照片估算体成分并预测胰岛素抵抗,读者可了解其与 DXA、BIA 的精度对比。

8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语言手语转文本模型 SL2T,首次将手语 AI 带入消费产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。

    推荐理由:官方披露 SL2T 的训练规模、手语到文本的翻译路径与隐私设计,可了解手语 AI 从实验室走向消费产品的技术取舍。

8月11日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言版:开放权重、12 种语言与自托管部署

    NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持英语、西班牙语、法语、德语、意大利语、越南语、普通话、印地语、日语以及新增的现代标准阿拉伯语、韩语和巴西葡萄牙语共 12 种语言,每种语言含男女声。

    推荐理由:原文给出 364M 开源权重模型的多语言扩展与自托管延迟数据,可据此判断级联语音架构的部署取舍。

8月10日周一
8月4日周二
  1. Mistral AI66

    Mistral AI 发布 Shieldstral:3B 开源多模态安全分类器

    Mistral AI 发布 Shieldstral,一个 3B 开源权重多模态安全分类器,以 Apache 2.0 许可开放下载,可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务,推理时用自然语言写入策略即可返回校准后的安全分数,无需重新训练,统一处理文本与图像。官方称其在文本安全上可匹配最多 7 倍参数量的模型,并在多模态审核上取得新的 SOTA。

    推荐理由:3B 开源安全分类器把内容审核变成推理时可换策略的问答任务,可据此判断小模型在审核场景的可用边界。

7月30日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2,称其为面向机器人最强大的具身推理模型,可作为高层大脑让机器人对话、理解物理世界并规划多步任务,再把动作执行交给底层 VLA 模型,还能原生调用 Google Search 等工具。

    推荐理由:官方给出 ER 2 在进度分类、时刻定位与多机器人协作上的具体指标和开放入口,可据此判断机器人大脑的能力边界。

7月28日周二
7月21日周二