跳到正文
  1. NVIDIA Blog78

    NVIDIA 与 Microsoft 发布 RTX Spark 及 Windows 智能体基础设施

    在旧金山 Microsoft 活动上,NVIDIA 与 Microsoft 宣布为 Windows PC 上的 AI 智能体共同设计软硬件,Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在系统控制下安全持久地在后台运行。

    推荐理由:NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力硬件一并给出,读者可据此判断 Windows 端侧智能体的落地路径。

  2. Hugging Face Blog62

    Liquid AI 发布 d1-3B 与 d1-omni-600M 端侧决策模型

    Liquid AI 开源 d1 决策模型家族的两个模型 d1-3B 和 d1-omni-600M(实验性),二者不生成 token,而是在单次前向传播中给出答案。

    推荐理由:Liquid AI 公开两个决策模型,给出端侧延迟与七项基准对比,可据此判断小模型做结构化决策的可行性。

  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、740M 参数的开源多模态嵌入模型,采用 Apache 2.0 许可,可把文本、图像、音频和视频映射到统一嵌入空间。

    推荐理由:官方给出 740M 参数、模块化编码器与端侧内存占用,可据此判断本地多模态检索的落地成本。

  1. NVIDIA Blog62

    NVIDIA DGX Spark 推出 64GB 版本,支持双机集群扩展本地 AI

    NVIDIA 将于 10 月 23 日通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 64GB 统一内存版 DGX Spark,起售价 4,999 美元,保留 GB10 Grace Blackwell 超级芯片、DGX OS 和完整 NVIDIA AI 软件栈,支持最高 1000 亿参数模型在设备端运行。

    推荐理由:原文给出 64GB 新配置的定价、上市时间和双机集群性能数据,读者可据此判断本地跑大模型的成本与扩展方式。

  1. Google DeepMind62

    Google DeepMind 为 Private AI Compute 引入服务端持久记忆

    Google DeepMind 公布 Private AI Compute 的新技术能力,将持久化服务端记忆引入该平台,使 AI 助手能在多设备间保留上下文。该架构把数据封存在加密存储中,解密密钥仅保存在用户设备上,模型需要访问时通过端到端加密通道连接云端安全隔区,在隔离内存中临时解密并处理请求。

    推荐理由:Google 公开了云端持久记忆的隐私架构,读者可了解跨设备记忆如何在加密与安全隔区下实现。

  1. Hugging Face Blog66

    Transformers 现已支持运行 llama.cpp 的 GGUF 量化模型

    Hugging Face 为 transformers 加入 GGUF 支持,用户可从 Hub 选取量化 checkpoint,通过 from_pretrained 传入 gguf_file 在本地生成,也可用 transformers serve 暴露 OpenAI 兼容 API。

    推荐理由:Hugging Face 官方说明 transformers 接入 GGUF 的加载方式与性能对比,可据此判断本地推理工作流的变化。

  1. Google Research60

    Google Research 发布 PhotoScan:用手机照片估算体成分并预测胰岛素抵抗

    Google Research 提出 PhotoScan,一个可从普通 2D 手机照片估算体脂率、Android-to-Gynoid 脂肪比(A/G)和内脏与皮下脂肪面积比(V/S)的深度学习框架,用于预测胰岛素抵抗。

    推荐理由:Google Research 用手机照片估算体成分并预测胰岛素抵抗,读者可了解其与 DXA、BIA 的精度对比。

  1. Google DeepMind71

    Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语言手语转文本模型 SL2T,首次将手语 AI 带入消费产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。

    推荐理由:官方披露 SL2T 的训练规模、手语到文本的翻译路径与隐私设计,可了解手语 AI 从实验室走向消费产品的技术取舍。

  1. Berkeley AI Research62

    从 CUDA 到 MLX:K-Search 如何把数十年内核经验带到 Apple Silicon

    Berkeley AI Research 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX,新增结构化 CUDA-to-MLX 翻译层,让已有 CUDA 内核作为知识库适配 Apple Silicon。

    推荐理由:读者可看到 CUDA 优化经验如何被结构化迁移到 Apple Silicon,以及翻译层对内核性能的具体贡献。

  1. Google Research62

    Google 用冻结多 Token 预测加速 Pixel 上的 Gemini Nano 模型

    Google Research 发布新架构,将多 Token 预测(MTP)头挂载到已冻结的 Gemini Nano v3 模型上,已在 Pixel 9 和 10 系列上线,作为开箱即用的加速方案。

    推荐理由:Google 把 MTP 头挂到冻结的 Gemini Nano v3 上,读者可了解端侧推测解码如何省内存并提速。

  1. Google DeepMind78

    Google DeepMind 发布 Gemma 4 12B:统一无编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B,一款面向笔记本电脑的智能体多模态模型,介于边缘端 E4B 与 26B MoE 之间,是首个支持原生音频输入的中等规模 Gemma 模型。

    推荐理由:Gemma 4 12B 用无编码器架构把视觉和音频直接接入 LLM,读者可据此判断本地多模态智能体的硬件门槛。

  1. Google Research71

    Google 发布 PHRM:用手机前摄被动监测心率与静息心率

    Google Research 在 Nature 发表研究,提出 PHRM 系统,可在日常使用手机时通过前摄在面部解锁后采集 8 秒视频,被动估算心率与每日静息心率。

    推荐理由:Google 用手机前摄在解锁后被动测心率,并公开迄今最大规模多肤色 rPPG 数据集与预训练模型。

  1. Google DeepMind82

    Google DeepMind 发布 Gemma 4 开源模型家族

    Google DeepMind 发布 Gemma 4 开源模型家族,包含 E2B、E4B、26B MoE 和 31B Dense 四个尺寸,采用 Apache 2.0 许可。

    推荐理由:Gemma 4 以四个尺寸覆盖从手机到工作站的部署,并给出 Arena 排名与 Apache 2.0 许可,便于判断开源模型的可用边界。

  1. Mistral AI82

    Mistral 发布 Mistral 3 系列模型,含 675B 参数 Mistral Large 3

    Mistral 发布 Mistral 3 系列,包括 14B、8B、3B 三个小尺寸稠密模型和迄今最强的 Mistral Large 3,后者为稀疏 MoE 架构,41B 激活参数、675B 总参数,全部以 Apache 2.0 许可开源。

    推荐理由:Mistral 3 系列以 Apache 2.0 开源并给出参数与部署路径,读者可据此判断开源前沿模型的可用边界。

  1. Mistral AI71

    Mistral AI 发布 Mistral Small 3.1,支持多模态与 128k 上下文

    Mistral AI 发布 Mistral Small 3.1,在 Mistral Small 3 基础上提升文本性能、多模态理解,并将上下文窗口扩展至 128k tokens,以 Apache 2.0 许可开源。

    推荐理由:官方给出 Mistral Small 3.1 的多模态与长上下文能力及开源许可,读者可据此判断小模型在端侧与私有部署中的可用性。

已经到底了