技术方向
跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
15 条精选近 30 天 6 条共收录 32 条
在旧金山 Microsoft 活动上，NVIDIA 与 Microsoft 宣布为 Windows PC 上的 AI 智能体共同设计软硬件，Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers（MXC）正式可用，让智能体在系统控制下安全持久地在后台运行。
推荐理由：NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力硬件一并给出，读者可据此判断 Windows 端侧智能体的落地路径。
Liquid AI 开源 d1 决策模型家族的两个模型 d1-3B 和 d1-omni-600M（实验性），二者不生成 token，而是在单次前向传播中给出答案。
推荐理由：Liquid AI 公开两个决策模型，给出端侧延迟与七项基准对比，可据此判断小模型做结构化决策的可行性。
Google DeepMind 发布 EmbeddingGemma 2，一个基于 Gemma 4 架构、740M 参数的开源多模态嵌入模型，采用 Apache 2.0 许可，可把文本、图像、音频和视频映射到统一嵌入空间。
推荐理由：官方给出 740M 参数、模块化编码器与端侧内存占用，可据此判断本地多模态检索的落地成本。
NVIDIA 将于 10 月 23 日通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 64GB 统一内存版 DGX Spark，起售价 4,999 美元，保留 GB10 Grace Blackwell 超级芯片、DGX OS 和完整 NVIDIA AI 软件栈，支持最高 1000 亿参数模型在设备端运行。
推荐理由：原文给出 64GB 新配置的定价、上市时间和双机集群性能数据，读者可据此判断本地跑大模型的成本与扩展方式。
Google DeepMind 公布 Private AI Compute 的新技术能力，将持久化服务端记忆引入该平台，使 AI 助手能在多设备间保留上下文。该架构把数据封存在加密存储中，解密密钥仅保存在用户设备上，模型需要访问时通过端到端加密通道连接云端安全隔区，在隔离内存中临时解密并处理请求。
推荐理由：Google 公开了云端持久记忆的隐私架构，读者可了解跨设备记忆如何在加密与安全隔区下实现。
Hugging Face 为 transformers 加入 GGUF 支持，用户可从 Hub 选取量化 checkpoint，通过 from_pretrained 传入 gguf_file 在本地生成，也可用 transformers serve 暴露 OpenAI 兼容 API。
推荐理由：Hugging Face 官方说明 transformers 接入 GGUF 的加载方式与性能对比，可据此判断本地推理工作流的变化。
Google Research 提出 PhotoScan，一个可从普通 2D 手机照片估算体脂率、Android-to-Gynoid 脂肪比（A/G）和内脏与皮下脂肪面积比（V/S）的深度学习框架，用于预测胰岛素抵抗。
推荐理由：Google Research 用手机照片估算体成分并预测胰岛素抵抗，读者可了解其与 DXA、BIA 的精度对比。
Google DeepMind 发布多语言手语转文本模型 SL2T，首次将手语 AI 带入消费产品，在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语（ASL）转英文听写，后续将扩展更多设备与语言。
推荐理由：官方披露 SL2T 的训练规模、手语到文本的翻译路径与隐私设计，可了解手语 AI 从实验室走向消费产品的技术取舍。
Berkeley AI Research 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX，新增结构化 CUDA-to-MLX 翻译层，让已有 CUDA 内核作为知识库适配 Apple Silicon。
推荐理由：读者可看到 CUDA 优化经验如何被结构化迁移到 Apple Silicon，以及翻译层对内核性能的具体贡献。
Google Research 发布新架构，将多 Token 预测（MTP）头挂载到已冻结的 Gemini Nano v3 模型上，已在 Pixel 9 和 10 系列上线，作为开箱即用的加速方案。
推荐理由：Google 把 MTP 头挂到冻结的 Gemini Nano v3 上，读者可了解端侧推测解码如何省内存并提速。
Google DeepMind 发布 Gemma 4 12B，一款面向笔记本电脑的智能体多模态模型，介于边缘端 E4B 与 26B MoE 之间，是首个支持原生音频输入的中等规模 Gemma 模型。
推荐理由：Gemma 4 12B 用无编码器架构把视觉和音频直接接入 LLM，读者可据此判断本地多模态智能体的硬件门槛。
Google Research 在 Nature 发表研究，提出 PHRM 系统，可在日常使用手机时通过前摄在面部解锁后采集 8 秒视频，被动估算心率与每日静息心率。
推荐理由：Google 用手机前摄在解锁后被动测心率，并公开迄今最大规模多肤色 rPPG 数据集与预训练模型。
Google DeepMind 发布 Gemma 4 开源模型家族，包含 E2B、E4B、26B MoE 和 31B Dense 四个尺寸，采用 Apache 2.0 许可。
推荐理由：Gemma 4 以四个尺寸覆盖从手机到工作站的部署，并给出 Arena 排名与 Apache 2.0 许可，便于判断开源模型的可用边界。
Mistral 发布 Mistral 3 系列，包括 14B、8B、3B 三个小尺寸稠密模型和迄今最强的 Mistral Large 3，后者为稀疏 MoE 架构，41B 激活参数、675B 总参数，全部以 Apache 2.0 许可开源。
推荐理由：Mistral 3 系列以 Apache 2.0 开源并给出参数与部署路径，读者可据此判断开源前沿模型的可用边界。
Mistral AI 发布 Mistral Small 3.1，在 Mistral Small 3 基础上提升文本性能、多模态理解，并将上下文窗口扩展至 128k tokens，以 Apache 2.0 许可开源。
推荐理由：官方给出 Mistral Small 3.1 的多模态与长上下文能力及开源许可，读者可据此判断小模型在端侧与私有部署中的可用性。