GPT-6 如何改进提示词缓存
GPT-6 改进了提示词缓存,带来更高的缓存命中率、新的诊断工具、显式断点以及可降低延迟与成本的控制项。
GPT-6 改进了提示词缓存,带来更高的缓存命中率、新的诊断工具、显式断点以及可降低延迟与成本的控制项。
NVIDIA 在加拿大多伦多 ROSCon 大会上发布 Isaac ROS 5.0,这是一套基于 ROS 的 GPU 加速软件包集合,新增智能体工作流与平台支持。
推荐理由:Isaac ROS 5.0 把智能体工作流引入机器人开发,并给出多家厂商的落地案例,可据此判断开源机器人栈的演进方向。
NVIDIA 推出 DSX Ready 认证计划,用于审核合作伙伴产品是否符合 NVIDIA DSX AI 工厂参考设计要求,首批覆盖电池储能系统(BESS)和冷却分配单元(CDU)两类。
NVIDIA 发文阐述 Physical AI 规模化部署的安全挑战,指出安全必须覆盖硬件、软件、AI、运行环境与部署全生命周期,而非部署前的一次性检查。
NVIDIA 在开罗大埃及博物馆举办活动,展示埃及 AI 生态已进入生产规模阶段,其 Deep Learning Institute 埃及学员基数一年内增长超十倍。
NVIDIA 提出 AI 安全是工程问题,需要明确的安全需求、可执行的管控、指定负责人和防护有效的证据。智能体栈中模型、harness 与运行时环境各层都承担安全责任,权限不能随任务自动扩展,敏感操作仍需人工审批。NVIDIA OpenShell 作为开源安全运行时在智能体之外强制执行策略并提供沙箱执行,Cisco DefenseClaw 与 JFrog 已在其上构建治理与技能扫描能力。
NVIDIA 在纽约气候周上介绍了 5 家用 AI 推进清洁能源的公司:ThinkLabs AI 用数字孪生和智能体把电网并网评估从 30-45 天缩短到 2 分钟。
Hugging Face 发布 tokenizers v1 候选版本,输出与 v0.23 完全一致的 token ID,速度最高提升数十倍。v1 将单个 crate 拆分为工作区,引入 bitcannon 用 SIMD 位流替代正则切分、无分配合并循环、线程本地词缓存和原生多线程并行。
Pawprint Studio 的抓宠开放世界 RPG《Aniimo》首发即登陆 GeForce NOW,玩家无需下载 45GB 即可在 Steam Deck 及新支持的 Firefox 浏览器上串流游玩。
GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行生产级 Rust,AI agent 写了大部分代码,分布在 128 个合入 main 的 PR 中并逐步发布,运行时性能提升数个数量级。
推荐理由:作者以亲历者身份给出把 Copilot 运行时从 TypeScript 迁到 Rust 的完整工程细节,可迁移到大规模 agent 协作开发。
NVIDIA 在 MLPerf Inference v6.1 首次提交 Vera Rubin NVL72 预览成绩,在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7 倍,在 DeepSeek-R1 上最高达 2.5 倍。
推荐理由:MLPerf v6.1 成绩单给出 Vera Rubin 与 GB300 的吞吐、扩展效率和软件优化数据,可作为推理基础设施选型的参照。
Emerald AI、Google 和 NVIDIA 宣布成立 AI 能源管理联盟(AEMA),推动数据中心根据电网状况动态管理用电。该联盟采用技术中立、基于性能的要求,聚焦响应速度、持续时间和紧急情况下的行为等可衡量指标,并统一技术标准与运营数据共享。NVIDIA 与 Emerald AI 已在与能源和基础设施企业合作,建设可实时响应电网状况的 AI 工厂。
OpenAI 介绍如何用 ChatGPT Work 和 Codex 的分析功能,帮助团队了解 AI 使用量与支出、识别培训需求,并把 AI 采用情况与业务成果关联起来。
曼彻斯特大学团队基于 NVIDIA Earth-2 的生成式模型 Earth-2 CorrDiff,在 Isambard-AI 超算单节点上仅用两天训练出覆盖全英、分辨率 2-3 平方公里的空气污染模型,并已加入 Earth-2 StormCast 支持依赖观测数据的时间相关预报。
NVIDIA 在 AI Infra Summit 上介绍 DSX 平台,聚焦电力管理与电网参与。Lambda 在五机架 19 节点的 HGX B200 集群上验证 DSX MaxLPS。
推荐理由:原文给出 DSX MaxLPS 在 Lambda 集群上的实测数字与 DSX Flex 的电网响应案例,可据此判断 AI 工厂每兆瓦产出如何被重新分配。
NVIDIA 在 AI Infra Summit 上公布 Vera Rubin 与 DSX 平台的多项进展,核心指标从峰值性能转向每兆瓦可验证的智能体 token 数。
推荐理由:NVIDIA 在 AI Infra Summit 上集中给出 Vera Rubin、DSX 与 NVLink 6 的多项实测数据,可据此判断 AI 工厂的能效与吞吐走向。
费城儿童医院(CHOP)基于开源医学影像框架 MONAI 构建心脏建模服务,把原本需 4 小时的建模缩短到数秒,并已用于复杂心室间隔缺损手术规划。CHOP 正与 NVIDIA 及开源社区基于 Warp 和 Newton 物理引擎开发心脏器械仿真,把仿真时间从最长 4 小时压缩至近实时。全美已有 20 多家儿童医院开展心脏建模项目,波士顿儿童医院建模支持其每年约 500 例心脏手术。
OpenAI 将 Habitat 从 Python 库演进为全球分布式存储平台,支撑 10 亿 ChatGPT 用户、每秒 2200 万次请求。该平台用于应对 ChatGPT 在线存储的规模化需求。
Mistral 与 Cloudera 宣布合作,将 Mistral 模型集成进 Cloudera 混合数据平台,企业可在私有云、公有云、本地及完全气隙环境中部署推理并保持完全控制。企业还能在受控环境中用专有数据训练自有模型,数据与模型所有权归企业所有。Cloudera 平台承载 30 exabytes 客户管理数据,双方瞄准金融、制造、电信等受监管行业的主权 AI 需求。
TRL v1.14 的 AsyncGRPOTrainer 现已支持只训练并同步 LoRA adapter 到 vLLM,rank-1 adapter 仅几 MB,可通过挂载在多个 Hugging Face Jobs 上的 Storage Bucket 传递,无需 NCCL。
Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 的油藏模拟器迁移到 C++,该代码库没有测试套件也没有集中文档。团队先搭建数值对齐测试框架,用状态快照校验迁移前后结果一致,再用 Vibe CLI 启动上百个智能体解析调用树并补写文档。迁移采用规划、编码、测试、审查多智能体加人工审核的流程,首个冲刺完成 30 万行中的 4 万行。
推荐理由:Mistral 公开了用智能体迁移 4 万行 Fortran 77 的完整流程,其中先建数值对齐测试再迁移的做法可迁移到其他遗留系统改造。
Mistral 宣布完成 30 亿欧元 D 轮融资,投后估值超过 210 亿欧元,由三星电子领投,Scaleup Europe Fund 和 PSG Equity 共同领投。
推荐理由:Mistral 完成欧洲最大股权融资,读者可据此理解其主权 AI 全栈路线与开源权重定位。
GitHub 发布研究预览 Project HydraFusion,通过运行时多模型编排为 Copilot 提供前沿级智能,用户可在 GitHub Copilot CLI 中通过 /experimental 选择该模型。
推荐理由:GitHub 官方给出多模型编排的三种执行模式与三项基准的成本质量对比,可据此判断路由式编排在编码任务上的取舍。
Hugging Face 发布 @huggingface/kernels,一个从 Hugging Face Hub 加载并运行优化 WebGPU kernel 的 JavaScript 库,同时上线 207 个 kernel,均以独立仓库形式发布,采用 Apache-2.0 许可。
推荐理由:Hugging Face 发布 207 个 WebGPU kernel 及加载库,并给出与 ORT WebGPU 的实测对比数据,可供浏览器端推理选型参考。
Hugging Face 在 Gradio 中推出 gr.Workflow,把 AI 流水线描述为带类型节点的图,并直接提供可拖拽画布,每个节点可运行、每个中间结果可见。
推荐理由:原文给出 gr.Workflow 的节点类型、并行模式与 API 导出方式,读者可据此判断多步 AI 流水线如何从脚本变成可部署界面。
Mistral 与 HUMAIN 宣布战略合作,覆盖 AI 基础设施、先进模型开发与 AI 解决方案部署,初期聚焦网络安全和语音,并计划开发阿拉伯语表现强劲的前沿模型。合作规模达数亿欧元,Mistral 将探索使用 HUMAIN 数据中心基础设施,双方还将在沙特面向受监管行业制定联合市场策略。
Papers with Code 的搜索采用混合检索架构,由 Hugging Face Jobs 批量生成论文嵌入向量、Storage Buckets 做持久化中转、Inference Endpoints 提供在线查询的低延迟嵌入,目前覆盖 arXiv 与 Daily Papers 的逾 11 万篇论文。
Liquid AI 为 LFM2.5 家族的 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下提升解码速度,GPU 上吞吐最高提升 3.18 倍,端侧最高提升 2.87 倍。
推荐理由:官方给出三个 LFM2.5 模型的 DSpark 草稿模型与实测加速数据,可据此判断端侧与 GPU 推理的提速幅度。
Mistral 发布 Agentic Search,一个让模型在多步检索循环中查找、检查和验证信息的检索层,通过 Mistral Search Toolkit 提供,并内置于 Studio 和 Vibe 的 Libraries 中。
推荐理由:原文给出多步检索循环的工具设计与两组基准数字,可据此判断传统一次性 RAG 在长文档场景的边界。
Hugging Face 构建了一个约束感知的 GPU 分配器,在七个基准场景中与 FIFO 调度器对比,相同硬件与负载下 GPU 利用率最高提升 33 个百分点,优先级加权产出最高提升 105%。
Hugging Face 博客介绍 Strands Robots 的流式数据闭环:用同一个 Robot() 录制 LeRobotDataset、通过 sync_dataset_to_bucket 同步到 Storage Bucket、再用 stream_dataset 从 Hub 流式读取训练,最后把 checkpoint 以 mode="real" 部署回硬件。
推荐理由:以 Strands Robots 为例拆解机器人数据闭环,读者可了解录制、去重同步、流式训练到部署的完整工程路径。
Hugging Face 的 ALTK-Evolve 与 ACE 同为无需权重更新的智能体记忆方案,但前者按任务检索少量高支持度指南,而非每步注入完整 playbook。
Mistral 宣布三项推进 AI 主权的举措:Mistral Regional Endpoints 正式可用,客户可选择推理在欧洲或美国运行;Mistral Priority Tier 进入公开预览,为关键业务负载提供自定义速率限制和带 SLA 的正常运行时间承诺。
推荐理由:Mistral 把区域推理、优先服务层级和第三方开源模型接入放进同一套基础设施,读者可据此判断主权 AI 的落地路径。
NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持英语、西班牙语、法语、德语、意大利语、越南语、普通话、印地语、日语以及新增的现代标准阿拉伯语、韩语和巴西葡萄牙语共 12 种语言,每种语言含男女声。
推荐理由:原文给出 364M 开源权重模型的多语言扩展与自托管延迟数据,可据此判断级联语音架构的部署取舍。
Hugging Face 最新论文提出两项系统改动,让大语言模型知识蒸馏的显存开销大幅下降:一是离线缓存教师模型每位置的 top-100 logits,训练时无需同时加载教师模型;二是融合分块 KL 损失,避免生成完整的词表×序列长度矩阵。
Baseten 正式加入 Hugging Face Hub 的 Inference Providers 生态,首批支持对话与文本生成任务,可调用 Kimi K3、DeepSeek V4 Flash、GLM-5.2 等开放权重模型。
Hugging Face 博客指出,AI 的下一个真正约束是 GPU 利用率而非智能水平。GPU 按日历小时计费,却只在计算小时产出,企业自购 GPU 后问题从"能否买到"变成"能否让它们保持忙碌"。集群按峰值需求配置,但需求并不持续,满载 GPU 的集群仍可能浪费大部分产能。
NVIDIA 推出 Cosmos-H-Dreams,一款面向手术机器人的实时、动作条件生成式仿真器,通过 FlashDreams 推理库在单张 RTX PRO 6000 GPU 上运行,支持人与策略闭环交互。
在 AppWorld Test Challenge 的 417 个任务上,同一 CodeAct 智能体下 Claude Sonnet 4.6 总成本 79 美元(0.19 美元/任务),GPT-4.1 却要 155 美元(0.37 美元/任务),几乎翻倍,原因是缓存命中率拉低了 Sonnet 的实际输入成本。
Hugging Face 博客发布《Profiling in PyTorch》系列第三部分,用 PyTorch 剖析 attention 在 profiler 下的表现。