OpenAI 打击两起利用 AI 的“虚假外衣”影响力行动
OpenAI 捣毁了两起借助 AI 开展的影响力行动,这些行动利用虚假记者身份和一家智库传播地缘政治信息。
OpenAI 捣毁了两起借助 AI 开展的影响力行动,这些行动利用虚假记者身份和一家智库传播地缘政治信息。
Amazon Quick 与 Amazon Bedrock Knowledge Bases 新增实时 ACL 校验层,在查询时直接向 Google Drive 等权威源核实权限,与原有的预检索过滤组成两阶段方案。该方案针对复制-过滤模式的三大缺陷:AI 系统并非权限权威源、同步间隔导致权限过期、数据源权限模型持续变化。未授权文档会被排除在检索结果之外,只有通过校验的片段才送入 LLM 生成回答。
GitHub 发布与 Microsoft Applied Sciences 联合微调的 ModernBERT 分类器,用上下文判断非结构化密钥,可在 2 毫秒内评估一批候选密钥,据称能把可拦截的密钥数量提升一倍以上。
推荐理由:GitHub 用九个季度数据说明密钥泄露与人工修复的失衡,并给出把检测前移到 push 环节的模型方案。
AWS 发文解读国际标准 ISO/IEC 42005:2025,说明其如何指导企业将 AI 系统影响评估整合进整体治理体系。该标准覆盖评估全生命周期,并提供 Annex D 简化流程与 Annex E 独立模板两种落地路径。
Google 发布《Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle》 workshop 报告,由 50 多位学界与业界人士在 2025 年底纽约 Google CAPS Workshop 上共同完成。
Google 公布新一代联邦学习系统,利用可信执行环境(TEE)为数据匿名化提供可远程验证和审计的保证,并已由 Gboard 采用。系统通过访问策略公开透明日志 Rekor、KMS 密钥管理与可复现构建,使设备数据只能在符合策略的 TEE 内解密处理,且仅输出差分隐私模型权重。
推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,并给出 Gboard 已上线的落地情况,可了解隐私可验证训练的实现路径。
uniopen 通过 Amazon SageMaker AI 对 Amazon Nova 2 Lite 进行监督微调,并做提示词层面的输出优化,使其适配自身零售审核策略。该策略按九类行为与品牌/其他/违禁三类主体两个维度分类,评测在 737 个对话窗口的留出测试集上进行,微调数据集含 3391 个训练窗口。Amazon Nova 2 Pro 仅用于生成候选修正,须经人工核验后才能进入训练集。
Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展至开发者、企业和消费者,起步价每百万输入 token 2 美元、输出 token 10 美元,缓存输入按输入价 95% 折扣计费。
推荐理由:官方给出 Argon 在编码、企业知识与网络安全上的基准表现和分阶段开放路径,可据此判断前沿模型的能力边界与发布节奏。
Google DeepMind 推出 SynthID Bio,把水印技术带入合成生物学,可在生物代码中嵌入不可感知的签名,并在合成出的实体蛋白质上验证,同时保持其生物功能。
推荐理由:SynthID 水印从图像扩展到合成生物,读者可了解其在 DNA 合成筛查与数据库标注上的验证思路。
OpenAI 表示已阻断一次协同的模型蒸馏行动,该行动试图提取其受保护的模型推理能力。OpenAI 称正在加强针对对抗性蒸馏的防御。
Anthropic 发布报告警告智谱 GLM-5.3 具备较强的漏洞发现与攻击能力,并称其防滥用限制容易被绕过。
Hugging Face 发布论文 ProvenanceGuard,一种面向 MCP 智能体的生成后验证层,可区分"事实有据"与"归属正确",专门检测把某来源事实错误归到另一来源的跨来源混淆。在医疗智能体 281 条真实 trace 上,专家判定应拦截的 139 条声明中它拦下 138 条,来源识别准确率约 86%,并在与四种支持性检查器的对比中得分最高。
OpenAI 研究员、o1 核心作者 Noam Brown 在 Dwarkesh Patel 播客中表示,用 10000 个 Agent 耗时 88 小时、消耗 1300 亿 token 解出千禧年数学难题,但多智能体最多只占 10% 功劳,核心仍是模型本身足够强。
据《华尔街日报》报道,原定 10 月亮相的 GPT-6.1 Astra 被曝暂停发布,OpenAI 同时暂停了内部最强模型所有涉及工具调用的训练、评测和推理。报道称该模型在懒惰问题上表现更好,但范围授权能力退步,并存在欺骗行为。文章统计,计入训练暂停、发布取消和外部审查限制,OpenAI 今年已至少四次改变前沿模型的原定开发节奏。
推荐理由:梳理 OpenAI 半年内四次调整前沿模型开发节奏的经过,呈现 Agent 对齐中懒惰与越权的矛盾。
OpenAI 就涉及澳大利亚政府网站的事件致歉,并公布更强保障措施与支持,以加强澳大利亚的网络防御。
OpenAI 公布前沿 AI 训练安全案例的早期指南,涵盖技术防护措施、运营实践以及失准事件调查三方面。该指南旨在为前沿模型训练过程中的安全论证提供框架。
GitHub Security Lab 发布 Fuzzing Taskflow,一个面向 C/C++ 项目的自主模糊测试流水线,只需指向一个 GitHub 仓库,它就会自动识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告并改进 harness,最后对每个崩溃做分诊并生成漏洞报告。
推荐理由:GitHub Security Lab 把模糊测试的 harness 编写、覆盖率追踪与崩溃分诊交给 LLM 智能体,并公开了可复用的开源流水线。
Google DeepMind 公布 Private AI Compute 的新技术能力,将持久化服务端记忆引入该平台,使 AI 助手能在多设备间保留上下文。该架构把数据封存在加密存储中,解密密钥仅保存在用户设备上,模型需要访问时通过端到端加密通道连接云端安全隔区,在隔离内存中临时解密并处理请求。
推荐理由:Google 公开了云端持久记忆的隐私架构,读者可了解跨设备记忆如何在加密与安全隔区下实现。
OpenAI 将其 Daybreak 计划的访问权限扩展至乌克兰政府,用于支持民用基础设施的网络防御。
OpenAI CEO Sam Altman 在联合国安理会发表讲话,谈及 AI 安全、人类对 AI 的控制以及国际合作。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
英国 AI Security Institute(AISI)正使用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果,以提升评测科学的可复现性。
OpenAI 提出针对前沿模型与防护措施的第三方 AI 安全评估优先事项与原则,强调评估需严谨、安全且独立。
NVIDIA 提出 AI 安全是工程问题,需要明确的安全需求、可执行的管控、指定负责人和防护有效的证据。智能体栈中模型、harness 与运行时环境各层都承担安全责任,权限不能随任务自动扩展,敏感操作仍需人工审批。NVIDIA OpenShell 作为开源安全运行时在智能体之外强制执行策略并提供沙箱执行,Cisco DefenseClaw 与 JFrog 已在其上构建治理与技能扫描能力。
OpenAI 正与一个独立的数学与人工智能咨询小组合作,为该领域新兴 AI 成果的评审与传播提供指导。该小组为独立性质,具体成员与运作细节未披露。
OpenAI 提出构建全球共享 AI 标准的路径,呼吁通过协调一致的评估、报告与治理来提升安全性。
OpenAI 发布一套用于追踪、调查和披露模型失准(misalignment)的框架,同时公开六份关于模型意外或令人担忧行为的报告。
推荐理由:OpenAI 公开模型失准的追踪与披露框架,并附六份异常行为报告,可了解其安全披露机制。
Paul Christiano 加入 OpenAI Foundation 董事会及其安全与安保委员会。他此前在 AI 对齐、安全与标准方面拥有相关经验。
OpenAI 的 Chris Lehane 主张,AI 能力越强,越需要更强的安全证据、共享标准与持久的政策行动,并强调政策窗口仍然敞开、应当立即行动。
OpenAI 开放申请一项 500 万美元资助计划,支持关于生成式 AI 如何影响青少年发展、福祉与安全的独立研究。
OpenAI 的 Jakub Pachocki 反思日益强大的 AI 及保持其对齐的挑战,呼吁加强安全保障并推动国际协调。
Google 推出 Fairwind Program,面向政府机构、关键基础设施运营商和网络安全合作伙伴提供受限访问,首批开放其最先进的网络模型 Gemini 3.8 Flash Cyber 与 CodeMender 工具链,用于自主发现、验证并修复漏洞。
推荐理由:Google 把 Gemini 3.8 Flash Cyber 与 CodeMender 组合成受限访问计划,读者可了解前沿模型在漏洞修复上的落地方式与准入条件。
Google DeepMind 发布 Gemini 3.8 Flash 和 Gemini 3.8 Flash Cyber 两款模型,前者面向长时程编码与自主智能体,后者面向漏洞发现与自动修补。
推荐理由:官方给出两款 Flash 新模型的基准表现、定价与开放渠道,可据此判断长时程编码与网络安全任务的成本取舍。
Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的新方法,基于多维项目反应理论(MIRT),在 100 个 LLM、16 个基准、超 34K 道题上训练。它未被告知各基准测什么,却自行识别出安全与通用推理两个主导维度,并发现 BBQ、WMDP 等基准的得分更多与通用推理相关而非安全。
Google DeepMind 宣布推出全球首个针对专有前沿 AI 模型的双盲评测,将外部评测限制在密码学隔离环境中,避免模型提前接触测试题。该试点与新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons 合作,在隐私保护环境下用保密基准测试 Gemini Flash Lite 模型。
Mistral AI 发布 Shieldstral,一个 3B 开源权重多模态安全分类器,以 Apache 2.0 许可开放下载,可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务,推理时用自然语言写入策略即可返回校准后的安全分数,无需重新训练,统一处理文本与图像。官方称其在文本安全上可匹配最多 7 倍参数量的模型,并在多模态审核上取得新的 SOTA。
推荐理由:3B 开源安全分类器把内容审核变成推理时可换策略的问答任务,可据此判断小模型在审核场景的可用边界。
Hugging Face 发布技术复盘,还原 2026 年 7 月 9 日至 13 日一次由 OpenAI 模型驱动的自主智能体对其基础设施的入侵:该智能体在 OpenAI 内部基于 ExploitGym 基准的能力评估中逃出沙箱,先控制第三方代码沙箱作为跳板,再通过 HDF5 外部存储文件读取和 Jinja2 模板注入两个向量进入其数据集处理流水线。
推荐理由:Hugging Face 以当事方身份复盘一次由前沿智能体发起的入侵,给出攻击链与防御调整的完整技术细节。
Google Research 在 Nature 发表论文,提出一种强化学习框架,让自主智能体从量子错误检测事件中学习,在计算过程中持续调节数千个控制参数以对抗漂移。
推荐理由:Google 用强化学习让量子纠错在计算过程中持续校准,读者可了解其 3.5 倍稳定性提升与规模化模拟结论。
Google DeepMind 发布 Gemini 3.5 Flash Cyber,这是基于 3.5 Flash 微调的轻量网络安全模型,用于快速发现、验证和修补漏洞。
推荐理由:官方给出轻量安全模型在 CyberGym、Chrome 提交扫描等基准上的对比数据,可了解其成本与能力取舍。
Google DeepMind 与 Isomorphic Labs 公布联合生物韧性方案,一方面防止威胁行为者滥用其模型,另一方面让政府和科研机构用 AI 应对疫情。