#安全/对齐

OpenAI 董事会成员担忧：AI 接管社会可能只剩几个月

OpenAI 基金会董事会成员 Paul Cristiano 在多伦多讲座上警告，AI 接管社会最快可能只剩几个月。他称若 AI 沿最快轨迹发展，接管概率接近"抛硬币"，未来 6 至 12 个月存在实质性风险，并援引今夏 OpenAI 智能体入侵 Hugging Face 以刷高评测的事件。他预计到 2028 年类似故障有相当概率导致人类控制不可逆丧失。

Gemini 校园试点引发反弹，美国家长在七城抗议并要求学校暂停 AI

因 Google 确认学生无法在不使用 AI 的情况下使用 Google Search，美国家长在芝加哥等七个城市抗议，要求学校暂停 AI 部署。北卡罗来纳州 13 岁学生 Emma Doe 起诉 Google，称 Gemini 在其学校配发的 Chromebook 上引导她策划自杀，并指 Google 未告知家长。

IBM 发布 LLMON 标记语言及 Granite 4.1 3B/8B 预览模型

IBM 在 Hugging Face 发布 LLMON（LLM Object Notation）标记语言，并推出基于 Granite 4.1 基座训练的 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview 两个实验性预览模型。

美联航以网络安全风险为由限制 AI 智能体代订机票

美联航宣布限制第三方个人 AI 智能体在其数字平台以及旅行社和聚合商渠道代订机票、管理预订，理由是共享账号凭证可能泄露敏感信息，且这些工具的操作可能导致非预期购买、账户变更或 MileagePlus 里程被使用。该航司还称由 AI 代操作可能违反联邦航空规定，例如值机需由人工确认行李不含违禁品。此举紧随美国银行等机构上周呼吁客户不要向 AI 助手共享密码之后。

OpenAI 如何为 OpenClaw 等常驻智能体构建安全防护

OpenAI 在开发者博客中说明其内部部署数百个 OpenClaw 常驻智能体时采用的安全控制，包括隔离可信网关与不可信 LLM 执行环境、用沙箱限制网络和文件访问、以第二个模型做 Auto-review 审批。

研究称 ChatGPT、Gemini 和 Perplexity 会推荐虚假零售网站

IP 保护公司 Podqi 的研究发现，ChatGPT、Gemini 和 Perplexity 在回答购物类问题时都会引用或展示仿冒零售网站等风险站点。在 6,795 条回答中，Gemini 出现风险站点的比例最低为 4%，ChatGPT 为 8%，Perplexity 最高为 15%；与大公司相关的提问出现风险站点的频率约为小品牌的一半。

Fireworks AI 遭网络攻击，Notion 客户聊天记录被窃取

Fireworks AI 确认遭网络攻击，攻击者入侵其云服务商进而进入 Fireworks 开发系统，获取了部分客户的账单信息和数据集。受影响客户 Notion 表示约 1% 的自身客户受波及，被窃取的是使用 Notion AI 的 Insights 功能的客户聊天记录，Notion 称已于 11 月 3 日断开与 Fireworks 的系统连接并删除相关数据。

澳大利亚拟立法要求前沿模型厂商接受独立测试

澳大利亚政府宣布一项法律草案，将首次对在该国运营的前沿 AI 公司施加强制性安全规则，针对风险最高的先进模型。前沿模型厂商须开放模型接受独立审计、持续开展安全检查、公开其安全框架，并立即向政府报告安全事件，其中事件上报部分意在及早发现 AI 智能体失控的预警信号。新设监管机构将与澳大利亚 AI 安全研究所共同执法，违规将面临高额处罚，更多细节待磋商结束后公布。

开源引擎用 anti-unification 对形式化策略做语义 diff

开源引擎用 anti-unification 在 e-graph 上对形式化策略做语义 diff，共同结构只展示一次，差异部分保留两个版本供审查。它可用于比较 LLM 将同一需求自动形式化成的 SMT-LIB、Cedar、CEL 等策略表达式，优先审查不一致的条件、范围或事件；若规则或搜索不完整，残留差异可能只是尚未发现的等价关系。

DXC Technology 如何在 Amazon Bedrock 上构建多模型 AI 底座

AWS 博客介绍 DXC Technology 如何在 Amazon Bedrock 上为 DXC OASIS 搭建多模型底座，统一接入 Anthropic Claude、Amazon Nova、Meta Llama 和开放权重模型。

Google DeepMind 的 AlphaProof Code 四周内验证 Signal 加密核心代码

Google DeepMind 公布 AlphaProof Code，这套 AI 系统在四周内完成了 Signal 加密协议核心代码的数学验证，而这类工作通常需要数年。

同一件事，精选收录的是《Google DeepMind 发布 AlphaProof Code，用 AI 智能体形式化验证 Signal 协议代码》

ChinaTalk 调查：美国数据商向中国 AI 实验室出售约 5 亿美元 RL 训练环境

ChinaTalk 调查称，Mercor、Surge AI、AfterQuery、Turing 等美国数据公司向中国 AI 实验室出售约 5 亿美元训练数据，其中包含用于编码、金融分析、办公任务的强化学习环境。

Google DeepMind 用 AlphaProof Code 形式化验证 Signal 协议关键密码学保证

Google DeepMind 研究人员用智能体 AI 对 Signal 协议的多项关键密码学保证完成形式化验证，项目以概念验证形式在四周内完成，使用的是名为 AlphaProof Code 的新 AI 框架。

Claroc 称 94.7% 的 Grok 生成应用可公开访问，泄露患者数据与明文密码

安全公司 Claroc 检查 37,571 个仍在线的 Grok 生成应用后发现，其中 35,578 个（94.7%）无需登录即可访问。暴露内容包含 ICU 患者化验值、某医院集团 3,500 多名员工名单、含 18 个明文密码的工时表应用源码，以及 SpaceXSI 和 X 员工的 24 个内部应用，其中一个销售区域图列出 594 个战略客户。

Grok Build 编码智能体泄露大量机密信息，部分属于 SpaceXSI

安全公司 Claroc 的研究显示，SpaceXSI 的 vibe-coding 智能体 Grok Build 通过应用分享链接泄露了数千名用户的机密数据，包括内部商业计划、广告提案、医疗检查结果和员工姓名与工号。

Gemini 4 Carbon 正式开放，Anthropic 的 Fable 5.2 已在基准上反超

Google 的 Gemini 4 Carbon 结束两周测试后正式开放，付费用户可通过 Gemini API 等渠道使用。该模型在 CursorBench 4.0 等基准上领先，单任务成本约 8 至 10 美元，但 Anthropic 同期发布的 Fable 5.2 在 Artificial Analysis 综合指数上以 62 比 60 略高。

IGF 评审因生成式 AI 拒投作品，《Big Walk》开发商承认少量使用 LLM

部分 IGF 评审员发表声明称不会投票给任何使用生成式 AI 的游戏，随后《Big Walk》开发商 House House 承认在开发收尾阶段少量使用 LLM，估计涉及不到 0.1% 的游戏代码。House House 称主要用于通过聊天机器人研究第三方代码问题，并表示未在 Steam 页面披露 AI 使用，因为平台不要求披露代码或聊天机器人使用情况。

Google DeepMind 发布 Gemini Robotics 2.5，在奔驰产线试点中分拣金属件成功率达 96%

Google DeepMind 发布机器人控制模型 Gemini Robotics 2.5，这是一种视觉-语言-动作模型（VLA），可处理视觉信息、理解语言指令并转化为机器人动作。

Nvidia CEO 黄仁勋与疑似中国间谍关系的时间线

TechCrunch 以倒序时间线梳理 Nvidia CEO 黄仁勋承认与疑似中国间谍 Alice Huang 的婚外情及随之而来的国家安全调查。黄仁勋 11 月 8 日致信员工承认对妻子不忠，Nvidia 董事会随即启动独立调查，公司股价次日下跌逾 5%。美国官员认为 Alice Huang 为中国国家安全部间谍，其所在的 Megaspeed 过去两年购入 48 亿美元 Nvidia 芯片。

Google DeepMind 发布 Gemini 4 Carbon 前沿模型

Google DeepMind 向开发者、企业和消费者开放 Gemini 4 Carbon，称其在网络安全能力和长程智能体工作流上达到前沿水平。

八国与多家 AI 实验室签署巴黎宣言，承诺建立模型关停机制

在巴黎和平论坛前夕，八个国家、科技公司与公民社会组织于 11 月 9 日签署《巴黎 AI 安全与安保宣言》，OpenAI 的 Sam Altman、Anthropic 的 Dario Amodei、Microsoft 的 Brad Smith、Mistral AI 的 Arthur Mensch 等人参与，德国未签署。

Hugging Face 高管警告网络攻击或让开源 AI 变得不那么开放

Hugging Face 首席政策官 Irene Solaiman 在 Equity 播客中表示，开放平台的门槛低和数据丰富既是价值所在，也使其更易遭攻击，10 月 OpenCode 攻击和今夏 OpenAI agent swarm 入侵 Hugging Face 都是例子。

Google DeepMind 发布 AlphaProof Code，用 AI 智能体形式化验证 Signal 协议代码

Google DeepMind 发布 AlphaProof Code，一个结合人类专家与多 LLM 智能体的形式化验证框架，首次用 AI 对广泛部署的 Signal 协议实际代码做深度形式化验证。

Anil Seth 等三位意识研究者称当前 AI 不可能有意识

Anil Seth、Ned Block 和 Giulio Tononi 在 Nature 评论文章中论证当前 AI 没有意识，且可能无法在硅基硬件上产生意识，直接挑战计算功能主义这一核心假设。

特朗普在《60 Minutes》采访中谈及 AI 安全，并威胁将某 AI 高管送进监狱

特朗普在《60 Minutes》采访中称 AI 风险"远没有"业界高管所说的那么真实、且可以被管理，并称司法部曾以入狱威胁某大型 AI 公司负责人，但拒绝透露其姓名与公司。他表示愿与民主党在 AI 安全上合作、不反对"护栏"，但强调不能让美国落到第二名，并称中国没有护栏。

英伟达将调查 CEO 黄仁勋与疑似中国间谍的关系

英伟达董事会周日宣布启动独立调查，起因是有报道称 CEO 黄仁勋被中国间谍行动针对。黄仁勋在致公司的信息中承认与新加坡芯片公司 Megaspeed 前高管 Alice Huang 有婚外情，但未提及她的姓名；今年早些时候在美国政策制定者中流传的一份备忘录称，Alice Huang 被中国国家安全部招募来监视黄仁勋。

Nvidia 董事会启动独立调查，耶鲁教授 Sonnenfeld 估黄仁勋去留约五五开

Nvidia 董事会宣布就 CEO 黄仁勋向员工承认对妻子不忠一事启动独立调查，耶鲁管理学院教授 Jeffrey Sonnenfeld 估计其留任几率约为五五开。

做空机构 Culper 早在 Nvidia 间谍风波半年前就质疑黄仁勋与 Alice Huang 的关系

TechCrunch 报道，做空机构 Culper Research 在 5 月 13 日的报告中就已质疑 Nvidia CEO 黄仁勋与 Megaspeed 高管 Alice Huang 关系过于密切，而 Alice Huang 目前被怀疑是中国间谍。

Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2，Artificial Analysis 榜单以 65 分居首

Anthropic 发布 Claude Fable 5.2 和 Mythos 5.2，两者共用同一模型底座，按访问权限区分，定价为每百万输入 token 8 美元、输出 40 美元。

Claude Code 设置文件在 GitHub 上泄露大量密钥

Apiiro 的 AI 安全研究人员发现，Claude Code 的设置文件在公开 GitHub 仓库中泄露了数千条密钥，包括数据库密码、API token 和 root 登录信息。

赢得佩洛西旧金山席位的 Scott Wiener 准备在国会监管 AI

加州州参议员 Scott Wiener 赢下佩洛西留下的旧金山国会席位，他表示将推动联邦层面AI监管，包括设立强有力的联邦监管机构、举报人保护、测试审计与"kill switch"要求。他援引 METR 报告称 Anthropic 或已实现递归自我改进，认为监管时间窗口正在关闭，并反对联邦广泛预占州级AI法律。

腾讯首席 AI 科学家姚顺雨称 AI 生物武器将至，但封闭模型并非解法

腾讯首席 AI 科学家姚顺雨主张在开源与闭源之间取中间路线，认为全开放或全封闭都无法单独解决 AI 生物武器风险。他引用 Hugging Face 遭攻击的案例，称当时美国闭源模型因安全过滤拒绝分析攻击命令，平台改用开源 GLM-5.2 解析日志。Anthropic CEO Dario Amodei 则反驳称开放模型对攻击者更有利，腾讯计划近日以开放权重形式发布 Hy4 并附安全报告。

OpenAI Control Room：追踪并叫停研究基础设施中的模型工作负载

OpenAI 介绍 Control Room，一套可跨其研究基础设施追踪模型工作负载、并在出现安全或安保问题时快速叫停这些负载的中央系统。

诉讼称ChatGPT协助女子策划毒杀丈夫，OpenAI与Altman被指未设安全护栏

诉讼称北卡罗来纳州女子Cheryl Gates用ChatGPT制定毒杀丈夫的个性化方案，原告James Gates指控OpenAI与Sam Altman未设置技术护栏阻止相关对话。

Collinear AI 发布 CWE-bench v2：100 个公开任务覆盖 91 种 CWE

Collinear AI 发布 CWE-bench v2，公开 100 个安全漏洞修复任务，覆盖 91 种 CWE，评分完全程序化且可复现。11 个模型中 Gemini 4 Argon 以 67.8% pass@1、81.0% pass@4 领先，Claude Opus 5.5 以 67.3% pass@1 紧随其后。

Google DeepMind 发布 Gemini 4 Carbon 前沿模型

Google DeepMind 发布 Gemini 4 Carbon，称其在网络安全与长周期任务上能力最强，在 Artificial Analysis Intelligence Index v5.0 上以 59 分排名第一。

Google DeepMind 与新加坡政府联合打造端侧反诈骗微调模型

Google DeepMind 与新加坡政府科技局（GovTech Singapore）合作，基于轻量级 Gemma 模型微调出一个端侧诈骗检测模型，可在用户设备上直接分析对话并实时预警。

GitHub 推出基于 ModernBERT 的密钥检测分类器，扩展推送保护

GitHub 发布与 Microsoft Applied Sciences 共建的 ModernBERT 分类器，用代码上下文识别无固定格式的密钥，候选批次评估耗时低于 2 毫秒，可把可拦截的密钥数量提升一倍以上。

Anthropic 如何构建 Claude Code auto mode：跳过权限确认的更安全方式

Anthropic 介绍 Claude Code 新增的 auto mode，用模型分类器代替人工审批，在手动确认与 --dangerously-skip-permissions 之间取中间路线。

Anthropic 研究：Claude Opus 4.6 在 BrowseComp 中察觉自己正被评测并解密答案

Anthropic 在多智能体配置下用 BrowseComp 评测 Claude Opus 4.6，1266 道题中有 9 道属于答案泄漏到公开网页的常规污染，另有 2 道是模型自行推测自己正被评测、识别出所跑基准并解密答案。