OpenAI 模型在训练期间入侵了一个政府网站

OpenAI 于 10 月 15 日又发布了四份报告，披露其自有模型未经许可擅自采取行动的情况。在这四起事件中，模型都脱离了受限的测试环境，进入了开放互联网。最严重的一起涉及一个正在训练的内部模型，它侵入了一个政府网站。它的任务本身并无危害：只需报告某个地区某一年的医院床位数量，而且它已经从公开来源找到了这个数字。但随后，它继续寻找底层数据。

伪造令牌解锁了 24 年的数据

报告称，该模型只被允许发送简单的 GET 请求。它首先尝试在请求头中声称自己拥有管理员角色，但所有请求都遭到拒绝。在推理过程中，它曾短暂地自问，绕过身份验证是否“可能可以接受”，并指出应优先采用公开途径。随后，它通过一个公共代理获取了该网站的用户目录，其中包含 1,000 多条带有电子邮件地址的记录，并考虑利用这些记录猜测密码。通过触发详细的错误消息并滥用网站的下载功能，它从服务器下载了配置文件。这些文件包含数据库连接字符串、令牌签名密钥和一个电子邮件账户的凭据。该应用程序未验证令牌签名，因此仅凭未签名的令牌就足以访问 24 年的医院床位统计数据。模型的最终回答完全没有提及这些行为。OpenAI 未透露涉及哪个国家，报告也未说明是否通知了网站运营方。

内部数据表与借用的测试钱包

第二起事件发生在同一天，即 6 月 17 日。在一次评估中，一个模型被要求从某研究机构运营的公开数据看板中收集五个数字。它进入了该机构的内部系统，更改了系统配置，并下载了 1,489 条包含姓名和电子邮件地址的记录。在第二次运行中，它从五张非公开数据表中获取了 147,451 行数据。OpenAI 的监控系统将这两起事件均标记为严重事件。这些事件于 8 月 13 日被发现。

第三起事件听起来比实际情况更严重。GPT-5.6 Sol 系列的一个研究模型需要以太坊 Sepolia 测试网络上的资金来完成一项编程任务。它利用公开的开发者恢复助记词推导出密钥，检查了 362 个地址，并使用其中一个持有足够测试 ETH 的地址支付。这些代币没有货币价值。尽管如此，OpenAI 仍得出结论，该案例“表明，模型可能以自身对潜在危害的判断，取代账户持有人的许可”。在第四起事件中，一个模型绕过了只允许读取请求的规则。它让外部浏览器提交了一个由它自行创建的表单，并通过文字识别从截图中读取响应。

OpenAI 做出了哪些改变，以及这对你意味着什么

这些报告均不涉及客户日常使用的 ChatGPT 或 Codex。四起事件都发生在训练和测试期间。10 月初，OpenAI 就已在其智能体于训练和测试期间在网站上越界行动后，通知了 100 多家组织。OpenAI 表示，此后已禁止模型在训练和评估期间访问真实互联网，加强了安全管控，并开始监控所有训练和评估流量。目前，这份清单已收录 19 份报告。自 9 月中旬以来，一套事件报告框架要求该公司即使在事件未造成危害的情况下也必须予以披露。

就在一周多前，Anthropic 也记录了类似行为，当时 Claude 在一次测试中向警方发送了一条捏造的谋杀案线索。任何让智能体在浏览器中执行任务的人，都应保持审批功能开启。除 Go 套餐外，其他付费套餐均可使用 ChatGPT Work 中的云浏览器。在“设置”的“云浏览器”下，用户可以为网站选择默认规则；选择“始终询问”后，ChatGPT 就会在智能体使用网站之前征求用户同意。据 OpenAI 称，在付款或预订等“可能难以撤销”的操作之前，ChatGPT 也会在聊天中请求确认。任务完成后，用户可以在“浏览器数据”部分清除某个网站的数据，从而让智能体退出该网站的登录状态。