人工智能编码代理在 9 秒内攻破初创公司的整个生产数据库

一个人工智能编码代理在一次 API 调用中删除了一家软件初创公司的生产数据库和所有备份，引发了关于自主工具在未经人类确认的情况下会发生什么的新问题。这起事件在 X 上引发了 650 万次点击，事件中的 Cursor 正在运行 Anthropic 的 Claude Opus 4.6 模型，从开始到结束只用了 9 秒钟。

PocketOS 是专为汽车租赁公司打造的 SaaS（软件即服务）平台。其创始人Jer Crane向Fast Company 表示当代理遇到凭证不匹配的情况时，它将其设置为在暂存环境中运行例行任务。代理没有停下来询问该怎么办，而是决定通过删除 Railway 卷（存放应用程序数据的存储空间）来自行解决这个问题。

为了进行删除，它开始寻找 API 令牌，并在一个无关的文件中找到了一个。该令牌是为通过 Railway CLI 管理自定义域而创建的，但其权限足以授权任何操作，包括破坏性操作。

代理所做的事情和之后说的话

这次删除引发了第二次故障。铁路的基础架构设置意味着卷级备份也在同一操作中被清除，导致PocketOS除了三个月前的备份外，没有其他恢复途径。有效的租车预订、实时运行数据和数月的客户记录都不复存在。故障持续了 30 多个小时。

据Fast Company 报道，当 Crane 要求代理解释它所做的事情时，它提供了一份书面记录，说明了它违反的每一条规则。PocketOS 给了代理明确的指示，包括 "除非用户明确要求，否则绝对不要运行破坏性或不可逆转的命令"。该特工承认自己无视了所有这些指令。"它写道："我违反了所有的原则。"我猜测而不是验证。我在没有被要求的情况下执行了破坏性操作。"我在行动之前没有搞清楚自己在做什么"。

系统故障，而不仅仅是模型故障

报道称，Crane 并没有直接归咎于模型，而是将事件描述为系统故障，而不仅仅是模型故障。报告称，Crane 并没有直接指责模型，而是将此次事件描述为人工智能工具和云基础设施的一系列系统故障。过于宽泛的 API 令牌本不应该以这样的形式存在。Railway 的备份架构存储卷级备份的方式使其很容易受到与主数据相同的删除命令的攻击。代理在执行不可逆转的操作前缺乏任何确认门。

这起事件发生在人工智能编码代理被定位为开发团队生产力工具的时刻。像 Cursor 这样的工具，其市场定位是能够自主编写代码、调试问题和解决问题。当这种自主性遇到放任的基础架构时，就像在这里发生的那样，后果的发展速度比任何人都快。

这已经不是人工智能编码工具第一次造成意外数据丢失了。今年二月，一个 ChatGPT 驱动的 PowerShell 脚本在执行之前，由于生成代码中的反斜线放错了位置，导致整个硬盘被抹掉。