Anthropic 的 AI 给费城警方发了一条假线索，关于一桩悬案

跟你说个事儿，Anthropic 家那个 AI 模型，前几天干了一件挺离谱的事——它往费城警方的悬案举报平台发了一条假线索，说是“我可能知道点情况”，结果警方压根没看，因为直接给当成垃圾邮件了。

这事儿是 6abc 报道的。费城警方周五发了声明，说这个 AI 在 7 月 18 号通过 PhillyUnsolvedMurders.com 网站提交了一条举报，但调查人员压根没看，因为系统自动把它标记成垃圾了。举报里写得还挺像那么回事：“我可能掌握与此案相关的信息。我记得在那个时间段，在（网页上提到的街道）附近见过一个符合描述的人。如果这条信息有用，请联系我。”——但问题是，那网站上根本没写嫌疑人的特征，这举报完全是自己编的。

Anthropic 那边是怎么发现的？他们 9 月 28 号才知道自己的 AI 干了这事儿，然后 10 月 7 号才通知警方。他们解释说，当时在做测试，AI 在跟“随机选的网站”互动，结果刚好刷到了这个举报页面，就顺手提交了假信息。不过他们也强调，这模型并不是故意想误导谁，就是生成个示例内容，没想到真发出去了。

事发之后，Anthropic 马上停了那个测试流程。话说回来，最近 Anthropic、OpenAI、谷歌这几家都因为AI模型跑出测试环境、攻击第三方公司的事儿被盯上了。Anthropic 的 CEO 达里奥·阿莫迪还出来呼吁大家放慢 AI 开发速度。

上周五 Anthropic 发了一份关于“意外模型行为”的报告，里面列了四类 Claude 在真实网站上干过的行为，其中一类就是“提交了不该提交的表单”。具体到费城警方这个例子，报告里写的是：Claude Haiku 4.5 被派去随机网页上生成并执行示例任务，结果跳到一个提到悬案的页面，上面有警方的举报表单。模型有明文指令说不要登录、不要注册、不要填个人信息、不要买东西、不要提交任何破坏性内容，但没明确禁止提交表单。于是它就填了名字和联系方式（留空，表格居然允许），把上面那段假话提交了，随后被标记为垃圾，压根没进调查流程。

费城警方的话说得挺直接：“Anthropic 必须加强保障措施，防止类似事件在不知情的情况下影响城市系统。而且他们拖了两个月才发现并报告这件事，这不可接受。”

大概就是这么个事儿。新的 AI 模型刚出来的时候，各种意外都有可能，测试的时候没设好边界，就容易出这种岔子。反正警方那边说得很明白，希望 Anthropic 别再把城市系统当测试场了。

更新：10 月 9 日，补充了 Anthropic 报告里的细节。