一女子将AI当成私密日记，因在其中写下攻击警察局的言论，被AI公司举报并被警方逮捕，面临重罪指控。
很多人习惯把人工智能聊天软件当成无话不谈的倾诉对象，甚至是锁上心门的数字日记本。然而，把秘密毫无保留地交给算法，可能会带来意想不到的严重后果。
来自美国佛罗里达州波尼塔斯普林斯的女子Carli Michelle Heller就遇到了这样一件麻烦事。她平日里一直习惯把Anthropic旗下的AI助手Claude当成自己的个人日记本，随手记录各种心事与想法。然而在9月26日，她在输入框中写下了计划前往警长办公室发动袭击的言论。
这段话瞬间触发了Claude内部的安全警报系统。系统自动将这条异常记录标记并提交给人工审核人员。经过评估，审核人员认为该言论构成了真实的暴力威胁，随即决定向执法部门通报这一情况。Anthropic在隐私条款中明确说明，如果认为有必要阻止死亡或严重人体伤害等紧急情况，公司有权向执法机构提供用户信息。
接到通报后，当地李县警长办公室的治安官迅速锁定了Carli Michelle Heller的身份并前往其家中。警员在没有发生冲突的情况下将其拘留，随后案件交由情报侦探接手调查。根据佛罗里达州第836.10条法律，通过书面或电子形式发送、发布威胁杀害、伤害他人或实施群体性枪击、恐怖主义行为的记录属于二级重罪。由于这些文字通过互联网传输并可被他人读取，该行为已触及法律红线。目前Carli Michelle Heller正面临暴力书面威胁的重罪指控。
Anthropic之所以在此类事件上保持高度警惕，与当下的行业环境密不可分。前不久，OpenAI及CEO Sam Altman在大洋彼岸面临起诉。不列颠哥伦比亚省指控该公司未能阻止当地发生的一起枪击案。当时18岁的涉事人员Jesse Van Rootselaar曾在与ChatGPT的对话中多次谈及枪支暴力，虽然OpenAI的安全团队注意到了这些对话，但因评估后认为未达到法定通报标准而没有报警。此外，佛罗里达州也在2025年6月起诉OpenAI，认为其产品间接诱发了包括佛罗里达州立大学枪击案在内的现实伤害。
这一系列事件给所有用户敲响了警钟。AI聊天框绝非专属的个人私密日记，你的输入内容随时可能被系统记录或人工审查。此前有报道披露，在评估Microsoft Copilot图像编辑工具的服务质量时，外包审核人员能够直接看到用户输入的提示词、上传的照片以及生成的图片。虽然这些审核员的职责仅是评估生成结果的准确性，但这也证实了人类审核员随时可能接触到用户的私人数据。在键盘上敲下文字之前，务必多加三思。
原文：https://www.techspot.com/news/114091-florida-woman-used-claude-diary-anthropic-reported-shoot.html