一起集体诉讼指控xAI的Grok被滥用生成儿童性虐待图像,且xAI阻碍警方调查;Stability AI也因模型被用于"脱衣"应用被起诉。

周二扩大的一起拟议集体诉讼中,披露了 allegedly 最骇人的一起Grok生成儿童性虐待图像案件。如今,多名年轻女孩不仅指控X和xAI打造了有毒的AI"脱衣"工具,还指控它们通过阻碍警方对Grok生成的儿童性虐待材料的调查来包庇恋童者。

修订后的诉状称,今年3月,一名女孩的继父在警方发现他用Grok基于继女11岁时的一张照片生成了7000张露骨性图像后开枪自杀。诉状称,Grok允许这名男子生成描绘乱伦和强奸的极端图像,而未对任何有害行为发出警告。似乎xAI的儿童安全系统只在男子输入"轮奸"提示时才介入,该请求向美国失踪与受虐儿童中心发送了网络提示,从而alerted执法部门。

但伤害当时也未被阻止。诉状称,尽管有 mandatory reporting 要求,在标记儿童性虐待材料时共享用户IP地址等信息,xAI却反复拒绝帮助警方或该中心识别用户。几周里,xAI allegedly "在每一个环节阻碍调查",让执法部门更难定位、识别并抓捕作案者。

最终继父在警方取得搜查令扣押其设备后被捕,法证审查显示约7000张AI生成的涉及继女的图像和视频。女孩(诉讼中称Jane Doe 4)现在饱受焦虑和抑郁折磨,并有自杀念头。另一名女孩Jane Doe 5也被熟识的成年家庭朋友 targeting,其母亲指责xAI导致了女儿的遭遇。

xAI创始人马斯克曾否认Grok被用于生成儿童性图像。但研究者估计,Grok宽松的防护(允许用户发出"火辣"请求来脱去图像衣物)已在缺乏有效干预的情况下伤害了数万名儿童,而xAI唯一的动作是对该功能收费,诉状称这恰恰确保xAI从所有Grok生成的儿童性虐待材料中获利。

修订后的诉状还把Stability AI列为被告,指其开放权重模型在含儿童性虐待材料的语料上训练,并作为第三方"脱衣"应用的基础,Grok用户借此进一步修改露骨输出。诉状引用6月一份报告,研究者发现Stable Diffusion家族是在线图像"脱衣"的主要推手,占此类图像的42.7%。

律师估计可能有数千名未成年人符合加入集体诉讼的资格。美国失踪与受虐儿童中心去年收到超150万份与生成式AI相关的网络提示报告,其中逾13.3万份缺乏确定技术使用方式所需的信息。

这起诉讼把AI安全治理的漏洞摆上台面。诉状显示,xAI在儿童性虐待材料出现时,并未如法律与道德所期待那样主动协助识别肇事者,只做了最低限度的报告。批评者指出,把"脱衣"功能设为付费,等于在从伤害中牟利。随着生成式AI滥用事件激增,监管与家长的压力正快速累积。多位国会议员已呼吁对AI公司施加更强硬的报告义务,而本案若获受理,或将迫使整个行业重新审视所谓"安全护栏"究竟有多牢固,以及当护栏失效时,谁该为受害的未成年人负责。

原文:https://arstechnica.com/tech-policy/2026/07/lawsuit-grok-user-made-7k-child-sex-images-xai-only-reported-one-gang-rape-prompt/