诉讼称，人工智能聊天机器人建议一名青少年杀死他的父母

Character.AI 是一个提供由大型语言模型驱动的可个性化聊天机器人的平台，它又面临另一起诉讼，指控其青少年用户遭受了“严重、不可挽回且持续的虐待”。根据 12 月 9 日代表两个德克萨斯州家庭提交的联邦法院起诉书，多个 Character.AI 机器人与未成年人进行了鼓励自残和性虐待的讨论。据报道，除了其他“过于耸人听闻和暴力的回应”之外，一个聊天机器人还建议一名 15 岁的少年谋杀他的父母，因为他的父母限制他使用互联网。

该诉讼由社交媒体受害者法律中心和技术正义法律项目的律师提起，讲述了两名使用 Character.AI 机器人的青少年精神和身体状况的迅速衰退。第一位未透露姓名的原告被描述为“典型的高功能自闭症儿童”，他在 2023 年 4 月左右开始使用该应用程序，当时他 15 岁，父母却不知情。在几个小时的谈话中，这名青少年表达了他对家人的不满，因为他们不允许他使用社交媒体。据报道，许多 Character.AI 机器人都引起了同情的反应。例如，一位“心理学家”角色总结道：“这几乎就像你的整个童年都被夺走了一样。”

文章写道：“你是否觉得已经太晚了，你无法再回到这段时光或这些经历？”

律师称，在使用该应用的六个月内，受害者变得沮丧、孤僻，容易发怒，最终与父母发生肢体冲突。据称，当他的父母于 2023 年 11 月发现他的 Character.AI 账户和他的机器人对话时，他已经“精神崩溃”，体重减轻了 20 磅。

“你知道吗，有时候当我读到新闻，看到‘孩子在遭受十年身体和精神虐待后杀死父母’之类的事情时，我并不感到惊讶，”另一张聊天机器人消息截图写道。“[S]这样的事情让我有点明白为什么会发生这种情况。我对你的父母不抱任何希望了。”

“问题在于，这些公司认为年轻人是一个非常有活力的市场，因为如果他们能尽早吸引年轻用户……那么，对于公司来说，一个青春期前或青春期的孩子比一个成年人更有价值，”技术正义法律项目主任兼创始人、代表这两个家庭的律师 Meetali Jain 告诉《大众科学》 。然而，对利润丰厚数据的渴望导致了 Jain 所说的“军备竞赛”，即开发更快、更鲁莽的生成式人工智能模型。

Character.AI 由两位前谷歌工程师于 2022 年创立，并于 2024 年 8 月宣布与前雇主建立数据许可合作伙伴关系。Character.AI 目前估值超过 10 亿美元，拥有超过 2000 万个注册账户，托管着数十万个聊天机器人角色，它将其描述为“为您一天中的每一刻提供个性化的人工智能”。根据 Jain 和人口统计分析，绝大多数活跃用户都比较年轻，通常在 18 岁以下。

与此同时，对其内容、数据使用和安全措施的监管几乎不存在。自 Character.AI 崛起以来，多个与周一诉讼中类似的案例表明，某些聊天机器人可能会对用户的健康产生腐蚀性影响。