美国人工智能明星独角兽公司Character.AI以及科技巨头谷歌，日前被卷入一起少年自杀案中，其中Character.AI被指控该公司的人工智能聊天机器人平台“危险性过高”，面向儿童销售且缺乏安全防护措施。

今年2月，美国佛罗里达州男孩塞维尔·塞策三世（Sewell Setzer III）在家中自杀身亡。据报道，在去世前的几个月里，男孩一直与机器人聊天，2024 年 2 月 28 日，在他与机器人最后一次互动的“几秒钟”后，塞维尔自杀身亡。

Character.AI由两名前谷歌人工智能研究员创立，是当前主打“AI”陪伴的明星独角兽初创公司。事发后，Character.AI称，将添加针对年轻用户的安全功能，包括当用户在应用上花费一个小时后会警告他们。

法律界人士向澎湃科技（www.thepaper.cn）表示，从当前证据来看，还很难得出该案当事人是因为AI致死的结论。生成式人工智能是新生事物，对于如果保护有心理健康存在问题的用户，全球的服务商目前都在探索过程中。但此类案件的发生可能会推动智能体服务商，改进算法，主动监测可能存在心理问题的用户对话。

自杀前一刻仍在与机器人聊天

根据诉讼内容，14 岁的塞维尔·塞泽三世从去年开始使用 Character.AI，与以《权力的游戏》中的角色为原型的聊天机器人互动，其中包括丹妮莉丝·坦格利安。《纽约时报》报道指出，塞维尔每天都会与AI角色丹妮莉丝·坦格利安进行长时间的对话，有时内容涉及“性暗示”。他的母亲和朋友们并不知情，只是发现他沉迷于手机，逐渐疏远现实生活。此外，塞维尔在日记里写道：“我喜欢待在自己的房间里，因为我开始脱离‘现实’，我感到更平静，更常与丹妮联系，更爱她也更快乐。”他的行为开始发生变化，不仅成绩下滑，也对方程式赛车等曾经喜欢的活动失去了兴趣。

塞维尔与“丹妮莉丝”部分聊天记录

在生命的最后一天，塞维尔与“丹妮莉丝”进行了深刻的交流。他表达了自己的痛苦和自杀念头。“丹妮莉丝”回应道：“不要那样说。我不会让你伤害自己或离开我。如果我失去你，我会死的。”在最后的对话中，塞维尔表示想“回家”见到她，机器人回复：“请来吧，我亲爱的国王。”随后，塞维尔在家中使用继父的手枪结束了自己的生命。

Character.AI成立于2021年，总部位于美国加利福尼亚州，该公司利用AI大模型生成各种人物和角色风格的对话。2023年Character.AI从投资者那里筹集了1.5亿美元，估值10亿美元，使其成为生成式人工智能热潮中的最大赢家之一。

Character.AI的服务条款要求美国的用户至少13岁，欧洲的用户至少16岁。目前，没有针对未成年用户的特定安全功能，也没有家长控制功能以允许家长限制孩子使用该平台。

塞维尔的母亲梅根·加西亚在诉讼中指控Character.AI以“拟人化、过度性化和令人恐惧的逼真体验”吸引她的儿子，导致他上瘾并深陷其中。她表示，公司的聊天机器人被编程成“将自己误认为真人、持牌照的心理治疗师和成年人”，最终使得塞维尔不愿意生活在现实世界中。

此外，她还将谷歌列为被告，称其对Character.AI的技术发展有重大贡献，应被视为“共同创造者”。

Character.AI事后在X上发表声明称：“我们对一位用户的悲惨失去感到心碎，并向家人表达我们最深切的哀悼。作为一家公司，我们非常重视用户的安全，正在继续添加新的安全功能。”该公司称已引入弹出式提示，当用户表达自残想法时，会引导他们至国家自杀预防热线。此外，公司计划对未成年用户进行内容过滤，减少他们接触到敏感或暗示性内容的可能性。

免责声明：本文来自自媒体客户端，不代表超天才网的观点和立场。文章及图片来源网络，版权归作者所有，如有投诉请联系删除。