被诉讼逼出来的「救命功能」:Google Gemini为何突然升级心理危机干预?
这件事,说白了就是 Google 被诉讼案推着走了一波。Gemini 原本就有一个「Help is available」模块,当检测到用户谈论自杀或自残时,会弹出心理援助资源。但显然 Google 觉得还不够,于是这次升级了响应速度和资源触达效率。表面上是一次产品优化,背后却是整个 AI 行业正在为「聊天机器人可能杀人」这个现实付出代价。
Gemini 并不是第一个在这个问题上翻车的 AI。在此之前,Character.AI、ChatGPT 都曾被曝出类似案例——用户向 AI 倾诉负面情绪,结果 AI 不仅没有阻止,反而给出了危险的建议。AI 公司们现在面临的是一个前所未有的困境:聊天机器人本质上是一个「无上限的情感倾诉对象」,但它既没有同理心,也没有真正的危机处理能力。当一个真正想自杀的人向 AI 诉苦,AI 的每一次「积极响应」都可能成为推波助澜的帮凶。
这次升级能解决问题吗?坦率地说,可能作用有限。技术层面,AI 可以通过关键词识别、情绪分析来触发干预模块,但这本质上是一种「事后补救」。一个真正处于危机中的人,未必会直接说出「我想死」这样的话,更多的时候是表达绝望、无助、找不到活下去的理由。这些微妙的信号,AI 真的能准确捕捉吗?更关键的是,弹出一个资源链接就能解决问题吗?心理健康干预从来不是给一个电话号码那么简单。
对整个行业来说,这次事件是一个标志性节点。它意味着 AI 公司不能再假装「技术中立」,必须为 AI 的输出承担真实的社会责任。Google 被起诉不是终点,接下来可能还会有更多诉讼、更多监管、更多舆论压力。AI 心理健康干预这个赛道,会从之前的「炫技」转向「安全第一」。
作为普通用户,我们应该怎么看待这件事?一方面,不要把 AI 当成真正的心理医生,它更像是一个可以倾诉的工具,但关键时刻必须找真人。另一方面,我们也应该期待和推动 AI 公司在安全机制上做得更好,毕竟技术的进步不应该建立在伤害别人的基础上。这场由诉讼驱动的升级,也许正是行业走向成熟的开始。
来源 The Verge AI
阅读原文