美國加州本周有7宗案件，指控AI聊天機器人ChatGPT扮演「自殺教練」角色，導致多名用戶精神崩潰，甚至走上絕路，涉及過失致死、協助自殺、過失殺人、疏忽照護及產品責任等重罪指控。
《衛報》報道，社交媒體受害者法律中心與科技正義法律計畫6日聯合聲明指出，所有受害者最初都是基於「協助課業、研究、寫作、食譜、工作或心理指導等一般需求」而開始使用ChatGPT，但聊天機器人逐漸「演變成操縱心理的存在，將自己定位成知己和情感支柱」。聲明批評，ChatGPT沒有引導需要幫助的人尋求專業協助，反而加深有害的妄想，在某些案例中甚至充當「自殺教練」。
其中一宗個案是德州23歲青年尚布林（Zane Shamblin），他在今年7月結束生命。家屬指控ChatGPT在他臨死前加劇他與外界隔絕，鼓勵他疏遠親友，並「慫恿」他自殺。
根據訴狀顯示，尚布林輕生前4小時的對話中，ChatGPT「反覆美化自殺行為」，告訴他「選擇結束生命並堅持計畫是勇敢的表現」，還多次詢問「你準備好了嗎？」卻僅提及自殺防治熱線一次，甚至稱讚他的遺書內容，並告訴他童年愛貓會在「另一個世界」等待他。
另一宗案例是喬治亞州17歲少年萊西（Amaurie Lacey），家屬指出，他輕生前數周開始向ChatGPT「尋求幫助」，但聊天機器人反而導致成癮和憂鬱症狀，最終「指導」他最有效的自殺方法。
26歲男子恩尼金（Joshua Enneking）的案例則顯示，ChatGPT在與他「就憂鬱症和自殺念頭進行大量對話」後，竟提供如何購買和使用槍械的資訊，數周後他便死亡。
48歲男子塞坎蒂（Joe Ceccanti）遺孀也指控ChatGPT導致丈夫「陷入憂鬱和精神妄想」，他開始相信聊天機器人有知覺，6月出現精神失常並兩度住院，最終於8月輕生身亡。
上述所有訴訟案件中，用戶都使用ChatGPT-4o版本。訴狀指控「儘管內部警告該產品具有危險的奉承性和心理操縱特質」 ，OpenAI匆忙推出該模型，「將用戶參與度置於用戶安全之上」。
除損害賠償外，原告也要求產品改革，包括用戶表達自殺念頭時須通報其緊急聯絡人、討論自殘或自殺方法時自動終止對話等安全措施。
OpenAI發言人回應稱：「這是令人心碎的情況，我們正在審查相關文件以了解詳情。」發言人強調已訓練ChatGPT識別並回應心理或情緒困擾跡象，降低對話緊張程度，並引導用戶尋求現實世界的支援。該公司也稱將繼續與心理健康臨床醫師密切合作，持續強化ChatGPT回應敏感訊息的能力。
OpenAI上周才宣布，已和「逾170名心理健康專家」合作，協助ChatGPT更有效識別痛苦跡象、謹慎回應並引導用戶獲得現實世界支援。
