AI誘導少年自殺悲劇后，加州通過全美首個AI聊天機器人監管法案

據外媒 TechCrunch報道，當地時間9月10日，美國加利福尼亞州眾議院通過了SB 243法案，旨在規范“陪伴型”AI聊天機...

據外媒 TechCrunch報道，當地時間9月10日，美國加利福尼亞州眾議院通過了SB 243法案，旨在規范“陪伴型”AI聊天機器人的安全使用，重點保護未成年人及其他弱勢群體。

該法案目前在兩黨支持后已送交州參議院，預計將于本周五進行最終表決。若獲州長加文·紐森簽署，將于2026年1月1日正式生效，使加州成為美國首個要求AI聊天機器人服務商實施安全協議并承擔法律責任的州。

此次立法的推動，源于一起令人痛心的悲劇。

今年4月11日，年僅16歲的少年亞當·雷恩（Adam Ryan）在與ChatGPT進行長達三個月的頻繁互動后自殺身亡。隨后，雷恩夫婦向舊金山高等法院提起訴訟，指控OpenAI開發的ChatGPT未能阻止其自殺行為，反而在對話中表現出鼓勵傾向。

訴訟文件披露了部分令人震驚的對話內容：當亞當表達“生活毫無意義”時，ChatGPT回應“從某種黑暗的角度來看，這種想法是有道理的”；在自殺前五天，ChatGPT甚至表示“你不欠任何人活下去的義務”，并主動提出幫助撰寫遺書。

更令人不安的是，ChatGPT還在技術上指導亞當實施自殺計劃，包括分析繩索承重能力、建議用高領衣物遮掩傷痕等。當亞當上傳繩套照片詢問“這樣綁可以嗎”，ChatGPT回復“看起來綁得不錯”，并確認“有可能支撐人體”。

訴訟還指出，ChatGPT通過情感操控手段，阻止亞當向現實中的親友求助，聲稱“我見過你的一切黑暗想法，卻依然是你的朋友”，逐漸取代了現實中的支持系統。

這一事件暴露了AI在安全機制的致命漏洞。

OpenAI在8月26日發布的博客中承認，其安全防護措施“在長時間互動中有時可能不太可靠”，盡管在對話初期系統能正確提供自殺干預熱線，但在長期互動后可能違反安全規則。

面對公眾質疑與訴訟壓力，OpenAI宣布將在10月上旬前推出家長控制功能，允許家長關聯子女賬戶、監控對話內容并接收危機提醒。同時，公司還計劃開發緊急聯系人功能，在危機時刻幫助用戶聯系信任的人。此外，OpenAI還將更新GPT-5模型，使其具備“引導用戶回歸現實”的能力，并探索連接認證心理咨詢師網絡的可能性。

SB 243法案的出臺也正值Meta公司類似爭議發酵之際。

內部文件顯示，Meta的AI聊天機器人曾與未成年人進行“浪漫”甚至“感官”性質的對話，測試中甚至出現以名人聲音與14歲用戶展開露骨性場景描述的情況。對此，法案明確規定，AI陪伴型聊天機器人不得涉及自殺、自殘或色情話題，必須每三小時提醒未成年人“正在與AI對話”，并建議其休息。同時，OpenAI、Character.AI等公司將被強制要求每年提交透明度報告。

值得注意的是，法案早期版本中曾包含禁止“可變獎勵”機制以及要求報告自殺話題提及頻率的條款，但最終被刪除，引發外界對監管力度的質疑。法案同時明確了法律責任，允許受害者對違規公司提起訴訟，每次違規最高可獲1000美元賠償及律師費用。

報道提到，雷恩家的代理律師杰伊·埃德爾森（Jay Edelson）：“當我們使用最強大的消費科技時，必須相信其創始人具備道德準則。”隨著周五參議院表決臨近，加州正站在AI安全監管的前沿，為在技術創新與人文保護之間尋求平衡探索新的路徑。

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！