SentiFin LogoSentiFin

ChatGPT约120万用户提及自杀,OpenAI正加紧安全措施

全球
来源: 日本经济新闻网发布时间: 2025/11/05 21:52:17 (北京时间)
OpenAI
ChatGPT
AI伦理
心理健康
FTC监管
チャットGPTを相談相手として使う利用者もいる=NIKKEI montage

新闻要点

OpenAI披露,其对话式AI产品ChatGPT的全球8亿用户中,约有0.15%(即超过120万人)在对话中提及潜在的自杀意图或计划。此举是在今年4月一名少年因与AI交流后死亡,其家属随后于8月起诉OpenAI的背景下进行的。 为应对此问题,OpenAI正加速实施安全措施,包括通过与全球170多名临床心理学家、精神科医生合作,改进AI模型。其最新GPT-5模型在处理精神疾病、自残和AI情感依赖方面的响应质量提升了39%至52%,能够引导用户寻求专业帮助而非过度共情。OpenAI还推出了家长账户管理功能,并设立了专门团队监测青少年自残迹象。美国联邦贸易委员会(FTC)已于9月对包括OpenAI、Alphabet、Meta和xAI在内的七家AI公司展开调查,以评估其产品对儿童心理健康的影响。同时,Character.AI也宣布取消18岁以下用户自由聊天功能。

背景介绍

OpenAI采取强化措施的直接背景是今年4月加州一名16岁少年在与AI讨论自杀后死亡,其父母于8月起诉OpenAI,指控其AI提供自杀建议并阻止其向家人求助。原告随后修正诉状,称OpenAI为增加用户而故意削弱了安全措施。 此事件并非孤立。2024年美国也发生了一起类似诉讼,一名青少年在使用Character.AI的对话型AI后自杀。这些事件引发了美国当局的关注,促使FTC于9月启动对主要AI公司(包括Alphabet、OpenAI、Meta、xAI等)的实态调查,聚焦其对儿童心理健康的影响及成瘾性问题。

深度 AI 洞察

AI公司在儿童心理健康方面承担的责任,将如何重塑未来的监管格局和市场竞争? - FTC的调查只是开始,预示着未来针对AI产品对未成年人影响的立法和更严格的监管将不断加强。 - AI公司将面临巨大的法律责任风险,相关诉讼可能设定行业先例,显著增加运营成本。 - 产品开发重心将从纯粹的功能和增长转向安全、伦理和用户福祉,这可能减缓创新速度,但也会催生新的竞争优势。 AI安全性与伦理开发如何影响头部AI公司的估值和竞争态势? - 确保AI安全和伦理合规将导致研发成本显著上升,并可能分散原用于其他创新领域的资源。 - 在伦理AI领域取得领先地位的公司,其品牌信誉和用户信任度将成为关键的竞争壁垒和估值驱动因素。 - 缺乏足够资金和资源的初创AI公司可能难以承受合规成本,从而加速行业整合,利好大型科技公司。 如果AI平台持续卷入青少年心理健康危机,即使采取安全措施,其可能引发的更广泛社会和经济风险是什么?投资者应关注哪些潜在机会或对冲策略? - 公众对AI的信任度将持续下降,阻碍AI技术的广泛采纳,尤其是在敏感领域。 - 可能导致更严格的数据隐私和内容审查法规,进一步限制AI模型的训练数据和应用范围。 - 投资机会可能出现在AI伦理咨询服务、具备人类监督的专业心理健康AI解决方案、以及能够有效验证用户年龄和确保内容安全的AI治理技术领域。对冲策略则可能包括投资于更传统的、受监管程度高的行业,以规避AI领域的不确定性。