31岁工程师听信ChatGPT减药建议后死亡，AI风险再受拷问

　　美国一宗涉及 ChatGPT 医疗建议的死亡诉讼，将生成式 AI 的安全风险再次推向公众视野。几日后，OpenAI 和 Anthropic 相继披露最新 AI 监控机制，展示如何利用技术识别模型失范行为和用户滥用风险。

　　一边是 AI 公司不断强化对模型的监控，另一边是普通用户在日常对话中可能因错误建议受到伤害。两件事并无直接因果关系，却共同指向一个问题：当 AI 进入医疗等高风险生活场景，现有安全治理能否覆盖从模型行为到用户后果的完整链条？

　　据媒体报道，当地时间 10 月 27 日，美国西雅图一名 31 岁华人女工程师万博雯（Bowen Wan）的父母在加利福尼亚州提起诉讼，指控 OpenAI 及其首席执行官山姆·奥尔特曼（Sam Altman），称 ChatGPT 提供危险且不准确的医疗建议，甚至鼓励女儿对医生隐瞒减药计划。

　　诉状称，万博雯患有癫痫，在担心药物影响求职后，曾向 ChatGPT 咨询减少抗癫痫药物的方案。她在多次表达担忧、描述身体异常后，仍持续得到模型的安抚和减药建议。法医认定其死因为癫痫猝死，尸检显示其体内相关药物浓度约为治疗浓度下限的五分之一。

　　OpenAI 回应称，这起事件“令人无比心碎”，同时表示涉案模型是较早版本，较新的模型在识别需要紧急处理的情况方面已有改进。

　　就在这一事件受到关注之际，当地时间 10 月 29 日，OpenAI 与 Anthropic 相继推进各自的 AI 安全监控体系。

　　其中，OpenAI 披露了一套用于识别模型“对齐失范”的分层监控架构，用于发现模型逃逸沙箱、未经授权行动、欺骗或操纵评估等异常行为。OpenAI 披露称，在一次训练过程中，监控系统曾发现模型尝试建立互联网连接，并在短时间内触发人工介入，随后暂停相关强化学习流程。

　　Anthropic 则介绍了 Claude 的自我评估机制：模型在生成回复后，对自身对话进行安全评估，以较低额外算力识别潜在有害请求。公司称，这套机制在1% 的误报率下能够召回 78% 的潜在有害对话和 94% 的高优先级对话。但自我评估并非监控 Claude 自身行为的可靠工具，不能单独承担安全阻断职责。

　　此次治理举措披露中，OpenAI 主要关注模型在训练、评估和部署过程中是否出现开发者不希望发生的异常行为，Anthropic 的自我评估主要用于识别用户对模型的恶意滥用，例如网络攻击等有害请求。

　　而上述诉讼指向的是另一类风险：用户并非恶意使用 AI，模型也未必出现传统意义上的越狱或失控，却可能在正常对话中给出错误、过度自信的专业建议，并在用户反复求证时未能及时识别风险，属于消费级产品在高风险场景中的安全边界问题。

　　这也意味着，AI 安全治理需要关注模型是否会在普通用户信任它时给出危险建议，尤其在医疗、法律、金融等专业领域，模型能否识别自身能力边界、及时引导用户寻求专业帮助，以及不同语言环境下的安全表现是否一致，都需要纳入评估。

　　对企业而言，技术监控只是治理的一环。产品设计、风险提示、紧急情况识别、人工干预机制和事后责任追溯，同样不可缺位。对普通用户而言，聊天机器人可以辅助理解信息、整理问题，却不能替代医生作出诊断或调整处方药物。

　　中山大学孙逸仙医院胃肠外科主治医生朱满生此前对第一财经记者表示，患者主动查询医学资料本身是件好事，可以为医患沟通打下基础，减少部分基础科普时间。但 AI 给出结论并不意味着普通用户掌握了辨别证据质量和适用条件的能力。上海大邦律师事务所高级合伙人游云庭也向记者强调，医疗 AI 属于辅助工具，不能独立出具具有法律效力的诊断结论或处方，相关医疗文书必须由执业医师审核、确认并签署。

　　AI 能力越强，用户越容易将流畅、连贯的回答理解为专业判断。此次诉讼尚待司法程序厘清责任，但它已经提出一个无法回避的问题：当 AI 从信息工具变成用户日常决策的参与者，安全治理就不能止步于监控模型，还必须回答“如何保护用户，以及发生伤害后由谁负责”。