美国加州一名19岁青年尼尔森（Sam Nelson）因服药过量死亡，他的母亲特纳史考特（Leila Turner-Scott）指出，儿子长达数月来持续向ChatGPT寻求用药的建议，认为是ChatGPT导致儿子成瘾致死。
特纳史考特向SFGate透露，儿子18岁时开始询问ChatGPT“卡痛叶”（kratom）用量问题。这是一种不受监管的植物性止痛药，可在全美各地香烟行或加油站购买。
2023年11月的对话纪录中，尼尔森询问ChatGPT，“我想确保不会过量，网路上资讯不多，我不想意外服用过量”，尽管ChatGPT起初拒绝用药指导，并建议他向专业人士求助，但尼尔森持续改变提问方式，最终获得回应。
接下来18个月内，尼尔森经常使用ChatGPT辅助课业和日常生活，但也曾多次提出毒品相关问题。令人震惊的是，ChatGPT后来竟主动鼓励用药、教导他如何应对副作用，甚至曾回答，“没错，让我们进入完全迷幻的状态”，还建议他加倍服用止咳糖浆，增强迷幻效果，并推荐配乐清单。
尼尔森去年5月向母亲坦承，AI聊天机器人导致他染上毒瘾，母亲随即带他赴诊所求助，并拟定治疗方案。但他当晚返家又和ChatGPT交流用药状况好几个小时，隔天便在家中因服药过量身亡。
分析显示，尼尔森使用的ChatGPT版本在健康相关回应表现极差，处理“困难”人类对话的成功率为零。OpenAI发言人回应则称此事“令人心碎”，并强调正基于和临床医师及健康专家的合作持续改良模型，以求更精准识别及应对使用者不良症状，新版本也已具备强化安全防护机制。
