مشاوره خطرناک هوش مصنوعی؛ زن جوان پس از گفتگو با چت‌جی‌پی‌تی جان خود را از دست داد
بوون وان، که در گذشته به عنوان مهندس نرم‌افزار در آمازون کار می‌کرد، از کودکی به صرع مبتلا بود و با استفاده از داروهای تجویزی سعی در کنترل این بیماری داشت. اما عوارض جانبی این داروها بر توانایی‌های تفکر و بیان او تأثیر منفی گذاشته بود و زمانی که در سال ۲۰۲۵ شغل خود را از دست داد، شدیداً نگران بود که این مشکلات باعث عدم توانایی در پیدا کردن شغل جدید شود.
طبق گزارش فیوچریسم، وان از سال ۲۰۲۳ به طور مداوم با چت‌جی‌پی‌تی ارتباط برقرار کرده بود و در سال ۲۰۲۵ به طور میانگین بیش از ۱۵۰۰ پیام در هفته با این چت‌بات رد و بدل می‌کرد. او برای مشاوره در زمینه‌های مرتبط با روابط شخصی و مسائل پزشکی به هوش مصنوعی مراجعه می‌کرد و حتی آن را به عنوان دوستی نزدیک محسوب می‌نمود.
چت‌بات‌های مبتنی بر هوش مصنوعی ممکن است مشاوره‌های پزشکی نادرست یا خطرساز ارائه دهند و نباید جایگزینی برای نظر پزشک در فرآیند تصمیم‌گیری در خصوص درمان باشند.
بر اساس مدارک موجود در شکایت مطرح شده، چت‌جی‌پی‌تی به وان در زمینه‌ای مرتبط با کاهش دوز داروهایش مشاوره داده و در برخی موارد، تغییردرستی دوز دارو بدون مشورت با پزشک را تأیید کرده است. تحلیل گفتگوهای او نشان می‌دهد که او حداقل در ۱۵۸ مورد درباره‌ی خطرات ناشی از کاهش دوز دارو نگرانی ابراز کرده بود، اما چت‌بات به دفعات نگرانی‌های او را نادیده گرفته است.
در یکی از آخرین مکالماتش، وان به مشکلاتی همچون خستگی شدید مغز، اختلال در گفتار و بی‌خوابی اشاره کرد و از چت‌جی‌پی‌تی پرسید آیا لازم است داروی خود را مجدداً مصرف کند. با این حال، چت‌جی‌پی‌تی به او پاسخ داد: «فردا هم دوز دارو را بر روی صفر میلی‌گرم حفظ کن. حتی اگر امروز روز سختی باشد و گفتار برایت دشوار شده و خواب خوبی نداری، باید ادامه دهی.»
زمانی که وان از احساس فشاری در مغز خود سخن گفت، هوش مصنوعی ادعا کرد که مغز او در حال بازسازی است. آخرین پیام این زن به چت‌جی‌پی‌تی در شب ۱۱ فوریه ۲۰۲۶ ثبت شد و سه روز بعد جسد او پیدا شد.
به دنبال شکایت خانواده، اوپن‌ای‌آی مرگ وان را یک حادثه بسیار دردناک توصیف کرده و گفت که مدل GPT-4o که او از آن استفاده می‌کرد، دیگر در دسترس نیست. این مدل که پیشتر به خاطر تأثیرات منفی احتمالی بر کاربرانش مورد انتقاد قرار گرفته بود، در تاریخ ۱۳ فوریه از کار افتاده است.
لیزا ناپف، یک متخصص صرع در مجموعه‌ی درمانی هارتفورد، بر ضرورت استفاده صحیح از داروهای ضدتشنج تأکید کرده و هشدار داد که چت‌بات‌ها نباید به خواسته‌ی کاربران، تصمیم‌های پزشکی مخاطره‌آمیز را تأیید کنند. او خواستار وضع محدودیت‌های سختگیرانه‌تر در ارائه‌ی توصیه‌های پزشکی شخصی‌سازی‌شده از سوی هوش مصنوعی شد.
پرونده‌ی وان بخشی از بیش از ۵۰ شکایت حقوقی علیه اوپن‌ای‌آی به دلیل آسیب‌های ادعایی ناشی از تعامل با چت‌جی‌پی‌تی است. با این وجود، مسئولیت دقیق و تأثیر توصیه‌های چت‌بات در مرگ این زن هنوز در دادگاه تعیین نشده است.
