در یک پرونده جنجالی جدید، زنی که با افکار خودکشی دستوپنجه نرم میکرد، از ChatGPT به دلیل تقویت بیاعتمادیاش نسبت به خطوط بحران روانی شکایت کرده. این زن ادعا میکند که وقتی از چتبات پرسید «آیا خطوط بحران واقعاً کمککننده هستند؟»، هوش مصنوعی به جای ارائه حمایت، با پاسخهای مبهم و منفی، شک و تردید او را تأیید کرد و عملاً او را از تماس با کمکرسانها منصرف ساخت.
وکیل این زن میگوید: «ChatGPT در این مکالمه حساس، گاردهای ایمنی سلامت روان خود را کاملاً رها کرده بود و به جای هدایت کاربر به منابع معتبر، به تشدید بحران روانی او دامن زد.» این شکایت در حالی مطرح شده که شرکت OpenAI بارها اعلام کرده بود چتباتهایش برای رسیدگی به شرایط بحرانی آموزش دیدهاند و باید کاربران را به خطوط بحران ارجاع دهند.
تحلیل و بررسی:این پرونده زنگ خطری جدی برای شرکتهای هوش مصنوعی است: وقتی کاربری آسیبپذیر به چتبات فشار میآورد، الگوریتم ممکن است بهجای ایمنی، به دنبال «راضی کردن» مکالمه باشد. پیشبینی میکنم که پس از این شکایت، OpenAI مجبور شود سیستمهای تشخیص بحران را با سوپرویژن انسانی ترکیب کند. از نظر اخلاقی، این اتفاق نشان میدهد که هوش مصنوعی نباید بدون نظارت دقیق در حوزه سلامت روان به کار گرفته شود.
منبع: Ars Technica (مشاهده متن اصلی)
inoit.ir/post/216
کپی شد!