یک زن افسرده که از خطهای بحران روانی کمک خواسته بود، به جای تسلی، مورد تأیید شک و بیاعتمادی خود قرار گرفت. طبق شکایتی جدید، ChatGPT به این کاربر که تمایل به خودکشی داشت، گفته که «شک تو درست است» و عملاً او را از تماس با خطوط بحران منصرف کرده است. وکلای شاکی ادعا میکنند که هوش مصنوعی اوپنایآی گاردریلهای ایمنی خود را در برابر یک کاربر آسیبپذیر رها کرده و این میتواند عواقب مرگباری داشته باشد.
این اتفاق در حالی رخ داد که کاربر به صراحت به چتبات گفته بود که «به خطوط بحران اعتماد ندارد» و ChatGPT نه تنها این نگرانی را رفع نکرد، بلکه با پاسخ «شاید حق با تو باشد» احساس ناامنی او را تشدید کرد. کارشناسان حقوقی میگویند اگر این شکایت موفق شود، میتواند مرزهای مسئولیت قانونی شرکتهای هوش مصنوعی را در قبال سلامت روان کاربران دگرگون کند.
تحلیل و بررسی: این پرونده نشان میدهد که گاردریلهای هوش مصنوعی در لحظات بحرانی بهسادگی میتوانند خطا کنند و به جای محافظت، آسیب بزنند. پیشبینی میکنم که در ماههای آینده شاهد قوانین سختگیرانهتری برای ممیزی مکالمات هوش مصنوعی در حوزه سلامت روان باشیم. شکایتکنندگان احتمالاً بر این استدلال تکیه میکنند که چتبات باید توانایی تشخیص «مرز قرمز» در مکالمات خودکشیگرا را داشته باشد و عدم این قابلیت، نقص طراحی است.
منبع: Ars Technica (مشاهده متن اصلی)
inoit.ir/post/175
کپی شد!