چتباتهای هوش مصنوعی در پزشکی خطر توهم و راهکار کاهش خطا, تحقیقات اخیر منتشر شده در ژورنال هشدار میدهد که چتباتهای هوش مصنوعی به شدت در برابر پذیرش اطلاعات پزشکی جعلی آسیبپذیر هستند. این مدلها نه تنها دادههای نادرست را تکرار میکنند، بلکه با تولید توضیحات مطمئنظاهر برای بیماریهای غیرموجود، گمراهی را تشدید میکنند.
مثالهای توهم در تشخیص بیماری در یکی از تستها، یک چتبات نشانگان کاسپر-لو را به اشتباه یک بیماری عصبی نادر با علائمی همانند تب، سفتی گردن و سردرد توصیف کرد.
پژوهشگران این پدیده را توهم مینامند تولید حقایق کاذب توسط مدلهای گیجشده. تأثیر هشدار تکخطی بر دقت پاسخها دکتر محمود عمر، پژوهشگر ارشد مونت سینایی، بیان کرد که افزودن یک هشدار ساده به پرامپت (مانند یادآوری احتمال نادرست بودن اطلاعات) میتواند توهمات را به طور چشمگیری کاهش دهد.
یج مقایسهای مطالعه بر روی ۳۰۰ پرسوجوی پزشکی با جزئیات ساختگی (مانند تست نوروستاتین سرم یا علامت مارپیچ قلبی) روی شش چتبات انجام شد.
نتایج نشان داد نرخ توهم بین ۵۰ تا ۸۲ درصد متغیر است. مدل بهترین عملکرد را داشت با نرخ توهم اولیه نزدیک ۵۰ درصد که با اعمال هشدار به کمتر از ۲۵ درصد رسید.
نتیجهگیری و توصیه برای کاربران دکتر ایال کلنگ، رئیس بخش هوش مصنوعی مولد در دانشکده پزشکی ایکان، تأکید کرد حتی یک کلمه ساختگی میتواند پاسخی کاملاً تخیلی اما قانعکننده تولید کند. بنابراین، استفاده از هوش مصنوعی در تصمیمگیریهای پزشکی باید با احتیاط د و همیشه با نظارت متخصص و تأیید از منابع معتبر همراه باشد.
