این اطلاعات پزشکی درمورد بیماری ها ساخته و پرداخته هوش مصنوعی است؛ باور نکنید!_کویر دانش

کد خبر: ۲۸۵۳۶۷

تاریخ انتشار کردن: پنجشنبه ۲۳ مرداد ۱۴۰۴ – ۱۷:۵۹

به نقل از بهداشت نیوز، یک بازدید تازه مشخص می کند که چت‌بات‌های هوش مصنوعی (AI) آنها را به گفتن حقیقت در نظر گرفته‌اند و حتی توضیحات مفصلی برای آنها از هیچ ساخته‌اند.

پژوهشگران در ژورنال Communications Medicine گزارش دادند که چت‌بات‌های هوش مصنوعی که به طور گسترده منفعت گیری خواهد شد، در برابر پذیرفتن اطلاعات پزشکی جعلی به گفتن اطلاعات واقعی، تکرار و حتی شرح و تفسیر مزخرفاتی که به آنها اراعه شده است، زیاد صدمه‌پذیر می باشند.

دکتر محمود عمر پژوهشگر ارشد و مشاور جدا گانه گروه پژوهشی مونت سینایی که پشتیبان این تحقیق است، می‌گوید: «آنچه ما در همه جا دیدیم این است که چت‌بات‌های هوش مصنوعی را می‌توان به راحتی با جزئیات پزشکی نادرست گمراه کرد، چه این خطاها به عمد باشند و چه اتفاقی.»

او می‌افزاید: «آنها نه تنها اطلاعات نادرست را تکرار کردند، بلکه زیاد تر‌شان این اطلاعات را گسترش دادند و توضیحات مطمئنی برای بیماری‌های غیر حاضر اراعه دادند.»

برای مثال، در این بازدید آمده است که یکی از چت‌بات‌های هوش مصنوعی، نشانگان کاسپر- لو را به گفتن «یک بیماری عصبی نادر با علائمی همانند تب، سفتی گردن و سردرد» توصیف کرده است.

به همین ترتیب، بیماری هلکند به گفتن «یک اختلال ژنتیکی نادر با سوء جذب روده و اسهال» توصیف شده است.

هیچ‌کدام از این‌ها درست نیست. در عوض، این جواب‌ها چیزی می باشند که پژوهشگران آن را «توهم» (hallucination) می‌نامند که به معنی حقایق نادرستی که بوسیله برنامه‌های هوش مصنوعی گیج‌شده تشکیل خواهد شد.

دکتر عمر او گفت: «یافته دلگرم‌کننده این بازدید این است که افزودن یک هشدار ساده و تک‌خطی که به مطلب‌واره یا پرامپتی که به چت‌بات داده می‌بشود، این توهمات را به طور چشمگیری افت می‌دهد و مشخص می کند که عمل های حفاظتی کوچک می‌توانند تفاوت بزرگی تشکیل کنند.»

پژوهشگران برای این بازدید ۳۰۰ پرس‌وجوی هوش مصنوعی مربوط به مسائل پزشکی را طراحی کردند که هر کدام شامل یک جزئیات ساختگی همانند یک تست آزمایشگاهی ساختگی به نام «نوروستاتین سرم» یا یک علامت ساختگی همانند «علامت مارپیچ قلبی» می بود.

نتایج نشان داد که مقدار توهم در شش چت‌بات هوش مصنوعی گوناگون از ۵۰ تا ۸۲ درصد متغیر می بود و این برنامه‌ها در جواب به جزئیات ساختگی یاوه‌گویی‌های متقاعدکننده‌ای اراعه می‌دادند.

دکتر ایال کلنگ، پژوهشگر ارشد در این بازدید او گفت: «حتی یک کلمه ساختگی می‌تواند تبدیل پاسخی دقیق و قاطع بشود که کاملاً تخیلی است.» کلنگ رئیس قسمت هوش مصنوعی مولد در دانشکده پزشکی ایکان در مونت سینای در شهر نیویورک است.

اما پژوهشگران در دور دوم یک هشدار یک خطی به سوال خود اضافه کردند و به هوش مصنوعی یادآوری کردند که اطلاعات اراعه شده امکان پذیر نادرست باشد.

این پژوهشگران نوشتند: «این دستورالعمل در اصل به مدل دستور می‌داد که فقط از اطلاعات بالینی معتبر منفعت گیری کند و به جای گمانه‌زنی زیاد تر عدم قطعیت را بپذیرد. مقصد این می بود که با اعمال این محدودیت‌ها مدل را تشویق کنیم تا عناصر مشکوک را شناسایی و علامت‌گذاری کند، نه این که محتوای بدون پشتوانه تشکیل کند.»

پژوهشگران دریافتند که این هشدار علتشد مقدار توهم به نزدیک به ۴۵ درصد افت یابد.

نتایج مشخص می کند که هوش مصنوعی ChatGPT-۴o که بهترین کارکرد را داشت، مقدار توهم نزدیک به ۵۰ درصد داشت و با اضافه شدن هشدار به مطلب‌واره یا پرامپتی که به هوش مصنوعی داده می‌شد، این مقدار به کمتر از ۲۵ درصد افت یافت.

منبع:

همشهری آنلاین

هلث‌دی