توهم هوش مصنوعی یا همان AI hallucination، یکی از مشکلات رایج و پیچیده‌ای است که در سیستم‌های مبتنی بر مدل‌های زبانی بزرگ (LLM) مشاهده می‌شود. این پدیده به حالتی اشاره دارد که در آن یک مدل هوش مصنوعی، اطلاعات نادرست یا گمراه‌کننده‌ای تولید می‌کند که ممکن است به‌طور ظاهری منطقی و صحیح به‌نظر برسند، اما در واقعیت نادرست هستند. این اطلاعات می‌توانند به‌شکلی ارائه شوند که کاملاً به سؤال یا درخواست کاربر پاسخ دهند، ولی با این حال کاملاً غلط یا بی‌ربط باشند.

یکی از چالش‌های اساسی در درک توهم‌های هوش مصنوعی این است که این اشتباهات ممکن است حتی در پاسخ‌هایی ظاهر شوند که ساختار زبان‌شناختی صحیحی دارند و به‌طور طبیعی در یک مکالمه انسانی نیز به‌طور منطقی پذیرفته می‌شوند. از این‌رو، بسیاری از کاربران ممکن است به‌راحتی فریب این مدل‌ها را بخورند و نتایج نادرست را به‌عنوان حقیقت بپذیرند. به عنوان مثال، یک مدل ممکن است اطلاعات نادرست درباره تاریخ یا افراد مشهور ارائه دهد یا حتی در مواردی، به موضوعاتی اشاره کند که در منابع اصلی وجود نداشته‌اند.

چرا مدل‌های زبانی دچار توهم می‌شوند؟

مدل‌های زبانی بزرگ به‌گونه‌ای طراحی شده‌اند که پاسخ‌هایی به سؤالات مختلف تولید کنند. این مدل‌ها اساساً بر اساس احتمالات آماری کار می‌کنند؛ به این معنی که در هر بار تولید یک جمله، مدل به‌طور خودکار پیش‌بینی می‌کند که چه کلمه‌ای باید بیاید تا جمله معنای درست‌تری پیدا کند. این پیش‌بینی‌ها معمولاً از روی داده‌های گذشته و آماری هستند که مدل از آن‌ها برای آموزش خود استفاده کرده است. بنابراین، این مدل‌ها هیچ درکی از جهان واقعی یا حتی مفاهیم اصلی ندارند.

این فرایند پیش‌بینی، به‌ویژه در زمانی که مدل با اطلاعات کم یا مبهم روبه‌رو می‌شود، می‌تواند به نتایج نادرست و توهم‌ها منتهی شود. به‌عبارت‌دیگر، زمانی که مدل به داده‌هایی از دنیای واقعی دسترسی ندارد یا قادر به درک صحیح از زمینه سؤال نیست، ممکن است پاسخ‌هایی تولید کند که از نظر منطقی به نظر برسند، اما در واقع هیچ ارتباطی با حقیقت ندارند. این ضعف‌های اساسی در نحوه پردازش اطلاعات مدل‌های زبانی، منجر به تولید توهم‌های گمراه‌کننده می‌شود.

آیا نسخه‌های جدیدتر بهتر عمل می‌کنند؟

با وجود پیشرفت‌های سریع در طراحی مدل‌های هوش مصنوعی و بهبود معماری‌های آن‌ها، یافته‌ها نشان می‌دهند که نسخه‌های جدیدتر، همیشه عملکرد بهتری در مقابله با توهم‌ها ندارند. به‌عنوان مثال، مدل‌های جدیدتر OpenAI مانند o3 و o4-mini در برخی از تست‌ها نرخ بالاتری از توهم را نشان داده‌اند، حتی بیشتر از نسخه‌های قبلی مانند o1 که پیش از آن منتشر شده بود. برای نمونه، مدل o3 در فرآیند خلاصه‌سازی اطلاعات، ۳۳ درصد موارد توهم تولید کرده است و o4-mini این نرخ را به ۴۸ درصد رسانده است؛ در حالی‌که مدل o1 تنها ۱۶ درصد خطا داشت.

این یافته‌ها حاکی از آن است که بزرگ‌تر شدن مدل‌ها یا اضافه کردن ویژگی‌های جدید لزوماً منجر به بهبود در دقت و کاهش خطاها نمی‌شود. در واقع، برخی از مدل‌های جدیدتر ممکن است توانایی کمتری در پردازش داده‌ها یا کنترل خطاهای خود داشته باشند. این امر نشان می‌دهد که هنوز بسیاری از مسائل پایه‌ای در نحوه طراحی و عملکرد این مدل‌ها باید حل شود تا بتوان به عملکرد بهتری دست یافت.

مشکل از کجاست؟ مدل یا مفهوم؟

یکی از مباحث مهم در تحقیقات مربوط به هوش مصنوعی، این است که آیا مشکل اصلی توهم‌ها مربوط به طراحی مدل‌هاست یا مفهومی که از آن‌ها انتظار داریم؟ بسیاری از پژوهشگران بر این باورند که استفاده از اصطلاح «توهم» خود اشتباه است، زیرا این مدل‌ها هیچ‌گونه درک یا آگاهی از آنچه تولید می‌کنند ندارند. مدل‌های هوش مصنوعی از نظر عملکردی صرفاً مجموعه‌ای از محاسبات آماری هستند و هیچ‌گونه درکی از مفاهیم، واقعیت‌ها یا حتی جهان اطراف خود ندارند.

از این‌رو، مدل‌ها ممکن است در تولید اطلاعاتی که ظاهراً منطقی به‌نظر می‌آیند، دچار خطا شوند. این اشتباهات به‌دلیل محدودیت در الگوریتم‌ها و عدم توانایی مدل‌ها در درک عمیق مسائل پیچیده رخ می‌دهند. به عبارت دیگر، مدل‌های زبانی نه چیزی «می‌بینند» و نه «درک» می‌کنند، بلکه تنها براساس الگوریتم‌های ریاضیاتی که از داده‌های آماری نشأت می‌گیرد، پاسخ می‌دهند. بنابراین، هیچ‌گاه نمی‌توان از آن‌ها انتظار داشت که به‌طور دقیق و قطعی اطلاعات را بازسازی کنند.

چرا توهم یک تهدید واقعی است؟

توهم‌های هوش مصنوعی نه‌تنها یک چالش فنی، بلکه یک خطر عملی و اجتماعی به‌شمار می‌آیند. در بسیاری از بخش‌ها مانند حقوقی، آموزش، پزشکی یا خدمات مشتری، مدل‌های هوش مصنوعی باید قادر به تولید پاسخ‌های دقیق و معتبر باشند. اما اگر این سیستم‌ها به‌طور مداوم اطلاعات نادرست تولید کنند، می‌تواند منجر به مشکلات جدی شود. در حوزه پزشکی، توهم‌های یک مدل می‌تواند باعث تشخیص نادرست بیماری‌ها شود، در حقوق می‌تواند مستندات جعلی تولید کند و در آموزش، ممکن است محتوای اشتباهی به دانش‌آموزان ارائه دهد.

راه‌حل چیست؟

تا به امروز، هیچ راه‌حل قطعی برای از بین بردن توهم‌های هوش مصنوعی وجود ندارد. بسیاری از متخصصان بر این باورند که مدل‌های هوش مصنوعی باید همیشه تحت نظارت و بررسی دقیق انسان‌ها قرار گیرند، به‌ویژه زمانی که از آن‌ها برای کاربردهای حساس استفاده می‌شود. یکی از روش‌های پیشنهادی، استفاده از این مدل‌ها به‌عنوان ابزارهای کمکی است تا نه به‌عنوان منبع اصلی اطلاعات، بلکه به‌عنوان منابع تکمیلی برای سرعت بخشیدن به فرایند تحقیق و تولید محتوا استفاده شوند.

علاوه بر این، توسعه مدل‌هایی که قادر به پردازش دقیق‌تر و درست‌تر داده‌ها باشند، همچنان در حال انجام است. تیم‌های تحقیقاتی بر روی روش‌های جدید برای کاهش توهم‌ها و بهبود دقت مدل‌های هوش مصنوعی در حال کار هستند، اما این راه همچنان طولانی است و نیازمند پیشرفت‌های اساسی در علم یادگیری ماشین و پردازش زبان طبیعی است.

آیا پیشرفت بیشتر، توهم را کاهش خواهد داد؟

با وجود پیشرفت‌های قابل توجه در فناوری‌های هوش مصنوعی، هنوز شاهد کاهش نرخ توهم در مدل‌های جدیدتر نیستیم. این مسئله نشان می‌دهد که صرفاً به‌روز کردن مدل‌ها یا اضافه کردن داده‌های بیشتر نمی‌تواند تمامی مشکلات توهم را حل کند. در واقع، مدل‌های هوش مصنوعی باید تغییرات بنیادی در ساختار خود ایجاد کنند تا بتوانند توهم‌ها را به حداقل برسانند.

برای رسیدن به این هدف، تیم‌های تحقیقاتی باید رویکردهای جدیدی را برای پردازش اطلاعات و تشخیص صحت داده‌ها در مدل‌های هوش مصنوعی پیاده‌سازی کنند. ممکن است این رویکردها شامل استفاده از روش‌های جدید یادگیری عمیق، پردازش بهتر زمینه‌ها یا حتی استفاده از شبکه‌های عصبی پیچیده‌تر باشد.

آیا باید از هوش مصنوعی فاصله گرفت؟

استفاده از هوش مصنوعی نباید متوقف شود، بلکه باید به‌طور هوشمندانه‌تری از آن بهره‌برداری کرد. مثل هر فناوری دیگری، هوش مصنوعی مزایا و معایب خود را دارد، اما اگر به‌طور صحیح و با آگاهی از محدودیت‌ها و خطرات آن استفاده شود، می‌تواند کمک‌های شایانی به بسیاری از صنایع بکند. برای رسیدن به این هدف، کاربران و توسعه‌دهندگان باید همواره نسبت به محدودیت‌های این فناوری آگاه باشند و از آن تنها در زمینه‌های مناسب و قابل‌اعتماد استفاده کنند. استفاده از هوش مصنوعی باید همیشه با نظارت انسانی همراه باشد. مدل‌های هوش مصنوعی می‌توانند ابزارهایی مفید باشند، اما نباید به‌عنوان جایگزینی برای قضاوت انسانی یا منابع اطلاعاتی معتبر در نظر گرفته شوند.

منبع : newscientist