توهم هوش مصنوعی به وضعیتی گفته میشود که مدل زبانی اطلاعاتی نادرست یا ساختگی را با لحنی کاملاً مطمئن بیان می‌کند. ممکن است آماری بیاورد که وجود ندارد، به مقاله‌ای ارجاع دهد که هرگز نوشته نشده، یا جزئیات یک رویداد را به اشتباه تعریف کند. شناختن این پدیده برای هر کسی که از هوش مصنوعی استفاده می‌کند ضروری است.
چرا توهم رخ می‌دهد؟
مدل زبانی پایگاه دادهٔ حقایق نیست؛ ماشینی است که یاد گرفته متن محتمل و روان بسازد. وقتی پاسخ دقیق را نمی‌داند، به‌جای گفتن «نمی‌دانم»، ممکن است متنی بسازد که شبیه پاسخ درست است. چند عامل احتمال توهم را بیشتر می‌کند:
- پرسش دربارهٔ جزئیات کمیاب: نام افراد کمتر شناخته‌شده، عددهای دقیق، تاریخ‌های خاص.
- رویدادهای تازه: اتفاق‌هایی که پس از آموزش مدل رخ داده‌اند.
- درخواست منبع و ارجاع: مدل ممکن است عنوان و نویسندهٔ ساختگی بسازد.
- پرسش‌های جهت‌دار: «چرا فلان چیز درست است؟» مدل را به تأیید فرض نادرست سوق می‌دهد.
با سازوکار کلی این مدل‌ها در مقالهٔ هوش مصنوعی مولد آشنا شوید.
نشانه‌های یک پاسخ مشکوک
- عددهای بسیار دقیق بدون منبع؛
- ارجاع به مقاله یا کتابی که پیدا نمی‌شود؛
- جزئیات زیاد دربارهٔ موضوعی که باید اطلاعات کمی درباره‌اش وجود داشته باشد؛
- تناقض میان دو بخش یک پاسخ؛
- پاسخ متفاوت وقتی همان سؤال را دوباره می‌پرسید.
روش‌های کاهش توهم
۱. جستجوی وب با منبع
برای پرسش‌های مربوط به اطلاعات روز یا حقایق مشخص، جستجوی وب را روشن کنید. دستیار از منابع واقعی می‌خواند و برای هر ادعا ارجاع شماره‌دار می‌آورد؛ می‌توانید روی شماره بزنید و منبع را ببینید. برای پرسش‌های مهمتر، پژوهش عمیق چندین منبع را بررسی و گزارش مستند تهیه می‌کند.
۲. اجازهٔ «نمی‌دانم»
در دستور بنویسید: «اگر مطمئن نیستی، صریحاً بگو نمی‌دانم و حدس نزن.» همین یک جمله احتمال پاسخ ساختگی را کم می‌کند.
۳. دادن منبع به مدل
به‌جای اینکه از حافظهٔ مدل بپرسید، سند معتبر را پیوست کنید و بخواهید فقط از روی همان پاسخ دهد. این روش برای قرارداد، آیین‌نامه و گزارش بسیار مطمئن است.
۴. اجرای کد برای محاسبه
برای محاسبه‌های عددی از دستیار بخواهید کد اجرا کند. عدد حاصل محاسبهٔ واقعی است، نه حدس.
۵. بازبینی انسانی
برای تصمیم‌های مهم، پاسخ را با منبع مستقل تطبیق دهید. هوش مصنوعی دستیار است، نه مرجع نهایی.
کجا بیشتر مراقب باشیم؟
| حوزه | سطح احتیاط |
|---|---|
| پزشکی و دارو | بسیار زیاد؛ همیشه با پزشک مشورت کنید |
| حقوقی و قراردادها | بسیار زیاد؛ متن قانون را خودتان ببینید |
| مالی و سرمایه‌گذاری | زیاد |
| ارجاع علمی | زیاد؛ هر منبع را باز کنید |
| نوشتن خلاقانه و ایده‌پردازی | کم |
ایجنت‌هایی که با منبع کار می‌کنند
ایجنت‌های تخصصی بازار ایجنت معمولاً با دستورالعمل‌هایی ساخته شده‌اند که حدس زدن را محدود می‌کنند و برای اطلاعات روز از جستجوی منبعدار استفاده می‌کنند؛ برای کارهای حساس، آن‌ها انتخاب مطمئن‌تری هستند.
یک تمرین ساده
دفعهٔ بعد که پاسخی با عدد یا ارجاع گرفتید، از دستیار بپرسید: «منبع این عدد چیست؟ اگر منبع مشخصی نداری، صریحاً بگو.» گاهی همین پرسش باعث میشود مدل پاسخ قبلی خود را اصلاح کند. این عادت ساده، کیفیت کار شما را بالا می‌برد.
توهم در برابر خطای معمولی
همهٔ اشتباه‌ها توهم نیستند. گاهی مدل پرسش را درست نفهمیده یا اطلاعاتش قدیمی است. تفاوت توهم این است که مدل چیزی را از خودش می‌سازد و آن را واقعی جلوه می‌دهد. برای همین، هر جا پاسخ ادعایی دقیق و قابل‌سنجش دارد، آن را بسنجید.
پرسش‌های پرتکرار
آیا توهم هوش مصنوعی کاملاً از بین میرود؟
نه کاملاً، ولی با جستجوی منبعدار، دادن سند معتبر و بازبینی، خطر آن بسیار کم میشود.
چرا مدل به‌جای «نمی‌دانم» پاسخ ساختگی می‌دهد؟
چون برای ساختن متن روان و محتمل آموزش دیده است. با دستور صریح می‌توانید او را به گفتن «نمی‌دانم» تشویق کنید.
مدلهای گرانتر کمتر توهم دارند؟
معمولاً مدلهای قویتر دقیقترند، ولی هیچ مدلی کاملاً مصون نیست. روش کار مهمتر از انتخاب مدل است.
