مدل‌های زبانی هوش مصنوعی با بزرگ‌تر و دستورپذیرتر شدن، کمتر قابل اعتماد می‌شوند

هوش مصنوعی و مدل‌های زبانی بزرگ (Large Language Models یا LLM) که ChatGPT پیشتاز آن‌هاست، هر روز بیشتر به بخشی از زندگی ما تبدیل می‌شوند. این مدل‌ها که در حوزه‌های بسیاری، از آموزش و سلامت تا علم و مدیریت، به‌طور گسترده استفاده می‌شوند، از نظر اندازه و پیچیدگی به‌سرعت در حال پیشرفت‌اند. اما با بزرگ‌تر و دستورپذیرتر شدن، قابلیت اعتماد آن‌ها زیر سؤال رفته است.

دستورپذیرتر شدن به این معناست که مدل‌های هوش مصنوعی بهتر به فرمان‌ها یا دستورهای مشخص کاربر پاسخ دهند. این فرایند شامل بهبود مدل‌ها هنگام آموزش با بازخورد انسانی و تنظیمات گوناگون برای درک دقیق‌تر دستورها و تولید پاسخ‌های متناسب‌تر با نیاز کاربر است. مدل‌های دستورپذیر می‌توانند به فرمان‌ها یا پرسش‌های مستقیم کاربر انعطاف‌پذیرتر و روشن‌تر پاسخ دهند، اما این فرایند گاهی می‌تواند به پاسخ‌های نادرست یا گمراه‌کننده نیز منجر شود. آیا این موضوع بد است؟

مدل‌هایی که دستورپذیرتر می‌شوند، گاهی ممکن است پاسخ‌هایی ارائه کنند که مطابق خواسته کاربر «معنادار» به نظر می‌رسند، اما در واقع نادرست‌اند. این وضعیت به علت گرایش مدل به «همیشه پاسخ دادن» ایجاد می‌شود و تشخیص خطا را برای کاربر دشوار می‌کند. به‌ویژه در حوزه‌های حساس مانند پزشکی یا علم، این پاسخ‌های گمراه‌کننده می‌توانند به خطاهای جدی و تصمیم‌های نادرست منجر شوند.

مطالعه Lexin Zhou و گروه او که در 25 سپتامبر 2024 در نشریه Nature منتشر شد، این نگرانی‌ها را در چارچوبی علمی قرار می‌دهد و نشان می‌دهد که با قدرتمندتر شدن سامانه‌های هوش مصنوعی، ممکن است افت غیرمنتظره‌ای در قابلیت اعتماد آن‌ها رخ دهد.

در این مطلب بررسی خواهیم کرد که راهبردهای فعلی مقیاس‌افزایی و آموزش مدل‌های زبانی بزرگ چگونه به مشکلات قابلیت اعتماد منجر می‌شوند. خواهیم دید چرا مدل‌های بزرگ‌تر و دستورپذیرتر می‌توانند نتایج گمراه‌کننده‌ای برای کاربران ایجاد کنند و این موضوع به‌ویژه در حوزه‌های حساس چه خطرهایی دارد.

چرا مدل‌های زبانی بزرگ کمتر قابل اعتماد می‌شوند؟

آموزش مدل‌های هوش مصنوعی با مجموعه‌داده‌های بزرگ‌تر، داشتن پارامترهای بیشتر و شکل‌دهی با روش‌هایی مانند بازخورد انسانی، این سامانه‌ها را قوی‌تر می‌کند. اما بر اساس یافته‌های Zhou و همکاران، برخلاف انتظار این بهبودها قابلیت اعتماد را تضمین نمی‌کنند. یافته‌های برجسته پژوهش را می‌توان در عنوان‌های زیر خلاصه کرد:

1. هم‌راستایی دشواری و گرایش به خطا: کارهایی که برای انسان آسان‌اند، معمولاً برای مدل‌های زبانی بزرگ نیز آسان هستند. با این حال، با بزرگ‌تر شدن مدل، حتی در سطوح دشواری پایین نیز خطاهای غیرمنتظره رخ می‌دهد. مدل‌ها اغلب در کارهایی مانند محاسبات ساده ریاضی یا بازی‌های واژه‌ای که انسان به‌راحتی حل می‌کند، اشتباه می‌کنند. این موضوع اعتماد کاربران به قابلیت اعتماد مدل را خدشه‌دار می‌کند. به‌ویژه در تحلیل مدل‌هایی مانند GPT و LLaMA، مشاهده شد که حتی در نمونه‌های کم‌دشواری نیز میزان خطا افزایش یافته است.

2. خودداری از انجام کار و پاسخ‌های گمراه‌کننده: مدل‌های زبانی اولیه معمولاً تمایل داشتند پرسش‌های کاربر را بی‌پاسخ بگذارند یا با عبارتی مانند «نمی‌توانم در این مورد پاسخ بدهم» رویکردی محتاطانه در پیش گیرند. اما مدل‌های دستورپذیرتر اکنون به‌جای بی‌پاسخ گذاشتن، بیشتر به ارائه پاسخ‌هایی گرایش دارند که حتی اگر نادرست باشند، منطقی به نظر می‌رسند. این پاسخ‌های گمراه‌کننده، به‌ویژه در موضوعات پیچیده و حساس، می‌توانند پیامدهای جدی داشته باشند. پژوهش نشان داد که مدل‌های پیشرفته‌ای مانند GPT-4 و LLaMA-2، هنگامی که پاسخ دادن دشوار است، به‌جای خودداری، پاسخ نادرست می‌دهند.

3. پایداری پاسخ و اعتماد گمراه‌کننده: اگرچه پایداری پاسخ مدل‌های زبانی در برابر صورت‌بندی‌های متفاوت پرسش بهبود یافته است، Zhou و گروه او می‌گویند این بهبودها حس اعتماد گمراه‌کننده‌ای ایجاد می‌کنند. وقتی یک پرسش به شکل‌های مختلف مطرح شود، مدل گاهی درست و گاهی نادرست پاسخ می‌دهد. این وضعیت می‌تواند به‌ویژه برای کاربرانی که مدل را قابل اعتماد می‌دانند، تصور نادرست خطرناکی ایجاد کند. برای مثال، مدل ممکن است یک‌بار به محاسبه ساده ریاضی درست پاسخ دهد و بار دیگر اشتباه کند.

کاهش قابلیت اعتماد مدل: علت‌ها و پیامدها

آموزش مدل‌های زبانی بزرگ با داده‌ها و پارامترهای بیشتر معمولاً توانایی حل مسائل پیچیده‌تر را افزایش می‌دهد. اما افزایش احتمال پاسخ نادرست حتی به مسائل ساده، مشکلات جدی برای کاربران ایجاد می‌کند. Zhou و گروه او استدلال می‌کنند که مقیاس‌افزایی این مدل‌ها به‌جای از بین بردن کامل خطاها، خطاهای بیشتری را نامرئی می‌کند. این موضوع می‌تواند باعث شود کاربران به علت خطاهایی که متوجه آن‌ها نمی‌شوند، به نتایج نادرست برسند و بر مبنای آن نتایج تصمیم‌های اشتباه بگیرند.

نظارت انسانی: آیا کافی است؟

نظارت بر سامانه‌های هوش مصنوعی راهبردی مهم برای افزایش قابلیت اعتماد این مدل‌هاست. اما مطالعه نشان می‌دهد که نظارت انسانی همیشه کافی نیست و افراد، به‌ویژه در کارهای پیچیده، خطاهای مدل را تشخیص نمی‌دهند. به‌ویژه ناتوانی در تشخیص خطاها در سطوح دشواری بالا، خطری بزرگ برای کاربران حوزه‌های حساس است. این وضعیت در حوزه‌های پرخطری مانند سلامت و علم اهمیت بیشتری دارد. یک تشخیص نادرست یا داده علمی خطادار می‌تواند پیامدهای برگشت‌ناپذیر ایجاد کند.

نتیجه‌گیری و چشم‌انداز آینده

قابلیت اعتماد مدل‌های زبانی بزرگ در جهانی که هوش مصنوعی هر روز بیشتر به کار می‌رود، اهمیت فراوانی دارد. مطالعه Zhou و گروه او تأکید می‌کند که راهبردهای فعلی برای افزایش قابلیت اعتماد کافی نیستند و تغییر بنیادی‌تری در طراحی لازم است. استفاده از این مدل‌ها به‌ویژه در حوزه‌های پرخطر، به احتیاط بیشتر کاربران و توسعه‌دهندگان نیاز دارد.

این یافته‌ها راهنمایی حیاتی برای پژوهش‌های آینده با هدف افزایش قابلیت اعتماد سامانه‌های هوش مصنوعی خواهند بود. روشن است که برای رسیدن مدل‌های زبانی بزرگ به سطح مشخصی از قابلیت اعتماد، تغییرات اساسی در راهبردهای مقیاس‌افزایی و آموزش لازم است.