چه میشد اگر هوش مصنوعیای که به آن تکیه میکنید میتوانست با اطمینان بگوید: «نمیدانم»؛ به جای آنکه پاسخی ظاهراً درست اما کاملاً نادرست ارائه دهد؟ سالهاست پاشنهآشیل مدلهای زبانی بزرگ (LLMها) تمایل آنها به تولید همین «توهمات» بوده است—خروجیهایی که باورپذیر به نظر میرسند اما فاقد دقت واقعیاند. این اشتباهات اعتماد به هوش مصنوعی را در حوزههایی مثل سلامت، آموزش و حقوق تضعیف کردهاند؛ جایی که حتی خطاهای کوچک میتواند پیامدهای بزرگی داشته باشد.
اما حالا، اوپنایآی ادعا میکند که توانسته ریشهی مشکل را شناسایی کند. با بازنگری در نحوهی آموزش و ارزیابی LLMها، آنها علل اصلی توهمات را یافته و راهکارهایی نو برای رفع این مشکل پیشنهاد دادهاند. آیا این میتواند نقطهی عطفی در اعتمادپذیری هوش مصنوعی باشد؟
توهم در LLMها چیست؟
توهم زمانی رخ میدهد که مدل زبانی پاسخی معتبر به نظر میرسد اما از نظر واقعیت غلط است. این مشکل معمولاً وقتی رخ میدهد که مدل مطمئن نیست اما همچنان مجبور به پاسخگویی است. درست مانند دانشآموزی که در امتحان حدس میزند، مدلها هم جریمهای برای حدس اشتباه نمیشوند و پاداشی هم برای گفتن «نمیدانم» دریافت نمیکنند.
آموزش و ارزیابی؛ ریشهی مشکل
مطالعهی اوپنایآی نشان میدهد که روشهای فعلی یادگیری تقویتی، مدلها را برای پاسخ درست پاداش میدهند اما هیچ مشوقی برای پذیرش ندانستن وجود ندارد. از طرف دیگر، سیستمهای ارزیابی معمولاً بر اساس معیار «درست/غلط» عمل میکنند و پاسخهای میانه یا «نامطمئنم» را نادیده میگیرند. نتیجه؟ مدلها یاد میگیرند همیشه جواب دهند، حتی وقتی اطلاعات کافی ندارند.
افزودن سطح اعتماد به خروجیها
یکی از راهکارهای کلیدی اوپنایآی، اضافه کردن «سطح اعتماد» به پاسخهای مدل است. بهعنوان مثال:
-
پاسخهای پایدار و مشابه در چند پرسش متوالی = اعتماد بالا
-
پاسخهای متناقض یا متغیر = عدم اطمینان
این باعث میشود مدل صادقتر باشد و در صورت شک، بهجای حدس زدن، عدم قطعیت خود را بیان کند.
استراتژیهای کاهش توهم
-
پاداش به عدم قطعیت: تشویق مدل به گفتن «نمیدانم» بهجای حدسزدن.
-
بازنگری معیارهای ارزیابی: کنار گذاشتن سیستم دوحالتی (درست/غلط) و پذیرش پاسخهای جزئی یا همراه با تردید.
-
جریمه اعتماد کاذب: کاهش امتیاز برای پاسخهای غلطی که با قطعیت بالا داده شدهاند.
چالشهای پیادهسازی
-
نیاز به بازطراحی بنچمارکها
-
افزایش هزینهی محاسباتی برای آموزش دوبارهی مدلها
-
تغییر بنیادین در چارچوبهای فعلی آموزش و ارزیابی
پیامدها در دنیای واقعی
-
پزشکی: بهبود ابزارهای تشخیص و کاهش خطا در پیشنهاد درمان.
-
حقوق: افزایش اعتبار در تحلیل پروندهها و کاهش ریسک اطلاعات غلط.
-
آموزش: فراهم کردن اطلاعات دقیقتر و پشتیبانی بهتر برای دانشجویان.
آیندهی سیستمهای هوش مصنوعی
تحقیقات اوپنایآی تأکید میکند که مشکل اصلی در اولویت دادن به «اعتماد به نفس» به جای «دقت» است. اگر این روند اصلاح شود، مدلها میتوانند به ابزارهایی قابل اعتماد و دقیق تبدیل شوند.
در نهایت، آیندهی هوش مصنوعی به توانایی آن در ارائهی پاسخهای نه فقط باورپذیر بلکه دقیق و مطمئن وابسته است. اگر مدلها بتوانند بگویند: «مطمئن نیستم»، احتمالاً در موارد دیگر هم بسیار بهتر عمل خواهند کرد.
