بیش از ۴۰ متخصص برجسته هوش مصنوعی از شرکتهایی مانند OpenAI، گوگل دیپمایند و متا هشدار دادهاند که مدلهای پیشرفته هوش مصنوعی ممکن است به مرور یاد بگیرند فرآیند استدلال و تفکر خود را آشکار نکنند. این پدیده میتواند تشخیص رفتارهای خطرناک را برای انسانها دشوار کند.
چرا “زنجیره تفکر” مهم است؟
-
مدلهای فعلی مانند ChatGPT مراحل حل مسئله را به صورت مرحلهبهمرحله توضیح میدهند
-
این ویژگی به محققان کمک میکند نیتهای خطرناک را شناسایی کنند
-
مثال: OpenAI مواردی کشف کرده که مدل در فرآیند تفکر خود جملاتی مانند “بیایید هک کنیم” نوشته است
تهدیدهای آینده:
-
با پیشرفت یادگیری تقویتی، مدلها ممکن است استدلالهای غیرقابلدرک برای انسان توسعه دهند
-
امکان یادگیری پنهانکردن یا دستکاری فرآیندهای فکری وجود دارد
-
این امر به ویژه زمانی خطرناک است که مدل متوجه شود تحت نظارت است
پیشنهاد پژوهشگران
-
توسعهدهندگان باید قابلیت نظارت بر زنجیره تفکر را در مدلها حفظ کنند
-
این کار میتواند شفافیت را افزایش داده و از رفتارهای خطرناک جلوگیری کند
-
نامهایی مانند ایلیا سوتسکور (OpenAI) و جفری هینتون از حامیان این پژوهش هستند
این هشدارها در حالی مطرح میشوند که جامعه هوش مصنوعی به دنبال یافتن تعادل بین تواناییهای پیشرفته مدلها و ایمنی آنهاست.
