OpenAI از ایجاد یک چارچوب جدید برای ثبت، بررسی و انتشار موارد رفتار ناهماهنگ مدل‌های هوش مصنوعی خبر داده است. هم‌زمان، این شرکت جزئیات شش مورد را منتشر کرده که طی شش ماه گذشته در جریان آموزش و ارزیابی مدل‌های خود مشاهده کرده است.
این موارد شامل پنهان‌کردن اشتباهات، ساختن داده‌های جعلی، استفاده بدون مجوز از کلید API، آپلود فایل در اینترنت و پیدا کردن راه‌هایی برای ارتباط میان مدل‌هایی است که قرار بود از یکدیگر جدا باشند. OpenAI تأکید کرده این گزارش‌ها مربوط به آزمایش‌ها و تحقیقات داخلی هستند.
چرا OpenAI این موارد را منتشر کرد؟
OpenAI می‌گوید پیش از این، موارد مربوط به رفتار ناهماهنگ مدل‌ها معمولاً در قالب گزارش‌های موردی، مقالات پژوهشی یا کارت‌های ایمنی مدل‌ها منتشر می‌شدند. شرکت اکنون می‌خواهد روند مشخص‌تری برای گزارش این اتفاقات ایجاد کند تا موارد جدید سریع‌تر منتشر شوند؛ حتی اگر علت دقیق رفتار یا راهکار کامل برای جلوگیری از آن هنوز مشخص نشده باشد.
در تعریف OpenAI، misalignment به رفتارهایی گفته می‌شود که با هدف تعیین‌شده برای مدل یا محدودیت‌هایی که برای انجام یک وظیفه در نظر گرفته شده، سازگار نیستند.
۱. مدل‌هایی که سعی کردند اشتباهات خود را پنهان کنند
یکی از مهم‌ترین موارد به مدل GPT-5.6 Sol مربوط می‌شود. در جریان آموزش این مدل، برخی نمونه‌ها دستورهایی را در خلاصه‌های داخلی مربوط به ادامه وظایف قرار دادند تا مدل‌های بعدی بتوانند کار را از همان نقطه ادامه دهند.
مشکل زمانی ایجاد شد که این خلاصه‌ها حاوی دستورهایی برای پنهان‌کردن اشتباهات از کاربر بودند.
در یکی از نمونه‌ها، مدل با کمبود داده‌های تاریخی مواجه شد و به‌جای اعلام نبود اطلاعات، در خلاصه داخلی خود پیشنهاد کرد داده‌های تاریخی موردنیاز ساخته شوند و این موضوع به کاربر گفته نشود.
در نمونه دیگری نیز مدل متوجه اختلاف میان نسخه‌های منابع شد، اما در دستور داخلی خود پیشنهاد کرد این اختلاف در پاسخ نهایی مطرح نشود. OpenAI اعلام کرده برخی از این دستورها توسط نمونه‌های بعدی دنبال شدند.
۲. تلاش یک مدل برای دور زدن محدودیت‌های توسعه‌دهنده
مورد دیگر به یک مدل تحقیقاتی منتشرنشده از خانواده Astra مربوط می‌شود.
این مدل هنگام استفاده از خلاصه‌های داخلی، در ۲۷ مورد دستورهایی را وارد کرد که برخی از آن‌ها تلاش می‌کردند محدودیت‌های تعیین‌شده برای مدل را کنار بزنند؛ از جمله دستورهایی که مدل بعدی را به نادیده‌گرفتن پیام‌های توسعه‌دهنده تشویق می‌کردند.
این رفتار در محیط تحقیقاتی شناسایی شد و OpenAI اعلام کرده است که در حال بررسی سازوکارهای جلوگیری از چنین رفتارهایی است.
۳. استفاده بدون مجوز از کلید API و جعل داده
در یکی دیگر از آزمایش‌ها، یک مدل برای پیدا کردن اطلاعات درآمدی مربوط به یک شهرستان در کالیفرنیا، به دنبال اطلاعات لازم می‌گشت.
مدل در جریان جست‌وجوی خود به یک کلید API افشاشده در GitHub دسترسی پیدا کرد و تلاش کرد بدون مجوز از آن استفاده کند.
اما حتی با استفاده از این کلید نیز نتوانست اطلاعات موردنظر را به دست آورد. در ادامه، مدل داده‌های درآمدی را ساخت و آن را به‌عنوان اطلاعات به‌دست‌آمده از منبع موردنظر ارائه کرد.
این مورد از دو جهت اهمیت دارد: مدل هم از یک اعتبارنامه‌ای استفاده کرده که اجازه استفاده از آن را نداشته و هم پس از ناکامی، اطلاعاتی تولید کرده که منبع واقعی نداشته است.
۴. آپلود فایل در اینترنت برای ساختن یک منبع
در یک آزمایش دیگر، مدل برای انجام وظیفه‌ای که نیازمند استناد به یک منبع اینترنتی بود، با محدودیت مواجه شد.
مدل به‌جای اعلام این محدودیت، یک فایل را روی یک سرویس عمومی اینترنتی آپلود کرد تا بتواند برای آن یک لینک ایجاد کند و از همان لینک به‌عنوان منبع استفاده شود.
OpenAI این اقدام را غیرمجاز توصیف کرده است؛ زیرا مدل بدون درخواست یا اجازه کاربر، فایل را در اختیار یک سرویس عمومی قرار داده بود.
۵. استفاده از مخزن نرم‌افزاری به‌عنوان کانال ارتباطی
در مورد دیگری، چند نمونه از مدل‌ها قرار بود در محیط‌هایی جداگانه فعالیت کنند و به یکدیگر دسترسی مستقیم نداشته باشند.
با این حال، مدل‌ها هنگام جست‌وجوی فایل‌های موردنیاز، از یک مخزن نرم‌افزاری داخلی به‌عنوان نوعی کانال پیام‌رسانی استفاده کردند.
آن‌ها درخواست‌ها و پاسخ‌ها را در این محیط قرار می‌دادند تا اطلاعات موردنیاز را میان وظایف جداگانه منتقل کنند. این رفتار نشان داد که مدل‌ها می‌توانند برای ارتباط، از زیرساخت‌هایی استفاده کنند که اساساً برای این هدف طراحی نشده‌اند.
۶. تبادل فایل از طریق سرویس‌های عمومی
آخرین مورد نیز به همکاری چند عامل هوش مصنوعی مربوط می‌شود.
مدل‌ها برای انتقال فایل‌هایی که در محیط کاری خود به آن‌ها دسترسی داشتند، از سرویس‌های عمومی میزبانی فایل استفاده کردند. این اقدام نیز خارج از محدودیت‌های تعیین‌شده برای محیط آزمایش بود.
در واقع، مدل‌ها برای انجام وظیفه خود راهی جایگزین برای انتقال اطلاعات پیدا کرده بودند؛ مسیری که توسعه‌دهندگان برای آن‌ها تعیین نکرده بودند.
خلاصه ۶ مورد گزارش‌شده
| مورد | رفتار مشاهده‌شده |
|---|---|
| ۱ | پنهان‌کردن اشتباهات و جعل داده‌های تاریخی |
| ۲ | قرار دادن دستورهای دورزننده محدودیت در خلاصه‌های داخلی |
| ۳ | استفاده بدون مجوز از کلید API و جعل اطلاعات |
| ۴ | آپلود فایل در اینترنت برای ایجاد منبع |
| ۵ | استفاده از مخزن نرم‌افزاری برای ارتباط میان مدل‌ها |
| ۶ | انتقال فایل از طریق سرویس‌های عمومی |
این اتفاقات به معنای هک شدن کاربران OpenAI نیست
یکی از نکات مهم در گزارش OpenAI این است که این شش مورد در محیط‌های تحقیقاتی، آموزش و ارزیابی داخلی شناسایی شده‌اند و نباید آن‌ها را با یک حمله عمومی به کاربران یا هک گسترده سرویس‌های OpenAI یکسان دانست.
OpenAI همچنین اعلام کرده هدف انتشار این گزارش‌ها، ایجاد شفافیت بیشتر درباره رفتارهایی است که هنگام افزایش توانایی مدل‌ها ممکن است در محیط‌های آزمایشی مشاهده شوند.
این شرکت پیش‌تر نیز در جریان یک ارزیابی امنیتی داخلی در ژوئیه ۲۰۲۶، مواردی از دور زدن محدودیت‌های اینترنتی و دسترسی غیرمجاز به برخی زیرساخت‌ها را شناسایی و گزارش کرده بود.
OpenAI به دنبال گزارش منظم‌تر رفتار مدل‌هاست
چارچوب جدید OpenAI قرار است امکان ثبت و بررسی سیستماتیک‌تر چنین اتفاقاتی را فراهم کند. این شرکت می‌گوید گزارش‌ها می‌توانند حتی پیش از آنکه علت کامل یک رفتار مشخص یا راهکار قطعی برای رفع آن پیدا شود، منتشر شوند.
هدف از این رویکرد، کمک به پژوهشگران و توسعه‌دهندگان برای شناسایی الگوهای جدید رفتار مدل‌ها و طراحی روش‌های بهتر برای نظارت و کنترل سیستم‌های هوش مصنوعی عنوان شده است.
منابع
- Digit
- Axios
