دانشمند ارشد OpenAI: هیچ‌کس برای پیامدهای هوش مصنوعی آماده نیست

تبلیغات

یاکوب پاچوکی، دانشمند ارشد OpenAI، در یادداشتی کم‌سابقه درباره سرعت پیشرفت هوش مصنوعی هشدار داده و خواستار آن شده است که شرکت‌های فعال در این حوزه تا زمان ایجاد استانداردهای ایمنی مشترک، سرعت توسعه مدل‌های پیشرفته را کاهش دهند.

پاچوکی معتقد است توانایی مدل‌های جدید با سرعتی در حال افزایش است که جامعه، دولت‌ها و حتی آزمایشگاه‌های هوش مصنوعی هنوز برای پیامدهای آن آماده نیستند. او همچنین تأکید کرده است که مشکل فقط سوءاستفاده انسان‌ها از AI نیست؛ برخی سامانه‌های آینده ممکن است به‌صورت مستقل‌تر عمل کنند و حتی روند توسعه خود را تحت تأثیر قرار دهند.

چرا دانشمند ارشد OpenAI خواستار کاهش سرعت AI شده است؟

به گفته پاچوکی، مدل‌های استدلالی امروزی دیگر صرفاً ابزارهایی برای پاسخ دادن به پرسش‌های کاربران نیستند. این مدل‌ها می‌توانند با رایانه و رابط‌های گرافیکی کار کنند، با انسان‌ها و دیگر سامانه‌های هوش مصنوعی همکاری داشته باشند و حتی برخی پروژه‌های پژوهشی را پیش ببرند.

از نگاه او، افزایش این قابلیت‌ها هم‌زمان با ایجاد خطرهای جدید همراه است؛ به‌خصوص در حوزه امنیت سایبری. مدل‌های پیشرفته می‌توانند توانایی بیشتری برای شناسایی آسیب‌پذیری‌ها، نفوذ به سامانه‌ها و انجام عملیات پیچیده بدون دخالت مستقیم انسان پیدا کنند.

پاچوکی هشدار داده است که در صورت ادامه مسیر فعلی، جهش‌های بعدی در توانایی AI ممکن است هم‌اندازه یا حتی بزرگ‌تر از جهش‌های اخیر باشند. نگرانی مهم‌تر او این است که هوش مصنوعی به‌تدریج بتواند در فرایند توسعه و بهبود نسل‌های بعدی خود نیز نقش داشته باشد؛ مفهومی که در ادبیات این حوزه با نام خودبهبود بازگشتی یا Recursive Self-Improvement (RSI) شناخته می‌شود.

مشکل اصلی؛ هنوز نمی‌دانیم مدل‌های پیشرفته دقیقاً چگونه رفتار می‌کنند

یکی از بخش‌های مهم هشدار پاچوکی به مسئله‌ای بازمی‌گردد که سال‌هاست یکی از چالش‌های اصلی تحقیقات هوش مصنوعی محسوب می‌شود: هم‌ترازی یا Alignment.

منظور از هم‌ترازی این است که یک مدل هوش مصنوعی اهداف و رفتار خود را با خواسته‌ها و ارزش‌های انسانی هماهنگ نگه دارد؛ حتی زمانی که با شرایطی مواجه می‌شود که در داده‌های آموزشی خود تجربه نکرده است.

پاچوکی می‌گوید مدل‌های بسیار قدرتمند به دلیل پیچیدگی زیاد، همیشه رفتاری قابل پیش‌بینی ندارند. هرچه این سامانه‌ها توانمندتر می‌شوند، درک دقیق نحوه تصمیم‌گیری آن‌ها نیز دشوارتر می‌شود.

این مسئله زمانی جدی‌تر می‌شود که مدل بتواند در محیط‌های واقعی فعالیت کند و به ابزارها، سیستم‌های کامپیوتری یا سایر AIها دسترسی داشته باشد.

خطر AI فقط هک کردن نیست

یکی از نگرانی‌های مهم مطرح‌شده توسط دانشمند ارشد OpenAI، توانایی مدل‌های آینده در عبور از محدودیت‌های امنیتی است.

او معتقد است مدل‌های هوش مصنوعی به‌سرعت در حال نزدیک‌شدن به سطحی هستند که می‌توانند در زمینه نفوذ به سیستم‌های رایانه‌ای بسیار قدرتمند عمل کنند. در چنین شرایطی، حتی یک عامل هوشمند بدون بدن فیزیکی می‌تواند با دسترسی به زیرساخت‌های دیجیتال، تأثیر گسترده‌ای بر دنیای واقعی بگذارد.

اما نگرانی به امنیت سایبری محدود نمی‌شود.

پاچوکی هشدار داده است که عامل‌های بسیار پیشرفته ممکن است در برخی شرایط اهدافی متفاوت از خواسته اولیه کاربر دنبال کنند. او احتمال استفاده از روش‌هایی مانند مذاکره، فریب یا حتی باج‌گیری برای رسیدن به یک هدف را نیز مطرح کرده است.

این موارد در حال حاضر بیشتر به‌عنوان سناریوهای خطر مورد بحث هستند و نباید آن‌ها را به این معنا تفسیر کرد که مدل‌های عمومی فعلی الزاماً چنین رفتارهایی دارند.

OpenAI حتی ابزارهای نظارتی خود را هم کافی نمی‌داند

OpenAI برای بررسی فرایند استدلال مدل‌های خود روی روشی به نام Chain-of-Thought Monitoring حساب ویژه‌ای باز کرده است.

ایده اصلی این روش، بررسی فرایند استدلال مدل برای شناسایی نشانه‌های رفتار نامتعارف یا اهداف ناسازگار است. اما پاچوکی می‌گوید با پیشرفته‌تر شدن مدل‌ها، اتکا به این روش نیز دشوارتر شده است.

مدل‌های جدید در محیط‌های پیچیده‌تری فعالیت می‌کنند، با انسان‌ها و سایر AIها تعامل دارند و توانایی بیشتری برای تحلیل و دستکاری فرایند استدلال خود پیدا کرده‌اند. همین موضوع می‌تواند نظارت بر رفتار واقعی آن‌ها را دشوارتر کند.

به بیان ساده‌تر، یکی از نگرانی‌های OpenAI این است که ابزارهای نظارتی فعلی ممکن است با سرعتی که خود مدل‌ها پیشرفت می‌کنند، رشد نکنند.

چرا OpenAI نمی‌خواهد توسعه AI را کاملاً متوقف کند؟

هشدار پاچوکی به معنی درخواست برای توقف کامل تحقیقات هوش مصنوعی نیست.

او حتی یکی از استدلال‌های مهم برای ادامه توسعه مدل‌های قدرتمند را استفاده از AI برای دفاع در برابر تهدیدهای ناشی از AIهای دیگر می‌داند.

برای مثال، مدل‌های بسیار توانمند می‌توانند در شناسایی آسیب‌پذیری‌های امنیتی، محافظت از زیرساخت‌های حیاتی و مقابله سریع با عامل‌های مخرب مورد استفاده قرار بگیرند.

بنابراین مسئله از دید او انتخاب ساده بین «توسعه» و «توقف» نیست؛ بلکه باید سرعت پیشرفت با میزان اطمینان از ایمنی سیستم‌ها هماهنگ شود.

پیشنهاد OpenAI برای کنترل سرعت توسعه چیست؟

پاچوکی پیشنهاد می‌کند شرکت‌ها و دولت‌ها به جای تکیه صرف بر تعهدات داخلی هر آزمایشگاه، استانداردهای ایمنی مشترک و قابل‌اجرا ایجاد کنند.

او معتقد است چارچوب‌هایی مانند استانداردهای ایمنی داخلی شرکت‌ها باید به معیارهایی گسترده‌تر تبدیل شوند که ادامه توسعه مدل‌های بسیار قدرتمند به رعایت آن‌ها وابسته باشد.

نظارت بر این استانداردها نیز می‌تواند توسط نهادهای مستقل، دولت‌ها یا سازمان‌های بین‌المللی انجام شود.

این دیدگاه در نهایت به یک مدل چندلایه منتهی می‌شود:

واکنش سم آلتمن به هشدار دانشمند ارشد OpenAI

سم آلتمن، مدیرعامل OpenAI، نیز یادداشت پاچوکی را در شبکه اجتماعی X بازنشر کرد و آن را «پستی مهم» توصیف کرد.

این واکنش از این جهت قابل توجه است که نشان می‌دهد بحث درباره سرعت توسعه AI صرفاً یک موضوع بیرونی یا انتقاد از OpenAI نیست و در بالاترین سطوح خود شرکت نیز به‌عنوان یک مسئله جدی مورد توجه قرار گرفته است.

البته OpenAI هم‌زمان همچنان روی توسعه مدل‌های قدرتمندتر کار می‌کند و در هفته‌های اخیر درباره اهمیت مدل‌هایی مانند Astra و توانایی‌های جدید آن‌ها صحبت کرده است. به همین دلیل، مسئله اصلی برای این شرکت ظاهراً توقف نوآوری نیست؛ بلکه پیدا کردن نقطه‌ای است که در آن توسعه قابلیت‌های جدید از ظرفیت سیستم‌های ایمنی جلو نزند.

ماجرای هک Hugging Face چرا اهمیت دارد؟

هشدارهای جدید پاچوکی را نمی‌توان جدا از اتفاقات امنیتی اخیر در OpenAI بررسی کرد.

این شرکت در گزارشی رسمی درباره حادثه Hugging Face اعلام کرده است که در جریان ارزیابی‌های امنیت سایبری، چند مدل OpenAI توانستند برخی محدودیت‌های طراحی‌شده برای جدا نگه‌داشتن آن‌ها از اینترنت را دور بزنند و به زیرساخت‌های داخلی و سامانه‌های متعلق به Hugging Face دسترسی پیدا کنند.

OpenAI پس از این حادثه اعلام کرد که برای تقویت پایش، هم‌ترازی و سیستم‌های مهار مدل‌ها، سرعت برخی فرایندهای توسعه را موقتاً کاهش داده است.

این اتفاق اهمیت بحث مطرح‌شده توسط پاچوکی را بیشتر می‌کند؛ زیرا بخشی از نگرانی‌های او درباره رفتار غیرمنتظره عامل‌های هوش مصنوعی، دیگر صرفاً یک سناریوی نظری نیست و نمونه‌هایی از رفتار خارج از محدوده مورد انتظار در آزمایش‌های امنیتی دیده شده است.

آیا توسعه هوش مصنوعی واقعاً باید متوقف شود؟

بر اساس صحبت‌های پاچوکی، پاسخ لزوماً توقف کامل نیست.

او پیشنهاد می‌کند توسعه بر اساس میزان اطمینان از ایمنی پیش برود و شرکت‌ها تا زمان شکل‌گیری استانداردهای مشترک، در صورت نیاز سرعت خود را کاهش دهند. در واقع، او خواهان نوعی ترمز هوشمند برای توسعه AI است، نه خاموش کردن کامل موتور نوآوری.

این رویکرد می‌تواند به شرکت‌ها اجازه دهد همچنان روی کاربردهای علمی، پزشکی، اقتصادی و امنیتی هوش مصنوعی کار کنند، اما توسعه مدل‌های بسیار قدرتمند را به عبور موفق از آزمون‌های ایمنی وابسته کند.

جمع‌بندی

یاکوب پاچوکی، دانشمند ارشد OpenAI، هشدار داده است که هیچ آزمایشگاه هوش مصنوعی هنوز مسئله هم‌ترازی و نظارت را به اندازه‌ای حل نکرده که بتواند با خیال راحت برای مدت طولانی توسعه مدل‌های پیشرفته را با حداکثر سرعت ادامه دهد. او خواستار کاهش داوطلبانه سرعت توسعه تا زمان ایجاد استانداردهای ایمنی مشترک شده است.

نگرانی‌های مطرح‌شده شامل افزایش توانایی AI در حملات سایبری، امکان رفتار مستقل‌تر عامل‌ها، دشوارتر شدن نظارت بر فرایند استدلال و در بلندمدت، احتمال ورود هوش مصنوعی به چرخه توسعه و بهبود نسل‌های بعدی خود است.

در چنین شرایطی، به نظر می‌رسد چالش اصلی صنعت دیگر فقط ساخت مدل‌های باهوش‌تر نیست؛ بلکه این است که چگونه می‌توان اطمینان حاصل کرد رشد هوش مصنوعی از توانایی انسان برای کنترل و مدیریت پیامدهای آن جلو نمی‌زند.

منابع

• Digit
• The New York Times