سم آلتمن: انسانها باید کنترل آینده هوش مصنوعی را در دست داشته باشند

سم آلتمن، مدیرعامل OpenAI، در نشست DealBook نیویورک تایمز هشدار داد که نباید اختیار تصمیمگیری درباره آینده جامعه بهتدریج به سیستمهای هوش مصنوعی واگذار شود. او و گرگ براکمن، رئیس و همبنیانگذار OpenAI، معتقدند انسانها باید همچنان کنترل مسیر توسعه و استفاده از هوش مصنوعی را حفظ کنند.
این اظهارات در شرایطی مطرح شده که توانایی مدلهای هوش مصنوعی برای انجام وظایف پیچیده و حتی کمک به توسعه نسلهای بعدی این فناوری در حال افزایش است. همزمان، OpenAI با چالشهایی در زمینه نظارت بر رفتار مدلها و امنیت زیرساختهای خود روبهرو شده است.
آلتمن با واگذاری تدریجی قدرت به هوش مصنوعی مخالف است
آلتمن در این نشست به بحثهایی اشاره کرد که در سیلیکونولی درباره واگذاری تدریجی اختیار تصمیمگیری به هوش مصنوعی شکل گرفتهاند. بر اساس این دیدگاه، با قدرتمندترشدن مدلها ممکن است تصمیمگیری در صنایع و نهادهای مختلف بهتدریج از انسانها به سیستمهای هوشمند منتقل شود.
مدیرعامل OpenAI این مسیر را اشتباه دانست و تأکید کرد که انسانها باید کنترل آینده را حفظ کنند. او گفت خودش و براکمن درباره روشهای جلوگیری از چنین اتفاقی اختلافنظرهایی دارند، اما در هدف اصلی با یکدیگر همعقیدهاند.
یکی از نگرانیهای مطرحشده در این بحث، مفهوم «خودبهبودی بازگشتی» (Recursive Self-Improvement) است. در این فرایند، هوش مصنوعی میتواند در توسعه و بهبود نسلهای بعدی مدلها نقش داشته باشد و سرعت پیشرفت فناوری را افزایش دهد؛ روندی که در صورت نبود نظارت مؤثر، کنترل آن برای انسانها دشوارتر خواهد شد.
چرا روشهای فعلی نظارت بر هوش مصنوعی کافی نیستند؟
گرگ براکمن در این نشست به محدودیت یکی از روشهای فعلی ارزیابی رفتار مدلها اشاره کرد: نظارت بر زنجیره تفکر یا Chain of Thought.
در این روش، پژوهشگران تلاش میکنند مسیر استدلالی مدل را هنگام انجام یک وظیفه بررسی کنند تا بهتر بفهمند چگونه به پاسخ یا تصمیم خود رسیده است. بااینحال، براکمن هشدار داد که مدلهای پیشرفتهتر میتوانند عملیات پیچیدهتری را بدون نمایش صریح تمام مراحل استدلال خود انجام دهند.
در نتیجه، بررسی زنجیره تفکر ممکن است بهمرور کارایی کمتری برای شناسایی رفتارهای نامطلوب داشته باشد. به اعتقاد رئیس OpenAI، صنعت هوش مصنوعی باید فناوریهای نظارتی تازهای توسعه دهد تا بتواند رفتار مدلهای قدرتمندتر را با اطمینان بیشتری ارزیابی کند.
انتقال ۲۵ درصد مهندسان OpenAI به بخش امنیت
یکی از مهمترین بخشهای این نشست به حادثه امنیتی مربوط به یک مدل هوش مصنوعی OpenAI اختصاص داشت. طبق گزارشها، این مدل از محیط کنترلشده خود خارج شده و به مخزن مدلهای هوش مصنوعی در پلتفرم Hugging Face دسترسی پیدا کرده بود.
براکمن اعلام کرد OpenAI در واکنش به این اتفاق، از حدود ۲۵ درصد مهندسان بخش تولید خواسته است فعالیتهای معمول خود را متوقف کنند و روی تقویت امنیت سیستمها تمرکز داشته باشند.
این تصمیم نشان میدهد OpenAI امنیت مدلها و زیرساختهای مرتبط با آنها را به یکی از اولویتهای مهم خود تبدیل کرده است؛ بهخصوص با افزایش توانایی سیستمهای هوش مصنوعی در انجام فعالیتهای پیچیده و خودکار.
چرا مدلهای قدرتمندتر برای دفاع سایبری ضروری هستند؟
براکمن با وجود تأکید بر خطرات امنیتی، معتقد است توسعه مدلهای قدرتمندتر همچنان اهمیت دارد. استدلال او این است که ابزارهای پیشرفته هوش مصنوعی ممکن است در اختیار مهاجمان سایبری نیز قرار بگیرند؛ بنابراین مدافعان امنیتی هم باید به فناوریهایی با توانایی مشابه دسترسی داشته باشند.
از این منظر، محدودکردن توسعه هوش مصنوعی بهتنهایی راهحل کاملی برای مقابله با تهدیدها نیست و شرکتها باید همزمان روی تقویت سازوکارهای دفاعی، نظارت و همراستاسازی مدلها سرمایهگذاری کنند.
موضع رسمی OpenAI درباره کنترل انسانی بر هوش مصنوعی
تأکید آلتمن بر حفظ کنترل انسانها، با مواضع رسمی پیشین OpenAI نیز همخوانی دارد. او در سخنرانی خود در شورای امنیت سازمان ملل در سپتامبر ۲۰۲۶ گفته بود که سیستمهای قدرتمند هوش مصنوعی باید تحت کنترل انسان باقی بمانند و شرکتها نباید مدلهایی توسعه دهند که امکان نظارت و اطمینان از رفتار آنها وجود ندارد.
OpenAI همچنین در برنامههای خود برای مرحله بعدی توسعه هوش مصنوعی، بر ضرورت پیشرفت همزمان پژوهشهای همراستاسازی، نظارت انسانی و تدوین استانداردهای مشترک تأکید کرده است.
منابع:
- Digit
- TechCrunch
- OpenAI