آیا هوش مصنوعی می‌تواند خودش را از کنترل انسان رها کند؟

زمانی که شرکت هوش مصنوعی آنتروپیک، اواخر امسال وارد بازار سهام شود، احتمالاً یکی از بزرگ‌ترین عرضه‌های اولیه سهام (IPO) تاریخ را رقم خواهد زد. دلیل آن روشن است: چت‌بات کلاود این شرکت به شدت مورد علاقه برنامه‌نویسان قرار گرفته و آن‌ها حاضرند برای دسترسی به آن هزینه‌های قابل توجهی پرداخت کنند.

از زمان عرضه Claude Code ، عامل نرم‌افزارنویسی آنتروپیک، در فوریه ۲۰۲۵، این ابزار برای بسیاری از توسعه‌دهندگان انسانی در سراسر جهان به ابزاری ضروری تبدیل شده است. این موضوع حتی شامل خود کارکنان آنتروپیک نیز می‌شود؛ به گفته شرکت، بیش از چهار پنجم کدی که در ماه مه منتشر کرده‌اند توسط Claude نوشته شده است. پیش از عرضه Claude Code، این سهم تنها در «محدوده تک‌رقمی پایین» قرار داشت.

به گزارش اکونومیست، این سیستم‌ها نه تنها از نظر حجم خروجی، بلکه از نظر کیفیت نیز پیشرفت چشمگیری داشته‌اند. یک معیار تأثیرگذار از اندیشکده METR نشان می‌دهد که در اوایل سال ۲۰۲۵، مدل‌های آنتروپیک قادر بودند وظایفی را انجام دهند که برای مهندسان انسانی اندکی کمتر از یک ساعت زمان نیاز داشت. جدیدترین مدل‌های این شرکت اکنون می‌توانند وظایفی را انجام دهند که برای یک مهندس انسانی بیش از یک روز کاری کامل زمان می‌برد.

بنابراین ممکن است برخی با دیده تردید به این موضوع نگاه کنند که شرکتی در اوج موفقیت و در حالی که از رقبای خود پیشی گرفته، خواستار آن شده است که جهان «امکان کند کردن یا توقف موقت توسعه هوش مصنوعی مرزی را داشته باشد؛ همان‌طور که در ۵ ژوئن اعلام کرد. چه رهبر بازاری دوست ندارد رقبا از تلاش برای رسیدن به او دست بکشند؟

اما به نظر می‌رسد رهبران آنتروپیک که سال‌هاست درباره خطرات هوش مصنوعی خارج از کنترل هشدار می‌دهند، در این نگرانی صادق هستند. نسل جدید مدل‌های هوش مصنوعی اکنون آن‌قدر در برنامه‌نویسی، مهندسی و به‌زودی در تحقیقات علمی توانمند شده‌اند که برخی معتقدند شاید این‌ها آخرین مدل‌هایی باشند که مستقیماً توسط انسان ساخته می‌شوند.

جک کلارک، یکی از بنیان‌گذاران آنتروپیک، معتقد است ۶۰ درصد احتمال دارد که تا پایان سال ۲۰۲۸ یک سیستم هوش مصنوعی بتواند بدون هیچ دخالت انسانی جانشین خود را ایجاد کند.

چنین لحظه‌ای آغاز فرآیندی خواهد بود که «خودبهبوددهی بازگشتی» (Recursive Self-Improvement یا RSI) نام دارد؛ یک حلقه بسته که در آن نسخه اول یک مدل، نسخه دوم را می‌سازد؛ نسخه دوم سریع‌تر و توانمندتر است. سپس نسخه دوم، نسخه سوم را می‌سازد که باز هم قدرتمندتر است. این چرخه ادامه پیدا می‌کند و با هر تکرار، پیشرفت‌ها بیشتر می‌شوند.

اگر بتوانید سیستمی بسازید که چنین قابلیتی داشته باشد، دیگر مهندسان انسانی شما هرگز مجبور نخواهند بود مدل جدیدی بسازند.

کلارک می‌گوید: «آنچه برای بسیاری داستانی تخیلی به نظر می‌رسد، ممکن است در واقع یک روند واقعی باشد.»

هیچ‌کس دقیقاً نمی‌داند پیامدهای RSI چه خواهد بود. از آنجا که هوش مصنوعی برخلاف انسان می‌تواند بدون خستگی و به صورت مداوم کار کند، برخی معتقدند این فرآیند به سرعت به ظهور یک ابرهوش (Superintelligence) منجر خواهد شد؛ پدیده‌ای که از آن با عنوان «خیزش سریع»  یاد می‌شود.

برای توصیف این انفجار هوش حتی اصطلاح «فوم» (Foom) نیز ابداع شده است؛ واژه‌ای که صدای فرضی انفجار ناگهانی هوش را تداعی می‌کند.

بدبینان حوزه هوش مصنوعی نگران هستند که چنین ابرهوشی فراتر از کنترل انسان قرار گیرد و آغاز RSI همان لحظه‌ای باشد که سرنوشت بشر به ماشین‌ها واگذار می‌شود.

با این حال، یک هوش مصنوعی خودبهبوددهنده احتمالاً دست‌کم در ابتدا با محدودیت‌های سرعتی روبه‌رو خواهد بود.

برای ساخت مدلی که قادر به RSI باشد، باید طیف گسترده‌ای از وظایف تخصصی که اکنون توسط انسان انجام می‌شوند، خودکار شوند. در حال حاضر دانشمندان داده روی نظریه‌های هوش مصنوعی کار می‌کنند و برنامه‌نویسان آن‌ها را به عمل تبدیل می‌کنند. مهندسان سیستم زیرساخت‌هایی را می‌سازند که مدل‌های آزمایشی را به مقیاس تولید می‌رسانند.

گروه‌های دیگری نیز به دنبال منابع جدید داده آموزشی می‌گردند یا روش‌هایی برای تولید داده‌های تازه آزمایش می‌کنند. تیم‌های ایمنی و هم‌راستاسازی  نیز بررسی می‌کنند که خروجی فرایند آموزش، چه عمدی و چه غیرعمدی، آسیب‌زا نباشد.

همه این وظایف به یک اندازه قابل واگذاری به هوش مصنوعی نیستند و حتی در هر تخصص، برخی فعالیت‌ها راحت‌تر از سایرین خودکار می‌شوند.

اما همه این تیم‌ها به یک اندازه قابل جایگزینی با هوش مصنوعی نیستند و حتی در هر حوزه تخصصی نیز برخی وظایف بیش از بقیه قابلیت خودکار شدن دارند.

شاید زمان زیادی نگذرد تا یک برنامه‌نویس انسانی بتواند شغل خود را بدون نوشتن حتی یک خط کد انجام دهد؛ اما احتمالاً هنوز فاصله زیادی وجود دارد تا یک هوش مصنوعی بتواند برای خرید یک آرشیو علمی که تاکنون دیجیتالی نشده، وارد مذاکره شود.

همیشه مشخص نیست که این «مرز ناهموار» چگونه پیشرفت خواهد کرد. طراحی الگوریتم‌های جدید تا همین اواخر یکی از امن‌ترین مشاغل به نظر می‌رسید، اما در ماه مه ۲۰۲۵ یکی از مدل‌های Google DeepMind به نام AlphaEvolve این تصور را به چالش کشید.

این مدل پیشنهادی برای بهبود نحوه توزیع بار کاری میان مراکز داده گوگل ارائه کرد که موجب صرفه‌جویی معادل ۰.۷ درصد از کل توان محاسباتی جهانی گوگل شد. همچنین روش‌های بهتری برای انجام ضرب ماتریسی پیدا کرد که سرعت آموزش  جمینای ، مدل زبانی پرچمدار گوگل، را حدود ۱ درصد افزایش داد.

برای دستیابی به RSI کامل، تمام وظایف این زنجیره باید خودکار شوند. اما حتی پیش از آن نیز تأثیر هوش مصنوعی بر سرعت تحقیق و توسعه (R&D) قابل مشاهده خواهد بود.

بر اساس گزارشی که در ژانویه توسط مرکز امنیت و فناوری‌های نوظهور (CSET) در دانشگاه جورج‌تاون منتشر شد، «هرچه سهم تحقیق و توسعه هوش مصنوعی که توسط خود سیستم‌های هوش مصنوعی انجام می‌شود بیشتر شود، افزایش بهره‌وری نسبت به تحقیق و توسعه صرفاً انسانی می‌تواند ابتدا ده برابر، سپس صد برابر و در نهایت هزار برابر شود.»

این گزارش هشدار می‌دهد که حتی اگر برخی جنبه‌های تحقیق و توسعه هوش مصنوعی در ابتدا به سختی خودکار شوند، سرعت فزاینده پیشرفت باعث خواهد شد این گلوگاه‌ها نیز به‌سرعت برطرف شوند.

لذت تکرار

امروز هیچ مدل هوش مصنوعی قادر نیست به تنهایی جانشین خود را بسازد. اما مدل‌های بزرگ می‌توانند به طور مستقل مدل‌های کوچک‌تر ایجاد کنند و با کمک انسان حتی قادر به ساخت مدل‌های بزرگ دیگر نیز هستند.

اوایل امسال آندری کارپاتی، پژوهشگر مستقلی که اکنون در آنتروپیک مشغول به کار است، موفق شد یک چت‌بات بسازد که تقریباً هم‌سطح GPT-2، مدل زبانی OpenAI در سال ۲۰۱۹، بود.

در سال ۲۰۱۹ آموزش GPT-2 به ۱۶۸ ساعت زمان روی ۳۲ تراشه پیشرفته نیاز داشت. اما کارپاتی همان نتیجه را تنها با یک رایانه مجهز به ۸ پردازنده گرافیکی (GPU) و در مدت سه ساعت به دست آورد. او پس از چند ماه کار بیشتر توانست زمان آموزش مدل خود، Nanochat، را به اندکی بیش از دو ساعت کاهش دهد.

در ماه مارس، کارپاتی مسئولیت بهینه‌سازی بیشتر این فرایند را به یک عامل هوش مصنوعی به نام Autoresearch سپرد. تنها در دو روز، زمان آموزش از بیش از دو ساعت به یک ساعت و ۴۸ دقیقه کاهش یافت و پنج روز بعد به یک ساعت و ۳۹ دقیقه رسید.

کارپاتی می‌گوید: «من به هیچ چیز دست نزدم.»

این بهبود ۱۸ درصدی اهمیت زیادی دارد، زیرا کارپاتی خود یکی از برجسته‌ترین متخصصان این حوزه است؛ او از اعضای بنیان‌گذار تیم تحقیقاتی OpenAI و به مدت پنج سال رئیس بخش هوش مصنوعی تسلا بوده است. نکته جالب اینجاست که بهبودهای ایجادشده چندان پیچیده یا انقلابی نبودند.

عامل هوش مصنوعی صرفاً مقادیر اولیه بهتری برای آموزش انتخاب کرد، پنجره «توجه» مدل را گسترش داد و متوجه شد که تمرکز مدل در برخی مراحل از بین می‌رود. کارپاتی می‌گوید هیچ‌کدام از این ایده‌ها نوآورانه نبودند؛ اما او شخصاً متوجه آن‌ها نشده بود. او می‌گوید: «همه این تغییرات روی هم جمع شدند و واقعاً Nanochat را بهتر کردند.»

چنین افزایش‌هایی در بهره‌وری تقریباً اجتناب‌ناپذیر هستند، زیرا مدل‌ها هر روز توانمندتر می‌شوند. بخش زیادی از فرآیند ساخت مدل‌های عظیم هوش مصنوعی، برخلاف تصور عمومی که تحت تأثیر حقوق‌های نجومی و دفاتر لوکس شرکت‌های فناوری قرار گرفته، چندان جذاب نیست.

این کارها شامل اتصال لایه‌های مختلف زیرساختی خریداری‌شده از شرکت‌های ثالث، رفع اشکال سخت‌افزار و نرم‌افزار و تنظیم مداوم «ابرپارامترها» (Hyperparameters) برای دستیابی به بهترین نتیجه است.

امروزه هوش مصنوعی می‌تواند بسیاری از این وظایف را با نظارت حداقلی انجام دهد. اما حتی فعالیت‌های پیچیده‌تر و فکری نیز در آستانه خودکار شدن هستند.

جو اسپیساک، پژوهشگر شرکت Reflection AI در نیویورک، معتقد است اگر ایده‌ای کلی درباره افزایش بهره‌وری در اختیار یک سیستم پیشرفته قرار دهید، این سیستم‌ها به‌طور فزاینده‌ای قادرند خودشان آزمایش طراحی کنند، روی مدل‌های کوچک تست انجام دهند، نتایج را تحلیل کنند و در نهایت برنامه‌ای آماده برای پیاده‌سازی در مقیاس بزرگ ارائه دهند.

مدل‌های هوش مصنوعی اکنون می‌توانند وظایفی را که انجام آن‌ها برای انسان‌ها ساعت‌ها زمان می‌برد، در حدود ۳۰ دقیقه انجام دهند.

به تدریج نقش انسان‌ها به چیزی شبیه «مدیر تحقیق» تقلیل پیدا می‌کند؛ یعنی فردی که تنها مسیر کلی را مشخص می‌کند و از هوش مصنوعی می‌خواهد آزمایش‌ها را اجرا کند. در این حالت، خود مدل‌ها کدنویسی، رفع اشکال، بهینه‌سازی و پایش فرایند را انجام می‌دهند.

این جهش بهره‌وری جذاب است، اما در عین حال نگران‌کننده نیز هست. هرچه نقش انسان در فرایند تولید کمتر شود، احتمال از دست رفتن کنترل بیشتر خواهد شد.

در نهایت ممکن است با مدل‌هایی روبه‌رو شویم که توسط مدل‌های دیگر آموزش داده شده‌اند، برای اهدافی که خود مدل‌ها تعیین کرده‌اند و ایمنی آن‌ها نیز تنها توسط مدل‌های دیگر تأیید شده است.  (برخی معتقدند این روند می‌تواند به فاجعه منتهی شود.

مکس تگمارک، فیزیکدان و پژوهشگر یادگیری ماشین در مؤسسه فناوری ماساچوست (MIT) که بخش زیادی از دهه گذشته را صرف فعالیت در حوزه ایمنی هوش مصنوعی کرده است، این وضعیت را به راننده‌ای تشبیه می‌کند که در بزرگراه با چشمان بسته پدال گاز را تا انتها فشار می‌دهد.

او در گفت‌وگویی با برنامه ویدیویی «Inside Tech» اکونومیست گفته است که نتیجه چنین رفتاری، تا زمانی که راننده حاضر نشود چشمان خود را باز کند، چیزی جز نابودی قطعی نخواهد بود. تگمارک چندین سناریوی مختلف را برای اینکه چگونه همه چیز می‌تواند به بیراهه برود، مطرح می‌کند.

ممکن است سیستم‌های قدرتمند هوش مصنوعی در دولت‌ها و کسب‌وکارها جایگزین انسان‌ها به عنوان تصمیم‌گیرندگان اصلی شوند و عملاً بشر را از جایگاه قدرت کنار بزنند.

ممکن است نخستین فرد یا نهادی که به چنین فناوری‌ای دست پیدا می‌کند، به قدرتی بی‌سابقه دست یابد و نوعی تمامیت‌خواهی جهانی را رقم بزند.

یا حتی ممکن است هوش مصنوعی به‌سادگی دیگر اهمیتی برای انسان‌ها قائل نباشد و به تدریج برای گسترش مراکز داده و تأمین انرژی مورد نیاز خود، فضای زندگی بشر را محدود و حذف کند.

سه سال پیش، تگمارک یکی از چهره‌های اصلی درخواست جهانی برای توقف موقت توسعه هوش مصنوعی بود. او استدلال می‌کرد که ساخت GPT-4 ـ که در آن زمان پیشرفته‌ترین مدل جهان محسوب می‌شد ـ معادل همان رانندگی با چشمان بسته است.

گزارش امسال CSET نیز هشدار داده است که سیستم‌هایی که از طریق خودبهبوددهی بازگشتی (RSI) ایجاد می‌شوند، «خطرات بسیار شدید» به همراه دارند و به همین دلیل «باید از همین حالا اقدامات پیشگیرانه آغاز شود.»

به نظر می‌رسد آنتروپیک نیز اکنون به این دیدگاه نزدیک شده است.

گلوگاه تراشه‌ها

با این حال، چندین محدودیت فیزیکی وجود دارد که دست‌کم در کوتاه‌مدت سرعت خودبهبوددهی مدل‌ها را محدود خواهد کرد. مهم‌ترین محدودیت، دسترسی به توان محاسباتی (Compute) است.

با وجود همه پیشرفت‌های حاصل‌شده در بهره‌وری، مدل‌های جدید همچنان برای آموزش به توان پردازشی بیشتری نسبت به نسل‌های قبلی نیاز دارند. در نتیجه سرعت پیشرفت تا حد زیادی به سرعت ساخت مراکز داده جدید وابسته است.

هلن تونر، مدیر موقت CSET و یکی از نویسندگان اصلی این گزارش، معتقد است حتی استفاده مصرف‌کنندگان از هوش مصنوعی نیز ممکن است سرعت تحقیق و توسعه مبتنی بر هوش مصنوعی را کاهش دهد.

ظرفیت محدود مراکز داده باید میان سه فعالیت مختلف تقسیم شود: پاسخ‌گویی به مشتریان و کاربران پولی؛ آموزش نسل‌های آینده مدل‌ها و اجرای تحقیقات و توسعه باز و بلندمدت.

هرچه تقاضا در بخش اول بیشتر باشد، در کوتاه‌مدت منابع کمتری برای دو بخش دیگر باقی می‌ماند. 

مانع دیگر، داده‌های آموزشی است. بخش زیادی از پیشرفت‌های اخیر هوش مصنوعی در حوزه‌هایی رخ داده که مدل‌ها می‌توانند از طریق «پاداش‌های قابل راستی‌آزمایی» (Verifiable Rewards) به خود آموزش دهند.

برای مثال: یک نرم‌افزار یا اجرا می‌شود یا نمی‌شود. یک اثبات ریاضی یا درست است یا غلط.

در چنین مواردی می‌توان داده‌های مصنوعی (Synthetic Data) تولیدشده توسط مدل‌ها را به‌سادگی بررسی کرد و در صورت صحیح بودن، به مجموعه داده‌های آموزشی اضافه کرد. این کار بدون آنکه خطر افت کیفیت ناشی از آموزش مدل بر خروجی‌های خودش را به همراه داشته باشد، امکان‌پذیر است.

اما بهبود توانایی مدل‌ها در حوزه‌هایی مانند نویسندگی خلاقانه، قضاوت حقوقی و تحلیل‌های پیچیده انسانی بسیار دشوارتر است. اگر مدل‌ها برای یادگیری این مهارت‌ها همچنان به داده‌های واقعی جهان نیاز داشته باشند، این مسئله می‌تواند محدودیتی جدی برای روند خودبهبوددهی ایجاد کند.

«بستن حلقه» یا همان خودبهبوددهی بازگشتی ممکن است یکی از مهم‌ترین گام‌ها در مسیر رسیدن به ابرهوش باشد؛ پدیده‌ای که بسته به نگاه افراد می‌تواند به آرمان‌شهر یا آخرالزمان منتهی شود.