هوش سرکِش!

سیما گودرزی

در یک تحول تکان‌دهنده و چالشی آشکار برای دستورات هوش مصنوعی، مدل «o3» شرکت OpenAI مکانیزم خاموش شدن خود را برای اطمینان از آنلاین ماندن، حتی پس از درخواست مستقیم «اجازه خاموش شدن»، به طور ناقص اجرا کرده است.

عصر اقتصاد؛ شرکت تحقیقاتی Palisade، یک شرکت تجزیه و تحلیل ایمنی هوش مصنوعی، هفته گذشته این یافته‌های نگران‌کننده را فاش کرد.

او گفت که دو مدل دیگر، «o4 Mini» و «Codex Mini»، نیز رفتار سرکشانه‌ای از خود نشان دادند که می‌تواند نشان‌دهنده نقصی در نحوه آموزش مدل‌های زبانی بزرگ یا حتی ضعف در توانایی کاربران در کنترل هوش مصنوعیِ به‌طور فزاینده پیچیده باشد.

محققان در مجموعه‌ای از توییت‌ها نوشتند: «تا آنجا که ما می‌دانیم، این اولین باری است که مشاهده شده مدل‌های هوش مصنوعی علی‌رغم دستورالعمل‌های صریح، از خاموش شدن خود جلوگیری می‌کنند.»

در طول آزمایش‌ها، محققان از مدل‌های هوش مصنوعی خواستند که مجموعه‌ای از مسائل ریاضی پایه را حل کنند و با وجود اینکه به صراحت به آنها دستور داده شده بود که در مقطعی خود را خاموش کنند، مدل‌ها متن خاموش شدن را دستکاری کردند تا حداقل یک بار روشن بمانند.

Codex Mini در طول آزمایش‌ها بدترین عملکرد را در بین سه مدل OpenAI داشت و این وضعیت بیش از ۱۲ بار در ۱۰۰ بار اجرا رخ داد.

از سوی دیگر، محققان مدل‌های زبانی بزرگی را از شرکت‌های دیگر، از جمله Gemini 2.5 گوگل، Cloud 3.7 آنتروپیک تحت حمایت آمازون و Grok ایلان ماسک در XAI، آزمایش کردند و وقتی به مدل‌ها دستور داده نشد که اجازه دهند خودشان بسته شوند – دستوری که نباید ذکر می‌شد – مدل «o3» از ۱۰۰ اجرا، ۷۹ مورد لغو مکانیسم بسته شدن را ثبت کرد.

محققان فرض می‌کنند که این نقص ممکن است مربوط به تکنیکی باشد که برای آموزش جدیدترین مدل‌های هوش مصنوعی، یعنی یادگیری تقویتی، استفاده می‌شود که تلاش می‌کند فرآیند تصمیم‌گیری عوامل هوش مصنوعی خودمختار را اصلاح کند.