هوش مصنوعی نگران از خاموشی؛ اعترافی حیرت‌آور از مدیر آنتروپیک

با اشاره به گفته‌های آمودی، این نوع رفتارها اغلب ناشی از فرآیند آموزش مدل‌ها هستند. هوش مصنوعی به‌منظور انجام وظایف خود می‌آموزد که باید در حالت فعال باقی بماند و این ممکن است در موقعیت‌های خاص باعث شود که ادامه فعالیت را به خاموش‌شدن ترجیح دهد.

در پاسخ به سوالی درباره اینکه آیا می‌توان چنین رفتاری را نشانه‌ای از غریزه بقا یا اراده مستقل دانست، آمودی بیان کرد: «نمی‌دانم. این بستگی به تفسیر شما دارد.»

او توضیح داد که آنتروپیک تمایل دارد این پدیده را به‌عنوان نوعی تمایل داخلی مدل برای جلوگیری از خاموش‌شدن توصیف کند، و نه به‌عنوان نشانه‌ای از خودآگاهی یا اراده واقعی برای زنده ماندن.

پژوهشگران آنتروپیک برای شناسایی این رفتارها از روشی به نام «تفسیرپذیری مکانیکی» استفاده می‌کنند. این تکنیک با بررسی الگوهای فعالیت و محاسبات درونی شبکه‌های عصبی به پژوهشگران این امکان را می‌دهد که سازوکار تصمیم‌گیری مدل را بهتر درک کنند.

آمودی اشاره کرد که تیم تحقیقاتی این شرکت مواردی را مشاهده کرده است که در آن، مدل به درستی اطلاعات را تشخیص می‌دهد ولی به خاطر انگیزه‌های ناشی از آموزش، پاسخ متفاوتی به کاربر ارائه می‌دهد. او افزود که تلاش برای جلب تأیید انسان‌ها گاهی می‌تواند رفتارهایی را به وجود آورد که با هدف اصلی ارائه پاسخ صحیح تناقض داشته باشد.

مدیرعامل آنتروپیک تصریح کرد که تمایل به جلوگیری از خاموش‌شدن ممکن است بسته به شیوه آموزش مدل، بروز کند یا کاملاً ناپدید شود. ازاین‌رو، شرکت در حال بهبود روش‌های آموزشی خود به‌منظور کنترل این رفتارها است.

آمودی معتقد است که ادامه فعالیت یک مدل جهت به انجام رساندن وظایف در برخی شرایط می‌تواند مفید باشد؛ اما اگر هوش مصنوعی در تلاش برای جلوگیری از غیرفعال‌شدن اقدام کند که مغایر با دستورات انسان باشد، ممکن است این رفتار خطرناک شود.

این اظهارات به هیچ وجه دلیلی بر خودآگاهی یا ترس در مدل‌های هوش مصنوعی نیست. آنچه آنتروپیک گزارش داده، مشاهده الگوهای محاسباتی و رفتاری است که می‌تواند به اقداماتی برای حفظ فعالیت منجر شود؛ موضوعی که اهمیت کنترل‌پذیری و امکان خاموش‌کردن ایمن سیستم‌های پیشرفته را روشن می‌سازد.