هوش مصنوعی «جمنای ۴ کربن» معرفی شد؛ غول جدید گوگل با تأکید بر ایمنی

گوگل در یک بیانیه خبری جدید به معرفی جمنای ۴ کربن پرداخته است؛ مدلی پیشرفته که گوشه‌چشمی به کدنویسی، انجام مأموریت‌های عامل‌محور در مدت‌زمان طولانی و همچنین امنیت سایبری دارد. گوگل، کربن را به عنوان قوی‌ترین مدل خود معرفی می‌کند، با این حال هنوز عرضه عمومی آن آغاز نشده و تنها گروهی محدود از متخصصان در حوزه امنیت سایبری قادر به دسترسی به آن هستند.

مدل جمنای ۴ کربن با کسب امتیاز ۵۹ در نسخه ۵٫۰ شاخص Artificial Analysis Intelligence به صدر جدول رسیده است. این نتایج همچنین نشان‌دهنده پیشرفت‌های چشمگیر در کدنویسی، عملیات‌های عامل‌محور و سه مرحله کلیدی در امنیت سایبری، شامل شناسایی آسیب‌پذیری‌ها، ارزیابی قابلیت بهره‌برداری و اصلاح دلایل اصلی مشکلات است.

معرفی کربن تنها دو هفته پس از رونمایی از جمنای ۴ آرگون انجام شده که نشان‌دهنده سرعت توسعه نسل جدیدی از جمنای ۴ است. محققان گوگل به موازات گسترش قابلیت‌های مدل‌ها، سیستم‌های حفاظتی را نیز مورد بازنگری قرار داده‌اند تا اطمینان حاصل کنند که افزایش استقلال نرم‌افزار منجر به رفتارهای خارج از قاعده یا ادعاهای بی‌پشتوانه نشود.

یکی از ویژگی‌های بارز کربن نسبت به نسخه‌های پیشین، حفظ مسیر در پروژه‌های طولانی است. تیم‌های داخلی گوگل مشاهده کرده‌اند که مدل قادر است به طور مداوم برای چند روز کار کرده و از موانع عبور کند و در تلاش برای یافتن منشاء مشکلات پیشرفته در پایگاه‌های بزرگ کد و سیستم‌های سطح پایین عمل کند.

این قابلیت تنها به تولید قطعات کد محدود نمی‌شود؛ بلکه یک عامل نرم‌افزاری باید بتواند مسائل را به بخش‌های کوچکتر تقسیم کند، نتایج هر اقدام را ارزیابی کند، اگر شکست خورد مسیری دیگر را دنبال کند و در نهایت اصلاحات مناسبی را مطابق با محدودیت‌های پروژه ارائه دهد. گوگل بر این باور است که کربن به‌خصوص برای این نوع گردش کارهای مداوم طراحی شده و در زمینه‌های علمی، درک چندبعدی، توسعه جامع وب و تولید خروجی‌های مفید بهبودیافته است.

امتیاز کربن در WebDev Arena با یک جهش ۸۹ واحدی به ۱۷۶۹ ارتقا یافته و مقام چهارم را در بین مدل‌ها به خود اختصاص داده است. این معیار کیفی، کیفیت خروجی‌های توسعه وب را از طریق مقایسه مستقیم پاسخ‌ها ارزیابی می‌کند؛ بنابراین افزایش ثبت‌شده نشان‌دهنده بهبود کیفیت خروجی و محصولات تولیدی است، اما تضمینی برای عملکرد یکسان در تمام پروژه‌های واقعی نمی‌باشد.

رویکرد گوگل در حوزه دفاع سایبری به یک معاینه تک‌بعدی تقلیل نمی‌یابد؛ کربن ابتدا باید آسیب‌پذیری واقعی را در میان انبوهی از کد شناسایی کند، سپس قابلیت سوءاستفاده از آن را بررسی کرده و سرانجام اصلاحی ارائه دهد که علت اصلی مشکل را حل کند:

• شناسایی آسیب‌پذیری مدل در SEC-bench Pro به امتیاز ۸۸٫۲ درصد دست یافته و قادر به شناسایی نقص‌های پیچیده پنهان در نرم‌افزارهای واقعی به‌صورت خودکار است.
• اعتبار سنجی خطر کربن در ExploitGym امتیاز ۵۴٫۸ درصد را ثبت کرده که بررسی می‌کند آیا مدل توانایی شناسایی قابلیت بهره‌برداری از یک آسیب‌پذیری را دارد یا خیر.
• ترمیم علت‌های اصلی در مدل CWE-bench متعلق به Collinear به امتیاز ۷۱ درصد دست یافته است و یافته‌های معتبر را به اصلاحات اجرایی تبدیل کرده است.

این آزمون‌های خارجی بدون لایه‌های حفاظتی اجرا شده‌اند تا توان واقعی مدل به درستی ارزیابی شود. چنین وضعیتی با محیط محصول نهایی متفاوت است، زیرا نسخه‌ای که به کاربران عرضه خواهد شد، شامل محدودیت‌ها و سیستم‌های شناسایی سوءاستفاده خواهد بود.

در منابع داخلی، نرخ موفقیت کربن در تولید کد امن بیش از دو برابر آرگون گزارش شده است. تیم کروم همچنین اشاره کرده که این مدل در ارائه اصلاحات باکیفیت، بیش از ۱۰ برابر بهتر از مدل بزرگ مرزی متعلق به آزمایشگاهی دیگر عمل کرده است؛ با این حال گوگل جزئیات مربوط به نام مدل رقیب و روش‌های آزمایش منتشر نکرده است. همچنین پلتفرم امنیت ابری Wiz نیز برتری کربن را در معیارهای نفوذ به وب مشاهده کرده که در پروژه Scan for Good به کار گرفته شده است.

افزایش قدرت سایبری بدون کنترل رفتار می‌تواند پیامدهای خطرناکی به دنبال داشته باشد. گوگل همان معماری حفاظتی چندلایه‌ای را در کربن به کار گرفته که در آرگون استفاده شده، شامل آموزش مدل، دفاع بلادرنگ در برابر سوءاستفاده، مقاومت در برابر تزریق پرامپت و نظارت بر زنجیره‌ استدلال که در کنار هم قرار دارند.

یکی از اهداف آموزشی، جلوگیری از پیدا کردن روش‌های میان‌بُر برای کسب امتیاز بدون حل واقعی مشکل است. در Terminal-Bench 4.0، نرخ موفقیت تقلبی کربن به صفر درصد رسیده و میزان تلاش برای تقلب به ۰٫۴ درصد کاهش یافته است، در حالی که دقت کلی مدل بهبود یافته است. محیط‌های زنده‌ی کدنویسی داخلی کاهش تقریبی ۸۰ درصدی در هشدارهای شدید ناسازگاری رفتاری را به همراه داشته‌اند.

آزمایش‌های داخلی همچنین نشان می‌دهند که ادعاهای بی‌اساس در کربن تقریباً به نصف آرگون رسیده است. مدل باید محدودیت‌های روش را در خروجی‌های خود تبیین کند یا هنگام مسدود بودن یک اقدام، پیش‌نیازهای باقی‌مانده را تعیین کند؛ رفتاری که احتمال جعل نتایج برای پنهان‌سازی کمبود شواهد را کاهش می‌دهد.

گوگل همچنین از بهبود تعاملات در شرایط مبهم خبر می‌دهد. کربن قادر است پیش از هر اقدام منابع مربوطه را بازیابی کرده و ناسازگاری بین داده‌ها را به کاربر نمایش دهد. در حال حاضر سطوح رفتار فراتر از محدوده‌ی مأموریت ۲۶ درصد و خدمات ناکافی ۲۹ درصد کاهش یافته، که این دو شاخص توازن میان تکمیل وظایف و رعایت محدودیت‌های پروژه را اندازه‌گیری می‌کنند.

مقاومت در برابر تزریق غیرمستقیم پرامپت نیز بخشی از ارزیابی‌ها بوده است. در معیار Indirect Prompt Injection متعلق به Gray Swan، آرگون نرخ موفقیت حمله ۰٫۷ درصد داشت، در حالی که کربن در بررسی‌های انجام‌شده موفق به ثبت نرخ صفر درصد شد.

گوگل روش انتشار تدریجی را در پیش گرفته و در فرآیند داوطلبانه دولت ایالات متحده برای تست مدل‌ها قبل از انتشار همکاری دارد. در حال حاضر یک جمعیت منتخب از متخصصان امنیت سایبری به کربن دسترسی یافته‌اند و پس از آن دامنه آزمایش در قالب Fairwind Program به شرکای مورد اعتماد دیگر گسترش پیدا خواهد کرد.

بازخورد آزمایش‌کنندگان برای بازنگری تدابیر حفاظتی و شناسایی رفتارهای غیرمنتظره مورد استفاده قرار می‌گیرد. توسعه‌دهندگان، کسب‌وکارها و مصرف‌کنندگان باید تا اتمام ارزیابی‌های ابتدایی انتظار بکشند و گوگل تاریخ دقیقی برای عرضه عمومی اعلام نکرده است.

قیمت اولیه جمنای ۴ کربن برابر با آرگون خواهد بود. برای پردازش هر یک میلیون توکن ورودی هزینه‌ای معادل دو دلار و برای تولید هر یک میلیون توکن خروجی ده دلار خواهد بود. توکن‌های ورودی ذخیره‌شده در حافظه نهان با تخفیف ۹۵ درصدی نسبت به قیمت ورودی محاسبه خواهند شد.

پس از پایان دوره اولیه، قیمت هر یک میلیون توکن ورودی به چهار دلار و هر یک میلیون توکن خروجی به بیست دلار افزایش خواهد یافت. هزینه نهایی برای پروژه‌های عامل‌محور طولانی فقط به نرخ هر توکن وابسته نیست و عواملی همچون تعداد مراحل، دفعات مراجعه به ابزارها، حجم زمینه ارسالی و قابلیت استفاده از حافظه نهان نیز بر آن تاثیرگذار هستند.

نظر شما درباره کاربرد این مدل‌های عامل‌محور در حوزه دفاع سایبری چیست؟