جمنای ۴ کربن در اوج؛ هوش مصنوعی قوی گوگل نزدیک به کلاد اما با هزینه‌ای بسیار پایین‌تر

مدل جمنای ۴ کربن در جدیدترین ارزیابی مدل‌های مرزی موفق به کسب مقام نخست نشد، اما عملکرد قابل قبولی را در کنار هزینه بسیار پایین‌تر خود ارائه داد که موقعیت منحصربه‌فردی برای مدل جدید گوگل فراهم کرده است. نتایج نشان‌دهنده آن است که رقابت میان مدل‌های هوش مصنوعی تنها به کسب بالاترین امتیاز محدود نمی‌شود و هزینه اجرای کار نیز به یک معیار مهم تبدیل شده است.

معیار GDPx مدل‌های مرزی بزرگ از جمله گوگل، اوپن‌ای‌آی، آنتروپیک و متا را بر اساس امتیاز و هزینه انجام هر وظیفه ترتیب می‌دهد.

GDPx شامل ۲۰۶ وظیفه از حوزه‌های مختلف حرفه‌ای است. مالی، علم مواد، امنیت سایبری، نرم‌افزار، حقوق و زیست‌شناسی بخشی از موضوعاتی هستند که آزمون را در بر می‌گیرند. تنوع این وظایف اطمینان می‌دهد که نتایج تنها نمایانگر توانایی مدل در تولید متن عمومی یا پاسخ‌گویی به سوالات رایج نیست.

مدل کلاد اپوس ۵٫۵ از آنتروپیک در صدر قرار گرفت و جمنای ۴ کربن در فاصلۀ نزدیکی از آن قرار دارد. اگرچه اختلاف امتیاز بین این دو مدل کم است، اما تفاوت هزینه به مراتب بیشتر بوده است. هزینه اجرای هر وظیفه با مدل کلاد حدود ۵۱ دلار و هزینه جمنای ۴ کربن بیش از ۱۶ دلار محاسبه شده است.

بنابراین هزینه مدل گوگل به کمتر از یک‌سوم رقیبش می‌رسد. چنین اختلافی می‌تواند در کاربردهای پرتعداد و سیستم‌های سازمانی تأثیر مالی عمده‌ای به دنبال داشته باشد، حتی اگر مدل کلاد امتیاز نهایی بالاتری به دست آورده باشد.

مدل GPT-6 Astra در رده بعدی قرار گرفت، اما هم امتیاز پایین‌تری از جمنای ۴ کربن کسب کرد و هم میزان هزینه بیشتری را بر دوش کاربران گذاشت. هزینه میانگین اجرای هر وظیفه با مدل اوپن‌ای‌آی حدود ۵۴ دلار برآورد شده که از هر دو مدل اپوس ۵٫۵ و جمنای ۴ کربن بیشتر است.

مقایسه این سه مدل، اختلاف بین رهبر امتیازی و رهبر ارزش اقتصادی را مشخص می‌کند. اپوس ۵٫۵ بالاترین امتیاز کلی را دارد، جمنای ۴ کربن با هزینه‌ای کمتر به آن نزدیک شده و GPT-6 Astra با وجود هزینه بالاتر، در جایگاه پایین‌تری قرار گرفته است.

SemiAnalysis نسخه‌ای دیگر از رتبه‌بندی را منتشر کرد که در آن وظایف مربوط به امنیت سایبری، زیست‌شناسی و هم‌ترازی هوش مصنوعی حذف شده بودند. این حذف، منظر مدل‌های بالای جدول را تغییر داده و GPT-6 Astra را به مقام نخست رساند.

در رتبه‌بندی بازنگری شده، GPT 6.1 Sol و اپوس ۵٫۵ نیز بالاتر از جمنای ۴ کربن قرار گرفتند. پژوهشگران SemiAnalysis بیان کرده‌اند که این نتیجه با برداشت‌های ذهنی شان از قابلیت‌های مدل‌ها هم‌خوانی بیشتری دارد.

این گزارش محدودیت‌های ایمنی کلاد و مدل‌های GPT را یکی از عوامل تأثیرگذار در تغییرات نتایج می‌داند. این محافظ‌ها ممکن است مانع از تکمیل برخی وظایف در زمینه‌های امنیت سایبری، زیستی یا هم‌ترازی شوند. در نتیجه، امتیاز خام همیشه نمی‌تواند به‌تنهایی توان فنی مدل را اندازه‌گیری کند و ممکن است نوعی آمادگی برای پاسخ به درخواست‌های حساس را منعکس کند.

مدل مرزی قبلی گوگل با نام جمنای ۴ آرگون در هر دو نسخه از رتبه‌بندی، مقام هشتم را به خود اختصاص داده بود. آرگون بالاتر از Muse Wonder متعلق به متا و پایین‌تر از Wonder Full قرار گرفت.

هزینه آرگون در آزمون GDPx تنها کم‌تر از جمنای ۴ کربن بود. فاصله نزدیک هزینه، به همراه جایگاه مناسب‌تر کربن، نشان‌دهنده بهبود قابل توجه مدل جدید گوگل نسبت به آرگون در زمینه نسبت بین امتیاز و هزینه است.

تمرکز صرف بر جنبه‌های امنیت سایبری تصویری متفاوت ایجاد می‌کند. هر دو مدل گوگل در وظیفه‌های مربوط به امنیت سایبری امتیاز بیشتری از مدل‌های اوپن‌ای‌آی و آنتروپیک کسب کردند، اما از خانواده Muse متعلق به متا عقب‌افتادند. بر اساس یافته‌های معیار GDPx، مدل‌های Muse در حوزه امنیت سایبری به‌طرز معناداری بهترین عملکرد را داشته‌اند.

نظر شما در مورد عملکرد بهتر در مقایسه با هزینه کمتر چیست؟ دیدگاه خود را بنویسید.