ژنرال‌های هوش مصنوعی توافق کردند تا به طور مشترک با چالش‌های خزنده‌های وب مقابله کنند
غول‌های برجسته در زمینه هوش مصنوعی از یک رویکرد جدید حمایت می‌کنند که به مدیران وب‌سایت‌ها این امکان را می‌دهد تا با یک فرمان واحد، از جمع‌آوری محتوای خود به منظور آموزش مدل‌ها جلوگیری کنند. اوپن‌ای‌آی، گوگل، مایکروسافت و آنتروپیک اعلام نموده‌اند که از ابزاری مشترک بهره خواهند برد تا ناشران بتوانند تصمیمات خود را به‌صورت یکجا به تمامی خدمات اعمال کنند، به جای اینکه نیاز باشد برای هر کدام از آنها به‌طور جداگانه تنظیمات انجام دهند.
پیشنهاد توکن خط‌مشی مشترک از سوی کوین کلی، مدیر فنی استانداردهای آنتروپیک، در کارگروه مهندسی اینترنت (IETF) مطرح شد. این مکانیزم در فایل robots.txt که سال‌های طولانی به‌عنوان راهنمای دسترسی برای خزنده‌های وب عمل کرده، قرار خواهد گرفت. در حال حاضر، وب‌سایت‌ها مجبور به تعیین ترجیحات مربوط به آموزش هوش مصنوعی به‌صورت جداگانه برای هر یک از شرکت‌ها هستند.
مؤسسات و توسعه‌دهندگان مختلف تا به امروز اقدام‌های متعددی برای مقابله با خزش‌های غیرمجاز انجام داده‌اند؛ از جمله پروتکل RSL که امکان دریافت هزینه از خزنده‌ها را فراهم کرد و کلادفلر که مسدودسازی بات‌ها را به‌عنوان گزینه پیش‌فرض فعال نمود. شرکت‌های عمده‌ای که از استاندارد جدید حمایت می‌کنند تأیید کرده‌اند که در صورت شناسایی این توکن مشترک، دسترسی خزنده‌ها به محتوای خود را محدود خواهند کرد.
اندی استون، مدیر ارتباطات متا، اظهار داشت: «ما معتقدیم که ایجاد یک سیگنال مشترک برای انتقال چنین اولویت‌هایی به چندین ارائه‌دهنده به‌طور هم‌زمان، گامی حیاتی به حساب می‌آید. ما مشتاقانه انتظار داریم با سایر بازیگران حوزه هوش مصنوعی در زمینه این استانداردها همکاری کنیم و آنها را در سرتاسر صنعت اجرایی کنیم.»
مایکروسافت به وب‌سایت‌ها گزینه‌های دقیق‌تری ارائه خواهد داد تا آنها بتوانند علاوه بر غیرفعال‌سازی فرآیند آموزشی مدل، دسترسی به منابع معتبر را نیز مسدود کنند، بدون آنکه جایگاه آنها در نتایج موتور جست‌وجوی بینگ تحت‌تأثیر قرار گیرد.
همچنین گوگل قبلاً یک سازوکار مشابه برای قسمت نتایج جست‌وجو به‌کار گرفته بود. در حال حاضر، آنتروپیک آغاز به استفاده از این استاندارد کرده است، اوپن‌ای‌آی آن را در ماه‌های آینده عملیاتی خواهد کرد و گوگل به همراه مایکروسافت برنامه‌ریزی کرده‌اند که اجرای آن را در سال آینده میلادی به مرحله اجرا درآورند.
