کلودفلر در برابر وب‌خزنده‌های هوش مصنوعی موضع‌گیری می‌کند.

کلودفلر ابزار جدید رایگانی را عرضه کرده که از خزیدن ربات‌های شرکت‌های هوش مصنوعی در وب‌سایت‌های مشتریانش برای جمع‌آوری محتوا به منظور آموزش مدل‌های زبانی بزرگ جلوگیری می‌کند. این ارائه‌دهنده خدمات ابری این ابزار را برای تمام مشتریان خود، از جمله آن‌هایی که در برنامه‌های رایگان هستند، در دسترس قرار داده است. شرکت اعلام کرد: “این ویژگی به مرور زمان به‌طور خودکار به‌روزرسانی می‌شود، زیرا ما اثر انگشت‌های جدیدی از ربات‌های متخلف که به طور گسترده وب را برای آموزش مدل‌ها خزیده‌اند، شناسایی می‌کنیم.”

در پست وبلاگی که این به‌روزرسانی را اعلام می‌کند، تیم کلودفلر همچنین برخی داده‌ها را درباره چگونگی واکنش مشتریانش به افزایش ربات‌هایی که محتوا را برای آموزش مدل‌های هوش مصنوعی مولد می‌خزند، به اشتراک گذاشت. بر اساس داده‌های داخلی شرکت، ۸۵.۲ درصد از مشتریان تصمیم گرفته‌اند حتی ربات‌های هوش مصنوعی که به درستی خود را شناسایی می‌کنند نیز از دسترسی به سایت‌هایشان مسدود کنند.

کلودفلر همچنین فعال‌ترین ربات‌های سال گذشته را شناسایی کرد. ربات Bytespider متعلق به Bytedance تلاش کرد تا به ۴۰ درصد از وب‌سایت‌های تحت نظارت کلودفلر دسترسی پیدا کند و GPTBot متعلق به OpenAI نیز در ۳۵ درصد از این وب‌سایت‌ها تلاش کرده بود. این دو ربات نیمی از چهار ربات خزنده هوش مصنوعی برتر بر اساس تعداد درخواست‌ها در شبکه کلودفلر بودند، همراه با Amazonbot و ClaudeBot.

مسدود کردن کامل و مداوم ربات‌های هوش مصنوعی از دسترسی به محتوا بسیار دشوار است. رقابت برای ساخت مدل‌های سریع‌تر منجر به مواردی شده است که شرکت‌ها قوانین موجود در زمینه مسدود کردن خزنده‌ها را دور می‌زنند یا به‌طور آشکار می‌شکنند. اخیراً Perplexity AI متهم به خزیدن وب‌سایت‌ها بدون مجوزهای لازم شده است. اما داشتن یک شرکت بزرگ در مقیاس کلودفلر که به طور جدی سعی در جلوگیری از این رفتار دارد، می‌تواند منجر به نتایجی شود.

شرکت گفت: “ما می‌ترسیم که برخی شرکت‌های هوش مصنوعی که قصد دور زدن قوانین برای دسترسی به محتوا را دارند، به طور مداوم برای فرار از شناسایی ربات‌ها تطبیق یابند. ما به نظارت ادامه خواهیم داد و بلوک‌های بیشتری را به قوانین خود برای خزنده‌ها و ربات‌های هوش مصنوعی اضافه خواهیم کرد و مدل‌های یادگیری ماشین خود را توسعه خواهیم داد تا اینترنت را به مکانی تبدیل کنیم که تولیدکنندگان محتوا بتوانند در آن شکوفا شوند و کنترل کامل بر روی اینکه کدام مدل‌ها از محتوای آن‌ها برای آموزش یا اجرای استنتاج استفاده می‌کنند، داشته باشند.”