CloudFlare a annoncé aujourd'hui une nouvelle fonctionnalité qui vous permet de signaler via Robots.txt si votre contenu peut être utilisé dans les aperçus de l'IA de Google (ainsi que pour la formation IA).
- La nouvelle stratégie de signaux de contenu de CloudFlare vise à donner aux éditeurs plus de contrôle sur la façon dont les robots et les robots utilisent leurs données, au-delà des directives traditionnelles qui ne régulent que la rampe et l'indexation.
Comment ça marche. La stratégie ajoute trois nouvelles directives lisibles par machine à robots.txt:
search: Autorisation pour créer un index de recherche et afficher des liens / extraits (recherche traditionnelle).ai-input: Permission d'utiliser le contenu comme entrée pour les réponses générées par AI.ai-train: Permission d'utiliser du contenu pour la formation des modèles d'IA.
Par exemple:
User-Agent: * Content-Signal: search=yes, ai-train=no Allow: /
CloudFlare ajoutera automatiquement ces directives pour des millions de sites clients qui utilisent déjà son service Robots.Txt géré.
Oui, mais. Google ne s'est pas engagé à honorer ces instructions.
- Le PDG de Cloudflare, Matthew Prince, a déclaré à l'information (abonnement requise) que Google avait donné une aval sur les signaux de contenu, mais n'a pas dit si elle respecterait les nouveaux signaux.
- Les directives Robots.txt ne sont pas juridiquement contraignantes, et CloudFlare a reconnu que certaines entreprises peuvent les ignorer.
Pourquoi nous nous soucions. Google ou d'autres sociétés d'IA se conformeront-elles volontairement? J'en doute. Pourtant, cette nouvelle option vous donne au moins un moyen de repousser – un moyen de dire «oui à la recherche, non aux aperçus de l'IA», un contrôle qui n'existait tout simplement pas auparavant. Cela compte parce que les réponses générées par l'AI ont été largement critiquées pour l'érodation du trafic et offrir peu ou pas de valeur en retour.
Image plus grande:
- CloudFlare dit que les bots pourraient dépasser le trafic humain sur Internet d'ici 2029, augmentant les enjeux pour donner aux éditeurs des outils pour gérer la façon dont leur contenu est réutilisé.
- La société a publié sa politique de signaux de contenu sous un Licence CC0 Pour encourager l'adoption au-delà de sa propre clientèle, en espérant qu'elle deviendra une norme de l'industrie plus large.
- Mais CloudFlare note également que les signaux ne sont pas suffisants. Les éditeurs qui souhaitent un contrôle plus strict devraient les combiner avec la gestion des bots et les règles de pare-feu.
Fin de compte. À moins que Google et d'autres ne reconnaissent officiellement et respectent officiellement ces instructions, les éditeurs restent pris dans une situation perdante: garder le contenu ouvert et risquer une mauvaise utilisation, ou l'arracher complètement.
L'annonce de Cloudflare. Donner aux utilisateurs le choix avec la nouvelle stratégie de signaux de contenu de Cloudflare