OpenAI, Google, Microsoft et Anthropic disent qu'ils adopteront une nouvelle norme permettant aux éditeurs de refuser l'aspiration de leurs sites par l'IA. Jusqu'ici, chaque entreprise exigeait un réglage séparé. Désormais, les éditeurs pourraient appliquer leurs préférences d'entraînement à plusieurs robots d'un coup.
Ce « jeton de politique » partagé est proposé par Kevin Kelley, responsable technique des normes chez Anthropic, dans le cadre de l'IETF. Il figurera dans le fichier robots.txt d'un site. Ce fichier indique de longue date quels robots peuvent explorer un site, que ce soit pour l'indexation, l'archivage ou l'entraînement d'IA.
Qui l'appliquera, et quand
Les quatre entreprises affirment qu'elles empêcheront leurs robots d'accéder à un site s'ils y trouvent le jeton. Anthropic l'a déjà adopté. Google et Microsoft prévoient de le prendre en charge l'an prochain. OpenAI parle des « mois à venir ».
Le responsable de la communication de Meta, Andy Stone, soutient aussi le principe, sans dire si son entreprise respectera le réglage. « Nous pensons que créer un signal commun qui transmet ces préférences à plusieurs fournisseurs à la fois est une étape importante », dit-il. Meta se dit prête à travailler avec d'autres entreprises d'IA sur les normes et leur mise en œuvre.
Microsoft indique qu'elle proposera des contrôles plus fins. Les éditeurs pourront refuser l'entraînement de l'IA ou l'ancrage de l'IA, c'est-à-dire le fait de pointer un modèle vers une source vérifiée pour limiter les hallucinations. Leurs sites continueront d'apparaître dans les résultats de Bing quelles que soient leurs préférences. Google a déjà mis en place des contrôles voisins. Ils permettent de choisir si un contenu figure dans les fonctions de recherche par IA ou sert à l'entraînement, sans effet sur la visibilité dans la recherche.
L'annonce intervient alors que les éditeurs font face à un afflux continu de robots d'IA qui aspirent leurs pages pour alimenter des modèles. Certains tentent de réagir. La norme Really Simple Licensing permet aux éditeurs de faire payer les robots qui les visitent, et Cloudflare bloque par défaut les robots d'IA.
Source : The Verge