Robots des IA et robots.txt : GPTBot, ClaudeBot, Google-Extended, lesquels autoriser ?

Pourquoi chaque éditeur d’IA a-t-il plusieurs robots ?

Parce qu’ils ne font pas le même travail. Les grands éditeurs distinguent trois usages : l’entraînement des modèles, l’index qui sert à répondre en citant des sources, et la visite d’une page à la demande précise d’un utilisateur. Chaque usage porte son propre nom dans robots.txt, et chaque règle s’applique indépendamment des autres.

Cloudflare a adopté la même grille le 1er juillet 2026 en rangeant les robots d’IA en trois catégories : recherche, agent et entraînement. Pour savoir comment ces robots se traduisent ensuite en citations, voyez notre guide du GEO.

Que déclarent OpenAI, Anthropic, Perplexity, Google et Mistral ?

Chacun publie la liste de ses robots et leur rôle :

• OpenAI : OAI-SearchBot pour la recherche de ChatGPT (un site qui le bloque n’apparaît plus dans ses réponses, hors simples liens de navigation) ; GPTBot pour l’entraînement ; ChatGPT-User pour les pages ouvertes à la demande d’un utilisateur, auxquelles robots.txt peut ne pas s’appliquer.
• Anthropic : Claude-SearchBot pour l’index de recherche, ClaudeBot pour l’entraînement, Claude-User pour les pages consultées à la demande d’un utilisateur. Anthropic demande une règle par sous-domaine.
• Perplexity : PerplexityBot pour ses résultats, sans usage pour l’entraînement ; Perplexity-User pour les visites demandées par un utilisateur, qui ignore en général robots.txt.
• Google : Googlebot explore pour la recherche, Aperçus IA et Mode IA compris ; Google-Extended, un jeton sans robot propre, encadre l’entraînement de Gemini et l’ancrage des réponses des applications Gemini, sans effet sur la recherche.
• Mistral : MistralAI-Index pour son index, MistralAI-User pour les demandes des utilisateurs, MistralAI-Training pour l’entraînement.

Faut-il bloquer les robots d’entraînement ?

C’est un choix d’entreprise, pas une obligation technique. Bloquer GPTBot ou ClaudeBot signale que vos contenus ne doivent pas servir à entraîner les modèles, sans vous retirer des réponses de ChatGPT ou de Claude, qui dépendent d’autres robots.

Google-Extended demande plus d’attention : il couvre l’entraînement de Gemini, mais aussi l’ancrage des réponses des applications Gemini dans l’index de Google. Le bloquer peut donc réduire votre présence dans ces réponses, sans toucher à votre classement dans la recherche.

Un site vitrine ou une boutique a peu à protéger et beaucoup à gagner à être lu. Un éditeur, une base documentaire payante ou un auteur dont le texte est le produit peut trancher autrement. Le droit européen prévoit d’ailleurs que l’opposition à la fouille de textes s’exprime, pour les contenus en ligne, par des procédés lisibles par machine ; robots.txt en est un exemple courant.

Le fichier llms.txt sert-il à quelque chose ?

Proposé en septembre 2024, llms.txt est un fichier Markdown placé à la racine du site, qui résume les pages utiles à un modèle de langage. Google a tranché pour ce qui le concerne : son guide de 2026 indique que la recherche Google ne l’utilise pas et qu’il n’a aucune incidence sur la visibilité ni le classement.

Vous pouvez le garder s’il sert ailleurs, par exemple à un assistant de développement qui lit votre documentation. Il ne remplace ni robots.txt, ni le plan du site, ni des pages claires.

Les données structurées aident-elles les IA à comprendre un site ?

Elles aident les moteurs à comprendre une page et ouvrent droit aux résultats enrichis de Google. Mais Google précise qu’aucun balisage schema.org spécial n’est nécessaire pour ses fonctionnalités d’IA générative, et que le balisage doit correspondre au texte visible.

Gardez donc le socle : organisation ou établissement local, produits, articles, fil d’Ariane. Le texte visible reste la matière première, car c’est lui que lisent les robots, y compris ceux qui n’exécutent pas le JavaScript. Notre article sur le mode IA de Google montre comment vérifier ensuite votre présence dans ses réponses.

Quelle configuration retenir pour un site d’entreprise ?

Pour la plupart des PME, quatre règles suffisent :

• Autorisez Googlebot, Bingbot et les robots de recherche des assistants : OAI-SearchBot, Claude-SearchBot, PerplexityBot, MistralAI-Index.
• Laissez passer les robots qui agissent à la demande d’un utilisateur (ChatGPT-User, Claude-User, Perplexity-User) : derrière eux, une personne veut lire votre page.
• Décidez pour l’entraînement (GPTBot, ClaudeBot, Google-Extended, MistralAI-Training) en connaissance de cause, et notez ce choix.
• Vérifiez les réglages de votre hébergeur ou de votre CDN, qui peuvent bloquer des robots avant même robots.txt.