Robots d'IA (crawlers IA) : définition
Définition. Les robots d'IA sont les crawlers des acteurs de l'IA générative : GPTBot et OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity), Google-Extended (Google), CCBot (Common Crawl). Ils lisent le web pour alimenter la recherche IA et l'entraînement des modèles.
Ils se contrôlent via robots.txt, chacun par son user-agent. La distinction clé : robots de recherche (leur blocage supprime tes citations) contre robots d'entraînement (leur blocage est un choix d'éditeur sans coût de visibilité immédiat).
Attention aux blocages involontaires : certains pare-feux et protections anti-bot servent des erreurs 403 aux crawlers IA même quand robots.txt les autorise. Tester l'accessibilité réelle fait partie du diagnostic.
Pour aller plus loin : Autoriser les robots d'IA.