Mini-outil GEO IA

Contrôler les crawlers IA

Indiquez une page de votre site pour lire les règles qui s’appliquent à son chemin : recherche IA, collecte pour l’entraînement ou consultation à la demande. L’outil récupère robots.txt à la racine du site et distingue ces usages.

Texte assisté par IA, relu et validé par BIW Agency

Ce contrôle analyse uniquement robots.txt. Il ne confirme pas qu'un service IA visite, utilise, indexe ou cite le contenu.

Quelles règles s'appliquent aux agents IA ?

Coût : 2 crédits par utilisation. Le contrôle porte sur le fichier robots.txt d'un site public et présente un résultat pour chaque identifiant de robot testé.

Outils
Robots contrôlés10 identifiants : GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, PerplexityBot, Perplexity-User, CCBot.
RéférentielVersion ai-bots-2026.09.14-v1, mise à jour le .
LivrablePour chaque identifiant : usage documenté, résultat sur le chemin demandé, groupes retenus, règles avec leurs lignes et liens vers les sources officielles.

Connexion requise pour lancer l'outil et sauvegarder le rapport.

Méthode

Ce que vérifie ce contrôle

Il n’y a pas de note globale : un refus d’entraînement peut être volontaire. Les visites ChatGPT-User et Perplexity-User ont des limites particulières de prise en charge. Google-Extended est un jeton de contrôle d’usage, pas un robot HTTP distinct. Le rapport précise ces différences.

Fichier analysé

À partir de l'adresse saisie, l'outil recherche robots.txt. Il suit les redirections autorisées par le serveur et conserve l'adresse finale pour que vous sachiez quel fichier a été lu.

Groupes User-Agent

Les groupes correspondant exactement au jeton sont fusionnés. Sans groupe spécifique, le groupe général User-agent: * est utilisé. La règle correspondante la plus spécifique l’emporte ; Allow gagne à égalité.

Portée des règles

Une règle Disallow: / peut comporter des exceptions Allow. Le verdict porte sur le chemin saisi, avec ses paramètres, et ne permet pas de conclure pour tous les chemins du site.

Limites

L'analyse décrit les restrictions du fichier public. Elle ne permet pas de savoir si une IA a visité le site, utilisé son contenu pour son entraînement ou cité une page.

Choisir le bon contrôle robots

Vous voulez plutôt créer ou valider robots.txt, vérifier la cohérence avec un sitemap ou contrôler les agents IA ? Choisissez le contrôle qui correspond à votre besoin.

Questions fréquentes Comprendre les règles robots.txt pour les IA Consultez les réponses pour comprendre le contrôle et ses limites.

FAQ

Questions fréquentes

L'absence de blocage signifie-t-elle que mon contenu sera utilisé par une IA ?

Non. Elle signifie seulement qu'aucune restriction correspondante n'a été détectée dans robots.txt pour l'identifiant contrôlé.

Une règle s'applique-t-elle à tout le site ?

Pas toujours. Certaines directives bloquent uniquement des chemins précis. Dans ce cas, le verdict dépend de l'URL réellement étudiée.

Pourquoi la liste des robots doit-elle être datée ?

Les noms des robots et leur prise en charge peuvent évoluer. La version de la liste utilisée figure donc dans le rapport pour situer le résultat.

robots.txt protège-t-il un contenu confidentiel ?

Non. Le fichier est public et ne constitue pas un mécanisme de contrôle d'accès. Utilisez une authentification ou une restriction serveur.