Fichier analysé
L'outil construit l'URL robots.txt depuis l'origine saisie, suit les redirections autorisées par le serveur et conserve l'URL finale observée.
Indiquez un site ou collez un fichier pour voir quelles règles publiques s'appliquent à GPTBot, ClaudeBot, Google-Extended, PerplexityBot et autres agents suivis.
Ce contrôle analyse uniquement robots.txt. Il ne confirme pas qu'un service IA visite, utilise, indexe ou cite le contenu.
Coût : 2 crédits par utilisation. Périmètre : fichier robots.txt d'une origine publique, avec résultat par identifiant contrôlé.
Connexion requise pour lancer l'outil et sauvegarder le rapport.
Derniers rapports sauvegardés pour ce mini-outil et liés à votre compte connecté. Ils peuvent contenir les domaines analysés et les résultats par identifiant, puis être supprimés depuis l'historique.
Méthode
L'outil construit l'URL robots.txt depuis l'origine saisie, suit les redirections autorisées par le serveur et conserve l'URL finale observée.
Chaque identifiant est comparé aux groupes spécifiques et au groupe général User-agent: * lorsque ce groupe s'applique.
Un blocage sur / concerne tout le site. Une règle comme /private/ rend le résultat dépendant du chemin réellement étudié.
L'analyse ne prouve ni visite, ni entraînement, ni citation. Elle décrit seulement les restrictions visibles dans le fichier public.
FAQ
Non. Elle signifie seulement qu'aucune restriction correspondante n'a été détectée dans robots.txt pour l'identifiant contrôlé.
Pas toujours. Certaines directives bloquent uniquement des chemins précis. Dans ce cas, le verdict dépend de l'URL réellement étudiée.
Les identifiants et leur prise en charge peuvent évoluer. Le rapport indique donc la version du référentiel utilisée pour l'analyse.
Non. Le fichier est public et ne constitue pas un mécanisme de contrôle d'accès. Utilisez une authentification ou une restriction serveur.