Mini-outil · 2 crédits

Détecter les conflits sitemap / exploration

Votre sitemap peut proposer des pages que robots.txt demande à Googlebot de ne pas explorer. Comparez ces deux fichiers pour retrouver les URL concernées.

Texte assisté par IA, relu et validé par BIW Agency

Ce contrôle porte sur l'exploration et ne confirme pas la présence de l'URL dans l'index d'un moteur.

Le sitemap envoie-t-il vers une URL bloquée ?

Coût : 2 crédits par utilisation.

Outils

Indiquez l'adresse de votre site, par exemple https://exemple.com/, ou l'adresse d'un sitemap .xml ou .xml.gz à contrôler directement. Pour un site, l'outil cherche les sitemaps déclarés dans robots.txt, puis les adresses courantes si nécessaire. Il compare les URL trouvées aux règles de Googlebot et conserve leur source. Les pages elles-mêmes ne sont pas téléchargées.

Robot testéLe résultat correspond aux règles applicables à Googlebot.
LimiteJusqu'à 800 URL distinctes sont examinées. Les limites et les fichiers non lus restent indiqués dans le résultat.
HistoriqueLe rapport sauvegardé conserve les décisions, leurs sources et les limites de la collecte.

Connexion requise pour lancer l'outil et sauvegarder le rapport.

Méthode

Comprendre les conflits détectés

Fichier d'exploration

robots.txt indique aux robots ce qu'ils peuvent explorer. Une règle Disallow demande de ne pas parcourir un chemin ; elle ne remplace pas une directive noindex.

Sitemap XML

Le sitemap indique les URL que le site souhaite faire découvrir. Sa présence ne garantit pas l'indexation.

Conflit confirmé

Pour chaque URL, le rapport indique la décision Googlebot, le sitemap source et la règle appliquée avec son numéro de ligne. Les URL d'une autre origine sont distinguées : elles dépendent de leur propre fichier robots.txt.

Analyse partielle

Un délai dépassé, un XML incomplet, un sitemap déclaré inaccessible ou une limite atteinte peuvent empêcher de conclure sur tout le périmètre. Les blocages déjà observés restent affichés ; aucun pourcentage global n'est calculé tant que des décisions manquent.

Choisir le bon contrôle robots

Vous voulez plutôt créer ou valider robots.txt, croiser un sitemap avec les règles publiques ou contrôler les agents IA ? Choisissez le contrôle qui correspond à votre besoin.

Questions fréquentes Comprendre les conflits entre robots.txt et le sitemap Consultez les réponses pour comprendre le contrôle et ses limites.

FAQ

Questions fréquentes

Une URL bloquée par robots.txt est-elle forcément non indexée ?

Non. robots.txt agit surtout sur l'exploration. Un moteur peut déjà connaître une URL bloquée ; ce contrôle ne permet pas de savoir si elle figure dans son index.

Pourquoi éviter une URL bloquée dans un sitemap ?

Le sitemap propose au robot de découvrir une URL, tandis que robots.txt lui demande de ne pas l'explorer. Le contrôle vous aide à retrouver ces instructions contradictoires.

Quel robot est utilisé pour le contrôle ?

Le contrôle actuel teste Googlebot. Le verdict dépend donc des règles robots.txt applicables à ce robot.