Fichier d'exploration
Le fichier robots.txt contrôle principalement l'exploration. Une règle Disallow ne constitue pas directement une directive noindex.
Comparez les URL déclarées dans le sitemap avec les règles publiques applicables à Googlebot pour repérer les signaux contradictoires.
Ce contrôle porte sur l'exploration et ne confirme pas la présence de l'URL dans l'index d'un moteur.
Coût : 2 crédits par utilisation.
Saisissez l'origine publique du site. L'outil récupère le fichier robots.txt, lit les sitemaps déclarés ou le sitemap XML par défaut, puis compare les URL trouvées aux règles applicables à Googlebot.
Connexion requise pour lancer l'outil et sauvegarder le rapport.
Méthode
Le fichier robots.txt contrôle principalement l'exploration. Une règle Disallow ne constitue pas directement une directive noindex.
Le sitemap indique les URL que le site souhaite faire découvrir. Sa présence ne garantit pas l'indexation.
Un conflit est signalé lorsqu'une URL du sitemap est bloquée à l'exploration pour Googlebot par une règle robots.txt.
Le verdict est partiel si robots.txt, un sous-sitemap ou une partie des URL n'a pas pu être récupéré ou si la limite est atteinte.
FAQ
Non. robots.txt agit principalement sur l'exploration. Une URL bloquée peut rester connue d'un moteur et ce contrôle ne confirme pas sa présence dans l'index.
Le sitemap signale une URL à découvrir, tandis que robots.txt interdit son exploration au robot concerné. Ces signaux sont contradictoires.
Le contrôle actuel teste Googlebot. Le verdict dépend donc des règles robots.txt applicables à ce robot.
Derniers rapports sauvegardés pour ce mini-outil et liés à votre compte connecté.