Fichier récupéré
L'outil lit le robots.txt public de l'origine indiquée. Si vous saisissez déjà une URL qui se termine par /robots.txt, elle est testée directement.
Mini-outil directives d'exploration
Validateur robots.txt
Ce validateur robots.txt permet de créer un fichier robots.txt, tester une URL pour un crawler donné et relire la syntaxe robots.txt avant publication.
robots.txt contrôle principalement l'exploration. Il ne garantit pas l'indexation et ne protège pas les contenus confidentiels.
Créer un fichier robots.txt
Coût : 2 crédits par utilisation. Choisissez un mode pour afficher le bon champ, le bon livrable et le bon bouton d'action.
Chaque mode garde la même sécurité : aucune modification n'est apportée au site analysé et les contenus sensibles ne doivent jamais être protégés par robots.txt seul.
Vérifier un fichier existant
Le diagnostic indique si le fichier est trouvé, lisible, interprétable, s'il déclare des sitemaps et s'il contient des points à relire avant publication.
Tester une URL pour un robot
Le résultat décrit uniquement l'effet des règles sur l'exploration pour le robot sélectionné. Il ne conclut pas sur l'indexation.
Générer un brouillon
Le fichier produit reste un brouillon. Relisez les blocages, testez des URL représentatives et confirmez l'intention avant de copier ou télécharger le contenu.
LectureLe serveur récupère le fichier robots.txt public de l'origine saisie ou l'URL directe fournie.
TestLe chemin est comparé aux règles Allow et Disallow applicables au User-Agent sélectionné.
LimiteLe résultat parle d'exploration, pas d'indexation ni de disponibilité réelle des pages.
Connexion requise pour lancer l'outil et sauvegarder le rapport.
Résultat de l'analyse actuelle
Vérifications et générations récentes
Derniers rapports sauvegardés pour ce mini-outil et liés à votre compte connecté. Ils peuvent contenir les domaines contrôlés, les URL testées et les brouillons générés, puis être supprimés depuis l'historique.
Méthode
Ce que vérifie ce contrôle
Règle applicable
Le verdict retient la règle la plus spécifique qui correspond au chemin et au User-Agent choisi, avec priorité à Allow en cas de longueur équivalente.
Sitemaps déclarés
Les directives Sitemap sont listées pour vérifier si les moteurs disposent d'une source de découverte, sans contrôler ici chaque URL déclarée.
Brouillon généré
Le générateur prépare une base pratique. Relisez-la avant publication, surtout si vous bloquez des robots IA ou des dossiers sensibles.
FAQ
Questions fréquentes
robots.txt empêche-t-il l'indexation ?
Non. Il contrôle principalement l'exploration. Une URL bloquée peut rester connue d'un moteur si elle est découverte par un lien, un sitemap ou une source externe.
Quel chemin faut-il tester ?
Testez le chemin réel qui vous intéresse : une page publique, un dossier sensible, une recherche interne ou une URL complète du même site.
robots.txt protège-t-il une page confidentielle ?
Non. Le fichier est public et ne constitue pas un contrôle d'accès. Utilisez une authentification ou une restriction serveur pour empêcher réellement l'accès.
Le fichier généré peut-il être publié tel quel ?
Il sert de base. Avant publication, vérifiez qu'il ne bloque pas une section utile au SEO ou aux assistants IA que vous souhaitez autoriser.