Tools Central

Générateur et validateur robots.txt

Créez un fichier robots.txt, détectez les erreurs et simulez l’accès à une URL pour un robot précis.

Traitement 100 % local : le contenu et les URL saisis ne quittent jamais votre navigateur.

1. Générer une base sûre

Une entrée par ligne pour les chemins. Le générateur ajoute « / », encode les espaces et déduplique les règles.

Le protocole, le domaine et le port définissent la portée du fichier.URL du site valide
Utilisez « * » pour tous les robots ou un product token comme Googlebot.User-agent valide
Exemples : /admin/, /recherche?, /*.pdf$
Une règle Allow plus spécifique peut rouvrir une partie d’un chemin bloqué.

2. Éditer et valider

Collez aussi un fichier existant : l’analyse se met à jour sans requête réseau.

1groupes4règles1sitemaps139octets

3. Tester une URL

Le simulateur applique les groupes exacts, la règle la plus spécifique, « * » et « $ » selon RFC 9309.

Exploration autoriséeAucune règle applicable : l’exploration est autorisée par défaut.

Trois points à vérifier avant publication

Portée exacte

Placez le fichier à la racine. Ses règles ne valent que pour le même protocole, hôte et port.

Exploration, pas désindexation

Une URL bloquée peut encore apparaître dans les résultats. Pour empêcher l’indexation, utilisez une protection ou noindex sur une page accessible.

Aucune confidentialité

Le fichier est public et révèle les chemins listés. Ne l’utilisez jamais comme contrôle d’accès à des données sensibles.

Retour aux outils SEO

Outils similaires

Générateur et validateur sitemap XMLCréer un sitemap d’URL ou un index, valider le XML, les dates, les limites et le périmètre, puis télécharger le fichier localement.
Générateur et vérificateur hreflangCréer des annotations HTML, HTTP ou sitemap, puis vérifier localement les auto-références, canonicals et liens retour entre pages multilingues.
Extracteur de données structuréesExtraire localement JSON-LD, Microdata et RDFa depuis du HTML, explorer les entités et relations, puis exporter un rapport JSON borné.
Générateur Schema.org SoftwareApplicationGénérer et valider localement un JSON-LD SoftwareApplication avec offre, plateforme et note agrégée réelle, puis copier ou télécharger le code.
Auditeur de head HTMLAuditer localement title, description, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter et JSON-LD depuis du HTML collé.
Prévisualiseur de snippet GoogleTester un titre, une meta description et une URL sur ordinateur et mobile avec une estimation de largeur en pixels.

Créer et contrôler un fichier robots.txt fiable

Le fichier robots.txt indique aux robots d’exploration les chemins qu’ils peuvent demander. Le générateur prépare une base propre, le validateur détecte les erreurs fréquentes et le simulateur explique la règle appliquée à une URL.

Cas d’utilisation

  • Préparer un nouveau siteCréez un groupe User-agent, bloquez les espaces sans intérêt pour l’exploration et déclarez un sitemap absolu.
  • Auditer un fichier existantCollez son contenu pour repérer les directives invalides, les doublons, les chemins mal formés, le HTML accidentel ou une taille supérieure à 500 Kio.
  • Diagnostiquer une URL bloquéeTestez une URL avec un product token précis afin d’identifier le groupe sélectionné et la règle Allow ou Disallow la plus spécifique.

Méthode recommandée

Définissez d’abord l’origine exacte du site. Un fichier servi en HTTPS ne gouverne pas HTTP, un sous-domaine différent ni un autre port. Il doit être accessible à l’emplacement /robots.txt.

Commencez avec peu de règles et des chemins explicites. Quand plusieurs règles correspondent, la plus spécifique gagne ; à spécificité égale, Allow prévaut sur Disallow.

Testez les robots importants et quelques URL représentatives, publiez le fichier en UTF-8 avec le type text/plain, puis vérifiez la réponse HTTP depuis l’extérieur.

Limites à connaître

  • Bloquer l’exploration n’empêche pas toujours une URL d’apparaître dans un résultat de recherche. Une URL connue par des liens peut rester indexée sans extrait.
  • robots.txt est public et ne protège aucune donnée. Utilisez une authentification et des autorisations serveur pour les contenus sensibles.
  • Le standard définit le socle commun, mais chaque robot peut prendre en charge des directives supplémentaires. Google ignore notamment Crawl-delay.

Questions fréquentes

Quelle différence entre Allow et Disallow ?
Disallow interdit la demande des chemins correspondants. Allow crée une exception plus spécifique dans un espace autrement bloqué. Une valeur vide ne bloque rien.
Les majuscules et les paramètres d’URL comptent-ils ?
Oui. La comparaison du chemin est sensible à la casse et peut inclure la chaîne de requête. Les caractères * et $ servent respectivement de joker et de marqueur de fin.
Mes données sont-elles envoyées ou enregistrées ?
Non. La génération, l’analyse, la simulation et l’export du fichier sont réalisés localement dans le navigateur.

Avant de bloquer un chemin

Vérifiez que le chemin ne contient pas les ressources nécessaires au rendu des pages, comme les feuilles de style ou les scripts. Une règle courte peut avoir un effet beaucoup plus large que prévu.