robots.txt Generator und Validator

Erstellen Sie eine robots.txt-Datei, erkennen Sie Fehler und simulieren Sie den Zugriff auf eine URL für einen bestimmten Roboter.

100 % lokale Verarbeitung: Die eingegebenen Inhalte und URLs verlassen niemals Ihren Browser.

1. Eine sichere Basis generieren

Eine Eingabe pro Zeile für die Pfade. Der Generator fügt „/“ hinzu, kodiert Leerzeichen und dedupliziert die Regeln.

2. Bearbeiten und validieren

Fügen Sie auch eine vorhandene Datei ein: Die Analyse wird ohne Netzwerkabfrage aktualisiert.

User-agent: *
Allow: /assets/
Disallow: /admin/
Disallow: /private/
Disallow: /search?

Sitemap: https://www.tools-central.com/sitemap.xml

1Gruppen4Regeln1Sitemaps139Bytes

3. Eine URL testen

Der Simulator wendet die genauen Gruppen, die spezifischste Regel, „*“ und „$“ gemäß RFC 9309 an.

Produkt-Token des Bots

URL oder Pfad zum Testen

Durchsuchen erlaubtKeine anwendbare Regel: Das Crawlen ist standardmäßig erlaubt.

Drei Punkte zu überprüfen vor der Veröffentlichung

Genauer Geltungsbereich

Platzieren Sie die Datei im Stammverzeichnis. Ihre Regeln gelten nur für dasselbe Protokoll, denselben Host und denselben Port.

Durchsuchen, nicht deindexieren

Eine blockierte URL kann weiterhin in den Ergebnissen erscheinen. Um die Indizierung zu verhindern, verwenden Sie einen Schutz oder noindex auf einer zugänglichen Seite.

Keine Vertraulichkeit

Die Datei ist öffentlich und gibt die aufgelisteten Pfade preis. Verwenden Sie sie niemals als Zugangskontrolle für sensible Daten.

Zurück zu den SEO-Tools

Anwendungsfälle

Eine neue Website vorbereitenErstellen Sie eine User-agent-Gruppe, blockieren Sie uninteressante Bereiche für das Crawling und geben Sie eine absolute Sitemap an.
Eine vorhandene Datei prüfenFügen Sie seinen Inhalt ein, um ungültige Anweisungen, Duplikate, falsch formatierte Pfade, versehentliches HTML oder eine Größe von mehr als 500 Kio zu erkennen.
Eine blockierte URL diagnostizierenTesten Sie eine URL mit einem bestimmten Produkt-Token, um die ausgewählte Gruppe und die spezifischste Allow- oder Disallow-Regel zu identifizieren.

Empfohlene Methode

Definieren Sie zunächst die genaue Herkunft der Website. Eine Datei, die über HTTPS bereitgestellt wird, regelt nicht HTTP, eine andere Subdomain oder einen anderen Port. Sie muss unter /robots.txt zugänglich sein.

Beginnen Sie mit wenigen Regeln und expliziten Pfaden. Wenn mehrere Regeln übereinstimmen, gewinnt die spezifischste; bei gleicher Spezifität hat Allow Vorrang vor Disallow.

Testen Sie wichtige Roboter und einige repräsentative URLs, veröffentlichen Sie die Datei in UTF-8 mit dem Typ text/plain und überprüfen Sie die HTTP-Antwort von außen.

Grenzen, die Sie kennen sollten

Das Blockieren des Crawling verhindert nicht immer, dass eine URL in den Suchergebnissen erscheint. Eine URL, die durch Links bekannt ist, kann ohne Auszug indexiert bleiben.
robots.txt ist öffentlich und schützt keine Daten. Verwenden Sie Authentifizierung und Serverberechtigungen für sensible Inhalte.
Der Standard definiert die gemeinsame Basis, aber jeder Roboter kann zusätzliche Anweisungen unterstützen. Google ignoriert insbesondere Crawl-delay.

Häufig gestellte Fragen

Was ist der Unterschied zwischen Allow und Disallow?

Disallow verbietet die Anforderung der entsprechenden Pfade. Allow schafft eine spezifischere Ausnahme in einem ansonsten blockierten Bereich. Ein leerer Wert blockiert nichts.

Zählen Großbuchstaben und URL-Parameter?

Ja. Der Vergleich des Pfades ist groß- und kleinschreibungssensitiv und kann die Abfragezeichenfolge enthalten. Die Zeichen * und $ dienen jeweils als Platzhalter und Endmarkierung.

Werden meine Daten gesendet oder gespeichert?

Nein. Die Generierung, Analyse, Simulation und der Export der Datei erfolgen lokal im Browser.

Bevor Sie einen Pfad blockieren

Stellen Sie sicher, dass der Pfad keine Ressourcen enthält, die für das Rendern der Seiten erforderlich sind, wie Stylesheets oder Skripte. Eine kurze Regel kann viel weiterreichende Auswirkungen haben als erwartet.