Tools Central

robots.txt generator en validator

Maak een robots.txt-bestand, detecteer fouten en simuleer de toegang tot een URL voor een specifieke crawler.

100% lokale verwerking: de ingevoerde inhoud en URL's verlaten nooit uw browser.

1. Genereer een veilige basis

Een invoer per regel voor de paden. De generator voegt « / » toe, codeert spaties en verwijdert duplicaten.

Het protocol, het domein en de poort definiëren de reikwijdte van het bestand.Geldige site-URL
Gebruik « * » voor alle robots of een producttoken zoals Googlebot.Geldige user-agent
Voorbeelden: /admin/, /search?, /*.pdf$
Een specifiekere Allow-regel kan een deel van een geblokkeerd pad heropenen.

2. Bewerken en valideren

Plak ook een bestaand bestand: de analyse wordt bijgewerkt zonder netwerkverzoek.

1groepen4regels1sitemaps139bytes

3. Test een URL

De simulator past de exacte groepen toe, de meest specifieke regel, « * » en « $ » volgens RFC 9309.

Verkenning toegestaanGeen toepasbare regel: verkenning is standaard toegestaan.

Drie punten om te controleren voor publicatie

Exacte reikwijdte

Plaats het bestand in de root. De regels gelden alleen voor hetzelfde protocol, host en poort.

Verkenning, geen de-indexering

Een geblokkeerde URL kan nog steeds in de resultaten verschijnen. Gebruik bescherming of noindex op een toegankelijke pagina om indexering te voorkomen.

Geen vertrouwelijkheid

Het bestand is openbaar en onthult de vermelde paden. Gebruik het nooit als toegangsbewaking voor gevoelige gegevens.

Terug naar SEO-tools

Gerelateerde tools

XML-sitemapgenerator en validatorMaak een URL-sitemap of index, valideer de XML, datums, limieten en het bereik, en download het bestand lokaal.
Hreflang-generator en -checkerMaak HTML-, HTTP- of sitemap-annotaties en controleer vervolgens lokaal de zelfreferenties, canonicals en teruglinks tussen meertalige pagina's.
Structuurdata-extractorLokaal JSON-LD, Microdata en RDFa uit HTML extraheren, entiteiten en relaties verkennen, en vervolgens een begrensd JSON-rapport exporteren.
HTML Head AuditorLokaal auditeren van title, description, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter en JSON-LD vanuit geplakte HTML.
Google snippet previewerTest een titel, een meta beschrijving en een URL op desktop en mobiel met een schatting van de breedte in pixels.
PDF-velden → JSONExporteer de lijst van velden van een PDF-formulier (AcroForm) naar JSON-formaat.

Maak en beheer een betrouwbaar robots.txt-bestand

Het robots.txt-bestand geeft crawlers aan welke paden ze mogen opvragen. De generator bereidt een schone basis voor, de validator detecteert veelvoorkomende fouten en de simulator legt de regel uit die op een URL wordt toegepast.

Gebruikscases

  • Een nieuwe site voorbereidenMaak een User-agent-groep, blokkeer oninteressante ruimtes voor crawlen en geef een absolute sitemap op.
  • Een bestaand bestand auditenPlak de inhoud om ongeldige richtlijnen, duplicaten, verkeerd gevormde paden, per ongeluk HTML of een grootte groter dan 500 KiB te identificeren.
  • Een geblokkeerde URL diagnosticerenTest een URL met een specifieke producttoken om de geselecteerde groep en de meest specifieke Allow- of Disallow-regel te identificeren.

Aanbevolen methode

Bepaal eerst de exacte oorsprong van de site. Een bestand dat via HTTPS wordt aangeboden, beheert geen HTTP, een andere subdomein of een andere poort. Het moet toegankelijk zijn op de locatie /robots.txt.

Begin met een paar regels en expliciete paden. Wanneer meerdere regels overeenkomen, wint de meest specifieke; bij gelijke specificiteit heeft Allow voorrang op Disallow.

Test belangrijke crawlers en enkele representatieve URL's, publiceer het bestand in UTF-8 met het type text/plain, en controleer vervolgens de HTTP-respons van buitenaf.

Limieten om te kennen

  • Het blokkeren van crawlen voorkomt niet altijd dat een URL in een zoekresultaat verschijnt. Een URL die bekend is via links kan geïndexeerd blijven zonder een snippet.
  • robots.txt is openbaar en beschermt geen gegevens. Gebruik authenticatie en servermachtigingen voor gevoelige inhoud.
  • De standaard definieert de gemeenschappelijke basis, maar elke crawler kan aanvullende richtlijnen ondersteunen. Google negeert bijvoorbeeld Crawl-delay.

Veelgestelde vragen

Wat is het verschil tussen Allow en Disallow?
Disallow verbiedt het opvragen van de overeenkomende paden. Allow creëert een specifiekere uitzondering in een anderszins geblokkeerde ruimte. Een lege waarde blokkeert niets.
Tellen hoofdletters en URL-parameters?
Ja. De padvergelijking is hoofdlettergevoelig en kan de querystring omvatten. De tekens * en $ fungeren respectievelijk als wildcard en eindmarkering.
Worden mijn gegevens verzonden of opgeslagen?
Nee. De generatie, analyse, simulatie en export van het bestand worden lokaal in de browser uitgevoerd.

Voordat u een pad blokkeert

Controleer of het pad geen bronnen bevat die nodig zijn voor het weergeven van pagina's, zoals stijlen of scripts. Een korte regel kan een veel breder effect hebben dan verwacht.