Tools Central

robots.txt-generator og -validerer

Opprett en robots.txt-fil, oppdag feil og simuler tilgangen til en URL for en spesifikk robot.

100 % lokal behandling: innholdet og URL-ene som er angitt, forlater aldri nettleseren din.

1. Generer et sikkert grunnlag

En oppføring per linje for stiene. Generatoren legger til « / », koder mellomrom og fjerner duplikater.

Protokollen, domenet og porten definerer omfanget av filen.Gyldig nettsted-URL
Bruk « * » for alle roboter eller en produkt-token som Googlebot.Gyldig bruker-agent
Eksempler: /admin/, /search?, /*.pdf$
En mer spesifikk Allow-regel kan åpne en del av en blokkert sti.

2. Rediger og valider

Lim også inn en eksisterende fil: analysen oppdateres uten nettverksforespørsel.

1grupper4regler1sitemaps139byte

3. Test en URL

Simulatoren bruker de nøyaktige gruppene, den mest spesifikke regelen, « * » og « $ » i henhold til RFC 9309.

Kryping tillattIngen gjeldende regel: utforskning er tillatt som standard.

Tre punkter å sjekke før publisering

Nøyaktig omfang

Plasser filen i roten. Dens regler gjelder kun for samme protokoll, vert og port.

Kryping, ikke deindeksering

En blokkert URL kan fortsatt vises i søkeresultatene. For å hindre indeksering, bruk beskyttelse eller noindex på en tilgjengelig side.

Ingen konfidensialitet

Filen er offentlig og avslører de listede stiene. Bruk den aldri som tilgangskontroll for sensitive data.

Tilbake til SEO-verktøy

Relaterte verktøy

Generering og validering av XML-sitemapLag et URL-sitemap eller et indeks, valider XML, datoer, grenser og omfang, og last deretter ned filen lokalt.
Hreflang-generator og -kontrollerLag HTML-, HTTP- eller sitemap-annotasjoner, og sjekk deretter lokalt for selvreferanser, kanoniske lenker og tilbakekoblinger mellom flerspråklige sider.
Strukturert datauttrekkerEkstraher JSON-LD, Microdata og RDFa lokalt fra HTML, utforsk enheter og relasjoner, og eksporter deretter en begrenset JSON-rapport.
HTML head-revisorRevider lokalt title, beskrivelse, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter og JSON-LD fra limt HTML.
Google snippet forhåndsvisningTeste en tittel, en meta beskrivelse og en URL på datamaskin og mobil med en estimert bredde i piksler.
PDF-felt → JSONEksportere listen over feltene i et PDF-skjema (AcroForm) til JSON-format.

Opprett og kontroller en pålitelig robots.txt-fil

robots.txt-filen angir for utforskningsroboter hvilke stier de kan be om. Generatoren forbereder et rent grunnlag, validatoren oppdager vanlige feil, og simulatoren forklarer regelen som gjelder for en URL.

Bruksområder

  • Forbered et nytt nettstedOpprett en User-agent-gruppe, blokkér uinteressante områder for utforskning, og oppgi et absolutt sitemap.
  • Revider en eksisterende filLim innholdet for å oppdage ugyldige direktiver, duplikater, feilformaterte stier, utilsiktet HTML eller en størrelse større enn 500 Kio.
  • Diagnostiser en blokkert URLTest en URL med et spesifikt produkt-token for å identifisere den valgte gruppen og den mest spesifikke Allow- eller Disallow-regelen.

Anbefalt metode

Definer først den nøyaktige opprinnelsen til nettstedet. En fil servert over HTTPS styrer ikke HTTP, en annen underdomene eller en annen port. Den må være tilgjengelig på plasseringen /robots.txt.

Start med få regler og eksplisitte stier. Når flere regler samsvarer, vinner den mest spesifikke; ved lik spesifisitet har Allow forrang over Disallow.

Test viktige roboter og noen representative URL-er, publiser filen i UTF-8 med type text/plain, og sjekk deretter HTTP-responsen fra utsiden.

Begrensninger å være klar over

  • Å blokkere utforskning forhindrer ikke alltid en URL fra å vises i et søkeresultat. En URL kjent gjennom lenker kan forbli indeksert uten utdrag.
  • robots.txt er offentlig og beskytter ingen data. Bruk autentisering og serverrettigheter for sensitivt innhold.
  • Standarden definerer det felles grunnlaget, men hver robot kan støtte ekstra direktiver. Google ignorerer spesielt Crawl-delay.

Vanlige spørsmål

Hva er forskjellen mellom Allow og Disallow?
Disallow forbyr forespørselen om de samsvarende stiene. Allow oppretter et mer spesifikt unntak i et ellers blokkert område. En tom verdi blokkerer ingenting.
Teller store bokstaver og URL-parametere?
Ja. Sammenligningen av stien er følsom for store bokstaver og kan inkludere spørringsstrengen. Tegnene * og $ fungerer henholdsvis som wildcard og sluttmarkør.
Blir dataene mine sendt eller lagret?
Nei. Generering, analyse, simulering og eksport av filen skjer lokalt i nettleseren.

Før du blokkerer en sti

Sjekk at stien ikke inneholder nødvendige ressurser for å gjengi sidene, som stilark eller skript. En kort regel kan ha en mye bredere effekt enn forventet.