Tools Central

robots.txt generator og validator

Opret en robots.txt-fil, opdag fejl og simulér adgangen til en URL for en specifik robot.

100 % lokal behandling: det indhold og de URL'er, der indtastes, forlader aldrig din browser.

1. Generer en sikker base

En indtastning pr. linje for stier. Generatoren tilføjer « / », koder mellemrum og deduplicerer regler.

Protokollen, domænet og porten definerer omfanget af filen.Gyldig webadresse
Brug « * » for alle robotter eller et produkt token som Googlebot.Gyldig bruger-agent
Eksempler: /admin/, /search?, /*.pdf$
En mere specifik Allow-regel kan genåbne en del af en blokeret sti.

2. Rediger og valider

Indsæt også en eksisterende fil: analysen opdateres uden netværksanmodning.

1grupper4regler1sitemaps139bytes

3. Test en URL

Simulatoren anvender de nøjagtige grupper, den mest specifikke regel, « * » og « $ » i henhold til RFC 9309.

Gennemgang tilladtIngen gældende regel: crawling er tilladt som standard.

Tre punkter at kontrollere før offentliggørelse

Nøjagtigt omfang

Placer filen i roden. Dens regler gælder kun for den samme protokol, vært og port.

Gennemgang, ikke deindeksering

En blokeret URL kan stadig vises i resultaterne. For at forhindre indeksering, brug en beskyttelse eller noindex på en tilgængelig side.

Ingen fortrolighed

Filen er offentlig og afslører de listede stier. Brug den aldrig som adgangskontrol til følsomme data.

Tilbage til SEO-værktøjer

Relaterede værktøjer

Generator og validator for sitemap XMLOpret et sitemap af URL'er eller et indeks, valider XML, datoer, grænser og omfang, og download derefter filen lokalt.
Hreflang-generator og -kontrolOpret HTML-, HTTP- eller sitemap-annoteringer, og kontroller derefter lokalt for selvreferencer, kanoniske links og tilbagekoblinger mellem flersprogede sider.
Struktureret dataudtrækkerEkstraher JSON-LD, Microdata og RDFa lokalt fra HTML, udforsk enheder og relationer, og eksporter derefter en begrænset JSON-rapport.
HTML Head AuditorAudit local af title, description, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter og JSON-LD fra indsat HTML.
Google snippet forhåndsvisningTest en titel, en meta beskrivelse og en URL på computer og mobil med en estimeret bredde i pixels.
Felter PDF → JSONEksporter listen over felter fra en PDF-formular (AcroForm) til JSON-format.

Opret og kontroller en pålidelig robots.txt-fil

robots.txt-filen angiver for crawler-robotter, hvilke stier de kan anmode om. Generatoren forbereder en ren base, validatoren opdager almindelige fejl, og simulatoren forklarer reglen anvendt på en URL.

Brugssager

  • Forbered en ny hjemmesideOpret en User-agent-gruppe, blokér uinteressante områder for crawling og angiv et absolut sitemap.
  • Revidere en eksisterende filIndsæt indholdet for at finde ugyldige direktiver, dubletter, dårligt formede stier, utilsigtet HTML eller en størrelse større end 500 Kio.
  • Diagnostisere en blokeret URLTest en URL med et specifikt produkt token for at identificere den valgte gruppe og den mest specifikke Allow- eller Disallow-regel.

Anbefalet metode

Definér først den nøjagtige oprindelse af hjemmesiden. En fil, der serveres over HTTPS, styrer ikke HTTP, en anden underdomæne eller en anden port. Den skal være tilgængelig på placeringen /robots.txt.

Start med få regler og eksplicitte stier. Når flere regler matcher, vinder den mest specifikke; ved lighed i specifikhed har Allow forrang over Disallow.

Test de vigtige robotter og nogle repræsentative URL'er, offentliggør filen i UTF-8 med typen text/plain, og kontroller derefter HTTP-svaret udefra.

Grænser at kende

  • At blokere crawling forhindrer ikke altid en URL i at vises i et søgeresultat. En URL, der er kendt gennem links, kan forblive indekseret uden uddrag.
  • robots.txt er offentlig og beskytter ikke nogen data. Brug autentificering og serverrettigheder til følsomt indhold.
  • Standarden definerer det fælles fundament, men hver robot kan understøtte yderligere direktiver. Google ignorerer især Crawl-delay.

Ofte stillede spørgsmål

Hvad er forskellen mellem Allow og Disallow?
Disallow forhindrer anmodningen om de matchende stier. Allow skaber en mere specifik undtagelse i et ellers blokeret område. En tom værdi blokerer ikke noget.
Tæller store bogstaver og URL-parametre?
Ja. Sammenligningen af stien er skelnet mellem store og små bogstaver og kan inkludere forespørgselsstrengen. Tegnene * og $ fungerer henholdsvis som wildcard og slutmærke.
Bliver mine data sendt eller gemt?
Nej. Generering, analyse, simulering og eksport af filen udføres lokalt i browseren.

Før du blokerer en sti

Sørg for, at stien ikke indeholder de nødvendige ressourcer til rendering af sider, såsom stilarter eller scripts. En kort regel kan have en meget bredere effekt end forventet.