Tools Central

robots.txt-generator och validerare

Skapa en robots.txt-fil, upptäck fel och simulera åtkomst till en URL för en specifik robot.

100 % lokal behandling: det innehåll och de URL:er som anges lämnar aldrig din webbläsare.

1. Generera en säker bas

En post per rad för vägar. Generatorn lägger till « / », kodar mellanslag och deduplicerar regler.

Protokollet, domänen och porten definierar omfattningen av filen.Giltig webbplats-URL
Använd « * » för alla robotar eller en produkt-token som Googlebot.Giltig användaragent
Exempel: /admin/, /sökning?, /*.pdf$
En mer specifik Allow-regel kan återöppna en del av en blockerad väg.

2. Redigera och validera

Klistra också in en befintlig fil: analysen uppdateras utan nätverksförfrågan.

1grupper4regler1sitemaps139byte

3. Testa en URL

Simulatorn tillämpar exakta grupper, den mest specifika regeln, « * » och « $ » enligt RFC 9309.

Genomsökning tillåtenIngen tillämplig regel: genomsökning är tillåten som standard.

Tre punkter att kontrollera innan publicering

Exakt omfattning

Placera filen i roten. Dess regler gäller endast för samma protokoll, värd och port.

Genomsökning, inte avindexering

En blockerad URL kan fortfarande visas i resultaten. För att förhindra indexering, använd skydd eller noindex på en tillgänglig sida.

Ingen sekretess

Filen är offentlig och avslöjar de listade sökvägarna. Använd den aldrig som en åtkomstkontroll för känslig information.

Tillbaka till SEO-verktyg

Relaterade verktyg

Sitemap XML-generator och validerareSkapa en URL-sitemap eller ett index, validera XML, datum, begränsningar och omfång, och ladda sedan ner filen lokalt.
Hreflang-generator och verifierareSkapa HTML-, HTTP- eller sitemap-anteckningar och kontrollera lokalt självreferenser, kanoniska och återkopplingslänkar mellan flerspråkiga sidor.
Strukturerad datautdragareExtrahera lokalt JSON-LD, Microdata och RDFa från HTML, utforska entiteter och relationer, och exportera sedan en begränsad JSON-rapport.
HTML-head-granskareGranska lokalt title, description, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter och JSON-LD från klistrad HTML.
Google snippet-förhandsgranskareTesta en titel, en meta-beskrivning och en URL på dator och mobil med en uppskattning av bredd i pixlar.
Fält PDF → JSONExportera listan över fälten i ett PDF-formulär (AcroForm) till JSON-format.

Skapa och kontrollera en pålitlig robots.txt-fil

robots.txt-filen anger för webbrobotar vilka vägar de kan begära. Generatorn förbereder en ren bas, valideraren upptäcker vanliga fel och simulatorn förklarar regeln som tillämpas på en URL.

Användningsfall

  • Förbereda en ny webbplatsSkapa en User-agent-grupp, blockera ovidkommande utrymmen för genomsökning och ange en absolut sitemap.
  • Granska en befintlig filKlistra in dess innehåll för att identifiera ogiltiga direktiv, dubbletter, felaktiga sökvägar, oavsiktlig HTML eller en storlek över 500 Kio.
  • Diagnostisera en blockerad URLTesta en URL med en specifik produkt-token för att identifiera den valda gruppen och den mest specifika Allow- eller Disallow-regeln.

Rekommenderad metod

Definiera först den exakta ursprunget för webbplatsen. En fil som serveras över HTTPS styr inte HTTP, en annan subdomän eller en annan port. Den måste vara tillgänglig på platsen /robots.txt.

Börja med få regler och explicita vägar. När flera regler matchar vinner den mest specifika; vid lika specifikationer har Allow företräde framför Disallow.

Testa viktiga robotar och några representativa URL:er, publicera filen i UTF-8 med typen text/plain, och kontrollera sedan HTTP-svaret utifrån.

Gränser att känna till

  • Att blockera genomsökning förhindrar inte alltid en URL från att visas i ett sökresultat. En URL som är känd genom länkar kan förbli indexerad utan utdrag.
  • robots.txt är offentlig och skyddar ingen data. Använd autentisering och serverbehörigheter för känsligt innehåll.
  • Standarden definierar den gemensamma grunden, men varje robot kan stödja ytterligare direktiv. Google ignorerar särskilt Crawl-delay.

Vanliga frågor

Vad är skillnaden mellan Allow och Disallow?
Disallow förbjuder begäran av de matchande vägarna. Allow skapar ett mer specifikt undantag i ett annars blockerat utrymme. Ett tomt värde blockerar ingenting.
Spelar versaler och URL-parametrar någon roll?
Ja. Jämförelsen av vägen är skiftlägeskänslig och kan inkludera frågesträngen. Tecknen * och $ fungerar respektive som jokertecken och slutmarkör.
Sänds eller registreras mina data?
Nej. Generering, analys, simulering och export av filen görs lokalt i webbläsaren.

Innan du blockerar en väg

Kontrollera att vägen inte innehåller resurser som behövs för att rendera sidor, som stilmallar eller skript. En kort regel kan ha en mycket bredare effekt än förväntat.