Generátor a validátor robots.txt

Vytvorte súbor robots.txt, odhaľte chyby a simulujte prístup k URL pre konkrétny robot.

Spracovanie 100 % lokálne: obsah a zadané URL nikdy neopustia váš prehliadač.

1. Vytvoriť bezpečný základ

Jedna položka na riadok pre cesty. Generátor pridáva „/“, kóduje medzery a odstraňuje duplicity pravidiel.

2. Upraviť a overiť

Prilepte aj existujúci súbor: analýza sa aktualizuje bez sieťového požiadavku.

User-agent: *
Allow: /assets/
Disallow: /admin/
Disallow: /private/
Disallow: /search?

Sitemap: https://www.tools-central.com/sitemap.xml

1skupiny4pravidlá1sitemapy139bajty

3. Testovať URL

Simulátor aplikuje presné skupiny, najšpecifickejšie pravidlo, „ * “ a „ $ “ podľa RFC 9309.

Produktový token robota

URL alebo cesta na testovanie

Prehliadanie povolenéŽiadne platné pravidlo: prehľadávanie je predvolene povolené.

Tri body na kontrolu pred publikovaním

Presný rozsah

Umiestnite súbor do koreňa. Jeho pravidlá platia len pre rovnaký protokol, hostiteľa a port.

Prehliadanie, nie deindexácia

Zablokovaná URL adresa sa môže stále objaviť vo výsledkoch. Na zabránenie indexovaniu použite ochranu alebo noindex na prístupnej stránke.

Žiadna dôvernosť

Súbor je verejný a odhaľuje uvedené cesty. Nikdy ho nepoužívajte ako kontrolu prístupu k citlivým údajom.

Späť na SEO nástroje

Prípadové štúdie

Pripraviť novú stránkuVytvorte skupinu User-agent, zablokujte nezaujímavé oblasti pre prehľadávanie a deklarujte absolútny sitemap.
Auditorovať existujúci súborVložte jeho obsah na kontrolu neplatných pokynov, duplicit, nesprávnych ciest, náhodného HTML alebo veľkosti presahujúcej 500 Kio.
Diagnostikovať zablokovanú URLOtestujte URL s konkrétnym produktovým tokenom, aby ste identifikovali vybranú skupinu a najšpecifickejšie pravidlo Allow alebo Disallow.

Odporúčaná metóda

Najprv definujte presný pôvod stránky. Súbor poskytovaný cez HTTPS neovláda HTTP, iný subdomén ani iný port. Musí byť prístupný na umiestnení /robots.txt.

Začnite s niekoľkými pravidlami a explicitnými cestami. Keď sa zhoduje viacero pravidiel, vyhráva najšpecifickejšie; pri rovnakej špecifickosti prevláda Allow nad Disallow.

Otestujte dôležité roboty a niekoľko reprezentatívnych URL, publikujte súbor v UTF-8 s typom text/plain, potom skontrolujte odpoveď HTTP zvonka.

Obmedzenia, ktoré treba poznať

Blokovanie prehľadávania nezabráni vždy, aby sa URL objavila vo výsledku vyhľadávania. URL známa prostredníctvom odkazov môže zostať indexovaná bez výňatku.
robots.txt je verejný a neochráni žiadne údaje. Použite autentifikáciu a serverové oprávnenia pre citlivý obsah.
Štandard definuje spoločný základ, ale každý robot môže podporovať ďalšie pokyny. Google najmä ignoruje Crawl-delay.

Často kladené otázky

Aký je rozdiel medzi Allow a Disallow?

Disallow zakazuje požiadavku na zodpovedajúce cesty. Allow vytvára špecifickejšiu výnimku v inak zablokovanom priestore. Prázdna hodnota nič nezablokuje.

Zohľadňujú sa veľké písmená a parametre URL?

Áno. Porovnanie cesty je citlivé na veľké písmená a môže zahŕňať reťazec dotazu. Znaky * a $ slúžia ako zástupné znaky a značky konca.

Sú moje údaje odosielané alebo zaznamenávané?

Nie. Generovanie, analýza, simulácia a export súboru sa vykonávajú lokálne v prehliadači.

Pred zablokovaním cesty

Skontrolujte, či cesta neobsahuje zdroje potrebné na vykreslenie stránok, ako sú štýlové listy alebo skripty. Krátke pravidlo môže mať oveľa širší účinok, než sa očakávalo.