Generátor a validátor robots.txt

Vytvořte soubor robots.txt, detekujte chyby a simulujte přístup k URL pro konkrétního robota.

Zpracování 100 % lokálně: obsah a zadané URL nikdy neopustí váš prohlížeč.

1. Vytvořte bezpečný základ

Jedna položka na řádek pro cesty. Generátor přidává „/“, kóduje mezery a odstraňuje duplicity pravidel.

2. Editovat a validovat

Také vložte existující soubor: analýza se aktualizuje bez síťového požadavku.

User-agent: *
Allow: /assets/
Disallow: /admin/
Disallow: /private/
Disallow: /search?

Sitemap: https://www.tools-central.com/sitemap.xml

1skupiny4pravidla1sitemapy139bajty

3. Testovat URL

Simulátor aplikuje přesné skupiny, nejspecifičtější pravidlo, „*“ a „$“ podle RFC 9309.

Token produktu robota

URL nebo cesta k testování

Procházení povolenoŽádné použitelné pravidlo: procházení je ve výchozím nastavení povoleno.

Tři body k ověření před publikací

Přesný rozsah

Umístěte soubor do kořenového adresáře. Jeho pravidla platí pouze pro stejný protokol, hostitele a port.

Procházení, ne deindexace

Blokovaná URL se stále může objevit ve výsledcích. Pro zabránění indexaci použijte ochranu nebo noindex na přístupné stránce.

Žádná důvěrnost

Soubor je veřejný a odhaluje uvedené cesty. Nikdy ho nepoužívejte jako kontrolu přístupu k citlivým datům.

Zpět k nástrojům SEO

Případové studie

Příprava nového webuVytvořte skupinu User-agent, zablokujte nezajímavé cesty pro procházení a deklarujte absolutní sitemap.
Audit existujícího souboruVložte jeho obsah pro identifikaci neplatných pokynů, duplicit, špatně formátovaných cest, náhodného HTML nebo velikosti přes 500 Kio.
Diagnostika zablokované URLOtestujte URL s konkrétním tokenem produktu, abyste identifikovali vybranou skupinu a nejkonkrétnější pravidlo Allow nebo Disallow.

Doporučená metoda

Nejprve definujte přesný původ webu. Soubor servírovaný přes HTTPS neovládá HTTP, jinou subdoménu ani jiný port. Musí být přístupný na umístění /robots.txt.

Začněte s několika pravidly a explicitními cestami. Když odpovídá více pravidel, vyhrává to nejkonkrétnější; při stejné specifikaci má přednost Allow před Disallow.

Otestujte důležité roboty a několik reprezentativních URL, publikujte soubor v UTF-8 s typem text/plain, poté zkontrolujte HTTP odpověď zvenčí.

Limity, které je třeba znát

Blokování procházení vždy nezabrání URL, aby se objevila ve výsledku vyhledávání. URL známá z odkazů může zůstat indexována bez výpisu.
robots.txt je veřejný a nechrání žádná data. Použijte autentizaci a serverová oprávnění pro citlivý obsah.
Standard definuje společný základ, ale každý robot může podporovat další direktivy. Google například ignoruje Crawl-delay.

Časté dotazy

Jaký je rozdíl mezi Allow a Disallow?

Disallow zakazuje požadavek na odpovídající cesty. Allow vytváří konkrétnější výjimku v jinak zablokovaném prostoru. Prázdná hodnota nic nezablokuje.

Hrají velká písmena a parametry URL roli?

Ano. Porovnání cesty je citlivé na velikost písmen a může zahrnovat dotazovací řetězec. Znaky * a $ slouží jako zástupné znaky a značky konce.

Jsou moje data odesílána nebo ukládána?

Ne. Generování, analýza, simulace a export souboru se provádějí lokálně v prohlížeči.

Před blokováním cesty

Zkontrolujte, zda cesta neobsahuje zdroje potřebné pro vykreslování stránek, jako jsou styly nebo skripty. Krátké pravidlo může mít mnohem širší účinek, než se očekávalo.