Tools Central

robots.txt generátor és érvényesítő

robots.txt fájl létrehozása, hibák észlelése és URL hozzáférésének szimulálása egy adott robot számára.

100%-ban helyi feldolgozás: a megadott tartalom és URL soha nem hagyja el a böngészőjét.

1. Biztonságos alap létrehozása

Egy bejegyzés egy sorban az útvonalakhoz. A generátor hozzáadja a „/”-t, kódolja a szóközöket és eltávolítja a duplikált szabályokat.

A protokoll, a domain és a port határozza meg a fájl terjedelmét.Érvényes webhely URL
Használja a „*” karaktert minden robotra, vagy egy termék token-t, mint például a Googlebot.Érvényes felhasználói ügynök
Példák: /admin/, /keresés?, /*.pdf$
Egy specifikusabb Allow szabály újra megnyithat egy blokkolt útvonal egy részét.

2. Szerkesztés és érvényesítés

Illesszen be egy meglévő fájlt is: az elemzés frissül hálózati kérés nélkül.

1csoportok4szabályok1sitemaps139bájtok

3. URL tesztelése

A szimulátor alkalmazza a pontos csoportokat, a legspecifikusabb szabályt, a „*” és a „$” karaktert az RFC 9309 szerint.

Felfedezés engedélyezveNincs alkalmazható szabály: az indexelés alapértelmezés szerint engedélyezett.

Három pont, amit ellenőrizni kell a közzététel előtt

Pontosan terjedelmi

Helyezze a fájlt a gyökérbe. Szabályai csak ugyanarra a protokollra, gazdára és portra érvényesek.

Felfedezés, nem eltávolítás

Egy blokkolt URL még mindig megjelenhet az eredmények között. Az indexelés megakadályozásához használjon védelmet vagy noindex-et egy hozzáférhető oldalon.

Nincs titkosság

A fájl nyilvános, és felfedi a felsorolt útvonalakat. Soha ne használja érzékeny adatok hozzáférésének ellenőrzésére.

Vissza az SEO eszközökhöz

Hasonló eszközök

XML sitemap generátor és validátorHozzon létre egy URL sitemapot vagy indexet, érvényesítse a XML-t, a dátumokat, a határokat és a terjedelmet, majd töltse le a fájlt helyben.
Hreflang generátor és ellenőrzőHTML, HTTP vagy sitemap annotációk létrehozása, majd a helyi önreferenciák, kanonikusok és visszautalások ellenőrzése többnyelvű oldalak között.
Strukturált adatok kinyerőJSON-LD, Microdata és RDFa helyi kinyerése HTML-ből, entitások és kapcsolatok felfedezése, majd egy korlátozott JSON jelentés exportálása.
HTML fejléctauditorHelyben ellenőrizze a title, description, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter és JSON-LD elemeket a beillesztett HTML-ből.
Google snippet előnézetTesztelje egy cím, egy meta leírás és egy URL megjelenését számítógépen és mobilon, pixel szélesség becsléssel.
PDF mezők → JSONEgy PDF űrlap (AcroForm) mezőinek listájának exportálása JSON formátumban.

Megbízható robots.txt fájl létrehozása és ellenőrzése

A robots.txt fájl megmondja a felfedező robotoknak, hogy mely útvonalakat kérhetnek. A generátor egy tiszta alapot készít, az érvényesítő észleli a gyakori hibákat, a szimulátor pedig elmagyarázza a szabályt, amely egy URL-re vonatkozik.

Használati esetek

  • Új webhely előkészítéseHozzon létre egy User-agent csoportot, blokkolja a felfedezés szempontjából érdektelen területeket, és nyilatkozzon egy abszolút sitemapról.
  • Meglévő fájl auditálásaIllessze be a tartalmát, hogy észlelje az érvénytelen utasításokat, a duplikációkat, a hibás útvonalakat, a véletlen HTML-t vagy az 500 Kio-nál nagyobb méretet.
  • Blokkolt URL diagnosztizálásaTeszteljen egy URL-t egy adott termék tokennel, hogy azonosítsa a kiválasztott csoportot és a legspecifikusabb Allow vagy Disallow szabályt.

Ajánlott módszer

Először határozza meg a webhely pontos forrását. Egy HTTPS-en szolgált fájl nem irányítja az HTTP-t, egy másik almappát vagy más portot. Hozzáférhetőnek kell lennie a /robots.txt helyen.

Kezdje kevés szabállyal és egyértelmű útvonalakkal. Amikor több szabály is érvényes, a legspecifikusabb érvényesül; azonos specifikáció esetén az Allow felülírja a Disallow-t.

Tesztelje a fontos robotokat és néhány reprezentatív URL-t, publikálja a fájlt UTF-8-ban text/plain típussal, majd ellenőrizze a HTTP választ kívülről.

Ismerendő korlátok

  • A felfedezés blokkolása nem mindig akadályozza meg, hogy egy URL megjelenjen a keresési eredmények között. Egy linkek által ismert URL indexelve maradhat anélkül, hogy kivonatot kapna.
  • A robots.txt nyilvános, és nem véd semmilyen adatot. Használjon hitelesítést és szerverengedélyeket érzékeny tartalmakhoz.
  • A szabvány meghatározza a közös alapot, de minden robot támogathat további utasításokat. A Google például figyelmen kívül hagyja a Crawl-delay-t.

Gyakori kérdések

Mi a különbség az Allow és a Disallow között?
A Disallow megtiltja a megfelelő útvonalak kérését. Az Allow egy specifikusabb kivételt hoz létre egy máskülönben blokkolt területen. Egy üres érték nem blokkol semmit.
Számítanak a nagybetűk és az URL paraméterek?
Igen. Az útvonal összehasonlítása kis- és nagybetű érzékeny, és tartalmazhatja a lekérdezési karakterláncot is. A * és $ karakterek a joker és a végjelölő szerepét töltik be.
Az adataim elküldésre vagy rögzítésre kerülnek?
Nem. A fájl generálása, elemzése, szimulálása és exportálása helyben, a böngészőben történik.

Mielőtt blokkolna egy útvonalat

Ellenőrizze, hogy az útvonal nem tartalmazza-e a lapok megjelenítéséhez szükséges erőforrásokat, mint például a stíluslapok vagy a szkriptek. Egy rövid szabály sokkal szélesebb hatást gyakorolhat, mint várnánk.