Tools Central

robots.txt Generator en Validator

Skep 'n robots.txt-lêer, ontdek foute en simuleer toegang tot 'n URL vir 'n spesifieke robot.

100% plaaslike verwerking: die inhoud en URL's wat ingevoer word, verlaat nooit jou blaaiers nie.

1. Genereer 'n veilige basis

Een invoer per lyn vir die paaie. Die generator voeg « / » by, kodeer spaties en verwyder duplikate.

Die protokol, domein en poort definieer die omvang van die lêer.Geldige webadres
Gebruik « * » vir alle robots of 'n produk token soos Googlebot.Geldige user-agent
Voorbeelde: /admin/, /soek?, /*.pdf$
‘n Meer spesifieke Allow-reël kan 'n deel van 'n geblokkeerde pad heropen.

2. Redigeer en valideer

Plak ook 'n bestaande lêer: die ontleding word sonder netwerkversoek opgedateer.

1groepe4reëls1sitemaps139bytes

3. Toets 'n URL

Die simulator pas die presiese groepe, die mees spesifieke reël, « * » en « $ » toe volgens RFC 9309.

Verkenning toegelaatGeen toepaslike reël nie: verkenning is standaard toegelaat.

Drie punte om te kontroleer voor publikasie

Presiese omvang

Plaas die lêer in die wortel. Sy reëls geld slegs vir dieselfde protokol, gasheer en poort.

Verkenning, nie de-indexering nie

‘n Geblokkeerde URL kan steeds in die resultate verskyn. Om indeksasie te verhoed, gebruik 'n beskerming of noindex op 'n toeganklike bladsy.

Geen privaatheid

Die lêer is publiek en onthul die gelysde paaie. Moet dit nooit as 'n toegangbeheer vir sensitiewe data gebruik nie.

Terug na SEO-gereedskap

Soortgelyke gereedskap

XML-sitemapgenerator en -valideerderSkep 'n URL-sitemap of 'n indeks, valideer die XML, datums, grense en omvang, en laai die lêer dan plaaslik af.
Hreflang-generator en -kontroleerderSkep HTML-, HTTP- of sitemap-annotasies, en kontroleer dan plaaslik die outo-verwysings, kanonieke en terugskakels tussen meertalige bladsye.
Gestructureerde data-uittrekkerPlaaslik JSON-LD, Microdata en RDFa uit HTML onttrek, entiteite en verhoudings verken, en dan 'n begrensde JSON-verslag uitvoer.
HTML Head AuditorAuditeer plaaslik title, beskrywing, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter en JSON-LD vanaf gekopieerde HTML.
Google snippet voorvertonerToets 'n titel, 'n meta beskrywing en 'n URL op rekenaar en selfoon met 'n skatting van breedte in pixels.
PDF velde → JSONEksporteer die lys van velde van 'n PDF-formulier (AcroForm) na JSON-formaat.

Skep en beheer 'n betroubare robots.txt-lêer

Die robots.txt-lêer dui aan vir verkenningsrobots watter paaie hulle kan opvra. Die generator berei 'n skoon basis voor, die validator ontdek algemene foute en die simulator verduidelik die reël wat op 'n URL toegepas word.

Gebruik gevalle

  • Bereid 'n nuwe webwerf voorSkep 'n User-agent-groep, blokkeer onbelangrike ruimtes vir verkenning en verklaar 'n absolute sitemap.
  • Auditeer 'n bestaande lêerPlak die inhoud om ongeldige richtlijnen, duplicaten, verkeerd gevormde paden, toevallige HTML of 'n grootte groter as 500 Kio op te spoor.
  • Diagnoseer 'n geblokkeerde URLToets 'n URL met 'n spesifieke produk token om die geselekteerde groep en die mees spesifieke Allow of Disallow-reël te identifiseer.

Aanbevole metode

Definieer eers die presiese oorsprong van die webwerf. 'n Lêer wat in HTTPS bedien word, regeer nie HTTP, 'n ander subdomein of 'n ander poort nie. Dit moet toeganklik wees op die ligging /robots.txt.

Begin met min reëls en eksplisiete paaie. Wanneer verskeie reëls ooreenstem, wen die mees spesifieke; by gelyke spesifisiteit, het Allow voorrang bo Disallow.

Toets die belangrikste robots en 'n paar verteenwoordigende URL's, publiseer die lêer in UTF-8 met die tipe text/plain, en kontroleer dan die HTTP-respons van buite.

Grense om te ken

  • Die blokkering van verkenning verhoed nie altyd dat 'n URL in 'n soekresultaat verskyn nie. 'n URL wat deur skakels bekend is, kan steeds geïndekseer bly sonder 'n uittreksel.
  • robots.txt is publiek en beskerm geen data nie. Gebruik 'n autentisering en bediener toestemmings vir sensitiewe inhoud.
  • Die standaard definieer die gemeenskaplike grondslag, maar elke robot kan bykomende riglyne ondersteun. Google ignoreer veral Crawl-delay.

Gereelde vrae

Wat is die verskil tussen Allow en Disallow?
Disallow verbied die opvraging van die ooreenstemmende paaie. Allow skep 'n meer spesifieke uitsondering in 'n andersins geblokkeerde ruimte. 'n Leë waarde blokkeer niks.
Tel hoofletters en URL parameters?
Ja. Die padvergelyking is hooflettergevoelig en kan die versoekstring insluit. Die karakters * en $ dien onderskeidelik as wildcard en eindmerk.
Word my data gestuur of gestoor?
Nee. Die generering, analise, simulering en uitvoer van die lêer word plaaslik in die blaaier uitgevoer.

Voordat jy 'n pad blokkeer

Maak seker dat die pad nie die hulpbronne bevat wat nodig is vir die weergawe van die bladsye nie, soos stylesheets of skripte. 'n Kort reël kan 'n baie breër effek hê as wat verwag word.