Tools Central

robots.txt-generaattori ja -validointi

Luo robots.txt-tiedosto, havaitse virheitä ja simuloida pääsyä URL-osoitteeseen tietyllä robotilla.

100 % paikallinen käsittely: syötetyt sisällöt ja URL-osoitteet eivät koskaan poistu selaimestasi.

1. Luo turvallinen pohja

Yksi syöte per rivi poluille. Generaattori lisää « / », koodaa välilyönnit ja poistaa päällekkäiset säännöt.

Protokolla, verkkotunnus ja portti määrittävät tiedoston laajuuden.Voimassa oleva verkkosivun URL
Käytä « * » kaikille roboteille tai tuotetunnusta kuten Googlebot.Voimassa oleva käyttäjä-agentti
Esimerkkejä: /admin/, /haku?, /*.pdf$
Tarkempi Allow-sääntö voi avata osan estetystä polusta.

2. Muokkaa ja vahvista

Liitä myös olemassa oleva tiedosto: analyysi päivittyy ilman verkkopyyntöä.

1ryhmät4säännöt1sitemaps139tavua

3. Testaa URL

Simulaattori soveltaa tarkkoja ryhmiä, tarkinta sääntöä, « * » ja « $ » RFC 9309:n mukaan.

Indeksointi sallittuEi soveltuvaa sääntöä: indeksointi on oletuksena sallittu.

Kolme kohtaa tarkistettavaksi ennen julkaisua

Tarkka laajuus

Aseta tiedosto juureen. Sen säännöt pätevät vain samalle protokollalle, isännälle ja portille.

Indeksointi, ei poistoindeksointi

Estetty URL voi silti näkyä hakutuloksissa. Indeksoinnin estämiseksi käytä suojausta tai noindexiä saavutettavalla sivulla.

Ei mitään luottamuksellista

Tiedosto on julkinen ja paljastaa luetellut polut. Älä käytä sitä koskaan pääsynhallintaan herkkiin tietoihin.

Takaisin SEO-työkaluihin

Samanlaiset työkalut

XML-sivustokartan luoja ja validoijaLuo URL-sivustokartta tai indeksi, validoi XML, päivämäärät, rajat ja laajuus, ja lataa tiedosto paikallisesti.
Hreflang-generaattori ja -tarkistajaLuo HTML-, HTTP- tai sitemap-merkintöjä ja tarkista sitten paikallisesti itseviittaukset, kanoniset ja takaisinlinkit monikielisten sivujen välillä.
Rakenteellisten tietojen poimijaPoimi paikallisesti JSON-LD:tä, Microdataa ja RDFa:ta HTML:stä, tutki entiteettejä ja suhteita, ja vie sitten rajattu JSON-raportti.
HTML-headin tarkastajaTarkasta paikallisesti title, kuvaus, kanoninen, robotit, näkymä, merkistö, hreflang, Open Graph, Twitter ja JSON-LD liimatusta HTML:stä.
Google-snippetin esikatseluTestaa otsikkoa, meta-kuvausta ja URL-osoitetta tietokoneella ja mobiililla arvioidulla leveydellä pikseleinä.
PDF → JSON kentätVie PDF-lomakkeen kenttien lista (AcroForm) JSON-muotoon.

Luo ja hallitse luotettavaa robots.txt-tiedostoa

robots.txt-tiedosto ilmoittaa indeksointiroboteille, mitä polkuja he voivat pyytää. Generaattori valmistaa puhtaan pohjan, validoija havaitsee yleiset virheet ja simulaattori selittää säännön, joka koskee URL-osoitetta.

Käyttötapaukset

  • Valmistele uusi sivustoLuo User-agent-ryhmä, estä indeksoinnille merkityksettömät alueet ja ilmoita absoluuttinen sitemap.
  • Tarkista olemassa oleva tiedostoLiitä sen sisältö löytääksesi virheelliset ohjeet, kaksoiskappaleet, väärin muotoillut polut, vahingossa lisätyt HTML:t tai yli 500 Kio:n koko.
  • Diagnosoi estetty URL-osoiteTestaa URL-osoite tietyllä tuotetunnuksella tunnistaaksesi valitun ryhmän ja tarkimman Allow- tai Disallow-säännön.

Suositeltu menetelmä

Määritä ensin sivuston tarkka alkuperä. HTTPS:llä palveleva tiedosto ei hallitse HTTP:tä, eri alidomainia tai muuta porttia. Sen on oltava saatavilla sijainnissa /robots.txt.

Aloita muutamalla säännöllä ja selkeillä poluilla. Kun useat säännöt vastaavat, tarkin voittaa; yhtä suurilla tarkkuuksilla Allow on etusijalla Disallow:iin nähden.

Testaa tärkeitä robotteja ja muutamia edustavia URL-osoitteita, julkaise tiedosto UTF-8-muodossa tyypillä text/plain, ja tarkista HTTP-vastaus ulkopuolelta.

Rajoitukset, jotka on hyvä tietää

  • Estäminen ei aina estä URL-osoitetta näkymästä hakutuloksissa. Linkkien kautta tunnettu URL-osoite voi pysyä indeksoituna ilman esikatselua.
  • robots.txt on julkinen eikä suojaa mitään tietoja. Käytä todennusta ja palvelinoikeuksia arkaluontoiselle sisällölle.
  • Standardi määrittelee yhteisen perustan, mutta jokainen robotti voi tukea lisäohjeita. Google ohittaa erityisesti Crawl-delay:n.

Usein kysytyt kysymykset

Mikä on ero Allowin ja Disallowin välillä?
Disallow estää vastaavien polkujen pyynnön. Allow luo tarkemman poikkeuksen muuten estetyssä tilassa. Tyhjät arvot eivät estä mitään.
Onko isoilla ja pienillä kirjaimilla sekä URL-parametreilla merkitystä?
Kyllä. Polun vertailu on kirjainherkkä ja voi sisältää kyselymerkkijonon. Merkit * ja $ toimivat vastaavasti jokerina ja loppumerkkinä.
Lähetetäänkö tai tallennetaanko tietoni?
Ei. Tiedoston luonti, analysointi, simulointi ja vienti tapahtuvat paikallisesti selaimessa.

Ennen polun estämistä

Varmista, että polku ei sisällä sivujen renderöimiseen tarvittavia resursseja, kuten tyylitiedostoja tai skriptejä. Lyhyt sääntö voi vaikuttaa paljon laajemmin kuin odotat.