Tools Central

Generator și validator robots.txt

Creează un fișier robots.txt, detectează erorile și simulează accesul la o URL pentru un robot specific.

Procesare 100% locală: conținutul și URL-urile introduse nu părăsesc niciodată browserul tău.

1. Generează o bază sigură

O intrare pe linie pentru căi. Generatorul adaugă « / », encodează spațiile și deduplică regulile.

Protocolul, domeniul și portul definesc domeniul fișierului.URL valid al site-ului
Folosiți „ * ” pentru toți roboții sau un token de produs precum Googlebot.User-agent valid
Exemple: /admin/, /cautare?, /*.pdf$
O regulă Allow mai specifică poate redeschide o parte dintr-un drum blocat.

2. Editați și validați

Lipiti de asemenea un fișier existent: analiza se actualizează fără cerere de rețea.

1grupuri4reguli1sitemaps139octeți

3. Testați o URL

Simulatorul aplică grupurile exacte, regula cea mai specifică, „ * ” și „ $ ” conform RFC 9309.

Explorare permisăNicio regulă aplicabilă: explorarea este permisă în mod implicit.

Trei puncte de verificat înainte de publicare

Domeniu exact

Plasați fișierul la rădăcină. Regulile sale se aplică doar pentru același protocol, gazdă și port.

Explorare, nu dezindexare

O URL blocată poate apărea în continuare în rezultate. Pentru a împiedica indexarea, folosiți o protecție sau noindex pe o pagină accesibilă.

Nicio confidențialitate

Fișierul este public și dezvăluie căile listate. Nu-l folosiți niciodată ca un control de acces la date sensibile.

Înapoi la instrumentele SEO

Unelte similare

Generator și validator sitemap XMLCreează un sitemap de URL-uri sau un index, validează XML-ul, datele, limitele și domeniul, apoi descarcă fișierul local.
Generator și verificator hreflangCreează adnotări HTML, HTTP sau sitemap, apoi verifică local auto-referințele, canonicele și linkurile de întoarcere între paginile multilingve.
Extractor de date structurateExtrageți local JSON-LD, Microdata și RDFa din HTML, explorați entitățile și relațiile, apoi exportați un raport JSON limitat.
Auditor de head HTMLAuditează local titlul, descrierea, canonical, roboții, viewport, charset, hreflang, Open Graph, Twitter și JSON-LD din HTML lipit.
Previzualizator de snippet GoogleTestați un titlu, o meta descriere și o URL pe computer și mobil cu o estimare a lățimii în pixeli.
Câmpuri PDF → JSONExportați lista câmpurilor unui formular PDF (AcroForm) în format JSON.

Creează și controlează un fișier robots.txt de încredere

Fișierul robots.txt indică roboților de explorare căile pe care le pot solicita. Generatorul pregătește o bază curată, validatorul detectează erorile frecvente, iar simulatorul explică regula aplicată unei URL.

Cazuri de utilizare

  • Pregătește un nou siteCreează un grup User-agent, blochează spațiile fără interes pentru explorare și declară un sitemap absolut.
  • Auditează un fișier existentLipiți conținutul său pentru a identifica directivele invalide, duplicatele, căile mal formate, HTML-ul accidental sau o dimensiune mai mare de 500 Kio.
  • Diagnosticare a unei URL blocateTestează o URL cu un token de produs specific pentru a identifica grupul selectat și regula Allow sau Disallow cea mai specifică.

Metodă recomandată

Definește mai întâi originea exactă a site-ului. Un fișier servit în HTTPS nu guvernează HTTP, un subdomeniu diferit sau un alt port. Trebuie să fie accesibil la locația /robots.txt.

Începe cu puține reguli și căi explicite. Când mai multe reguli se potrivesc, cea mai specifică câștigă; la specificitate egală, Allow prevalează asupra Disallow.

Testează roboții importanți și câteva URL-uri reprezentative, publică fișierul în UTF-8 cu tipul text/plain, apoi verifică răspunsul HTTP din exterior.

Limite de cunoscut

  • Blocarea explorării nu împiedică întotdeauna o URL să apară într-un rezultat de căutare. O URL cunoscută prin linkuri poate rămâne indexată fără extras.
  • robots.txt este public și nu protejează nicio dată. Folosește autentificarea și permisiunile serverului pentru conținuturi sensibile.
  • Standardul definește baza comună, dar fiecare robot poate accepta directive suplimentare. Google ignoră în special Crawl-delay.

Întrebări frecvente

Care este diferența între Allow și Disallow?
Disallow interzice solicitarea căilor corespunzătoare. Allow creează o excepție mai specifică într-un spațiu altfel blocat. O valoare goală nu blochează nimic.
Contorizează majusculele și parametrii URL?
Da. Compararea căii este sensibilă la caz și poate include șirul de interogare. Caracterul * și $ servesc respectiv ca wildcard și marcator de sfârșit.
Datele mele sunt trimise sau înregistrate?
Nu. Generarea, analiza, simularea și exportul fișierului se realizează local în browser.

Înainte de a bloca o cale

Verifică dacă calea nu conține resurse necesare pentru redarea paginilor, cum ar fi foile de stil sau scripturile. O regulă scurtă poate avea un efect mult mai larg decât se aștepta.