Tools Central

Generatore e validatore robots.txt

Crea un file robots.txt, rileva errori e simula l'accesso a un URL per un robot specifico.

Elaborazione 100% locale: il contenuto e gli URL inseriti non lasciano mai il tuo browser.

1. Generare una base sicura

Un'entrata per riga per i percorsi. Il generatore aggiunge « / », codifica gli spazi e deduplica le regole.

Il protocollo, il dominio e la porta definiscono l'ambito del file.URL del sito valido
Usa « * » per tutti i robot o un token di prodotto come Googlebot.User-agent valido
Esempi: /admin/, /ricerca?, /*.pdf$
Una regola Allow più specifica può riaprire una parte di un percorso bloccato.

2. Modifica e valida

Incolla anche un file esistente: l'analisi si aggiorna senza richiesta di rete.

1gruppi4regole1sitemaps139byte

3. Testa un URL

Il simulatore applica i gruppi esatti, la regola più specifica, « * » e « $ » secondo RFC 9309.

Esplorazione consentitaNessuna regola applicabile: l'esplorazione è consentita per impostazione predefinita.

Tre punti da controllare prima della pubblicazione

Ambito esatto

Posiziona il file nella radice. Le sue regole valgono solo per lo stesso protocollo, host e porta.

Esplorazione, non disindicizzazione

Un URL bloccato può ancora apparire nei risultati. Per impedire l'indicizzazione, utilizza una protezione o noindex su una pagina accessibile.

Nessuna riservatezza

Il file è pubblico e rivela i percorsi elencati. Non usarlo mai come controllo di accesso a dati sensibili.

Torna agli strumenti SEO

Strumenti simili

Generatore e validatore sitemap XMLCrea una sitemap di URL o un indice, valida il XML, le date, i limiti e il perimetro, quindi scarica il file localmente.
Generatore e verificatore hreflangCrea annotazioni HTML, HTTP o sitemap, quindi verifica localmente i riferimenti auto, i canonici e i link di ritorno tra pagine multilingue.
Estrazione di dati strutturatiEstrai localmente JSON-LD, Microdata e RDFa da HTML, esplora entità e relazioni, quindi esporta un rapporto JSON limitato.
Auditor di head HTMLAudita localmente title, description, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter e JSON-LD da HTML incollato.
Anteprima snippet GoogleTesta un titolo, una meta descrizione e un URL su computer e mobile con una stima della larghezza in pixel.
Campi PDF → JSONEsportare l'elenco dei campi di un modulo PDF (AcroForm) in formato JSON.

Creare e controllare un file robots.txt affidabile

Il file robots.txt indica ai robot di esplorazione i percorsi che possono richiedere. Il generatore prepara una base pulita, il validatore rileva errori comuni e il simulatore spiega la regola applicata a un URL.

Casi d'uso

  • Preparare un nuovo sitoCrea un gruppo User-agent, blocca gli spazi non interessanti per l'esplorazione e dichiara una sitemap assoluta.
  • Audire un file esistenteIncolla il suo contenuto per individuare le direttive non valide, i duplicati, i percorsi malformati, l'HTML accidentale o una dimensione superiore a 500 KiB.
  • Diagnosticare un URL bloccatoTesta un URL con un token prodotto specifico per identificare il gruppo selezionato e la regola Allow o Disallow più specifica.

Metodo raccomandato

Definisci prima l'origine esatta del sito. Un file servito in HTTPS non governa HTTP, un sottodominio diverso o un'altra porta. Deve essere accessibile all'indirizzo /robots.txt.

Inizia con poche regole e percorsi espliciti. Quando più regole corrispondono, la più specifica prevale; a parità di specificità, Allow prevale su Disallow.

Testa i robot importanti e alcuni URL rappresentativi, pubblica il file in UTF-8 con il tipo text/plain, quindi verifica la risposta HTTP dall'esterno.

Limiti da conoscere

  • Bloccare l'esplorazione non impedisce sempre a un URL di apparire in un risultato di ricerca. Un URL noto tramite link può rimanere indicizzato senza estratto.
  • robots.txt è pubblico e non protegge alcun dato. Utilizza un'autenticazione e autorizzazioni server per contenuti sensibili.
  • Lo standard definisce la base comune, ma ogni robot può supportare direttive aggiuntive. Google ignora in particolare Crawl-delay.

Domande frequenti

Qual è la differenza tra Allow e Disallow?
Disallow vieta la richiesta dei percorsi corrispondenti. Allow crea un'eccezione più specifica in uno spazio altrimenti bloccato. Un valore vuoto non blocca nulla.
Le maiuscole e i parametri URL contano?
Sì. Il confronto del percorso è sensibile al maiuscolo e può includere la stringa di query. I caratteri * e $ fungono rispettivamente da jolly e marcatore di fine.
I miei dati vengono inviati o registrati?
No. La generazione, l'analisi, la simulazione e l'esportazione del file vengono eseguite localmente nel browser.

Prima di bloccare un percorso

Verifica che il percorso non contenga le risorse necessarie per il rendering delle pagine, come fogli di stile o script. Una regola breve può avere un effetto molto più ampio del previsto.