Tools Central

Gerador e validador robots.txt

Crie um arquivo robots.txt, detecte erros e simule o acesso a uma URL para um robô específico.

Processamento 100% local: o conteúdo e as URLs inseridas nunca saem do seu navegador.

1. Gerar uma base segura

Uma entrada por linha para os caminhos. O gerador adiciona « / », codifica os espaços e deduplica as regras.

O protocolo, o domínio e a porta definem o escopo do arquivo.URL do site válida
Use « * » para todos os robôs ou um token de produto como Googlebot.User-agent válido
Exemplos: /admin/, /pesquisa?, /*.pdf$
Uma regra Allow mais específica pode reabrir uma parte de um caminho bloqueado.

2. Editar e validar

Cole também um arquivo existente: a análise é atualizada sem solicitação de rede.

1grupos4regras1sitemaps139bytes

3. Testar uma URL

O simulador aplica os grupos exatos, a regra mais específica, « * » e « $ » de acordo com o RFC 9309.

Exploração permitidaNenhuma regra aplicável: a exploração é permitida por padrão.

Três pontos a verificar antes da publicação

Escopo exato

Coloque o arquivo na raiz. Suas regras valem apenas para o mesmo protocolo, host e porta.

Exploração, não desindexação

Uma URL bloqueada ainda pode aparecer nos resultados. Para impedir a indexação, use uma proteção ou noindex em uma página acessível.

Sem privacidade

O arquivo é público e revela os caminhos listados. Nunca o utilize como controle de acesso a dados sensíveis.

Voltar às ferramentas de SEO

Ferramentas semelhantes

Gerador e validador de sitemap XMLCrie um sitemap de URLs ou um índice, valide o XML, as datas, os limites e o escopo, e depois faça o download do arquivo localmente.
Gerador e verificador hreflangCrie anotações HTML, HTTP ou sitemap e verifique localmente as auto-referências, canonicais e links de retorno entre páginas multilíngues.
Extrator de dados estruturadosExtrair localmente JSON-LD, Microdata e RDFa de HTML, explorar entidades e relações, e depois exportar um relatório JSON limitado.
Auditor de head HTMLAudite localmente title, description, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter e JSON-LD a partir de HTML colado.
Visualizador de snippet do GoogleTestar um título, uma meta descrição e uma URL em computador e mobile com uma estimativa de largura em pixels.
Campos PDF → JSONExportar a lista dos campos de um formulário PDF (AcroForm) para o formato JSON.

Criar e controlar um arquivo robots.txt confiável

O arquivo robots.txt indica aos robôs de exploração os caminhos que eles podem solicitar. O gerador prepara uma base limpa, o validador detecta erros comuns e o simulador explica a regra aplicada a uma URL.

Casos de uso

  • Preparar um novo siteCrie um grupo User-agent, bloqueie os espaços sem interesse para a exploração e declare um sitemap absoluto.
  • Auditar um arquivo existenteCole o seu conteúdo para identificar diretivas inválidas, duplicatas, caminhos malformados, HTML acidental ou um tamanho superior a 500 Kio.
  • Diagnosticar uma URL bloqueadaTeste uma URL com um token de produto específico para identificar o grupo selecionado e a regra Allow ou Disallow mais específica.

Método recomendado

Defina primeiro a origem exata do site. Um arquivo servido em HTTPS não governa HTTP, um subdomínio diferente ou outra porta. Ele deve ser acessível no local /robots.txt.

Comece com poucas regras e caminhos explícitos. Quando várias regras correspondem, a mais específica vence; em caso de especificidade igual, Allow prevalece sobre Disallow.

Teste os robôs importantes e algumas URLs representativas, publique o arquivo em UTF-8 com o tipo text/plain, e verifique a resposta HTTP de fora.

Limites a conhecer

  • Bloquear a exploração não impede sempre que uma URL apareça em um resultado de pesquisa. Uma URL conhecida por links pode permanecer indexada sem um snippet.
  • robots.txt é público e não protege nenhum dado. Use autenticação e permissões de servidor para conteúdos sensíveis.
  • O padrão define a base comum, mas cada robô pode suportar diretrizes adicionais. O Google ignora, por exemplo, Crawl-delay.

Perguntas frequentes

Qual a diferença entre Allow e Disallow?
Disallow proíbe a solicitação dos caminhos correspondentes. Allow cria uma exceção mais específica em um espaço que de outra forma estaria bloqueado. Um valor vazio não bloqueia nada.
As maiúsculas e os parâmetros de URL contam?
Sim. A comparação do caminho é sensível a maiúsculas e pode incluir a string de consulta. Os caracteres * e $ servem, respectivamente, como curinga e marcador de fim.
Meus dados são enviados ou registrados?
Não. A geração, análise, simulação e exportação do arquivo são realizadas localmente no navegador.

Antes de bloquear um caminho

Verifique se o caminho não contém os recursos necessários para a renderização das páginas, como folhas de estilo ou scripts. Uma regra curta pode ter um efeito muito mais amplo do que o esperado.