Tools Central

Generador y validador robots.txt

Cree un archivo robots.txt, detecte errores y simule el acceso a una URL para un robot específico.

Procesamiento 100 % local: el contenido y las URL ingresadas nunca abandonan su navegador.

1. Generar una base segura

Una entrada por línea para los caminos. El generador agrega « / », codifica los espacios y deduplica las reglas.

El protocolo, el dominio y el puerto definen el alcance del archivo.URL del sitio válida
Utilice « * » para todos los robots o un token de producto como Googlebot.User-agent válido
Ejemplos: /admin/, /busqueda?, /*.pdf$
Una regla Allow más específica puede reabrir una parte de una ruta bloqueada.

2. Editar y validar

También pegue un archivo existente: el análisis se actualiza sin solicitud de red.

1grupos4reglas1sitemaps139bytes

3. Probar una URL

El simulador aplica los grupos exactos, la regla más específica, « * » y « $ » según el RFC 9309.

Exploración permitidaNinguna regla aplicable: la exploración está permitida por defecto.

Tres puntos a verificar antes de la publicación

Alcance exacto

Coloque el archivo en la raíz. Sus reglas solo son válidas para el mismo protocolo, host y puerto.

Exploración, no desindexación

Una URL bloqueada aún puede aparecer en los resultados. Para evitar la indexación, use una protección o noindex en una página accesible.

Ninguna confidencialidad

El archivo es público y revela los caminos listados. Nunca lo utilices como control de acceso a datos sensibles.

Volver a las herramientas SEO

Herramientas similares

Generador y validador de sitemap XMLCree un sitemap de URL o un índice, valide el XML, las fechas, los límites y el alcance, y luego descargue el archivo localmente.
Generador y verificador hreflangCrea anotaciones HTML, HTTP o sitemap, y luego verifica localmente las auto-referencias, canónicas y enlaces de retorno entre páginas multilingües.
Extractor de datos estructuradosExtraer localmente JSON-LD, Microdata y RDFa desde HTML, explorar las entidades y relaciones, y luego exportar un informe JSON limitado.
Auditor de head HTMLAuditar localmente title, description, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter y JSON-LD desde HTML pegado.
Previsualizador de snippet de GoogleProbar un título, una meta descripción y una URL en ordenador y móvil con una estimación de ancho en píxeles.
Campos PDF → JSONExportar la lista de campos de un formulario PDF (AcroForm) en formato JSON.

Crear y controlar un archivo robots.txt confiable

El archivo robots.txt indica a los robots de exploración los caminos que pueden solicitar. El generador prepara una base limpia, el validador detecta errores comunes y el simulador explica la regla aplicada a una URL.

Casos de uso

  • Preparar un nuevo sitioCree un grupo User-agent, bloquee los espacios sin interés para la exploración y declare un sitemap absoluto.
  • Auditar un archivo existentePegue su contenido para detectar directivas inválidas, duplicados, rutas mal formadas, HTML accidental o un tamaño superior a 500 Kio.
  • Diagnosticar una URL bloqueadaPruebe una URL con un token de producto específico para identificar el grupo seleccionado y la regla Allow o Disallow más específica.

Método recomendado

Primero defina el origen exacto del sitio. Un archivo servido en HTTPS no gobierna HTTP, un subdominio diferente ni otro puerto. Debe ser accesible en /robots.txt.

Comience con pocas reglas y caminos explícitos. Cuando varias reglas coinciden, la más específica gana; en caso de igualdad de especificidad, Allow prevalece sobre Disallow.

Pruebe los robots importantes y algunas URL representativas, publique el archivo en UTF-8 con el tipo text/plain, luego verifique la respuesta HTTP desde el exterior.

Límites a conocer

  • Bloquear la exploración no siempre impide que una URL aparezca en un resultado de búsqueda. Una URL conocida por enlaces puede permanecer indexada sin un extracto.
  • robots.txt es público y no protege ningún dato. Utilice autenticación y permisos del servidor para contenidos sensibles.
  • El estándar define la base común, pero cada robot puede admitir directivas adicionales. Google ignora especialmente Crawl-delay.

Preguntas frecuentes

¿Cuál es la diferencia entre Allow y Disallow?
Disallow prohíbe la solicitud de los caminos correspondientes. Allow crea una excepción más específica en un espacio de otro modo bloqueado. Un valor vacío no bloquea nada.
¿Las mayúsculas y los parámetros de URL cuentan?
Sí. La comparación del camino es sensible a mayúsculas y puede incluir la cadena de consulta. Los caracteres * y $ sirven respectivamente como comodín y marcador de fin.
¿Mis datos son enviados o registrados?
No. La generación, análisis, simulación y exportación del archivo se realizan localmente en el navegador.

Antes de bloquear un camino

Verifique que el camino no contenga los recursos necesarios para el renderizado de las páginas, como hojas de estilo o scripts. Una regla corta puede tener un efecto mucho más amplio de lo previsto.