🔒 100% privado — funciona en tu navegador, no se sube nada

Generador y probador de robots.txt

Crea un robots.txt limpio o pega el tuyo y comprueba si tiene errores, incluida la prueba de qué rastreador puede descargar qué URL.

robots.txt es el primer archivo que la mayoría de los rastreadores piden a un sitio: una lista en texto plano de reglas de descarga, agrupadas por user-agent. Es una convención, no un mecanismo de seguridad: lo que de verdad deba permanecer privado tiene que estar tras un inicio de sesión, porque una línea Disallow en realidad anuncia que esa ruta existe.

Respuestas rápidas

¿Qué es robots.txt y para qué sirve?

robots.txt es un archivo de texto plano en la raíz del dominio que indica a cada rastreador qué rutas puede descargar y cuáles no, con reglas agrupadas por user-agent.

Es lo primero que piden Googlebot, Bingbot o los rastreadores de IA al llegar a un sitio. No es seguridad ni una orden con fuerza legal: es una convención que los rastreadores correctos respetan y que los abusivos pueden ignorar.

¿Un Disallow saca una página de los resultados de Google?

No de forma fiable: Disallow impide descargar la página, no indexarla. Si otros sitios enlazan esa URL, Google puede listarla sin descripción porque sabe que existe.

Para retirar una página de los resultados necesitas una etiqueta noindex o protegerla con contraseña. robots.txt es la herramienta equivocada para eso, y usarlo como tal es uno de los errores más comunes.

¿Los rastreadores de IA respetan robots.txt?

Los de los laboratorios principales que se identifican por nombre —GPTBot, ClaudeBot, CCBot— declaran que sí, y bloquearlos es un grupo User-agent propio con Disallow: / para cada uno.

Los raspadores que no se identifican con honestidad son otro asunto: trata robots.txt como la expresión de tu preferencia, no como un mecanismo de cumplimiento.

Cómo se usa

  1. Parte de un ajuste rápido o escribe un user-agent y las rutas que no debe descargar: el archivo se construye mientras escribes.
  2. Copia o descarga el resultado y colócalo en la raíz de tu dominio: tudominio.com/robots.txt debe devolver exactamente ese texto.
  3. Antes de publicar un archivo editado a mano, pégalo en el probador de abajo: marca líneas mal formadas, reglas colocadas antes de cualquier User-agent y directivas desconocidas.
  4. Usa el veredicto del probador para comprobar los casos que te importan —tu ruta de pruebas como Googlebot, todo tu sitio como un rastreador de IA—, porque gana la regla coincidente más larga y un Disallow amplio puede anular en silencio todo lo que queda debajo.

Acerca de esta herramienta

Las reglas tienen dos sutilezas que provocan casi todos los errores reales. Los grupos se eligen por el user-agent coincidente más específico, así que un grupo para Googlebot sustituye por completo al grupo * en lugar de sumarse a él. Y cuando varias reglas coinciden con una URL, gana la ruta más larga, con Allow desempatando: así es como un único Allow para un archivo puede reabrir una carpeta por lo demás cerrada. El probador de esta página aplica ambas reglas, además de la sintaxis de patrones habitual —* coincide con cualquier secuencia de caracteres y un $ final ancla el patrón al final de la ruta (así /*.pdf$ bloquea todos los PDF)—, de modo que los veredictos coinciden con cómo deciden de verdad los rastreadores principales.

Nada de lo que pegas aquí sale de tu navegador: el análisis, la comprobación y el veredicto se ejecutan en JavaScript en tu dispositivo. Puedes probar con tranquilidad el robots.txt de un entorno de pruebas o de un sitio interno sin que el archivo viaje a ningún servidor, y la descarga genera el archivo robots.txt listo para subir a la raíz de tu dominio.

Preguntas frecuentes

¿robots.txt mantiene una página fuera de los resultados de Google?

No de forma fiable. Detiene la descarga, no la indexación: si otros sitios enlazan una URL bloqueada, Google puede seguir listándola (sin descripción) porque sabe que existe. Para retirar una página de los resultados usa una etiqueta noindex o una contraseña; robots.txt por sí solo es la herramienta equivocada.

¿Puede robots.txt proteger archivos privados?

No. Es un archivo público que cualquiera puede leer, y una línea Disallow nombra precisamente las rutas que intentas ocultar. Los rastreadores que ignoran las instrucciones —raspadores, escáneres de malware— leerán el archivo e irán directos a esas rutas. El contenido privado necesita autenticación.

¿Qué pasa si el grupo * y el de Googlebot dicen cosas distintas?

Googlebot sigue solo su grupo: en cuanto existe un grupo específico para un rastreador, ese grupo sustituye al grupo * por completo, no se suma a él. Si una ruta debe estar bloqueada también para Google, repite la regla dentro del grupo de Googlebot.

¿Se sube algo cuando pruebo mi archivo aquí?

No. El análisis, la comprobación y el veredicto de URL se ejecutan en JavaScript en tu navegador: pega el robots.txt de un entorno de pruebas o interno sin que salga de tu dispositivo.

Más herramientas en español