Generador de Robots.txt
Crea archivos robots.txt amigables con el SEO para controlar el acceso de los rastreadores
🌐 Información del sitio web
🤖 Control de rastreadores
Selecciona qué rastreadores configurar:
🚫 Reglas de ruta
⏱️ Retardo de rastreo (Opcional)
Establece el retardo de rastreo para bots específicos (segundos entre solicitudes):
📄 Vista previa de robots.txt
⚠️ Importante: Coloca tu archivo robots.txt en el directorio raíz de tu dominio (p. ej., https://example.com/robots.txt)
¿Qué es un archivo Robots.txt?
A robots.txt es un archivo de texto ubicado en el directorio raíz de tu sitio web que indica a los rastreadores de motores de búsqueda qué páginas o archivos pueden o no solicitar de tu sitio.
Es parte del Protocolo de Exclusión de Robots (REP) , un conjunto de estándares web que regulan cómo los robots rastrean e indexan la web.
Aunque robots.txt no es una medida de seguridad (usuarios avanzados aún pueden acceder a páginas no permitidas), es esencial para:
- Prevenir problemas de contenido duplicado
- Gestionar el presupuesto de rastreo
- Mantener páginas internas privadas
- Dirigir a los rastreadores a tu sitemap
Sintaxis básica
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Mejores prácticas para Robots.txt
Haz
- Coloca en el directorio raíz
- Usa mayúsculas y minúsculas consistentes
- Referencia tu sitemap
- Prueba con Google Search Console
No hagas
- Bloquees archivos CSS o JS
- Uses noindex como sustituto
- Prohíbas el sitio completo
- Bloquees páginas de resultados de búsqueda
Consejos profesionales
- Se soportan comodines (*)
- Usa $ para el final de la URL
- Crawl-delay es solo una sugerencia
- Revisa logs para actividad de bots