onul.works

Generador Robots.txt

Genera reglas de rastreo robots.txt para SEO con un generador de robots.txt, directivas User-agent y URL de sitemap.

⌘ Se ejecuta en el navegador ◴ Sin almacenar datos ⌁ Gratis

Explicación del concepto

robots.txt define el alcance de acceso de los crawlers

robots.txt es un archivo de instrucciones que indica a crawlers cómo y qué páginas pueden acceder.

Con User-agent, Disallow, Allow y Sitemap puedes definir reglas por bot y delimitas.

Ejemplo: permitir todo y marcar /admin como Disallow, o permitir solo buscadores y bloquear bots de IA dentro de un mismo archivo.

Crear escenarios

Agrupa URL de sitemap, reglas allow/deny por bot y límites público/privado en un solo robots.txt para gestionar política.

Cuándo editar

Actualiza robots.txt cuando agregues nuevas páginas públicas, cambies estructura de directorios o ajustes la política de rastreo.

Punto de control

robots.txt es una instrucción para crawlers, no un control de seguridad ni garantía de desindexación.

Las instrucciones noindex, autenticación (login/permisos) y controles del servidor son capas separadas; robots.txt por sí solo no protege rutas sensibles ni garantiza eliminar index.

Vista previa de robots.txt

Cómo usar

  1. 1 Elige la regla global para permitir o bloquear rastreadores.
  2. 2 Selecciona motores de búsqueda, bots regionales y crawlers de IA.
  3. 3 Introduce la URL del sitemap y copia o descarga el archivo robots.txt generado.

Casos de uso comunes

  • Reglas User-agent para crawlers de búsqueda
  • Bloqueo de crawlers de IA con allow/disallow
  • Archivo robots.txt con URL de sitemap creado en un generador de robots.txt

Preguntas frecuentes

¿Qué reglas robots.txt puedo crear?

Puedes elegir una regla global de permitir o bloquear, y luego configurar reglas User-agent para bots de motores de búsqueda y crawlers de IA con casillas. También puedes añadir una URL de sitemap.

¿Puedo guardar el resultado como robots.txt?

Sí. Puedes copiar el contenido generado o descargarlo como robots.txt.

¿robots.txt garantiza el bloqueo de acceso?

No. robots.txt es una regla de solicitud para crawlers, no un control de acceso de seguridad. Usa autenticación o configuración del servidor para proteger contenido sensible.

Flujo de trabajo relacionado

Generador Robots.txtDefine primero el acceso de rastreo y las ubicaciones del sitemap para que la superficie pública quede clara. → AI SlugPara nuevos títulos de páginas públicas, usa la API del servidor para crear candidatos de URL en inglés y revisarlos con las reglas. → Generador HreflangPara páginas multilingües rastreables, continúa mapeando sus relaciones de URL alternas.