Genere robots.txt con reglas de rastreo y un sitemap

Añada cada agente de usuario, elija si su ruta se permite o se bloquea e indique la URL absoluta de su sitemap XML. El generador valida todas las rutas, agrupa las reglas del mismo rastreador, aplica la escritura canónica de las directivas y devuelve texto plano determinista con saltos de línea seguros. Resulta útil para definir una política nueva, sustituir un archivo manual propenso a errores o producir contenido robots.txt coherente dentro de un proceso de despliegue.

Describa el acceso de los rastreadores con reglas explícitas

Comience por añadir una fila para cada decisión relativa a un rastreador y una ruta. El agente de usuario identifica qué rastreador debe recibir la instrucción; use un asterisco cuando una regla se aplique a todos o indique un token concreto cuando el tratamiento de uno de ellos sea diferente. Seleccione después Allow o Disallow e introduzca el patrón de ruta correspondiente. Todas las rutas deben comenzar con una barra, incluida la propia ruta raíz. Este requisito detecta un error habitual de robots.txt antes de publicar el archivo. Las reglas del mismo agente de usuario se reúnen en un solo grupo aunque sus filas estén separadas en la entrada, mientras que el orden de grupos y reglas respeta su primera aparición. Ese orden estable facilita la revisión del resultado y evita cambios innecesarios entre compilaciones repetidas. El generador no decide qué zonas deben ser privadas o rastreables; reproduce fielmente la política indicada, por lo que conviene contrastar las rutas con la estructura real del sitio.

Comprenda qué controla el archivo generado

Un archivo robots.txt comunica a los rastreadores web que cooperan qué rutas URL pueden solicitar. No es un sistema de autenticación, una lista de control de acceso ni un mecanismo para ocultar información confidencial. Una dirección bloqueada puede descubrirse mediante enlaces, y los clientes que ignoran el protocolo pueden solicitarla si el servidor no impone una autorización independiente. Use permisos de aplicación, almacenamiento privado o reglas del servidor para cualquier recurso que deba estar protegido. Dentro de un grupo de agentes de usuario, cada rastreador interpreta los patrones Allow y Disallow según su propia documentación, especialmente si aparecen comodines o marcadores de final. Esta herramienta conserva el texto de las rutas en vez de intentar predecir las prioridades de un rastreador concreto. Además, rechaza saltos de línea incrustados en nombres, directivas, rutas y en el sitemap, de modo que un campo no pueda insertar registros adicionales. El resultado utiliza mayúsculas y espacios convencionales, sin añadir comentarios ni suposiciones ausentes de la entrada estructurada.

Publique el resultado y verifíquelo en su contexto

Guarde el contenido devuelto en un archivo de texto plano llamado robots.txt situado en la raíz del origen web correspondiente, por ejemplo, https://example.com/robots.txt. El sitemap debe ser una URL absoluta con HTTP o HTTPS; el generador la normaliza antes de añadir la línea Sitemap final. Esta declaración ayuda a los rastreadores a localizar el sitemap XML incluso si está alojado en una ruta poco evidente o en otro host permitido. Tras el despliegue, abra directamente la URL pública de robots.txt y compruebe que la respuesta sea correcta, de texto plano y que no haya sido sustituida por una página de error, un bucle de redirección o una pantalla de acceso. Pruebe las rutas importantes con las herramientas de inspección de los buscadores y rastreadores relevantes, ya que su compatibilidad y sus criterios pueden variar. Genere de nuevo el archivo cuando cambien las rutas, las áreas privadas, la protección del entorno de pruebas o la ubicación del sitemap. Para una misma entrada, la salida determinista se integra bien en control de versiones y despliegues repetibles.