Verificar el Archivo robots.txt de un Servidor Web utilizando el Script http-robots.txt de Nmap
Los propietarios de sitios web utilizan el archivo de nombre “robots.txt” para proporcionar instrucciones sobre el sitio web a los robots web; esto es denominado como “The Robots Exclusion Protocol” o Protocolo para la Exclusión de Robots.
Esto trabaja de la siguiente manera; un robot requiere visitar la URL de un sitio web. Antes de hacer esto, primero verifica el archivo “robots.txt”, y encuentra lo siguiente:
User-agent: *
Disallow: /