Existen elementos indirectos y directos para el reconocimiento y descubrimiento en motores de búsqueda. Los métodos directos se relacionan a las búsquedas en indices y contenido relacionado desde caches. Los métodos indirectos se relacionan con información sensible sobre el diseño y configuración, mediante la búsqueda en foros, grupos de noticias y sitios webs diversos.

Una vez el robot del motor de búsqueda ha completado su rastreo, comienza a indexar la página web basándose en las etiquetas y atributos asociados, como < title >, para devolver resultados relevantes de búsqueda. Si el archivo “robots.txt” no es actualizado durante el tiempo de vida de un sitio web, y no son utilizadas las etiquetas meta HTML los cuales instruyen a los robots a no indexar contenido, entonces es posible los indices incluyan contenido el cual no ha sido requerido sea indexado por los propietarios. Los propietarios del sitio web pueden utilizar el archivo “robots.txt”, etiquetas meta HTML, autenticación, y herramientas proporcionadas por los motores de búsqueda para remover tal contenido.

Objetivos de la Prueba

Entender cual información sensible sobre el diseño y configuración de la organización, sistema o aplicación se expone, ya sea directa (en el sitio web de la organización) o indirectamente (en el sitio web de un tercero).

¿Cómo Evaluar?

Utilizar los motores de búsqueda para buscar por:

• Diagramas de red y configuraciones
• Publicaciones archivadas y correos electrónicos de administradores u otro personal
• Registro sobre procedimientos y formatos de nombres de usuarios
• Nombres de usuario y contraseñas
• Contenido sobre mensajes de error
• Desarrollo, pruebas, UAT y versiones del sitio web

Operadores de búsqueda

Utilizando el operador avanzado de búsqueda “site:”, es posible restringir los resultados de búsqueda hacia un dominio específico. No se debe limitar las pruebas hacia únicamente la utilización de un motor de búsqueda, pues cada motor de búsqueda puede generar diferentes resultados dependiendo de cuando rastrearon el contenido y sus propios algoritmos. Se debe considerar utilizar los siguientes motores de búsqueda.

• baidu
• binsearch.info
• Bings
• BuckDuckGo
• Startpage
• Google
• Shodan

Duck Duck Go y Starpage proporciona poca fuga de información sobre quien realiza las búsquedas.

Google proporciona un operador avanzado de búsqueda “cache:”, pero es equivalente a hacer clic en “Cached”, presentado a continuación de cada resultados de búsqueda en Google, Razón por la cual se prefiere el uso del operador avanzado de búsqueda “site:” y luego hacer clic en “Cached”.

Para encontrar el contenido web del dominio “owasp.org” indexado por un típico motor de búsqueda, la sintaxis requerida es:

site:owasp.org

Para mostrar la página principal desde el cache para “owasp.org”, la sintaxis es:

cache:owasp.org

Google Hacking Database

Google Hacking Database es una lista de consultas útiles de búsqueda para Google. Las consultas están categorizadas en:

• Footholds
• Files Containing Usernames
• Sensitive Directories
• Web Server Detection
• Vulnerable Files
• Vulnerable Servers
• Error Messages
• Files Containing Juicy Info
• Files Containing Passwords
• Sensitive Online Shopping Info
• Network or Vulnerability Data
• Pages Containing Login Portals
• Various Online Devices
• Advisories and Vulnerabilities

Fuentes:

https://www.owasp.org/index.php/Conduct_search_engine_discovery/reconnai...(OTG-INFO-001)
https://www.baidu.com/
https://www.binsearch.info/
https://www.bing.com/
https://duckduckgo.com/
https://www.startpage.com/
https://www.shodan.io/
https://www.exploit-db.com/google-hacking-database
https://support.google.com/webmasters/answer/70897
https://support.google.com/websearch/answer/2466433?hl=en&visit_id=63698...