El Spider o “Araña” es una herramienta la cual se utiliza para descubrir automáticamente nuevos recursos (URLs) en un sitio particular. Inicia con una lista de URLs a visitar, denominadas semillas, lo cual depende de como se inicie el Spider. Luego el Spider visita estas URLs, identificando todos los hipervínculos en la página, para luego agregarlos a la lista de URLs a visitar , continuando el proceso de manera recursiva, siempre se encuentren nuevos recursos.

El Spider puede ser configurado e iniciado utilizando el recuadro de diálogo “Spider”.

Durante el procesamiento de una URL, El Spider realiza una petición para obtener el recurso, para luego analizar la respuesta, identificando así los hipervínculos. Actualmente tiene el siguiente comportamiento al procesar tipos de respuestas:

El Spider es configurado utilizando la Pantalla de Opciones del Spider.

HTML

Procesa etiquetas específicas, identificando enlaces hacia nuevos recursos:

• Base - Manejo adecuado
• A, Link, Area, Base - atributo 'href'
• Applet, Audio, Embed, Frame, IFrame, Input, Script, Img, Video - atributo 'src'
• Blockquote - atributo 'cite'
• Meta: 'http-equiv' para 'location', 'refresh' y 'Content-Security-Policy', 'name' para 'msapplication-config'
• Applet - 'codebase', atributos de 'archive'
• Img - Atributos 'longdesc', 'lowsrc', 'dynsrc', 'srcset'
• Isindex - atributo 'action'
• Object - 'base de código', atributos 'data'
• Param - atributo 'value'
• Svg: atributos 'href' y 'xlink:href' de los elementos 'image' y 'script'
• Table - atributo 'background'
• Video - atributo 'poster'
• Form: manejo adecuado de formularios con el método GET y POST. Los valores de los campos se generan de forma válida, incluidos los tipos de entrada de HTML 5.0 'form', 'formaction', 'formmethod', y los atributos de botones también son respetan.
• Comentarios: etiquetas válidas encontradas en comentarios también se analizan, si se especifican en la pantalla de opciones del Spider.
• Import - atributo de 'implementation'
• Inline string: etiquetas 'p', 'title', 'li', 'h1', 'h2', 'h3', 'h4', 'h5', 'h6' y 'blockquote'

Archivo robots.txt

Si se configura en la pantalla de Opciones del Spider, también analiza el archivo 'Robots.txt', y se intenta identificar nuevos recursos utilizando las reglas especificadas. Cabe mencionar el Spider no sigue las reglas especificadas en el archivo 'Robots.txt'.

Archivo sitemap.xml

Si se configura en la pantalla de Opciones del Spider, el Spider también analiza el archivo 'sitemap.xml' e intenta identificar nuevos recursos.

Archivos metadatos SVN

Si se configura en la pantalla de Opciones del Spider, el Spider también debe interpretar los archivos de metadatos SVN e intentar identificar nuevos recursos.

Archivos metadatos Git

Si se configura en la pantalla de Opciones del Spider, el Spider también debe interpretar los archivos de metadatos de Git e intentar identificar nuevos recursos.

Archivos .DS_Store

Si se configura en la pantalla de Opciones del Spider, el Spider también debe interpretar archivos .DS_Store e intentar identificar nuevos recursos.

Archivos Atom OData

El Spider también debe interpretar los archivos .DS_Store, e intentar identificar nuevos recursos. El contenido de OData utilizando el formato Atom es actualmente soportado. Se procesan todos los enlaces incluidos (relativos o absolutos).

Archivos SVG

Los archivos de imagen SVG se analizan para identificar los atributos HREF y extraer/resolver cualquier enlace contenido.

Respuesta de Texto No HTML

Las respuestas de texto se analizan analizando el patrón de URL

Respuesta No Texto

Las respuestas de texto se analizan analizando el patrón de URL. Actualmente, el Spider no procesa este tipo de recursos.

Otros Aspectos

• Cuando se verifica si una URL ya se visitó, el comportamiento en relación a como se manejan los parámetros, se puede configurar en la pantalla de Opciones del Spider.
• Cuando se verifica si una URL ya se visitó, existen algunos parámetros comunes los cuales se ignoran: jsessionid, phpsessid, aspsessionid, utm_*
• El comportamiento del Spider con respecto a las cookies, depende de cómo se inicia el Spider y cuales opciones están habilitadas. Para obtener más detalles, consulte la pantalla Opciones de lSpider.

Fuentes:

https://www.zaproxy.org
https://www.zaproxy.org/docs/desktop/addons/spider/