🔎 getallurls (gau): cómo descubrir URLs históricas y ocultas de un dominio

En el mundo del reconocimiento web y OSINT, una de las tareas más importantes es identificar todas las URLs asociadas a un dominio. Para ello existe una herramienta muy potente llamada getallurls (gau), comúnmente conocida como gau.

Esta utilidad permite obtener URLs conocidas desde múltiples fuentes públicas como AlienVault Open Threat Exchange, Internet Archive (Wayback Machine), Common Crawl y URLScan.io.

Está inspirada en la herramienta waybackurls de Tomnomnom, pero amplía considerablemente las fuentes de datos.

🚀 ¿Qué hace exactamente gau?

gau (getallurls) recopila URLs históricas y actuales relacionadas con un dominio específico, consultando bases de datos públicas que almacenan información rastreada de Internet.

Esto es especialmente útil para:

  • 🔍 Auditorías de seguridad autorizadas
  • 🕵️ OSINT (Open Source Intelligence)
  • 🧪 Bug bounty
  • 📊 Análisis de superficie de ataque
  • 🗂️ Descubrir endpoints antiguos o abandonados

🧠 ¿De dónde obtiene la información?

gau consulta las siguientes fuentes:

  • AlienVault OTX → Inteligencia de amenazas
  • Wayback Machine → Versiones archivadas de sitios web
  • Common Crawl → Base de datos masiva de rastreo web
  • URLScan → Resultados de análisis públicos de URLs

Al combinar estas fuentes, la herramienta puede devolver miles de URLs que quizá ya no estén enlazadas directamente en el sitio actual, pero que aún existen en registros históricos.

🛠️ Uso básico

Algunos ejemplos prácticos:

printf example.com | gau
cat domains.txt | gau --threads 5
gau example.com google.com

Guardar resultados en archivo:

gau --o example-urls.txt example.com

Excluir extensiones:

gau --blacklist png,jpg,gif example.com

Mostrar ayuda:

gau -h

⚙️ Flags más importantes

Algunas de las opciones más útiles que ofrece gau:

  • --blacklist → Excluir extensiones específicas
  • --fc → Filtrar por códigos de estado (ej: 404, 302)
  • --mc → Coincidir con códigos específicos (ej: 200, 500)
  • --ft / --mt → Filtrar o coincidir por MIME types
  • --subs → Incluir subdominios
  • --threads → Definir número de workers
  • --json → Salida en formato JSON
  • --providers → Elegir proveedores específicos (wayback, commoncrawl, otx, urlscan)
  • --from / --to → Filtrar por rango de fechas (formato YYYYMM)
  • --proxy → Usar proxy HTTP o SOCKS5
  • --timeout → Definir tiempo máximo de espera
  • --retries → Número de reintentos

Esto permite adaptar la herramienta a diferentes escenarios, desde análisis rápidos hasta recopilaciones masivas de datos.

📁 Archivos de configuración

gau busca automáticamente un archivo de configuración en:

  • $HOME/.gau.toml
  • %USERPROFILE%\.gau.toml

También puedes especificar uno diferente con:

gau --config ruta/al/archivo.toml

Si no encuentra archivo, la herramienta funciona con configuración por defecto, pero mostrará un aviso en stderr.

Las opciones definidas en el archivo se aplican automáticamente en cada ejecución, aunque los flags de línea de comandos siempre tienen prioridad.

💻 Instalación

🔹 Desde el código fuente (recomendado si usas Go)

go install github.com/lc/gau/v2/cmd/gau@latest

🔹 Clonando el repositorio

git clone https://github.com/lc/gau.git
cd gau/cmd
go build
sudo mv gau /usr/local/bin/
gau --version

🔹 Desde binarios precompilados

Descárgalos desde la sección de releases del repositorio oficial:

tar xvf gau_2.0.6_linux_amd64.tar.gz
mv gau /usr/bin/gau

🔹 Usando Docker

docker run --rm sxcurity/gau:latest --help

También puedes construir tu propia imagen:

docker build -t gau .
docker run gau example.com

⚠️ Nota: El uso de pipes como echo "example.com" | gau no funciona dentro del contenedor Docker.

⚠️ Nota para usuarios de Oh My Zsh

El plugin de git de Oh My Zsh incluye un alias llamado gau que ejecuta:

git add --update

Esto genera un conflicto con el binario de la herramienta. Existen soluciones documentadas en el repositorio oficial para resolver este problema.

🎯 ¿Por qué es útil gau?

Porque permite:

  • Descubrir endpoints olvidados
  • Encontrar APIs antiguas
  • Identificar parámetros expuestos
  • Ampliar la superficie de análisis
  • Automatizar procesos de enumeración

Es una herramienta ligera, rápida y muy utilizada en entornos de ciberseguridad.

💙 Apoya el proyecto

Si la herramienta te resulta útil, puedes apoyar el trabajo del desarrollador:

Este tipo de proyectos se sostienen gracias a la comunidad.

🛡️ Uso responsable

Aunque gau solo consulta fuentes públicas, siempre debe utilizarse en contextos legales y autorizados. El reconocimiento sin permiso puede violar políticas o regulaciones dependiendo del país.

📌 Conclusión

getallurls (gau) es una herramienta esencial para cualquier persona que trabaje en:

  • Seguridad ofensiva
  • OSINT
  • Análisis de infraestructura web
  • Bug bounty
  • Pentesting autorizado

Su capacidad para combinar múltiples fuentes históricas la convierte en una pieza clave dentro del toolkit de reconocimiento.

Link De la Herramienta

Entradas relacionadas

Deja un comentario