# Bloqueo especifico para buscadores que suelen ser pesados
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: bingbot
User-agent: Yandex
User-agent: msnbot
Crawl-delay: 10

# Bloqueo para todos los demas
User-agent: *
Crawl-delay: 10

# --- Rutas de Sistema y Administracion ---
Disallow: /dspace-admin/
Disallow: /register
Disallow: /forgot
Disallow: /login
Disallow: /password-login
Disallow: /auth/
Disallow: /stats/

# --- Bloqueo de estres en Solr (Navegacion Facetada) ---
# Estas rutas obligan a Solr a recalcular indices y consumen mucha RAM
Disallow: /discover
Disallow: /search-filter
Disallow: /browse
Disallow: /search
Disallow: /handle/*/browse
Disallow: /handle/*/*?query=
Disallow: /handle/*/*?filtertype=
Disallow: /handle/*/*?submit_search=

# --- Bloqueo de parametros de visualizacion ---
# Evita que los bots indexen la misma pagina con distintos ordenamientos
Disallow: /*?sort_by=
Disallow: /*&sort_by=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?rpp=
Disallow: /*&rpp=
Disallow: /*?etal=
Disallow: /*&etal=