Spiders

Events happening in the community are now at Drupal community events on www.drupal.org.
elpoderosoperu's picture

Problemas con robots.txt

Gracias por la ayuda de antemano. Mi proveedor me advirtió que varios spiders y bots (de spam y búsqueda) desestabilizan y provocan la caída de mi servidor por exceso de consultas, así que decidí prohibirles la entrada y agregué reglas a Robots.txt (que Drupal ya trae por defecto) contra UbiCrawler, Doc, Zao, etc, etc. El problema es que luego de agregar las reglas, Google Bot me envía advertencias de un supuesto bloqueo a dicho agent. No se si está bien añadir por ejemplo / o sin ese simbolo..

User-agent: UbiCrawler
Disallow: /

Read more
Subscribe with RSS Syndicate content