Problemas con robots.txt
Posted by elpoderosoperu on November 22, 2012 at 11:53pm
Gracias por la ayuda de antemano. Mi proveedor me advirtió que varios spiders y bots (de spam y búsqueda) desestabilizan y provocan la caída de mi servidor por exceso de consultas, así que decidí prohibirles la entrada y agregué reglas a Robots.txt (que Drupal ya trae por defecto) contra UbiCrawler, Doc, Zao, etc, etc. El problema es que luego de agregar las reglas, Google Bot me envía advertencias de un supuesto bloqueo a dicho agent. No se si está bien añadir por ejemplo / o sin ese simbolo..
User-agent: UbiCrawler
Disallow: /