Problemas con Robots.Txt de Drupal, Google bloqueó mi sitio
Posted by elpoderosoperu on October 16, 2012 at 6:19pm
Saludos amigos, hace dos días modifiqué robots.txt y agregué Disallow para una lista de spider o bots que usualmente afectan los sitios webs, agregue para ello los bots no deseados después de un # no entry #
El problema es que de pronto Google me responde que he bloqueado el acceso a Google Bot desde User-agent: UbiCrawler, podrían explicarme como sería la codificación correcta=?
#
robots.txt
#
This file is to prevent the crawling and indexing of certain parts
of your site by web crawlers and spiders run by sites like Yahoo!
Read more