Bloqueo

We encourage users to post events happening in the community to the community events group on https://www.drupal.org.
elpoderosoperu's picture

Problemas con Robots.Txt de Drupal, Google bloqueó mi sitio

Saludos amigos, hace dos días modifiqué robots.txt y agregué Disallow para una lista de spider o bots que usualmente afectan los sitios webs, agregue para ello los bots no deseados después de un # no entry #

El problema es que de pronto Google me responde que he bloqueado el acceso a Google Bot desde User-agent: UbiCrawler, podrían explicarme como sería la codificación correcta=?

#

robots.txt

#

This file is to prevent the crawling and indexing of certain parts

of your site by web crawlers and spiders run by sites like Yahoo!

Read more
Subscribe with RSS Syndicate content