robot.txt

Merhaba,

Drupal ile hazırladığım site hemen hemen her şekilde sorunsuz gitmesine rağmen, Google'da dizinlenme konusunda sorun yaşıyorum.

Robot.txt şu anki haliyle orjinal ancak Google'da bir sayfam dizinlenmiş. [bknz.] Robot.txt'ten neyi kaldırıp kaldırmayacağımı bilmediğim gibi, çift sayfa şekilde dizinlenmek ve başka bir sorun yaşamamak için dokunamıyorum. (Sayfalara URL Alias ile yeniden URL atıyorum.)

Diğer bir konu da arama motoru botlarının onları aktif etmemden sonra siteyi ne kadar zorlayıp zorlamayacağı. Bu site okul tarafından sağlanıyor ve sanırım -bandwidth mi denir?- yeterli olmayabilir. Bu yüzden, öğrendiğim kadarıyla, botların siteye giriş çıkış sürelerinini de nasıl ayarlayabileceğim konusunda yardım istiyorum.

Şimdiden teşekkürler, herkese iyi çalışmalar.