サイト全体を検索エンジンにインデックスさせない方法（失敗談）

DrupalCafe（Facebook)より転載します。
サイト全体を検索エンジンにインデックスさせない方法です。（失敗談）

Wordpressなどではチェックボックスで切り替えがあるのでDrupalでもモジュールがあればと・・・

Robotstxtモジュールを使ったのですがX2サーバーでは新しいrobots.txtが出力されず直接robots.txtにDisallow: /を記載するという感じになりました。。。

サーバーが理由かどうか分かりませんがうまくいきませんでした。

失敗談ではありますが記載させていただきます。