googleやyahooの検索エンジンロボットは何時何処からやってくるのか知らぬ間にインデックスしてくれる。
便利な反面、ごくまれに迷惑なときもある。
SEOがなんや～かんや～っていってる人にとっては、考えられにくいことかもしれませんが、世の中にはやはりWEB上に公開してるものの万人には見てほしくない情報もたくさんあります。
そんな時、検索エンジンのクロールを回避する方法、または人間には見えても検索エンジンには隠すようにする方法がたくさんあります。 検索エンジンからコンテンツを隠す方法をbookmark
これで、WEBに公開したもののあまり特定の人以外にはあまり見られたくないページをgoogleやyahoo等の検索エンジンロボットのクロールを回避しましょう。