Webを作成していると、Googleなどのクローラーにインデックスされたくないファイルやフォルダが発生することがあります。テストやデモで用意したページやWebサイトなどです。htmlファイルなどにmetaで記述することでも対応できますが、これではファイル個別単位になります。またテストであげたhtmlではないファイル、例えばDL用として用意したPDFファイルには設定できません。ですのでここでは、「robots.txt」ファイルを利用したやり方を備忘録として記述しておきます。

robots.txtの書き方

すべてのフォルダ・ファイルをすべてのクローラーを拒否する場合

User-agent: *
Disallow: /

特定のフォルダやファイルを拒否する場合

User-agent: *
Disallow: /test/
Disallow: /test.html

ちなみにすべてを許可する場合

User-agent: *
Allow: /

robots.txtの設置場所

クロールを制御したいフォルダやファイルが存在するサーバーのrootディレクトリに設置すればよし。

以上である。