・「*」は、すべてのクローラーの訪問を拒否するという意味になります。
特定のディレクトリのみを拒否対象に指定したい場合は、「Disallow: /」に続いてディレクトリ名を入力します。
例: aaaというディレクトリのみを拒否対象にしたいとき
Disallow: /aaa/
・ トップレベルとは、サイトのアドレスの、一番上の階層を指します。
例:
トップレベル :http://○○○.co.jp/
トップから1つ下のレベル:http://○○○.co.jp/△△△/
サイトがこのような構造の場合、http://○○○.co.jp/robots.txtなどとなるように「robots.txt」を保存してください。
一般的に、独自のドメインを持っているサイトでは、トップレベルにindex.htmlというファイルが置かれています。
(例:http://○○○.co.jp/index.html などとなっていることが多い)
トップレベルに任意のファイルを置けない場合(Yahoo!ジオシティーズなど、独自ドメインでないサーバーを利用している場合)は、「robots.txt」による登録拒否はできません。METAタグによる登録拒否を行うか、ページそのものを削除してください。
たとえば、Yahoo!ジオシティーズのトップレベルは http://www.geocities.jp/ ですがお客様のホームページは、http://www.geocities.jp/△△△/という1つ下のレベルからになるため、トップレベルにファイルを保存できません。
|