集客重視のホームページ制作ならWebStage

COLUMN robots.txtの特徴・使い方|1分でわかるホームページ戦略コラム

TOP > robots.txtの特徴・使い方

robots.txtの特徴・使い方

ホームページ運用やSEO対策でよく耳にする「robots.txt」について解説しています。

robots.txtとは

robots.txtとは、クローラの巡回を制限するための構文です。検索エンジンにインデックスされたくない(検索結果に表示させたくない)コンテンツがある場合、robots.txtで該当部分を指定すれば、クローラからのアクセスを拒否することができます。
robots.txtで指定できる主な対象としては、以下のようなものが挙げられます。

・ウェブページ
クローラによってサーバーに高負荷がかかり、ページ表示が遅くなってしまう場合があります。それが原因で、ページが表示されるまでに数十秒もかかってしまったり、またサーバーがダウンするようなことがあっては、ウェブサイトへのアクセスを本当に必要とするユーザーに迷惑がかかってしまいます。このような場合はrobots.txtでクローラを制御する必要があるでしょう。

・画像ファイル
robots.txtを使えば、画像ファイルをGoogleの検索結果から除外することができます。ウェブサイトのページに対してはアクセスを認める一方、パーソナルディレクトリ内の画像はクロールの対象外にするなど、限定的に指定することも可能です。

・リソースファイル
ビデオファイルやオーディオファイルなど、そのデータが欠如してもページ構成に影響を与えないものについては、robots.txtでブロックすることができます。ただし、それらのコンテンツをブロックしたために、クローラがサイトを正しく判断できなくなってしまう可能性もあります。

robots.txtの注意点

robots.txtはウェブページへのアクセスをブロックする手段として有用ですが、それでも万能ではありません。むやみに使用すると、かえってページランクが落ちてしまうこともあるので注意しましょう。robots.txtについて、特に誤解されやすい3つのポイントについてご紹介します。

・robots.txtの指示は絶対ではない
たとえばGooglebotなど、信頼性の高いクローラならばrobots.txtの指示を守りますが、そのほかのクローラも同様に指示を守るとは言い切れません。絶対的な拘束力はないため、中には指示を無視してクロールしてくるものもあります。

・URL自体は生きている
robots.txtはあくまで検索結果に表示させないために使うものであって、ページそのものを完全に隠せるわけではありません。たとえばユーザーが該当ページのURLを入力しさえすれば、自由に閲覧することができます。コンテンツを完全に表示させたくない場合にはパスワードを設定するなど、ほかの方法を検討する必要があります。

・逆SEOになることもある
重複コンテンツや低品質コンテンツに対してrobots.txtを使いたくなるかもしれませんが、Googleはそうした行為を推奨していません。一般的に、重複コンテンツおよび低品質コンテンツはSEOに影響を与えるといわれていますが、ランキングを意図的に操作するのが目的ではない場合、Googleはそれらのコンテンツに対して特にペナルティは設けていません。robots.txtを設定したために、かえってアクセス数が減ってしまうケースもあるので注意しましょう。

robots.txtの導入は慎重に

robots.txtは、検索結果に載せたくないコンテンツがある場合には有効ですが、使用方法を誤ると逆SEOになってしまう可能性があります。クローラがサーバーに負荷を与えているわけではないのならば、無理に設定する必要はないのかもしれません。

CONTACT

無料相談について

無料相談について

お客様のご希望ごとに、専任スタッフが最適な資料をご用意いたします。

無料相談の例

  • おすすめプラン
  • 導入前のコンサルティング
  • ホームページの改善ご相談
  • ネット活用、運用のご相談
  • ホームページ診断
  • 競合調査
  • 補助金活用のご相談
  • 集客に関するご相談
  • 資料請求

リモート環境でのご対応も可能ですので、お気軽にご連絡ください。

資料請求・お見積り・ご相談はこちらへどうぞ。【全国無料】

必須お名前

例:山田 太郎

必須メールアドレス

例:abc@w-stage.jp

必須電話番号

例:03-5210-2565

必須都道府県
必須会社名

例:ウェブステージ株式会社 税理士事務所ウェブステージ

必須業種

例:ホームページ制作

任意ホームページ
アドレス
http://
任意ご要望
(複数選択可)
任意ほか、
メッセージ

お問い合わせいただく内容及びお客様の個人情報は、個人情報保護方針に則り厳重に管理いたします。
詳しくは「個人情報について」のページをご覧ください。
お問い合わせフォームをご使用の際は、個人情報保護方針の内容にご了承の上で送信いただくようお願いいたします。