著者：ウェブステージ

成果につながるホームページ制作・WEB制作 - ウェブステージ

ウェブステージは、お客様一人ひとりの想いやビジョンを大切にし、ホームページ制作・WEB制作を通じて理想のカタチを実現いたします。単に見た目の美しさにとどまらず、使いやすさや検索エンジン対策なども考慮し、成果へとつながる設計を心がけています。企業や店舗の信頼性を高めるコーポレートサイトから、集客に強いサービスサイト、ECサイトまで幅広く対応し、目的に合わせた最適なご提案をいたします。制作後も更新や運用サポートを継続し、お客様の事業成長を支えるパートナーとして寄り添います。ウェブステージは、ただ作るのではなく「選ばれるホームページ」をご提供いたします。

ウェブステージ
住所	〒101-0061東京都千代田区神田三崎町２丁目４−１ Tug-Iビル 3F
電話	0120-989-963

無料相談・資料請求

ホームページ運用やSEO対策でよく耳にする「robots.txt」について解説しています。

robots.txtとは

robots.txtとは、クローラの巡回を制限するための構文です。検索エンジンにインデックスされたくない（検索結果に表示させたくない）コンテンツがある場合、robots.txtで該当部分を指定すれば、クローラからのアクセスを拒否することができます。
robots.txtで指定できる主な対象としては、以下のようなものが挙げられます。

・ウェブページ
クローラによってサーバーに高負荷がかかり、ページ表示が遅くなってしまう場合があります。それが原因で、ページが表示されるまでに数十秒もかかってしまったり、またサーバーがダウンするようなことがあっては、ウェブサイトへのアクセスを本当に必要とするユーザーに迷惑がかかってしまいます。このような場合はrobots.txtでクローラを制御する必要があるでしょう。

・画像ファイル
robots.txtを使えば、画像ファイルをGoogleの検索結果から除外することができます。ウェブサイトのページに対してはアクセスを認める一方、パーソナルディレクトリ内の画像はクロールの対象外にするなど、限定的に指定することも可能です。

・リソースファイル
ビデオファイルやオーディオファイルなど、そのデータが欠如してもページ構成に影響を与えないものについては、robots.txtでブロックすることができます。ただし、それらのコンテンツをブロックしたために、クローラがサイトを正しく判断できなくなってしまう可能性もあります。

robots.txtの注意点

robots.txtはウェブページへのアクセスをブロックする手段として有用ですが、それでも万能ではありません。むやみに使用すると、かえってページランクが落ちてしまうこともあるので注意しましょう。robots.txtについて、特に誤解されやすい3つのポイントについてご紹介します。

・robots.txtの指示は絶対ではない
たとえばGooglebotなど、信頼性の高いクローラならばrobots.txtの指示を守りますが、そのほかのクローラも同様に指示を守るとは言い切れません。絶対的な拘束力はないため、中には指示を無視してクロールしてくるものもあります。

・URL自体は生きている
robots.txtはあくまで検索結果に表示させないために使うものであって、ページそのものを完全に隠せるわけではありません。たとえばユーザーが該当ページのURLを入力しさえすれば、自由に閲覧することができます。コンテンツを完全に表示させたくない場合にはパスワードを設定するなど、ほかの方法を検討する必要があります。

・逆SEOになることもある
重複コンテンツや低品質コンテンツに対してrobots.txtを使いたくなるかもしれませんが、Googleはそうした行為を推奨していません。一般的に、重複コンテンツおよび低品質コンテンツはSEOに影響を与えるといわれていますが、ランキングを意図的に操作するのが目的ではない場合、Googleはそれらのコンテンツに対して特にペナルティは設けていません。robots.txtを設定したために、かえってアクセス数が減ってしまうケースもあるので注意しましょう。