集客重視のホームページ制作ならWebStage

COLUMN 検索エンジンのクロールの頻度とFetch as googleについて|1分でわかるホームページ戦略コラム

TOP > 検索エンジンのクロールの頻度とFetch as googleについて
検索エンジンのクロールの頻度とFetch as googleについて

検索エンジンのクロールの頻度とFetch as googleについて

ウェブページはいつクロールされる?

クローラがウェブページを収集することを「クロール」といいます。各種検索エンジンはこのクロールされたデータを検索結果に反映させているため、SEOを考えているサイト運営者としては、いつクロールされているのか気になる方も多いのではないでしょうか。

「ウェブページはいつクロールされる?」という疑問に対しての答えですが、結論からいいますと「わからない」というのが実際のところです。クローラはすべてのサイトを、公平かつ定期的に巡回しているわけではありません。グーグルはアルゴリズムを公表してはいませんが、以下のようなサイトでは巡回の頻度も高い傾向がみられます。

(1)人気のあるウェブサイト
(2)更新頻度が高いウェブサイト

このようなサイトでは1日に何度もクロールされることがあります。逆に更新頻度が少なく、また流入数も少ないサイトでは2日に1回、3日に1回というように、巡回のペースが下がります。

サーバのアクセスログをチェックすれば、クローラがいつ巡回していったのかは分かります。ただし、「○月△日の×時にクロールします」といった予告は一切ないので、巡回の日時を事前に知るすべはありません。

Fetch as googleでクロールをリクエスト

いつクローラが巡回するのかは分かりませんが、Fetch as google(フェッチ・アズ・グーグル)を使用すれば、こちらからクロールをリクエストすることができます。

Fetch as googleとはグーグルが提供しているウェブマスターツールのひとつで、クロールまたはレンダリングをシミュレーションするためのものです。「新しいページを作ったのにクロールされない」「URLを変更したので新しいページのほうをインデックス化してほしい」というときに役立ちます。

クロールを申請したいときは、Fetch as googleツールの「インデックスに送信」機能を使います。ただし、送信するには以下の条件を満たさなければなりません。

(1)取得ステータスが[完了]か[一部]、または[リダイレクトされました]である
(2)クローラタイプを[PC]または[モバイル スマートフォン]にして取得した
(3)取得してから4時間を過ぎていない

Fetch as googleを利用するときは、JavaScriptやCSSなどをブロックしていないかチェックしましょう。以前は、これらのコンテンツがサイト評価に直接関係していなかったことから、robots.txtによってクロールしないように指定するのが一般的でした。
しかしサイトをより正しく把握することを目指しているグーグルでは、現在、サイトを彩るJavaScriptやCSSなども重要なものとして捉えており、評価基準のひとつにしています。
ソーシャルメディアボタンやフォントなど、レイアウトにあまり関係のないものは以前のままでも特に問題ありませんが、もしJavaScriptやCSSをブロックしている場合には解除してください。

「クロール頻度が上がる」=「サイト評価が高まる」ではない

注意したいのは、クロール頻度が上がったからといってサイト評価が高まるわけではない、ということです。確かにクローラは人気のあるサイトや、更新頻度が高いサイトをよく巡回する傾向がありますが、それはインデックス化するためにであって、評価を高めるためにではありません。クロールをリクエストしたとしても、変化のないページだったり、コンテンツパワーが足りないページだったりする場合には、SEOにつながることはほとんどないのです。

検索結果の上位表示を目指したいときは、コンテンツの質を高めることが一番の近道となります。良質かつユーザーフレンドリーなサイトにすれば、自然とクロール頻度が上がり、サイトの評価も高まってくることでしょう。