ホーム > コラム > 検索エンジンのクロールの頻度とFetch as googleについて

コラム

検索エンジンのクロールの頻度とFetch as googleについて

検索エンジンのクロールの頻度とFetch as googleについて

「クローラ」というプログラムによって、検索エンジンはウェブサイトを自動的にスキャンしています。そして、それらの収集データがインデックス化(索引化)されることで、初めて検索結果にも反映されるのです。グーグルのクローラにはGoogle ウェブ検索を担当する「Googlebot」、ニュースサイトを担当する「Googlebot-News」、画像を担当する「Googlebot-Image」などがありますが、これらのクローラはいつ巡回しているのでしょうか。

ウェブページはいつクロールされる?
クローラがウェブページを収集することを「クロール」といいます。各種検索エンジンはこのクロールされたデータを検索結果に反映させているため、SEOを考えているサイト運営者としては、いつクロールされているのか気になる方も多いのではないでしょうか。

「ウェブページはいつクロールされる?」という疑問に対しての答えですが、結論からいいますと「わからない」というのが実際のところです。クローラはすべてのサイトを、公平かつ定期的に巡回しているわけではありません。グーグルはアルゴリズムを公表してはいませんが、以下のようなサイトでは巡回の頻度も高い傾向がみられます。

(1)人気のあるウェブサイト
(2)更新頻度が高いウェブサイト

このようなサイトでは1日に何度もクロールされることがあります。逆に更新頻度が少なく、また流入数も少ないサイトでは2日に1回、3日に1回というように、巡回のペースが下がります。

サーバのアクセスログをチェックすれば、クローラがいつ巡回していったのかは分かります。ただし、「○月△日の×時にクロールします」といった予告は一切ないので、巡回の日時を事前に知るすべはありません。
Fetch as googleでクロールをリクエスト
いつクローラが巡回するのかは分かりませんが、Fetch as google(フェッチ・アズ・グーグル)を使用すれば、こちらからクロールをリクエストすることができます。

Fetch as googleとはグーグルが提供しているウェブマスターツールのひとつで、クロールまたはレンダリングをシミュレーションするためのものです。「新しいページを作ったのにクロールされない」「URLを変更したので新しいページのほうをインデックス化してほしい」というときに役立ちます。

クロールを申請したいときは、Fetch as googleツールの「インデックスに送信」機能を使います。ただし、送信するには以下の条件を満たさなければなりません。

(1)取得ステータスが[完了]か[一部]、または[リダイレクトされました]である
(2)クローラタイプを[PC]または[モバイル スマートフォン]にして取得した
(3)取得してから4時間を過ぎていない

Fetch as googleを利用するときは、JavaScriptやCSSなどをブロックしていないかチェックしましょう。以前は、これらのコンテンツがサイト評価に直接関係していなかったことから、robots.txtによってクロールしないように指定するのが一般的でした。
しかしサイトをより正しく把握することを目指しているグーグルでは、現在、サイトを彩るJavaScriptやCSSなども重要なものとして捉えており、評価基準のひとつにしています。
ソーシャルメディアボタンやフォントなど、レイアウトにあまり関係のないものは以前のままでも特に問題ありませんが、もしJavaScriptやCSSをブロックしている場合には解除してください。
「クロール頻度が上がる」=「サイト評価が高まる」ではない
注意したいのは、クロール頻度が上がったからといってサイト評価が高まるわけではない、ということです。確かにクローラは人気のあるサイトや、更新頻度が高いサイトをよく巡回する傾向がありますが、それはインデックス化するためにであって、評価を高めるためにではありません。クロールをリクエストしたとしても、変化のないページだったり、コンテンツパワーが足りないページだったりする場合には、SEOにつながることはほとんどないのです。

検索結果の上位表示を目指したいときは、コンテンツの質を高めることが一番の近道となります。良質かつユーザーフレンドリーなサイトにすれば、自然とクロール頻度が上がり、サイトの評価も高まってくることでしょう。

→ コラム一覧に戻る

  • ホームページ、SEOについてコンサルタントに相談する 03-5210-2565
  • 東京・大阪・名古屋エリアへご訪問します
  • SEOに強いホームページ作成
  • 女性向けホームページ制作
  • SEO対策
  • 制作実績
  • ウェブステージについて Web戦略の専門家が多数在籍。最高の制作チームでサポートします。
ベストベンチャー100
業種別プラン

多彩な業種別プランを
ご用意しています

他にも様々な業種に対応しています

建築業系/不動産業/製造業/士業・コンサルティング/医療法人・福祉/美容・ファッション業/情報通信業/BtoC小売業/運輸業/フード産業/サービス業/リクルート系/教育/金融保険業/鉱業/農林水産業/財団、団体/その他