クローラがウェブページを収集することを「クロール」といいます。各種検索エンジンはこのクロールされたデータを検索結果に反映させているため、SEOを考えているサイト運営者としては、いつクロールされているのか気になる方も多いのではないでしょうか。
「クローラ」とは、インターネット上のあらゆるリンクをたどってWebサイトなどを検出するプログラムのことです。
クローラが広大なインターネットを巡回して、どこに（Webサイトや媒体など）どんな情報（テキスト、動画、画像など）が掲載されているかを調べることを、「クロール」といいます。
クローラには様々な種類がありますが、Google検索エンジンのクローラーが一般的。
インターネット検索で表示されるには、このクロールの巡回に引っかかる必要があり、ホームページを開設する際の大事な要素となります。
このためWeb業界では、クロールの頻度や、クローラに情報を確認してもらえたか（インデックス）などが話題に上がります。
▼こちらでGoogleによる解説も読むことができますのでよろしければご一読ください。
https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers
「ウェブページはいつクロールされる？」という疑問に対しての答えですが、結論からいいますと「わからない」というのが実際のところです。
クローラはすべてのサイトを、公平かつ定期的に巡回しているわけではありません。
グーグルはアルゴリズムを公表してはいませんが、以下のようなサイトでは巡回の頻度も高い傾向がみられます。
（1）人気のあるウェブサイト
（2）更新頻度が高いウェブサイト
このようなサイトでは1日に何度もクロールされることがあります。逆に更新頻度が少なく、また流入数も少ないサイトでは2日に1回、3日に1回というように、巡回のペースが下がります。
サーバのアクセスログをチェックすれば、クローラがいつ巡回していったのかは分かります。ただし、「○月△日の×時にクロールします」といった予告は一切ないので、巡回の日時を事前に知るすべはありません。
いつクローラが巡回するのかは分かりませんが、URL検査ツール（旧：Fetch as google）を使用すれば、こちらからクロールをリクエストすることができます。
URL検査ツール（旧：Fetch as google）とはグーグルが提供しているウェブマスターツールのひとつで、クロールまたはレンダリングをシミュレーションするためのものです。「新しいページを作ったのにクロールされない」「URLを変更したので新しいページのほうをインデックス化してほしい」というときに役立ちます。
クロールを申請したいときは、URL検査ツールの「インデックスに送信」機能を使います。ただし、送信するには以下の条件を満たさなければなりません。
（1）取得ステータスが［完了］か［一部］、または［リダイレクトされました］である
（2）クローラタイプを［PC］または［モバイル スマートフォン］にして取得した
（3）取得してから4時間を過ぎていない
URL検査を利用するときは、JavaScriptやCSSなどをブロックしていないかチェックしましょう。以前は、これらのコンテンツがサイト評価に直接関係していなかったことから、robots.txtによってクロールしないように指定するのが一般的でした。
しかしサイトをより正しく把握することを目指しているグーグルでは、現在、サイトを彩るJavaScriptやCSSなども重要なものとして捉えており、評価基準のひとつにしています。
ソーシャルメディアボタンやフォントなど、レイアウトにあまり関係のないものは以前のままでも特に問題ありませんが、もしJavaScriptやCSSをブロックしている場合には解除してください。
最近では、新しいページをインデックスさせたいため、URL検査ツールでクロールをリクエストしたはずが、インデックスされないという症状も多く聞きます。
このように、クロールはされているがインデックスはされていないという残念な症状です。
この原因については、誰もはっきりと明言できないのが現状なのですが、おそらく「重複コンテンツと認識されたため、インデックスから外されているのではないか」と言われています。
ご存じのとおりGoogleのクローラーは、数えきれないほど膨大な数のWebサイトを巡回しています。
Googleの説明ページで以下のように説明されているように、効率化が必要になっているのです。
ウェブはほぼ無限に近い空間であるため、利用可能な URL をすべて調査してインデックスに登録するとなれば、Google の能力を超えることになります。そのため、Googlebot が 1 つのサイトをクロールできる時間には限界があります。
引用元：「大規模なサイト所有者向けのクロールの割り当て管理ガイド」
注意したいのは、クロール頻度が上がったからといってサイト評価が高まるわけではない、ということです。確かにクローラは人気のあるサイトや、更新頻度が高いサイトをよく巡回する傾向がありますが、それはインデックス化するためにであって、評価を高めるためにではありません。クロールをリクエストしたとしても、変化のないページだったり、コンテンツパワーが足りないページだったりする場合には、SEOにつながることはほとんどないのです。
検索結果の上位表示を目指したいときは、コンテンツの質を高めることが一番の近道となります。良質かつユーザーフレンドリーなサイトにすれば、自然とクロール頻度が上がり、サイトの評価も高まってくることでしょう。
クロールについてはGooogleが配信しているSEO対策技術者向けの動画でも説明されています。
字幕もありますので、参考情報として添付しておきます。
Webステージでは、SEOに強いホームページのコンサルティングと制作を展開しています。
SEO対策でお悩みのある方や、これから検索エンジン対策に力を入れたい方は、当社のホームページ無料診断をご案内しています。
「今のサイトに問題がないか知りたい」「ページの改善方法が分からない」「どう対策すれば問合せ（売上）が増えるのか知りたい」など、ビジネスに役立つSEO対策について、一緒に考えさせていただきますので、ぜひお気軽に無料診断をご利用ください。
ご連絡をお待ちしております。
メールフォームからはこちら →「問合せフォーム」へ
電話：03-5210-2565 （受付時間 平日9時～18時）
■WebステージのSEO関連コンテンツはこちら
SEOに強いホームページ作成ならWebステージ
SEO強化のためのホームページ制作プラン
コラム記事「いまさら聞けない MFI とは？」
ウェブステージ集客メンバー。役立つホームページやウェブ活用を研究するウェブステージで、集客に関する情報を配信しています。ホームページを活用した集客戦略が得意分野です。
