クロールとは？

さらに詳しい内容をご覧になりたい方は下記も併せてお読みください。

クロールとは、検索エンジンのプログラム（クローラー）が、Web上のページを巡回して内容を読み取ることです。クロールされたページは、その内容や状態が確認されたうえで、インデックスに登録される可能性があります。インデックスに登録されると、検索結果に表示される対象になります。ページを公開しても、まずクロールされなければ検索結果には現れません。ENVY DESIGNでは、サイトがクロールされやすい状態を保つことを、Web制作の基本のひとつと考えています。

クロールとは何か、もう少し詳しく

検索エンジンがページを検索結果に表示するまでには、大きく3つの段階があります。クロールは、その最初の段階にあたります。

• クロール：クローラーがページを巡回し、内容を読み取る（最初の段階）
• インデックス：読み取った内容を、検索結果に表示できる状態で登録する
• ランキング：検索されたとき、登録済みのページから順位を決めて表示する

「クロール」と「クローラー」は、混同されやすい言葉です。クローラーは「巡回するプログラム」そのものを指し、クロールは「そのプログラムがページを巡回して読み取る動作」を指します。プログラムの詳しい説明は、クローラーの用語ページで扱っています。ここでは、クロールという「動作」を中心に見ていきます。

クロールされないと、どうなるか

クロールは、ページが検索結果に載るための最初の入り口です。クロールされていないページは、その先のインデックスにも進めず、検索結果には表示されません。「公開したのに検索に出てこない」という場合、そもそもまだクロールされていない、というのが原因のひとつとして考えられます。

クロールを妨げてしまう要因には、次のようなものがあります。意図せずクローラーの巡回を止めてしまっているケースもあるため、公開後に検索結果へ現れないときは、この点を確認すると原因を切り分けやすくなります。

• robots.txtでの制限：設定によって、クローラーの巡回を意図せず拒否していることがある
• リンクのないページ：どこからもリンクされていないページは、クローラーがたどり着きにくい
• ページを発見する手がかりが少ない：内部リンクがなく、XMLサイトマップにも掲載されていないページは、クローラーに発見されにくい

実務ではどう扱うか

クロールについて実務で意識するのは、「クローラーが巡回しやすい状態を保つ」ことです。特別な操作をするというより、基本的な環境を整えておく、という考え方になります。

• サイトマップを用意する：XMLサイトマップを送信し、ページの存在を検索エンジンに伝える
• 内部リンクを整える：ページ同士を内部リンクでつなぎ、クローラーがたどりやすくする
• robots.txtを確認する：必要なページの巡回を、誤って拒否していないか見直す
• Search Consoleで確認する：Google Search Consoleで、ページがクロール・インデックスされているかを確認する

これらは、いずれも派手な施策ではありませんが、ページが検索結果に載るための土台になります。とくに、内部リンクでページ同士がつながっていることは、クローラーの巡回のしやすさという面でも意味があると考えられます。

ENVY DESIGNの視点と観察

ENVY DESIGNでは、サイトを継続的に更新するなかで、クロールからインデックスまでの動きを、Google Search Consoleで確認してきました。その範囲での観察として、更新の頻度が高いサイトでは、クロールも比較的こまめに行われる傾向があるように感じています。

自社サイトでは、記事を公開してから比較的短い時間でクロールとインデックスが進むことがあります。これは、日々更新を続けていることや、内部リンクでページ同士がつながっていることが関係している可能性があると考えていますが、クロールの頻度をどう決めているかは検索エンジンの内部の判断であり、外部から正確に把握できるものではありません。ここで述べているのは、あくまで自社サイトでの観察にもとづく範囲の話です。特別なテクニックよりも、更新を続け、サイトの構造を整えておくこと。その積み重ねが、結果的にクロールされやすい状態につながっているのではないか、というのが今のところの実感です。

もう一点、自社サイトでは、コラム・用語集・課題解決ページなど、複数の種類のページを運用しています。そのなかで、ページの種類によって、公開後にクロールされるまでの時間や、クロール後にインデックスされるまでの時間に違いがあるように見えることがあります。ただし、検索エンジンがページの種類そのものによって判断しているとは限りません。内部リンクの数やサイト内での位置づけ、更新頻度、ページの内容など、ほかの要因が関係している可能性もあります。現時点では体系的に検証できていないため、今後Search Consoleのデータをもとに確認し、別の記事で詳しく取り上げたいと考えています。

関連する課題については、AI検索に自社サイトが出てこない場合の原因と対策のページでも整理しています。

よくある誤解と関連用語

クロールについて、「クロールされれば検索結果に表示される」と誤解されることがあります。実際には、クロールは最初の段階にすぎず、そのあとインデックスに登録され、検索された内容との関連性などにもとづいて表示対象に選ばれて、はじめて検索結果に現れます。クロールされたからといって、必ず検索結果に載るわけではありません。クロール・インデックス・ランキングは、それぞれ別の段階だと理解しておくことが大切です。

クロールと関わりの深い用語として、巡回するプログラムについてはクローラーとは？、読み取った内容が登録されるしくみについてはインデックスとは？、AIが情報を集めるしくみについてはAIクローラーとは？もあわせてご覧ください。検索やAI検索への対応を含めたWebサイトづくりについてはAIO・GEO対策（AI検索最適化）のページで、考え方や進め方を紹介しています。

クロール後のインデックス制御については、noindexもご覧ください。