AIクローラーとは？
要約
さらに詳しい内容をご覧になりたい方は下記も併せてお読みください。
AIクローラーとは、生成AIやAI検索サービスが、回答をつくるためにWebサイトを巡回し、情報を収集するプログラムのことです。代表的なものに、OpenAIのGPTBot、AnthropicのClaudeBot、PerplexityのPerplexityBotなどがあります。検索エンジンのクローラーと似たしくみですが、集めた情報をAIの回答や学習に用いる点が特徴です。これらは正式に統一された名称があるわけではなく、一般に「AIクローラー」と呼ばれています。ENVY DESIGNでは、自社サイトへのAIクローラーの動きを継続的に観察しています。
AIクローラーとは何か、もう少し詳しく
そもそもクローラーとは、プログラムが自動でWebサイトを巡回し、ページの内容を読み取っていくしくみのことです。Googleなどの検索エンジンも、クローラーでWeb上のページを集め、検索結果に反映しています。AIクローラーは、この考え方をAIの分野に広げたもので、ChatGPTなどのAIサービスが、回答づくりに使う情報を集めるために巡回します。
AIクローラーには、大きく分けていくつかの役割があると考えられます。ひとつはAIの学習に使う情報を集めるもの、もうひとつはユーザーの質問に答える際に、その場で最新情報を取りに行くものです。どのクローラーがどの役割を担うかは、各AIサービスの仕組みによって異なります。一般的なクローラー全般の説明についてはクローラーとは？もあわせてご覧ください。
代表的なAIクローラー
よく知られているAIクローラーには、次のようなものがあります。名前（ユーザーエージェント）でアクセスログに記録されるため、どのAIが自社サイトにアクセスしているかを、ある程度は確認できます。なお、これらの中には、サイト全体を巡回するタイプと、ユーザーの操作に応じてその場でページを取得するタイプがあり、役割は少しずつ異なります。
- GPTBot：OpenAIがAIモデルの改善に利用する情報を収集するためのクローラー
- ChatGPT-User：ChatGPTがWebページへアクセスする際に利用されるユーザーエージェント
- ClaudeBot：Anthropic（Claude）のクローラー
- Claude-SearchBot：ClaudeのWeb検索機能などで利用される識別子
- PerplexityBot：Perplexityのクローラー
- Perplexity-User：PerplexityがWebページへアクセスする際に利用されるユーザーエージェント
- GoogleOther：Googleの検索以外のサービスや実験用途などで利用されるクローラー
- Google-Extended：Googleの生成AIによる利用可否をrobots.txtで制御するための識別子（ページを巡回するクローラーではなく、制御用のトークンです）
これらの名前や仕様は、各社の方針によって追加・変更されることがあります。最新の一覧や仕様については、各AIサービスの公式情報を確認する必要があります。
実務ではどう扱うか
AIクローラーを意識した実務の基本は、「AIクローラーがページを巡回でき、内容を正しく読み取れる状態にしておく」ことです。次のような点が土台になります。
- 巡回をむやみに妨げない：robots.txtなどで、必要なページへのアクセスを意図せず塞いでいないか確認する
- 内容を読み取りやすくする：重要な情報が、複雑な操作をしないと見えない状態になっていないか気をつける
- 構造化データ：ページの内容を、機械が理解しやすい形式で意味づけする
- 方針に応じて制御する：AIに使わせたくない場合は、robots.txtや各社の識別子で巡回を制限することも検討する
なお、AIクローラーのアクセスを許可するか制限するかは、各サイトの方針によって判断が分かれます。情報を広く届けたい場合は許可し、コンテンツの利用を制限したい場合は制御する、といった選択になります。どちらが正しいということはなく、サイトの目的に応じて決めるものだと考えられます。
ENVY DESIGNの視点と観察
ENVY DESIGNでは、自社サイトへのAIクローラーのアクセスを継続的に観察しています。その中で、競合の少ないニッチなテーマの記事が、公開後おおよそ2〜3日ほどで、AIクローラーの取得サイクルに入る挙動を確認したことがあります。新しく公開したページが、比較的早い段階でAIに読み取られうる、という一例です。
また、ある記事では、公開の2日後に、複数のAIサービスで引用が確認できたケースもありました（詳細は公開2日後に4AIで引用確認、ChatGPTだけ拾われなかった理由）。ただし、引用がいつ始まったかの正確な時点は特定できないため、あくまで「確認できた」という記述にとどめています。また、クローラーが巡回することと、実際にAIの回答に引用されることは別の現象であり、巡回されたからといって必ず引用されるわけではありません。
これらはあくまで自社サイトでの限られた観察であり、すべてのサイトに当てはまるものではありません。AIクローラーの挙動は各サービスの方針によって変わりうるため、今後も動きを見ながら検証を続けていきます。
よくある誤解と関連用語
AIクローラーについて、「巡回されれば、必ずAIの回答に引用される」と誤解されることがあります。実際には、巡回（クロール）と引用は別の現象で、読み取られたからといって、そのままAIの回答に使われるとは限りません。まずは読み取られる状態を整えたうえで、内容が引用されやすいかどうかは、また別の要素が関わってきます。
クローラー全般のしくみについてはクローラーとは？、AIが情報を理解する手がかりとなるしくみについては構造化データとは？、AIに引用・参照される取り組み全般についてはGEOとは？もあわせてご覧ください。
代表的なAIクローラーであるGPTBotの仕様は、OpenAIの公式ドキュメントで公開されています。
AI検索への対応を含めたWebサイトづくりについてはAIO・GEO対策（AI検索最適化）のページで、考え方や進め方を紹介しています。AI検索への対応を進めたい方は、あわせてご覧ください。