GPTBotとは？
要約
GPTBotとは、OpenAIが運用するWebクローラーの一つで、主にAIモデルの学習に使うデータを収集するために公開Webページを巡回するものです。OpenAIのクローラーには他に、ChatGPTの検索機能向けにページ情報を集めるOAI-SearchBot、ユーザーの操作に応じてページを取得するChatGPT-Userがあり、役割が分かれています。robots.txtで個別に制御できます。
さらに詳しい内容をご覧になりたい方は下記も併せてお読みください。
GPTBotとは、OpenAIが運用するWebクローラーの一つで、主にAIモデルの学習に使うデータを収集するために公開Webページを巡回するものです。アクセスログには「GPTBot」というユーザーエージェント名で記録されます。
ChatGPTを提供するOpenAIのAIクローラーとして最も知られた名前ですが、OpenAIのクローラーはGPTBotだけではありません。役割の異なる複数のクローラーが分かれて運用されており、この区別を知らないまま設定すると、意図と違う結果になることがあります。
GPTBotとは何か、もう少し詳しく
OpenAIは公式ドキュメントで、自社のクローラーとその用途を公開しています。主なものは次の3つです。
- GPTBot：AIモデルの学習（トレーニング）に使う可能性のあるデータの収集が主な用途です。将来のモデルの知識のもとになる巡回にあたります
- OAI-SearchBot：ChatGPTの検索機能でサイトを見つけて表示するための巡回です。検索結果への表示に関わるのはこちらで、学習用途ではないと説明されています
- ChatGPT-User：ユーザーがChatGPT上でリンクを開くなどの操作をしたときに、そのページを取得しに来るアクセスです。定期的な巡回ではなく、操作のたびに発生します
つまり、同じOpenAIからのアクセスでも「学習のための巡回」「検索表示のための巡回」「ユーザー操作による取得」は別のクローラーが担っており、robots.txtでそれぞれ個別に許可・拒否を指定できます。
ブロックするとChatGPTに出なくなる、とは限らない
ここが実務で最も誤解されやすい点です。「GPTBotをブロックする＝ChatGPTに自社サイトが出なくなる」と理解されがちですが、OpenAIの説明に沿えば、ChatGPTの検索機能での表示に関わるのはOAI-SearchBotであり、GPTBotの許可・拒否がそのまま検索表示を左右するわけではない、という整理になります。
逆に、「学習には使われたくないが、ChatGPTの検索からの流入は欲しい」という場合には、GPTBotのみを拒否し、OAI-SearchBotとChatGPT-Userを許可する、という設定が考えられます。robots.txtの記述例は次のとおりです。
- User-agent: GPTBot ／ Disallow: / （学習用の巡回を拒否）
- User-agent: OAI-SearchBot ／ Allow: / （検索表示のための巡回は許可）
- User-agent: ChatGPT-User ／ Allow: / （ユーザー操作による取得は許可）
なお、OpenAIはこれらのクローラーがrobots.txtの指示に従うとしています。ただし、robots.txtはあくまで「お願い」の仕組みであり、世の中のすべてのクローラーが従うことを保証するものではない、というクローラー一般の前提は変わりません。
Webサイト運営者はどう判断するか
中小企業のWebサイトの場合、判断の軸は「学習に使われることへの考え方」と「AI経由の露出をどれだけ重視するか」の2つだと考えられます。
- 集客を目的とするサイトでAI経由の露出を重視するのであれば、OAI-SearchBotやChatGPT-Userを積極的にブロックする理由は少ないと私たちは考えています
- 独自コンテンツの流用を避けたいメディアや、非公開性の高い情報を扱うサイトでは、GPTBotのみ拒否する選択肢があります
- いずれの場合も、拒否したクローラーの巡回が止まっているかは、サーバーのアクセスログのユーザーエージェントで確認できます
生成AIの利用が広がる中で、この設定は「AIとの付き合い方をサイトとして意思表示する場所」になりつつあります。正解が一つある設定ではないため、自社の方針に沿って選ぶことが大切です。
よくある質問
GPTBotをブロックするとChatGPTに自社サイトが表示されなくなりますか？
直結はしません。OpenAIの説明では、ChatGPTの検索機能での表示に関わるのはOAI-SearchBotとされており、GPTBotは主に学習用のデータ収集を担います。ただし、学習を通じてAIが自社を知る経路には影響しうるため、露出を重視する場合は両方の役割を踏まえて判断することをおすすめします。
GPTBotが自社サイトに来ているか確認できますか？
サーバーのアクセスログで、ユーザーエージェントに「GPTBot」を含むアクセスを検索すると確認できます。OAI-SearchBotやChatGPT-Userも同様にユーザーエージェント名で見分けられます。
robots.txtで拒否すれば確実に巡回されなくなりますか？
OpenAIは自社のクローラーがrobots.txtに従うとしています。一方で、robots.txt自体は強制力のある仕組みではないため、あらゆるクローラーの巡回を技術的に保証するものではありません。確実な遮断が必要な情報は、そもそも公開領域に置かないことが基本です。
関連する課題については、AI検索（ChatGPT等）にホームページが出てこないのページでも整理しています。
関連用語
AI検索最適化（AIO・GEO）の進め方やサービス内容についてはAIO・GEO対策（AI検索最適化）のページもご覧ください。AI検索からの集客についてのご相談は、お問い合わせフォームからお気軽にどうぞ。