Google-Extendedとは？
要約
Google-Extendedとは、Googleが提供するrobots.txt上の制御トークンで、自社コンテンツをGeminiの学習やグラウンディングに利用させるかを管理するものです。独自のクローラーではなく専用のユーザーエージェントも持たず、クロールは既存のGoogleのユーザーエージェントで行われます。拒否してもGoogle検索での掲載やランキングには影響しないと説明されています。
さらに詳しい内容をご覧になりたい方は下記も併せてお読みください。
Google-Extendedとは、Googleが提供するrobots.txt上の制御トークンで、自社サイトのコンテンツをGeminiモデルの学習やグラウンディングに利用させるかどうかを管理するためのものです。
OpenAIのGPTBotやAnthropicのClaudeBotと並べて「Google版のAIクローラー」として紹介されることがありますが、この理解は正確ではありません。Googleの公式ドキュメントによると、Google-Extendedはクローラーではなく、専用のユーザーエージェントも持ちません。
Google-Extendedとは何か、もう少し詳しく
公式ドキュメントの説明を整理すると、次のようになります。
- 独自のHTTPユーザーエージェント文字列はない：Google-Extendedは独立したクローラーではないため、アクセスログに「Google-Extended」という名前のアクセスが現れることはありません。robots.txt上で、Googleが取得したコンテンツの利用方法を管理するためのトークンとして機能します
- robots.txt上のトークンとして機能する：robots.txtに「User-agent: Google-Extended」のグループを書くことで、既にクロールされたコンテンツの「使いみち」を管理します
- 管理できるのはGemini関連の用途：次世代Geminiモデルの学習と、Geminiアプリ・Vertex AIでのグラウンディング（回答の根拠としてコンテンツを提供すること）への利用可否です
つまり、GPTBotのように「巡回そのものを止める」仕組みではなく、巡回は従来どおり行われたうえで、集めたコンテンツをGeminiに使ってよいかを意思表示する仕組みです。グラウンディングの意味はグラウンディングとは？で詳しく解説しています。
拒否してもGoogle検索やAI Overviewsからは消えない
最も誤解されやすいのがこの点です。公式ドキュメントには、Google-ExtendedがGoogle検索でのサイトの掲載に影響したり、ランキングシグナルとして使用されたりすることはないと明記されています。Geminiへの利用を拒否しても、検索順位が下がることはないという整理です。
一方で、AI OverviewsやAI ModeはGoogle検索側の機能であるため、Google-Extendedの管理対象には含まれません。これらでコンテンツがどのように表示されるかを制御する場合は、nosnippet、data-nosnippet、max-snippetなど、Google検索向けのプレビュー制御を使用します。なお、noindexを指定すると通常のGoogle検索結果からもページ自体が除外されます。「Geminiの学習は拒否したいが、検索とAI検索の露出は維持したい」というサイトにとって、この切り分けは実務上の前提になります。
4つの「AIクローラー」を並べると3つの型に分かれる
当用語集で扱ってきたGPTBot・ClaudeBot・PerplexityBot・Google-Extendedを並べると、同じように語られる4つが、実際には3つの型に分かれることが分かります。
- 学習用クローラー型（GPTBot・ClaudeBot）：拒否は主に「学習データからの除外」の意思表示。AI検索での表示とは切り分けて考えられます
- 検索用クローラー型（PerplexityBot）：拒否すると検索結果で引用・参照される機会が下がる方向に働きます
- 用途制御トークン型（Google-Extended）：巡回は止まらず、集めたコンテンツの使いみちだけを管理します
「AIクローラーをブロックすべきか」という問いに一律の答えがないのは、このように対象ごとに仕組みと影響の方向が違うためです。AIクローラーへの対応は、名前ごとに公式情報を確認してから判断することをおすすめします。
ENVY DESIGNの視点と観察
【調査データ】自社サイト（envydesign.jp）のGA4では、Googleのデータセンター所在地として知られる米オレゴン州The Dallesからの、サイト全域を1ページずつ網羅的に閲覧するアクセスのスパイクを、およそ7〜8日周期で繰り返し観測しています。発信元や巡回パターンからGoogle関連の自動アクセスである可能性を考えて継続的に記録していますが、Google系AIによる取得と特定できているわけではありません。
【仮説】Google系AIによるコンテンツの取得は、Google-Extendedの拒否では止まらない既存の巡回の延長線上で行われていると考えられます。トークンの設定は「取得を止める」手段ではなく「用途を制限する」意思表示として捉えるのが実態に近いと推測しています。あくまで自社1サイトでの、母数の少ない観測です。
よくある質問
Google-ExtendedをブロックするとGoogle検索やAI Overviewsに出なくなりますか？
公式ドキュメントでは、Google-ExtendedはGoogle検索での掲載やランキングに影響しないと明記されています。AI OverviewsやAI ModeもGoogle検索側の機能のため、Google-Extendedの管理対象には含まれません。影響するのはGeminiの学習とグラウンディングへの利用です。
アクセスログに「Google-Extended」というクローラーは記録されますか？
Google-Extendedは専用のユーザーエージェントを持たない制御トークンです。そのため、アクセスログに「Google-Extended」という名前のクローラーが記録されることはありません。
Geminiの学習だけ拒否して、Google検索の掲載は維持できますか？
できると説明されています。それがGoogle-Extendedというトークンの役割そのもので、robots.txtでGoogle-Extendedを拒否しても、Google検索でのクロール・掲載・ランキングには影響しないとされています。
関連する課題については、AI検索（ChatGPT等）にホームページが出てこないのページでも整理しています。
関連用語
AI検索最適化（AIO・GEO）の進め方やサービス内容についてはAIO・GEO対策（AI検索最適化）のページもご覧ください。AI検索からの集客についてのご相談は、お問い合わせフォームからお気軽にどうぞ。