集客のために書いている記事なら、AIクローラーを一律に止める必要はありません。止めたいのがAIの「学習」なのか、AIの回答での「表示」なのかで、効く設定はまったく違います。たとえば Google-Extended を拒否しても、GoogleのAI Overviews（AIによる概要）は止まりません。
AIクローラーのブロックとは、robots.txt やメタタグ、Google Search Console の設定などで、生成AIのサービスがサイトの内容を取得したり、学習や回答に使ったりすることを止める設定です。手段ごとに止められる範囲が違うので、止めたい用途を先に決め、それに効く手段を選びます。
CONTENTS
AIクローラーのブロックとは？止められるのは「用途」ごと
AIによるサイトの利用は、大きく「学習」「AI検索での表示」「ユーザー起点の取得」の3つの用途に分かれます。これに加えて、GoogleのAI Overviews（AIによる概要）やAIモードは通常の検索と一体で動く別枠です。何を止めたいのかによって、使う手段がまったく変わります。
1つ目の学習は、AIのモデルを作るための文章集めです。OpenAIのGPTBotやAnthropicのClaudeBotがこれにあたり、ここで集められた内容は将来のモデルの知識になります。回答に出典リンクが付くわけではありません。
2つ目のAI検索での表示は、ChatGPTの検索やPerplexityなどが回答の根拠として示すページを集める用途です。通常の検索エンジンのクローラーに近い役割で、止めるとそのサービスの回答で紹介されなくなります。
3つ目のユーザー起点の取得は、ユーザーが「このページを要約して」と頼んだときなどに、その場でページを読みに行く動きです。人の操作をきっかけにしているため、OpenAIとPerplexityは robots.txt が適用されない場合があると説明しています。Anthropicは、自社のクローラーはこの用途も含めて robots.txt に従うとしています。
GoogleのAI OverviewsとAIモードは、このどれとも違います。専用のクローラーは無く、通常の検索と同じGooglebotのクロールと検索インデックスを使っています。そのため、ほかのAIと同じ感覚で robots.txt を書いても思ったとおりには止まりません。クローラーそのものの仕組みは クローラーとは をご覧ください。
AIクローラーを制御する手段の全体像
AIによる利用を制御する手段は、robots.txt、用途を指定するトークン、スニペットを制限するメタタグ、Search Console の設定、サーバーやCDNでの遮断の5つです。いちばん知られている robots.txt は、クローラーへの「お願い」であってアクセスを防ぐ仕組みではありません。
| 手段 | 止められるもの | 止められないもの・注意 |
|---|---|---|
| robots.txt（クローラー名を指定） | ルールを守るクローラーによる取得 | ルールを守らないクローラー。ユーザー起点の取得には適用されない場合がある |
| 用途を指定するトークン（Google-Extended、Applebot-Extendedなど） | 取得済みの内容を学習などに使うこと | 取得そのもの。検索での表示には影響しない |
| メタタグ（nosnippet、max-snippet、noindex など） | 検索結果での表示と、GoogleのAI機能での利用 | robots.txt でクロールを止めたページではタグが読まれない |
| Search Console の「検索の生成 AI」（Search generative AI）の設定 | AI Overviews、AIモード、Discoverの生成AI機能での表示 | 通常の検索での表示、Geminiの学習 |
| サーバーやCDNでの遮断（IP、ユーザーエージェント、ボット対策機能） | ルールを守らないアクセスも含めた取得 | 設定を誤ると、許可したいクローラーまで止まる |
robots.txt の限界は、仕様そのものに書かれています。robots.txt の標準仕様であるRFC 9309は、robots.txt のルールはアクセスを許可するかどうかを決める仕組みではないと明記しています。Googleも「robots.txt の概要とガイド」で、robots.txt はクローラーの動作を強制できず、従うかどうかはクローラー次第だと説明しています。
robots.txt に書いたパスは誰でも読めます。見られたくないディレクトリを robots.txt に並べると、かえって場所を知らせることになります。公開したくない情報は、ログインなどの認証で守ってください。
検索結果に出したくないページに使うのは robots.txt ではなく noindex です。robots.txt でクロールを止めると、ページの中の noindex が読まれなくなる点にも注意が必要です。robots.txt の書き方は robots.txtの書き方、noindex の使いどころは noindexの正しい使い方 で解説しています。
主要なAIクローラーとrobots.txtの効き方
主要なAI企業の多くは、学習用と検索・回答用のクローラーを分けています。学習用を拒否しても検索での表示には影響しない、とGoogleとAppleは公式に説明しています。OpenAIも、クローラーごとの設定は互いに独立していると説明しています。ユーザー起点の取得の扱いは会社によって違います。
| クローラー（会社） | 用途 | robots.txt で拒否すると |
|---|---|---|
| Googlebot（Google） | 【検索エンジン】Google検索のクロール。AI Overviews・AIモード・Discoverを含む | 通常の検索とAI機能の両方でクロールされなくなる |
| Bingbot（Microsoft） | 【検索エンジン】Bing検索のクロール。AIの回答への利用は robots.txt ではなくメタタグで制御する | Bing検索のためのクロールごと止まる。AIの回答だけ止めるなら noarchive（下記） |
| Applebot（Apple） | 【検索エンジン】Spotlight・Siri・Safariの検索機能。集めた内容はAIの回答の文脈にも使われうる | Appleの検索機能に表示されなくなる |
| GPTBot（OpenAI） | 【学習】生成AIの基盤モデルの学習 | 学習に使わないでほしいという意思表示になる |
| ClaudeBot（Anthropic） | 【学習】AIモデルの学習に使う可能性があるウェブの収集 | 今後の学習データから除外するよう求める意思表示になる |
| Google-Extended（Google） | 【学習】Geminiのモデルの学習と、Geminiアプリなどでのグラウンディング。取得はGooglebotが行い、このトークンは利用の可否だけを決める | Google検索での掲載や順位には影響しない |
| Applebot-Extended（Apple） | 【学習】Applebotが取得した内容をAppleの基盤モデルの学習に使うかどうかだけを決める | 学習には使われない。Appleの検索機能には表示されうる |
| CCBot（Common Crawl） | 【学習など】誰でも使える公開データセットのための収集 | 以後の収集対象から外れる。データの使い道は利用者次第 |
| OAI-SearchBot（OpenAI） | 【AI検索】ChatGPTの検索機能で表示するサイトの収集 | ChatGPTの検索の回答に表示されなくなる（ナビゲーション目的のリンクとしては出ることがある） |
| Claude-SearchBot（Anthropic） | 【AI検索】Claudeの検索の品質向上のための収集 | 検索のためのインデックスに使われなくなる |
| PerplexityBot（Perplexity） | 【AI検索】Perplexityの検索結果での表示（学習には使わない） | Perplexityの検索結果に出にくくなる。Perplexityは許可を推奨している |
| ChatGPT-User（OpenAI） | 【ユーザー起点】ユーザーの操作に応じたページの取得 | robots.txt が適用されない場合がある |
| Claude-User（Anthropic） | 【ユーザー起点】ユーザーの質問に応じたページの取得 | 取得が止まる（Anthropicは robots.txt に従うとしている）。その経路での露出が減る可能性がある |
| Perplexity-User（Perplexity） | 【ユーザー起点】ユーザーの質問に応じたページの取得（学習には使わない） | 原則として robots.txt を適用しない |
表のうちBingについては、2023年9月の公式ブログ（当時の名称はBing Chat）で、メタタグの noarchive を付けたページはAIの回答に使わず、学習にも使わないと案内されています。nocache ならURL・タイトル・スニペットだけが使われます。どちらを付けてもBing検索には表示されます。
学習用のクローラーだけを拒否し、検索・回答用は許可する場合、robots.txt は次のようになります（パターン1）。
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /名前を書いていないクローラー（OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebotなど）は User-agent: * のルールに従い、それも無ければ許可のままです。
AIの回答での表示も止めると決めた場合は、検索・回答用のクローラーを足します（パターン2）。Googlebotは止めず、GoogleのAI機能は次の章の Search Console の設定で扱います。
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /会員向けのディレクトリだけを学習から外すなら、パスを指定します（パターン3）。認証で守っていないページは、どの設定でも誰でも読める点は変わりません。
User-agent: GPTBot
Disallow: /members/
User-agent: ClaudeBot
Disallow: /members/反映までの時間は、OpenAIは検索結果について約24時間、Perplexityは最大24時間としています。
ここに挙げたのは判断に必要な主要なクローラーだけです。ほかのAIクローラーも含めた一覧は 主要AIクローラー一覧 で定期的に更新しています。
GoogleのAI機能はどう制御する？
GoogleのAI OverviewsとAIモードは、Googlebotが集めた検索インデックスで動いています。そのため robots.txt で「通常の検索は許可、AI機能だけ拒否」と分けることはできません。AI機能だけを止めたいときは、Search Console の「検索の生成 AI」の設定か、nosnippet などのメタタグを使います。
Googleは「AI features and your website」で、AIは検索に組み込まれた一部であり、アクセスを管理する手段はGooglebot向けの robots.txt だと説明しています。Googlebotを拒否すれば、AI機能だけでなく通常の検索でもクロールされなくなります。
よく誤解されるのがGoogle-Extendedです。Googleの「Google’s common crawlers」によると、Google-ExtendedはGeminiのモデルの学習と、GeminiアプリやVertex AIでのグラウンディング（回答時に検索インデックスの内容をモデルに渡すこと）への利用を管理するためのものです。Google検索への掲載にも順位にも影響しないとされています。つまり、Google-Extendedを拒否してもAI Overviewsは止まりません。
AI機能だけを止めるための設定が、2026年8月31日に全サイトへ展開されたSearch Console の「検索の生成 AI」の設定です。管理画面の「設定」の中にあります。選べるのは、サイトのリンクとコンテンツを「含める」「除外する」と、「親から設定を継承する」の3つです。初期設定は「含める」で、親プロパティがある場合は「親から設定を継承する」になります。
Search Console ヘルプによると、「除外する」を選ぶとAI Overviews、AIモード、Discoverの生成AI機能にサイトへのリンクや内容が表示されなくなります。この設定は順位や掲載のシグナルには使われません。ただし、クエリの言葉を理解するといった検索全体の仕組みには、引き続き内容が使われることがあります。反映には通常数日かかり、キャッシュなどの関係でさらに時間がかかる内容もあります。
ページ単位やページの一部で制限したい場合は、メタタグを使います。Googleの仕様によると、nosnippet を付けたページは検索結果にスニペットが出なくなり、AI OverviewsとAIモードの直接の入力としても使われません。max-snippet は使われる文字数を制限します。ページの一部だけを隠す data-nosnippet 属性も、GoogleはAI機能のガイドで表示を制限する手段の1つに挙げています（AI機能への効き方は nosnippet ほど明確には書かれていません）。
| 手段 | AI Overviews・AIモード | 通常の検索結果 | Geminiアプリなどの学習・グラウンディング |
|---|---|---|---|
| Google-Extended を拒否 | 影響しない | 影響しない | 使われない |
| 「検索の生成 AI」を「除外する」 | 表示されない | 影響しない | この設定の対象外（Google-Extended を使う） |
| nosnippet | 直接の入力に使われない | スニペットが出ない | Googleの説明なし |
| noindex | 表示されない | 表示されない | Googleの説明なし |
| Googlebot を robots.txt で拒否 | クロールされない | クロールされない（URLだけ出ることはある） | Googleの説明なし |
設定を変えたあとの表示の変化は、Search Console の生成AIパフォーマンスレポート（画面では「生成 AI 機能」、ベータ）で確かめられます。2026年6月3日に発表され、8月31日に全サイトへ提供されたレポートです。見方は AI Overviews・AIモードの表示は計測できるか、Search Console 全般は Search Console完全ガイド、AI Overviewsで引用される条件は AI Overviews対策の完全ガイド で扱っています。
AIクローラーは拒否すべきか？流入機会とコンテンツ保護のトレードオフ
止めることで守れるものと失うものは、止める用途によって違います。検索・回答用を止めると、そのサービスの回答で紹介される機会を失います。学習用を止めても、公式に説明している各社では検索での表示は変わりません。有料や非公開の情報を守りたいなら、robots.txt ではなく認証で守る必要があります。
| 止めるもの | 守れるもの | 失うもの |
|---|---|---|
| 学習用（GPTBot、ClaudeBot、Google-Extended、Applebot-Extended） | 今後のモデルの学習に使われないという意思表示 | 公表している各社では、検索での表示への影響はない |
| AI検索での表示（OAI-SearchBot、Claude-SearchBot、PerplexityBot） | そのサービスの回答での要約・引用 | そのサービスの回答で紹介される機会と、そこからの訪問 |
| ユーザー起点の取得（ChatGPT-User、Claude-User、Perplexity-User） | ユーザーの依頼による取得（ChatGPT-User・Perplexity-User には適用されない場合がある） | ユーザーが明示的にページを指定したときの要約や紹介 |
| GoogleのAI機能（「検索の生成 AI」の設定、nosnippet） | AI Overviews・AIモードでの要約・引用 | AI機能での表示とリンク。nosnippetは通常の検索のスニペットも失う |
学習用の拒否は、止めても検索での露出に響かないので判断しやすい部分です。ただし、すでに学習に使われた内容を取り消す仕組みではありません（よくある質問）。
検索・回答用の拒否は、流入の機会と引き換えになります。AIの回答に要約されてクリックされないことを嫌って止める判断もありえますが、止めたからといって、読者がそのサイトを探しに来てくれるとは限りません。回答の中で競合のページが紹介されるだけになる可能性もあります。
読者を集めるために書いている記事であれば、検索・回答用のクローラーは許可するのが基本だと考えています。学習用は、データそのものが商品か、AIの回答に自社の名前や考え方が出ることに価値を置くか、で決めるのが現実的です。どちらにしても、一律に全部を止める設定はおすすめしません。
COCORO Pulse.自身は、学習用を含めてAIクローラーを遮断していません。Search Console の「検索の生成 AI」も初期設定の「含める」のままです。用語の解説のように、AIの回答と隣り合う記事が増えていくメディアなので、AIの回答に私たちの考え方が反映されることを狙って、あえて開いています。生成AIパフォーマンスレポートで、AI経由の成果を確かめるためでもあります。どこまで開くかは、サイトの更新の方針によって変わるものだと考えています。
AIの回答からの訪問を増やす側の対策は、プラットフォームごとの仕組みに合わせて ChatGPT検索で引用・推薦されるための対策 で解説しています。検索とAIの関係の全体像は LLMOとは をご覧ください。
コンテンツの種類ごとにどこまで止める？判断の基準
判断は「内容が有料・非公開か」「検索やAIの回答から読者を集めたいか」「学習に使われてもよいか」の3つの問いで決められます。同じサイトでも、ページの種類によって答えが変わることがあります。
止めたいのは「学習」？ それとも「AIの回答での表示」？ 下の3つの問いに、自分のサイトを当てはめてみよう。
| コンテンツの種類 | おすすめの設定 | 理由 |
|---|---|---|
| 集客のための記事・サービスページ | すべて許可（初期設定のまま）。学習用だけ拒否するのも可 | 検索とAIの回答の両方で見つけてもらうことが目的のため |
| 独自調査・データ | 検索・回答用は特に止めない。学習用はデータを商品にしているかで決める | AIの回答で出典として紹介されれば、調査の価値が名前と一緒に届く。データそのものを売っているなら学習用は拒否する理由がある |
| 有料記事・会員限定ページ | ログインなどの認証で守る | robots.txt はアクセスを防げない。認証の外に本文を置かない |
| 社内向け・個人情報を含むページ | 公開しない（認証、noindex） | AIクローラー以前に、検索エンジンにも見せるべきでない |
ニュースや記事そのものを商品にしている事業者は、学習用だけでなく検索・回答用も止めるという判断をすることがあります。止めたあとも、生成AIパフォーマンスレポートやアクセス解析で露出の変化を見ておくと、方針を戻す判断がしやすくなります。
判断の基準
これまで、AIクローラーを止める判断をしたことはありません。小規模・中規模のサイトなら、クローラーに来てもらい、拾ってもらうメリットのほうが大きい。止めて得をする場面は、現場ではあまり感じないというのが正直な印象です。
意図しない遮断を防ぐ点検の手順
ブロックの失敗で多いのは、止めるつもりのなかった遮断です。新しく何かを止める前に、今の設定がAIや検索からの露出を妨げていないかを確かめてください。
止めた覚えはないのに、AIの回答に出てこない……ってこと、ない？ まずは今の設定を開いてみよう。
- robots.txt を開いて読むブラウザで
/robots.txtを開き、実際に配信されている内容を見る。User-agent: *にDisallow: /が残っていないか、AIクローラーをまとめて拒否する記述が入っていないかを確かめる。WordPressが自動で出す仮想の robots.txt は実ファイルが無いときだけ使われる。ルートに実ファイルがあると、仮想の robots.txt を編集するプラグインの設定は反映されない - CDN・セキュリティの設定を確かめるCloudflareは2025年7月1日から、新しく登録したドメインで既知のAIクローラーを初期設定で遮断し、登録時に許可するかを尋ねる方式にした。ボット対策やWAFの設定もあわせて確認する
- Search Console の「検索の生成 AI」を確かめる「設定」の「検索の生成 AI」が意図せず「除外する」になっていないか。親プロパティがある場合は「親から設定を継承する」で親の設定に従っているかも見る
- メタタグを確かめる重要なページに nosnippet や noindex が残っていないか。制作中の設定を外し忘れていないか
- アクセスログで確かめるサーバーのアクセスログを GPTBot や ClaudeBot などの名前で検索し、拒否したクローラーが来なくなったか、許可したクローラーは来ているかを見る。名前だけをまねたアクセスもあるため、各社が公開している IP アドレスの範囲と照らし合わせる
- 変化を記録する設定を変えた日を記録し、生成AIパフォーマンスレポートやGA4の参照元で前後を比べられるようにする
見てきたこと
新規サイトで、制作中に付けた noindex を外し忘れたまま公開されていた例を見たことがあります。
設定を変えたあとの効果を確かめる方法は AI経由の流入を計測する方法 で扱っています。
llms.txtはどう扱う？
llms.txt は、AI向けにサイトの概要や主要なページを案内するテキストファイルとして提案されているものです。クローラーを止める手段ではないので、ブロックの設定とは別に考えてください。
Googleは公式ガイド「Optimizing your website for generative AI features on Google Search」（2026年7月10日更新）で、Google検索（生成AIの機能を含む）に表示されるためにAI向けのテキストファイルやマークアップを新しく作る必要はなく、Google検索はそれらを使わないと明言しています。置いてもGoogle検索での表示や順位に良い影響も悪い影響もない、とも書いています。
COCORO Pulse.は llms.txt を置いていません。Google検索では使われないと公式に説明されていること、ほかのサービスで効果を確かめる手段が今のところないことが理由です。Google以外のサービス向けに置くかどうかは各サイトの自由で、置いてもGoogle検索に害はありません。
Google以外のサービスでの扱いや書式は、配下の記事で詳しく解説しています。
よくある質問
ブロックすると、すでに学習に使われた内容も消えますか？
消えません。robots.txt などでの拒否は、これからの収集や利用についての意思表示です。Anthropicは拒否を今後の学習データから除外するための合図として扱うと説明し、Google-Extendedの説明も将来の世代のモデルを対象にしています。
設定はどのくらいで反映されますか？
サービスによって違います。robots.txt の変更は、OpenAIが検索結果について約24時間、Perplexityが最大24時間で反映されるとしています。Search Console の「検索の生成 AI」設定は通常数日かかり、キャッシュの関係でさらに時間がかかる内容もあります。
一部のページだけ止めることはできますか？
できます。robots.txt ではディレクトリやパスの単位でクローラーごとに拒否できます。GoogleのAI機能については、ページ単位なら nosnippet を使います（ページの一部を隠す data-nosnippet もあります）。Search Console の「検索の生成 AI」設定はプロパティごとの設定です。ページを1つずつ選ぶ仕組みではありませんが、URLプレフィックスの子プロパティを作れば、ディレクトリ単位で分けられます。
まとめ
- AIクローラーのブロックは一律ではなく、学習・AI検索での表示・ユーザー起点の取得・GoogleのAI機能という用途ごとに手段を選びます
- GoogleのAI機能はrobots.txtで切り分けられません。止めるならSearch Consoleの設定かnosnippetを使い、Google-ExtendedはGeminiの学習用と区別します
- 集客のための記事なら検索・回答用は許可し、学習用は方針で決めます。まずは意図しない遮断がないかを点検してください
各社のクローラーの仕様は変わることがあります。表は確認日を明記し、仕様が変わったときに見直します。
参考にした一次情報
- Google's common crawlers Google Crawling Infrastructure・Google-Extended、最終更新 2026-10-15、確認日 2026-10-23
- AI features and your website Google Search Central・最終更新 2025-12-10
- Optimizing your website for generative AI features on Google Search Google Search Central・最終更新 2026-07-10
- Robots meta tag, data-nosnippet, and X-Robots-Tag specifications Google Search Central・最終更新 2026-03-24
- robots.txt の概要とガイド Google Search Central・最終更新 2025-12-10
- Search generative AI control Search Console ヘルプ・日本語版「検索の生成 AI 設定」、2026-08-31 全サイト展開、確認日 2026-10-23
- Generative AI performance report (Search) Search Console ヘルプ・2026-08-31 全サイト提供、確認日 2026-10-23
- Overview of OpenAI Crawlers OpenAI・確認日 2026-10-19
- Does Anthropic crawl data from the web, and how can site owners block the crawler? Anthropic・2026-04-07、確認日 2026-10-19
- Perplexity Crawlers Perplexity・確認日 2026-10-19
- About Applebot Apple・2026-09-04 公開、確認日 2026-10-19
- Announcing new options for webmasters to control usage of their content in Bing Chat Bing Webmaster Blog・2023-09-22
- CCBot Common Crawl・確認日 2026-10-19
- Introducing Search Generative AI performance reports in Search Console Google Search Central Blog・2026-06-03
- RFC 9309 Robots Exclusion Protocol IETF・2022-09
- Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large Cloudflare プレスリリース・2025-07-01
