STEP 1方針を選ぶ
STEP 2クローラーごとに確認する
STEP 3追加設定（任意）
STEP 4生成された robots.txt
設置後の確認
https://example.com/robots.txtに置く（サブディレクトリでは無効）- LLMO対応度チェッカー でクローラー別の判定を確認
- WAF・CDN のボット対策で同じクローラーを遮断していないか確認（robots.txt で許可しても WAF で 403 を返していると意味がありません）
よくある質問
学習用と検索用のトークンの違い
GPTBot を拒否すると ChatGPT の検索結果に出なくなる？
出なくなりません。GPTBot はモデル学習用のクローラーで、ChatGPT検索の表示には OAI-SearchBot が使われます。「GPTBot は拒否、OAI-SearchBot は許可」にすれば、学習には使われず検索には表示されます。Anthropic も同様に ClaudeBot（学習）と Claude-SearchBot（検索）を分けています。
Google-Extended を拒否すると AI Overviews に影響する？
影響しません。Google-Extended は Gemini の学習・グラウンディングを制御するトークンで、AI Overviews や AIモードは通常の Googlebot のクロール結果を使います。AI Overviews への表示を止めたい場合は nosnippet や max-snippet を使います（通常の検索スニペットにも影響します）。
robots.txt で拒否すれば確実にクロールされない？
robots.txt は業界慣習であり強制力はありません。OpenAI・Anthropic・Google・Perplexity などは尊重を表明していますが、無視するボットも存在します。確実に遮断したい場合は WAF・CDN での UA / IP 制御を併用してください。
「ユーザー操作時」とは
ユーザーが「このURLを要約して」と頼んだときなど、質問に応じてAIがその場でページを取得するアクセスです（ChatGPT-User、Claude-User、Perplexity-User）。各社とも「これはクローラーではなく、ユーザーの代理アクセス」と位置づけています。拒否するとユーザーがAI経由でページを読めなくなるため、特別な理由がなければ許可を推奨します。
COCORO Sync. のツール
SEO・LLMO の作業を短くするツール。無料のものは登録不要で使えます
URLを入れるだけで、AI検索に引用される準備ができているかを30項目で採点。直すべき順に提示します。
使ってみる → LT llms.txt ジェネレーターサイトマップから主要ページを選ぶだけで、AI向けのサイト案内ファイル llms.txt を生成します。
使ってみる → AL AIクローラー アクセスログ解析アクセスログをブラウザ内で集計し、AIクローラーがいつ・どのページに来たかを可視化します。
使ってみる → SI 記事一覧CSV・更新ペース分析競合サイトの全ページをサイトマップから棚卸しし、更新ペースとディレクトリ構成を把握。CSV出力。
使ってみる → HC 見出し構成の比較自社と競合の記事を横並びにして、H1〜H3の構成・文字数・自社に無い話題を抽出します。
使ってみる →ツールの使い方と、LLMO・SEOの考え方は COCORO Pulse. で
AI時代のデジタルマーケティングを、現場と経営の視点で読み解くメディア。AI検索への対応、クローラーの扱い、競合調査の進め方を実例で解説しています。