使い方
- 1ドメインか URL を入れて「確認する」
- 2学習用・AI 検索用の判定と、クローラーごとの根拠を確認。意図を選ぶとずれが分かります
- 3修正案をコピーして robots.txt に追記（「robots.txt を作り直す」で生成ツールへ）
サーバーが取得するのはそのサイトの robots.txt だけで、保存しません。判定と編集はブラウザの中で行います。
判定の考え方
RFC 9309（Google が採用している robots.txt の仕様）に沿って判定します
- グループの選び方: クローラー名に最も長く一致する
User-agent:のグループを使います。同じ名前のグループが複数あれば結合します。名指しがなければUser-agent: *です。 - 行の選び方: 確認するページに一致する
Allow/Disallowのうち、パスが最も長いものが勝ちます。同じ長さなら Allow が勝ちます。*と末尾の$に対応しています。 - 一部拒否: 確認するページは許可だが、グループに Disallow の行がある状態です。「確認するページ」を変えると、そのページでの判定に変わります。
- 参考扱い: ユーザー操作時の取得（ChatGPT-User など）は robots.txt が適用されない場合があるため、許可・拒否と同列には扱いません。
- 見ていないもの: CDN や WAF でのブロック、meta robots、X-Robots-Tag は判定に含みません。robots.txt では許可なのに AI 検索に出ない場合は、そちらを確認してください。
よくある質問
AI クローラーと robots.txt
GPTBot を拒否すると ChatGPT の検索結果に出なくなりますか？
なりません。GPTBot はモデルの学習用で、ChatGPT 検索の索引は OAI-SearchBot が作ります。学習だけ拒否して AI 検索には出したい場合は、GPTBot を Disallow、OAI-SearchBot を許可にします。Anthropic も同様に ClaudeBot（学習）と Claude-SearchBot（検索）に分かれています。
Google-Extended は何を制御しますか？
Gemini の学習とグラウンディングに使うかどうかだけです。Google 検索の順位や AI Overviews の引用には影響しません（それらは Googlebot です）。Google-Extended はユーザーエージェント文字列を持たない robots.txt 専用のトークンです。
robots.txt に名前が無いクローラーはどうなりますか？
User-agent: * のグループが適用されます。* に Disallow: / があれば名指しされていない AI クローラーもすべて拒否され、* に拒否がなければ許可です。このツールは「名指しがないため * を適用」と根拠に表示します。
robots.txt で拒否すれば確実に読まれませんか？
robots.txt は「お願い」で、守るかどうかはクローラー次第です。OpenAI・Anthropic・Google などは従うと公表していますが、Bytespider のように無視する報告があるものや、ユーザー操作時の取得には適用されない場合があります。確実に止めるには CDN（Cloudflare など）や WAF でのブロックが必要です。
Content-Signal とは？
Cloudflare が提唱する robots.txt の拡張で、Content-Signal: search=yes, ai-train=no のように用途ごとの可否を書きます。対応するクローラーはまだ一部です。このツールは記述があれば表示します。
このツールについて
- 判定の基準
- RFC 9309（Google の robots.txt 仕様）に沿い、クローラー名に最も長く一致する User-agent のグループ（同名は結合、無ければ *）を選び、確認するページに一致する Allow／Disallow のうちパスが最長のもの（同じ長さなら Allow）で判定します。クローラーの一覧と用途の分類は各社の公開ドキュメントに基づき、robots.txt ジェネレーターと共通です。CDN・WAF でのブロックや meta robots は見ていません。
- データの扱い
- 入力したURLのページをサーバーが取得して判定します。取得したページと結果は保存しません（利用状況の把握のため、ツール名・対象ホスト・所要時間だけを記録し、IP アドレスは記録しません）。
- 運営
- 株式会社ACOSTECH（COCORO Sync.）。運営会社 ・ 不具合・要望を伝える
- 最終更新
ほかのお役立ちツール
SEO・AI検索・SNSの作業を、その場で確かめる。登録不要・無料
URLを入れるだけで、AI検索に引用される準備ができているかを30項目で採点。直すべき順に提示します。
使ってみる → llms.txt ジェネレーターサイトマップから主要ページを選ぶだけで、AI向けのサイト案内ファイル llms.txt を生成します。
使ってみる → AIクローラー向け robots.txt学習用・AI検索用・ユーザー操作時に分けて、23種のAIクローラーの許可・拒否を設定します。
使ってみる → AIクローラー アクセスログ解析アクセスログをブラウザ内で集計し、AIクローラーがいつ・どのページに来たかを可視化します。
使ってみる → 記事一覧CSV・更新ペース分析競合サイトの全ページをサイトマップから棚卸しし、更新ペースとディレクトリ構成を把握。CSV出力。
使ってみる → 見出し構成の比較自社と競合の記事を横並びにして、H1〜H3の構成・文字数・自社に無い話題を抽出します。
使ってみる → SNS投稿テキストチェッカーX・Instagram・TikTok・Threads の文字数と見え方を同時に確認。Instagramの改行保持、Xの分割、ハッシュタグ整理も。
使ってみる → 構造化データ ジェネレーターFAQ・記事・会社情報・店舗・パンくず・手順の JSON-LD をフォーム入力で生成。コピーして貼るだけ。
使ってみる → SNS画像サイズ・安全領域プレビュー1枚の画像が X・Instagram・リール・TikTok・YouTube でどう切れるかを一度に確認。各サイズに切り出してダウンロード。
使ってみる → 画像 alt 一括チェックページ内の画像を一覧にして、alt が無い・空・弱い画像を抽出。リンク内の画像も判定。CSV出力。
使ってみる → 画像圧縮・WebP変換JPEG・PNG・WebP をまとめて圧縮・WebP変換・リサイズ。「200KB以下」の容量指定とプリセット付き。画像はサーバーに送らず、ブラウザの中だけで処理。
使ってみる → UTMパラメータ作成ツールURLと媒体を選ぶだけでUTM付きURLを作成。表記を自動で整え、GA4のチャネルを判定。QRコードも同じ画面で。
使ってみる → タイトル・ディスクリプション プレビューtitle と description が Google の検索結果でどう見えるかを PC・スマホで再現。フォント幅で切れる位置を判定し、書き換えリスクも指摘。
使ってみる → OGP・シェアカード プレビューURLを入れると、X・Facebook・LINE・Slack・Discord でシェアしたときのカード表示を再現。画像サイズや不足タグも指摘。
使ってみる → Webプッシュ通知 プレビュー通知のタイトル・本文・画像が Windows・Mac・Android・iPhone でどう見え、どこで切れるかを同時に確認。画像が出ない環境も注記。
使ってみる → Instagram グリッド プレビューこれから投稿する画像を 3 列グリッドに並べて、3:4 での切れ方と並び順を確認。公開済み・固定投稿も再現。ログイン不要。
使ってみる →