AIクローラー向け robots.txt

学習用・AI検索用・ユーザー操作時の3つに分けて、23種のAIクローラーの許可・拒否を選ぶだけで robots.txt を生成します。

無料で作成する 無料・登録不要で使えます

わかること・できること

AIクローラーは「モデル学習用（GPTBot・ClaudeBot など）」「AI検索用（OAI-SearchBot・PerplexityBot など）」「ユーザー操作時（ChatGPT-User など）」でトークンが分かれています。用途ごとに方針を選ぶだけで、意図どおりの robots.txt を出力します。

使い方

  1. 方針を選ぶ（推奨は「学習は拒否、検索と回答は許可」）
  2. クローラーごとに個別に調整
  3. 既存の robots.txt があれば読み込んで、末尾に追記した形で出力

よくある質問

GPTBot を拒否すると ChatGPT の検索結果に出なくなる？
出なくなりません。GPTBot は学習用で、ChatGPT検索の表示には OAI-SearchBot が使われます。

ツール一覧へ