本文へ移動
資料ダウンロード

GLOSSARYSEO・AI検索の用語集

AIクローラーとはAI crawler

ひとことで言うと

AIクローラーとは、生成AIの学習や、AIが質問に答えるときの情報集めのために、ウェブ上のページを自動で読みに来るプログラムのことです。OpenAIの GPTBot や Anthropic の ClaudeBot などがあり、サイト側で受け入れるか止めるかを選べます。

止めると、Google検索にも響く?

凛

止めたいのは、学習ですか? それとも検索での紹介ですか?

AIクローラーの多くは、robots.txt に名前(ユーザーエージェント)を書いて、来てよいかどうかを指示できます。Googleの場合は役割ごとに名前が分かれています。

名前何に使われるか止めたときの影響
GooglebotGoogle検索のためのクロール検索結果に出にくくなる
Google-ExtendedGeminiの学習や、Geminiが答えるときの情報Google検索の登録や順位には影響しない

Googleは、Google-Extended が検索での登録やランキングに使われることはないと明記しています(Google 検索セントラル)。Google以外のAIクローラーは、各社の説明で何に使われるかを確かめてから決めます。

編集部では、AIクローラーを止める判断は基本的にしていません。小さな・中くらいのサイトなら、来てもらって拾ってもらうメリットのほうが大きいと考えています。

くわしく読むAIクローラーはブロックすべき?用途ごとに違う止め方と判断の基準AI検索最適化(AIO/LLMO) ・ 保存版

関連する用語

最終更新 2026.11.01編集 COCORO Pulse.編集部