AI学習を断る設定は、これまでAI企業ごとに別々に書く必要がありました。GoogleとMicrosoftは2026年10月30日、robots.txtに1か所書けば複数のAI企業へ同じ意思を伝えられる共通のシグナルに対応すると、それぞれ発表しました。読み取りが始まるのはGoogleが2027年初め、Microsoftが2027年2月1日です。
発表の内容
変わること
- 書き方。クローラー名の代わりに、User-Agent の行へ __usage_ai-training という決まった語を置きます。その下の Disallow: / でサイト全体、Disallow: /example-path/ でパス単位
- 既定はAllow。学習を許すなら何も書かなくてよいとされています
- 届く相手。1か所の記述を、対応する複数のAI企業がまとめて読みます。Googleのブログの冒頭は、複数のAIプロバイダーにまたがる学習の方針を1ステップで示せるようになる、と書いています
- Microsoftはページ単位の指定も用意します（metaタグのBingbotに ai-training:disallow）
- さらにMicrosoftは、生成される回答の材料に使うかを決める「AI Grounding」を自社だけの設定としてページ単位で追加します。対象は、クローラーで集めたコンテンツを生成される回答の材料に使うこと全般（Bing・Copilot・Microsoft 365でのウェブを材料にした回答を含む）。値は3つで、DisallowExtended はMicrosoftが運営する体験だけに限り、Disallow はMicrosoftが第三者に提供するグラウンディングも止めます。robots.txtでサイト全体に指定する方法はありません
- Microsoftの旧来の手段は期限つきで切り替わります。2027年3月1日を過ぎると、NoArchiveとNoCacheは学習とグラウンディングの意思表示としては読まれなくなります。移行用の一時設定は2026年12月15日にBing Webmaster Toolsで開きます
変わらないこと
- 検索結果に出る資格。Microsoftは「これらの利用の意思表示は、従来のBing検索結果に出る資格を変えない」としています。GoogleもGoogle-Extended（Geminiモデルの学習とグラウンディングが対象）について「Google検索への掲載に影響せず、Google検索のランキング要因としても使わない」と書いています。新しいトークンについて同じ説明があるかは、編集部が読めた範囲のページには見当たりません
- クロールそのもの。Microsoftは「これらの設定はコンテンツの利用を決めるもので、クロールの可否ではない」と明記しています。ドラフトにも「このポリシートークンはクロールの挙動を指示するものではない」とあります
- 今の時点では、書いても効きません。Googleは2027年初めに対応する意向と書き、Microsoftが読み始めるのは2027年2月1日から。10月23日に更新されたGoogleのrobots.txt仕様ページにも、この語の記載はまだありません
根拠の置き場所は、各社で少し違います。Googleは、IETFのAIPREFワーキンググループの作業に基づくと書いています。Microsoftがブログから張っているのは「Machine-Readable Training Preference Signal」（10月30日公開）で、Anthropicのケビン・ケリー氏による個人提出のドラフトです。IETFのページには、個人提出は「IETFが是認したものではなく」「標準化の過程で正式な位置づけを持たない」と注記されています。ワーキンググループ自身の2本はまだRFCになっておらず、robots.txtでの書き方も Content-Usage: train-ai=n という別の形です。
対象は学習だけです。ドラフトが定める語は1つで、意味は「生成AIモデルの学習済みパラメータを変更するために使うこと」。分類・ランキング・スコアリングのためのモデルは含みません。検索やグラウンディングは、この共通シグナルの範囲に入っていません。
OpenAIも10月30日に「Making it easier for websites to express AI training preferences」を公開しています。ニュースフィードの説明文では、参加するプロバイダーに学習の方針を伝えられる共有のrobots.txtシグナルを尊重するとしていますが、記事ページは編集部からは開けませんでした。対象の国や言語の限定は、GoogleもMicrosoftも書いていません。
編集部の見方
1か所で済むようになった、と書きたいところです。ただ、今日robots.txtに足しても何も起きません。急いで直す話ではありません。
引っかかったのはドラフトの一文です。「私的な合意は、この仕組みで示された意思表示を上書きしてよい」。各社が自社用に持っているトークンを、共通のトークンより細かい指定として読んでよい、という書き方も並んでいます。共通の入口はできても、その奥で何が優先されるかは各社の側に残る。拒否が通ったかどうかは、やはり相手ごとに確かめることになりそうです。規格のほうもまだ合意前なので、今の書き方を最終形として社内の手順書に書き込むのは早いです。
確かめておきたいのは1つだけです。自社のrobots.txtとページのmetaタグに、NoArchiveかNoCacheが残っていないか。残っていてAI向けの制限として使っているなら、2027年3月1日までに書き換えが必要になります。そこ以外は、来年まで待ってかまいません。
出典
- Supporting a shared AI training control for websites Google 検索セントラル ブログ・2026年10月30日
- List of Google's common crawlers Google Crawling Infrastructure・2026年10月30日更新
- Your content, your choice: clearer preferences for training and grounding Microsoft Bing Blog・Krishna Madhavan・2026年10月30日
- Machine-Readable Training Preference Signal IETF Internet-Draft（draft-kelley-aipref-training-preference-signal-00）・Kevin Kelley・2026年10月30日
- Making it easier for websites to express AI training preferences OpenAI News・2026年10月30日（本文は未取得）
