新規ビジネスモデル/解説

AIクローラーに課金する仕組み|HTTP 402とRSL、利用単位への移行

AIクローラーへの課金が実際にどう作られているのかを、CloudflareのHTTP 402による取得ごとの課金、RSLによる条件の宣言、Microsoftの買い手側の市場まで、各社の公式発表だけで整理しました。

AIが答えを返すとき、その材料になるのは誰かが書いたページです。長いあいだ、その読み取りは無料でした。検索エンジンがページを読み、見返りに訪問者を送る。この交換が続くかぎり、読み取りそのものに値段を付ける理由はありませんでした。

海外でいま起きているのは、この交換の崩れた部分に値段を付け直す動きです。特徴は、契約書や個別の交渉ではなく、HTTPの応答コードとrobots.txtという、どのサイトにもすでにある仕組みの上で組み立てられている点にあります。Cloudflareは2025年7月1日にAIクローラーへ課金する機能を公開し、2026年7月1日には課金の単位を取得ごとから使われたときへ動かすと述べました。サイト側の条件を機械が読める形で書く標準も、2025年9月10日にRSLという名前で出ています。

この記事では、各社の公式発表と公式ドキュメントに書かれている範囲だけを使って3つを整理します。どの層で条件を宣言でき、どの層で実際に止められるのか。課金の単位は何を数えていて、誰が値段を決めるのか。そして2026年10月6日の時点で、どこまでが提供され、どこからが実験なのか。単価の実額や支払いの実績は各社が公表していないため、この記事では扱いません。

読み取りに値段が付いた順番

課金の話は、著作権の議論から始まったわけではありません。流入が返ってこなくなったところから始まっています。

Cloudflareは2025年7月1日の発表で、読み取られた量に対して返ってくる訪問がどれだけ減ったかを倍率で示しました。かつてのGoogleを基準にすると、回答が検索結果の中で完結するようになってからは、同じ量の流入を得るのが約10倍難しくなったとしています。OpenAIでは750倍、Anthropicでは30,000倍という数字が挙げられています。当社はこの倍率を独自に検証していません。ただ、どういう順番で課金の話が始まったかは、倍率の精度とは別に押さえておく価値があります。読み取りを止めたいのではなく、流入という形で返ってこなくなった分を別の形で回収しようとしている、という順番です。

数値カードの図。かつてのGoogleを1としたとき、同じ量の流入を得る難しさがAI Overviews付きのGoogleで約10倍、OpenAIで750倍、Anthropicで30,000倍と並べた図
3つの倍率は、課金の必要性を説明する文脈でCloudflareが挙げたものです。当社は独自に検証していないため、順位や差の大きさを他の用途へ持ち出せる数字としては扱えません。 出典:Cloudflare「Content Independence Day: no AI crawl without compensation!」(2025年7月1日。確認日 2026-10-06)

この構図がいちばん強く出るのは、広告で収益を得ているページです。Cloudflareは2026年7月1日の発表で、広告が置かれていること自体を、サイトの持ち主が人に来てほしいと考えた印として扱うと説明しています。人が来ることで成り立っている面に、人ではない読み取りだけが集まる。だから、その面を通すのか、値段を付けるのかという判断が先に必要になります。

止める判断と売る判断を、1回の応答にまとめる

課金の実装は、新しい決済の仕組みを足したものではありません。HTTPにもともとある402 Payment Requiredという応答コードを使います。Cloudflareの2025年7月1日の発表によれば、AIクローラーは取得を要求するときに支払いの意思をリクエストヘッダーで示して200で本文を受け取るか、値段の載った402を受け取るかのどちらかになります。

値段はcrawler-priceというヘッダーで返ります。クローラー側はcrawler-exact-priceでその額を払うと答えるか、crawler-max-priceで払える上限を示します。合えば本文が返り、合わなければ本文は返りません。身元の確認にはWeb Bot AuthとHTTP Message Signaturesによる署名を使うとされています。だれが来たのかの確認と、いくらで通すのかの合意が、1回のやり取りの中で終わる形です。

工程図。AIクローラーが署名付きでページを要求し、サイト側が402とcrawler-priceで値段を返し、クローラーがcrawler-exact-priceで払う額を示して再送し、CloudflareがMerchant of Recordとして請求を束ねる4段階を左から右へ並べた図
ヘッダー名と応答コードは発表に書かれているものです。値段を返して相手に選ばせる形のため、遮断と販売が同じ応答の中に収まります。 出典:Cloudflare「Introducing pay per crawl」(2025年7月1日)、Cloudflare 公式ドキュメント(確認日 2026-10-06)

サイト側が決められるのは、ドメイン単位の定額の単価と、クローラーごとの3つの扱いです。発表では、通す、課金する、遮断するの3つが挙げられています。回収はCloudflareが引き受け、同社はこの機能について自らがMerchant of Recordになり、技術的な基盤も提供すると書いています。記録上の販売者を誰にするかという論点は、デジタル商品を海外へ売るときの構造と同じです。この型そのものについてはMerchant of Recordとはで整理しています。

提供の段階については、はっきり書いておく必要があります。Cloudflareの公式ドキュメントは、この課金機能をclosed betaとしています。誰でも今日から有効にできる機能ではありません。あわせて、WAFやBot Managementでそのクローラーを遮断している場合は、そちらの設定が課金の設定より優先されるとも書かれています。遮断の設定と販売の設定が別の場所にあるため、片方だけを変えても結果は変わらないということです。

宣言できる層と、止められる層は別のもの

robots.txtは取得の可否を書く場所で、用途を区別できません。検索の索引に使うのか、回答の材料にするのか、学習に使うのかを分けられないまま、通すか通さないかだけを書いてきました。

Cloudflareは2025年9月24日にContent Signals Policyを公開し、robots.txtへ書く3つの信号を定義しています。searchは索引を作って検索結果を返す用途、具体的にはリンクと短い抜粋を返すこと。ai-inputは、取得した内容をAIモデルへ入力する用途で、検索の回答を生成するために取り込む場合を含みます。ai-trainは、学習または微調整に使う用途です。それぞれにyesかnoを書きます。同社がrobots.txtを管理しているドメイン(公式の表記では3.8 million domains)には、searchをyes、ai-trainをnoとする既定を入れ、ai-inputについては利用者の意向を決めつけないために空けたと説明しています。

ここで区別しておくことがあります。公式の説明は、これらの信号が設定者の意向であって、技術的な対抗手段ではないとしています。402や遮断は相手の同意がなくても結果を変えられますが、信号は読む側が従うかどうかに結果が依存します。同じrobots.txtの中にあっても、効き方が違います。

階層図。上の層にrobots.txtのAllowとDisallow、Content-Signalのsearch・ai-input・ai-train、RSLのXMLによる課金方式の宣言を並べ、下の層に遮断とHTTP 402という通信を止められる手段を並べた図
上の層は読み取る側が従うかどうかで結果が変わり、下の層は同意がなくても結果が変わります。自社のサイトでどちらを使っているのかを、先に切り分けておく必要があります。 出典:Cloudflare「Content Signals Policy」(2025年9月24日)、RSL 公式サイト(確認日 2026-10-06)

条件を機械が読める形で書く標準が出た

2025年9月10日に、RSL(Really Simple Licensing)が公開されました。公式サイトの説明では、表示、取得ごとの対価、推論ごとの対価を含む機械可読のライセンス条件を、公開側が定義できる開かれた標準とされています。形式はXMLで、robots.txt、HTMLのページ、HTTPヘッダー、メディアファイル、RSSフィードへ埋め込めるとしています。

対応する方式として挙げられているのは5つです。無償、表示(Creative Commonsのライセンスを含む)、購読、取得ごと(pay per crawl。AIのアプリケーションがコンテンツをクロールするたびに対価を受け取る)、推論ごと(pay per inference。AIのアプリケーションが回答の生成にコンテンツを使うたびに対価を受け取る)。robots.txtの通すか通さないかだけの判断を超えて、ライセンスの層を作るという説明になっています。

運営は非営利のRSL Collectiveで、プレスリリースではIAC PublishingとAsk.comの元最高経営責任者であるDoug Leeds氏と、RSSの共同制作者であるEckart Walther氏が率いるとされています。支持を表明した事業者として、Reddit、People Inc.、Yahoo、Internet Brands、Ziff Davis、wikiHow、O’Reilly Media、Medium、The Daily Beastなどが挙げられています。公開側が個別に交渉せず、まとめて条件を示すための団体という位置づけです。

ただし、ここに書けるのは条件です。相手が読んで従わなければ結果は変わりません。条文を書くことと、守らせる経路を持つことは別の仕事だという点は、ソースコードを公開したまま売上を守る設計と同じ構図です。ライセンス側の設計についてはソースコードを公開したまま収益を守るで扱っています。

課金の単位が、取得から利用へ動いている

課金の単位 数えているもの 値段を決める側 確認できる実装
取得ごと クローラーがページを1回取得したこと サイト側(ドメイン単位の定額) CloudflareのPay Per Crawl。公式ドキュメントでclosed beta
回答・推論で使われたとき 回答の材料として使われたこと 発表に記載がありません RSLが方式として定義。CloudflareがCeramic.aiと実験中
その場の都度購入 エージェントが必要とした1件 発表に記載がありません CloudflareがYou.comと実験中
購読の分配 購読料をどう配るか 発表に記載がありません RSLが方式として定義
無償・表示のみ 課金しない サイト側 robots.txt、Content Signals、RSL
包括ライセンス 契約した範囲の利用 当事者間の取り決め MicrosoftのPublisher Content Marketplace

単位ごとの整理は当社が行ったもので、各行の実装名と状態は上記の各発表と公式ドキュメントの記載によります(確認日 2026-10-06)。値段を決める側が書けない行があるのは、発表にその記載がないためです。埋めずに残しています。

Cloudflareは2026年7月1日の「Making AI search smarter」で、Pay Per CrawlをPay Per Useへ形づくり始めていると書いています。理由は単純で、取得の回数は使われた回数と一致しないからです。同社の説明では、Ceramic.aiとは、参加を選んだ公開側がコンテンツが検索結果に現れたときに支払いを受けられるpay-per-queryの形を試しており、You.comとは、エージェントが必要な有料コンテンツを前もっての取り決めなしにその場で買う形を試しているとされています。参加する公開側には、どの検索語で自社のコンテンツが現れたかの報告も出すと書かれています。

同じ日にMonetization Gatewayも発表されています。Cloudflareの背後にある資産、つまりウェブページ、データセット、API、MCPのツールに値段を付けられる仕組みで、402という応答コードから名前を取ったx402というプロトコルを使い、ステーブルコインで少額を決済するという説明です。発表の中の例として、特定のAPIへのリクエスト1回ごとに0.01ドルという書き方が挙げられています。これは説明のための例で、実際の料率ではありません。2026年10月6日の時点では待機リストの段階です。

課金の単位が動くと、何を増やせば売上になるのかも変わります。取得ごとなら読み取られた回数、使われたときなら回答に採用された回数が売上につながります。単位の決め方が相手の行動を決めてしまうという論点は、成果に対して課金するAIエージェントの設計と同じです。こちらはAIエージェントの成果課金で扱っています。

買う側にも窓口ができた

売り手側だけに仕組みがあっても、取引は成立しません。買う側の窓口として公表されているのが、Microsoftが2026年2月3日に発表したPublisher Content Marketplace(PCM)です。

発表では、公開側に新しい収益の経路を与え、AIの側には質の高いコンテンツへの規模のある利用を与え、利用者にはより良い回答を届けるための仕組みとされています。公開側は提供される価値に対して支払いを受けるという書き方で、ライセンスと利用の条件は公開側が定義するとしています。共同で設計した相手として、The Associated Press、Business Insider、Condé Nast、Hearst Magazines、People Inc、USA TODAY、Vox Mediaが挙げられ、需要側の参加者としてYahooの受け入れを始めたと書かれています。

料率や単価の記載はありません。利用に応じた報告を出すという説明までが公表されている範囲で、1回の利用にいくら払うのかは分かりません。参加するかどうかを判断する材料としては、まだ足りない状態です。

2026年9月15日に、既定が変わった

Cloudflareは2026年7月1日の発表で、AIの通信を3つに分けました。Searchは、後から質問に答えられるように内容を集め、索引を作る動き。Agentは、人に代わって、いますぐ何かを済ませようとする自動の動き。Trainingは、モデルの学習や微調整のために取り込み、データがモデルの構造の中へ恒久的に取り込まれる動きです。3つは、やっていることが違うので分けるという整理になっています。

そのうえで、2026年9月15日にこの3つの分類それぞれの既定を変えると書いています。適用の範囲は発表の文のとおりで、Cloudflareへ新しく登録するすべてのドメインについて、広告を表示しているページではTrainingとAgentが既定で遮断され、Searchは既定で許可されたままになります。すでに登録されているドメインがどうなるかは、この発表の文からは読み取れません。自社のサイトの扱いを知りたい場合は、使っている事業者の管理画面で現在の設定を見るのが確実です。

ネットワーク機器のラックとケーブルが並ぶサーバールーム
通すか課金するかの判断が置かれているのは、サイトの中ではなくサイトの前です。設定を変えていないサイトでも、前に立つ事業者の既定が変われば結果が変わります。イメージ画像です。写真: Brett Sayles(Pexels)

既定が変わることの意味は、何もしなかった場合の結果が変わるという点にあります。自社で許可も遮断も設定していないサイトは、前に立つ事業者の既定のまま動きます。AI検索での露出を増やしたいサイトと、読み取りを減らしたいサイトでは、望ましい既定が逆になります。生成AIの回答に取り上げられること自体をどう考えるかはGEOとはで整理しているので、課金の判断より前に自社の方針を決めておくほうが順番としては早いです。

発表日 発表元 内容
2025年7月1日 Cloudflare AIクローラーへの課金機能(Pay Per Crawl)と、既定で遮断する方針を公開
2025年9月10日 RSL 機械可読のライセンス標準を公開。5つの課金方式を定義
2025年9月24日 Cloudflare Content Signals Policyを公開。search・ai-input・ai-trainの3信号を定義
2026年2月3日 Microsoft Publisher Content Marketplaceを発表。買い手側の窓口
2026年7月1日 Cloudflare Search・Agent・Trainingの3分類、Pay Per Useの実験、Monetization Gatewayを発表
2026年9月15日 Cloudflare 新しく登録するドメインへ、広告のあるページの新しい既定を適用

発表日と内容は、上記の各公式発表の記載によります(確認日 2026-10-06)。1年あまりで、宣言の仕組み、課金の仕組み、買い手側の窓口が順に出てきたことになります。

日本のサイト運営者が、いま確認できること

課金に参加できるかどうかは、使っている事業者と提供の段階に左右されます。単価を決めて明日から回収する、という話にはまだなりません。それでも、順番として先にやれることがあります。

1つは、自社のrobots.txtに何が書かれているかを読むことです。通すか通さないかだけで書かれているなら、用途の区別は付いていません。信号を足すかどうかは方針の問題ですが、いまの状態を知らないまま課金の判断には進めません。

2つめは、通信の前に立っている事業者の設定を見ることです。既定で遮断される範囲は事業者側の判断で変わります。広告を置いているページを持っているなら、自分の意図と既定が合っているかを確かめておきます。

3つめは、何を単位に対価を受け取りたいのかを決めておくことです。取得ごとなのか、回答に使われたときなのか、包括のライセンスなのかで、必要な記録も交渉の相手も変わります。単位が決まっていれば、提供が始まったときに判断が早くなります。

一方で、いま決められないこともあります。単価の相場、参加した場合の収入の見込み、日本語のコンテンツがどう評価されるか。どれも公表されていません。参加の是非を数字で判断したいなら、材料がそろうまで待つのが妥当です。

公表されていないこと

この記事を書く時点で確認できなかった項目を残しておきます。単価の下限と上限は、確認できた公式ページに記載がありません。実際に支払われた金額と件数も公表されていません。日本のサイトでの参加状況や、日本語のコンテンツに対する扱いの記載も見つかりませんでした。Pay Per Useとして正式に提供される時期も、発表には書かれていません。

これらを埋めずに残しているのは、推測で書くと判断の材料として使えなくなるからです。単価が分かった時点で、はじめて参加の損得が計算できます。

ここまでの流れを1行でまとめると、読み取りを遮断するか通すかという二択だったものが、値段を返して相手に選ばせる形へ変わり、その値段の単位が取得から利用へ動いている、ということです。自社のサイトで決めるべきなのは、まず方針、次に単位、最後に金額です。順番を逆にすると、どの仕組みに乗るかを選べません。

この分野の実務を相談したい方へ

記事で扱っている内容は、当社が実務として支援している領域です。 自社で進めるか外部に任せるかの判断からご相談いただけます。

支援サービスを見る 相談する