AIクローラーの問題
多くのAI開発企業は、Web上のコンテンツを収集するためのクローラーを展開しています。
これらのクローラーには、おもにAIの学習データを収集するためのものと、ChatGPTの検索機能のように参照用の情報をAIに与える「RAG（Retrieval-Augmented Generation：検索拡張生成）」のためにWebコンテンツを収集するものの2つがあります。
現在、robots.txtを使用することでこうしたクローラーによるクロールを許可または拒否できますが、決められた利用料でクロールを許可するということはできません。
ChatGPTで知られるOpenAIは、The Wall Street Journalを運営するNews Corpや、WIREDを運営するCondé Nastなどの一部のメディアとコンテンツ利用の契約を締結しています。
しかし、中小規模のWebサイトにとって、大規模なAI開発企業とこうした契約を結ぶことは、ほぼ不可能です。
Webでは近ごろ、AI要約による閲覧数の急激な減少が問題となっています。
CloudflareのCEOのMatthew Prince氏がAxiosに語ったところによると、10年前のGoogleは2回のクロールに対して1人のユーザーをWebサイトに誘導していましたが、半年前は6回に1人、現在は18回に1人となっています。
また、2025年6月19日から26日までの期間におけるCloudflareの調査によると、OpenAIは約1,600回のクロールに対して1人、Claudeで知られるAnthropicは約7万900回に対して1人しかWebサイトに誘導していません。
これらのデータは、人々がAIによる要約を利用するようになり、オリジナルのコンテンツが以前よりも読まれなくなっていることを示唆しています。
AIクローラーをデフォルトでブロックへ 既存アカウントは設定が必要
Cloudflareには、すでにAIクローラーをブロックする機能があります。
Cloudflareは、新規に登録したアカウントでこの機能をデフォルトで有効化すると発表しました。
すでに登録しているアカウントでは、手動で設定が必要です。
一方で、AI開発企業のクローラーを許可またはブロックするという2つの選択肢だけでなく、コンテンツの利用を許可する代わりに料金を請求するという第3の選択肢も重要となっています。
AIクローラーへのコンテンツ利用料の請求が可能に
Cloudflareは、プライベートベータ版の「pay per crawl（クロールごとの課金）」を発表しました。
Webの通信で使われるHTTPには、料金を支払うまでコンテンツにアクセスできないことを表す、402 Payment Requiredというレスポンスコードがあります。
402 Payment Requiredは、将来使用するために予約されている標準外のレスポンスコードですが、Cloudflareはこれを利用します。
クロールごとの課金では、AIクローラーがコンテンツをリクエストする際にリクエストヘッダーで支払い意図を示すか、そうでなければ価格の情報を含む402 Payment Requiredを受け取ります。
Cloudflareは課金処理の事業者として機能し、技術的なインフラも提供します。
クロールごとの課金により、ドメイン所有者は収益化戦略を制御できます。
サイト全体で一律の料金を設定でき、各クローラーに対して次の3つの選択肢を設定できます。
- 許可： クローラーに無料でコンテンツへのアクセスを許可する
- 課金： ドメイン全体で設定した料金をクローラーに請求する
- ブロック： 支払いの選択肢なく完全にアクセスを拒否する
クローラーがCloudflareと支払い関係を持たず、実際に課金できない場合でも、パブリッシャーがそのクローラーに対して課金を求められます。
この場合、 403 Forbiddenと機能的には同等ですが、将来的な課金関係の可能性を示唆できます。
サイト全体で一律の料金を設定している場合でも、特定のクローラーに対して個別に課金を免除できます。
また、署名により、課金可能なクローラーにそうでないクローラーがなりすますことを防げるようになっています。
クローラーごとの課金では、リアクティブ方式とプロアクティブ方式の2つがあります。
リアクティブ方式では、クローラーが有料のURLにアクセスした場合、CloudflareはHTTP 402 Payment Requiredレスポンスとcrawler-priceヘッダーを返します。
価格に同意する場合、クローラーはcrawler-exact-priceヘッダーを含めてリクエストを再送できます。
プロアクティブ方式では、クローラーは初回のリクエスト時にcrawler-max-priceヘッダーを含め、支払い意思のある最大価格を事前に提示できます。
コンテンツの設定価格が提示された最大価格以下であれば、コンテンツがHTTP 200 OKレスポンスとともに提供され、請求内容がcrawler-chargedヘッダーで通知されます。
設定価格が提示価格を超える場合は、HTTP 402 Payment Requiredが返され、要求された価格が提示されます。
課金イベントは、クローラーが認証済みで支払い意思をもつリクエストを送信し、HTTP 200系の応答とともにcrawler-chargedヘッダーを受け取った時点で記録されます。
Cloudflareがそれらのイベントを集計し、クローラー側に請求し、収益をパブリッシャーに分配します。
クロールごとの課金は、現在プライベートベータとして提供されています。
プライベートベータテストには、クロールごとの課金の公式ページから参加申請できます。
