ウェブトラフィックの半分はボット：AI時代におけるウェブセキュリティの最前線と8つの防御策

AI Engineer World's Fairでのプレゼンテーションで、Arcjetの創設者であるDavid氏は、現代のインターネットが直面する最も差し迫った課題の一つ、すなわち「ボットトラフィックの急増」について警鐘を鳴らしました。彼の発表は、ウェブサイト運営者が直面するコスト、リソース枯渇、そして悪意ある活動の増大という現実を浮き彫りにし、特にAIの進化がこの問題にいかに新たな複雑性をもたらしているかを詳細に解説しています。この記事では、David氏の洞察に基づき、このボット問題の重要性、AIがもたらす具体的な影響、そしてウェブサイトを防御するための実践的な8つの戦略について深く掘り下げていきます。

1. なぜボット問題はこれほど深刻なのか？インターネットトラフィックの半分を占める脅威

「ウェブトラフィックのほぼ半分が、実は人間ではなく自動化されたクライアント、つまりボットである」—David氏のこの言葉は、多くのウェブサイト運営者にとって耳の痛い現実を突きつけます。この割合は業界によって大きく異なり、例えばゲーミング分野では実に60%近くものトラフィックが自動化されているというデータが示されました。この数字は、AIエージェントによる革命が本格化する以前のものです。

ボットは決して新しい問題ではありません。インターネットの黎明期から存在し、Google Botのような「良いボット」は、検索エンジンのインデックス作成を通じてウェブサイトの可視性を高めるなど、有益な役割を果たしてきました。しかし、同時に多くの「悪意あるクローラー」も存在し、ウェブサイトに様々な問題を引き起こしています。

ボットが引き起こす主な問題点は以下の通りです。

高額なリクエスト費用: データベースから動的コンテンツを生成したり、サーバーレスプラットフォーム（リクエストごとに課金される）を利用している場合、大量のボットトラフィックは直接的なコスト増に繋がります。何十万ものリクエストが自動的に行われることで、予期せぬ高額な請求が発生する可能性があります。
大量ダウンロードによる帯域幅消費: ボットが悪意を持って画像やファイルを大量にダウンロードすると、帯域幅のコストが膨れ上がります。これは、合法的なユーザーにサービスを提供するためのリソースを圧迫し、ウェブサイトのパフォーマンス低下を招きます。
リソース枯渇とサービス妨害 (DoS): どんなに大規模なウェブサイトであっても、無限のリソースを持っているわけではありません。ボットによる過剰なアクセスは、サーバーのリソース（CPU、メモリ、ネットワーク）を枯渇させ、ウェブサイトが正常に機能しなくなるサービス妨害（DoS）攻撃に発展する可能性があります。これにより、合法的なユーザーがサイトにアクセスできなくなり、ビジネス機会の損失やブランドイメージの毀損に繋がります。

これらの問題は、ウェブサイトの安定性と収益性に直接影響を与えるため、ボットトラフィックへの対策は現代のウェブ運営において不可欠な要素となっています。

2. AIはウェブトラフィックをどのように「悪化」させているのか？OpenAIの多面的なボットたち

従来のボット対策は「良いボット」と「悪いボット」を区別することに焦点が当てられていましたが、AIの進化は事態をより複雑にしています。David氏は、「AIがこの問題を悪化させているか？」という問いに対し、具体的な事例を挙げてその現状を説明しました。

Diasporaの事例: 分散型ソーシャルネットワークのDiasporaでは、トラフィックの24%がOpenAIのGPTBotからのものであったと報告されています。これは、AIモデルがウェブ上のコンテンツを大規模に学習するために行われるものです。
ReadTheDocsの事例: ドキュメンテーションホスティングプラットフォームのReadTheDocsでは、全てのAIクローラーをブロックすることで、帯域幅の使用量を1日800GBから200GBへと大幅に削減できたと述べています。これは、AIクローラーがどれほど大量のデータを消費しているかを示す顕著な例です。
Wikipediaの事例: 世界最大の百科事典であるWikipediaでさえ、トラフィックの35%がボットによるものであり、その割合は大幅に増加していると言及されています。彼らはこれをAIクローラーに起因するものと分析しています。

これらの事例から明らかなように、AIは単なる「悪意あるボット」とは異なる、新たな次元の脅威をもたらしています。AIボットは、人間が理解するのと同じようにウェブサイトを解析し、コンテンツを収集します。そして、彼らの行動は必ずしも「悪意」があるわけではないものの、ウェブサイトに大きな負荷をかける可能性があります。

David氏は、OpenAIの多様なボットを例に挙げ、その複雑性を「中立善」「混沌中立」「混沌悪」というRPGのキャラクター分類になぞらえて説明しました。

OAI-SearchBot（中立善）: 検索エンジンのGoogle Botと同様に、ウェブサイトのコンテンツをインデックス化し、検索結果に表示されることでサイトにメリットをもたらします。サイト運営者にとっての「Win-Win」の関係が期待できます。
ChatGPT-User（混沌中立）: リアルタイムのユーザーからのクエリに基づいてウェブサイトを訪問します。たとえば、ユーザーがウェブページのURLをChatGPTに貼り付けて内容の要約を求めた場合などに発生します。トレーニングには使用されませんが、引用元が表示されない場合もあり、サイト運営者にとってメリットが曖昧になる可能性があります。しかし、これはユーザーの利便性向上に繋がる場合もあります。
GPTBot（混沌中立〜混沌悪）: AIモデルのトレーニングのためにウェブサイトのコンテンツをクロールします。サイト運営者にとって直接的なメリットは少なく、引用も行われないことが多いため、リソースを一方的に消費される形になります。
Operator（混沌悪の可能性も）: これは最も厄介なタイプのボットです。Webブラウザのような仮想マシン上で動作し、あたかも人間が操作しているかのようにウェブサイトにアクセスします。トレーニング目的の場合もありますが、その挙動は非常に洗練されており、チケットの買い占めなど、人間になりすまして不正な活動を行う可能性があります。このタイプのボットは、識別が非常に困難であり、従来のボット対策をすり抜ける傾向にあります。

AIボットの出現により、ウェブサイト運営者は単に「悪意ある」活動をブロックするだけでなく、AIによる学習や自動化されたユーザー行動といった「中立的」あるいは「曖昧な」活動がウェブサイトに与える影響を考慮し、よりきめ細やかな対策を講じる必要に迫られています。

3. ウェブサイトを守るための8つの防御策：多層的なアプローチの重要性

David氏は、AI時代のボット問題に対処するために、単一の対策に依存するのではなく、複数の防御策を組み合わせる「多層的なアプローチ」の重要性を強調しました。以下に、彼が提案する8つの防御策と、それぞれの特徴、メリット、デメリットを詳しく見ていきましょう。

3.1. Defense 1/8: robots.txt (ボットによるウェブサイトのクロールを制御するファイル)

機能: ウェブサイトのルートディレクトリに配置されるテキストファイルで、検索エンジンボットなどに対して、どのページをクロールして良いか、あるいはクロールしてはいけないかを指示します。
メリット: ウェブサイトの構造を明示し、インデックス作成プロセスを最適化するのに役立ちます。また、一部のプライベートなコンテンツが検索結果に表示されるのを防ぐことができます。
デメリット: 「紳士協定」に過ぎず、悪意のあるボットやスクレーパーはこの指示を無視します。実際、一部の悪意あるボットは、robots.txtにDisallowと書かれたページこそが、価値のある、あるいは隠された情報を含む可能性のあるページだと判断し、積極的にアクセスを試みる場合があります。
ビジネスへの影響: 基礎的な対策としては重要ですが、ボットによるコストやリソース枯渇といった根本的な問題の解決にはなりません。あくまでも「良いボット」との協調を目的としたものです。

3.2. Defense 2/8: User agents (ユーザーエージェント文字列の分析)

機能: ウェブサイトへのリクエストに含まれるユーザーエージェント文字列を分析し、それがどのクライアント（ブラウザ、OS、ボットなど）からのものかを識別します。OpenAIのボットもそれぞれ固有のユーザーエージェントを持っています。
メリット: 有益なボット（Google Botなど）は自身の身元を正確に申告することが多いため、これを利用してトラフィックを許可することができます。Arcjetのようなツールは、数千もの既知のボットのユーザーエージェントを識別するためのオープンソースライブラリを提供しています。
デメリット: ユーザーエージェント文字列は、悪意のあるボットによって簡単に偽装（スプーフィング）される可能性があります。たとえば、悪意のあるボットがGoogle BotやChromeブラウザのユーザーエージェントを詐称するケースは頻繁に見られます。
ビジネスへの影響: 初期段階のボット対策としては有用ですが、高度な悪意を持つボットに対しては、より厳格な検証が必要です。

3.3. Defense 3/8: Verification (IPアドレスの検証)

機能: リクエスト元のIPアドレスが、そのユーザーエージェントで名乗っている組織（例：Google、OpenAIなど）のものであることを逆引きDNSルックアップなどを使って検証します。例えば、Google Botからのリクエストであると主張するIPアドレスについて、Googleに問い合わせてその正当性を確認する手法です。
メリット: ユーザーエージェントの偽装に対する強力な防御策となります。主要な検索エンジンやAIプロバイダーの多くは、この検証をサポートしています。
デメリット: すべてのボットが検証可能なIPアドレスから来るとは限らず、また、検証プロセス自体にわずかな遅延が発生する可能性があります。
ビジネスへの影響: 正当なボットトラフィックと悪意あるボットトラフィックを区別するための信頼性の高い手段の一つです。ホワイトリスト方式で、検証されたボットのみを許可することで、セキュリティを大幅に向上させることができます。

3.4. Defense 4/8: IP address reputation (IPアドレスの評判分析)

機能: リクエスト元のIPアドレスが、過去に悪意ある活動に関与した履歴がないか、データセンターやVPNなどの自動化された環境からのものであるかなどを評価します。MaxMindやIPInfoなどのデータベースを利用して、IPアドレスの地理情報、組織、ネットワークの種類などのメタデータを取得します。
メリット: データセンターのIPアドレスからのトラフィックは、自動化されたボットである可能性が高いと判断し、ブロックすることができます。Cloudflareのデータによれば、ボットトラフィックの12%がAWSネットワークから来ていると指摘されています。
デメリット: Geoデータ（地理情報）はしばしば不正確であり、VPNやプロキシを使用する人間を誤ってブロックする可能性があります。また、レジデンシャルIP（一般家庭のIP）を悪用するボットも存在するため、IPアドレス単独での判断は限界があります。
ビジネスへの影響: 疑わしいIPアドレスからのトラフィックを削減し、自動化された大規模なボット攻撃を防ぐのに役立ちますが、誤検知のリスクも考慮する必要があります。

3.5. Defense 5/8: Proof of work (計算量の証明)

機能: ウェブサイトへのアクセスを許可する前に、クライアントに特定の計算問題を解かせることで、一定の計算コスト（Proof of Work）を課します。CAPTCHA（画像認証など）はその一種ですが、より進化したProof of Workは、計算能力の消費を要求します。
メリット: 大量のボットがウェブサイトにアクセスする際の計算コストを大幅に増加させ、大規模な自動化された攻撃を経済的に困難にします。David氏は、Anubis, go-away, NepenthesといったProof of Workを実装するオープンソースプロキシの例を挙げました。
デメリット: AIの進化により、Proof of Workの解決が容易になりつつあります。オーディオCAPTCHAをLLM（大規模言語モデル）で文字起こしする、視覚的パズルを解くといった作業は数秒で行えるようになってきています。また、チケット転売などの高額な利益が見込める場合、数ドルの計算コストをかけても経済的に見合うため、悪意あるボットを完全に排除することはできません。さらに、ユーザーに計算を強いるため、ウェブサイトのアクセシビリティやユーザー体験を損なう可能性があります。
ビジネスへの影響: 短期的には有効な対策ですが、AIの進歩に対応して常に難易度を調整する必要があり、ユーザー体験とのバランスが重要です。

3.6. Defense 6/8: HTTP message signatures (HTTPメッセージ署名)

機能: クライアントがHTTPリクエストに暗号学的署名を付与し、サーバー側でその署名を検証することで、リクエストの真正性を証明します。Cloudflareは「ボット検証ヘッダー（ドラフト）」を提案しており、Appleは「Privacy Pass（プライバシーパス）」という仕組みを導入しています。Privacy Passは、iCloudの有料ユーザーであることなどを証明するトークンをリクエストに含めることで、CAPTCHAの表示を減らすことを目指します。
メリット: リクエストが正規のデバイスやユーザーからのものであることを、高い信頼性で検証できます。クライアントの真正性を暗号的に保証することで、偽装が困難になります。
デメリット: まだ開発段階の新興標準であり、広く採用されるまでには時間がかかります。AppleのPrivacy PassはAppleのエコシステムに限定されており、クロスプラットフォームでの普及には課題があります。
ビジネスへの影響: 将来的に有望な技術ですが、現時点では限定的な適用となり、広範なボット対策として依存することは難しいでしょう。

3.7. Defense 7/8: Fingerprints (フィンガープリント)

機能: クライアントのTLS（Transport Layer Security）ハンドシェイクやHTTPヘッダーの特徴から、一意の「指紋」を生成して識別します。IPアドレスやユーザーエージェントが変化しても、クライアントの低レベルな特性は一定であることが多く、これを利用してボットを特定します。JA4（TLSクライアントフィンガープリント）やJA4H（HTTPクライアントフィンガープリント）といったオープンソースのハッシュアルゴリズムが存在します。
メリット: IPアドレスやユーザーエージェントの偽装に強く、クライアントを一意に識別できる高い精度を持ちます。これにより、たとえIPアドレスを頻繁に変えるボットであっても、その「指紋」から同一のボットとして認識し、ブロックすることが可能になります。
デメリット: フィンガープリントも完全に不変というわけではなく、高度なボットはフィンガープリントの偽装を試みる可能性があります。また、正当なユーザーがソフトウェアのアップデートなどによりフィンガープリントが変更される可能性もあります。
ビジネスへの影響: 高度なボット対策として非常に有効であり、特に洗練された攻撃者に対して強力な防御手段を提供します。レート制限と組み合わせることで、その効果はさらに高まります。

3.8. Defense 8/8: Rate limiting (レート制限)

機能: 特定のクライアントやIPアドレスからのリクエスト数を一定時間内に制限します。例えば、1分間に100リクエスト以上のアクセスがあった場合に、そのクライアントからの追加リクエストをブロックする、といった設定です。
メリット: 大量のリクエストを生成するボット攻撃（DoS攻撃など）を直接的に緩和することができます。過剰なリソース消費を防ぐ基本的な対策として機能します。
デメリット: IPアドレスに基づくレート制限は、動的なIPアドレスを持つユーザーや、大量のIPアドレスを使用するボットによって簡単に回避されます。また、多数のユーザーが同じIPアドレスを共有する環境（企業ネットワークやアパートなど）では、合法的なユーザーがブロックされる可能性があります。
ビジネスへの影響: 他の防御策（特にフィンガープリント）と組み合わせることで、その効果を最大限に引き出します。たとえば、特定のフィンガープリントを持つクライアントに対してのみレート制限を適用することで、誤検知を減らしつつ、悪意あるボットを効果的に抑制できます。David氏が強調するように、「良いキー（例：セッションIDやフィンガープリント）」に基づくレート制限が重要です。

4. 未来への展望とArcjetの役割：AIとの終わりのない戦い

David氏のプレゼンテーションは、ウェブセキュリティがAIの進化とともに新たなフロンティアに突入していることを明確に示しています。ボットによるトラフィックがインターネットの半分を占め、AIがその活動をより巧妙かつ大規模にしている現状において、ウェブサイト運営者は従来の対策だけでは不十分であることを認識する必要があります。

重要なのは、これらの防御策を単独で導入するのではなく、多層的に組み合わせることです。robots.txtで基本的な指示を与えつつ、User agentsで初期フィルタリングを行い、IPアドレスのVerificationとreputationで疑わしいアクセスを排除し、Proof of workでコストを課し、HTTP message signaturesやFingerprintsでクライアントの真正性を深く検証し、最終的にRate limitingで過剰なリソース消費を抑制する。この段階的なアプローチが、AI時代におけるウェブセキュリティの鍵となります。

ArcjetのようなセキュリティSDKは、開発者がこれらの複雑な防御策を自力で構築・維持する負担を軽減することを目的としています。David氏が示したコード例のように、数行のコードで高度なボット検知と防御ロジックを実装できるようになることで、開発者は本来のアプリケーション開発に集中しつつ、強固なセキュリティを確保できます。

AIの進化は止まることなく、それに応じてボット攻撃も常に巧妙化していくでしょう。ウェブセキュリティは、AIとの終わりなき知恵比べであり、継続的な監視、学習、そして対策の更新が不可欠です。私たちジャーナリストも、最新技術の動向を追い、この重要な戦いの最前線で何が起きているのかを伝え続けることで、安全なインターネットの未来に貢献していきたいと考えています。

開発者の皆様へ： AIは強力なツールであると同時に、新たな脅威の源でもあります。ウェブサイトの健全性とユーザーの安全を守るため、今こそ多層的なボット対策の導入を真剣に検討し、AIの力と対峙する準備を整えましょう。Arcjetのブログ（blog.arcjet.com）では、この講演のさらに詳細な内容が公開されていますので、ぜひご参照ください。