T最新テックトレンド

AI検索の未来を拓く：TavilyとQuotient AIが描く、自己進化するエージェントの世界

AI Engineer
0:00--:--

はじめに：AI検索の新たな地平に立つ

202X年、AI Engineer World's Fair — 最新技術が集結するこの舞台で、私たちはAIの未来を形作る重要な議論に立ち会いました。テーマは「AI検索の評価」。一見すると地味に聞こえるかもしれませんが、これは現代のAI開発が直面する最も根本的で複雑な課題の一つです。

登壇したのは、Quotient AIのCEO兼共同創設者であるジュリア・ツェルディ、Quotient AIの創設AI研究者であるダイアナ・エメリー、そしてTavilyのエンジニアリング責任者であるメイタル・アッシャーの3名。彼女たちは、今日のAIシステムが持つ動的性と、それが従来の評価手法をいかに無力にするかを鮮やかに描き出しました。

現代のAIシステムは、まるで生き物のように常に変化し、進化しています。ユーザーとの複雑なインタラクション、リアルタイムのWeb情報クロール、多岐にわたるツールチェーンを駆使し、常に状況に応じた意思決定を下します。このような環境下では、「正しい」答えが常に変動し、同時に複数の種類の障害（例えば、幻覚、検索の失敗、推論エラーなど）が発生する可能性があります。

この「動くターゲット」を捉え、AIシステムの信頼性を確保するため、Quotient AIはTavilyと戦略的提携を結びました。本記事では、この提携がどのようにAI検索の評価のあり方を変革し、ひいてはAIそのものの未来をどのように構築しようとしているのかを深く掘り下げていきます。

Tavilyが実現するリアルタイムWebインタラクション：なぜ今、AI検索が重要なのか

Tavilyは、大規模なエージェントWebインタラクションのための基盤となるインフラストラクチャレイヤーを提供しています。その核心にあるのは、言語モデルにWeb全体からリアルタイムデータを提供する能力です。なぜこれが現代のAIにおいて決定的に重要なのでしょうか？

Webは常に変化する「動くターゲット」

従来のソフトウェア開発では、多くの場合、システムが動作する環境は比較的静的であり、予測可能なデータに基づいています。しかし、Webは違います。情報は刻々と更新され、トレンドは目まぐるしく変化し、ユーザーの検索クエリも予測不可能です。

従来のベンチマークは、固定された「グラウンドトゥルース（正解データ）」を前提として設計されてきました。しかし、リアルタイムの情報を扱うAIエージェントにとって、このグラウンドトゥルース自体が常に変化し続ける「動くターゲット」となります。今日正しかった情報が明日には古くなっている、あるいは新しい文脈で異なる意味を持つ、といった状況が日常的に発生するのです。

さらに、ユーザーはテストケースに沿った完璧なクエリを行うとは限りません。曖昧な表現、不完全な情報、あるいは明示されていない暗黙のコンテキストを含むクエリが頻繁に発生します。このような予測不能な入力と変化し続ける情報源の中で、AIが正確かつ信頼性の高い情報を提供することは極めて困難です。

実世界でのTavilyのインパクト

この課題は単なる学術的な問題ではありません。Tavilyは、本番環境でAIエージェントのために1日何億もの検索リクエストを処理しています。このような実世界での大規模な運用において、AIシステムがこれらの複雑な現実に耐えうる信頼性を備えていることは不可欠です。

TavilyのリアルタイムAI検索は、様々なビジネス分野で具体的な価値を提供しています。

  • AI Legal Assistant（AI法務アシスタント）: 法務・ビジネスチームは、Tavilyのリアルタイム検索を活用することで、膨大な判例、法規制、契約書などから瞬時のケースインサイトを得ることができます。これにより、調査時間を劇的に短縮し、より迅速で的確な意思決定を支援します。例えば、最新の法改正情報に基づいて契約書の条項を自動的に修正したり、過去の判例から類似ケースの勝訴・敗訴要因を分析したりすることが可能です。

  • Sports News Agent（スポーツニュースエージェント）: 数百万人のスポーツファンに対して、ライブのスポーツニュース、スコア、試合の更新情報をリアルタイムで提供します。試合中の状況変化、選手交代、最新の記録などを即座に反映し、ファンは常に最新の情報を手に入れることができます。スポーツベッティングのオッズ変動にも瞬時に対応し、ユーザーに有利な情報を提供するハイブリッドなチャットエージェントも構築可能です。

  • Fraud Detection（不正検知）: クレジットカード会社や金融機関は、Tavilyのリアルタイム検索を不正検知に活用しています。特定の加盟店の位置情報や過去の不正利用パターンをリアルタイムで分析し、疑わしい取引を瞬時に特定します。これにより、不正行為による損害を最小限に抑え、顧客を保護します。

  • GTM Operations（市場投入戦略運用）: 企業はリアルタイムの市場洞察を活用して、市場投入戦略（Go-To-Market）タスクを強化し、製品の成功を推進します。競合の最新動向、顧客のフィードバック、市場のトレンドなどをリアルタイムで把握し、製品開発、価格設定、マーケティングキャンペーンなどを迅速に最適化します。

  • Coding Agents（コーディングエージェント）: 開発者には、Webソースのコードガイダンスやトラブルシューティング情報が即座に提供されます。最新のライブラリドキュメント、オープンソースプロジェクトの課題解決策、一般的なコーディングエラーの解決方法などをリアルタイムで検索し、開発プロセスを大幅に効率化します。

これらのユースケースは、TavilyがAIエージェントが直面する動的なWeb環境の課題を克服し、実世界で確かな価値を生み出していることを示しています。しかし、この価値を安定的に提供し続けるためには、従来の評価方法では不十分です。

信頼できるAI検索のための評価原則：静的から動的へ

TavilyとQuotient AIは、このような動的なAIシステムの評価において、以下の2つの根本的な原則を掲げています。

  1. Webは常に変化している: 私たちのデータ基盤であるWebは絶えず進化しています。このため、私たちの評価方法は継続的な変化に追いつく必要があります。固定されたデータセットに基づく評価では、時間の経過とともにAIエージェントのパフォーマンスが現実世界のニーズから乖離していくリスクがあります。AIの進化速度が加速する中で、評価もまたアジャイルでなければなりません。

  2. 真実はしばしば文脈に依存する: 何が「正しい」と見なされるかは、情報源、情報のタイミング、そしてユーザーの特定のニーズによって大きく変化する可能性があります。絶対的な真実を特定することが困難な場合も多く、単一の正解を基準とした評価では、AIの真の価値や限界を見落とすことがあります。したがって、評価の「正しさ」自体が、多角的な視点から検討されるべき主観的な要素を含むことを理解する必要があります。

これらの原則に基づき、TavilyとQuotient AIは、スケーラブルで効果的な評価フレームワークの設計が成功の鍵であると考えています。

静的データセットの限界

現在、AIの評価には「SimpleQA」や「HotPotQA」のような静的データセットが広く利用されています。

  • SimpleQA: 事実の正確性を評価します。例えば、「Will Gay Butljeはいつ生まれたか？」といった質問に対し、正確な日付を単一の回答として期待します。
  • HotPotQA: より複雑なマルチホップ推論を評価します。例えば、「Guns N' Rosesがアーノルド・シュワルツェネッガー主演の映画の宣伝を行ったのは何年か？」といった質問は、複数の情報源から情報を結合して推論する必要があるため、AIの理解力と連結能力を試すことができます。

これらのデータセットはAIの性能を測る上で良い出発点となります。しかし、これらの静的なデータセットは、絶えず変化し続けるWebコンテンツやユーザーの多様なクエリに対応するリアルタイム検索システムの評価には根本的に不十分です。

「昨日のデータで今日の質問には答えられない」

この課題を端的に表す言葉が「昨日のデータで今日の質問には答えられない」です。動的なWeb環境では、静的データセットで訓練・評価されたAIが、今日の最新情報やトレンドにどれだけ対応できるかは保証されません。

そこで、TavilyとQuotient AIは、実世界の生産システムでRAG（Retrieval-Augmented Generation）エージェントをベンチマークするために不可欠な動的データセットの重要性を強調します。

動的データセットは以下の3つの特性を備えることで、この課題を克服します。

  • 現実世界との連携 (Real-World Alignment): 評価がリアルタイムのイベント、トレンド、そして最新のデータと常に同期していることを意味します。これにより、AIシステムが実際にユーザーが直面する状況でどのように機能するかを正確に測定できます。例えば、市場の最新ニュースやスポーツの試合速報といった、鮮度が重要となる情報に対するAIの応答能力を評価します。

  • 広範なカバレッジ (Broad Coverage): 多様なドメインや実世界のユースケースにわたるベンチマーク性能を確保します。これは、特定の業界やアプリケーションに特化した評価セットを容易に作成できる柔軟性も意味します。企業は自社のビジネスに最も関連性の高い分野でAIの性能を検証し、最適化することができます。

  • 継続的な関連性 (Continuous Relevance): 評価セットが定期的に自動的に更新されることを保証します。これにより、AIのパフォーマンスは常に最新のデータに対して測定され、時間の経過による劣化（回帰）を早期に発見し、対処することが可能になります。AIが常に「学習し、適応する」サイクルを支える基盤となります。

これらの特性を持つ動的データセットの構築は、AI検索の信頼性と有用性を飛躍的に高めるための、まさに未来を築くステップなのです。

動的評価データセットの構築：TavilyとQuotient AIのアプローチ

TavilyとQuotient AIは、WebベースのRAGシステムのための動的な評価データセットを構築するためのオープンソースエージェントを開発しました。このエージェントは、LangGraphフレームワークを活用し、以下のキーとなるステップで動作します。

  1. ターゲットドメインの広範なWeb検索クエリ生成 (generate_search_queries_on_subject): まず、評価したい特定のドメイン（例えば「通貨」「株式市場」「AIニュース」など）に基づいて、Web全体を網羅するような多様な検索クエリが自動的に生成されます。これにより、広範な情報源からのデータを収集するための出発点が得られます。

  2. Web検索とグラウンディングドキュメントの集約 (web_search): 生成されたクエリを用いてWeb検索が実行されます。ここで重要なのは、複数のリアルタイムAI検索プロバイダーからグラウンディングドキュメント（回答の根拠となる情報）を集約することです。これは、単一の検索プロバイダーに依存することなく、情報の網羅性を最大化し、潜在的なバイアスを最小限に抑えることを目的としています。例えば、あるプロバイダーが最新情報に強い一方で、別のプロバイダーが歴史的データに強みを持つ場合、両方から情報を取得することで、より堅牢なコンテキストを構築できます。

  3. 証拠に基づいたQ&Aペアの生成 (generate_qa): 集約されたグラウンディングドキュメントを基に、質問と回答のペアが生成されます。このプロセスでは、エージェントは回答のコンテキストを必ず生成するように義務付けられています。これにより、単なる回答だけでなく、その回答がどの情報源のどの部分に基づいているかが明確になり、生成されるQ&Aペアの信頼性が大幅に向上します。これは、AIの幻覚（ハルシネーション）を減らす上でも極めて重要なステップです。

  4. キュレーション (curate): 生成されたQ&Aペアは、さらなる品質向上のためにキュレーションされます。このステップでは、重複の排除、フォーマットの統一、不適切なコンテンツのフィルタリングなどが行われ、評価データセットがより高品質で一貫性のあるものに精錬されます。

  5. データセットの保存と追跡 (save_dataset_to_langsmith.th, save_dataset_to_local): 最終的に生成されたデータセットは、Langsmith（実験追跡のためのツール）に保存されるか、ローカルに保存されます。Langsmithを活用することで、評価の履歴、異なるバージョン間の比較、パフォーマンスの傾向などを詳細に追跡・管理することが可能になり、継続的な改善サイクルを効果的に支援します。

このプロセスを通じて、TavilyとQuotient AIは、AIシステムの学習と評価に不可欠な、動的で現実世界に即したデータセットを効率的かつスケーラブルに生成しています。これは、AIエージェントが常に最新かつ正確な情報に基づいて動作し、時間の経過とともに自律的に改善していくための基盤を築くものです。

ベンチマーク基準と評価結果の深掘り

AI検索プロバイダーの評価は、単に「正解率」を測るだけでは不十分です。TavilyとQuotient AIは、より包括的で実世界に即した評価基準を設定し、その基準に基づいて、6つの異なるAI検索プロバイダーを評価しました。

包括的評価の必要性

私たちが提唱するベンチマーク基準は以下の通りです。

  • 正確性の測定: LLM-as-a-judgeフレームワークを使用して回答の正誤を評価しますが、それに留まりません。従来の評価が、正解データとの厳密な一致に焦点を当てがちだったのに対し、現代のAIシステムでは、より複雑な回答のニュアンスや文脈理解が求められます。

  • 包括的評価の確保: 正確性だけでなく、情報源の関連性（取得された情報が質問にどれだけ適切か）、情報源の多様性（回答が単一の情報源に偏っていないか）、そして幻覚率（根拠のない情報を作り出していないか）といった側面も測定するベンチマークを使用します。 さらに、ラベル付けされたデータ（グラウンドトゥルース）への依存を減らすために、教師なし評価方法を採用します。これにより、評価のスケーラビリティと公平性が向上し、新しいドメインや急速に変化する情報に対応するAIシステムの評価がより容易になります。

静的 vs. 動的ベンチマーク比較

評価の第一部では、SimpleQAベンチマーク（静的データセット）とTavilyが作成した動的ベンチマークを比較しました。

  • トピック分布: SimpleQAと動的データセットのトピック分布は、政治、スポーツ、科学技術、歴史、地理など、比較的似た多様性を示しました。これは、両データセットが幅広い分野の質問をカバーしていることを示し、比較の公平性を担保しています。しかし、動的データセットでは「エンターテイメント」のようなより現代的なカテゴリも追加されており、Webの進化を反映しています。

  • 正確性スコアの乖離: 6つの検索プロバイダーのパフォーマンスを比較すると、動的データセットにおける正確性スコアは、SimpleQAに比べて全般的に大幅に低いことが明らかになりました。これは、静的データセットでは見えなかった、実世界の動的なWeb環境がAIの性能に与える厳しい影響を示唆しています。AIが最新情報や常に変化する文脈に適応することの難しさを浮き彫りにします。

  • 相対的ランキングの変化: さらに注目すべきは、静的ベンチマークと動的ベンチマークで、各プロバイダーの相対的なランキングが変化したことです。例えば、あるプロバイダー（例：プロバイダーF）はSimpleQAでは最も低いパフォーマンスを示しましたが、動的ベンチマークでは最高のパフォーマンスを発揮しました。これは、静的ベンチマークのみに頼ることが、AIの真の能力や弱点を誤解させる可能性があることを明確に示しています。

  • LLMジャッジ評価の限界: LLMをジャッジとして用いたSimpleQAの正確性評価も、万能ではありません。

    • 不正確なフラグ: モデルの出力に正しい回答が含まれているにもかかわらず、LLMジャッジがそれを「不正確」と判断するケースが確認されました。例えば、ある質問に対して、モデルの出力テキスト内に正しい日付が明示的に記載されていたにもかかわらず、それが誤りと判定されたケースです。これは、LLMジャッジが、回答の形式や周辺の文脈に影響され、必ずしも正確に正解を抽出できないことを示しています。
    • 追加情報の無視: 逆に、LLMジャッジが「正確」と判断した回答でも、モデルの出力には余分な情報や、場合によっては幻覚が含まれている可能性があります。LLMジャッジは単にグラウンドトゥルースの回答の有無を評価するだけで、出力全体の品質や真実性を保証するものではありません。これは、完全な正確性を評価するためには、単なる正誤判定以上の、より詳細な分析が必要であることを示唆します。

参照ベース vs. 参照なし評価

実世界のAIシステムでは、多くの場合、厳密なグラウンドトゥルースデータは利用できません。この課題に対処するため、Quotient AIは参照なし（Reference-Free）メトリクスを導入しました。これは、グラウンドトゥルースがない状況でもAIの応答品質を評価できる革新的なアプローチです。

比較として用いた参照ベース評価（SimpleQAの正確性など）は、時間の経過による情報の変動を考慮せず、また多くの場合グラウンドトゥルースの回答が手作業で生成されるため、スケーラビリティや現実世界との関連性に課題がありました。

これに対し、Quotientの参照なしメトリクスは以下の要素を評価します。

  • 回答の完全性 (Answer Completeness): モデルの回答が質問のすべての構成要素を完全に扱っているかを評価します。回答は「完全に回答された (answered)」、「未回答 (unanswered)」、または「不明 (unknown)」（モデルが「知らない」と回答した場合など）に分類されます。動的ベンチマークにおける回答の完全性のランキングは、以前の全体的な正確性ランキングと高い相関（0.94）を示し、参照なしメトリクスがAIの相対的なパフォーマンスを効果的に捉えることができることを実証しました。

  • ドキュメントの関連性 (Document Relevance): AIエージェントが回答を生成するために取得したドキュメントが、質問に対してどれだけ関連性が高いかを評価します。このメトリクスは、提供されたグラウンディングドキュメントの品質と、それがAIの回答をどれだけ適切にサポートしているかを示します。 残念ながら、評価した検索プロバイダーの大部分は、回答生成に使用された取得ドキュメントを直接提供しませんでした（代わりに引用のみ）。これは、大規模なデバッグや透明性において大きな課題となります。提供された少数のプロバイダーの結果では、平均関連性スコアと、関連ドキュメントを持たない応答の割合が示され、ドキュメント取得戦略の改善の余地が示唆されました。

  • 幻覚の検出 (Hallucination Detection): モデルの回答に含まれる事実が、取得されたドキュメントに裏付けられているかどうかを評価します。幻覚はAIの信頼性を損なう主要な問題であり、その検出は極めて重要です。 興味深いことに、幻覚率とドキュメントの関連性との間に強い逆相関が観察されました。例えば、あるプロバイダーは幻覚率が最も高かったにもかかわらず、取得ドキュメントの全体的な関連性も最も高かったのです。これは直感に反するように見えますが、モデルがより詳細な推論や解釈を提供しようとする際に、より多くの幻覚の機会を生み出す可能性があることを示唆しています。つまり、より「深い」回答を試みるほど、幻覚のリスクも高まる可能性があるというトレードオフが存在するのです。

これらの参照なしメトリクスは、グラウンドトゥルースが利用できない実世界のシナリオにおいて、AI検索システムのパフォーマンスを多角的に評価するための強力なツールを提供します。これは、従来の評価手法では見過ごされがちな、AIの挙動に関する深い洞察を可能にします。

メトリクスの組み合わせによる具体的な洞察と解決策

各メトリクスはAIのパフォーマンスの異なる側面を測定するため、それらを単独で見るのではなく、組み合わせて分析することで、より深い洞察と具体的な解決策が明らかになります。

TavilyとQuotient AIは、回答の完全性、ドキュメントの関連性、幻覚検出という3つの参照なしメトリクスを組み合わせることで、AIシステムが直面する特定の失敗モードを特定し、それらに対処するための実行可能な戦略を導き出すフレームワークを構築しました。以下に、その論理的な流れをいくつかの例で示します。

失敗モードの特定とアクション可能な解決策の例

1. 回答は不完全だが、関連ドキュメントがあり、幻覚がない場合

  • 問題特定: AIは適切な情報を取得しているが、その情報を回答に完全に統合できていないか、情報の量が不足している可能性がある。
  • 考えられる原因: 質問回答モデルが、取得したドキュメントのすべての関連情報を活用しきれていない、またはドキュメント数が少なすぎる。
  • ソリューション:
    • より多くのドキュメントを取得する: 検索の範囲を広げ、さらに多くの関連情報を集める。
    • 質問回答モデルを改善する: モデルが取得したドキュメントからより包括的な回答を生成できるよう、プロンプトエンジニアリングやモデルのファインチューニングを行う。

2. 回答は不完全で、関連ドキュメントはあるが、幻覚がある場合

  • 問題特定: AIは適切な情報を取得しているものの、その情報を誤って解釈したり、存在しない事実を生成したりしている。
  • 考えられる原因: 取得したドキュメントが曖昧であるか、AIモデルが情報に基づかない推論を行っている。
  • ソリューション:
    • プロンプトの改善: AIに対する指示をより明確にし、幻覚を抑えるように制約を設ける。
    • 形成を改善する: 質問や情報の与え方を調整し、モデルがより正確な情報を引き出しやすいようにする。
    • より厳密なグラウンディングメカニズム: モデルが回答を生成する際に、取得したドキュメントに厳密に依拠するよう強制するメカニズムを導入する。

3. 回答は不完全で、関連ドキュメントもなく、幻覚がある場合

  • 問題特定: AIは関連する情報を見つけられず、その結果、不正確または完全に根拠のない回答を生成している。
  • 考えられる原因: 検索システム自体が不適切であるか、クエリが曖昧すぎる。
  • ソリューション:
    • ドキュメントの検索を改善する: 検索アルゴリズムを最適化し、より関連性の高いドキュメントを取得できるようにする。
    • 言語モデルに「外国のドキュメント」を無視させる: 質問と無関係な情報源からの情報を誤って統合しないよう、モデルを訓練または指示する。
    • クエリ生成モデルを改善する: ユーザーの意図をより正確に反映し、効率的な検索結果につながるクエリを生成できるようにする。

このように、複数のメトリクスを組み合わせることで、AIシステムの「なぜ」が明らかになり、単なるパフォーマンススコアの報告にとどまらない、根本原因の特定と具体的なデバッグ戦略が可能になります。これは、AI開発のサイクルを大幅に加速し、より堅牢で信頼性の高いAIシステムを構築するための不可欠なアプローチです。

AI検索の未来を創造する

TavilyとQuotient AIが目指すのは、単に情報を検索し、質問に答えるだけのAIではありません。それは、時間の経過とともに「より良く」なるAIシステムを構築することです。今日の動的なWeb環境と複雑なユーザーのニーズに対応するために、AIシステムは継続的に進化し、自己改善する能力を持つ必要があります。

このビジョンの実現によって、以下のことが可能になります。

  • 変化するコンテキストに適応するAI: AIエージェントは、Web上で情報が古くなったり、新しいトレンドやイベントが発生したりするパターンを学習します。どの情報源が信頼性が高く、どの情報源が古くなっているかを自律的に判断し、ユーザーのニーズに合わせた最新かつ最も関連性の高い情報を提供できるようになります。これにより、AIは常に時代に即した知識ベースを維持し、変化の激しいビジネス環境や社会情勢にも柔軟に対応できます。

  • ミッドループで自己デバッグする拡張システム: AIは、会話の途中で幻覚を検出したり、情報が不十分であると判断したりする能力を身につけます。そして、人間の介入なしに、その場で軌道を修正し、より正確で包括的な情報を提供しようとします。例えば、ある回答が幻覚を含んでいると判断した場合、モデルは自動的に検索範囲を広げたり、異なる情報源から再確認したりして、訂正された回答を生成します。これは、AIシステムの信頼性と自律性を劇的に向上させるものです。

  • 本番環境での継続的な最適化: AIシステムは、実運用の中でそのパフォーマンスを継続的に評価し、自動的に改善していくサイクルを確立します。この「学習→評価→改善」のループは、人間の介入を最小限に抑えつつ、AIが常に最適な状態で稼働することを保証します。これにより、企業はAIのメンテナンスコストを削減し、同時にAIが提供する価値を最大化できます。

本日共有された動的な評価データセット、包括的な評価フレームワーク、そして参照なしメトリクスは、この自己改善型AIシステムの実現に向けた不可欠な**「構成要素（building blocks）」**です。

これは、より良いベンチマーク、より良い監視、より良い評価単体の話ではありません。それは、AIシステムが自律的に学習し、適応し、エラーから改善していく、真に自己進化するAIの基盤を築くものです。TavilyとQuotient AIは、この未来に向けて、オープンソースのコミュニティとともに、透明性と信頼性のあるAI検索の未来を創造し続けています。

私たち一人ひとりがAIの可能性を最大限に引き出し、より良い社会を築くために、この挑戦に注目し、貢献していくことが求められています。AI検索の未来は、まさに今、構築されているのです。

← 一覧に戻る