T最新テックトレンド

Vertex AIで未来を拓く：カスタムRAGシステム構築が解き放つ企業AIの真価

Google Cloud Tech
0:00--:--

今日のデジタル世界において、人工知能、特に大規模言語モデル（LLM）の進化は目覚ましいものがあります。しかし、その圧倒的な能力の裏には、「幻覚（hallucination）」と呼ばれる事実に基づかない情報を生成する問題や、学習データにない最新情報への対応不足、そして何よりも企業の内部データとの連携の困難さという課題が存在します。これらの課題を克服し、LLMを真にビジネスの現場で活用するための鍵となるのが、**Retrieval Augmented Generation（RAG：検索拡張生成）**システムです。

Google CloudのプロダクトマネージャーであるGreg Brozman氏が語るように、AIエージェントの真価は、それがいかに高品質なデータに接続されているかにかかっています。RAGは、この課題を解決するための実績あるアプローチであり、外部知識でAIを強化し、堅牢で精密な情報検索手法に依存しています。そして、このRRAGソリューションを構築するための最も強力かつ柔軟なプラットフォームの一つが、Vertex AIです。

本記事では、GoogleがどのようにRAGシステムを設計し、Vertex AIが提供する革新的なコンポーネントがどのようにこのプロセスを強化するのかを深掘りします。さらに、AstraZeneca、The Home Depot、RCS Media Groupといった業界リーダーが、いかにVertex AIを活用してRAGシステムを構築し、それぞれのビジネス課題を解決し、新たな価値を創造しているか、具体的な導入事例を通じてその真価を解き明かします。読み終える頃には、Vertex AIを用いたカスタムRAGシステムの構築が、いかにあなたのビジネスに革新をもたらし、未来のAIエージェントを現実のものにするかをご理解いただけることでしょう。

第1章：RAGシステムの基本とGoogleが提唱する二段階検索アプローチ

RAGシステムの基本は、以下の3つのステップに集約されます。

  1. インデックス作成 (Indexing)：企業内の非構造化データを検索可能な形式に変換し、保存します。これには、PDFドキュメント、プレゼンテーション、データベースエントリ、画像、動画など、あらゆる種類の情報が含まれます。
  2. 検索 (Retrieval)：ユーザーのクエリに基づいて、インデックス化されたデータの中から最も関連性の高い情報を迅速かつ正確に検索します。
  3. 生成 (Generation)：検索によって得られた関連情報をLLMに渡し、その情報に基づいてユーザーへの応答を生成します。これにより、LLMは「幻覚」を起こすことなく、事実に基づいた、より正確で関連性の高い回答を提供できます。

Googleは、このRAGの「検索」フェーズをさらに最適化するために、二段階検索プロセスという洗練されたアプローチを採用しています。これは、大規模な企業コーパスから最終的にごく少数の精密な結果を選択するための標準的な手法です。

  • 第一段階：ハイブリッド検索による候補結果の絞り込み この段階では、高密度（Dense）エンベディングと疎（Sparse）エンベディングを組み合わせ、ベクトル検索を利用して、数百の候補結果を効率的に取得します。

    • 高密度エンベディング（Dense Embeddings）：セマンティックな類似性（意味的な近さ）に基づいて情報を検索するのに優れています。例えば、「犬」と「子犬」のように単語が異なっても意味が似ていれば近くに位置します。
    • 疎エンベディング（Sparse Embeddings）：キーワードの一致や用語の正確な出現に基づいて情報を検索するのに優れています。例えば、特定の製品コードや固有名詞の検索に適しています。
    • これらを組み合わせることで、ユーザーのクエリに対して意味的な関連性とキーワードの正確性の両方を考慮した、より網羅的で精度の高い候補結果のセットを生成します。

  • 第二段階：ランキングAPIによる関連性の再評価と最終選定 第一段階で絞り込まれた数百の候補結果に対し、Ranking APIを使用して各候補のスコアを再評価し、ユーザーの元のクエリに対する関連性と品質に基づいて、最も関連性の高い結果のみに絞り込みます。これにより、最終的にLLMに渡す情報が、最も高品質で要約に適したものとなります。

この二段階アプローチにより、Googleは検索の効率性と精度を最大化し、RAGシステムが提供する情報の信頼性と有用性を飛躍的に向上させています。Vertex AIは、これらの高度な検索戦略を実装するための包括的なツールセットを提供します。

第2章：Vertex AIが提供するRAG構築のための主要コンポーネントと新機能

Vertex AIは、RAGシステムを柔軟かつ強力に構築するための多様なソリューションを提供しています。そのスペクトラムは、すぐに使えるマネージドサービスから、最大限の制御とカスタマイズ性を可能にするプラットフォームAPIまで多岐にわたります。

2.1 Vertex AI Search：すぐに使えるRAGソリューション

Vertex AI Searchは、RAGを迅速に導入したい企業向けのアウトオブザボックスソリューションです。これはマネージドなリトリーバーとして機能し、GoogleのAIモデルであるGeminiと連携させることで、**グラウンディング（Grounding）**を通じて情報を提供したり、エージェント開発キット（ADK）のツールとして利用したりできます。データストアに企業データをインデックス化するだけで、チャンキング、エンベディング、ベクトル検索といった複雑なプロセスをVertex AIが自動的に処理し、Geminiがそのデータに基づいて応答を生成できるようになります。これにより、専門的な知識なしにRAGの恩恵を享受できます。

2.2 Search Platform APIs：カスタムRAGシステムのための完全なコンポーネントスイート

最大限の制御と柔軟性を求める開発者向けには、Vertex AIのSearch Platform APIsが提供されます。これは、独自のRAGソリューションやエージェントツールを構築するための、比類ないコンポーネントスイートです。Googleは、これらのコンポーネントが業界最高レベルであると自負しており、その主要な要素は以下の通りです。

2.2.1 DocAI Layout Parser：非構造化データの構造化と強化

RAGパイプラインの基盤となるのは、高品質なデータを用意することです。PDFのような生のドキュメントには、多くの非構造化データが含まれており、これを検索可能な形式に変換することが不可欠です。DocAI Layout Parserは、この課題を解決する強力なツールです。

  • マルチモーダル処理の強化：テキスト情報だけでなく、ページのレイアウト情報（要素の配置）や、それがテキスト情報とどのように関連しているかといった視覚的な情報も処理できるようになりました。これにより、ドキュメントの全体的な構造をより深く理解できます。
  • テーブルtoマークダウン変換：テーブル内の各セルのデータを抽出し、そのテーブル内での位置（行と列）を理解できるようになります。これにより、テーブルデータの精度が大幅に向上し、RAGシステムが表形式の情報を正確に参照できるようになります。
  • Bring Your Own Schema (BYOS)：ユーザーがカスタムのフィールドセットを定義し、必要な情報とスキーマに正確にマッチさせることができます。これにより、特定のビジネスニーズに合わせたデータ抽出と構造化が可能となり、RAGの精度と関連性をさらに高めることができます。

DocAI Layout Parserは、RAGワークフローのためにあらゆるドキュメントを準備するためのワンストップショップであり、非構造化データの活用を劇的に簡素化します。

2.2.2 Vertex AI Embeddings：データのセマンティックな数値表現

データを数値ベクトルに変換するエンベディングモデルは、RAGシステムにおける「パワーツール」です。Vertex AI Embeddingsモデルの魔法は、入力データのセマンティックな意味を捉えることにあります。つまり、意味が近いものはベクトル空間内で近くに配置され、意味が遠いものは離れて配置されます。

  • 最先端のパフォーマンス：主要な公開ベンチマークにおいてリーダーシップの地位を獲得しており、高い検索精度を保証します。
  • マルチモーダルエンベディング：テキストだけでなく、画像や動画のエンベディングにも対応し、RAGシステムが多様なメディアタイプから情報を検索できるようになります。
  • Matrioska表現学習：エンベディングベクトルの最初の次元に最も重要なセマンティック情報が捕捉されることを保証します。これにより、ベクトルサイズを短縮しても、高い検索性能を維持できるため、効率性とコスト効率が向上します。

これらのエンベディングは、次のベクトル検索のステップで利用され、膨大なデータの中から関連性の高い情報を瞬時に見つけ出す基盤となります。

2.2.3 Vector Search：エンベディングの超高速類似性検索

Vertex AI Vector Searchは、生成されたエンベディングを検索可能かつRAGソリューションで利用可能にするための不可欠なコンポーネントです。

  • 超高速類似性検索：何百万、何十億ものベクトルの中から、クエリエンベディングとの類似性が高いものを効率的に比較・検索します。
  • メタデータストレージ：ドキュメントソース、日付、カテゴリタグなどの追加メタデータをベクトルと直接一緒に保存できるようになりました。これにより、検索スペースを簡単にフィルタリングし、別のデータベースで個別に情報をルックアップする必要がなくなり、開発者の負担を軽減します。
  • BigQueryコネクタ：BigQueryにデータを保存している顧客が、Vertex AI Vector Searchのパワーを直接活用できるようになります。BigQueryからの直接データインジェストが可能となり、データ管理が簡素化されます。
  • ストレージ最適化ティア：ストレージコストを削減したい顧客向けに、Vector Searchをより費用対効果の高いものにします。トラフィックの少ないデプロイメントで特に有効です。

Vector Searchは、RAGシステムが高速で正確な情報検索を大規模に実現するためのエンジンです。

2.2.4 Ranking API：検索結果の最終的な質を向上

Vector Searchによって生成された初期の候補セットをさらに洗練させ、モデルに提供する最高品質の情報のみを選び出すのがRanking APIの役割です。

  • 目的志向型モデルによる再評価：Ranking APIは、ユーザーの元のクエリに対する関連性と品質を基準に、生成された各候補を再評価し、再スコアリングするために特別に構築されたモデルを活用します。
  • 最新モデル「バージョン4」：多数の公開ベンチマークで優れたパフォーマンスを発揮する最新モデルがリリースされました。
  • 低レイテンシ：レイテンシが非常に重要なユースケースでは、ディープランキングタスクにおいて最大3倍の低レイテンシを実現します。
  • ファインチューニングと大容量ドキュメント対応：Ranking APIは、ユーザーのデータやビジネスコンテキストに合わせてファインチューニングが可能であり、最大32Kトークンまでの大容量ドキュメントをサポートします。

Ranking APIは、RAGシステムの最終出力の精度と関連性を決定づける重要なステップであり、ユーザー体験を劇的に向上させます。

2.2.5 Active Retriever with Gemini Grounding：エージェント的RAGオーケストレーション

従来のRAGシステムでは、モデルは与えられたコンテキストに基づいて生成を行います。しかし、Active Retrieverの概念を導入することで、Geminiがクエリを分析し、自律的に検索方法を決定するという、より知的なアプローチが可能になります。

  • インテリジェントなクエリ分解：複雑な質問が入力された場合、Geminiはまずそのクエリをより小さく、管理しやすい検索ステップに分解します。これにより、より正確で役立つRAGが可能になります。
  • 多様なデータソースのプラグイン：Vertex AI Search、独自のカスタムリトリーバー（API経由）、Elastic Search、そして間もなくMongoDB Atlasなど、既存のさまざまなデータソースをRAGシステムに組み込むことができます。
  • 複数ソースの自動ブレンド：複数の情報源がある場合、Geminiはそれらを自動的にブレンドして情報を統合します。これには、Google SearchやGoogle Mapsとのグラウンディングも含まれます。
  • 簡単な実装：GeminiのGrounding APIにプロンプトを送信するだけで、この「エージェント的RAGオーケストレーション」のパワーを活用し、グラウンディングされた回答を生成できます。

Active Retrieverは、LLMが単なるテキスト生成器ではなく、能動的に情報を探索・統合する「エージェント」へと進化する上で不可欠な機能であり、RAGシステムのインテリジェンスを次のレベルへと引き上げます。

第3章：Vertex AI RAGの活用デモから学ぶ実践的アプローチ

GoogleのLavi氏とLorenzo氏によるデモは、Vertex AIのRAGコンポーネントが実際にどのように連携し、企業が直面する具体的な課題を解決するかを示しています。

3.1 Google Searchとの連携：最新情報とマルチモーダル対応

  • Gemini 2.0 Pro FlashとGoogle Search Grounding：
    • 課題：LLMは学習データに基づくため、最新情報にアクセスできません。「次の日食はいつか？」といったリアルタイムな質問には、古い情報に基づいて回答してしまう可能性があります。
    • 解決策：GeminiのAPIにGoogle Searchツールを組み込むことで、最新のウェブ情報を活用して回答を生成します。APIへの変更はわずかで、Google Search toolを定義し、configに渡すだけです。
    • 効果：より正確で最新の情報が提供されるだけでなく、**引用元（Citation）**が表示されるため、情報の信頼性をユーザー自身が確認できます。
  • マルチモーダル検索（画像とGoogle Searchの連携）：
    • 課題：画像内の情報を認識し、その情報に基づいて外部データ（例：天気）を検索する。
    • 解決策：Geminiのマルチモーダル能力を活用し、画像（または動画、YouTube URL）をインプットとして受け取り、「この場所の現在の気温は？」といった質問に答えます。Geminiは画像から場所を特定し、Google Searchツールでその場所の最新の気温を検索します。
    • 効果：画像から「パリ」を認識し、その日の気温を摂氏と華氏の両方で提供。ここでも引用元が示されます。
  • エンタープライズWeb検索（データ永続性なし）：
    • 課題：企業によっては、機密性の高いデータをGoogleのAPIサーバーに送信し、永続化されることに対して懸念があります。
    • 解決策：grounding with enterprise web searchという機能を提供。データ（画像、動画、プロンプト）はAPIコールを超えて永続化されず、サーバーにも保存されません。
    • 効果：企業はデータのプライバシーとセキュリティを確保しながら、Google Searchのグラウンディング機能を活用できます。curlコマンドでの利用例が示され、Python API以外の多言語スタック（Go, Javaなど）からの統合も容易であることを示唆しています。

3.2 Vertex AI Searchとの連携：企業内データに基づいたRAG

  • 課題：インターネット上の情報ではなく、企業が独自に保有する内部ドキュメント（例：研究論文、社内規定）に基づいて正確な回答を得たい。
  • 解決策：Vertex AI Agent Builderでデータストアを作成し、GCSなどのストレージに格納された企業データをインデックス化します。このデータストアは、Vertex Vector Searchに内部的に格納されます。
  • プロセス：
    1. Agent Builderでデータストアを作成し、データ（例：有名なTransformer論文）をアップロード。
    2. データストアIDをコピーし、Gemini APIのconfigにVertex AI Search toolとして設定します。
    3. 「scale.product attentionとは何か？」と質問します。
  • 効果：グラウンディングなしでは、Geminiは一般的な情報を提供しますが、Vertex AI Searchツールを介することで、アップロードされた論文内の情報のみに基づいて回答を生成します。最も重要なのは、どのドキュメントのどのチャンク（情報断片）から情報がピックアップされたかという引用元が明確に示される点です。これにより、企業は複雑なチャンキングやエンベディング、ベクトル検索の心配をすることなく、自社のデータを安全かつ正確に活用できます。

3.3 カスタムRAGエンジン：高度な制御とカスタマイズ性

Vertex AI Searchが「すぐに使える」ソリューションである一方、カスタムRAGエンジンは、チャンキング戦略、リトリーバーの種類、使用するモデルなど、RAGパイプラインの各ステップでより詳細な制御とカスタマイズを求める顧客向けです。

  • 独自のコーパス作成：GCSや外部データなど、どこにデータが置かれていても、それらから独自のコーパスを作成できます。
  • エンベディングモデルの選択：text-embedding-005のような特定のエンベディングモデルを選択できます。新しいGeminiエンベディングへの置き換えも可能です。
  • ベクトルDBの選択：GCP内外の任意のベクトルデータベースにコーパスを格納できます。
  • データのオフロード：テスト用のMarkdownファイルやGCS、Google Driveからのデータ直接パスなど、多様な方法でデータをコーパスにオフロードできます。
  • リトリーバルサービスの定義とチューニング：
    • top_kのような検索パラメータを細かく制御し、RAGモデルの出力をチューニングできます。
    • vector_distance_thresholdなどのパラメータを設定することで、検索結果の関連性（ベクトル距離）に基づいてフィルタリングし、より良い出力を生成できます。
  • モデルの選択の自由：Geminiだけでなく、Model Gardenで利用可能な他のモデル（Llama、Claudeなど）も利用できます。これにより、特定のユースケースや要件に合わせて最適なLLMを選択できます。

カスタムRAGエンジンは、RAGエコシステム全体をカスタマイズするための強力な抽象化レイヤーを提供し、企業が独自のニーズに合わせた高性能なAIエージェントを構築することを可能にします。

3.4 Document AIの活用：複雑なドキュメントからの情報抽出

多くの企業ドキュメントは、図表、テーブル、複雑なレイアウトなど、多様な構造を持っています。Document AIは、これらの複雑なドキュメントから情報を正確に抽出し、RAGシステムで活用するためのソリューションです。

  • BigQuery連携とベクトル検索統合：
    • 課題：複雑なドキュメントから必要な情報を抽出し、RAGシステムで活用する。特に、テーブル内のデータや特定のセクションを識別するのが難しい。
    • 解決策：Document AIパーサーをBigQueryに格納されたデータに対して実行します。BigQueryのベクトル検索統合機能により、データは効率的にインデックス化され、RAGで利用できるようになります。
    • プロセス：複雑なドキュメント（図表やテーブルを含む）を読み込み、Document AIパーサーで処理します。抽出されたデータはBigQueryテーブルとして保存され、ページごとのテキストや構造化された情報が利用可能になります。
  • 高度なクエリへの対応：
    • 課題：「典型的な家族の純資産は増加したか？もしそうなら、どれくらい増加したか？」のような比較や定量的な分析を伴う複雑なクエリに対応する。
    • 解決策：Document AIで構造化されたデータに対して、BQML（BigQuery ML）を介して直接クエリを実行します。Ranking APIを適用して、検索結果をさらに調整し、最も関連性の高い情報を選び出します。
    • 効果：RAGシステムは、構造化されたデータから「2019年から2022年の間に、実質純資産が〇〇ドル増加した」といった具体的な比較回答を生成できます。これは、単なるキーワード検索では得られない、深い洞察を可能にします。

Document AIは、従来のPDFパーサーや他の汎用パーサーを超越し、RAGに最適化されたドキュメント処理を提供することで、企業がこれまで活用しきれなかった大量の非構造化ドキュメント資産から新たな価値を引き出す道を開きます。

第4章：エンタープライズにおけるRAGの成功事例

Vertex AIを用いたカスタムRAGシステムの構築は、様々な業界の企業に具体的なビジネス価値をもたらしています。ここでは、AstraZeneca、The Home Depot、RCS Media Groupの3社の導入事例を紹介し、それぞれがどのようにRAGを活用して課題を解決し、ビジネスを変革しているかを探ります。

4.1 AstraZeneca：医薬品開発における知見の深化

  • 企業概要と課題： AstraZenecaは、世界規模で医薬品開発を行うバイオ医薬品企業です。日々、膨大な量の研究情報（長時間のパネルディスカッション動画、研究論文、プレゼンテーションなど）が生み出されます。研究者は、これらの非常に長い動画（1〜5時間）の中から、特定の質問に対する答えや、議論のニュアンス、口調、会社への影響などを迅速に探し出す必要がありました。従来の標準的な情報抽出・翻訳手法では、この要求に十分に応えられませんでした。特に、単なるテキストやコンテキストだけでなく、「現在の真実が何か」「議論が世界の認識にどう影響するか」といった、より高度なレベルでの理解が求められていました。

  • Vertex AIとマルチモーダルRAGによる解決策： AstraZenecaは、この課題に対してマルチモーダルRAGアプリケーションを構築しました。

    1. データ統合とGeminiによる処理：動画、PowerPointプレゼンテーション、研究論文といった多様なデータソースを統合し、Geminiを用いて同時に処理します。
    2. エンリッチされたトランスクリプトの生成：Geminiは、動画のチャンクとスライド、コンテキストを連携させ、時間情報、話者ノート、感情分析を含む、よりリッチなトランスクリプトを生成します。また、社内の生物医学名前付きエンティティ認識ツール「Kazoo」を用いてコンテンツをさらに強化します。
    3. 多階層サマライゼーション：
      • チャンクサマリー：特定のコンテキストに依存した情報断片の要約。
      • セクション別サマリー：連続した意味を持つセクション内の議論の要約。
      • 全体像分析：動画全体の高レベルな分析。
      • 横断的セッション分析：時間の経過とともに情報がどのように変化し、会社の認識に影響を与えたかを分析します。これは、科学が常に進化する分野であるため、特に重要です。
    4. 既存ナレッジベースとの統合：Geminiを活用し、社内の既存データベースやナレッジグラフ（生物医学情報、競合インテリジェンスなど）と統合することで、新しい情報が何であり、それが既存の知見とどう異なるかを把握します。
    5. ビジネスロジックに基づく独自のリランカー：Vertex AIのコンポーネントを最大限活用しつつも、AstraZenecaのユースケースに特有のリトリーバルプロセスの最適化が重要でした。生物医学的エンティティ、薬剤資産コンセプト、適応症といったビジネスロジックだけでなく、話者の権威、情報の新しさ、タイムスタンプなど、より広範なコンテキストを理解するカスタムリランカーを構築しました。これにより、アプリケーションの真の価値が解き放たれました。

  • Vertex AIの貢献と主要な学び：

    • 迅速なプロトタイプ構築：Googleの強力なツール群とGeminiの能力により、わずか2スプリントという驚くべき速さでプロトタイプを構築できました。
    • データ処理の簡素化：Geminiは、データをそのままの形で活用できるため、データ前処理に費やす時間を大幅に削減できました。
    • ユーザー体験へのフォーカス：単なる動画の要約ではなく、ユーザーが求める「適切なレベルの情報」を提供することに注力しました。
    • ドメイン固有の最適化の重要性：特にリランカーにおいて、一般的な解決策だけでは不十分であり、ビジネスロジックや専門領域に特化した最適化が決定的な違いを生むことを学びました。

AstraZenecaの事例は、RAGシステムが、膨大な非構造化データから深い洞察を引き出し、研究開発プロセスを加速する上でいかに強力なツールであるかを示しています。

4.2 The Home Depot：顧客体験の変革と専門知識のデジタル化

  • 企業概要と課題： The Home Depotは、年間売上高1590億ドル以上、2000店舗以上を誇る世界最大のホームインプルーブメント小売業者です。同社の強みの一つは、店舗アソシエイトが持つ専門知識ですが、これをデジタルのフロントエンドでも提供し、顧客体験を向上させることが大きな課題でした。 顧客は、ホームデポのウェブサイトで膨大な製品情報、顧客レビュー、製品マニュアル、インストールガイドといった情報に触れますが、これらの情報を効率的に検索し、自身のプロジェクトに最適な意思決定を行うのが困難でした。「冷蔵庫のウォーターホースの高さはどれくらいか？」といった具体的な質問に対する答えは、通常の商品情報ページでは見つけにくいものでした。

  • Vertex AIとRAGによる解決策：「Magic Apron」プロジェクト： The Home Depotは、「Magic Apron」と名付けられた一連のAI機能をウェブサイトに統合しました。

    1. 顧客レビューの要約：複雑なパイプラインを通じて、大量の顧客レビューを要約し、製品購入の意思決定を容易にします。
    2. 製品ページでの対話型Q&A：製品情報ページで、製品仕様、在庫状況、店舗ごとの品揃えといった質問に対し、自然言語インターフェースを通じて直接対話できる機能を提供します。これにより、圧倒されがちな製品情報の中から、顧客が必要な情報を迅速に見つけられるようになります。
    3. 隠れた情報へのアクセス：インストールマニュアルやPDFガイド、動画ガイドなど、これまでアクセスが困難だったドキュメントに隠された情報にも、自然言語で質問できるようになりました。例えば、「冷蔵庫のウォーターホースの高さ」のような具体的な質問にも回答できます。

  • 実装プロセスとVertex AIの貢献： このシステムの実装には、マルチステージの処理パイプラインが採用されました。

    1. データキュレーション：多様なデータソースから情報を収集し、正確で関連性の高いデータを選別するキュレーションが重要視されました。
    2. ドキュメント抽出とチャンキング：DocAIなどの技術を用いてドキュメントから情報を抽出し、適切なチャンキングを行います。
    3. エンベディング生成とベクトル検索：Googleのエンベディングモデル（高密度および疎表現の両方）を用いてベクトル表現を生成し、関連メタデータとともにVertex Vector Searchに保存します。これにより、複雑な質問にも対応できる基盤が構築されます。
    4. 多段階リランカー：顧客からのクエリに対して、既存のAPIや他の機械学習モデルと連携し、さらに大規模なデータコーパスから情報を活用します。そして、適切なリランカーを通じて最も関連性の高い情報を抽出し、顧客に提供します。ドキュメント内の画像やテーブルといったリッチな情報も解析され、RAGの精度向上に貢献しています。

  • 主要な学びと将来展望：

    • データキュレーションの重要性：RAGシステムの基盤となるデータの正確性と品質を確保するため、徹底したキュレーションが不可欠であることを学びました。
    • リッチな情報活用の重要性：画像やテーブルなど、ドキュメント内の多様な情報を活用することで、より包括的な回答が可能になります。
    • 顧客体験の向上：自然言語インターフェースを通じて、顧客が製品と簡単に対話し、隠れた情報にもアクセスできるようになったことで、購入体験が大幅に向上しました。 The Home Depotは、「Magic Apron」のコンテクスチュアルインテリジェンスをウェブサイトの他の部分にも組み込み、さらなる顧客体験の向上を目指しています。

4.3 RCS Media Group：150年の歴史とデジタルコンテンツの融合

  • 企業概要と課題： RCS Media Groupは、イタリアとスペインを中心に展開する大手マルチメディア出版企業です。新聞、雑誌、スマートTV、書籍など、あらゆる出版分野で事業を展開し、毎月2億人以上のユーザーに信頼性の高いコンテンツを届けています。150年にわたる膨大な印刷新聞のアーカイブに加え、デジタル記事、関連画像、動画といった多様なメディアコンテンツを保有しており、これらの膨大なデータからユーザーが求める情報を迅速かつ正確に見つけ出し、読者エンゲージメントを向上させることが喫緊の課題でした。特に、AIを活用したインテリジェントな検索と、新しいコンテンツ収益化の機会創出を目指していました。

  • Vertex AIとRAGによる解決策：検索基盤レイヤーとWebサイト検索エージェント： RCS Media Groupは、彼らのAIビジョンのバックボーンとなる「検索基盤レイヤー」を構築しました。これは、将来的に構築される全てのエージェントの土台となります。

    • 検索準備フェーズ（左側）：

      1. データインジェスト：150年分のアーカイブPDF、デジタル記事、関連画像、動画といったマルチメディアデータをインジェストします。
      2. Geminiによる画像・動画のエンリッチメント：画像に対しては、記事のコンテキストに基づき、場所、人物、アクションをGeminiに記述させます。動画に対しては、短い説明と、シーンごとの出来事をGeminiに記述させ、動画内のアクションや特定の瞬間の検索を可能にします。
      3. テキストの正規化と標準化：全てのテキストコンテンツを統一された形式に変換します。
      4. コンテクスチュアル理解とチャンキング：エントロピーベースのコンテクスチュアルチャンキング戦略を導入します。これは、単純な固定サイズのチャンキングではなく、LLMを使ってチャンクと記事全体の関係を記述することで、文脈損失を防ぎ、検索性能を大幅に向上させます。各チャンクには記事レベルのコンテキストが付与されます。
      5. エンベディングとインデックス化：高密度エンベディングと疎エンベディングの両方を計算し、メタデータとともにVertex AI Vector Searchに保存し、インデックス化します。

    • ランタイムフェーズ（右側）：

      1. Geminiによるクエリ書き換えとフィルタリング：ユーザーからのクエリはGeminiによって書き換えられ、潜在的なフィルター（日付、ジャーナリスト名、コンテンツの種類など）が推論・識別されます。検索実行前にこれらのフィルターが適用されます。
      2. ランキング：検索結果は、関連性（relevancy）と新しさ（recency）に基づいて再ランク付けされます。新聞事業では「新鮮度」が非常に重要であるため、最新の記事が上位に来るように重み付けされた線形式が用いられます。
      3. エージェントへのコンテンツ提供：準備されたコンテンツは、以下のエージェントスイートによって利用されます。

    • Webサイト検索エージェント： このエージェントは、検索基盤レイヤーの上に構築されており、以下の機能を提供します。

      • 会話形式の回答：検索から得られたトップKの最も関連性の高い結果と、元のユーザークエリに基づいて、会話形式で回答を生成します。
      • 完全な引用元：生成された回答には、全ての引用元が明記されます。
      • フォローアップ質問：ユーザーエンゲージメントを高めるために、3つのフォローアップ質問を提示します。
      • 多様な検索結果表示：Web記事、PDF、画像、動画など、ユーザーの意図に関連する全ての検索結果を表示します。 これにより、インフォグラフィックの検索、特定のジャーナリストによる期間指定コンテンツの特定、動画内の特定イベント発生時点の識別など、複雑なリアルワールドクエリにも対応できるようになりました。

  • 評価駆動型開発とVertex AIの貢献： RCS Media Groupは、評価駆動型アプローチを採用しました。

    1. 合成データセットの作成：Geminiを用いて、記事のサンプルから、各記事に対して最大5つのクエリを合成的に生成し、クエリと記事のペアを作成しました。
    2. 評価パイプラインの構築：クエリ検索時に、関連する記事がトップKの検索結果に現れるか（hit@K）、そしてその平均ランク（mean reciprocal rank@K）を測定する評価パイプラインを構築しました。
    3. 反復的な改善：このパイプラインを用いて、チャンキング戦略（ナイーブチャンキング vs. コンテクスチュアルチャンキング）、パース方法論、エンベディングモデル、ハイブリッド検索とセマンティック検索の組み合わせ（セマンティック70%：疎30%が最適解）など、様々なシステムバリエーションをテストし、段階的な改善を積み重ねました。結果として、hit@5を4%、MRR@5を6%向上させることができました。これは、LLMやエージェントのコンテキストに渡すトップ3〜5の結果の品質が重要であるため、この指標に注力しました。

  • 主要な学び：

    • マルチメディアデータの統合処理：Geminiが画像や動画をテキスト記述に変換する能力が、マルチメディアコンテンツ全体の検索を可能にしました。
    • コンテキスト損失を防ぐチャンキング：LLMを使ってチャンクに記事全体のコンテキストを付与するコンテクスチュアルチャンキングが、検索性能を劇的に改善しました。
    • ハイブリッド検索の優位性：セマンティック検索とキーワード検索（BM25エンベディング）の組み合わせが、最も高い検索精度をもたらしました。
    • 新鮮度を考慮したランキング：ニュース業界の特性上、情報の「新しさ」を組み込んだランキングが、ユーザーにとっての価値を最大化しました。

RCS Media Groupの事例は、Vertex AIが、膨大な歴史的アーカイブと最新のデジタルコンテンツを統合し、AI駆動の変革を通じて読者体験を向上させ、新たな収益機会を創出する上でいかに不可欠であるかを示しています。

第5章：Vertex AI RAGの将来性と展望

RAGシステムは、LLMの能力を最大限に引き出し、ビジネスにおけるAI活用の可能性を飛躍的に広げるための重要な技術として確立されています。そして、Vertex AIは、このRAGシステムの最前線で進化を続けています。

5.1 AIエージェント進化の要としてのRAG

AIエージェントの概念が現実のものとなるにつれて、RAGシステムの重要性はますます高まります。エージェントは、特定のタスクを実行するために、人間のように計画を立て、思考し、ツールを呼び出して情報を検索し、行動します。この「情報を検索する」という核となる部分がRAGであり、その精度、速度、そして多様なデータソースへの対応能力が、エージェントの知性と効果を左右します。Vertex AIのActive Retrieverのように、Geminiが自律的に検索方法を決定し、複数の情報源をブレンドする機能は、エージェントがより洗練され、複雑な問題解決を自力で行う未来を指し示しています。

5.2 Vertex AIの継続的な強化

Googleは、Vertex AIのRAG関連コンポーネントに対し、継続的な投資と革新を行っています。

  • マルチモーダル機能の拡張：DocAI Layout ParserやVertex AI Embeddingsにおけるマルチモーダル対応の強化は、テキスト中心の世界から、画像、動画、音声を含むより豊かな情報環境へとRAGの可能性を広げます。これにより、企業はあらゆる形式のデータをAIエージェントの知識ベースとして活用できるようになります。
  • 効率性とコスト最適化：Matrioska表現学習によるエンベディングの効率化や、Vector Searchのストレージ最適化ティアは、高いパフォーマンスを維持しながら、RAGシステムの運用コストを削減します。これにより、大規模なRAGソリューションもより導入しやすくなります。
  • カスタマイズ性と柔軟性：Search Platform APIsやカスタムRAGエンジンは、企業が自社の特定のビジネスロジック、データ構造、コンプライアンス要件に合わせてRAGシステムを細かく調整できる柔軟性を提供します。Ranking APIのファインチューニング機能も、特定のドメインにおける検索精度の向上に貢献します。

5.3 業界固有の深い洞察とRAGの融合

AstraZeneca、The Home Depot、RCS Media Groupの事例が示すように、RAGは単なる汎用的な技術ではありません。各業界特有のデータ（医薬品の専門用語、製品マニュアル、歴史的アーカイブなど）と、その業界固有の検索ニーズやビジネスロジックをRAGシステムに深く組み込むことで、その真価が発揮されます。Vertex AIは、このような業界固有の最適化を可能にする基盤を提供し、企業が自社の競争優位性をRAGを通じてさらに強化できるよう支援します。

5.4 企業データ活用の民主化と新たなビジネス価値創造

RAGシステムは、これまで活用が困難だった大量の非構造化企業データを、LLMの強力な推論能力と結びつけることで、新たなビジネス価値を創造します。研究開発の加速、顧客サービスの向上、コンテンツ管理の効率化、意思決定の迅速化など、その応用範囲は無限大です。Vertex AIは、これらのRAGソリューションの構築を民主化し、あらゆる企業がAIの恩恵を享受できる未来を実現するための重要なパートナーとなるでしょう。

まとめ

本記事では、Vertex AIを用いたカスタムRAGシステムの構築が、LLMの課題を克服し、企業AIの真価を解き放つための強力なアプローチであることを詳細に解説しました。Googleが提唱する二段階検索アプローチから、DocAI Layout Parser、Vertex AI Embeddings、Vector Search、Ranking APIといったVertex AIの主要コンポーネント、そしてActive RetrieverとGemini Groundingによるエージェント的RAGオーケストレーションに至るまで、その機能とメリットを深掘りしました。

さらに、AstraZeneca、The Home Depot、RCS Media Groupという多様な業界のリーダー企業が、いかにVertex AIを活用してRAGシステムを構築し、それぞれのビジネス課題を解決し、革新的な顧客体験や業務効率化を実現しているかを具体的な事例を通じて示しました。これらの事例は、RAGシステムが単なる技術的な解決策ではなく、企業が競争優位を確立し、持続的な成長を遂げるための戦略的なツールであることを明確にしています。

AIの可能性を最大限に引き出し、事実に基づいた信頼性の高い情報に基づく意思決定を支援し、顧客や従業員により良い体験を提供するために、Vertex AIによるカスタムRAGシステムの構築は不可欠なステップです。今日、この強力なソリューションを活用することで、あなたのビジネスもAI時代のフロンティアを切り拓くことができるでしょう。未来のAIエージェントは、あなたの企業データという揺るぎない知識の基盤の上に構築されます。Vertex AIと共に、その未来を創造しませんか。

← 一覧に戻る