T最新テックトレンド

RAGの進化：企業AIの未来を形作るRetrieval-Augmented Generationの力

AI Engineer
0:00--:--

導入：AI Engineer World's Fairから見据える企業AIの最前線

最新技術の祭典「AI Engineer World's Fair」では、AIの未来を形作る画期的なイノベーションが数多く紹介されました。その中でも特に注目を集めたのが、企業における大規模言語モデル（LLM）の活用における、Retrieval-Augmented Generation（RAG）の進化です。

MongoDBに最近買収されたVoyage AIの元CEO兼共同創業者であり、スタンフォード大学で教鞭もとるTony Ma氏の講演は、RAGがなぜ企業AIの基盤技術として不可欠なのか、そしてその未来がどのように展開していくのかについて、深い洞察を与えてくれました。Microsoftをプレゼンティングスポンサーとし、AWSをイノベーションパートナーとするこのイベントで語られた内容は、現代の企業が直面するAI導入の課題を克服し、競争優位性を確立するための重要なヒントに満ちています。

今日のブログ記事では、Ma氏の講演内容を深く掘り下げ、RAGの重要性、具体的な機能、ビジネスへの影響、そして将来性を、専門的かつ分かりやすい言葉で解説していきます。

セクション1：LLMにおける「知識」の課題と3つのアプローチ

大規模言語モデル（LLM）は、その驚異的な汎用性で世界を席巻していますが、企業がLLMを導入する際には、避けて通れない重要な課題があります。それは、LLMが「箱から出してすぐに」は企業独自のプロプライエタリ情報を知らないという事実です。

LLMは、インターネット上の膨大な公開データで学習していますが、特定の企業の内部文書、顧客データ、独自の業務プロセスに関する情報は持ち合わせていません。これらの機密情報を含むデータをそのままLLMに学習させると、データの漏洩や不適切な利用といった深刻なセキュリティリスクにつながる可能性があります。企業がLLMの真価を引き出し、安全に運用するためには、この「知識のギャップ」を埋めるアプローチが不可欠となるのです。

Ma氏は、この課題を解決するための3つの主要なアプローチを提示しました。

1. ロングコンテキスト（Long-context）

概要: 最もシンプルなアプローチは、ユーザーのクエリと関連する全ての企業ドキュメントを、LLMのプロンプトのコンテキストウィンドウに直接投入し、そこから応答を生成させる方法です。

利点:

  • 実装の容易さ: 事前のファインチューニングや複雑な検索システムの構築が不要で、既存のLLMに直接データを入力するだけで良い。
  • 直接的な情報アクセス: LLMが即座に利用可能な情報源にアクセスできるため、理論上は完全な情報に基づいて応答を生成できる。

課題:

  • 莫大なコスト: LLMへの入力トークン数が増えれば増えるほど、API利用料や計算リソースのコストが指数関数的に増加します。企業が保有する膨大なドキュメントを毎回全てLLMに投入することは、現実的ではありません。
  • 品質の低下（ノイズ）: 大量の関連性の低いコンテキストが混ざることで、LLMが重要な情報を見落としたり、応答の質が低下したりする「ノイズ」の問題が生じます。人間が膨大な量の文書を一度に読んで、一つの質問に答えるのが難しいのと同様です。
  • コンテキストウィンドウの限界: 最新のLLMはコンテキストウィンドウが拡大しているとはいえ、企業の全てのプロプライエタリ情報を一度に格納するには限界があります。

2. ファインチューニング（Finetuning）

概要: 企業独自のデータでLLM自体を再トレーニング（ファインチューニング）し、モデルの内部パラメータ（重み）を更新することで、その知識をLLMに「覚えさせる」アプローチです。

利点:

  • 深い知識の統合: LLMが特定のドメイン知識を深く学習し、より自然でドメイン固有の応答を生成できるようになります。
  • 応答速度の向上: 実行時に外部データソースへのアクセスが不要なため、応答速度が速くなる可能性があります。

課題:

  • 大量の高品質データが必要: ファインチューニングには、大量かつ高品質なアノテーション付きデータセットが必要です。このデータの準備には多大な時間、労力、コストがかかります。
  • 知識の獲得と忘却の困難さ: モデルが一度学習した知識を更新したり、特定の情報を忘却させたりすることが非常に難しいです。これは、プライバシー要件（GDPRの「忘れられる権利」など）や情報の陳腐化に対応する上で大きな障壁となります。
  • データガバナンスの複雑性: 機密情報がモデルの内部に埋め込まれるため、どの情報がどこに保存されているかを追跡・管理することが困難になり、セキュリティやコンプライアンスのリスクが高まります。
  • 「ライブラリ全体を筋肉で覚える」ようなもの: 不要な情報まで記憶したり、新しい情報を追加するたびに再学習が必要になったりする点で、効率的とは言えません。

3. RAG（Retrieval-Augmented Generation）

概要: RAGは、LLMの生成能力と外部情報源からの検索能力を組み合わせるハイブリッドなアプローチです。ユーザーのクエリが来ると、まず関連するドキュメントを外部データベースから検索・取得し、その関連ドキュメントとクエリをLLMに与えて応答を生成します。

利点:

  • 信頼性と正確性の向上: 外部の最新情報やプロプライエタリ情報に基づいて応答を生成するため、LLMのハルシネーション（もっともらしいが事実と異なる情報を生成すること）を大幅に抑制できます。
  • モジュール性と柔軟性: 検索システムと生成モデルが独立しているため、それぞれを個別に更新・改善できます。新しい情報源を追加するのも容易です。
  • コスト効率: 全てのデータをLLMに投入するのではなく、関連性の高い少数のドキュメントのみをコンテキストとして利用するため、トークンコストを削減できます。
  • データガバナンスの容易さ: プロプライエタリ情報は外部のセキュアなデータベースに保管され、LLMの内部に直接埋め込まれることはありません。アクセス制御や削除が容易になり、データガバナンスの課題が緩和されます。
  • 人間のアプローチに類似: 「質問に対して、まず関連する本の章をいくつか探し出し、それらを読んでから回答する」という、人間が知識を活用する自然な方法に近いアプローチです。階層的な情報管理を実現します。

Ma氏の講演では、これらの比較を通じて、企業におけるLLM活用においては、RAGが最も信頼性が高く、柔軟で、コスト効率の良いアプローチであると強調されました。特に、独自のデータを扱う企業にとっては、RAGが提供するメリットは計り知れないものがあります。

セクション2：RAGの現在地：進化した技術と課題解決への道

RAGが企業AIの未来を担う上で最適なアプローチである理由を理解したところで、次にRAGがどのように機能し、現在の技術がどこまで進んでいるのかを見ていきましょう。

RAGの基本的な仕組み

RAGシステムは、主に以下の3つのコンポーネントで構成されます。

  1. 埋め込みモデル（Embedding Model）:
    • 企業が保有する膨大なドキュメント（テキスト、画像、動画など）を、意味的なベクトル表現（埋め込みベクトル）に変換します。
    • 同様に、ユーザーからのクエリもベクトルに変換されます。
    • このベクトル空間では、意味的に近いコンテンツは互いに近くに配置されます。
  2. ベクトルデータベース（VectorDB）:
    • 埋め込みモデルによって生成されたドキュメントのベクトルと、元のドキュメント（またはその参照）を格納するデータベースです。
    • クエリのベクトルを受け取ると、類似度検索（K-最近傍探索など）を用いて、意味的に最も関連性の高いドキュメントのベクトルを高速に特定し、対応するドキュメントを返します。
  3. 生成モデル（Generative Model / LLM）:
    • ベクトルデータベースから取得された関連ドキュメントと、ユーザーからのオリジナルのクエリを受け取ります。
    • これらの情報を総合して、ユーザーへの回答やコンテンツを生成します。

このようにRAGは、検索と生成のプロセスを分離することで、LLMがより正確で、最新の情報に基づいた応答を生成することを可能にします。

過去2年間で検索精度が飛躍的に向上

Ma氏は、RAGの中核をなす検索部分の精度が、過去2年間で目覚ましい進歩を遂げたことを強調しました。講演中に示されたグラフ（価格/100万トークン vs 検索品質 NDCG@10）は、この進歩を如実に物語っています。

  • コストと品質の改善: 新しい埋め込みモデル（Voyage AIのモデルなど）は、以前のモデル（OpenAIの旧モデルなど）と比較して、同じコストでより高い検索品質を実現し、あるいは同じ品質をより低いコストで達成しています。これは、AIモデルの性能向上と効率化が同時に進んでいることを示しています。
  • 市場の競争と革新: Voyage AIだけでなく、CohereやOpenAIといった主要なプレイヤーも、この分野で継続的に改善を進めており、RAG技術が急速に成熟していることが伺えます。
  • 今後の改善余地: 現在の平均的な検索品質が約80%であることから、まだ20%程度の改善余地があるとMa氏は指摘しました。これは、RAG技術がまだ発展途上であり、将来的なイノベーションの可能性が大きく残されていることを意味します。

ベクトルデータベースのストレージコスト削減技術

RAGの導入において、大量のデータをベクトル化し、それを格納するベクトルデータベースのコストは無視できない要素です。Ma氏は、このストレージコストを大幅に削減するための2つの革新的なアプローチを紹介しました。

  1. マトリョーシカ学習（Matryoshka Learning）:
    • これは、高次元の埋め込みベクトルが、その一部を切り取った低次元のサブベクトルでも、元の高次元ベクトルに近い意味的な情報を保持するという考え方に基づいています。
    • 例えば、2048次元の埋め込みベクトルが非常に高性能である場合でも、その最初の256次元を切り出したベクトルが、ストレージコストを約100分の1に削減しつつ、依然として高い検索品質を維持できることをMa氏は示しました。
    • これにより、ストレージコストを犠牲にすることなく、実用的なパフォーマンスを維持することが可能になります。
  2. 量子化対応トレーニング（Quantization-Aware Training）:
    • 埋め込みベクトルの精度を下げて（例: 浮動小数点数から整数に変換）、ストレージサイズを削減する技術です。
    • Ma氏は、この量子化によっても、わずかな性能低下で大幅なストレージコスト削減が実現できることを示しました。
    • Voyage AIのモデルは、OpenAIのモデルよりも優れたトレードオフを実現しており、100倍のストレージコスト削減で5〜10%程度の品質低下に抑えられています。これは、ドメインに特化したモデルが特定の用途で大きな優位性を持つ可能性を示唆しています。

これらの技術は、企業がRAGシステムをより経済的に大規模導入するための重要な鍵となります。

RAGパフォーマンスをさらに向上させる「トリック」（埋め込みモデルの改善以外）

埋め込みモデル自体の改善に加え、RAGのパフォーマンスを最適化するための様々な「トリック」（戦略や技術）が存在します。Ma氏は、これらのアプローチがRAGの有効性を最大限に引き出すために重要であると語りました。

  1. クエリとドキュメントの強化（Enhancing Queries and Documents）:
    • クエリ分解（Query Decomposition）: ユーザーからの複雑なクエリを、LLMを用いて複数の単純なサブクエリに分解します。例えば、「RAGとは何か、その生成プロセスと検索プロセスを説明せよ」というクエリを、「RAGの検索を説明せよ」と「RAGの生成を説明せよ」の二つのクエリに分解し、それぞれで検索を実行後、統合された回答を生成します。これにより、検索の精度が向上し、LLMがより焦点を絞った回答を生成できるようになります。
    • ドキュメントエンリッチメント（Document Enrichment）: ドキュメントの各チャンク（小さな情報単位）に、そのドキュメント全体のメタ情報（タイトル、ヘッダー、カテゴリ、作成者、日付など）や、LLMが生成した要約・キーワードなどを追加します。これにより、各チャンクがより豊かなコンテキストを持つため、検索時に高い関連性が得られやすくなります。特に、元のドキュメントがチャンク分割された際に失われがちなグローバルな情報を補完するのに役立ちます。
  2. ハイブリッド検索と再ランク付け（Hybrid Search and Rerankers）:
    • 従来のキーワードベースの検索（BM25など）と、埋め込みベクトルを用いた意味的検索を組み合わせることで、両者の利点を活用します。
    • さらに、これらの検索結果を「再ランク付けモデル（Reranker）」に通し、より関連性の高いドキュメントを上位に再配置することで、LLMへの入力の質を最大化します。Voyage AIも再ランク付けモデルを提供しており、検索結果の精度向上に貢献しています。
  3. ドメイン固有の埋め込み（Domain-specific Embeddings）:
    • 一般的な目的の埋め込みモデルではなく、特定のドメイン（例：ITコード、金融、法律）に特化してファインチューニングされた埋め込みモデルを使用することで、その分野における検索精度を大幅に向上させることができます。
    • Voyage AIは「Voyage-code-3」のようなコード特化モデルを提供しており、優れた性能を示しています。また、金融や法律分野のモデルも開発中であり、特定の業務領域におけるRAGの適用範囲を広げています。
  4. 独自のデータでのファインチューニング（Finetune with Own Data）:
    • 企業は、自社の独自データを用いて埋め込みモデルをファインチューニングすることで、RAGシステムの精度をさらに向上させることができます。
    • ファインチューニングの際には、「ポジティブペア」（意味的に関連性の高い情報の組）を見つけることが重要です。例えば、「文書のタイトルと本文」、「質問とそれに対する根拠となる証拠」、「画像とそのキャプション」、「LLMが生成したクエリとその関連ドキュメント」などです。これらのペアを用いて対照学習を行うことで、モデルは自社のデータセットにおける意味的類似性をより正確に捉えるようになります。
  5. 様々なRAGのバリエーション（Flavor-of-the-month-RAG）:
    • RAGの分野は活発に研究が進んでおり、Self-RAG、Golden-Retriever、Corrective RAG、Speculative RAG、GraphRAG、Iterative/recursive retrievalなど、様々なアプローチが提案されています。
    • これらは全て埋め込み技術を基盤としていますが、検索戦略、ドキュメントの構造化、LLMとの連携方法などに工夫を凝らし、RAGの性能向上を目指しています。企業は自身のユースケースに合わせて最適なRAGのバリエーションを選択することが重要です。

これらの「トリック」は、現在のRAGシステムがLLMの限界を補い、より堅牢で実用的な企業AIアプリケーションを構築するために不可欠な要素となっています。

セクション3：RAGの未来：より強力なAIモデルが担うワークフローの自動化

RAG技術の現在地を確認したところで、Ma氏はRAGがどのように進化し、企業AIの未来をどのように変革していくかについてのビジョンを語りました。

AI開発のパラダイムシフト

Ma氏は、スタンフォード大学での機械学習（ML）の講義経験に触れながら、AI開発のプロセスが大きく変化していることを示唆しました。GenAI（生成AI）や基盤モデルの登場以前、MLシステムを構築するには「データの取得、データの確認、学習/開発/テストセットの作成、仕様の作成/改良、モデルの構築、測定、繰り返し」といった7つの複雑なステップをすべてユーザー（企業）自身が行う必要がありました。これは、時間と専門知識を要する、非常に手間のかかるプロセスでした。

しかし、2024年現在、大規模言語モデル（LLM）の登場により、この状況は劇的に変化しました。現在では、多くのケースでLLMを「箱から出してすぐに」利用でき、上記の多くのステップを省略できるようになったのです。もちろん、完璧ではありませんが、以前の複雑なプロセスを経るよりもはるかに優れた結果を、はるかに迅速に得られるようになっています。

それでも、企業独自のプロプライエタリなデータに関しては、LLMがその情報を直接知るわけではないため、RAGのような外部知識連携の仕組みが依然として不可欠です。しかし、Ma氏は、RAG自体もこのパラダイムシフトの恩恵を受け、さらに進化すると予測しています。

RAG Tomorrow: より強力なAIモデルとより少ないトリック

現在のRAGシステムは、前述の通り、「トリック」と呼ばれる様々な工夫（パース、チャンキング、データ抽出、再帰検索、コンテキストチャンク、GraphRAG、修正RAGなど）を積み重ねることで、性能を最大化しています。これらのトリックは、現在の埋め込みモデル、再ランク付けモデル、LLMの限界を補完するために必要不可欠です。

しかし、Ma氏のビジョンでは、未来のRAGはよりシンプルでパワフルになります。 「より強力なAIモデルが、より少ないトリックで、より多くの仕事をこなす」ようになるというのです。

この未来では、RAGシステムの各コンポーネント（埋め込みモデル、再ランク付けモデル、LLM）自体がさらに進化し、多くの複雑な「トリック」をモデル内部で自動的に処理できるようになります。これにより、ユーザーはこれらの前処理や最適化の手間から解放され、より簡単に高性能なRAGシステムを構築・運用できるようになります。これは、LLMが「箱から出してすぐに」使えるようになったのと同様の進化が、RAGのレイヤーでも起こることを意味します。

革新的なRAGの展開

Ma氏は、このビジョンを実現するための具体的な技術革新として、以下の2点を挙げました。

  1. マルチモーダル埋め込み（Multimodal Embedding）- パース不要で全てのデータを活用:

    • 現在のRAGシステムでは、PDF、パワーポイント資料、動画、画像、テキストなど、多様な形式の企業データを扱う際に、それぞれの形式に合わせてデータを前処理・パースし、適切なテキストや画像データに変換する必要があります。このパース作業は複雑で手間がかかります。
    • 未来のマルチモーダル埋め込みモデルは、これらのあらゆる形式のデータを直接入力として受け取り、単一の埋め込みベクトルに変換できるようになります。例えば、PDFファイルであれば、スクリーンショットとして直接取り込み、個別のテキスト抽出や画像埋め込みを行わずとも、意味的なベクトルを生成できます。動画であれば、フレームのスクリーンショットを連続的に入力することで、動画全体の意味を捉えたベクトルを生成可能です。
    • Voyage AIの「Voyage-multimodal-3」は、すでにこの方向性で進んでおり、テーブル図、ドキュメントスクリーンショット、テキスト+画像、テキストのみといった多様なデータ形式で優れた検索品質を実現しています。この技術により、データ前処理のワークフローが劇的に簡素化され、企業は保有する全ての情報をRAGで横断的に活用できるようになります。

  2. コンテキストアウェア＆自動チャンク埋め込み（Context-aware and Auto-Chunking Embeddings）:

    • 長いドキュメントをRAGで扱う際、LLMのコンテキストウィンドウの制約や、関連性の高い情報に焦点を当てる必要性から、ドキュメントを小さな「チャンク」に分割する作業が不可欠です。しかし、このチャンク分割も、どこで分割するか、どの程度の情報を各チャンクに含めるかなど、最適な方法を見つけるのが難しい作業です。
    • Ma氏が紹介した未来の埋め込みモデルは、ドキュメントのコンテキストを意識しながら、自動的に最適なチャンク分割を行う能力を持ちます。さらに、生成される各チャンクのベクトルには、そのチャンク自体の詳細な情報だけでなく、ドキュメント全体の高レベルな情報や、隣接する他のチャンクの関連情報も「メタ情報」として含めることができます。
    • これにより、個々のチャンクの埋め込みベクトルが、より豊かなコンテキストを持つようになり、検索の精度が向上します。ユーザーは手動で複雑なチャンク戦略を考案する必要がなくなり、RAGシステムの導入・運用がさらに容易になります。これは、LLMが長い文書の中間部分の情報を「見落とす」といった問題を解決し、検索の「粒度」を最適化するための重要な進化です。

Voyage AIは、これらの技術を早期にリリースすることを目指しており、将来的には独自のデータで埋め込みモデルをファインチューニングできるAPIの提供も視野に入れています。これにより、企業はRAGを自社のニーズに合わせて究極にカスタマイズできるようになるでしょう。

結論：RAGが切り開く企業AIの新たな地平

Tony Ma氏の講演は、RAGが単なるLLMの補完技術ではなく、企業AIのデファクトスタンダードとなり、その未来を大きく左右する技術であることを明確に示しました。ロングコンテキストやファインチューニングが抱えるコスト、品質、ガバナンスの課題に対し、RAGは信頼性、柔軟性、コスト効率のバランスの取れた解決策を提供します。

現在のRAGシステムは、埋め込みモデルの進化、コスト削減技術、そして様々な「トリック」の組み合わせによって、すでに目覚ましい性能向上を遂げています。そして、その未来はさらに明るいものです。マルチモーダル埋め込みや自動チャンク化といった技術革新は、企業が形式を問わず全てのデータをRAGで活用し、複雑な前処理なしに、より強力でインテリジェントなAIアプリケーションを構築できる世界を約束します。

企業にとって、RAGの進化は、独自の知識を安全かつ効率的にLLMと連携させ、ハルシネーションを抑制し、意思決定の質を高め、新たなビジネス価値を創出するための無限の可能性を秘めています。RAGがAIモデルの力を最大限に引き出し、より洗練された企業AIのワークフローを自動化する未来は、すでにすぐそこまで来ています。この革新の波に乗り遅れないよう、RAG技術の動向に注目し、その導入を積極的に検討することが、これからの企業には求められるでしょう。

← 一覧に戻る