金融の未来を拓く：BlackRockのAIナレッジアプリ、そのスケーリング戦略と革新的アーキテクチャ「DocuFlow」

現代の金融業界は、データと情報が溢れかえる大海原のようです。世界最大の資産運用会社であるBlackRockが、いかにしてこの膨大なデータを活用し、投資運用業務を革新しているのか。本日、AI Engineer World's FairでBlackRockのInfant Vasanth氏（Senior Director of Engineering）とVaibhav Page氏（Principal Engineer）が披露したプレゼンテーションは、その問いに対する示唆に富んだ答えを提供しました。彼らは、特にAIアプリケーションとナレッジアプリを大規模に構築・展開する上での課題と、それを克服するための独自アーキテクチャ「DocuFlow」について詳細に語りました。この革新的なアプローチは、金融業界だけでなく、あらゆる分野におけるAI導入の道しるべとなるでしょう。

BlackRockが直面する投資運用の複雑性

BlackRockは、その規模の大きさゆえに、複雑で多岐にわたる投資運用業務を日々こなしています。ポートフォリオマネージャーやアナリストは、市場の動向、企業の財務報告、経済指標、ニュース記事など、毎日のように洪水のように押し寄せる情報を分析し、投資戦略を策定します。そして、その戦略に基づいてポートフォリオをリバランスし、最終的な取引を実行します。

この一連のプロセスを支えるのが、BlackRock内の「投資運用チーム（Investment Operations teams）」です。彼らは、投資マネージャーの活動が滞りなく進むよう、まさに企業活動のバックボーンとなる役割を担っています。具体的には、必要なデータの取得、取引の実行、厳格なコンプライアンスチェック、そして取引後の精算や報告といったあらゆる活動をスムーズに進行させる責任があります。

しかし、このプロセスには大きな課題が伴います。各ドメイン（例：株式、ETF、債券など）のチームは、それぞれの専門分野に特化した複雑な社内ツールを構築する必要があり、その開発には多大な時間とリソースがかかります。一つのカスタムアプリケーションを構築するのに、平均して3ヶ月から8ヶ月もの期間を要することもあり、変化の速い金融市場において、このタイムラグは大きなボトルネックとなっていました。BlackRockにとって、これらのアプリケーションを迅速に構築し、大規模に展開する能力は、競争力を維持し、顧客に最高のサービスを提供する上で不可欠なのです。

AI活用の多様なユースケース：4つの主要カテゴリ

BlackRockは、この複雑な課題に対し、生成AI、特に大規模言語モデル（LLM）の可能性に着目しました。彼らはAIを導入するユースケースを大きく4つのカテゴリに分類しています。

文書抽出と処理 (Data Extraction Apps): 契約書、報告書、目論見書といった非構造化文書から特定の情報を正確に抽出・構造化するアプリケーションです。これには、文書の埋め込み（embeddings）生成、関連情報の検索（retrieval）、LLMへの問い合わせ（LLM calls）、そして抽出した情報をビジネスが利用できるデータモデルにマッピングするプロセスが含まれます。これにより、手作業でのデータ入力や分析が大幅に削減されます。
自動化とワークフロー (Automation & Workflows): 定型的な業務プロセスや複雑な意思決定フローを自動化するアプリケーションです。データソースからのイベントトリガー、複数の文書からの情報抽出、それらの統合と合成を通じて、一連のタスクを自動で実行します。これにより、オペレーションの効率化と人的ミスの削減が期待されます。
知識検索とQ&A (Knowledge Search & Q&A): 膨大な社内ドキュメントやデータから、ユーザーの質問に対し迅速かつ正確な回答を提供するQ&Aシステムやチャットインターフェースです。ナレッジグラフデータベースとソースドキュメントを組み合わせることで、関連性の高い情報を瞬時に特定し、簡潔に要約して提示することが可能になります。
データエージェント (Data Agents): 自律的にタスクを理解し、実行するエージェントシステムです。例えば、特定の市場イベントを監視し、自動で関連情報を収集・分析し、推奨アクションを提示するといった高度な機能を想定しています。これは、投資判断の補助や、複雑な状況下での意思決定をサポートします。

これらのカテゴリにおいて、LLMは既存のシステムを拡張し、あるいは全く新しい機能を創出する大きな機会をもたらしています。しかし、そのポテンシャルを最大限に引き出すためには、いくつかの大きな壁が存在します。

具体的な課題：新規発行業務におけるAIアプリ開発の難しさ

BlackRockが直面する課題をより具体的に理解するために、「新規発行業務（New Issue Operations）」のユースケースを見てみましょう。このチームは、企業が新規株式公開（IPO）を行ったり、株式分割を発表したりするような市場イベントが発生した際に、その証券をBlackRockの社内システムに設定する役割を担っています。

そのプロセスは次のようになります。まず、オペレーション担当者は、目論見書やタームシートといった公式文書を取り込みます。これらの文書は「ドキュメント抽出パイプライン」を通過し、発行日、満期日、コール価格、格付け、ストラクチャード・シニアなどの重要な情報が構造化された出力として生成されます。

次に、この構造化された出力は、株式チームやETFチームといったビジネス側のドメインエキスパートの手に渡ります。彼らは、抽出されたデータが正確であるかを検証し、さらに複雑な金融商品を適切にセットアップするために必要な「変換ロジック」を構築します。最終的に、これらの情報はBlackRockの下流アプリケーションと統合され、ポートフォリオマネージャーやトレーダーが実際に取引できるようになります。

このプロセスは極めて複雑で、多大なドメイン知識が要求されます。結果として、一つの新規発行証券をシステムにオンボーディングするためのツール開発に、数ヶ月を要することも珍しくありませんでした。プレゼンテーションでは、「LLMエージェントシステム」を適用しようと試みたものの、金融商品に関する複雑な専門知識が人間の頭の中に埋め込まれているため、現状では十分な機能を発揮できないという現実が語られました。また、新たなモデルプロバイダーや抽出戦略を試みるたびに、多くの時間と労力がかかることも、迅速なアプリ開発を妨げる要因となっていました。

AIナレッジアプリのスケーリングを阻む3つの壁

BlackRockがAIナレッジアプリを大規模に展開する上で直面する課題は、大きく3つのカテゴリに分類されます。

プロンプトエンジニアリングの課題:
- ドメインの専門知識の複雑さ: 金融商品、特に派生商品などはその構造が非常に複雑で、それを正確に記述するプロンプトは、最初は数行であったとしても、あっという間に何段落もの長さになります。この複雑な金融用語や概念をLLMに正確に理解させるためには、高度なドメイン専門知識が必要です。
- プロンプトの管理と反復: 多数のアプリケーションが稼働し、それぞれ異なるプロンプトを持つようになると、それらを効率的に管理し、改善のための反復プロセスを回すことが困難になります。
- プロンプトのバージョン管理と比較: プロンプトはコードと同様に進化するため、バージョン管理を行い、異なるバージョンの性能を比較する仕組みが不可欠です。
- プロンプトの品質評価: プロンプトの出力品質を客観的に評価するためのデータセットや評価指標を確立し、維持することが大きな課題です。
LLM戦略の選択と限界:
- 適切なLLM戦略の選択: 参照情報を用いて回答を生成するRAG（Retrieval Augmented Generation）戦略を用いるべきか、あるいは思考の連鎖（Chain of Thought）を用いて段階的に推論させるべきか。データ抽出のような単純なタスクであっても、その選択はドキュメントの性質によって大きく異なります。
- 大規模ドキュメント処理におけるコンテキスト制限: BlackRockが扱う文書の中には、数千ページ、あるいは10万ページを超えるものもあります。LLMのコンテキストウィンドウの制限（例：100万トークン）は、これらの大規模文書を一度に処理する上での大きな障壁となります。このため、より高度なチャンキング戦略や、要約と再質問を繰り返すような多段階の処理が必要になります。
- 不正確な検索、幻覚、不適切性: LLMは時に誤った情報を生成したり（幻覚）、与えられたコンテキストから関連性の低い回答を導き出したりすることがあります。金融分野では、これらの誤りが重大な結果を招く可能性があるため、高い精度と信頼性が求められます。
- 多様なモデルベンダーと戦略の評価: 市場には多様なLLMプロバイダーが存在し、それぞれが異なる性能とコストを持っています。自社のユースケースに最適なモデルと戦略の組み合わせを見つけるために、多くのベンダーのモデルを試行錯誤し、性能をテストするのに数ヶ月かかることもあります。
アプリケーション展開の複雑性:
- ドメインフェデレーションとアクセス制御: 大規模な組織内で、多数のAIアプリケーションを異なるユーザーグループに適切に配布し、厳格なアクセス制御を適用することは、従来のアプリケーションと同様に複雑です。
- リソース管理とセキュリティ: AIアプリケーションは計算リソース（特にGPU）を大量に消費する場合があります。例えば、大量の研究レポートを夜間に分析するためにはGPUベースの推論クラスターが必要かもしれませんが、それほど高い負荷ではない場合にはバースト可能なクラスターで十分かもしれません。このようなリソースの最適化と、機密データを扱う上での強固なセキュリティ対策が求められます。
- モデルのレイテンシーとコスト: リアルタイム性が求められるアプリケーションでは、モデルの推論レイテンシーが重要になります。また、API利用料やインフラコストも無視できない要素であり、効率的なコスト管理が求められます。

これらの課題は、単一の技術的解決策で対応できるものではなく、アーキテクチャ全体にわたる包括的なアプローチが必要でした。

BlackRockのソリューション：AIナレッジアプリをスケーリングするDocuFlowアーキテクチャ

BlackRockは、これらの複雑な課題を克服し、AIナレッジアプリの開発サイクルを劇的に短縮するために、独自の革新的なアーキテクチャ「DocuFlow」を構築しました。その結果、以前は3ヶ月から8ヶ月かかっていた複雑なAIアプリケーションの開発を、わずか数日に短縮することに成功したのです。

DocuFlowアーキテクチャの鍵となるのは、以下の主要なコンポーネントです。

データプラットフォーム (Data Platform): 全てのAIアプリケーションの基盤となるデータの供給源です。データソーシング、メタデータエンリッチメント、埋め込みの生成、そして文書の前処理といった機能を提供し、質の高い入力データを保証します。
サンドボックス (Sandbox): ここがDocuFlowの中核であり、革新的なポイントです。ドメインエキスパートがプロンプトエンジニアリングやLLM戦略の選択に直接関与できるUIと環境を提供します。
- プロンプト/抽出テンプレート (Prompt/Extraction Templates): 抽出したい情報やその方法を記述したテンプレートを管理します。ユーザーはフィールド名、データ型、情報のソース（抽出か派生か）、必須条件、フィールド間の依存関係、そして検証ルールを設定できます。これにより、ビジネスロジックを直接プロンプトに組み込むことが可能になります。
- LLM/抽出戦略 (LLM/Extraction Strategies): RAGやChain of Thoughtなど、異なるLLM戦略を試行し、特定のユースケースに最適なものを選択するための機能を提供します。
- 抽出実行と評価 (Extraction Runs & Evals): 構築したテンプレートや戦略を実際のドキュメントに適用し、その結果を評価・比較することで、迅速な反復と改善を可能にします。
- トランスフォーマーとエクゼキューター (Transformers & Executors): 抽出された生データを、下流システムが利用できる形に変換（トランスフォーマー）し、実際のビジネスプロセスに組み込むための実行ロジック（エクゼキューター）を定義します。
アプリファクトリー (App Factory): サンドボックスでドメインエキスパートによって検証・洗練された知識（抽出テンプレート、変換ロジックなど）を受け取り、それを定義ファイルとして解釈し、クラウドネイティブなコンテナ化されたアプリケーションとして自動的にスピンアップ（展開）するコンポーネントです。これにより、手動でのデプロイ作業が不要となり、開発から本番環境への移行が大幅に加速されます。
開発者プラットフォーム (Developer Platform): App Factoryによって生成されたアプリケーション群を管理・提供するプラットフォームです。個々の「アプリ」や「関数」として提供され、適切な「ガバナンスとワークロードリスクプロファイル管理」の仕組みを通じて、ユーザーに配布されます。
オーケストレーションレイヤー (Orchestration Layer): DocuFlow APIの下に位置し、埋め込み、抽出、変換、実行といった各種ワークフローを調整・管理します。

このDocuFlowアーキテクチャは、ドメインエキスパートが技術的な詳細に深く関わることなく、自らの知識を活かしてAIアプリケーションを迅速にプロトタイプし、改善し、そしてそれを自動的に本番環境に展開できるという、画期的なワークフローを実現しました。これにより、開発のボトルネックが解消され、ビジネスのニーズに即応できる柔軟なAI導入が可能になったのです。

デモから見るDocuFlowの機能

プレゼンテーションでは、DocuFlowの簡易版がデモンストレーションされました。そこでは、サンドボックスがどのように機能するかが視覚的に示されました。

抽出テンプレートの管理: ユーザーは「抽出テンプレート」のセクションで、新しいフィールドを定義できます。例えば、「Issue（発行体）」、「Callable（コーラブル性）」、「CallPrice（コール価格）」、「CallDate（コール日）」といった金融商品に関する具体的なフィールドが設定されます。各フィールドには、期待されるデータ型（文字列、数値、日付など）、情報のソース（ドキュメントから直接「抽出」するか、他のフィールドから「派生」させるか）、必須項目であるかどうかの設定、そして他のフィールドとの依存関係（例：コーラブルな場合にのみコール価格が必要）や特定のフォーマットに準拠するための検証ルールを設定できます。プロンプト自体も、各フィールドの情報を抽出するためにLLMに与える指示としてここで詳細に記述されます。
ドキュメントセットの管理: 「ドキュメントセット」のセクションでは、分析対象となる目論見書やタームシートなどの文書が取り込まれ、ビジネスカテゴリに基づいてタグ付けされ、さらにLLMが利用しやすいように埋め込み表現が生成されます。

このデモは、DocuFlowが単なるLLMのAPIラッパーではなく、ドメインエキスパートが複雑なデータ抽出と変換のロジックを直感的に定義し、管理できる包括的なプラットフォームであることを明確に示しました。これにより、エンジニアリングチームが全てのロジックをコードで実装することなく、ビジネスユーザー自身がアプリケーションの挙動を直接制御できるようになるのです。

BlackRockのAI導入から得られた主要な学び

BlackRockのAI導入における経験から得られた主要な学びは、以下の3点に集約されます。

プロンプトエンジニアリングへの集中的な投資: 特に金融分野のような専門知識が深く、ドキュメントの記述が非常に複雑な領域では、ドメインエキスパートのプロンプトエンジニアリングスキルに集中的に投資することが不可欠です。精度の高い情報抽出や適切な意思決定支援には、曖昧さのない明確なプロンプトが鍵となります。これは、単なる技術スキルではなく、ドメイン知識と言語化能力を融合させた高度なスキルセットが求められることを示しています。
LLM戦略の組織的な理解と教育: 組織全体で、様々なLLM戦略（例：RAG、Chain of Thoughtなど）が何を意味し、特定のユースケースやドキュメントの種類に対してどのように機能するかを深く理解し、教育していく必要があります。どのモデルを、どの状況で、どのように使うべきかという知見は、試行錯誤を通じてしか得られません。
ROIの慎重な評価とHuman-in-the-Loop設計の重視: AIアプリの開発は、実験やプロトタイピングの段階では非常に魅力的ですが、本番環境での展開には厳格なROI評価が必要です。AIアプリを独自に構築することが、既存の既製製品を利用するよりも費用対効果が高いのか、また、どのようなリソース（GPUなど）とコストが必要になるのかを慎重に見極める必要があります。さらに重要なのは、特に金融のような高度に規制された環境では、「Human-in-the-Loop（人間の関与）」を前提とした設計が不可欠であるという点です。コンプライアンスやリスク管理の観点から、AIの出力には常に人間によるチェック（Four-eyes check）が求められます。そのため、最初から人間が介入し、結果を検証・修正できるようなワークフローとインターフェースを設計に組み込むことが重要です。

まとめと将来展望

BlackRockのDocuFlowアーキテクチャは、金融業界におけるAIアプリケーション開発の風景を根本的に変えようとしています。ドメインエキスパートの深い知識を、迅速な反復が可能なサンドボックスと、自動化されたアプリファクトリーを通じて直接アプリケーション開発に結びつけることで、かつては数ヶ月を要した開発期間を数日にまで短縮するという驚異的な成果を上げています。

この成功は、AI導入が単なる技術的課題ではなく、組織文化、プロセス、そして人間とAIの協調のあり方を変革する戦略的課題であることを示唆しています。特に、規制が厳しく、高い信頼性が求められる金融業界において、「Human-in-the-Loop」の重要性を強調し、最初からそれを設計に組み込むというBlackRockのアプローチは、他の産業におけるAI導入においても重要な教訓となるでしょう。

BlackRockは、データ駆動型の意思決定をさらに加速させ、リスク管理を強化し、最終的には顧客に革新的な投資ソリューションを提供するために、AIの可能性を最大限に追求し続けています。DocuFlowのようなアーキテクチャは、未来の金融市場を形作る上で不可欠なツールとなり、AIが人間の専門知識と協調することで、新たな価値を創造する可能性を広げていくことでしょう。