AIエージェントで非構造化データの壁を越える：Boxの挑戦と革新

もちろん！与えられた動画の内容に基づいて、最新技術に関するブログ記事を作成します。

AIの進化は目覚ましく、特に生成AIは私たちの仕事のあり方を根本から変えようとしています。しかし、そのポテンシャルを最大限に引き出すためには、企業が抱える膨大な「非構造化データ」の課題を克服する必要があります。今回は、コンテンツ管理のリーディングカンパニーであるBoxが、どのようにAIエージェントを活用し、この長年の課題に挑んでいるのか、その旅路と学んだ教訓を深掘りします。

Boxとは？エンタープライズの「非構造化コンテンツ」を支えるプラットフォーム

Boxは15年以上にわたり、フォーチュン500企業の3分の2を含む11万5千社以上のエンタープライズ顧客に、非構造化コンテンツ管理プラットフォームを提供してきました。契約書、企画書、画像、動画など、企業が生み出す情報の約90%を占める非構造化データは、その量が膨大なだけでなく、形式が多様であるため、管理や活用が極めて困難です。

Boxの使命は、これらのコンテンツを安全に管理し、ワークフローを効率化し、必要な情報を迅速に引き出せるようにすることです。特にAIの分野では、多くの企業がデータセキュリティやプライバシーへの懸念からAI導入に二の足を踏む中、Boxは安全でセキュアなAIソリューションを提供することで、顧客の最初のAI導入を支援してきました。

Boxのインテリジェントコンテンツ管理プラットフォームの全体像

Boxのプラットフォームは、以下の4層で構成されています。

グローバルインフラストラクチャ: 無制限のストレージ、高速なデータ取り込み、クラウドネイティブな高可用性を提供し、何千億もの顧客ファイルを含む膨大なデータを管理。
データ保護とコンプライアンス: 脅威検出、データレジデンシー、監査証跡、保持、分類、アーカイブ、PIIスキャン、暗号化など、厳格なセキュリティとコンプライアンス要件に対応。
コンテンツサービス: ファイルとフォルダの管理、メタデータ、コラボレーションワークフロー、電子署名、パブリッシングなど、コンテンツに関するあらゆる機能を網羅。
AIプラットフォーム: 複数ドキュメントにわたるクエリ、セキュアなRAG（Retrieval-Augmented Generation）、透明性の高いモデルアグノスティックなアプローチ、そして無制限のエンドユーザーAIエージェントビルダーを提供。

この強固な基盤の上に、Boxは2023年から生成AIを本格的に統合し、以下の3つの主要なユースケースでエンタープライズコンテンツの変革を推進しています。

ドキュメント横断のQ&A: 複数のドキュメントから関連情報を抽出し、ユーザーの質問に回答。
データ抽出: 非構造化データから重要な構造化データを自動で抽出。
AI駆動型ワークフロー: AIがコンテンツの内容を理解し、自動で適切なワークフローを起動。

この中でも、特にデータ抽出は、長年の課題でありながら、AIエージェントの力を借りて大きく進化している領域です。

非構造化データからのメタデータ抽出：長年の課題

非構造化データの中から、契約タイプ、顧客名、住所、機密情報といった「メタデータ」を抽出することは、企業にとって非常に重要な業務です。これらを活用することで、AIに文脈豊かなコンテンツを与え、インテリジェントなコンテンツ理解に基づいたワークフローを自動化し、コンテンツの発見と知識アクセスを向上させることができます。

しかし、生成AIが登場するまで、このデータ抽出はほとんどの企業にとって「困難すぎる」課題でした。

機械学習ベースの技術は開発コストが高すぎる: 特定のコンテンツタイプに特化したモデルの開発には、膨大なコストと時間がかかりました。
自由形式のテキストデータにはうまく機能しなかった: フォーマットが不規則な文書からは、正確なデータを抽出するのが困難でした。
データフォーマットの変更に対応できなかった: 契約書のテンプレートが変更されるたびに、モデルを再調整する必要がありました。

その結果、多くの企業は非構造化データから構造化データを抽出することを諦め、データベース内の10%程度の構造化データにしかAIを活用できていませんでした。

生成AIによるデータ抽出の夜明け：Boxの第一歩

生成AIの登場は、この状況を一変させました。Boxはまず、LLM（大規模言語モデル）を活用したシンプルなデータ抽出の仕組みを構築しました。

前処理: OCR（光学文字認識）によって文書をテキストデータに変換。
LLMへのプロンプト: 抽出したいフィールドを定義し、「このテキストからこれらのフィールドを抽出してください」とLLMに指示。
データ抽出: LLMがテキストから構造化データをJSON形式で出力。

この初期バージョンは驚くべき成果をもたらしました。特定のAIモデルに依存せず、柔軟に様々な種類のデータから情報を抽出できる能力は、これまでのMLベースの手法をはるかに凌駕しました。

しかし、すぐに課題が浮上します。

より長く、複雑な文書への対応: 文書のページ数や複雑さが増すにつれて、LLMがすべてのフィールドを正確に把握しきれなくなる。
OCRの精度問題: スキャンされた文書や手書きのメモなど、OCRの精度が低い場合、LLMに不正確な情報が渡り、結果の品質が低下する。
フィールドが多すぎる問題: 抽出するフィールドの数が多くなると、LLMが過負荷になり、精度が低下する。
LLM自身の精度評価の難しさ: LLMは自身の回答の確実性を数値で示すことができないため、ユーザーは抽出結果の信頼性を判断しにくい。
スピードと正確性の両立: 顧客は高い正確性を保ちつつ、高速かつ安価なデータ抽出を求めている。

これらの課題に直面し、Boxのエンジニアチームは一時的に「絶望」しました。LLMがすべてを解決するわけではないという現実に直面し、従来のMLモデルへの回帰を検討する声すら上がりました。

エージェントアーキテクチャへの再構築：AIエージェントによる課題解決

この課題を乗り越えるためにBoxがたどり着いたのが、「AIエージェント」という考え方でした。単一のLLMにすべてのタスクを任せるのではなく、複数の特化したAIエージェントを連携させ、それぞれの強みを活かす「エージェントアーキテクチャ」です。

Boxがデータ抽出のために構築したエージェントルーティンは以下の通りです。

フィールドの準備（Prepare fields）:
- 抽出したいフィールドをインテリジェントにグループ化。
- フィールドをグループに分割し、LLMが一度に処理できる情報の量を最適化。
フィールドデータの抽出（Extract field data）:
- 各フィールドグループに対して、Box AI抽出エージェントが動作。
- ドキュメントとのインタラクションには、LLM、RAG、OCR、画像分析など、複数のモデルとツールを必要に応じて使い分け、最適な抽出方法を選択。
品質フィードバック（Quality feedback）:
- 抽出されたデータに対して「Extract Supervisor」と呼ばれる監督エージェントが、LLMを「判定者」として活用し、抽出結果の品質を評価。
- 不正確な部分があれば、再度抽出プロセスを繰り返すなど、フィードバックループを通じて精度を向上させる。
- 必要に応じて、更新のための改善策を提案する「Reflection」機能も持つ。

このエージェントアーキテクチャは、単一のLLMでは解決できなかった多くの課題を克服しました。

複雑なドキュメントへの対応: フィールドをインテリジェントにグループ化することで、LLMの負荷を軽減し、より長く複雑な文書にも対応可能に。
OCRの精度問題への対処: OCRだけでなく、RAGや画像分析といった複数のツールを組み合わせることで、情報喪失のリスクを低減。
LLMの過負荷回避: フィールドのグループ化により、一度にLLMに渡す情報量を最適化し、より多くのフィールドを処理可能に。
精度評価と改善: LLMを「判定者」として活用することで、抽出結果の品質を客観的に評価し、自動的に改善策を講じることが可能に。

このエージェントアーキテクチャの導入は、非構造化データからのデータ抽出という長年の課題を、AIの力で解決するための画期的な一歩となりました。

エージェントアーキテクチャのさらなる可能性：Q&Aとディープリサーチ

エージェントアーキテクチャは、データ抽出だけでなく、BoxのQ&A機能やディープリサーチ機能にも応用されています。

Q&Aの改善：エージェントRAG

従来のRAGシステムでは、質問に対して関連情報を検索し、LLMが回答を生成します。しかし、生成された回答が本当に的確かどうかを判断する仕組みは不足していました。BoxのエージェントRAGでは、以下のプロセスでより高品質な回答を提供します。

質問への回答: LLMが質問に回答。
回答の批評: 別のLLMエージェントが、生成された回答を批評し、その品質を評価。
より良い質問の提案: 回答が不十分な場合、元の質問を改善するための提案を行い、再試行を促す。

これにより、ユーザーはより信頼性の高い回答を得られるだけでなく、質問の質自体を向上させる機会も得られます。

エージェント型ディープリサーチ

Boxは、ユーザーがコンテンツ内でより深い調査を行える「エージェント型ディープリサーチ」機能も発表しました。これは、まるで人間が調査を行うかのように、複数のステップをAIエージェントが協調して実行するものです。

リクエスト: ユーザーが調査の依頼（例：[00:00:15] 「製品ロードマップをどう加速するか」）を送信。
Boxデータの検索: Box内の関連データを検索。
関連ファイルの特定: 検索結果から最も関連性の高いファイルを特定。この際、重要な情報を「キャプチャ」するエージェントも並行して動作し、情報の見落としを防ぐ。
学んだことに基づくアウトラインの作成: 特定された情報に基づいて、レポートのアウトラインを生成し、調査の方向性を計画。
関連する散文でアウトラインを埋める: アウトラインに従って、詳細な情報を盛り込んだレポートの初稿を生成。
正確性の批評: 別のエージェントがレポートの正確性を批評し、必要に応じて修正を指示。
リクエストに対する高品質な回答の保証: 最終的に、リクエストに対する高品質な回答であることを確認し、レポートとして出力。

このような複雑なタスクを、AIエージェントが自律的に、かつ段階的に実行することで、人間が行うような高度な思考プロセスを模倣し、これまでにないレベルのコンテンツ活用を実現します。

Boxが学んだ教訓：早期のエージェントアーキテクチャ構築の重要性

BoxのAIの旅路から得られた最も重要な教訓は、「早期にエージェントアーキテクチャを構築せよ！」というものでした。

よりクリーンなプラットフォーム抽象化:
- 大規模なインフラ作業と、特定のエージェントアクションの改善を分離できる。これにより、エンジニアはそれぞれに集中でき、開発効率が向上する。
- 非構造化データの課題を、特定のAIアクションとして捉え、それを解決するためのエージェントを構築するという発想が、プラットフォーム全体の設計をシンプルにした。
迅速な進化の容易さ:
- 新しい技術やAIモデルが登場するたびに、既存のシステム全体を再構築する必要がなく、エージェントグラフ内の特定のノードを変更するだけで容易に新しい技術を組み込むことができる。
- 変化の激しいAIの分野において、この柔軟性は企業の競争優位性を維持するために不可欠。
改善されたAIエンジニアリング文化:
- エンジニアが「エージェント的」に考える（ステートダイアグラム、ツール、A2A通信など）ことを助け、これらをエコシステムの一部として捉える文化を育む。
- 単一のモデルに依存するのではなく、複数のモデルやツールを組み合わせることで、より堅牢で高性能なAIシステムを構築する思考を促す。

Boxの経験は、LLMだけでは解決できない複雑なエンタープライズの課題に対して、AIエージェントがどのように機能し、どのように企業のコンテンツ管理を変革できるかを示す好例です。これは単に新しいツールを導入するだけでなく、AIを活用したシステム設計の考え方そのものを変えることを意味します。

まとめ：AIエージェントが切り開くエンタープライズの未来

BoxのAIへの挑戦は、非構造化データの壁を打ち破り、企業が持つ膨大な情報資産を真に活用するための新しい道筋を示しています。LLMの強力な能力を前提としつつも、それを単体で使うのではなく、計画、理解、分析・反復、合成・実行といったプロセスを司る複数のAIエージェントを組み合わせることで、より賢く、より堅牢なシステムを構築できることを証明しました。

AIエージェントは、まるで人間のようにタスクを分解し、思考し、ツールを使いこなし、そして自己修正していく能力をAIに与えます。これにより、企業はこれまで手作業で行われていた膨大なデータ関連業務を自動化し、より戦略的な業務にリソースを集中できるようになるでしょう。

Boxのこの革新的なアプローチは、AIが単なる「賢い道具」に留まらず、「自律的な共同作業者」として企業の成長を強力に推進する未来を予感させます。これからのAIの進化は、単体モデルの性能向上だけでなく、いかに賢くAIエージェントを設計し、連携させるかにかかっていると言えるでしょう。エンタープライズAIの未来は、まさにエージェントの手に委ねられつつあります。