大規模組織におけるAIの真価を引き出す：DatabricksとClaudeが描くデータインテリジェンスの未来

はじめに：AIの夢と現実のギャップを埋める

今日のビジネス環境において、「AI」という言葉を聞かない日はないでしょう。特に生成AI（GenAI）の登場は、企業に新たな変革の波をもたらすものとして大きな期待が寄せられています。しかし、クールな技術をプロトタイピングすることと、それを大規模な組織のビジネスの「クリティカルパス」に組み込み、真の価値として提供することの間には、しばしば大きな隔たりが存在します。私は長年、GoogleのVertex AIやAWS SageMakerの立ち上げに携わり、現在はDatabricksのプロダクトマネジメントを率いるクレイグと申します。私の経験を通じて、エンタープライズAIが直面する課題と、DatabricksがAnthropicのClaudeと連携することで、いかにしてこのギャップを埋め、企業がAIから最大限の価値を引き出せるのかについてお話ししたいと思います。

Databricksは、Spark、MLflow、Delta Lakeといった数々のオープンソースプロジェクトを生み出した、リーディングカンパニーです。マルチクラウドに対応したデータプラットフォームとして、数万社に及ぶお客様のデータ活用を支援し、数十億ドル規模の収益を上げています。私たちのミッションは、まさにこの「プロトタイピングと実運用化のギャップ」を解消し、企業が信頼できる形でAIをビジネスに統合できるよう支援することにあります。

エンタープライズAIの難題：データとインテリジェンスの複雑な関係

大規模な企業、特に多国籍銀行のような組織がAIを導入する際に直面する最大の課題の一つは、データの複雑性です。長年にわたるM&Aを通じて、企業は多種多様なベンダー、サービス、そして複数のクラウド環境にまたがる膨大なデータを抱え込むことになります。これはまさに「悪夢のようなデータシナリオ」と表現できます。データウェアハウス一つとっても複数のシステムが混在し、それぞれのシステムに特化した専門家しかいないという状況は珍しくありません。

この状況は、最新のGenAI技術を活用しようとする企業にとって大きな障害となります。例えば、あるデータウェアハウスやストリーミングの専門家がGenAIの知識を持っていなければ、その企業はデータのGenAIシステムへの取り込みにおいて、ボトルネックに直面する可能性があります。AIモデル自体の性能だけでなく、そのモデルに「どのようなデータ」を「どのように」供給し、「どのように」活用させるかが、真のビジネス価値を生み出す上で不可欠なのです。

Databricksは、この課題を解決するために、データの管理基盤とその上に構築されるAI機能、特に「Mosaic AI」を提供しています。私たちは、AIが提供する「一般知能（General Intelligence）」と、企業が保有するデータから得られる「データ知能（Data Intelligence）」の両方が、ビジネスにおいて極めて重要であると考えています。そして、この二つを結びつけることこそが、組織内のシステムを自動化し、より深いインサイトを引き出すための鍵となります。

FactSetの事例：データ知能がGenAIの精度を飛躍させる

データ知能の重要性を如実に示す事例として、金融サービス企業FactSetの取り組みをご紹介します。FactSetは、他の企業に関する金融データを銀行やヘッジファンドに提供しており、そのデータにアクセスするためには、顧客がFactSet独自のクエリ言語であるFQL（FactSet Query Language）を習得する必要がありました。

GenAIのブームが到来した際、FactSetは「英語の自然言語をFQLに翻訳できれば」と大きな期待を抱きました。彼らは、お気に入りのクラウドプロバイダーでワンクリックRAG（Retrieval-Augmented Generation）ボタンを試したり、大量のプロンプト例とドキュメント、そして大規模なベクトルデータベース（Vector DB）を構築したりといった、初期的なアプローチを取りました。しかし、この結果は、精度わずか59%、レイテンシは15秒というものでした。これは「コイン投げより少しマシ」なレベルであり、顧客体験やコスト（計算時間＝コスト）の観点からも、実用に足るものではありませんでした。

DatabricksはFactSetと協力し、この課題の根本原因を特定しました。彼らのアプローチの問題点は、複雑なタスクを単一のプロンプトで処理しようとしていた点にありました。そこで私たちは、このプロンプトを個々のタスクに分解し、一種の「エージェント」として、複数のステップからなるチェーン（Multi-step Chain）を構築しました。このアプローチにより、各ステップでパフォーマンスを細かく調整できるようになった結果、精度は85%に向上し、レイテンシは6秒にまで短縮されました。

85%という精度は、FactSetの既存顧客に対して安心して提供できるレベルであり、彼らはこの改善を自社でさらに追求し、最終的には90%台にまで精度を高めることができました。この事例は、単純なRAGや大規模なプロンプトエンジニアリングだけでは限界があり、タスクを構造化し、エージェントを組み合わせることで、GenAIのビジネス適用における精度と効率を劇的に向上できることを示しています。

カリフォルニア大学バークレー校のBerkeley AI Research（BAIR）の研究でも、今日のプロダクション環境で稼働している人気のAIシステムは、単純な「単一入力・単一出力」ではなく、すべて「複雑なマルチノード・マルチパートのシステムがチェーン化されている」ことが示されています。Databricksの目標は、まさにこのような複雑なシステムの構築を簡素化し、企業が金融的、あるいは評判的リスクを伴うような高価値な領域でAIを安全に利用できるようにすることです。

信頼できるAIシステム構築の要：ガバナンスと評価

企業がGenAIシステムを実運用に導入する際、最も重要なのは「信頼性」です。特に、金融や医療といった規制の厳しい業界や、顧客に直接影響を与えるようなシステムでは、その信頼性が企業の存続を左右することもあります。しかし、システム全体で最も「確率的」な要素であるLLM（Large Language Model）を用いて「決定論的」なシステムを構築しようとすることは、開発者にとって大きな挑戦です。

私たちは、この課題を解決するために「ガバナンス（Governance）」と「評価（Evaluation）」の二つの要素が不可欠であると考えています。

ガバナンス：AIシステムの行動を制御する

ガバナンスとは、AIシステム、特にエージェントが、どのデータにアクセスでき、どのような行動を取れるかを、最もきめ細やかな粒度で制御することです。Databricksでは、以下の要素に対する厳格なガバナンスを可能にしています。

データへのアクセス制御: AIエージェントをデータスタック内の「プリンシパル（主体）」として扱い、データへのアクセス権限を細かく設定します。どのテーブル、どの行、どの列にアクセスできるかを管理することで、機密情報の漏洩リスクを最小限に抑えます。DatabricksのUnity Catalogは、データ、MLモデル、ノートブック、ファイルなど、レイクハウスプラットフォーム上のあらゆるデータ資産を一元的に管理し、きめ細やかなアクセス制御を提供する中核的な機能です。
モデルへのアクセス制御: どのAIモデルを使用できるか、どのような条件で呼び出せるかを管理します。これにより、予期せぬモデルの使用や、セキュリティポリシーに違反するモデルの利用を防ぎます。
ツールとツールコーリングの管理: AIシステムが外部ツール（エージェント、SQLクエリ、パラメータ化された関数など）を呼び出す能力を制御します。これは、決定論的なシステムを構築する上で極めて重要な要素です。多くの場合、LLMは分類器として機能し、ユーザーの意図やタスクに応じて、6つから8つの異なる「パス」（ツール）の中から最適なものを選択します。これらのツールはさらに別のエージェントやツールを呼び出すことができ、最終的に複雑な意思決定ツリーを形成します。

以前は、ツールコーリングの精度が十分でなく、LLMが最適なツールを適切に選択できないことが課題でした。しかし、AnthropicのClaude、特にClaude 3世代のモデルは、このツールコーリング能力において劇的な進化を遂げています。これにより、ソフトウェア開発者やアプリケーションエンジニアは、極めて確率的なバックエンドであるLLMを用いて、準決定論的な（Quasi-Deterministic）システムを構築することが可能になりました。Claudeの卓越したツールコーリング能力は、Databricksが提供する堅牢なデータガバナンス機能と組み合わせることで、エンタープライズレベルでのAIアプリケーション開発のパズルを完成させる鍵となります。

評価（Evaluation）：AIシステムの品質を定量化する

ガバナンスによってシステムの行動を制御しても、それが「高品質」であるかを客観的に測定できなければ、高リスクなユースケースに導入することはできません。評価は、AIシステムの品質を定量化し、継続的に改善するための不可欠なプロセスです。

多くの企業では、AIシステムを導入したものの、「どれくらいの精度ですか？」と尋ねると「まあまあ良い感じです」といった曖昧な回答しか得られないのが現状です。これは、自信を持ってシステムを本番環境に投入できない大きな理由となります。

Databricksの評価プラットフォームでは、この課題を解決するために以下の機能を提供します。

ゴールデンデータセットの活用: テスト用として適切にラベル付けされた「ゴールデンデータセット」をシステムに投入し、そのデータに対するAIの応答を評価します。
LLMジャッジによる評価: 独自のLLMジャッジ（評価専用のLLM）を用いて、AIシステムのパフォーマンスを客観的に測定します。これらのLLMジャッジは、応答の正確性、関連性、完全性、安全性（例：不適切なコンテンツの生成がないか）など、複数の側面から評価を下します。講演では「セーフスコア」が言及されましたが、これは「レッドチーミング」のような敵対的攻撃ではなく、応答が許容範囲内であるか、快適なものであるかといった「ガードレール」的な安全基準を評価するものです。
SME向けUI: アプリケーション開発者が必ずしもその分野の専門家であるとは限りません。そのため、Databricksの評価システムには、主題専門家（Subject Matter Expert: SME）向けの簡素化されたUIが用意されています。SMEは、このUIを通じてAIの応答を迅速かつ容易に修正したり、より良い回答を作成するためのフィードバックを提供したりできます。これにより、開発チームとSMEが協力し、システムの品質を継続的に向上させることができます。

この評価プロセスは、AIエージェントの「単体テスト」に似ています。期待される質問空間全体を網羅的に探索し、最も粒度の高いレベルでシステムが適切に機能していることを確認します。Databricksの評価システムは、MLflowのオープンソース機能（LLMジャッジを除く）を通じて、Databricksを使用していない環境でも利用可能です。しかし、Databricksプラットフォームと連携することで、カスタムジャッジなどのさらに高度な機能の恩恵を受けることができます。

ガバナンスと評価は、高リスクな状況下でAIシステムが人間の介入なしに信頼して実行できるという「自信」を醸成するための、車の両輪なのです。

DatabricksとClaudeの強力な連携：エンタープライズAIの「完成形」

Databricksは、AnthropicのClaudeとの連携を通じて、このエンタープライズAIの「完成形」を提供します。この組み合わせがなぜ強力なのか、その理由を詳しく見ていきましょう。

Claudeのネイティブ統合：あらゆるクラウドで利用可能

まず、ClaudeはDatabricksプラットフォーム上でネイティブに利用可能です。これは、Azure、AWS、GCPといった主要なクラウド環境のいずれを使用していても、Databricksインスタンス内から直接Claudeを呼び出すことができることを意味します。このクロスプラットフォーム対応は、多くの企業が抱えるマルチクラウド戦略のニーズに応え、ベンダーロックインのリスクを低減します。

最先端のエージェント構築を可能にする強力なLLM

Databricks上では、ClaudeのフロンティアLLM（最先端のLLM）を基盤として、最先端のエージェントを構築できます。Claudeの高度な推論能力と、前述の優れたツールコーリング能力は、Databricksのデータ管理およびガバナンス機能と相まって、お客様が想像する高価値なユースケースを実現するための強力な原動力となります。

Claudeをガバナンスシステム内の「プリンシパル」として扱う

Databricksのユーザーの大部分は、大規模なスキーマやガバナンスポリシーシステムを構築するデータエンジニアです。私たちは、この高度なガバナンスシステムにおいて、Claudeを「プリンシパル（主体）」として扱うことができます。これは、Claudeがデータやツールにアクセスする際に、他のユーザーと同様に厳格な権限管理の対象となることを意味します。これにより、AIシステムがデータにアクセスする際に、意図しない情報の漏洩や不正な操作を防ぎ、企業が求めるセキュリティとコンプライアンスの要件を満たすことができます。

最強のモデルと最強のプラットフォームの融合

DatabricksとClaudeの組み合わせは、「最強のモデル（Claude）」と「最強のプラットフォーム（Databricks）」を融合させることで、企業に比類ないメリットをもたらします。

完全な制御: 多くの企業がGenAIの利用に躊躇する理由の一つは、その制御の難しさです。特に規制の厳しい業界では、データがどこに送信され、どのように利用されるかについて厳格な要件があります。DatabricksとClaudeの連携は、データ、モデル、ツール、アクセス権限のすべてを完全に制御できる環境を提供し、企業が安心してGenAIを導入できる基盤を確立します。
商業的メリット: 両社のパートナーシップにより、最適化されたコスト構造やライセンスモデルが提供される可能性があります。
スケーラビリティと運用能力: Databricksのプラットフォームは、膨大なデータを処理し、大規模なAIワークロードを運用するための高いスケーラビリティと信頼性を提供します。Claudeとの統合により、これらの運用能力がさらに強化され、企業はAIアプリケーションを効率的かつ大規模に展開できるようになります。

この強力な連携は、GenAIが単なる一過性のトレンドではなく、私たちの働き方そのものを根本的に変革する技術であることを明確に示しています。私たちは、企業がこの変革の波に乗るのを支援し、高価値なユースケースを現実のものとしています。

高価値ユースケースの具体例：DatabricksとClaudeがもたらす変革

DatabricksとClaudeの組み合わせが、実際にどのように企業に価値をもたらしているのか、具体的なユースケースをいくつかご紹介します。

Databricks社内の事例：Aryaによるドキュメント作成の自動化

Databricks社では、GartnerやForresterといった業界アナリストからの質問票への回答作成に、Claudeを活用した社内ツール「Arya」を使用しています。これらの質問票は、時に180もの質問を含み、最終的に450ページにも及ぶ文書を作成する必要があるため、以前はプロダクトマネージャー、エンジニア、マーケティング担当者など、多くのチームメンバーが数百時間を費やしていました。

Aryaは、Databricksのブログ記事、ドキュメント、過去の質問票への回答など、システムに関する膨大な情報を学習しています。質問票が送られてくると、Aryaはその情報を基にClaudeを使用して回答を自動生成します。この取り組みの成果は劇的でした。

初期ドラフトの品質向上: オープンソースモデルから始まり、他社のLLMを経てClaudeを導入したところ、回答の品質が飛躍的に向上しました。Claudeが生成する回答は、ほとんど最終ドラフトに近いレベルであり、人間は編集作業に集中できるようになりました。
作業時間の劇的な削減: 以前は多くのチームメンバーが費やしていた数百時間の作業が、今ではごくわずかな編集時間で済むようになりました。これは、プロダクトマネージャーやエンジニアが、より価値の高い業務に集中できることを意味します。
信頼性の向上: Claudeによって生成された回答は、修正せずにそのまま出荷できるほどの品質に達しています。これは、AIの信頼性に対する大きな自信を示すものです。

この事例は、社内業務の効率化という観点から、GenAIがどれほど大きなインパクトを与えうるかを示しています。特に、大量の専門知識を必要とするドキュメント作成において、AIが人間の能力を拡張し、生産性を劇的に向上させる好例と言えるでしょう。

Block社の事例：Gooseによる開発者エクスペリエンスの加速

決済大手Block社（旧Square）は、Databricksの顧客であり、オープンソースのエージェント開発環境「Goose」を構築しました。Gooseは、開発者の生産性を加速させることを目的としたツールであり、Claudeが組み込まれています。また、Block社の既存のすべてのシステムやデータへの接続性も備えています。

Gooseの導入により、Block社の開発者エクスペリエンスは、従来のコード補完ツールなどをはるかに超えるレベルで向上しました。

開発ワークフローの最適化: Gooseは、開発者が日常的に行うコーディング、デバッグ、テストなどのワークフローを最適化し、より迅速かつ効率的にタスクを完了できるように支援します。
大幅な生産性向上: Block社は、Gooseの導入により、週あたりのユーザーアダプションが40〜50%増加し、開発者一人あたり週に8〜10時間の作業時間を節約できたと報告しています。これは、大規模な開発組織全体で考えると、計り知れないほどの生産性向上に繋がります。
目的志向型システム: Gooseは、コード生成だけでなく、開発者の具体的なニーズや目的を理解し、それに応じた支援を提供できる、より目的志向型のシステムとして機能します。

Gooseの成功は、GenAIが開発者自身の生産性向上にどれほど貢献できるかを示す強力な事例です。オープンソースとして公開されているため、他の企業もこの革新的なアプローチから学び、自社の開発環境にGenAIを統合するヒントを得ることができます。

まとめと将来性：AIジャーニーを共に歩むDatabricks

AI、特にGenAIがビジネスにもたらす変革は、今や疑いようのない現実となっています。この技術は、決して一時的な流行ではなく、私たちの働き方、ビジネスのあり方を根本から変える可能性を秘めています。そして、Databricksは、その変革の最前線でお客様を支援しています。

私たちは、企業が高価値なAIユースケースを特定し、その成功の定義を明確にすることから始めることを推奨します。そして、そのAIジャーニーにおいて、DatabricksとAnthropicは強力なパートナーとして、お客様のプロフェッショナルな能力と組織の目標達成をサポートします。

多くの企業において、AI導入の責任者は、上層部に対してAIプロジェクトの困難さや複雑さを理解してもらうことに苦心しています。私が先日参加した会議で、AI部門の責任者が「あなたのセッションで、我々のチーフデータオフィサーに私の仕事がいかに大変かを伝えてくれたことに感謝します」と述べたことは、この現状をよく表しています。Databricksは、このような現場の課題を深く理解し、ガバナンスと評価という両輪を通じて、企業がAIシステムを自信を持って本番環境に導入できるよう、実践的なソリューションと専門知識を提供します。

Databricksが競合他社と一線を画す点は、AIシステムとデータシステムを極めて密接かつ深く統合していることです。この統合こそが、MLOpsの次なるオーダー・オブ・マグニチュードの効率化を実現し、真のデータ知能に基づいたAIアプリケーションを構築するための鍵となります。複雑なマルチステップのエージェントアプローチや、高リスク環境での決定論的挙動を追求する能力は、Databricksが提供するユニークな価値です。

皆様のAIへの取り組みが、単なるプロトタイピングで終わらず、具体的なビジネス価値として結実するよう、DatabricksとAnthropicは全力で支援してまいります。ぜひ、私たちにご連絡ください。皆様のAIジャーニーを成功に導くために、どのような支援ができるか、共に考えていきましょう。