T最新テックトレンド

はじめに：AIの新たなフロンティア、ローカルAIがデバイスにもたらす革新

AI Engineer
0:00--:--

Foundry Local: デバイス上のAIで未来を拓く – Microsoftが提示する開発者の新常識

AIの進化は目覚ましく、クラウドベースのAIソリューションは私たちの生活やビジネスを大きく変革してきました。しかし、クラウドAIはその強力な処理能力と柔軟性の一方で、ネットワーク帯域幅、プライバシー、コスト、そしてレイテンシといった課題を抱えています。

今回、MicrosoftのプロダクトマネージャーであるEmma Ning氏が「AI Engineer World's Fair」で発表した「Foundry Local」は、これらの課題を克服し、開発者が「デバイス上で動作する最先端のAI体験」を構築するための最適化されたソリューションとして注目を集めています。Foundry Localは、AIをクラウドだけでなく、私たちの身近なデバイスに直接もたらすことで、新たな可能性を切り開きます。

本記事では、Foundry Localがなぜ今必要とされているのか、その技術的な基盤、Microsoftが提供する資産、そして実際の開発者体験までを深く掘り下げていきます。

なぜ今、ローカルAIなのか？クラウドAIの限界を超える4つの理由

クラウドAIはその計り知れないパワーで多くのタスクをこなしますが、常に最適な選択肢とは限りません。Foundry Localが提供する「ローカルAI」が不可欠となる主要な理由を4つご紹介します。

1. 帯域幅の制約とオフラインアクセス（AI in Warehouses）

多くの地域、特に倉庫や遠隔地では、高速で安定したインターネット接続が保証されているわけではありません。また、デバイスが完全にオフラインで動作する必要があるシナリオも存在します。クラウドAIはデータの送受信に依存するため、低帯域幅環境やオフラインではその真価を発揮できません。 Foundry LocalによるローカルAIは、インターネット接続の品質に左右されず、オフライン環境でもAI機能を提供できます。ライブデモ中でも、Emma Ning氏が自身のセッションではWi-Fi接続の心配が無用であることを強調したように、ネットワーク環境に依存しない安定性は、特定の業務やユーザー体験において極めて重要です。

2. プライバシーとセキュリティの強化（AI for Healthcare）

企業が扱うデータの中には、法的な文書や患者情報など、極めて機密性の高いものが多く含まれます。これらのデータを外部のクラウドに送信して処理することは、プライバシーやセキュリティの観点から許されない場合があります。 ローカルAIは、データをデバイス内で完全に処理するため、機密情報がデバイスの外部に出ることはありません。これにより、最高レベルのプライバシーとセキュリティを確保しつつ、強力なAI機能を利用することが可能になります。医療分野や法務分野など、厳格なデータ保護が求められる領域でFoundry Localは大きな価値を提供します。

3. コスト効率の最適化（AI in Video Games）

何百万台ものデバイスに展開され、1日数億回もの推論コールを処理するような大規模なアプリケーション（例えばビデオゲーム）の場合、すべての処理をクラウドで行うと莫大なコストがかかります。クラウドの利用料金は通常、リソースの使用量に応じて課金されるため、スケールが大きくなるほど費用は膨れ上がります。 ローカルAIであれば、一度デバイスにモデルを展開してしまえば、それ以降の推論にはネットワーク料金がかかりません。デバイス自体の計算リソースを利用するため、長期的に見て大幅なコスト削減が期待できます。特に、頻繁な推論が必要なゲームやコンシューマー向けアプリケーションにおいて、このコスト効率は持続可能なビジネスモデルを支える上で不可欠です。

4. リアルタイム処理と低レイテンシ（AI in Creativity Tools）

多くのAIアプリケーション、特にクリエイティブツールやインタラクティブな体験を提供するものには、リアルタイムでの応答が求められます。クラウドへのデータ送信と結果の受信には、物理的な距離やネットワークの混雑による遅延（レイテンシ）が避けられません。 ローカルAIは、推論処理がデバイス上で完結するため、ネットワーク遅延が発生せず、ミリ秒単位での応答が可能です。これにより、ユーザーはよりスムーズで没入感のあるAI体験を得ることができます。例えば、リアルタイムの画像生成、音声処理、インタラクティブなデザイン支援など、即座のフィードバックがクリエイティブフローを妨げないようにするために、ローカルAIは最適なソリューションとなります。

Foundry Localが実現する「デバイス上のAI」の現実

「ローカルAIが必要なのは分かったが、それが本当に実現可能なのか？」という疑問に対するMicrosoftの答えは「はい、可能です！」です。過去数十年にわたる技術の進歩が、Foundry Localを通じてローカルAIを現実のものにしています。

1. ハードウェアの進化：よりパワフルなデバイス

近年、クライアントデバイスのコンピューティング能力は劇的に向上しました。現代のラップトップ、スマートフォン、その他のエッジデバイスは、高性能なGPU（Graphics Processing Unit）やNPU（Neural Processing Unit）を搭載しており、高度なAIモデルをデバイス上で直接実行する能力を備えています。 Foundry Localは、NVIDIA、Intel、AMD、Qualcommといった主要なハードウェアベンダーと密接に連携し、これらのハードウェアアクセラレーターを最大限に活用します。これにより、CPU、統合型GPU、専用GPU、NPUといった異なる種類のシリコン上で、クラス最高レベルのパフォーマンスを保証します。Apple Silicon搭載のmacOSデバイスもサポートされており、幅広いデバイスでAI処理の高速化が実現されます。

2. モデルの小型化と高速化

クラウドベースの巨大なAIモデルとは異なり、Foundry LocalがターゲットとするローカルAIモデルは、より小型で高速な推論が可能です。これは、モデルのアーキテクチャ設計や量子化技術の進歩によるものです。 例えば、Microsoftが公開する「Phi-2 Mini」や「DeepSeek Small」といったモデルは、その高い性能を保ちつつ、デバイス上での実行に最適化されています。これらのモデルは、リソースの限られた環境でも効率的に動作し、高速な応答時間を実現します。

3. ランタイム最適化の進展

ハードウェアとモデルの進化に加え、Foundry Localは「ONNX Runtime (ORT)」という最先端のランタイム最適化技術を組み込んでいます。ONNX Runtimeは、クロスプラットフォームかつ高性能なオンデバイス推論エンジンであり、様々なハードウェアでAIモデルの実行パフォーマンスを加速させます。 ONNX Runtimeは月間1000万回以上のダウンロード実績があり、PyTorchと比較して4倍の推論速度を実現するなど、その性能は高く評価されています。Foundry Localは、このONNX Runtimeを活用することで、シームレスなオンデバイスAI体験を提供します。

これらの要素の融合により、ローカルAIは単なる夢物語ではなく、現実的で魅力的なソリューションとして確立されました。

Microsoftの強みが結集：Foundry Localのアーキテクチャ

Foundry Localは、Microsoftが長年培ってきたAIおよび開発者向けツールの資産を結集し、ローカルAIの構築と展開を民主化することを目指しています。

Microsoftの主要なAI資産

  1. Azure AI Foundry: クラウドでホストされるモデルを提供するFoundryは、すでに7万以上の組織に利用され、1900以上のモデルをホストしています。Foundry Localは、オンデマンドでオープンソースモデルをダウンロードするためにAzure AI Foundryと接続します。

  2. ONNX Runtime (ORT): クロスプラットフォームなオンデバイス推論エンジンとして、既に月間1000万回以上のダウンロードを誇ります。PyTorchでコンパイルされたモデルと比較して4倍もの推論高速化を実現しています。

  3. Windows on-device model APIs & ML runtime: 数億台ものWindowsデバイスがこのランタイムを利用しており、Foundry LocalはWindowsプラットフォームに統合されることで、Windows AI開発者にとってさらにシンプルな体験を提供します。

Foundry Localの構成

Foundry Localは、開発者がシームレスなオンデバイスAIを構築するための最適化されたエンドツーエンドソリューションです。

  • Foundry Local モデル: デバイス上でホストされるAIモデル自体。Azure AI Foundryと連携し、オープンソースモデルをオンデマンドでダウンロード可能。
  • Foundry Local 管理サービス: クライアントデバイス上のモデルをホストし、管理するためのサービス。
  • ONNX Runtime: 基盤となる推論エンジン。様々なハードウェア（CPU、GPU、NPU）でパフォーマンスを加速。
  • Foundry Local CLI (Command Line Interface): 開発者がデバイス上でモデルを簡単に探索できるツール。
  • AI Foundry Inference SDK (Software Development Kit): 開発者がFoundry Localを自身のアプリケーションに統合するためのAPIを提供。
  • Foundry Local Management SDK: 管理サービスとの連携を可能にするSDK。

Foundry Localは、WindowsとmacOSの両方で利用可能です。Windows上ではプラットフォームに統合されており、Windows AI開発者にとって一層簡単な体験を提供します。

Foundry Localがサポートする広範なシリコンエコシステム

Foundry Localの大きな強みの一つは、その幅広いハードウェアサポートです。Microsoftは、NVIDIA、Intel、AMD、Qualcommといった主要なハードウェアベンダーと緊密に連携し、Foundry Localが彼らのハードウェアアクセラレーターを効果的に活用できるようにしています。

これにより、Foundry Localは以下のような多様なシリコン上で最適なパフォーマンスを発揮します。

  • CPU (Central Processing Unit): あらゆるデバイスの基本となるプロセッサ。
  • Integrated GPU (内蔵GPU): CPUに統合されたグラフィック処理ユニット。
  • Dedicated GPU (専用GPU): より高性能なグラフィックおよび並列処理能力を持つ独立したGPUカード。
  • NPU (Neural Processing Unit): AI推論に特化したプロセッサ。

この広範なサポートは、開発者が特定のハードウェアに縛られることなく、Foundry Localを利用して革新的なAIアプリケーションを構築できることを意味します。異なるデバイス間での一貫した高性能なAI体験が、Foundry Localによって実現されるのです。

Foundry Localによる開発者体験：デモから見る実践的なAI構築

Foundry Localが提供する開発者体験は、その使いやすさと柔軟性にあります。Emma Ning氏のデモを通じて、Foundry LocalがどのようにAIアプリケーション構築のプロセスを簡素化するかを見ていきましょう。

1. CLIでモデルを探索・実行

Foundry LocalのCLIは、デバイス上で利用可能なAIモデルを簡単に管理・実行できます。

  • foundry model list: このコマンドを実行すると、Foundry Localがサポートする様々な生成AIモデルのリストが表示されます。例えば、「Open Llama 2.5-1.3b」や「Phi-2 Mini」、「DeepSeek Small」といった人気のモデルが、それぞれGPUとCPU向けに最適化されたバージョンで提供されていることが分かります。モデルのファイルサイズやライセンス情報も確認できます。特に、GPUやCPUといった異なるデバイス向けに最適化されたバリアントが存在することが重要です。

  • foundry model run [モデル名] --verbose: このコマンドでモデルを起動し、対話モードでクエリを送信できます。例えば、「ONNX Runtimeとは何か？」と尋ねると、ONNX Runtimeの柔軟性、パフォーマンス、使いやすさ、スケーラビリティ、統合性、互換性、ドキュメント、クロスプラットフォーム互換性、モデルサービスといった詳細な説明が返ってきます。 また、verboseモードでは、モデルの推論パフォーマンスに関する情報も表示されます。デモでは、「Open Llama 2.5-1.3b」が約90トークン/秒の速度を記録し、最初のトークンまでの時間（time to first token）が335msでした。より大きなモデルであるため、パフォーマンスは「Phi-2 Mini」と比較して低いですが、Foundry Localは各モデルが最適なハードウェアで動作するよう最適化されたバージョンを提供します。

これらのCLIコマンドにより、開発者はモデルの品質やパフォーマンスを迅速に評価し、自身のアプリケーションに最適なモデルを選択できます。

2. クロスプラットフォームアプリ開発：Brevityの事例

Foundry Localは、単にモデルを実行するだけでなく、クロスプラットフォームのAIアプリケーションを構築するための基盤も提供します。デモで紹介された「Brevity」という要約アプリケーションは、この可能性を具体的に示しています。

  • Brevityの機能: Brevityは、URLまたはローカルファイルを読み込み、選択したローカルAIモデル（例：Phi-2 Mini）を使用してコンテンツを要約するElectronベースのアプリケーションです。
  • 開発の簡素化: Emma Ning氏は、Electronアプリのコードを短い時間でFoundry LocalのJavaScript SDKと統合する様子を披露しました。FoundryLocalManagerを初期化し、modelClientを通じてモデルにプロンプトを送信するだけのシンプルなコードで、要約機能が実装されます。
  • クロスプラットフォーム展開: 同じコードベースでWindowsとmacOSの両方で動作し、各OSのネイティブなルック＆フィールを提供します。特に、WindowsではFoundry LocalがOSに統合されているため、開発体験はさらにシンプルになります。
  • パフォーマンスとメモリ管理: デモでは、BrevityがFoundry Localを利用することで、メモリ管理、最初のトークンまでの時間、1秒あたりのトークン数において顕著な改善が見られることが強調されました。

このBrevityの事例は、開発者がFoundry Localを使って、使いやすく高性能なクロスプラットフォームAIアプリケーションをいかに迅速に市場に投入できるかを示しています。

3. 強力なローカルエージェント機能：OCRエージェントのデモンストレーション

Foundry Localの真骨頂は、単一のモデル実行にとどまらず、複数のモデルや外部ツールを組み合わせて複雑なタスクを実行する「ローカルエージェント」の構築を可能にする点です。

  • エージェントの概念: Foundry Localにおけるエージェントは、1つまたは複数のAIモデルと、1つまたは複数の「MCPサーバー（Microsoft Component Platform Server）」と呼ばれるツールで構成されます。これにより、エージェントは高度な推論と外部ツール（例：ファイルシステム、OCRサービス）の操作を組み合わせた問題解決が可能です。

  • OCRエージェントのデモ:

    1. foundry agent list: 利用可能なエージェント（sample-file-organizer、sample-ocr-agent、sample-web-interactorなど）が表示されます。
    2. foundry agent info sample-ocr-agent: OCRエージェントの詳細が表示されます。このエージェントは「ローカルデバイスの画像からテキストを抽出する」という説明があり、「Phi-2 Mini」モデルと「ファイルシステムMCPサーバー」「OCRミニMCPサーバー」を使用することが示されます。
    3. foundry agent run sample-ocr-agent: エージェントを起動します。初回起動時には、ファイルシステムやOCRサービスへのアクセス許可をユーザーに求めます。
    4. プロンプト: 「レシートを見つけて、処理し、合計金額を取得してください。」
    5. エージェントの思考プロセス:
      • エージェントはまず、レシートファイルを見つけるためにsearch_filesツールを使用します。
      • レシートの画像ファイル（例: receipt.jpg）を発見すると、次にperform_ocrツールを使用して画像からテキストを抽出します。
      • 抽出されたテキストから合計金額を特定し、get_outputツールでその結果を表示します。
    6. 結果: エージェントはレシートから正確な合計金額（$8.39）を導き出すことに成功しました。

このデモンストレーションは、Foundry Localが提供するエージェント機能が、人間のように思考し、デバイス上のツールを活用して複雑なタスクを自動化できることを明確に示しています。これは、開発者がより高度で実用的なAIソリューションをデバイス上で実現するための強力な手段となります。

顧客からの声：Foundry Localがもたらす変革

Foundry Localは既に100以上のプライベートプレビュー顧客と協力しており、彼らからの貴重なフィードバックがその価値を証明しています。

  • Pieces (CEO & Co-founder): 「Foundry Localは、バージョン管理、パフォーマンス、エンドユーザーエクスペリエンスに関する課題を解決し、メモリ管理、最初のトークンまでの時間、1秒あたりのトークン数において著しい改善をもたらしました。」
  • SoftwareOne (Giovanni Saray): 「Foundry Localは、機密データを処理する際に外部サービスを利用できないクライアントにとって最適なソリューションです。Gen AIモデルをローカルで簡単に実行でき、ハイブリッドソリューションの構築を可能にします。」
  • HP (Brandon Lee, Principal AI Solution Architecture): 「Foundry Localは、デバイスが提供するあらゆるシリコン上で、ローカルでのプロトタイプ作成とスケールを容易にします。」
  • Awaelgo (Mihai Tataran, General Manager): 「Foundry Localを利用して、未来のAI銀行へと変革を進めています。」
  • ILink Digital (Raja Singh, Chief Architect): 「Foundry Localにより、クラウドとオンプレミス双方のパワーを活用するハイブリッドなエージェントソリューションを構築する柔軟性を得ました。」
  • Quantum Health (Brian Hartzer, CEO): 「Foundry Localは、信頼性と品質の最高基準で革新的なヘルスケアソリューションを提供するために必要な堅牢なインフラストラクチャを提供します。」

これらの声は、Foundry Localが開発者の日々の課題を解決し、様々な業界でAIの可能性を広げていることを裏付けています。

Foundry Localの未来とAIの民主化

Foundry Localは、単にAIモデルをデバイス上で実行するだけでなく、ローカルでAIを搭載したクロスプラットフォームアプリケーションを構築するためのエコシステムを開発者に提供します。これは、モデルを試すだけでなく、実用的でパワフルなAI体験をユーザーに届けるためのものです。

ネットワークの制約、プライバシーの懸念、高額なクラウドコスト、そしてリアルタイム処理の要求は、これからのAIアプリケーション開発においてますます重要になります。Foundry Localは、これらの課題に対する包括的な答えとして、開発者が革新的なソリューションを構築するための強力なツールセットを提供します。

AIの未来は、クラウドとエッジの協調によって形成されるでしょう。Foundry Localは、その協調の中核を担い、誰もがAIの恩恵を受けられる「AIの民主化」をデバイスレベルで推進していきます。

Foundry Localに関する詳細情報はこちらからご覧ください: https://aka.ms/FoundryLocal

Foundry Local Agentのプライベートプレビューへのサインアップはこちらから: https://aka.ms/FIAgent

← 一覧に戻る