T最新テックトレンド

Dream Machineの衝撃：Luma AIはいかにして4日で100万ユーザーを魅了し、ビデオ生成の未来を切り拓いたか

AI Engineer
0:00--:--

2024年6月11日の朝9時、Luma AIのチームは固唾を飲んでいました。彼らは、同社初のビデオ生成モデル「Dream Machine」のローンチを発表し、ユーザー登録の殺到を予想していました。しかし、その予想は彼らの想像をはるかに超えるものでした。Luma AIのインフラ担当エンジニアであるキーガン・マッカラム氏が語る、この狂乱の4日間と、それを支えた驚異的な技術的挑戦は、まさに現代のジェネレーティブAIが直面する課題と、その解決策の未来を象徴しています。

この記事では、Luma AIのDream Machineローンチにおける壮絶なスケールアップの舞台裏から、彼らが直面した技術的な課題、そしてそれらをいかにして克服し、ビデオ生成AIの新たな地平を切り拓いているのかを深く掘り下げていきます。単なる成功譚にとどまらず、その裏にあるインフラストラクチャの哲学、効率的なリソース管理、そして将来を見据えたマルチチップセット戦略まで、詳細かつ分かりやすく解説していきます。

Luma AIとは？：単なるビデオモデル企業ではない、汎用マルチモーダル知能の探求

まず、Luma AIがどのような企業であるかを知ることから始めましょう。Luma AIは、単なる特定のビデオモデルを提供する企業ではありません。彼らは自らを「ファウンデーションモデルラボ」と位置づけ、究極的には人間のように物理世界を生成し、理解し、操作できる汎用マルチモーダル知能の構築を目指しています。

彼らの最新の成果の一つが、今回話題となった「Dream Machine」であり、その中でも特に注目されるのが、先日発表された「Modify Video」機能です。この機能は、iPhoneで撮影された動画をプラットフォームにアップロードし、テキストプロンプトを入力するだけで、動画内のオブジェクトを自由に変形させることができます。例えば、ロボットをユニコーンに変えたり、背景を宇宙に変えたりといったことが、驚くほど簡単な操作で実現できます。これは、単なるエフェクト処理ではなく、AIが動画の内容を深く理解し、その文脈に沿って新しい内容を「生成」していることを意味します。

Luma AIは、この革新的な機能を開発者向けにも公開APIとして提供しています。開発者は、複雑なプロンプトエンジニアリングをすることなく、ユーザーからの生のプロンプトと生成メディアをAPIに送るだけで、ユーザーのニーズに合致する画像や動画を受け取ることができます。これは、多くの企業やクリエイターが、Luma AIの最先端技術を自らのアプリケーションやサービスに組み込み、新たな価値を創出できることを示唆しており、彼らのビジネスモデルにおける重要な柱の一つとなっています。

地獄のローンチから学んだこと：壮絶なスケールアップの舞台裏

Dream Machineのローンチは、Luma AIチームにとって忘れられない経験となりました。2024年6月11日午前9時の発表後、予想以上のユーザー登録が殺到し、当初割り当てていた500基のH100 GPUではまったく足りないことがすぐに判明します。わずか1時間で、処理キューには数万件のリクエストが積み上がり、チームは即座に緊急対応モードに入りました。

彼らは「あらゆるプロバイダーからアクセス可能なGPUを全てかき集め、SSHコマンドを手動で実行してワーカーを起動する」という、まさに火事場の対応を強いられました。その結果、わずか6時間後には約5,000基のH100 GPUを稼働させ、約10万件にまで膨れ上がったキューをようやく処理し始めることができました。

しかし、これで終わりではありませんでした。同日午後2時頃、キューがようやく落ち着き始めたその時、CEOであるエミット・セイト氏が「10倍にスケールアップしたよ！さあ、もっと来て！」という内容のツイートを投稿したのです。このツイートは、再び爆発的なユーザー流入を招きました。せっかく300件程度まで減っていたキューは、あっという間に再び増え始め、400件、4,000件、そしてそれ以上へと急増していきました。

この状況に対し、チームは最後の切り札を切ります。それは、普段はモデルのトレーニングに使っている約4,000基のH100 GPUからなる「トレーニングクラスター」を、急遽推論（インファレンス）用に転用することでした。これにより、合計で約9,000基ものH100 GPUを投入したことになります。しかし、この大規模な増強をもってしても、キューの増加は止まらず、チームの多くは「もうどうすればいいんだ？」という絶望的な気分に陥りました。

最終的にLuma AIは、わずか4日間で100万ユーザーという驚異的な記録を達成します。これは、ChatGPTが100万ユーザーに到達するのに5日を要したことを考えると、いかに尋常ではないペースであったかが分かります。この狂乱の12時間で、Luma AIは実に約50万本のビデオを処理しました。この壮絶なローンチから、彼らは多くのことを学び、その経験が現在の強固なインフラストラクチャを構築する原動力となりました。

スケーラブルなインフラストラクチャへの挑戦：既存技術の限界とLuma AIの最適解

Luma AIが直面した最大の課題の一つは、爆発的な需要に対応できるスケーラブルなインフラストラクチャをいかに構築するかでした。初期の彼らのサービングスタックは、タイトに結合されたコンテナ群で構成されており、裸の物理マシン上に依存関係なくデプロイできるという利点がありました。しかし、すぐにその限界に直面します。

初期スタックとTriton Inference Serverの限界

エンジニアとして、マッカラム氏は当初、既存のソリューションを活用しようとしました。彼らが選んだのは、汎用モデルサービングの定番であるNVIDIAの「Triton Inference Server」です。しかし、Tritonにはいくつかの問題がありました。

  1. 脆さと信頼性: Tritonがダウンした場合、CPUプロセスがその状態を認識できず、ジョブが失敗し続けるという問題が発生しました。
  2. マルチGPU/ノード対応の困難さ: ビデオモデルは大規模であり、低レイテンシを実現するためには、多くの場合、複数のGPU、さらには複数のノードにまたがる処理が必要となります。Tritonは、このような分散処理には適していませんでした。
  3. マルチチップセットサポートの不足: NVIDIAが開発したTritonは、NVIDIA製GPUには最適化されていますが、AMDやGrockといった他社のチップセットに対するサポートは限定的でした。Luma AIは将来的に複数のハードウェアベンダーと連携することを視野に入れていたため、これは大きな制約となりました。
  4. 研究者にとっての開発の難しさ: TritonのAPIや概念は複雑で、研究者が新しいモデルを迅速にデプロイし、テストするには多くの学習コストと手間がかかりました。マッカラム氏いわく、「非常にジャンキー（ごちゃごちゃした、質の悪い）なセットアップ」だったとのことです。

これらの問題を受け、Luma AIは独自のサービングスタックの再構築を決断します。

Luma AI独自のサービングスタック：PyTorchを基盤としたデカップリングアーキテクチャ

Luma AIがたどり着いた結論は、PyTorchを基盤とした、完全にデカップリングされたアーキテクチャでした。

1. PyTorchの採用: GPUでのすべての処理において、彼らは「バニラ（素の）PyTorch」を選択しました。その理由はいくつかあります。

  • 幅広いチップセットサポート: ほとんどのGPUベンダーは、PyTorchの完全なサポートを保証しています。PyTorch上で標準的な操作を使用していれば、理論的にはあらゆるハードウェアでモデルを実行できます。特定の演算の最適化は必要になるものの、基盤として非常に柔軟性に富んでいます。
  • 開発の容易さ: 研究者は普段からPyTorchを使ってモデルを開発しているため、推論スタックもPyTorchベースにすることで、開発とデプロイの障壁を大幅に下げることができました。

2. CPUワーカーとGPUワーカーのデカップリング: 新しいアーキテクチャでは、CPUワーカーとGPUワーカーが完全に分離されました。

  • CPUワーカーの役割: 入力された動画、画像、テキストなどのマルチメディアデータを処理し、Redisキューにジョブを投入します。
  • GPUワーカーの役割: Redisキューからジョブをプルし、分散ストレージ（SeaweedFS）から必要なデータを取得して、実際のモデル推論を実行します。
  • メリット:
    • GPUの非ブロッキング: GPUは常に計算に集中でき、入力データの準備や前処理で待機する必要がありません。
    • 独立したスケーリング: CPUワーカーとGPUワーカーを個別にスケーリングできるため、リソースの利用効率が向上します。
    • 柔軟なデプロイ: GPUワーカーは、Redisと分散ストレージに接続できる限り、あらゆるプロバイダーのあらゆるVM上で実行できます。これにより、従来のSSH手動操作のような手間をかけずに、トレーニングクラスターのGPUを推論に転用するといった動的なリソース管理が可能になりました。Tailscaleのようなツールを活用し、異なる環境にあるGPUを同じネットワークに接続することも可能にしています。

このデカップリングアーキテクチャは、Luma AIが直面した初期のスケーリング問題を解決するための鍵となりました。しかし、この新しいパラダイムもまた、新たな課題を生み出すことになります。

複雑なAIワークロードを捌く：課題とLuma AIのソリューション

デカップリングアーキテクチャは大きな進歩でしたが、大規模で多様なワークロードを効率的かつ公平に処理するためには、さらなる洗練が必要でした。Luma AIは、主に以下の3つの大きな課題に直面し、それぞれに対して独自の革新的なソリューションを開発しました。

1. バックプレッシャーの管理：ディスパッチ制限システム

デカップリングされた複数のクラスターが共通のグローバルキューからジョブをプルする状況では、「バックプレッシャー」の問題が発生しやすくなります。具体的には、特定のクラスター内のCPUワーカーが、そのクラスターのGPUワーカーの処理能力を超えて多くのジョブをプルしてしまい、結果としてジョブがGPUの処理を待って滞留してしまう、という状況です。これは、本来であれば他のGPUリソースが豊富なクラスターで処理できたはずのジョブが、無駄に待機させられてしまうことを意味します。

Luma AIは、この問題を解決するために「ディスパッチ制限システム」を考案しました。これは、ジョブがクラスターにプルされ、GPUによってピックアップされるのを待っている状態のジョブ数に上限を設ける、というシンプルなアイデアです。もしその上限に達した場合、それ以上そのクラスターのCPUワーカーはジョブをプルしないように制御されます。これにより、特定のクラスターにジョブが偏って滞留するのを防ぎ、システム全体としてより効率的なリソース利用が可能になりました。

2. 公平なスケジューリングの実現：SLOベースの優先度付け

Luma AIは、API、エンタープライズ、無制限プラス、ライト、フリーなど、複数のユーザーティアを提供しています。当然ながら、これらのティアには異なるサービス品質（SLA: Service Level Agreement）と優先度が設定されています。単純に優先度の高いティアのジョブから処理していくと、ある問題が発生します。

ワークスターベーション問題: もしAPIやエンタープライズティアのジョブが常に大量に発生した場合、優先度の低い「ライト」や「フリー」ティアのジョブは、いつまで経っても処理されない、という事態に陥ります。実際に、Luma AIではユーザーが7～9時間も待たされるという事態が発生し、不満の声が上がっていました。これは「ワークスターベーション」と呼ばれる問題で、優先度の低いタスクが永遠に実行されないことを指します。

この問題を解決するために、Luma AIは「サービスレベル目標（SLO）に基づく公平なスケジューリングシステム」を開発しました。

  • エイジングの概念: ワークスターベーションを解決する一般的なアプローチの一つに「エイジング（aging）」があります。これは、キューで待機している時間が長くなるほど、そのジョブの優先度を上げていくというものです。しかし、問題はその「エイジングメカニズムを制御する関数」をどう定義するかでした。
  • 製品チームが定義するSLO: Luma AIは、この問題を「製品の問題」として捉えました。つまり、「異なるティアのユーザーが、最悪の場合どれくらいの時間待機しても許容されるか」を製品チームが定義するべきである、という洞察です。これが「サービスレベル目標（SLO）」です。例えば、APIジョブは数分以内の処理を目標とし、ライトジョブは10分以内の処理を目標とする、といった具合です。
  • SLO達成率に基づく優先度付け:
    • 当初は、SLOの50%などの閾値を超えたジョブをキューの先頭に持ってくる、という単純なアプローチを試しました。しかし、これもまた新たなワークスターベーションを引き起こす可能性がありました。例えば、SLOが長いジョブが待機している時間が長くなり、閾値を超えた際に、SLOが短いAPIジョブのリソースを奪ってしまう、といったケースです。
    • そこでLuma AIは、より洗練された方法として、「ジョブのSLO達成率（現在の待機時間 / 目標SLO時間）の割合」に基づいてジョブをランク付けするようにしました。
      • 例：APIジョブが1分待機中（SLOが2分の場合、達成率50%）と、ライトジョブが10分待機中（SLOが20分の場合、達成率50%）は、同じ「緊急度」として扱われます。
    • このアプローチは非常にうまくいき、直感的で公平なスケジューリング動作を実現しました。ユーザーティアに関わらず、相対的に「急いでいる」ジョブが優先されるため、全体のユーザーエクスペリエンスが大幅に向上しました。

3. モデルの管理とデプロイ：アジャイルなモデル運用を支えるレポジトリシステム

大規模なAIモデルは、複数のサブモデルで構成され、大量のウェイトや複雑な依存関係を抱えています。頻繁な更新や改善に対応するためには、モデルのバージョン管理とデプロイを効率的に行う必要があります。

  • Tritonからの着想：モデルレポジトリ: Luma AIは、Triton Inference Serverの「モデルリポジトリ」という概念からヒントを得ました。彼らは独自のモデル管理システムを構築し、全てのモデルをオブジェクトストレージ内の特定のフォルダ構造で管理しています。
    • フォルダ構造: 各モデルは独自のルートフォルダを持ち、その中にバージョンごとのサブフォルダがあります。
    • 不変バージョン: 各バージョンフォルダには、モデルを実行するために必要な「完全なPython環境（すべての依存関係）」と「チェックポイント（モデルのウェイト）」が格納されており、これらは不変です。
    • YAMLファイルによるアクティブバージョン定義: モデルのルートフォルダには、どのバージョンをアクティブとして使用するかを定義するシンプルなYAMLファイルが置かれています。
  • 再現性とロールバックの容易さ: このシステムは、非常に高い再現性を提供します。もし何らかの問題が発生しても、YAMLファイルを書き換えるだけで、以前の安定したバージョンに簡単にロールバックできます。これにより、デプロイ後の問題解決が格段に容易になりました。
  • 自動化されたロールアウトシステム: Luma AIは、このモデルリポジトリの上に自動化されたロールアウトシステムを構築しました。YAMLファイルが更新されると、数千ものH100やAMD GPUからなるフリートのワーカーが、**再起動することなく、オンザフライで新しいモデルバージョンに切り替わります。**これにより、かつてのような手動でのSSH操作から解放され、モデルの管理とデプロイは飛躍的に効率的で健全なものとなりました。

4. バースト処理とGPU活用：トレーニングクラスターの動的な転用

AIサービスでは、急激な需要の増加（バースト）にどう対応するかが重要です。特にLuma AIのようなビデオ生成モデルは、モデルサイズが大きく（10～20個のサブモデルから構成されることも）、ウェイトのロードやコンパイルに時間がかかります。従来のオートスケーリングでは、新しいGPUインスタンスが起動しても、モデルのウォームアップに10～20分もかかるため、リソースの無駄が多く発生します。

Luma AIは、この問題を解決するために、トレーニングクラスターの動的な転用という大胆な手段を採用しました。

  • リソースの共有: 彼らは、普段はモデルのトレーニングに使われているGPUリソースを、ユーザー需要が急増した際に、推論ワークロードに自動的に転用するシステムを構築しました。これは研究者にとっては一時的にトレーニングリソースが奪われるため不満の声が上がるものの、ユーザー需要に対応し、サービスを維持するためには不可欠な措置でした。
  • シンプルなスケジューラー: この動的なリソース管理は、Slurm（HPC環境で広く使われるワークロードマネージャー）上で動作するシンプルなスケジューラーと、PyTorchワーカーを組み合わせて実現されています。需要に応じてGPUプールの総量を増やし、需要が落ち着けばスケールダウンするという柔軟な運用を可能にしました。
  • 効率的なバースト対応: このアプローチにより、ウォームアップに時間を浪費することなく、既に稼働しているGPUリソースを最大限に活用して、急激な需要のバーストに対応できるようになりました。これは、特にGPUのような高価なリソースを効率的に利用する上で非常に重要な戦略です。

マルチチップセット戦略：ハードウェア非依存の高速化への道

Luma AIのインフラストラクチャにおけるもう一つの重要な側面は、特定のハードウェアベンダーに依存しない「マルチチップセット戦略」です。彼らはPyTorchを基盤とすることで、理論的には多様なチップセットでモデルを実行できる柔軟性を獲得しました。

  • PyTorchの恩恵と現実の課題: 前述の通り、PyTorchは幅広いチップセットでサポートされており、モデルを「どこでも実行できる」という利点があります。しかし、実際にモデルを高速で実行するには、低レベルでの最適化が不可欠です。単に動くだけでは、ユーザー体験を損なうほどの遅さになることもあります。
  • 「Excelチーム」による低レベル最適化: Luma AIには「Excelチーム」と呼ばれる、約10名の専門家チームが存在します。彼らの役割は、PyTorch内の低レベルな操作を最適化することです。これには、Tritonのようなツールを特定のコンポーネントで活用したり、チッププロバイダーと密接に連携して、特定のチップセット上でのモデルのパフォーマンスを最大限に引き出す作業が含まれます。
  • ベンダーとの協業: Luma AIは、NVIDIAやAMDといった主要なGPUベンダーと非常に密接に連携しています。彼らは常に新しいチップセットへの対応を試み、必要に応じてベンダーと協力してパフォーマンスのボトルネックを解消しています。
  • 未来への探索: NVIDIAとAMDに加えて、Luma AIはAmazon独自のチップやGrockのチップなど、他のプロバイダーへの探索も積極的に行っています。特に、Grockと緊密に連携しているHumaneとのパートナーシップを通じて、これらの新しいチップセットの可能性も探っています。

このマルチチップセット戦略は、Luma AIが将来的にハードウェアサプライチェーンの制約を受けにくくし、最もコスト効率が高く、かつパフォーマンスの高いリソースを柔軟に選択できるという点で、長期的な競争優位性を確立する上で不可欠です。ハードウェアの進化が著しいAI分野において、特定のベンダーにロックインされないこのアプローチは、非常に賢明であると言えるでしょう。

Luma AIの未来とビジネスへの示唆

Luma AIがDream Machineのローンチで達成したこと、そしてそれを支える技術的進歩は、単にインフラ技術の模範例にとどまらず、ジェネレーティブAIが切り拓く未来と、それがビジネスにもたらす影響について多くの示唆を与えます。

Dream Machineが切り拓くビデオ生成AIの可能性

Dream Machineのような高性能なビデオ生成AIは、コンテンツ制作のあり方を根本的に変革する可能性を秘めています。

  • クリエイターのエンパワーメント: 専門的な知識や高価な機材がなくても、誰もが頭の中のアイデアを動画として具現化できるようになります。これにより、個人クリエイターや中小企業でも、高品質なプロモーションビデオやソーシャルメディアコンテンツを迅速に制作できるようになるでしょう。
  • 産業への応用: 映画制作、ゲーム開発、広告、教育、eコマースなど、あらゆる産業で動画コンテンツの需要が高まる中、Luma AIの技術は、制作コストと時間を大幅に削減し、パーソナライズされたコンテンツの大量生産を可能にします。例えば、eコマースサイトで個々の顧客に合わせた商品紹介動画を自動生成したり、教育コンテンツを動的に調整したりすることが考えられます。
  • 新たな表現の創出: 現実には存在しない情景やキャラクターをリアルな動画として生成することで、人間の想像力と創造性が新たな次元で解放されるでしょう。これは、アートやエンターテイメントの分野で、これまでにない表現形式を生み出す可能性があります。

汎用マルチモーダル知能への野心

Luma AIの最終的な目標は、ビデオ生成に留まらず、人間のように物理世界を理解し、生成し、操作できる汎用マルチモーダル知能を構築することです。これは、AIが単なるツールを超え、現実世界とインタラクションしながら、より複雑なタスクを実行できるようになることを意味します。ロボティクス、AR/VR、シミュレーションなど、多岐にわたる分野で革命的な変化をもたらす可能性を秘めています。

APIを通じたエコシステム拡大戦略

Luma AIが公開APIを提供していることは、彼らのビジネス戦略における重要なポイントです。自社のプラットフォームだけでなく、あらゆるアプリケーションやサービスにLuma AIの強力なビデオ生成能力を組み込むことを奨励することで、彼らは技術の普及とエコシステムの拡大を図っています。プロンプトエンジニアリングの複雑さを解消し、生のユーザープロンプトから高品質な出力を返すというAPI設計は、開発者にとっての導入障壁を大幅に下げ、爆発的な採用を促すでしょう。これは、AIモデルがコモディティ化する未来において、基盤モデルを提供する企業が市場での優位性を維持するための賢明なアプローチです。

スタートアップが大規模スケールを達成するための教訓

Luma AIの物語は、スタートアップが爆発的な成長を遂げる上で何が重要かを示しています。

  1. 革新的なコア技術: まずは、他にはない魅力的なプロダクト（Dream Machine）があることが大前提です。
  2. 先見的なインフラ戦略: 既存技術の限界を見極め、自社にとって最適な、そして未来を見据えたインフラを構築する勇気と能力。特に、PyTorchベースのデカップリングアーキテクチャやマルチチップセット戦略は、AIスタートアップが考慮すべき重要なポイントです。
  3. 運用効率と自動化: 手動での運用から脱却し、自動化されたデプロイ、スケーリング、リソース管理を実現すること。これは、エンジニアの負担を減らし、より本質的な開発に集中するための鍵です。
  4. ユーザーエクスペリエンスへのコミットメント: SLOベースの公平なスケジューリングのように、技術的な側面からユーザーの満足度を追求する姿勢は、サービスの長期的な成功に不可欠です。
  5. レジリエンスと緊急対応能力: 予想外の事態（地獄のローンチ）にも対応できる、強靭なチームとプランニングが重要です。

Luma AIの経験は、AIインフラストラクチャにおける挑戦と、それに対する革新的な解決策が、今後のAI開発と普及にどれほど大きな影響を与えるかを示しています。

まとめとLuma AIからのメッセージ

Luma AIのDream Machineローンチは、ジェネレーティブAIが持つ爆発的な可能性と、それを実現するために乗り越えるべき技術的な壁を浮き彫りにしました。4日間で100万ユーザーという驚異的な達成は、彼らの革新的なモデルだけでなく、それを支える強固でスケーラブル、かつ効率的なインフラストラクチャの賜物です。

彼らは、Triton Inference Serverの限界を見極め、PyTorchを基盤としたデカップリングアーキテクチャを構築することで、柔軟なスケーリングとマルチチップセット対応を実現しました。さらに、バックプレッシャーの管理、SLOベースの公平なスケジューリング、そして自動化されたモデル管理システムといった独自のソリューションを開発し、複雑なAIワークロードを効率的に捌いています。トレーニングクラスターを推論に動的に転用する戦略や、チッププロバイダーと密接に連携しながら低レベル最適化を進める「Excelチーム」の存在は、リソースを最大限に活用し、ハードウェア非依存性を追求する彼らのアプローチを象徴しています。

Luma AIは、単なるビデオ生成ツールを提供するだけでなく、人間のように物理世界を理解し、生成し、操作できる汎用マルチモーダル知能の構築という、より大きなビジョンを追求しています。彼らが開発者向けに公開APIを提供していることは、この革新的な技術をより多くの人々に届けるための戦略的な一歩であり、ビデオコンテンツ制作の未来を大きく変える可能性を秘めています。

もし、この記事でLuma AIの取り組みに興味を持たれた方がいらっしゃるなら、Luma AIは積極的に採用活動を行っています。キーガン・マッカラム氏も述べているように、彼らは「最高のエンジニア、研究者、そしてAI愛好家」を求めています。彼らのチームは、不可能に思える課題に挑戦し、次世代のAIを共に創造する情熱に満ちています。

Luma AIの物語は、私たちに、技術的挑戦がいかに刺激的であり、それが未来を形作る上でいかに重要であるかを教えてくれます。彼らの旅はまだ始まったばかりですが、その歩みは、ジェネレーティブAIが人間社会にもたらす変革の大きさを予感させるものです。

← 一覧に戻る