Runwayの次なる賭け：動画生成のその先へ――世界モデル、ロボティクス、そしてニューラルOSが描く未来

現代のテクノロジーの世界において、人工知能、特に生成AIの進化は目覚ましいものがあります。中でも、RunwayはAIを活用した動画生成の最前線を走り続けており、クリエイティブ業界に革命をもたらしてきました。しかし、Runwayの共同創設者であるアナスタシス・ゲルマニディス（Anastasis Germanidis）氏が描くビジョンは、単なる動画生成ツールの提供に留まりません。彼らの次なる「賭け」は、「世界モデル（World Models）」、「ロボティクス」、そして究極的には「ニューラルOS（Neural Operating System）」の実現です。

この記事では、ゲルマニディス氏の深く洞察に満ちた言葉を紐解きながら、RunwayがどのようにしてAIアートツールの黎明期から現在の高度な動画生成技術を確立し、そしていかにしてAIが現実世界を理解し、操作する未来へと歩みを進めているのかを詳細に探ります。その技術的背景、ビジネスへの影響、そして将来の可能性について、専門的な視点と分かりやすさを両立させながら解説します。

Runwayの軌跡：AIアートツールの夜明けから世界モデルへ

Runwayの物語は、生成AIの可能性に対する深い信念から始まりました。ゲルマニディス氏は、その道のりを振り返り、現在の壮大なビジョンへと至るまでの軌跡を語ります。

創業初期のビジョンとGenerative AIの黎明期

2016年から2017年にかけて、初期の生成モデルが登場し始めた頃、ゲルマニディス氏は、それが「いつか、ではない、いつか」コンテンツ生成の大部分がAIによって行われるようになるだろうという確信を抱いていました。Runwayの当初のテーゼは、「これらの生成モデルの結果として、クリエイティブツールの作り方を再考する必要がある」というものでした。

ゲルマニディス氏自身のキャリアは、AIとアートの二つの世界にまたがっていました。彼はインタラクティブアートの制作に携わりながら、MLエンジニアやバックエンドエンジニアとしてスタートアップで働いていました。特に「シミュレーション」への強い関心は、彼の初期の芸術作品にも反映されています。

その一つの例が、2015年に彼が制作したプロジェクトです。これは、ギャラリー空間で人々に音声指示を与え、インタラクションを調整するソフトウェアでした。例えば、「あなたは建築家で30歳、スポーツが好きです」といったアイデンティティを生成し、異なる人々とマッチングさせて完全に生成された対話（当時はテンプレートとマルコフ連鎖を組み合わせたテキスト生成）をシミュレートしました。これは、生成モデルとシミュレーション、そして人間行動の学習に対する彼の初期からの関心を示すものでした。

また、共同創設者であるクリス氏と共に制作した初期のプロジェクト「Anani Valley, Anani Road」も重要です。これは、Nvidiaが2016年か2017年にリリースした初期の画像間変換モデル「Pix2HD」を活用したものでした。Pix2HDは、セマンティックマップ（シーンの意味的情報）を入力として受け取り、フォトリアリスティックな画像を生成するモデルでした。当初は自動運転データセットで訓練されていたため、歩行者、交通標識、自転車といった道路上の要素しかサポートしていませんでした。しかし、ゲルマニディス氏は、この「退屈な」データセットで訓練されたモデルを再目的化することで、予想外の「芸術的に魅力的な」シュールな画像を生成できることを発見しました。これは、同じ生成モデルでも、異なる視点から見たり、興味深いツールを構築したり、アーティストに提供したりすることで、予期せぬ結果が生まれるという、Runwayの初期のテーゼを象徴する出来事でした。

画像・動画生成技術の進化とRunwayの貢献

創業当初、Runwayの最初のバージョンは、Pix2Pixのような当時のオープンソースモデルをアーティストが簡単に使えるようにするためのプラットフォームでした。しかし、機械学習エンジニアでなければモデルを使うのが困難であるという課題に直面し、Runwayはすぐに社内に研究組織を設立する必要性を認識しました。当時の画像・動画生成モデルは、クリエイティブなワークフローに組み込むにはまだ実用レベルには達していなかったため、研究の最前線を押し進めることがRunway Researchの使命となりました。

Runwayの初期の成功の一つは、画像および動画のセグメンテーション問題の解決でした。「グリーン・スクリーン」と名付けられたこのツールは、長らくRunwayの主要な機能として利用され、「エブリシング・エブリウェア・オール・アット・ワンス」をはじめとする多くの有名映画やシリーズで使用されました。ロトスコープのような手作業のプロセスを自動化することは、VFX業界にとって画期的な進歩でした。Runwayは当初、ポストプロダクションツールとしての地位を確立しました。

転機が訪れたのは2022年、Latent DiffusionやDALL-E 2といったモデルの登場でした。これらのモデルは、生成AIの品質に「ステップ関数的な変化」をもたらし、ゲルマニディス氏自身も「これはいける」と確信した瞬間でした。特に、Latent DiffusionとStable Diffusionが消費者向けハードウェアでも動作可能になったことは、AIの民主化を意味しました。

Runway Genシリーズの誕生と挑戦

2022年半ば、Runwayは画像・動画生成においても言語生成と同様にスケーリング則が適用されると確信し、大きな賭けに出ます。彼らは当時シリーズBのスタートアップとしては異例とも言える、1000台のA100 GPUクラスターを構築する契約を結びました。目標は、大規模な動画モデルを訓練し、「動画版のLatent Diffusion/Stable Diffusionの瞬間」を創出することでした。当時の最先端モデルであったCogVideoが256x256の低解像度であったことを考えると、この挑戦のスケールが分かります。

最初の試みであるGen-1は、テキストから動画を直接生成するのではなく、「奥行き情報（Depth-conditioned）」に基づいて動画を生成するモデルとして2023年1月に発表されました。既存の動画を入力として奥行きマップに変換し、それを元にピクセルを生成するというアプローチです。これは、強い条件付けがある方が問題が単純になるため、Text-to-VideoよりもVideo-to-Videoから始める方が容易であるという判断からでした。

Gen-1の発表当時、その結果は「信じられないほど素晴らしい」と評価されました。ユーザーは、段ボール箱で作った街の動画をフォトリアリスティックな街に変えたり、テクスチャのない3Dシーンをフォトリアルな出力に変換したりといった、クリエイティブな用途に活用しました。特に、ストーリーボード作成や、BlenderやUnityで作成したシーンのスタイライズなど、プロのVFX編集者にも広く使われるようになりました。ゲルマニディス氏は、Video-to-Videoがいまだに強力なツールであり、既存の動画をインスピレーションとして異なるスタイルや出力に変換する優れた方法であると考えています。

ここで、Stable Diffusionのリリースを巡る「論争」にも触れられます。Latent Diffusionの研究者の一人であるパトリック・エッサー氏が当時Runwayに所属しており、Stability AIがそのモデルを大規模に訓練してStable Diffusionとしてリリースした経緯があります。Runwayとしては、当初からオープンソースの研究プロジェクトとして意図されていたため、Stable Diffusion 1.5のリリースを継続しました。ゲルマニディス氏は、この件はすでに過去のものであり、両社がそれぞれの道を歩んでいると述べています。

Runwayは、Gen-1のリリースからわずか数ヶ月後の2023年2月にGen-2を発表します。興味深いことに、Gen-2は、Gen-1がDepth-to-Videoモデルであったのに対し、Text-to-Videoを目標としていました。しかし、当初は直接のText-to-Videoが困難であったため、ゲルマニディス氏が週末プロジェクトとして考案した「テキスト入力から奥行きマップを生成し、その奥行きマップをGen-1でRGB動画に変換する」という2段階のパイプラインを採用しました。これは「ハッカソン的なハック」であったと述べつつも、迅速にユーザーに価値を届けることに成功しました。この2段階のアプローチは、最近の画像生成モデル（例：ReVe、Ideogram）でも再評価されていることが示されています。

Gen-2のリリース後、Runwayは「制御性」の重要性を痛感しました。Text-to-Videoだけではユーザーは十分な制御を得られず、探索的な利用に留まっていました。このため、2023年はモデルに条件付けを与える様々な方法に投資しました。Motion Brush（シーン内のオブジェクトの動きを矢印で指示）、Camera Control（カメラの動きを記述）などが開発され、映画制作者からのフィードバックを受けて、これらの機能はGen-2に組み込まれました。特にCamera Controlは、動画を作成するというよりも、あたかも「世界の中をナビゲートしている」かのような感覚を与え、後の「世界モデル」のアイデアの萌芽となりました。

2024年2月にOpenAIのSoraが発表されたことは、Runwayにとって大きな転換点となりました。Soraの優れた動画品質は、Runwayに「存亡の危機」をもたらしました。Soraは、それまでの畳み込みネットワーク（CNN）ベースの拡散モデルとは異なり、Diffusion Transformersを採用していました。Runwayは、この新しいアーキテクチャに適応するため、分散学習のためのインフラストラクチャに大規模な投資を行い、わずか3ヶ月でGen-3を開発しました。Gen-3は、モデルサイズと計算量を10倍にスケールアップし、Soraを上回るモデルを構築するという、チームにとって記憶に残る挑戦となりました。

Gen-3のリリース後、Runwayはさらに「リアルタイム」化にも注力します。Gen-3 Turboは、本番環境で導入された最初のステップ蒸留モデルの一つであり、推論コストの削減とレイテンシの向上に貢献しました。ゲルマニディス氏は、言語モデルに2〜3年の遅れがあるものの、蒸留技術の進歩により、将来的にリアルタイム動画生成が主流になることは避けられないと考えています。

キャラクターモデル（Talking Avatar）を例に、Runwayはリアルタイム動画モデルの最大のデプロイメントの一つを実現しています。これは、双方向拡散モデルを因果的オートレグレッシブモデルに変換し、さらにステップ蒸留を施すことで、24fpsでのリアルタイム生成を可能にしています。彼は、2年後にはリアルタイムモデルが主要なツールになると予測しており、その品質ギャップは着実に縮まるだろうと述べています。

「World Models」の深層：世界をシミュレートするAIの衝撃

Gen-2のCamera Controlがきっかけで生まれた「世界の中をナビゲートする」という感覚は、Runwayが「世界モデル」の研究に深くコミットするきっかけとなりました。彼らのビジョンは、単なる動画生成を超え、AIが現実世界を深く理解し、シミュレートすることにあります。

World Modelsへのピボット/拡張

ゲルマニディス氏にとって、カメラ制御は単なる動画生成ツールの一部ではなく、動画生成モデルを「世界をナビゲートする」ものとして捉えるための種でした。彼らは、動画生成モデルをコンテンツ作成マシンとしてだけでなく、現実世界をシミュレートするシステムとして捉え始めました。言語モデルにスケーリング則が適用されるように、動画モデルにも同様のスケーリング則が適用されるならば、計算能力をスケールアップすることで、物理法則、人間行動、そして世界の動態を予測可能かつ正確にシミュレートできるようになるはずです。これが、彼らが「世界モデル」の研究に大規模なリソースを投入するに至った論文でした。

DeepMindの初期のミッション「Solve intelligence, then use it to solve everything else（知能を解決し、それを使って他のすべてを解決する）」という言葉を引用しつつ、ゲルマニディス氏は、むしろ「他のすべてから始める」ことの価値を強調します。つまり、人間が世界について記述したテキストから学習する言語モデルとは異なり、世界モデルは「世界の複雑性と詳細」そのものから直接学習することを目指します。

例えば、「靴紐の結び方を言葉で説明する」のは非常に困難ですが、「実演する」のは簡単です。人間は、無意識に行っている行動や、言葉で表現するのが難しい多くの「暗黙知」を持っています。ゲルマニディス氏は、物理学や世界の動態をシミュレートすることが、これまで過小評価されてきた領域であると指摘します。人間が世界を記述する方法ではなく、観察データから直接訓練することで、これまで知り得なかった「新しい何か」を学習できるという信念を持っています。

技術的アプローチとヤン・ルカンとの対話

Runwayは、ビデオ予測自体がスケーリングしないという証拠は今のところないという「実用主義的」な研究ラボとして自らを位置づけています。ヤン・ルカン氏が提唱するような新しいアーキテクチャの必要性については懐疑的であり、むしろデータの改善と既存のアプローチのスケーリングに時間を費やす方が良いと見ています。

ヤン・ルカン氏が「世界の動態を理解することと、かわいいビデオを生成することは全く違う」とツイートしたことに対し、ゲルマニディス氏は「同じことだ」と反論します。その核心は、もしモデルが正確なビデオを生成しようとするならば、物理法則を「ごまかす」ことはできないという点にあります。モデルが猫の動画を正確に生成するには、猫の物理、動き、毛並み、周囲の環境との相互作用といった複雑な物理をシミュレートしなければなりません。

もちろん、現在のビデオモデルには限界があり、モデルの欠陥を隠す様々な方法が存在します。しかし、言語モデルが「かろうじて一貫性のある文章」から「人間と会話できるレベル」、さらには「自律的にコードベース全体を作成できるレベル」にまでスケールアップしたように、ビデオモデルも同様にスケールアップすれば、より高度なシミュレーションが可能になると考えます。この進歩の主な要因は「スケール」であり、Runwayはそれがまだ飽和しているとは考えていません。

彼らは、モデルの物理理解度を測るためのベンチマーク「Physics IQ」を使用しています。これは、物理現象を捉えた動画の最初のフレームを入力として、モデルが次に何が起こるかを予測する能力を測るものです。例えば、天井から吊るされたボールが落下する様子を予測するなどです。Runwayは、モデルの規模が大きくなるにつれて、Physics IQのスコアが予測可能に向上することを確認しており、スケール自体がモデルの物理学習に貢献していると結論付けています。

ヤン・ルカン氏の「プラトンの洞窟の寓話」（物事の内部プロセスではなく、その出力から学習しているという批判）に対するゲルマニディス氏の回答は、「機械学習の歴史は、概して『間違っていると感じる』ものだ」というものです。これは、「ビターレッスン」（常にシンプルでスケーリング可能なアプローチが最終的に勝利するという考え方）にも通じるものです。既存の科学や物理法則を明示的にモデル化するのではなく、ひたすらデータとスケールに依存するというアプローチは、「間違っている」と感じられるかもしれませんが、実績を上げてきた事実がある、という主張です。

長期的な動画生成の課題としては、ロングコンテキストとエラー蓄積の問題が挙げられます。オートレグレッシブモデルでは、生成されたフレームが次のフレームの入力としてフィードバックされるため、わずかなエラーも時間とともに蓄積されてしまいます。しかし、言語モデルが非常に長い出力を生成できるようになったように、この問題も解決可能であると見ています。例えば、Runwayのキャラクターモデルは最大30分間の動画をオートレグレッシブに生成できるまでになっています。オープンエンドな世界探索モデル（GWM Worlds）ではまだ数分程度ですが、将来的には「永遠に生成し続ける」ことが可能になると予測しています。

「Interface World Models」：ソフトウェアの未来とNeural OS

Runwayの「世界モデル」へのビジョンは、動画生成やロボティクスだけでなく、ソフトウェアインターフェースのあり方そのものにも革新をもたらそうとしています。彼らが提案する「Interface World Models」は、従来のUI/UX開発のパラダイムを根本から変える可能性を秘めています。

コンセプトとデモンストレーション

ゲルマニディス氏が紹介した「Interface World Model」は、彼らが「ユニバーサルインターフェース」と位置づけるものです。これは、ソフトウェアアプリケーションのフロントエンドを、従来のHTML、CSS、Reactといったコードベースで構築するのではなく、リアルタイム動画生成モデルがピクセルを直接レンダリングすることで実現します。

このインターフェースは完全にピクセルベースであり、ユーザーのクリック、ドラッグ、スクロールといったインタラクションの結果として次に何が起こるかを予測するように訓練されています。デモンストレーションでは、UI要素をクリックしたり、ドラッグしたりすると、モデルがそのインタラクションに応じた新しい画面やアニメーションをリアルタイムで生成します。さらに、音声生成モデルも統合されているため、クリック音や環境音といったサウンドエフェクトも同時に生成されます。

このアプローチの主な利点は以下の通りです。

柔軟なデザインとプロトタイピング: プロンプトを使って、ボタンの挙動や要素の動きを記述できるため、デザインのプロトタイピングや、様々なインタラクションの試行が非常に容易になります。
探索的な利用と教育: ユーザーが自由に探索したり、新しい概念を学習したりするようなオープンエンドなアプリケーションに適しています。例えば、産業デザインソフトウェアや教育ツールなどが考えられます。
LLMベースのアプローチとの差別化: ClaudeのようなLLMにFigmaのデザイン画像を与えてインタラクションを記述させても、速度が遅く、複雑なインタラクションを正確に捉えるのが難しいのに対し、Interface World Modelsはピクセルレベルで直接反応を生成するため、よりリッチでリアルタイムな体験を提供します。
新しいインタラクションの可能性: 従来のコードでは困難だったカメラトランジションやインタラクションを簡単に構築できます。

将来の展望：Neural OSの実現

このInterface World Modelの究極的な「エンドゲーム」として、ゲルマニディス氏は「完全にニューラルなオペレーティングシステム（Neural Operating System）」の実現を掲げます。これはアンドレ・カーパシー氏が以前から提唱している概念でもあります。

彼が現在の状況に「少し奇妙だ」と感じるのは、現代のLLMがどんな話題にも対応し、会話を自由に操れる非常に汎用的な能力を持っているにもかかわらず、ユーザーがそれと対話するインターフェースは「非常に固定的」であるという点です。

「インターフェース自体が学習可能になるのは時間の問題」であり、アプリケーションがエンドツーエンドで提供される未来を予測します。これは、単に言語モデルを提供するだけでなく、「レンダリングされるピクセルそのもの」も学習可能なコンポーネントとして提供されることを意味します。このパラダイムシフトは、従来の「アプリケーション」という概念を変革します。アプリケーションは、特定の機能のために個別のコードベースが必要という前提から生まれてきましたが、インターフェースを生成するビデオモデルがあれば、LLMからコンテキストを受け取り、伝統的に異なるアプリケーションに分かれていた複数の機能を統合して、より統一された体験を提供できるようになります。つまり、ソフトウェア開発を「エンドツーエンドで解決する」方法となるのです。

この技術は、パーソナライゼーションを劇的に容易にする可能性も秘めています。訪問者ごとに異なるプロンプトに基づいてインターフェースを動的に調整したり、アクセシビリティのためにテキストサイズを大きくしたり、特定の学習設定に合わせたりすることが簡単になります。

もちろん、課題も存在します。リアルタイム動画モデルを動かす計算コストは、HTMLをレンダリングするよりもはるかに高いため、コスト効率の改善が必要です。しかし、ゲルマニディス氏は、まず従来のインターフェースよりも魅力的なインタラクションを必要とするユースケースを見つけ、その後コスト効率を改善していくことが重要だと考えています。

エージェントトレーニングへの応用

Interface World Modelsは、人間向けのソフトウェアだけでなく、「コンピュータ使用エージェント」のトレーニングにも強力なツールとなり得ます。これは、世界モデルが「人間向け」と「エージェントトレーニング用」の二つの方向性を持つというRunwayの考え方の一部です。

Interface World Modelsは、コンピュータ使用エージェントを訓練するための強力な「合成データジェネレーター」として機能します。エージェントは、このモデル内で多様なインタラクションやインターフェースを生成し、その中でオンライン強化学習を行うことができます。これにより、エージェントは現実世界のインターフェースに対するロバスト性を大幅に向上させることができます。

「Robotics」：世界モデルが拓くロボティクス新時代

Runwayの世界モデルへの取り組みは、ロボティクス分野にも大きな波紋を広げています。彼らは、ビデオ生成モデルのスケーリングが、偶然にもロボティクスにおける最先端モデルを生み出したと述べています。

GWM1とRoboticsへの応用

昨年リリースされたRunwayの最新の基盤モデルGen 4.5を基盤として、彼らは世界モデル「GWM1」を開発しました。これは、双方向拡散モデルをオートレグレッシブ化し、さらに「アクション」を受け入れるように設計されています。つまり、単に動画を視聴するだけでなく、各ステップで制御可能な「シミュレーション」として機能し、ユーザーは任意のアクションを取り、その結果（反事実）を探索することができます。

GWM1の最も重要なユースケースの一つとして、ロボティクスが挙げられます。昨年半ばから、多くのロボティクス研究室がRunwayの動画モデルに注目し始めました。当初は、ロボットのポリシー（行動計画）を訓練するための「合成データ」を生成する目的でしたが、次第にモデルが「シミュレーター」としても非常に有用であることが明らかになりました。つまり、ロボットのアクションモデルのパフォーマンスを「オンラインで」評価するために、世界モデル内でアクションを実行し、その結果を確認するというクローズドループシミュレーションが可能になったのです。

Sim-to-Realギャップの克服

ロボティクスにおける長年の課題は、「シミュレーションから実世界への転移（Sim-to-Realギャップ）」でした。シミュレーションでうまくいったことが、実世界では通用しないという問題です。シミュレーターを構築する上で最も重要なのは、「実世界相関（Real-world correlation）」を確立することです。つまり、世界モデル内で特定のアクションを実行した場合に、実世界で同じアクションを実行した場合と類似の結果が得られることを保証することです。

Runwayは、GWM1モデルを使ってこの実世界相関を確立する研究を行いました。RoboArenaのような一般的なベンチマークデータとシナリオを使用し、世界モデル内でのアクションモデルのパフォーマンスと、実世界でのパフォーマンスの相関関係を測定しました。その結果、世界モデルと現実世界の間で非常に高い相関が得られることが判明しました。

これはロボティクス分野にとって画期的なことです。なぜなら、ロボットポリシーの評価を、実際の物理ハードウェアを使用する代わりに、シミュレーション内ではるかに高速にスケールアップできることを意味するからです。

従来のシミュレーターは、剛体オブジェクトの物理を正確に記述できる場合には非常に有効でした。しかし、布のような複雑な素材との相互作用や、滑りやすい表面、あるいは多様な操作タスクなど、現実世界の複雑な物理をモデレートするには、非常に時間とコストがかかります。環境やオブジェクトごとに3Dスキャンし、デジタルドメインで再構築する必要がありました。

これに対し、世界モデルの利点は、「最初のフレーム」さえあればシミュレーションを開始できることです。環境の写真を撮るだけで、その中でポリシーのパフォーマンスをテストできるのです。これにより、従来のシミュレーターが抱えていた、複雑な環境構築の課題が大幅に軽減されます。

第三者視点ビデオによる事前学習の優位性

Runwayのロボティクスに対する主要なテーゼは、**「最も豊富なビデオデータソースである第三者視点ビデオデータによる事前学習」**の優位性です。

人間が様々なタスクをどのように学習するかを考えてみましょう。多くの場合、他人がそのタスクを実行するのを「観察する」ことから学びます。第一人称視点での試行錯誤も行いますが、世界で行われることの多くは、他人の行動を見て学習されます。ビデオモデルの事前学習は、まさにこのプロセスを模倣しています。人々がスポーツをしたり、家事をしたりする膨大な量の第三者視点ビデオデータが利用可能なのです。

この事前学習を行うことで、ロボットモデルを実際のロボットデータ（テレオペレーションデータなど）の「はるかに少ない時間」で有用なものに調整できると彼らは主張します。テレオペレーションデータはスケールが非常に困難であり、費用もかかります。よりスケールしやすいとされる一人称視点データ（GoProを頭に装着してタスクを撮影するなど）でさえ、第三者視点ビデオデータに比べると3桁少ないデータ量しか存在しません。

したがって、Runwayのテーゼは、「最も豊富なデータソースが最終的に勝利する」というものです。第三者視点ビデオデータによる事前学習は、モデルが訓練中に見たことのない新しい環境やタスクに汎化できるようにするための、正しい出発点であると考えられます。

具体的には、GWM Roboticsモデルは、Gen 4.5のような汎用ビデオモデルをベースにしており、その後、わずか数百時間程度のロボットデータでファインチューニングされます。これにより、現在のロボットモデルの事前学習が数十万〜数百万時間のデータを必要とするのに対し、はるかに少ないデータで優れたパフォーマンスを達成できます。モデルは、事前学習で世界や物理学、人間行動、そして人々が関心を持つタスクについて学習した知識を活用するからです。

将来的には、GWMの異なるバリアント（操作、ナビゲーション、人間行動のシミュレーション）が「単一の世界モデル」に統合されることを期待しています。一つのモデルで、環境を動き回り、タスクを実行し、他の人々と対話するといった、世界に存在するような感覚をシミュレートできるようになるでしょう。

自動運転への応用とWorld Action Models

Runwayの焦点は主にロボット操作ですが、世界モデルは「自動運転」の研究にも応用されています。特に評価ユースケースでの活用が見られます。

ゲルマニディス氏は、世界モデルとビデオモデルが、シミュレーターとポリシー（行動モデル）の両方にとって最良の出発点であると考えています。そして、優れた世界モデルがあれば、それに「アクションヘッド」を追加するだけで、アクションを予測する「World Action Model」に進化できると説明します。

例えば、ロボットアームのあるシーンの最初のフレームを与え、モデルに「アームがオブジェクトを拾い上げる」ようにプロンプトした場合、モデルが十分に正確なビデオを生成できるならば、アームが同じアクションを実行するために必要な正確な3Dポーズも生成できるはずです。これは、ビデオモデルが物理的行動を深く理解していることの証拠であり、それを直接ロボットの行動計画に転用する道を開きます。

AIの未来：スケーリングの先にあるもの

Runwayのビジョンは、現在の技術の限界を押し広げ、AIが世界を理解し、創造する新たなフロンティアを切り開こうとしています。

データとスケーリング則

現在の動画モデルの訓練に必要なデータ量については、まだ初期段階であるとゲルマニディス氏は指摘します。言語モデルと比較して、ビデオデータの方が「ビットあたりの情報量」が多いにもかかわらず、ビデオモデルのパラメーター数は言語モデルほど多くありません。しかし、これはビデオにおけるピクセル間の変動が少ないため、あるいは単純にまだスケーリングの初期段階にあるためと考えられます。彼は、動画モデルの訓練は今後さらにスケールアップし、現在のモデルでは不可能な能力を獲得すると予測しています。

ルーシッドドリームテスト：究極のシミュレーション

ゲルマニディス氏は、動画モデルや世界モデルの究極的な性能を示す「チューリングテスト」として、「ルーシッドドリームテスト（明晰夢テスト）」という思考実験を提案します。

これは、VRヘッドセットを装着した人が部屋の中を歩き回り、オブジェクトとインタラクトする状況を想像するものです。VRヘッドセットには、現実のパススルーモードと、生成された世界をレンダリングするモードがあります。もし、ユーザーが現実と生成された世界の区別がつかなくなったとき、それはモデルが十分に優れていることの証拠であると彼は言います。

このテストをクリアするために重要なのは、「ダイナミクスのシミュレーション」と「反事実生成（Counterfactual Generation）」の能力です。例えば、動画モデルに「人がゴールを決める」映像と「人がゴールを決め損なう」映像を生成するように求めた場合、訓練データにゴール成功例が多いため、成功例の方がより良く生成される傾向があります。しかし、インタラクティブな世界モデルには、異なるアクションがもたらす反事実的な結果を、どちらも現実的に生成できる能力が求められます。特にロボティクスにおいては、評価やオンライン強化学習の際に「失敗をシミュレートする」能力が極めて重要であり、モデルが試行錯誤して改善するためには、失敗を現実的に生成できる必要があります。これは、成功例が多すぎ、失敗例が不足しているという、ある意味で奇妙な課題です。

ビデオエージェントとOmni Models

Runwayは、LLMが様々な画像・動画モデルをツールとして効果的に活用し、プロジェクト全体（例：広告ワークフローにおけるブリーフからストーリーボード、動画生成、パフォーマンス分析まで）を支援する「ビデオエージェント」の開発にも取り組んでいます。このエージェントは、パイプラインの重要な要素として位置付けられています。

将来的には、現在Harness（外部ツールやプロンプトエンジニアリング）で行われている多くのタスクが、モデル自体に統合されていくと予想されます。例えば、Chain of Thoughtプロンプティングが、モデルが推論を自己生成するようになったように、ビデオモデルも最初はシングルショット生成であったものが、現在はマルチショット動画を直接生成できるようになっています。この統合にはメリットがあります。なぜなら、マルチショット動画をうまく生成するには、ショット間のペース配分や編集本能など、言語モデルが得意としない要素をビデオモデル自身が学習する必要があるからです。

さらにその先には、「オムニモデル（Omni Models）」の可能性が広がります。これは、オートレグレッシブなテキスト予測と拡散モデルによるピクセル生成をエンドツーエンドで訓練する、統合されたモデルです。モデルは、まずシーンの推論と計画を行い、その結果を拡散ヘッドに渡してピクセルを生成します。現在のところ、GeminiやQwenなど一部のモデルがこの統合アプローチを試みていますが、まだ広く普及しているとは言えません。しかし、ゲルマニディス氏は、将来的にこれが主流になることを期待しています。

多様なモダリティとの融合

ゲルマニディス氏は、世界モデルの「マキシマリスト」バージョンとして、ますます多くのモダリティ（感覚情報）を統合し、異なるスケールの観測データでモデルを訓練することを構想しています。最もシンプルな例は、RGB（視覚）とオーディオ（聴覚）を同時に生成できるモデルです。

ImageBindのように、深度、熱、IMU（慣性計測ユニット）、テキストなど、多種多様なモダリティを統合することで、それらのモダリティ間での転移学習が可能になります。例えば、以前の「Refusion」プロジェクトでは、Stable Diffusionをスペクトログラム（音声の視覚表現）でファインチューニングするだけで、かなりの音楽生成能力を獲得しました。これは、異なるモダリティ間にも、ある種の空間的・時間的パターンが共通して存在することを示唆しています。

科学シミュレーションへの応用も有望です。物理学や生物学における数値シミュレーションのデータセット（例：The Well）を、まるでRGBフレームであるかのようにビデオモデルで扱うことで、実世界のビデオとは全く異なるにもかかわらず、スクラッチから訓練するよりもはるかに迅速に合理的なパフォーマンスが得られることが分かっています。

このアプローチは、「データ希少性」の課題を解決する手段となります。利用可能なビデオデータは豊富ですが、嗅覚データのようなものは少ないため、豊富なモダリティからの学習を、希少なモダリティの学習に転移させることが可能です。

将来的には、科学分野での利用が期待されます。AlphaFoldがタンパク質構造予測のために非常に特化したアーキテクチャを持っていたように、様々な科学データを単一のモデルの下に集約することで、一つのモダリティから得た学習を他のモダリティに転移させ、新たな種類の科学的問題を解決できる可能性があります。これは、世界モデルが単にRGBを扱うだけでなく、宇宙のあらゆるモダリティを組み込み、その間での転移学習を活用する究極のビジョンです。

Runwayの文化とAIコミュニティへの貢献

Runwayの成功の裏には、そのユニークな企業文化と、AIコミュニティへの積極的な貢献があります。

クリエイティブと研究者の融合

Runwayの最も特別な点の一つは、「クリエイティブと研究者が肩を並べて働く」という文化です。クリエイティブチームは、モデルの訓練プロセス全体に深く関わっています。彼らは、動画のキャプション付けにおいて、映画撮影、美学、カメラの方向性といった細部まで可能な限り詳細に記述し、推論時にモデルから意図した出力を引き出すための重要な役割を担っています。また、モデルから生成された動画が「使えるもの」であるかを評価するのも彼らです。

ゲルマニディス氏は、このクリエイティブと研究の融合こそが、Runwayが次世代モデルを構築してきた上で非常に重要な要素であったと語ります。また、ニューヨークを拠点とすることの利点も指摘します。メディア、広告、アートといった多様な産業が交錯する環境に加え、シリコンバレーの「集合的な思考（hive mind）」から離れることで、物事を少し異なる視点から考え、意図的にチームを成長させることができたと感じています。

AIコミュニティへの発信

Runwayは、AIコミュニティへの積極的な発信も行っています。今年9月30日には、サンフランシスコで「Runway AI Summit」を開催する予定であり、これは主に「物理AI」と「リアルタイム動画生成」に焦点を当てています。Nvidia、Physical Intelligence、The Bot Company、DeepMindといった企業のパネリストが参加し、技術的で実質的な議論、時には意見の相違や活発な討論が期待されています。

また、Runwayは、Nvidiaと共同で「Cosmos Coalition」というイニシアチブを立ち上げました。これは、世界モデルの研究をオープンにするための取り組みです。オープンウェイトモデルのリリース、物理学などを測定するベンチマークの提供、インフラストラクチャの共有などを通じて、世界モデルのエコシステムを成長させ、開発者や研究者がフィールドに貢献しやすくすることを目指しています。

特に、動画モデルの分野では、現在のリーダーボードの上位の多くを中国のモデルが占めている現状があります。ゲルマニディス氏は、米国や西側諸国がより広く投資し、競争力のあるモデルを開発することの重要性を強調しています。

ベンチマークや評価については、言語モデルとは異なる側面があると考えています。クリエイターやアーティスト、マーケターといったRunwayのユーザーは、言語モデルユーザーほど「アリーナスコア」に依存していません。画像や動画モデルの場合、多くの異なるモデルで同じプロンプトを試行し、結果を視覚的に比較することが容易だからです。人間の目で見れば、美学的観点から何が良いか、物理的なアーチファクトや問題があるかどうかはすぐに分かります。このため、人間による視覚的評価が非常に重要だと彼は指摘します。

AIとアーティスト：共存の道

AIとアーティストの関係については、しばしば議論の的となります。Runwayの視点は一貫して、「AIは単なるブラシ、単なるカメラであり、ツールと技術が共進化してきた長い歴史における最新のツールである」というものです。

ここ数ヶ月で、この感情にはかなり大きな変化があったとゲルマニディス氏は見ています。カンヌ映画祭でAIを支持する監督（ロン・ハワードなど）が現れたり、マーク・ザッカーバーグのような著名人がAIモデルを採用したりと、AIを肯定的に捉える声が増えています。これは、AIモデルが「非神秘化」されてきた結果だと彼は考えます。

特に、「テキストから完全な動画を生成する」という初期の「テキスト・トゥ・ビデオ」の概念が、多くの誤解と反発を招いたと彼は分析します。しかし、現在のモデルは、多くの参照入力を受け入れ、非常に高い「制御性」を持っています。ユーザーが多くの自由度と制御性を持つツールを見ると、それが生成モデルであるかどうかよりも、「自分の望む方向に steer できる」という事実に異なる反応を示すのです。50もの参照入力を与えるような複雑なワークフローを見れば、AIが単なる「魔法の存在」ではなく、「ストーリーテリングのためのツール」であると認識されるようになります。

ワークフローの変化についても言及されています。初期は「品質」が最優先課題でしたが、現在はそれに加えて「制御性」が重要になっています。そして将来的には「レイテンシ」がますます重要になると彼は予測します。モデルの性能が向上するにつれて、非常に高速なイテレーションが可能になることが重要になるからです。例えば、Photoshopのような従来のクリエイティブツールは「インスタント」な体験を提供しましたが、生成モデルでは動画生成に数分待つ必要がありました。しかし、リアルタイムモデルの登場により、この即時性が再び取り戻され、創作プロセスが劇的に加速されることが期待されます。

Runwayは、芸術とAIの未来を切り開くパイオニアとして、今後もAI動画フェスティバルなどを通じて、クリエイターとAI技術の共存と進化を推進していくことでしょう。

結論

アナスタシス・ゲルマニディス氏の言葉から浮かび上がるRunwayのビジョンは、単なる動画生成ツールの提供にとどまらない、壮大かつ革新的なものです。彼らは、AIが現実世界を深く理解し、シミュレートする「世界モデル」の構築を通じて、ソフトウェアインターフェースのあり方を変革し、究極的には「ニューラルOS」を実現しようとしています。さらに、この世界モデルはロボティクス分野に革命をもたらし、Sim-to-Realギャップを克服し、自律エージェントの訓練を加速させる可能性を秘めています。

Runwayの旅は、初期のAIアートツールの実験から始まり、Green Screenのような画期的なプロダクト、そしてGenシリーズの動画生成モデルへと進化してきました。Soraの登場といった業界の転換点においても、彼らは迅速に適応し、技術的フロンティアを押し広げてきました。その根底には、スケーリング則への揺るぎない信念と、「データとスケール」が最終的に勝利するという実用主義的なアプローチがあります。

また、クリエイティブと研究者が密接に連携するRunway独自の企業文化は、美学と技術の両面からモデルの進化を支えています。AIとアーティストの関係についても、「ツールとしてのAI」という建設的な姿勢を貫き、制御性の向上を通じてクリエイターとの共存の道を探っています。

Runwayが描く未来は、AIが単なる便利なツールを超え、私たちのデジタル世界とのインタラクションのあり方、さらには物理世界におけるロボットの振る舞い方までをも根本から再定義する可能性を示唆しています。まだ初期段階にある世界モデルの分野ですが、Runwayはまさにその最前線で、人類の創造性と技術の限界を押し広げ続けているのです。彼らの次なる一歩が、どのような驚きをもたらすのか、今後の動向から目が離せません。