AI駆動の未来へ：自動運転技術の進化とマルチモーダルAI「EMMA」が切り拓く新時代

導入

自動運転技術は、私たちのモビリティを根本から変える可能性を秘めた、最も革新的な技術の一つです。AI Engineer World's Fairで開催されたセッションでは、この複雑な技術の過去、現在、そして未来について、深い洞察が語られました。本記事では、そのプレゼンテーションを基に、自動運転の重要性、具体的な機能、ビジネスへの影響、そして将来性を専門的かつ分かりやすく解説します。最先端のAIがどのようにして自動運転の課題を乗り越え、私たちの生活に安全で便利なモビリティをもたらすのか、その全貌に迫ります。

自動運転の基礎と進化の軌跡

自動運転とは、センサー、カメラ、LiDAR、AI、そして高度なソフトウェアを組み合わせた複雑なシステムを用いて、人間の介入をほとんど、あるいは全く行わずに車両を操作する技術を指します。このシステムは、周囲の環境を認識し、適切な意思決定を下し、車両の動きを制御することで、私たちを目的地へと安全に運びます。

自動運転研究の歴史は長く、1980年代にまで遡ります。初期の研究では、まだ原始的な3層のニューラルネットワークが用いられていました。例えば、ALVINN（Autonomous Land Vehicle in a Neural Network）のようなシステムは、複数のカメラ画像を直接ニューラルネットワークに入力し、ステアリングの角度を調整するというシンプルなエンドツーエンド学習モデルを採用していました。

時を経て、研究者たちはより深く、より複雑なニューラルネットワークへと移行していきました。NVIDIAなどの研究機関は、知覚（Perception）、予測（Prediction）、計画（Planning）、制御（Control）といったモジュールに分解された、より洗練されたアーキテクチャを提案し始めました。これらのシステムは、センサーからのデータを基に周囲の環境を理解し（知覚）、他車の動きや交通状況を予測し（予測）、最適な走行経路や速度を決定し（計画）、最終的に車両を操作する（制御）というプロセスを経て動作します。これは、自動運転車が単に「見えるもの」に反応するだけでなく、「世界を理解し、将来を予測し、最適な行動を計画する」という、人間のような高度な判断能力を獲得するための重要なステップでした。

L2からL4へ：飛躍的な進歩の理由

自動運転技術のレベルは、SAE InternationalによってL0からL5まで定義されています。プレゼンテーションでは、初期の技術と現在の高度なシステムとの間に存在する大きなギャップが示されました。

2016年にNVIDIAが発表したエンドツーエンド学習モデル「DAVE 2」の走行映像は、高速道路を走行中に車線内でわずかな「ドリフト」（蛇行）が見られるL2レベルの技術であり、「乗りたいとは思わないだろう」と述べられています。これは、システムが基本的な車線維持機能を備えていても、人間のドライバーが求めるような滑らかさや信頼性には程遠いことを示唆しています。

一方、Waymoがサンフランシスコ市街地で運用しているL4システムは、驚くべき進歩を遂げています。プレゼンテーションでは、実際の走行映像と、システムが周囲の環境をどのように認識しているかを可視化した映像が並べて表示されました。そこには、車両、歩行者、自転車、信号機、横断歩道など、運転に関連するあらゆるオブジェクトが詳細に認識され、3D空間でマッピングされている様子が映し出されていました。L4システムは、これらの情報を基に、歩行者や自転車の動きを予測し、複雑な交差点での意思決定を安全に行い、時には緊急回避動作も実行します。この高度な「世界理解」能力こそが、L2とL4の間の品質と安全性の決定的な差を生み出しているのです。L4システムは、まさに複雑で精密に作られた、高度な知能を持つ運転システムと言えるでしょう。

自動運転のスケールアップ：都市から世界へ、そしてロングテール問題

現在の自動運転技術は、特定の地域で信頼性の高いサービスを提供できるレベルに達しています。Waymoは現在、フェニックス、サンフランシスコ、オースティン、ロサンゼルスといった都市で、乗客専用のロボタクシーサービスをすでに提供しています。しかし、Waymoの野望はこれに留まりません。2025年には、ラスベガス、サンディエゴ、ボストン、ニューオーリンズなど、米国全土の主要都市へとサービスを拡大する計画であり、さらには太平洋を越えて東京（日本）への展開も視野に入れています。

しかし、このようにサービスを大規模に展開していく「スケーリング」の過程で、自動運転技術は新たな、そしてより困難な課題に直面します。それが「一般化の課題」と、それに関連する「ロングテール問題」です。

ロングテール問題とは、データセットの中で非常に稀にしか発生しない事象、すなわち「異常なケース」や「予期せぬ出来事」に、自動運転システムがどのように対応するかという課題です。プレゼンテーションでは、以下のような具体例が挙げられました。

マラソン中の交通整理員: 信号が赤にもかかわらず、交通整理員が手信号で車両の進行を指示するシナリオです。人間であれば、信号よりも交通整理員の指示を優先するという常識的な判断ができますが、システムにとっては矛盾した情報であり、混乱を招く可能性があります。
見たことのない事象: 人間のドライバーが一生に一度も経験しないような、極めて稀な出来事が、Waymoのような大規模なシステムが数百万マイルを走行する中で、頻繁に発生します。例えば、画面を覆い尽くすほどの鳥の群れが突然飛び立つような状況です。これらの稀な事象に対し、システムは安全かつ適切に反応できる必要があります。

自動運転を安全かつ大規模に普及させるためには、こうした予測困難な「ロングテール」のシナリオをいかに高い精度で認識・判断し、適切に対処できるかが極めて重要となるのです。

マルチモーダルLLMが切り拓く新たな道：Gemini 2.5 Proの衝撃

この「ロングテール問題」への有望なアプローチとして、プレゼンテーションではマルチモーダル大規模言語モデル（LLM）の活用が提案されました。Googleの最新モデルであるGemini 2.5 Proを例に、その驚異的な能力が紹介されました。

鳥の群れのシナリオ: 運転中に突然、道路上の鳥の群れが飛び立つ映像が示されました。Geminiに「このビデオを運転の文脈で説明してください」と問いかけると、Geminiは詳細かつ的確な状況説明を行いました。「住宅街で運転手の視点から捉えられた映像。運転手は家屋や駐車車両が両側にある舗装された道路を走行。カメラアングルは運転手が中央車線の右寄りに位置していることを示唆。晴天で良好な路面状況。映像が進むにつれて、車両の前方で大きな鳥の群れが突然地面から飛び立つ。鳥たちは様々な方向に飛び散り、運転手の視界を一時的に遮る。この予期せぬ出来事は運転手にとって注意散漫や懸念を引き起こす可能性があり、警戒を怠らず、速度や進路を調整する必要がある。」この応答は、単に鳥の存在を認識するだけでなく、それが運転に与える影響や、取るべき行動まで示唆しており、「完璧な回答」であると評価されました。
夜間の雨上がりのスクーター転倒シナリオ: 夜間、雨上がりの濡れた路面で、電動スクーターに乗った人物が突然転倒する映像です。Geminiはここでも、状況を正確に把握し、遠くのガソリンスタンドの存在まで特定しました。「このドライブレコーダーの映像は、夜の市街地での運転を捉えている。路面は最近の雨の影響で濡れており、他の車両の街灯やヘッドライトが反射している。懸念される出来事として、電動スクーターに乗っていた人物がガソリンスタンド近くの歩道に突然転落している。この予期せぬ出来事は運転手の注意を散漫にする可能性があり、特にその人物が道路に戻るようであれば、警戒や注意が必要となる。この映像は、夜間、特に濡れた路面のような予測不可能な歩行者やスクーター乗りの関わる危険な状況で運転する際に、常に警戒を怠らないことの重要性を強調している。」

これらの事例は、マルチモーダルLLMが単一のモダリティ（画像やテキスト）だけでなく、複数のモダリティ（ビデオ、テキスト）を統合して深い理解を生み出し、稀な事象に対しても人間のように状況を解釈し、適切な判断を下す可能性を秘めていることを示しています。この汎用的な理解能力こそが、自動運転の一般化の課題を解決する鍵となるかもしれません。

EMMA：エンドツーエンドの汎用自動運転モデルの構築

マルチモーダルLLMの可能性に着想を得て、プレゼンテーションでは、より一般化可能な自動運転システムを目指した研究「EMMA」（End-to-End Multimodal Model for Autonomous Driving）が紹介されました。EMMAは、GoogleのGeminiを基盤として構築されており、エンドツーエンドのモーションプランニングをシンプルながらも強力に実現します。

EMMAへの入力は多岐にわたります。高レベルの運転コマンド（「左折」「右折」「直進」など、まるでGoogle Mapsの指示のようなもの）はテキストで与えられます。また、現在の車両の歴史的状態やその他の状況もテキストで記述されます。これに加え、車両周囲の8つのカメラから得られる360度カバーのビデオ入力が与えられます。EMMAはこれらの情報を統合し、将来のウェイポイント（進路計画）を出力します。

このEMMAモデルは、以下の3つの主要な特徴によって、自動運転技術の課題解決に貢献します。

自己教師あり学習 (Self-supervised): 膨大な走行データから、過去の車の位置と将来の実際の軌道を教師データとして利用することで、モデルを自動的に、かつ大規模に訓練できます。これにより、ラベル付けのコストを大幅に削減し、スケーラビリティを向上させます。
カメラのみでの動作 (Camera-only): Geminiがカメラモデルであるため、EMMAもLiDARのような高価なセンサーに頼ることなく、カメラからの入力のみで動作します。これは、自動運転車のコスト削減と普及に大きく寄与する可能性を秘めています。
HDマップ不要 (HD map free): 従来の自動運転システムは、高精細な3Dマップ（HDマップ）に大きく依存していましたが、EMMAはGoogle Mapsのような一般的な地図情報を利用するだけで、HDマップを必要としません。HDマップの作成と維持には多大なコストと労力がかかるため、この特徴はスケーリングの大きな障壁を取り除きます。

実際に、EMMAは自動運転分野で最も人気のあるオープンループプランナーのベンチマークの一つである「nuScenes」において、そのシンプルさにもかかわらず、最先端（SOTA）の品質を達成しました。これは、マルチモーダルLLMの強力な汎化能力が、複雑な自動運転タスクに有効であることを明確に示しています。

説明可能な自動運転へ：Chain-of-Thought Reasoningの導入

エンドツーエンドモデルの欠点の一つは、その「説明可能性（Explainability）」の低さにあります。モデルが「なぜそのように運転したのか」という問いに対し、明確な根拠を示すことが難しいという課題です。安全性が最優先される自動運転において、この問題は重大です。

この課題に対処するため、EMMAには「Chain-of-Thought Reasoning」（思考の連鎖推論）が導入されました。これは、モデルが最終的な運転計画を出力する前に、その意思決定プロセスを言語で説明させるというアプローチです。

具体的には、EMMAは以下のステップで推論を行います。

重要なオブジェクトの識別: まず、与えられた運転シナリオのビデオとテキストから、周囲の「重要なオブジェクト」（例：自転車、他の車両）を特定します。
運転の根拠の説明: 次に、それらのオブジェクトの挙動や周囲の状況を考慮し、「なぜそのように運転すべきか」という根拠を言語で説明します。例えば、「自転車が交差点に近づいているため、衝突を避けるために減速すべきである」や、「前方の車両は同じ方向に動いているため、通常の速度を維持すべきである」といった具体的な理由付けを行います。
将来のウェイポイントの出力: この推論プロセスを経て、最終的な運転計画としての将来のウェイポイントを出力します。

このChain-of-Thought Reasoningを導入することで、EMMAは、単に優れた運転性能を発揮するだけでなく、「なぜその運転行動を選んだのか」という理由を人間が理解できる形で示すことができるようになります。これにより、モデルの透明性と信頼性が大幅に向上し、Waymo Open Motion Dataset（nuScenesの100倍以上の規模を持つ実世界の運転シナリオ）のような大規模なデータセットにおいても、WayformerやMotionLMといった他の最先端モデルを凌駕する性能を達成しました。これらの比較対象モデルが、精巧なオフボード知覚システムや高精細マップからの豊富な入力に依存しているのに対し、EMMAはより少ない入力で優れた結果を出しており、その汎化能力と効率性が際立っています。

さらに、Foundation Modelの持つスケーリング則がEMMAにも適用されることが示されました。より多くのデータでモデルを訓練し続けることで、性能（評価時のパープレキシティ）が継続的に改善されるという結果です。これは、EMMAが将来的にさらに高度な運転能力を獲得し、より複雑なシナリオにも対応できるようになる可能性を示唆しています。

EMMAの汎用性と実用性

EMMAは、単なるエンドツーエンドのプランナーにとどまらず、汎用的な自動運転モデルとしての側面も持っています。ビジョンと言語モデルの柔軟性を活かし、様々なタスクに対応できます。

例えば、特定のタスクプロンプト（例：「私の将来の運転行動は何ですか？」「3Dで全てを検出してください」「走行可能な道路グラフを推定してください」「前方の道路は一時的に封鎖されていますか？」）を入力として与えると、EMMAはそれに合わせた回答を生成し、可視化することができます。

3D物体検出: 特別な微調整なしに、EMMAはカメラ画像から3Dバウンディングボックスを生成し、Waymo Open Datasetにおいて車両と歩行者の両方で最先端に近い検出品質を達成しました。これは、EMMAが様々な知覚タスクを横断的に学習し、高い精度で実行できる汎用モデルであることを示しています。

EMMAのこれらの予測は、以下の点で優れています。

汎化能力 (Generalizability): 多様な実世界の運転シナリオや環境に適応するだけでなく、リスのような細かい分類カテゴリ以外のオブジェクトにも注意を払うことができます。
障害物回避 (Obstacle avoidance): 障害物、破片、閉鎖された車線などを回避するために、運転軌道を一貫して適切に調整します。
適応的挙動 (Adaptive behavior): 譲り合い、工事現場、交通規制信号など、複雑な状況を安全かつ人間的に処理する能力を示します。

これらの機能は、EMMAが自動運転システムにおける知覚と計画の両面で、人間のような柔軟性と頑健性を備えつつあることを示唆しています。

未来への挑戦：生成AIによるエンドツーエンドシミュレーションと評価

自動運転システムが実世界で安全に機能するためには、その性能を徹底的に評価し、検証することが不可欠です。しかし、実世界でのテストは時間、コスト、安全性といった面で大きな制約があります。

プレゼンテーションでは、自動運転モデルの評価方法として、オープンループ、シミュレーション、実世界の3つが挙げられました。

オープンループ評価: 記録された走行データに対してモデルの予測をチェックする方法で、コストは低いものの、モデルの行動が環境に与える影響を考慮しないため、忠実度は低〜中程度です。
シミュレーション評価: 仮想環境でモデルを走行させる方法で、コストと時間はある程度抑えつつ、モデルのインタラクションを評価できます。忠実度は中程度です。
実世界テスト: 実際に車両を走行させる方法で、最も忠実度が高い一方で、コストと時間が非常に高くかかります。

この課題に対し、プレゼンテーションでは、生成AI（GenAI）の最新の進歩を活用したエンドツーエンドシミュレーションという革新的なアプローチが提案されました。Google DeepMindのVeo 2のような生成AIは、非常にリアルな動画を生成できるようになっています。このリアルさを自動運転のシミュレーションに利用することで、以下のような可能性が生まれます。

センサーシミュレーション: 運転ビデオ生成モデルとエンドツーエンドプランナーを連携させることで、多様なシナリオの合成ビデオを生成し、それをプランナーへの入力として利用できます。
多様な条件下での評価: この生成モデルを使えば、晴天から雨天へ、昼間から夜間へ、といった様々な天候や時間帯の条件を自在に変更したビデオを生成し、プランナーの性能を詳細に評価できます。実際に、雨天時や夜間には、カメラベースのEMMAの性能が低下する傾向が確認されており、これは人間の直感とも一致する結果です。
合成データによるプランナー改善: 生成されたリアルな合成ビデオを、EMMAのようなプランナーの訓練データとして利用することで、モデルの汎化能力をさらに向上させることが期待されます。

最終的に、プレゼンテーションでは、モデルが生成した様々な都市景観、天候、時間帯のリアルな合成ビデオの数々が紹介されました。これは、GoogleとWaymoが一体となって、生成AIを活用し、自動運転の一般化の課題を解決し、より安全でスケーラブルな未来を実現するための継続的な研究の成果と言えるでしょう。

結論

自動運転技術は、1980年代のシンプルなニューラルネットワークから始まり、現在ではL4システムが実現する複雑な世界理解能力を持つに至りました。しかし、その真の普及には、稀な事象への対応（ロングテール問題）や、無限とも言える多様な環境への一般化が不可欠です。

この課題に対し、マルチモーダルLLMの台頭は、自動運転研究に新たな息吹を吹き込んでいます。Gemini 2.5 Proのようなモデルは、ビデオとテキストを統合して人間のように状況を解釈し、適切な判断を下す能力を示しました。さらに、GoogleのGeminiを基盤としたEMMAモデルは、自己教師あり学習、カメラのみでの動作、HDマップ不要という画期的な特徴を持ち、最先端の運転性能を達成しています。Chain-of-Thought Reasoningの導入は、モデルの意思決定プロセスを透明化し、安全性の確保に貢献します。

そして、リアルな動画を生成できるGenAI技術と、エンドツーエンドシミュレーションの組み合わせは、自動運転システムの評価と改善を加速させる強力なツールとなるでしょう。WaymoとGoogle DeepMindの連携は、このエキサイティングな研究分野において、Foundation Modelsと大規模な実世界データを組み合わせることで、自動運転の次の大きな飛躍を現実のものとしようとしています。私たちが目指すのは、単に「運転できる」車ではなく、あらゆる状況下で「安全に、賢く、そして信頼できる」真に自律的なモビリティの未来なのです。