Why_AI_needs_a_new_kind_of_supercomputer_network_—_the_OpenAI_Podcast_Ep._18

この記事は、以下の YouTube 動画の内容をまとめたものです。

AIモデル開発のボトルネックを打ち破る：OpenAIが切り拓くスーパーコンピューターネットワーキングの未来

現代のAI技術の驚異的な進化は、日夜、膨大な計算資源とデータ、そして何よりも革新的なアイデアを投入する研究者たちの努力によって支えられています。特に、大規模言語モデル（LLM）をはじめとするフロンティアAIモデルの開発においては、その規模の増大に伴い、従来の計算インフラストラクチャでは対応しきれない新たな課題が次々と浮上しています。

OpenAIは、このようなAI開発の最前線で、単にモデルの精度を高めるだけでなく、その基盤となる計算環境、特にスーパーコンピューターのネットワーキング技術そのものに革新をもたらそうとしています。本記事では、OpenAIポッドキャストのエピソードで紹介された、AIモデルのトレーニング効率を飛躍的に向上させる「AIスーパーコンピューターネットワーキング」におけるブレークスルーについて、その重要性、具体的な機能、ビジネスへの影響、そして将来性を深く掘り下げて解説します。

AIモデルトレーニングの新たなフロンティア：スケールアップがもたらす究極の課題

AIモデル、特に大規模なディープラーニングモデルのトレーニングは、莫大な計算能力を必要とします。この能力は、数千から数万ものGPU（Graphics Processing Unit）を連携させた「GPUクラスター」と呼ばれるスーパーコンピューターによって提供されます。しかし、これらのGPUを単に数多く集めれば良いというわけではありません。問題は、それらのGPUがどのように連携し、データをやり取りするか、つまり「ネットワーキング」にありました。

OpenAIのコアネットワーキングチームのMark Handley氏とワークロードシステムズのGreg Steinbrecher氏が語るように、AIモデルのトレーニングワークロードは、従来のデータセンターが想定してきたものとは根本的に異なります。

従来のデータセンターネットワークの特性：統計的多重化の限界 一般的なデータセンターのネットワークは、多数の異なるユーザーやアプリケーションがそれぞれ独立した通信を行うことを前提に設計されています。例えば、何百万ものユーザーが同時にウェブサイトを閲覧したり、メールを送受信したりする場合、個々の通信は予測不可能ですが、全体としては「大数の法則」によって通信量が平滑化され、ネットワークリソースが効率的に共有されます。これを「統計的多重化」と呼び、インターネットの設計思想の根幹をなすものです。このアプローチは、帯域幅の利用効率を高め、多様なサービスを低コストで提供する上で非常に効果的でした。

AIトレーニングワークロードの特殊性：ネットワークにとっての「最悪のシナリオ」 しかし、AIモデルのトレーニングはこれとは全く異なる性質を持っています。数千台のGPUが協調して「たった一つの巨大な計算（one big computation）」を、同期的に実行します。これは、まるでオーケストラのように、すべてのGPUが完璧なタイミングで互いにデータを交換し、次の計算ステップに進むことを意味します。

この同期的な性質が、ネットワークにとっての「最悪のシナリオ」を生み出します。

テールレイテンシーの増幅: 1台のGPUが何らかの理由でわずかに遅延すると、同期している他のすべてのGPUはその遅延に合わせて待機しなければなりません。このわずかな遅延（テールレイテンシー）が大規模なGPUクラスター全体に増幅され、トレーニング全体の速度を著しく低下させます。
障害の伝播: 従来のデータセンターでは、個々のサーバーやネットワークリンクの故障は、大数の法則によって全体的な影響が緩和されることが期待されていました。しかし、AIトレーニングでは、たった1つのリンクやGPUの故障が、同期している多数のGPUの計算ステップを無駄にし、最終的にはジョブ全体のクラッシュにつながる可能性があります。宇宙線がチップのビットを反転させるような稀なハードウェア障害でさえ、この巨大な協調計算にとっては致命的です。
帯域幅への途方もない要求: 全てのGPUが同時に、かつ同期的に大量のデータを交換するため、ネットワークは途方もないピーク帯域幅と低レイテンシーを提供しなければなりません。これは従来のネットワークが効率性よりも平均的なスループットを重視してきた点とは対照的です。

Mark Handley氏が、データセンターでのネットワーキングは「たった1つの建物内で合意形成すればよい」という点で標準化が容易であると語る一方、AIワークロードはまさにその「合意形成」のプロセス自体が極めて困難な、新しい種類の問題をもたらしているのです。

従来のネットワーク設計の限界とOpenAIの初期の苦悩

AIブームが始まり、大規模なGPUクラスターの構築が急務となる中で、Greg Steinbrecher氏は、当初は量子コンピューター向けに設計していた光制御チップがネットワークスイッチとして応用できないかというアイデアから、データセンターネットワーキングの世界に足を踏み入れました。そこで彼が直面したのは、アカデミアでは実際のデータセンターワークロードに関する知見が不足しているという現実でした。

OpenAIが初期にAIスーパーコンピューターを構築する際、彼らはまさにこれらの課題に直面しました。

故障率の増大: 数千から数万ものコンポーネントで構成される巨大なシステムでは、平均故障間隔 (MTBF) の法則により、常にどこかで何らかの障害が発生している状態になります。従来のネットワークプロトコルでは、リンク障害が発生すると、ルーティングテーブルの再収束に数秒から数十秒かかることがあり、その間、ネットワークは不安定になり、パケットロスが生じます。
パケットロスの影響: AIトレーニングにおいて、わずかなパケットロスも許容されません。1つのパケットが失われるだけで、GPU間の同期が崩れ、ジョブ全体がクラッシュし、それまでの数時間、あるいは数日間の計算が無駄になる可能性があります。再起動にも膨大な時間がかかります。
管理の複雑性: 従来のルーティングプロトコルは、障害発生時に自動的に経路を再計算しようとしますが、このプロセス自体が非常に複雑で予測困難であり、人間の介入が必要になることも多々ありました。Greg氏が「夜中に起こされる」という話は、この困難さを物語っています。

これらの問題は、AIモデルの開発サイクルを大幅に遅らせ、研究者の貴重な時間をモデル開発ではなくインフラトラブルの解決に費やさせることになりました。

革新的な解決策：MPRC (Multi-Path Reliable Connection) の核心

OpenAIはこれらの根本的な課題に対処するため、Microsoft、Nvidia、Broadcom、AMD、Intelといった業界の主要プレイヤーと協力し、MPRC（Multi-Path Reliable Connection）という革新的なプロトコルとネットワーク設計を生み出しました。MPRCは、従来のネットワーク設計思想を根底から覆し、AIトレーニングワークロードの特殊な要件に最適化されています。

MPRCの核心をなす技術は以下の通りです。

静的ルーティングとIPv6セグメントルーティングによるシンプル化:
- 従来のネットワークでは、ルーターが動的に最適な経路を決定していました。しかし、大規模なAIスーパーコンピューターでは、この動的なルーティングが障害発生時の不確実性や遅延の原因となっていました。
- MPRCでは、ネットワーク内のスイッチのルーティングプロトコルを完全にオフにし、静的ルーティングを採用しています。これにより、スイッチは非常に「愚か」な存在となり、単純にパケットを指定された次のホップに転送するだけになります。
- 経路の決定は、各パケットのヘッダーに埋め込まれたIPv6セグメントルーティング情報によって、送信元（GPU）側で行われます。これにより、ネットワークの中央で複雑なルーティング処理を行う必要がなくなり、ネットワークコアが大幅にシンプル化されます。
パケットのスプレーイングと均等なロードバランシング:
- 静的ルーティングと組み合わせることで、MPRCはデータストリームを複数の利用可能なネットワークパス（何千ものパスが存在し得る）に均等に「スプレー」します。
- これにより、ネットワーク全体に負荷が分散され、特定のリンクやスイッチに負荷が集中する「ホットスポット」の発生を防ぎます。
- 大数の法則に依存するのではなく、明示的な設計によってネットワークリソースを最大限に活用します。
パケットトリミングによる迅速な損失検知と回復:
- 輻輳や障害によってパケットが失われそうになった場合、スイッチはペイロード（実際のデータ）を破棄し、パケットヘッダーのみを転送します。
- 受信側のGPUは、この「トリミングされたヘッダー」を受け取ると、ペイロードが失われたことを即座に認識し、送信側に再送信を要求します。
- このアプローチにより、従来のプロトコルが直面していた「パケットが失われたのか、それとも単に経路が変更されて到着が遅れているだけなのか」という曖昧さが解消されます。受信側はすぐに損失を検知できるため、再送信までの時間が大幅に短縮されます。
- これにより、数ミリ秒という単位でネットワークの障害に対応し、自動的に修復する「自己修復型ネットワーク」が実現されます。
コデザインアプローチと垂直統合:
- MPRCの開発は、インフラストラクチャチームとAIモデル開発チームが密接に連携する「コデザイン」アプローチによって進められました。
- インフラチームは、モデル開発の具体的なニーズや、GPUがネットワークに対してどのような要求をするかを深く理解しました。
- 逆に、モデル開発チームは、ネットワークの制約や特性を考慮したモデル設計を行うことが可能になりました。
- この垂直統合的なアプローチにより、ハードウェア（GPU、スイッチ、光ファイバー）からソフトウェア（ネットワークプロトコル、モデルトレーニングフレームワーク）まで、スタック全体がAIトレーニングに最適化されます。

Greg Steinbrecher氏は、MPRCの導入後、OpenAIの研究者はネットワークの故障やボトルネックについて心配する必要がなくなったと語っています。彼らは「ネットワーク」という言葉さえ口にしなくなり、インフラストラクチャチームは「研究者がネットワークプロトコルを知る必要がなくなった時が、自分たちの勝利だ」と考えています。これは、ネットワークが研究者にとって透明な存在となり、彼らが創造的な仕事に完全に集中できる環境が実現したことを意味します。

MPRCがもたらすビジネスインパクトと将来性

MPRCは、OpenAIのAIモデル開発に多岐にわたるメリットをもたらし、その影響は業界全体に波及することが期待されます。

研究開発サイクルの劇的な加速:
- モデルトレーニング時間の短縮と信頼性の向上は、研究者がより多くの実験を行い、より迅速に新しいアイデアをテストすることを可能にします。これにより、AIモデルの進化速度が大幅に加速されます。
- 故障による中断が減少するため、高価なGPUリソースの稼働率が向上し、投資対効果が最大化されます。
コスト効率の向上:
- MPRCは、ネットワークの複雑性を減らし、よりフラットでシンプルなネットワーク構造を可能にします。これにより、より少ないスイッチで同等以上の性能を実現し、ハードウェアコストを削減できます。
- 電力消費量の削減にも貢献します。複雑なルーティングプロトコルの実行や、余分なネットワーク機器への電力供給が減り、GPUへの電力供給が最適化されるため、データセンター全体のエネルギー効率が向上します。
業界標準化とエコシステムへの貢献:
- OpenAIはMPRCの仕様をOpen Compute Project（OCP）を通じて公開し、オープンスタンダードとして提供しています。これは、AI開発におけるインフラストラクチャの課題が、特定の企業だけでなく、業界全体で共有され、協力して解決すべきものであるというOpenAIの強い信念を反映しています。
- Microsoft、Nvidia、Broadcom、AMD、Intelといった主要なパートナーとの共同開発は、MPRCが広範なハードウェアや環境で動作し、将来的にAI業界のデファクトスタンダードとなる可能性を示唆しています。
- オープンなアプローチにより、より多くの企業や研究機関がMPRCを採用し、Ethernet上に構築された共有基盤上でAIインフラのイノベーションを加速させることができます。
「無限のフロンティア」への挑戦：今後の展望:
- Mark Handley氏が「Ethernetはまだスケールし続けるだろう」と語るように、MPRCは既存のEthernet技術の進化の波に乗り続けることで、さらなる大規模化に対応できます。
- この技術は、地球上のデータセンターだけでなく、将来的には宇宙空間のような極限環境でのAIコンピューティングにも応用が期待されます。宇宙空間では、ハードウェアの故障率が非常に高く、人間の介入が困難であるため、自己修復型で信頼性の高いMPRCのようなネットワークは不可欠となるでしょう。
- 「より多くの地球上のコンピューターセンターを構築する」というGreg Steinbrecher氏の言葉は、AIの発展がまだ初期段階にあり、その潜在能力を最大限に引き出すためには、計算資源の物理的な拡張が不可欠であることを示唆しています。

まとめ：AIインフラの未来は、協調と革新の中にある

OpenAIがMPRCを通じて達成したブレークスルーは、AIモデルの開発を加速し、研究者がより創造的な仕事に集中できる環境を整える上で極めて重要な意味を持ちます。これは単なる技術的な改良にとどまらず、AI開発のプロセスそのものに変革をもたらすものです。

AIの未来は、モデルやアルゴリズムの進歩だけでなく、それを支えるインフラストラクチャの堅牢性、効率性、そして拡張性にかかっています。MPRCは、そのインフラストラクチャの最も困難な課題の一つを解決し、AIのフロンティアをさらに押し広げるための強力な基盤を提供します。そして、この技術がオープンスタンダードとして共有されることで、OpenAIだけでなく、世界中の誰もがAIの新たな可能性を追求し、より賢く、より生産的な未来を創造するための道を拓くことになるでしょう。

AIの進化は止まることを知りません。そして、OpenAIと業界のパートナーたちが示すように、その進化を支えるインフラの革新もまた、新たな地平を切り開き続けています。私たちは、この協調と革新の波が、どのような驚くべきAIの未来をもたらしてくれるのか、大いに期待するべきでしょう。