T最新テックトレンド

GKEとAI Hypercomputerが拓く、スケーラブルでセキュアなAI対応コンテナプラットフォームの未来

Google Cloud Tech
0:00--:--

私たちは今、人工知能（AI）の歴史において、かつてないほど急速な進化の時代に生きています。ほんの数年前には、数百億のパラメータを持つモデルが最先端とされていましたが、今日では数兆パラメータを持つモデルが当たり前のように登場しています。これは、わずか数年でインフラストラクチャに対する需要が約10倍に膨れ上がったことを意味します。

この爆発的な成長は、AI開発の風景を根本から変えつつあります。もはや、巨大な基盤モデル（Foundation Models）の事前学習や、SFT（Supervised Fine-Tuning）や強化学習のような後続のファインチューニングだけの話ではありません。私たちは今、**「推論（Test Time Scaling or Reasoning）」**の時代へと突入しており、AIモデルが実際のアプリケーションでリアルタイムに機能する能力が極めて重要になっています。変化の量と速さは、まさに息をのむほどです。

このような劇的な変化に対応するためには、単に強力で効率的なだけでなく、AIの絶え間なく変化する要求に適応できるインフラストラクチャが不可欠です。本記事では、Google Cloudが提供する**「AI Hypercomputer」と、コンテナオーケストレーションの最先端を行く「Google Kubernetes Engine (GKE)」**が、いかにしてこの課題に応え、AI開発と運用を次のレベルへと引き上げるのかを、深く掘り下げて解説します。

AIインフラの新たな標準：Google Cloudの「AI Hypercomputer」とは

Google CloudでAIソリューションを構築するということは、Googleが自社の惑星規模サービスを動かす、まさにその技術インフラストラクチャ上で実行することを意味します。考えてみてください。これは、Google DeepMind、Google検索、YouTube、Gmailといった、世界中の何十億ものユーザーを支えるサービスが要求する過酷な負荷を処理するために、何十年にもわたってエンジニアリングされ、実戦でテストされ、最適化されてきた基盤です。

Google Cloudでは、この並外れたインフラストラクチャを**「AI Hypercomputer」と呼んでいます。これは、Googleが惑星規模でインフラを運用してきた数十年の経験から生まれたものです。私たちの目標は、モデルの事前学習からファインチューニング、そして本番環境へのデプロイに至るまで、AIライフサイクル全体にわたって、お客様に選択肢、柔軟性、効率性、そしてスケーラビリティ**を提供することです。

このAI Hypercomputerの基盤となっているのは、以下の目的に特化して構築されたハードウェアです。

  1. カスタム設計のTPU (Tensor Processing Units): Googleが独自に開発したTPUは、AIワークロードに最適化されたアクセラレータです。驚くべきことに、TPUをお使いのお客様は、Geminiモデルを動かすのと同じハードウェアとソフトウェアスタック（JAX、XLA、カスタムカーネル）を利用しています。そう、Googleの最先端AIモデルであるGeminiのすべてはTPU上で構築・提供されており、その強力なインフラがGoogle Cloudを通じてお客様にも提供されているのです。

  2. 最新のNVIDIA GPU: GPUを利用するお客様は、GoogleとNVIDIAの深いパートナーシップとコラボレーションから恩恵を受けます。これは、強化された信頼性、最適化された通信ライブラリ（NCCLなど）、そして大規模なトレーニング向けに設計された堅牢なフレームワークを意味します。

TPU、GPU、あるいはその両方を使用する場合でも、Google Cloudの約束はシンプルです。Googleは、自社の非常に要求の厳しいAIワークロードのために最高のAIインフラを構築し、その機能をGoogle Cloudを通じて誰にでも簡単に利用できるように提供します。お客様は、基盤となるインフラの複雑さを心配することなく、数十年にわたるGoogleのエンジニアリング専門知識とイノベーションを活用し、自身の重要なビジネス課題の解決に完全に集中できるようになるのです。

ここからは、AI HypercomputerがAIトレーニングと推論の両方でいかにこの約束を果たすのかを詳しく見ていきましょう。

AIトレーニングの壁を打ち破る：Goodput最大化の秘訣

複雑なAIモデル、特に大規模なモデルをトレーニングする場合、効率性は単なる「あれば良いもの」ではなく、**「必須のもの」**です。核となる課題を考えてみましょう。TPU、GPU、ネットワーク帯域幅、ストレージ容量といった、利用可能なインフラストラクチャの量と、モデルを可能な限り効率的にトレーニングするというデッドラインが存在します。

では、この文脈における「効率性」とは具体的に何を意味するのでしょうか？それは、たった一つの重要な問いに集約されます。「トレーニングジョブの全期間にわたって、モデルが達成する『有用な作業』、つまり実際の進捗をいかに最大化するか？」 Google Cloudでは、これを**「Goodputの最大化」**と呼んでいます。

Goodputは、単なる生の処理能力の話ではありません。無駄なサイクルの最小化、障害からの迅速な回復、そして高価なアクセラレータの時間がトレーニングやファインチューニングに有意義に貢献することの確保が重要になります。

大規模AIトレーニングの複雑な現実と課題

Goodputの最大化はシンプルに聞こえるかもしれませんが、現実の大規模AIトレーニングは非常に複雑であり、一貫して高いGoodputを達成することは極めて困難です。以下の図（プレゼンテーションで示された赤と青のラインを想像してください）は、典型的な大規模トレーニングジョブの簡略化された、しかし現実的なビューを示しています。

  • 理想的な進捗（破線の赤線）: 開始から終了までスムーズで一貫した実行。
  • 実際の現実（実線の青線）: 理想との間に大きなギャップがあります。

このギャップが生まれる理由を掘り下げてみましょう。

  1. 初期の非効率性: クラスターをプロビジョニングし、トレーニングを開始する時点から非効率性が生じる可能性があります。例えば、クラスター内のVMが適切にプロビジョニングされ、コロケーションされていない場合、最初から最適なトレーニングレートが得られないことがあります。
  2. チェックポイントのオーバーヘッド: 障害から保護するために、トレーニングの進捗を定期的に保存する「チェックポイント」は非常に重要です。しかし、チェックポイントを実行するたびに、トレーニングジョブを一時停止し、アクセラレータはアイドル状態になります。これにより、追加のオーバーヘッドが発生します。
  3. 避けられない中断: 特に長期間にわたる大規模なトレーニングジョブでは、大量の計算リソースを使用するため、障害は避けられません。これはハードウェア障害、プリエンプション（リソースの割り込み）、あるいは計画メンテナンスが原因で発生します。中断が発生すると、ジョブは停止し、最後に成功したチェックポイントから再起動する必要があります。この再起動プロセス自体にも時間と計算リソースが必要です。

理想的な赤線と現実的な青線の間のギャップは、市場投入までの時間の増加と、コストの増加を意味します。このコスト増加は、Googleの内部推定によると、非常に significant です。トレーニングのGoodputをわずか1パーセントポイント改善するだけで、典型的な大規模トレーニングジョブの期間中に100万ドル以上の節約につながる可能性があります。 100万ドルは、お客様の利益に大きな影響を与える金額です。

AI HypercomputerによるGoodput最大化のメカニズム

このように、信頼性と効率性を両立したトレーニングがいかに大きな課題であるかを理解いただけたでしょうか。しかし、ここには素晴らしいニュースがあります。AI Hypercomputerが、この課題を解決するためにここにあります。

AI Hypercomputerは、ジョブライフサイクル全体を通じてGoodputを最大化するために、以下のような方法で貢献します。

  1. スタートアップの簡素化: ジョブが開始される前から、GoogleはDeep Learning Containers、Nvidia NeMoのようなフレームワークとの統合、そして事前に定義されたGoodputレシピといったツールを提供することで、お客様が簡単にスタートできるように支援します。これにより、起動時間を短縮し、潜在的なエラーを最小限に抑えます。

  2. マルチティアチェックポイントの最適化: 先ほど述べたチェックポイントのオーバーヘッドを覚えていますか？AI Hypercomputerは、**「マルチティアチェックポイント」**と呼ばれる機能でこれを最適化します。これにより、より高速で頻繁な保存が可能になり、中断が最小限に抑えられ、トレーニング時間が最適化されます。

  3. 画期的な「エラスティックトレーニング」: 大規模トレーニングにおいて真の魔法が起こるのが、Goodputを最大化する**「エラスティックトレーニング」**です。この基本的なアイデアは、ノードが避けられない障害を起こした際に、AI Hypercomputerが自動的にそれを検出し、以下のような対応を取ることでトレーニングの継続性を確保することです。

    • インプレース再起動: 軽微なエラーや一時的な問題の場合、同じリソースフットプリント上で、最後の既知の良好な状態からジョブを再開します。
    • ホットスワップ: ハードウェア障害のようなより深刻なエラーの場合、診断サービスがそれを「修正不能」と判断します。その際、もし予備容量があれば、新しいノード（プレゼンテーションでは緑色で示された新しいノードを想像してください）をプロビジョニングし、不良ノードと交換します。これにより、トレーニングはほとんど中断なく続行されます。
    • インテリジェントなジョブサイズ変更: 予約を完全に使い切ってしまったり、その他の理由で容量が利用できない場合はどうなるでしょうか？その場合、AI Hypercomputerはトレーニングジョブをインテリジェントにスケールダウンすることができます。異なる並列化技術を使用することで、リソースが削減されたフットプリント上でトレーニングを中断せずに続行させ、リソースが再び利用可能になった際には自動的にスケールアップします。

このすべてから私が強調したい重要な点は、AI Hypercomputerが単に生の処理能力を提供するだけでなく、AIトレーニングジョブが実行すべき有用な作業を最大化するために特別に設計された、インテリジェントで堅牢かつ自動化されたシステムであるということです。これにより、無駄な時間とコストが削減され、AI開発ライフサイクルが加速されます。

GKEによる大規模クラスタ管理とGoodput向上実績

GKEとAI Hypercomputerは、Goodputとトレーニング効率を最大化する非常に有用な機能を提供します。そして、もう一つの重要なポイントは、これを大規模なスケールで実現することです。GKEは、最大65,000ノード、150,000アクセラレータチップという、最大のクラスターを管理できます。

これらの堅牢性（resilience）機能は、具体的なGoodput改善につながります。例えば、チェックポイントの最適化はGoodputを最大6%向上させることができます。また、不良ノードを良質なノードに置き換える自動ホットスワップは、追加で4～5%のGoodput向上をもたらします。これは、モデルが実際に実行されている「有用な時間」を最大化し、結果までのパスを加速し、コストを削減することに直結するのです。

AI推論の未来をコスト効率化：VLMとGKEがもたらす革新

これまでトレーニングについて多くの時間を割いてきましたが、モデルをトレーニングまたはファインチューニングした後に極めて重要になるのが**「推論」**です。では、AI HypercomputerとGKEは、どのようにして推論の効率性を最大化するのでしょうか？

AI推論にとって、コスト効率性が実は主要な指標となります。ダイナミクスを考えてみましょう。トレーニングは大規模なジョブですが、最終的には時間制限のあるジョブです。対照的に、推論は24時間365日稼働し、常にユーザーのリクエストに対応します。主な目的は、可能な限りコスト効率的に予測を提供することです。

しかし、この文脈におけるコスト効率性とは何を意味するのでしょうか？それは、適切なバランスを見つけることです。許容可能なレイテンシ範囲内で予測を提供し、スループット目標を達成しつつ、同時にインフラコストを最小限に抑える必要があります。これには、インテリジェントなスケーリング、タスクに適したハードウェアの選択、そしてアイドルリソースの最小化が必要です。高価なアクセラレータを、実際にユーザーのトラフィックに対応していないデプロイメントで無駄にすることは、収益を破壊する大きな要因となりかねません。

AI推論の難しさとAI Hypercomputerによる解決策

しかし、コスト効率的なモデル推論を達成することは、実際には非常に困難です。その理由は、それが従来のWebサービングと大きく異なるからです。

  • はるかに高いコンピューティングとメモリ要件。
  • 複雑なマルチホストおよび分離されたサービング要件。
  • 技術の最先端が常に変化している。

GKEのような強力で柔軟なプラットフォームがなければ、パフォーマンスとコストの両方を最適化することは、技術の進化が非常に速い現状では事実上不可能です。ここでも、AI Hypercomputerが解決策を提供します。

  1. VLMのTPUバックエンドサポート: 多くの方が、主要なオープンソース推論エンジンであるVLMをご存知でしょう。VLMコミュニティの関与と成長は目覚ましいものがあります。そして本日、Googleは大きなマイルストーンを発表しました。VLMチームとVLMコミュニティとの協力により、VLMに高性能なTPUバックエンドが追加されました！

    VLMに高性能なTPUバックエンドが追加されることは、お客様にとってどのような意味を持つのでしょうか？これは非常に大きなことです。なぜなら、これによりTPUとGPUの間で、なじみのあるVLMのインターフェースとユーザーエクスペリエンスを使用して、モデルとサービングをシームレスに移植できるようになるからです。お客様はTPUのパフォーマンス、スケーラビリティ、コスト効率性を活用できるようになります。

    最高の点は、コード変更が一切不要であり、GKEのおかげで設定変更すら不要であることです。これにより、VLMの巨大なエコシステムを活用しながら、TPUのコスト効率とパフォーマンスにもアクセスできるようになります。これはMLOpsを簡素化し、ベンダーロックインを減らし、GKEがお客様の特定のニーズに最適なアクセラレータを選択できるようにします。

  2. GKEカスタムコンピュートクラスとの連携による自動スケーリング戦略: VLMがTPUとGPUをサポートすることは素晴らしいですが、実際にどのように機能するのでしょうか？単一のGKEクラスター内でコストとパフォーマンスの両方を最適化する方法を簡単に説明します。

    VLMの新しいTPUサポートとGKEのカスタムコンピュートクラスのおかげで、同じデプロイメントでTPUとGPUを組み合わせることが可能になりました。この例では、GKEクラスターがあり、ユーザーのトラフィックが増加すると、GKEはまずVLMを実行しているTPUノードをスケールアップし、TPUのコスト効率とパフォーマンスのメリットを活用します。

    しかし、TPUの予約を完全に使い切ってしまった場合はどうなるでしょうか？その場合、GKEは自動的にコスト効率の高いGPUスポットノードプールにフォールバックします。そして、そこからさらに必要であれば、GPUオンデマンドノードプールにフォールバックします。

    VLMはコード変更なしでTPUとGPUの両方で実行されるため、このデプロイメントは両方のアクセラレータを利用し、需要の変動中にコストを最適化できます。つまり、GKEはVLMが提供する柔軟性と相まって、**TPUやGPUといった異なるアクセラレータタイプ間、さらには予約、スポット、オンデマンドといった異なる消費モデル間でも、同じモデルを自動的にスケーリングして提供できます。**しかも、コードや設定の変更は一切不要です。なんて素晴らしいのでしょう！

  3. GKE Inference Gateway: もちろん、GKEは高度なAI推論のためにさらに多くの機能を提供します。例えば、GKE Inference Gatewayは、AIサービングのパフォーマンスを向上させ、GPUとTPUの利用率を最大化します。

    お客様のワークロードへの影響は非常に大きいです。これらのGKE機能を活用することで、Google Cloudの顧客は、最適化されていないソリューションと比較して、コストを最大30%削減、テールレイテンシを最大60%削減、スループットを最大40%向上させています。

「GPUが足りない」を過去にする：アクセラレータ入手性の劇的改善

Alexはトレーニングと推論について話しましたが、多くのスタートアップや小規模IT組織のチームが直面する非常に一般的な課題として、GPUとTPUへのアクセスも挙げられます。

今日、お客様がトレーニングと推論に消費する計算能力は、18ヶ月前と比較して8倍以上に増加しています。その結果、需要が非常に高いため、十分なGPUとTPUを入手することが難しくなることがあります。

スタートアップ企業から一貫して耳にするのは、トレーニングワークロードが非常にバースト的であるということです。集中的なトレーニングが必要な期間もあれば、それほど必要ない期間もあります。サービングワークロードでは、需要が大きく変動し、予測不能です。明日や1週間後の需要がどうなるかさえ分かりません。そのため、本番環境でサービングを行う際に必要な容量を予測することが難しくなります。そして、お客様は「オプション性」を維持したいと考えます。このような変動性や予測不能なニーズがある場合、長期的なコミットメントに縛られたくありません。

Googleは、推論やトレーニングのワークロードを検討する際にこの課題に対処するために多額の投資を行ってきました。この課題は、エンドユーザーの推論に対する非常に予測不能な需要や、研究者やMLエンジニアが予測不能な方法でバッチジョブを開始するトレーニングの需要と似ています。ここでは、単純に一定量の容量を予約するアプローチでは、無駄な支出につながる可能性があります。

Googleはより良い方法を提供できると考え、コスト効率よく容量にアクセスし、オプション性を維持し、非常に手頃な価格で利用できるようにするための多くのイノベーションについてご紹介します。

  1. カスタムコンピュートクラス (Custom Compute Classes)： カスタムコンピュートクラスは、GKEにおける革新的な機能であり、現在一般提供されています。これにより、アプリケーションが使用したいマシンタイプとプロビジョニング方法の優先順位付きリストを定義できます。

    例えば、お客様は次のように指定できます。

    • 「まず特定のGCE予約を使用したい」
    • 「その予約インスタンスがすべてプロビジョニング済みで利用できない場合は、任意のGCE予約にフォールバックする」
    • 「それらも利用できない場合は、スポットインスタンスにフォールバックし、次にオンデマンドにフォールバックする」といった形です。

    これにより、リソースを調達する戦略に合わせて、コスト効率よく最適な方法で入手性を最大化できます。予約容量、コミット容量、オンデマンド、スポット、そして次に説明するダイナミックワークロードスケジューラを含むすべてのプロビジョニング方法がサポートされています。GKEは、需要が減少すると、優先度の低いインスタンスを自動的に停止し、基盤となるノード容量を需要に合わせて積極的に調整します。お客様側での追加作業は不要です。すべての差別化されていない重い作業はGKEが引き受け、お客様は事前の設定で好みを定義するだけです。Shopifyのような顧客は、既にカスタムコンピュートクラスの恩恵を受けており、大規模なスケーリングが必要なイベントで重要な役割を果たしています。

  2. ダイナミックワークロードスケジューラ（DWS - Dynamic Workload Scheduler）: DWSは、バッチワークロードやトレーニングワークロード、あるいはレイテンシにそれほど敏感でないその他のワークロード向けに容量を確保するための優れたツールです。

    • 利用方法: お客様は、特定のタイプのノード、計算能力、メモリなど、必要な容量をリクエストするだけです。
    • 容量の提供: GKEは、DWS向けに特別に用意された容量プールから容量を自動的に探します。
    • メリット: コストを節約でき、事前のコミットメントやロックインは不要です。一度VMがワークロード向けにプロビジョニングされると、最長7日間はプリエンプション（割り込み）やメンテナンスウィンドウなしでVMを利用できます。

    Two Sigmaのような顧客は、DWSがGPUの入手性を大幅に向上させることを発見しました。Oxa Autonomyのような顧客は、DWSを使用することでコストを大幅に削減し、多額の費用を節約できています。

    さらに、DWSには推論ワークロード向けに素晴らしい新機能が追加されました。DWSは1年以上前からバッチワークロードで利用可能でしたが、今日から導入される多くの新機能により、DWSは本番環境のサービングワークロードにも最適になります。

    • キューイングオプション: DWSを使用して容量をリクエストする際、そのリクエストをキューに入れるかどうかを指定できます。もしキューに入れないと指定した場合、ノードはすぐにプロビジョニングされるか、容量が即座に利用できない場合は「在庫切れ」が返されます。
    • カスタムコンピュートクラスとの連携: カスタムコンピュートクラスのフォールバックオプションの一つとしてDWSを含めることができるようになりました。
    • 価格メリット: 特定のマシンタイプとアクセラレータでDWSを使用する際、大幅なコスト削減につながる価格メリットが導入されます。 これらの機能は、DWS Flex Startとして、本番環境のサービングワークロードの入手性を向上させるための素晴らしい選択肢となります。

  3. ダイナミックワークロードカレンダーモード (Dynamic Workload Calendar Mode): 名前が示すように、カレンダーモードでは、容量の開始日と終了日を指定できます。

    • 利用方法: リクエストを送信し、それが確認されると、指定した期間（最長90日間）の容量が保証されます。
    • 用途: 製品発表会など、ワークロードの需要が大幅に急増することがわかっている場合や、特定の期間に大規模なトレーニングジョブを実行し、容量が確実に利用可能であることを保証したい場合に非常に有効な選択肢です。

    Pumaのような顧客は、DWSカレンダーモードを使用して、重要なビジネスクリティカルなイベントに必要な容量を高い確実性で確保しています。Databricksのような顧客は、DWSカレンダーモードがGPU容量の確保の負担を軽減するのに役立つと評価しており、必要な瞬間にGPUの入手性を真に向上させています。

  4. NVIDIA H100 GPUの柔軟な提供: 入手性を向上させるもう一つの革新は、Google CloudがNVIDIA H100 GPUへの多くの柔軟性とアクセスを提供していることです。他のほとんどのクラウドプロバイダーは、1つのGPUで8つのH100を提供する構成が主です。Googleもその構成を提供しますが、さらに1、2、または4つのNVIDIA H100 GPUを1つのGPUで選択できるオプションも提供しています。

    これはコスト削減に大きく貢献します。なぜなら、お客様のワークロード、特に推論ワークロードでは、8つのH100 GPUすべてが必要ない場合があるからです。1つか2つで十分な場合もあるでしょう。そのため、必要な分だけプロビジョニングでき、必要以上に大きなVMをプロビジョニングして過剰な支払いをするか、複数のワークロードを同じVMにビンパッキングする手間に対処する必要がありません。

    コスト削減だけでなく、入手性の向上にも貢献します。なぜなら、これにより、トレーニングまたはサービングワークロード向けにリクエストしてアクセスできるノード形状がさらに増えるからです。

Googleは、このようにアクセラレータの入手性という大きな分野に多大な投資を行ってきました。次に、小規模なプラットフォームチームやIT組織を持つチームを支援するために、Googleがいかに日々の運用（Day2オペレーション）体験を改善しているかについてお話ししましょう。

運用を自動化し、開発を加速する：Day2オペレーションの最適化

端的に言えば、お客様は「差別化されない重労働」をあまりしたくないと考えています。これはスタートアップや小規模ITチームから常に聞かれることです。Googleは、お客様がビジネスにとって重要なことに集中できるよう、その作業をGoogle自身が引き受けたいと考えています。

また、多くのお客様と話す中で耳にするもう一つの共通のテーマは、市場投入までの時間が極めて重要であるということです。新しいAIイノベーションでできるだけ早く市場に到達したいと考えており、各イテレーションに長い時間がかかり、製品の改善が滞るような状況に陥りたくありません。多くの組織、特に小規模な組織では、大規模なITチームを抱えていない傾向があります。そのため、Googleは、お客様からのフィードバックに基づいて、Day2オペレーションを改善するために多額の投資を行ってきました。

  1. マネージドDCGMメトリクス: **DCGM（NVIDIA Data Center GPU Manager）**は、GPUの利用状況を把握し、最適化に役立つ豊富なメトリクスを提供する一般的なNVIDIAライブラリです。しかし、お客様はメトリクスの収集、それらを表示するダッシュボードの構築、あるいはアラートルールの作成といった作業に責任を持ちたくないでしょう。

    そこでGoogleは、その負担をお客様から取り除きました。たった一つの設定で、これらのDCGMメトリクスを公開するエクスポーター、マネージドコレクター、そしてすべてのメトリクスを表示する事前構築済みのダッシュボードを有効にできます。GKEがこれらすべてをお客様に代わって管理します。

  2. マネージドAI推論メトリクス: AIワークロードをサービングしている場合、DCGMメトリクスで得られるインフラストラクチャメトリクスやGPUメトリクスと同様のメリットを、モデルサーバーについても得られるようになりました。例えば、VLM、NVIDIA Triton、TGI、TorchServe、JetStreamなどのサーバーを使用している場合、スループットなどの一般的なモデルサーバーメトリクスを収集し、お客様のために事前構築されたダッシュボードで表示します。

    これは、オブザーバビリティ、モニタリング、デバッグに伴う多くの差別化されない重労働を軽減する素晴らしい方法です。たった一つのフラグで、Googleがその負担をお客様から取り除きます。

  3. マネージドAIトレーニングメトリクス: 推論だけでなく、トレーニングにも同様の支援を提供しています。GKEを使用してトレーニングジョブやバッチジョブを実行している場合、障害が発生した際の**平均回復時間（Mean Time To Recover）**や、**中断間の平均時間（Mean Time Between Interruptions）**といったメトリクスを自動で取得できます。Kubernetes Job SetsやGKEを使用している場合、これらは自動的に提供されます。Googleはメトリクスをすぐに収集し、お客様のために構築されたダッシュボードで表示します。

  4. GKE Autopilot (GA): お客様が一般的に直面するもう一つの負担は、基盤となるインフラストラクチャ、つまりノードの管理です。数年前、GoogleはGKE Autopilotを一般提供しました。

    Autopilotは、GKEにおける運用モードの一つで、基盤となるコンピューティング（ノード）がGKEによってお客様に代わって管理されます。これにより、アプリケーション開発者はワークロードが必要とするリソースを指定するだけでよくなり、GKEがワークロードのリソース要件を満たすノードを提供する責任を負います。

    お客様はGoogleをSREとして利用でき、PodレベルでのSLAが提供されます。お客様からは、Googleがノードとノードインフラストラクチャに伴う多くの差別化されない重労働を管理してくれることで、総所有コスト（TCO）において素晴らしいメリットがあるという声が聞かれます。フランスを拠点とするスタートアップのPhoxのような顧客は、GKE Autopilotが多くのGPUアクセラレーテッドワークロードのインフラ管理を抽象化する上で非常に役立つことを発見しました。Autopilotは一般提供されており、GKE Standardで提供されるのと同じインフラストラクチャがすべてAutopilotでも利用できます。

  5. Rayアドオン: 多くのお客様はRayに興味を持っている、あるいは初期段階でRayを検討していると話します。Rayについてご存知ない方のために説明すると、Rayは多くのデータサイエンティストやML研究者が愛用する、Pythonネイティブの素晴らしいライブラリツールセットです。

    GKEでは、Rayアドオンを提供しており、お客様に代わってKubernetesのRay Operatorを管理します。GKE APIに渡すたった一つのフラグで、KubernetesのRay Operatorを運用します。これにより、先ほどお話ししたDWSとの統合のすべてのメリットが得られ、ログやメトリクスはGoogle Cloudのオブザーバビリティスイートと統合されます。

このように、Googleは、小規模なITチームやプラットフォームチームを持つお客様が、GKEとAI Hypercomputer上で動作するAIワークロードを最大限に活用できるよう、多くのことを行っています。

実例から学ぶ：Augmentの挑戦とGKE/AI Hypercomputerの活用

ここからは、GKEとAI Hypercomputerを実際に利用している顧客事例として、Augmentがどのようにこれらの技術を活用しているかについて、深く掘り下げてご紹介しましょう。

Augmentは、ソフトウェアエンジニア向けのAIアプリケーションを構築しています。AIによるソフトウェア開発に関する多くの話題は、「vibe coding」や「ゼロからイチ」のアプローチ、つまり自然言語の記述からソフトウェアを生成するもので、開発者ではない人でもプログラミングができるようにするというものが多いです。しかしAugmentは、問題の逆の側面からアプローチしています。

Augmentが支援するのは、数千万行規模のコードベースを担当するソフトウェアエンジニアです。彼らの多くはGCPのようなサービス上で稼働しており、AugmentはAI HypercomputerとGKEのプラットフォームを活用して、彼らが劇的に効率よく仕事ができるように支援しています。

Augmentのテクノロジーとユニークなアプローチ

Augmentがこの実現のために提供するツールと機能は以下の通りです。

  1. リアルタイムセマンティックインデックスの構築: Augmentは、大規模なコードベースのリアルタイムセマンティックインデックスを構築します。これにより、特定のAI操作を実行しようとする際に、正確に適切なコンテキストを選択できるようになります。大規模なコードベースをAIモデルにそのままコンテキストとして渡すことはできないため、この選択的アプローチが非常に重要です。また、「リアルタイム」であることも強調されます。なぜなら、ブランチをプルしたり、何かをチェックインするたびに、AIは常に最新のコードを知っている必要があるからです。

  2. IDEの選択肢: 開発者は、使い慣れたIDE（統合開発環境）をそのまま使用できます。MicrosoftのVS Code、JetBrainsのエコシステム、さらにはVimなど、様々なIDEをサポートしています。

  3. セキュリティへの徹底した注力: Augmentはセキュリティに非常に力を入れています。彼らは1年以上前に、AIとしては初のSOC 2レベル2コンプライアンスを取得しました。AugmentのAIは、開発者がアクセス権を持つコードのみを参照します。そのため、AIが知的財産を漏洩させたり、アクセス権のない情報にアクセスしたりするリスクは一切ありません。

  4. モデル管理の自動化: Augmentはユーザーのためにモデルを管理します。オープンソースモデルをファインチューニングした独自のカスタムモデルと、Vertex AIを通じてアクセスするフロンティアモデルを組み合わせて使用します。通常、単一のクエリの背後には6〜7種類のモデルが動作しており、GCPがこのプラットフォームの構築を可能にしています。

AugmentのデモとAIエージェントの可能性

（プレゼンテーションで示されたデモの様子を想像してください。） Augmentはチャットインターフェースを提供しており、例えば「現在のリポジトリについて教えて」と入力すると、AIがコードベースを解析し、それがモノレポであり、様々なサービスが組み合わさっていることを説明します。さらに、「主要なサービスを教えて」と尋ねると、マイクロサービスを列挙してくれます。これは、新しいコードベースに慣れるための素晴らしい方法であり、AIとの対話を通じて深く掘り下げることができます。

さらに強力なのはエージェントモードです。プレゼンテーションでは、リニアチケット（タスク管理システム）に記載された、数千万行規模のオーダーコードベースに機能拡張を行うタスクがエージェントに与えられました。エージェントは自動的に作業を開始し、以下のような処理を進めます。

  • まず意味解析を行い、セッションIDを特定のデータ構造に追加するというタスクに対し、セッションIDが他のデータ構造に既に存在することを確認します。
  • その既存のアプローチを参考に、データがデータベースに永続化され、読み込まれる方法も更新します。
  • SQLクエリ内の組み込みJSONを更新したり、テストに変更を加えたりといった一連の作業を実行します。
  • すべての作業が完了すると、その内容を要約して提示し、開発者はその変更を保持するかどうかを選択したり、変更内容を確認したり、テストを更新して実行したりできます。
  • エージェントは、通常、テストを実行し、失敗した結果を確認し、それに基づいて修正を行う能力を持っています。これにより、ソフトウェアエンジニアリングにおける面倒で楽しくない側面の多くを、エージェントに任せることが可能になります。

AugmentがGKEとAI Hypercomputerから得るメリット

Augmentは過去3年間、GCP上でシステムを構築してきました。彼らの活用事例は、AI HypercomputerとGKEの真価を物語っています。

  1. GKEによる大規模GPU管理と俊敏性: Augmentは、数千ものGPUをGKEで管理しています。驚くべきことに、先週、需要の急増に対応するため、さらに500ものGPUを要求したところ、Googleは24時間以内にそのリクエストに対応できたと言います。このような需要スパイクへの対応力は、彼らにとって非常に貴重です。

  2. GCPサービスの広範な活用: Augmentは、GCPの様々なサービスを広範囲にわたって活用しています。

    • Bigtable: 毎秒メガバイトオーダーのデータをBigtableに書き込み、読み出すことで、大規模なデータ処理を実現しています。
    • Pub/Sub: 毎秒約40,000ファイルという驚異的なスループットで、前述のリアルタイムセマンティックインデックスの基盤となっています。 Augmentのエンジニアリングチームは、これらのシステムが中断することなく動作することに大きな価値を見出しています。問題が発生した場合でも、その99%はAugment自身のコードにあるため、迅速に解決できます。基盤となるプラットフォームからの問題は非常に稀であり、クラウド環境においてはこれ以上ないほど素晴らしい状況であると感謝の意を表しています。

  3. トレーニングと推論のリソースの柔軟な割り当て: AugmentはGPUを利用していますが、GCPを推論とトレーニングの両方に活用することで、リソースを柔軟に組み合わせることが可能になっています。例えば、新規ユーザーのワークロードが急増した場合、トレーニング用リソースの一部を一時的に推論に割り当てて拡張し、その後、必要に応じてトレーニングに戻すことができます。これを日次サイクルで行うことさえ可能であり、これにより「より小さなフットプリントでより多くの作業を達成」しています。

AIエージェントの現実と人間の役割

AIエージェントの約束は、すべての開発者がテックリードとなり、面倒な作業をエージェントに任せることができるというものです。しかし、現実のこれらのエージェントは、Augmentのような深いコードベースの理解がない場合、期待を裏切ることが少なくありません。

  • 一般的なエージェントの限界: エージェントに作業を依頼しても、それが何をすべきかを理解しておらず、ガイドや修正に多くの時間を費やすことになる場合、時間の節約にはなりません。デモでは魔法のように見えるかもしれませんが、ソフトウェアエンジニアリングのユースケース、特に数千万行のコードベースとそのサポートテストインフラストラクチャにおける単純な変更は存在しません。
  • 長期的なタスクへの対応: 1〜2時間かかる作業であればエージェントがこなせる可能性はありますが、数日かかるようなマルチデイのサイクルでは、エージェントはタスクを見失ってしまいます。

しかし、エージェントモデルは時間の経過とともに改善され、より長いタスクをこなせるようになっています。そして、ここが人間が依然として大きな価値をもたらす場所です。私たちは、ソフトウェアをどのように進化させたいかという「願望」を持っています。Augmentが見出した最高の成功は、人間がエージェントを「ガイド」してソフトウェアを構築するというアプローチです。Augmentは、Sweetbenchというテストで現時点での最高水準を達成しており、その競争の激しさを物語っています。

Augmentのエージェントは、GitHubやLinearといったツールとも統合されており、開発者が選択したツールを接続できるモデルコンテキストプロトコルもサポートしています。興味深いことに、Augmentのアプリケーション統合コードの90%以上は、実際にはエージェントによって書かれたものです。

Augmentの事例は、GKEとAI Hypercomputerが、最先端のAIアプリケーションの構築、デプロイ、運用において、いかに堅牢で柔軟な基盤を提供しているかを示す強力な証拠と言えるでしょう。

まとめと展望：AIの未来を切り拓くGoogle Cloudのプラットフォーム

本記事では、AIの爆発的な進化がインフラストラクチャにもたらす計り知れない要求と、Google Cloudが提供するAI HypercomputerとGKEが、いかにこの複雑な課題に対応しているかを詳細に見てきました。

私たちは、AI HypercomputerがGoogle自身の惑星規模サービスを支える実証済みのインフラをAIワークロード向けに提供し、TPUとNVIDIA GPUの両方で比類のないパフォーマンスと効率性を実現していることを確認しました。

  • AIトレーニングの効率性においては、「Goodput」の概念を通じて、リソースの無駄を排除し、**「エラスティックトレーニング」**による障害からの自動回復、ノードのホットスワップ、インテリジェントなジョブサイズ変更といった画期的な機能が、いかにしてトレーニング時間を短縮し、コストを劇的に削減するかを理解しました。わずか1%のGoodput向上が100万ドル以上の節約につながるという事実は、その影響の大きさを物語っています。
  • AI推論のコスト効率性では、24時間365日稼働する推論ワークロードの特殊な要件に対し、VLMのTPUバックエンドサポートという画期的な発表が、コードや設定の変更なしにTPUとGPUをシームレスに切り替え、GKEカスタムコンピュートクラスと連携して需要に応じて最適なリソースを自動選択する道を拓きました。GKE Inference Gatewayによる性能向上も、コスト削減とユーザーエクスペリエンスの向上に貢献します。
  • アクセラレータの入手性という、多くの企業が直面する切実な課題に対しては、カスタムコンピュートクラス、進化したダイナミックワークロードスケジューラ（DWS）とそのカレンダーモード、そしてNVIDIA H100 GPUの柔軟な提供オプションが、予測不能な需要にも対応できる多様なソリューションを提供していることが明らかになりました。
  • Day2オペレーションの最適化においては、マネージドDCGMメトリクス、AI推論・トレーニングメトリクス、GKE Autopilot、Rayアドオンといった機能が、運用上の未差別化作業をGoogleが肩代わりすることで、お客様がビジネス価値の創造に集中し、市場投入までの時間を短縮できることを示しました。

そして、Augmentの事例は、これらの技術が机上の空論ではなく、実際のビジネスにおいてどのように活用され、数千万行規模のコードベースでAIエージェントがソフトウェアエンジニアの生産性を劇的に向上させているかを具体的に示しています。GKEとAI Hypercomputerの柔軟性と堅牢性が、Augmentのような革新的な企業が、大規模な需要の変動にも対応し、迅速にサービスを展開することを可能にしているのです。

AIの進化は止まることを知りません。そして、その進化を支えるインフラストラクチャもまた、絶えず革新し続ける必要があります。Google CloudのAI HypercomputerとGKEは、現在のAIの要求に応えるだけでなく、未来のAIの可能性を切り拓くための強力で、スケーラブルで、セキュアな基盤を提供します。

あなたのAIプロジェクトも、この強力なプラットフォームを活用し、次のレベルへと引き上げてみませんか？Google Cloudは、お客様がAIの無限の可能性を最大限に引き出すためのパートナーであり続けます。

← 一覧に戻る