AIハイパーコンピューター時代のストレージ戦略：Google Cloudが拓く新境地

AIと機械学習（ML）は、現代ビジネスにおける最も強力な変革エンジンとなり、あらゆる業界でイノベーションを加速させています。しかし、その裏側では、膨大なデータを効率的かつ高速に処理するためのインフラストラクチャ、特にストレージが極めて重要な役割を担っています。GPUやTPUといった強力なAIアクセラレータが進化を遂げる一方で、ストレージI/Oがボトルネックとなり、これらの高価なリソースの利用率を低下させてしまうケースは少なくありません。

Google Cloudは、このAI時代の課題に対し、独自の「AIハイパーコンピューター」というエンドツーエンドの統合システムを提供することで、差別化されたアプローチを採っています。これは、ハードウェア、ソフトウェア、そして柔軟な消費モデル、信頼性、セキュリティを一体化させ、AIワークロードに最適化されたインフラストラクチャを構築するというものです。そして、このAIハイパーコンピューターの心臓部として、ストレージはデータインジェストから前処理、トレーニング、推論、そしてデータ保護に至るまで、AIワークロードの全ライフサイクルを支える不可欠なコンポーネントとなっています。

本記事では、Google CloudがAIワークロード向けに提供する革新的なストレージソリューションに焦点を当て、それらがどのようにAI/MLのパフォーマンスを劇的に向上させ、ビジネスにどのような影響を与えるのかを深く掘り下げていきます。特に、データとコンピューティングの近接化を実現する「Anywhere Cache」、オブジェクトストレージの常識を覆す「Rapid Storage」、そしてエンタープライズグレードのパラレルファイルシステム「Managed Lustre」といった最新技術が、AI開発の未来をどのように形作っていくのかを詳細に解説します。

AI時代のストレージ要件とGoogle Cloudの総合的アプローチ

AI/MLワークロードが爆発的な増加を見せる中で、従来のストレージソリューションでは対応しきれない新たな要件が浮上しています。これらの要件を理解することは、Google Cloudが提供するソリューションの価値を評価する上で不可欠です。

AI/MLワークロードが求めるストレージの特性

AI/MLワークロードは、一般的なエンタープライズアプリケーションとは異なる、非常に特徴的なストレージ要件を抱えています。

膨大な容量: 数テラバイトから始まり、ペタバイト、さらにはエクサバイト級のデータセットを扱うことが日常茶飯事です。大規模なモデルの事前学習や、多種多様なデータソースの統合には、事実上無制限の容量が求められます。
高スループット: AIトレーニングでは、大量のデータを高速に読み込み、また、学習途中のモデル（チェックポイント）を頻繁に書き出す必要があります。このため、リードとライトの両方で、非常に高い集約スループットが必須となります。秒間数ギガバイトからテラバイトに及ぶスループットが求められることも珍しくありません。
低レイテンシと高IOPS: 特に推論フェーズや、小規模なファイルを大量に扱うようなワークロードでは、データアクセスにおける低レイテンシと、秒間数百万リクエスト（QPS: Queries Per Second）を処理できる高IOPSが重要になります。レイテンシが数十ミリ秒に及ぶと、高価なGPU/TPUアクセラレータがデータを待機する時間が長くなり、利用率が低下してしまいます。
ワークロードのスパイク性: AIトレーニングジョブは、その性質上、データアクセスパターンが非常に変動しやすいという特徴があります。特定のフェーズで大量のデータに一斉にアクセスしたり、チェックポイント保存時に一時的に高負荷になったりするため、ストレージシステムはこうした急激な変動に柔軟に対応できる必要があります。
データ管理とガバナンス: 膨大なAIデータを効率的に管理し、データのライフサイクル（インジェスト、処理、トレーニング、推論、アーカイブ）全体を通じて一貫したガバナンス、セキュリティ、耐久性、可用性を確保することも、企業にとっての重要課題です。

オブジェクトストレージとパラレルファイルシステムの役割

AIワークロードで一般的に利用されるストレージシステムは、大きく分けて2種類あります。

オブジェクトストレージ: Google Cloud Storage (GCS) は、惑星規模のオブジェクトストレージサービスであり、事実上無制限の容量（エクサバイト級）と非常に魅力的なコスト構造を提供します。また、非常に高い集約スループットも実現できます。しかし、通常、レイテンシは数十ミリ秒の範囲に収まります。大規模なデータレイク、アーカイブ、モデルのバージョン管理、データパイプラインの初期段階でのデータ保存に適しています。
パラレルファイルシステム (PFS): テラバイトからペタバイト規模の容量を提供し、非常に低いレイテンシと高いスループットを特徴とします。多くの場合、POSIX互換のファイルシステムインターフェースを提供するため、既存のアプリケーションやオンプレミス環境からの移行が容易です。特に、ランダムアクセスが多いワークロードや、小規模なファイルを多数扱うワークロードで真価を発揮します。

Google Cloudは、これら両方のタイプのストレージを最適化し、AI/MLワークロードの特定のニーズに合わせて活用できるよう、革新的な製品群を開発・提供しています。

Google Cloud Storageの既存ラインナップ

Google Cloud Storageは、その堅牢性と柔軟性で多くの顧客に利用されていますが、AIワークロード向けにはさらに最適化されたサービスを提供しています。

リージョンストレージ: 特定の単一リージョン内にデータを格納し、そのリージョン内での高速アクセスを提供します。
デュアルリージョンおよびマルチリージョンストレージ: データを複数のリージョンに複製することで、業界最高水準の可用性と地理的冗長性（最高のRPOとRTO）を提供します。これにより、大規模な障害発生時でもデータの堅牢性を確保できます。
4つのストレージクラス: データへのアクセス頻度に応じて、コスト効率を最大化するための4つのストレージクラス（Standard、Nearline、Coldline、Archive）を提供しています。これにより、ホットデータからコールドデータまで、ライフサイクル全体を通じて最適なコストでデータを管理できます。

Google CloudのAIハイパーコンピューターは、これらの基盤となるストレージサービスと、次に紹介するような最新の高性能ストレージソリューションを組み合わせることで、AI/MLワークロードが求めるあらゆる要件に応える、エンドツーエンドの統合システムを実現しているのです。

データとコンピューティングの近接化：Anywhere Cacheの衝撃

AIワークロードにおける最大の課題の一つは、高性能なGPUやTPUといったアクセラレータのキャパシティと、それらのリソースが利用可能なゾーンが、データの保存されているリージョンと異なる場合があることです。データがアクセラレータから遠く離れていると、データ転送にかかる時間とコストが増大し、アクセラレータの利用率が低下するという、AI開発者にとって深刻なボトルネックが生じます。

Google Cloud Storageは、この課題を解決するために「Anywhere Cache」を一般提供（GA）しました。Anywhere Cacheは、お客様のデータを、ストレージバケットが配置されている任意のゾーンにあるGPU、CPU、TPUなどのコンピュートリソースに簡単に「共存」させることができる画期的な製品です。

Anywhere Cacheの具体的なメリット

Anywhere Cacheは、特にマルチリージョンストレージと組み合わせることで、AIワークロードに以下のような多大なメリットをもたらします。

圧倒的な高速性:
- データとコンピュートを物理的に近接させることで、GCSバケットに対する追加スループットとして最大2.5テラバイト/秒という驚異的な性能を実現します。これは、データのキャッシュ時において、データアクセスレイテンシを最大70%改善するという結果に繋がっています。
- この速度向上は、AIトレーニングにおけるエポック時間の短縮や、チェックポイントからの回復時間の劇的な改善に直結し、高価なアクセラレータの稼働率を最大化します。
比類なきシンプルさ:
- Anywhere Cacheは、バケットレベルで簡単に有効化できるオプションであり、アプリケーションからは完全に透過的に動作します。強整合性を提供するため、アプリケーションロジックの変更は一切不要です。
- 特別な設定や管理なしに、箱から出してすぐにパフォーマンス向上を享受できます。これにより、開発者はインフラ管理ではなく、AIモデルの開発自体に集中できるようになります。
優れた効率性とコスト削減:
- 驚くべきことに、Anywhere Cacheはパフォーマンスを向上させるだけでなく、コスト削減にも貢献します。Google Cloudの分析によると、マルチリージョンを現在利用している顧客の最大70%が、Anywhere Cacheを有効にすることでコストを削減できる可能性があります。
- これは、データ転送量の削減や、アクセラレータの利用効率向上による全体的なコンピューティングコストの最適化によって実現されます。

マルチリージョンストレージとAnywhere Cacheを組み合わせることで、顧客は一度データをマルチリージョンに保存するだけで、地理的冗長性を確保しつつ、そのコンチネンタル全体にわたる任意のゾーンで利用可能なGPUやTPUに高速にアクセスできるようになります。これにより、アクセラレータのキャパシティ制約という長年の課題が劇的に緩和されます。

導入事例：Soric AIとAssembly AI

Anywhere Cacheの有効性は、すでに具体的な顧客事例によって証明されています。

Soric AI: 大規模言語モデルに特化した最先端のAI企業であるSoric AIは、Anywhere Cacheを彼らのAIワークロードに活用しています。GCP上のTPUとデータを共存させることで、クラウドワークロードのレジリエンスが向上し、GCSバケットからテラバイト級の追加スループットを獲得しています。Soric AIは、このパフォーマンスに非常に満足していると述べています。
Assembly AI: エンタープライズグレードの音声AIを専門とするAssembly AIも、Google Cloudの高性能ストレージ機能を活用しています。彼らはGCSから最大10倍のスループット向上を観測し、トレーニング時間を最大15倍短縮することに成功しました。これらの改善は、Anywhere Cacheを含む高性能ストレージ機能の恩恵によるものです。

Anywhere Cacheは、AIワークロードのパフォーマンス、効率、コスト効率を根本から変革する製品であり、すでに一般提供されているため、AI開発者はすぐにその恩恵を受けることができます。

オブジェクトストレージの限界を打ち破る：Rapid Storageの登場

Anywhere Cacheによって、既存のオブジェクトストレージのパフォーマンスは大きく向上しました。しかし、Google Cloudはそこで止まることなく、AIワークロードが求める究極のストレージ体験を実現するために、さらに野心的なプロジェクトに取り組んできました。それは、「ブロックストレージのようなミリ秒以下のレイテンシ」「パラレルファイルシステムのようなスループットとファイルインターフェース」「オブジェクトストレージのような使いやすさとスケーラビリティ」をすべて兼ね備え、かつ箱から出してすぐに機能する新しいストレージシステムの構築です。

そして今、Google Cloudは、その集大成として最新の高性能ストレージ製品「Rapid Storage」を発表します。

Rapid Storageのコンセプトと目標

Rapid Storageは、データ集約型ワークロード向けに最適化された、まったく新しいタイプのストレージクラスです。その目標は、既存のストレージシステムの強みを組み合わせ、AI/MLワークロードが抱えるデータアクセス性能のボトルネックを完全に解消することにあります。具体的には、以下の要素を融合させることを目指しています。

ブロックストレージ級の超低レイテンシ: データアクセスにおける待機時間を最小限に抑え、高価なアクセラレータの活用効率を最大化します。
パラレルファイルシステム級の超高スループットとファイルインターフェース: AI開発者が慣れ親しんだファイルとディレクトリの操作性を維持しつつ、膨大なデータを並行して高速に処理する能力を提供します。
オブジェクトストレージ級の使いやすさとスケーラビリティ: 開発者はインフラのプロビジョニングや管理に煩わされることなく、必要に応じて容量とパフォーマンスを柔軟にスケールアップ・スケールダウンできる、事実上無制限のストレージを利用できます。

Rapid Storageは、これらの理想的な特性を単一のサービスとして提供することで、AIワークロードに革命をもたらそうとしています。

主要機能と驚異的なパフォーマンス

Rapid Storageは、Google Cloud Storageの使いやすさとスケーラビリティを継承しつつ、AIワークロードに最適化された驚異的なパフォーマンスを発揮します。

スケーラビリティと管理の容易さ: クラウドストレージシステムと同様に、大規模なスケーラビリティと簡単な管理性を提供します。リソースの事前プロビジョニングは不要で、使用した分だけ支払う従量課金モデルを採用しています。
高い耐久性と可用性: 単一ゾーン内で11ナイン（99.999999999%）のデータ耐久性と3ナイン（99.9%）の可用性を実現し、データの安全性を保証します。
Cloud Storage FUSEとの完全統合: Cloud Storage FUSEと完全に統合されており、ファイルシステムとしてマウントして利用できます。これにより、AI開発者が慣れ親しんだファイル/ディレクトリの操作性を維持しながら、オブジェクトストレージのメリットを享受できます。
驚異的なQPSとスループット:
- 単一ゾーン内で**最大2000万QPS（Queries Per Second）**という、これまでのオブジェクトストレージでは考えられなかった高いリクエスト処理能力を提供します。これは通常のGCS標準ストレージクラスと比較して8倍高い初期QPS制限となっています。
- 単一ゾーンから最大6テラバイト/秒のスループットを実現します。
サブミリ秒の超低レイテンシ: ランダムリードおよびアペンド操作において、サブミリ秒のレイテンシを達成します。これは、市場の類似製品と比較して約5倍高速であり、GCS標準ストレージクラスと比較すると10倍から20倍高速です。この速度は、データ集約型AIワークロードのボトルネックを根本的に解消します。

Rapid Storageの位置づけと統合性

Rapid Storageは、既存のGCSストレージクラス（Standard, Nearline, Coldline, Archive）に加わる新しいストレージクラスとして位置づけられています。最も頻繁にアクセスされるホットデータ、特にAI/MLのデータ集約型ワークロードに最適化されています。

ゾーナルストレージ: Rapid Storageはゾーナルストレージ製品であり、データは特定のゾーンに保存されます。これにより、コンピュートリソース（GPU/TPUアクセラレータ）と同じゾーンにデータを配置し、データとコンピュートの近接化を最大限に実現できます。
既存のGCS機能との連携: 認証、認可、プロジェクト管理など、既存のGoogle Cloud Storageで利用されているすべての機能がRapid Storageでもそのまま利用できます。
データライフサイクル管理: Storage Transfer Serviceを利用して、既存のGCSバケットからRapid Storageにデータを簡単に移動したり、処理完了後に低コストのストレージクラスにデータを移動して長期保存/アーカイブしたりできます。
SDKサポート: Cloud Storage FUSEのサポートに加え、将来的にすべてのSDKでのサポートが予定されています。

Rapid Storageを支える技術的基盤

Rapid Storageは、Googleの長年にわたるストレージ技術の集大成として構築されています。

Googleの基礎的なストレージシステム: ほぼすべてのGoogleサービスが稼働している、Googleの基盤となる分散ファイルシステム上に構築されています。このシステムは、大規模なスケーラビリティとパフォーマンスを提供するために、長年にわたって実戦で磨かれてきました。
新しいゾーナルサービングスタック: コンピュートリソースと共存可能な新しいゾーナルサービングスタックを、SSD上に構築しています。これにより、超低レイテンシと高スループットを両立させています。
gRPCプロトコルによるステートフルな読み書き: gRPCプロトコルを利用したステートフルな読み書き操作を実装することで、サブミリ秒のレイテンシと高いI/O性能を実現しています。
組み込みのディレクトリサポート: ディレクトリの自動リネームやオブジェクトの自動リネームをサポートし、ファイルシステムとしての使いやすさを向上させています。

Rapid Storageは現在プライベートプレビュー段階にありますが、AIワークロードのパフォーマンス要件を根本から再定義し、開発者が真に革新的なAIモデルを構築するための基盤を提供する可能性を秘めています。

Snapの事例に学ぶ：GCSを活用した大規模AI/MLデータ基盤

AI/MLワークロードにおけるGoogle Cloud Storageの可能性は、Snapchatのような世界的な規模でサービスを提供する企業によって、すでに実証されています。Snapchatは、毎日数億人のユーザーが利用し、膨大な量のデータを生成しています。彼らがどのようにGCSをAI/MLデータ基盤として活用し、その成長を支えているのかを見ていきましょう。

驚異的な規模とデータ耐久性

Snapchatは、四半期報告書によると4億5300万人のデイリーアクティブユーザー（DAU）を抱えています。この規模でサービスを提供するためには、想像を絶するデータ処理能力と堅牢なストレージインフラストラクチャが必要です。

イベント処理規模: 毎週、20兆から30兆ものイベントがSnapchatのシステムを通じて処理され、そのすべてのデータが耐久性の高いストレージの第一歩としてGoogle Cloud Storageに格納されます。
データ耐久性と精度: Snapにとって、ユーザー行動やメトリクスに関するデータは極めて重要であり、その精度はAI/MLワークロードの成功に直結します。GCSを一次データストアとして利用することで、彼らはP99.99のユーザーセッションにおいて、データ損失率を0.08%未満に抑えることに成功しています。クラウドにデータが到達するとすぐにGCSにフラッシュされるため、データの永続性が保証されます。
エクサバイト級のデータ処理: 毎週、これらのイベントデータに対して非常に大規模なパイプラインが実行され、エクサバイト級のデータが処理されます。ETL（抽出、変換、ロード）ワークロード、データハイドレーション、変換、そしてTrinoやSpark (Data Proc) を利用したGCS上でのクエリなど、あらゆるデータ処理がGCSを基盤として行われています。Snapにおけるあらゆる意思決定はデータに基づいており、GCSはその中核を担っています。

ABテストプラットフォームにおける活用

SnapのABテストプラットフォームも、GCSの堅牢性とスケーラビリティの恩恵を受けています。

大規模なABテスト: 毎日4時間ごとに、ABテストプラットフォームはGCS上に蓄積された30ペタバイトのデータを処理します。これにより、約10,000のアクティブなスタディ（ABテスト）に対して、数千のメトリクスが算出されます。
パーソナライズされたユーザー体験: ユーザーがSnapchatを開いた際に、個々人の体験が異なるのは、まさにこれらの大規模なABテストと、GCSに保存されたデータに基づいたAI/MLモデルの成果です。

AI/MLユースケースの爆発的成長とレイクハウス戦略

SnapにおけるAI/MLの利用は、驚くべき速さで成長しています。

AI/MLユースケースの100%成長: データの取り込み自体は年間25%程度の成長ですが、AI/ML関連の派生的なデータ生成と利用は、なんと年間100%もの成長率を記録しています。
新しいAI/MLニーズ: 機械学習エンジニアは、より大きなトレーニングウィンドウを求め、大規模なテーブルを結合してバケットにダンプし、その上でストリーミング処理を行ったり、データ選択の人間工学的な側面を改善したりすることを目指しています。
レイクハウスアーキテクチャ: Snapは、GCSに格納されたあらゆるデータを統合、管理、探索するために、レイクハウスアーキテクチャに大きく投資しています。これにより、GCSからデータを読み出し、TrinoやSparkなどのクエリエンジンを使って処理することが可能になります。
Anywhere Cacheへの期待: Snapは、以前はマルチリージョンバケットを多用していましたが、Anywhere Cacheのような機能がGCSチームによって開発されたことに興奮を覚えています。これは、パフォーマンスを維持しつつコストを削減できる可能性を秘めているためです。

Rapid Storageへの期待：アーキテクチャの簡素化

Snapのデータ取り込みシステムは、ピーク時で**7500万TPS（Transactions Per Second）**という非常に高いスループットを記録します。現在、彼らはこの膨大なイベントを収集し、インメモリでバッファリングしてからGCSにフラッシュするというアンチパターンに近いアーキテクチャを採用しています。これは、既存の標準GCSバケットへの高速I/O書き込みが困難であるためです。

しかし、Rapid Storageのような製品が登場すれば、状況は劇的に変化します。

クライアントからの直接書き込み: Rapid Storageの2000万QPS（およびそれを超える可能性）という性能は、クライアントSDKから直接GCSにイベントを書き込み、同レベルの耐久性と高スループットを達成できる可能性を示唆しています。
アーキテクチャの簡素化: これにより、大規模なイベント収集フリートやインメモリバッファリング層が不要となり、データ取り込みのアーキテクチャを大幅に簡素化できます。これは、運用コストの削減とシステム全体の堅牢性向上に直結します。

Snapの事例は、GCSが単なるデータ保存場所ではなく、AI/MLワークロードの根幹を支え、ビジネスの成長とイノベーションを可能にする戦略的アセットであることを明確に示しています。そして、Anywhere CacheやRapid Storageといった新機能が、さらにその可能性を広げるでしょう。

クラウドネイティブなパラレルファイルシステム：Managed Lustreの力

AIワークロードのストレージ要件は多様であり、オブジェクトストレージが常に最適な選択肢とは限りません。特に、オンプレミス環境でNFSや既存のパラレルファイルシステム（PFS）を利用してきた企業にとっては、クラウドに移行しても同様のファイルシステムインターフェースとパフォーマンスを求める声が強くあります。また、特定のAIアプリケーションは、小規模なファイルのランダムI/Oを大量に発生させたり、POSIX互換のファイルシステム機能を厳密に要求したりするため、オブジェクトストレージでは対応しきれない場合があります。

Google Cloudは、こうしたニーズに応えるため、高性能なフルマネージドパラレルファイルシステム「Google Cloud Managed Lustre」を発表しました。

パラレルファイルシステムの重要性

AIワークロードにおけるストレージコストは、アクセラレータ（GPU/TPU）やコンピュートのコストに比べて小さい部分を占めるに過ぎません。しかし、ストレージの性能不足は、高価なアクセラレータの利用効率を低下させ、結果的に全体のTCO（総所有コスト）を悪化させます。データがアクセラレータに近ければ近いほど、そしてストレージがアクセラレータを飽和させるだけのスループットと低レイテンシを提供できればできるほど、AIトレーニングは効率的になり、全体のコストは改善されます。

Managed Lustreのようなパラレルファイルシステムは、AIトレーニングジョブの効率を劇的に向上させます。

エポック時間の短縮: 各トレーニングエポックにかかる時間を短縮することで、より多くのトレーニングをより短時間で実行できます。
チェックポイントからの迅速な回復: 障害発生時にチェックポイントから迅速に回復できることで、アクセラレータの停止時間を最小限に抑え、利用率を最大化します。
オンプレミスからの移行とハイブリッドワークロード: オンプレミスのNFSや既存PFSに依存するワークロードをクラウドに移行したり、ハイブリッド環境やクラウドバーストシナリオで利用したりする際に、親和性の高いソリューションを提供します。

Google Cloud Managed Lustreの概要

Managed Lustreは、DDNとのパートナーシップに基づいて構築された、高パフォーマンスのフルマネージドパラレルファイルシステムです。DDN ExaScalerを基盤としており、長年の実績を持つ技術をGoogle Cloud上でマネージドサービスとして提供します。

フルマネージドサービス: ほとんどの顧客は、リソースのプロビジョニングやシステム管理に時間を費やすよりも、自社のビジネスに価値をもたらす活動に集中したいと考えています。Managed Lustreは、こうした要望に応えるフルマネージドサービスとして提供され、運用負担を大幅に軽減します。
提供開始 (Allow list GA): Managed Lustreは、先週よりAllow list GA（一部の顧客向けに一般提供）が開始されました。
スケーラブルな容量とパフォーマンス:
- 容量は数テラバイトから始まり、ペタバイト規模までスケールアップ可能です。これは今後さらに拡大される予定です。
- 最大1テラバイト/秒の非常に高いパフォーマンスを提供します。パラレルファイルシステムの利点として、容量とパフォーマンスを独立してスケールさせることができます。
一貫したサブミリ秒のレイテンシ: Managed Lustreは、ごく少数のクライアントから数千のクライアントまで、一貫してサブミリ秒のレイテンシを提供します。これは、オンプレミスのPFSで慣れ親しんだパフォーマンスをクラウドで実現するものです。
ゾーナルソリューション: Rapid Storageと同様にゾーナルソリューションであり、特定のゾーン内のコンピュートリソースと近接して配置することで、最高の性能を発揮します。

Managed LustreとParallel Storeの比較

Google Cloudは、パラレルファイルシステムとしてManaged Lustreに加え、既に「Parallel Store」も提供しています。これらは異なるニーズに対応します。

Managed Lustre: 一般的に永続的なデータ保存に適しており、長期的なトレーニングジョブや、データセットを継続的に利用するようなワークロードに推奨されます。
Parallel Store: スクラッチストレージとして設計されており、一時的なトレーニングワークロードや、一時的なバーストニーズに適しています。

どちらを選択するかは、ワークロードの特性や永続性の要件によって異なります。

広範なAIワークロードプロファイルへの対応

Managed Lustreは、多様なAIワークロードに対応するために、幅広い統合と機能を提供します。

POSIX互換性: 完全なPOSIX互換性を提供するため、オンプレミスでファイルシステムベースのアプリケーションを利用してきた顧客にとって、クラウドへの移行が容易になります。これは、GCS FUSEがオブジェクトバケットをファイルシステムのようにマウントするケースとは異なり、より厳密なPOSIXセマンティクスが必要な場合に特に重要です。
コンピューティングリソースとの統合:
- Google Compute Engine (GCE) とSlurmを利用してコンピュートリソースをプロビジョニングし、Managed Lustreをマウントできます。
- Google Kubernetes Engine (GKE) 向けにはCSI (Container Storage Interface) ドライバーが提供され、Persistent Volume Claims (PVC) を利用してコンテナ化されたAIワークロードから利用できます。
GCSとの連携: Managed Lustreは、GCSと連携して機能します。データ準備の初期段階からアーカイブまで、GCSはAIワークロードの重要な部分であり続けます。Managed LustreのバルクAPIを使用すると、GCSバケットから必要なデータを簡単にエクスポート/インポートして、PFS上でトレーニングを行うことができます。
VMごとの高スループットと全二重通信:
- Managed Lustreは、A3 VMのような高性能なVMに対して、VMあたり20ギガバイト/秒のリンクを飽和させる高スループットを提供できます。A4のような次世代VMではさらに性能が向上します。
- パラレルファイルシステムは全二重通信をサポートしており、トレーニングジョブを実行しながらチェックポイントを書き出したり、別のジョブでチェックポイントから回復したりする並行処理が可能です。
- チェックポイントの書き込み/読み出し性能、および推論性能において、GCSよりも高いパフォーマンスを発揮することがよくあります。

導入事例：Technology Innovation Institute (TII)

Technology Innovation Institute (TII) は、Parallel Storeを活用してAIトレーニングニーズの75%を処理しています。彼らは残りの25%のワークロードにはCloud Storage FUSEも使用しており、ワークロードの要件に応じて最適なソリューションを選択しています。

TIIはParallel Storeの導入により、以下のような顕著な成果を上げています。

チェックポイント時間の劇的短縮: 以前のソリューションと比較して、チェックポイント時間を大幅に短縮しました。
25%の性能向上: 全体的なAIトレーニングワークロードのパフォーマンスを25%向上させました。
20%のコスト削減: 以前のソリューションと比較して、コストを20%削減することに成功しました。

TIIの事例は、AIワークロードの多様なニーズに応じて、Google Cloudの提供する複数のストレージソリューションを組み合わせることで、最高のパフォーマンスとコスト効率を実現できることを示しています。Managed Lustreは、Parallel Storeで得られた成功をさらに推し進め、永続的なPFSソリューションを求める企業に新たな選択肢を提供します。

総合的なAIストレージ戦略と今後の展望

これまでに見てきたように、Google CloudはAIワークロード特有の複雑なストレージ要件に対し、多角的かつ革新的なアプローチで応えています。Anywhere Cache、Rapid Storage、Managed Lustreは、それぞれ異なる強みとユースケースを持つソリューションでありながら、共通の目標——「ストレージをAIトレーニングパイプラインのボトルネックにしないこと」——を追求しています。

Google Cloudが提供する包括的なAIストレージポートフォリオ

Anywhere Cache: データとコンピューティングの近接化を実現し、既存のGoogle Cloud Storageのパフォーマンスを劇的に向上させます。特に、リージョン間でデータが散在しているケースや、スポットインスタンスなど柔軟なコンピュート配置を求めるケースで威力を発揮します。
Rapid Storage: オブジェクトストレージの使いやすさ、スケーラビリティ、コスト効率を維持しつつ、ブロックストレージ級の低レイテンシとパラレルファイルシステム級の高スループットを提供する、新しい世代の高性能ストレージクラスです。データ集約型AIワークロードのパフォーマンスを根本から変革する可能性を秘めています。
Managed Lustre: オンプレミスのファイルシステムに慣れ親しんだユーザーや、厳密なPOSIX互換性、一貫したサブミリ秒のレイテンシ、超高スループットを求めるAI/HPCワークロードに最適な、フルマネージドのパラレルファイルシステムです。

これらの最新ソリューションは、既存のGoogle Cloud Storageの豊富な機能（階層型ネームスペース、多様なストレージクラス、データライフサイクル管理など）や、データレイクハウス向けのAnalytic/Lakehouse関連機能と組み合わせることで、AIワークロードの全ライフサイクルをカバーする、真に包括的なストレージ戦略を構築することを可能にします。

Google Cloudは、AI/MLの急速な進化に対応するため、ストレージ分野への多大な投資とイノベーションを継続しています。ストレージがボトルネックとなることなく、開発者が自由に、そして効率的にAIモデルを構築、トレーニング、デプロイできる環境を提供することが、Google Cloudの揺るぎないコミットメントです。

今後の展望

AI技術はまだ進化の途上にあり、それに伴いストレージに対する要求もさらに高度化していくでしょう。Google Cloudは、以下の点に注力し、未来のAIワークロードを支えるストレージソリューションを開発し続けます。

パフォーマンスの限界への挑戦: より高速なI/O、より低いレイテンシ、より高いスループットを追求し、アクセラレータの飽和度を最大限に高めます。
使いやすさと統合性の向上: ストレージの管理をさらに簡素化し、Google Cloudエコシステム内の他のサービス（Vertex AI, BigQuery, Dataflowなど）との連携を強化します。
コスト効率の最適化: 性能向上と同時に、AIワークロードのTCO削減に貢献する革新的なコストモデルや機能を提供します。
ハイブリッドおよびマルチクラウド対応: お客様の多様なインフラ戦略に対応できるよう、柔軟なデータ配置とアクセスモデルを提供します。

AIが企業の競争優位性を決定づける時代において、Google Cloudの先進的なストレージソリューションは、データ駆動型イノベーションの加速、市場投入までの時間短縮、そして最終的にはビジネス成果の最大化に不可欠な基盤となるでしょう。

結論

AIと機械学習は、私たちの働き方、ビジネスのあり方を根本から変えつつあります。この変革の最前線で成功するためには、AIワークロードの膨大なデータ要件を満たし、高価なアクセラレータの能力を最大限に引き出すことができる、高性能でスケーラブルなストレージインフラストラクチャが不可欠です。

Google Cloudは、「AIハイパーコンピューター」という統合されたアプローチの下、Anywhere Cacheによるデータとコンピュートの近接化、Rapid Storageによるオブジェクトストレージの性能革新、そしてManaged Lustreによるエンタープライズグレードのパラレルファイルシステム提供を通じて、この課題に真正面から取り組んでいます。これらの革新的なストレージソリューションは、AIワークロードのパフォーマンスを劇的に向上させ、開発者が直面するボトルネックを解消し、より迅速かつ効率的にイノベーションを推進するための強力なツールとなります。

Soric AI、Assembly AI、Snap、Technology Innovation Institute (TII) といった先進的な企業が、すでにGoogle Cloudのストレージソリューションを活用して、AI開発における顕著な成果を上げています。彼らの事例は、これらの技術が単なるコンセプトではなく、現実世界でビジネス価値を生み出していることの強力な証左です。

AIの未来は、データの未来です。Google Cloudは、そのデータの力を最大限に引き出すための最高のストレージ基盤を提供することで、あらゆる企業がAI時代の競争を勝ち抜き、新たな価値を創造できるよう支援します。

ぜひ、Google CloudのAIストレージソリューションを詳しくご確認いただき、貴社のAIワークロードが抱える課題を解決し、新たな可能性を解き放つためにご活用ください。

詳細情報はこちらから:

既存のクラウドストレージをご利用のお客様: Google Cloud Consoleへアクセス
新規のお客様およびAIストレージ製品について: Google Cloud AIストレージ紹介ページ

（注：本記事は提供されたテキスト情報に基づいて生成されており、公開されているGoogle Cloudの公式情報と異なる場合があります。最新の情報は公式ドキュメントをご確認ください。）