T最新テックトレンド

Agent Inferenceを「光速」で実現するNVIDIA — 4.3兆ドル規模のスタートアップがいかに動くか

Latent Space
0:00--:--

AIエージェントの進化は目覚ましく、私たちの働き方や技術との関わり方を根本から変えようとしています。ファイルへのアクセス、インターネットの活用、そしてカスタムコードの記述と実行といった多様な能力を持つエージェントは、計り知れない可能性を秘める一方で、そのセキュリティと効率的な運用には新たな課題が伴います。本記事では、NVIDIAのKyleとNatが語ったポッドキャストの内容を深く掘り下げ、NVIDIAがどのようにしてAIエージェントの未来をリードし、その裏側でどのような技術革新とユニークな企業文化が息づいているのかを詳細に解説します。

1. AIエージェントの最前線とセキュリティの課題

AIエージェントの能力は日々拡張されており、その進化は加速する一方です。彼らは現在、主に以下の3つの機能を持ち合わせています。

  1. ファイルへのアクセス: エージェントがローカルまたはクラウド上のファイルシステムにアクセスし、情報を読み書きする能力。
  2. インターネットアクセス: ウェブを閲覧し、APIを呼び出し、最新の情報を取得したり、外部サービスと連携したりする能力。
  3. カスタムコードの記述と実行: 必要に応じてPythonなどのコードを生成し、それを実行してタスクを自動化する能力。

これらの機能はエージェントを非常に強力なツールにしますが、NVIDIAは特にセキュリティ面で慎重なアプローチを取っています。Natは、**「エージェントにはこの3つのうち2つだけを実行させるべきだ」**と強調します。例えば、ファイルアクセスとカスタムコード実行を許可する場合、インターネットアクセスを制限することで、外部からのマルウェア注入や意図しない情報漏洩といった脆弱性を一つ減らすことができます。エージェントに与える権限の範囲を明確に理解し、その能力を慎重に管理することが、安全なAIエージェント運用の鍵となります。これは、NVIDIAがOpenClawのような新しい技術を社内で試行する際に、企業ネットワークから隔離されたBrev（後述）のような仮想環境で実行させるという内部ポリシーにも表れています。NVIDIAは、AIエージェントが未来であると確信しつつも、その実装における防御ポイントと保護メカニズムの構築に深く取り組んでいます。

2. Brevの誕生とNVIDIAとの共鳴

Brev創業ストーリー：GPUアクセスを民主化する情熱

NVIDIAのNatが共同創業者として携わったBrevは、GPUへのアクセスを劇的に簡素化することを目指して生まれました。当時、A100のような高性能GPUをクラウドでプロビジョニングするには、複雑なフォームや意味不明なコードを含むドロップダウンメニューを何ページも操作する必要がありました。この非効率性に直面したNatたちは、**「ユーザーが本当に求めているものを一番大きく表示しよう」**というシンプルな発想から、GPUチップの種類を直感的に選択できるユーザーインターフェースを開発しました。Figmaで作成したSVGアニメーションをReactで表現するなど、細部にまでこだわったそのデザインは、単なる機能性だけでなく、ユーザーに対する深い配慮を示しています。

Brevはまた、GTCのような大規模なカンファレンスでユニークなマーケティング戦略を展開しました。会社のロゴであるシャカ（ハワイの挨拶）をモチーフにしたサーフボードやヤシの木をブースに持ち込み、来場者の記憶に残る体験を創出しました。これは、スタートアップが既存の大企業に埋もれず、自分たちの個性を前面に出して注目を集めるための創造的な試みであり、NVIDIAのKyleも「あのブースはクールだった」と記憶に残っているほどです。彼らは、単にGPUを提供するだけでなく、その体験全体をデザインすることに情熱を注いでいました。

NVIDIAによる買収：開発者体験（DX）への戦略的投資

BrevはNVIDIAに買収され、その技術と情熱はさらに大きな舞台で花開くことになります。NVIDIAは、Brevの**「開発者にとってGPUへのアクセスとソフトウェアデプロイを容易にする」**という目標が、自社の広範な開発者体験（DX）戦略と完全に一致すると見なしました。買収後、BrevはNVIDIAの強力なリソースを活用し、Launchablesというワンクリックデプロイメントソリューションを推進。これにより、GPU上で動作するあらゆるソフトウェアを迅速に展開できるようになりました。現在、brev.nvidia.comは社内外で急速に利用が拡大しており、NVIDIAの内部開発者もOpenClawのような最先端のエージェントを安全に試行するためのサンドボックス環境としてBrevを活用しています。

NVIDIAがBrevのような企業を買収する背景には、AIの普及がもたらした開発者層の拡大があります。かつてはCUDAを深く理解する専門家が中心でしたが、今や「AIは大きなイコライザー」となり、プログラミング経験の少ない多様な人々がAI開発に参入しています。この新しい幅広い開発者層に対応するためには、単に高性能なハードウェアを提供するだけでなく、そのハードウェアを使いこなすためのUX（ユーザーエクスペリエンス）を再構築する必要がありました。Brevの持つ直感的で簡素なアクセス手法は、まさにNVIDIAが求めていたピースだったのです。

DGX SparkとBrev：ローカルGPUのリモート管理

NVIDIAは、DGX Sparkという新しいGPUシステムを開発しており、これとBrevが連携することで、新たな開発体験が生まれています。DGX Sparkは、自宅やオフィスに設置できる「ミニデータセンター」のような存在ですが、物理的な場所の制約を受けずに利用できることが重要です。

NVIDIA SyncツールはSSH接続を簡素化し、ユーザーがDGX Sparkに容易にアクセスできるようにします。さらに、CESで発表されたBrevの新機能により、DGX SparkをBrevアカウントに登録できるようになりました。これにより、ユーザーは自宅のSparkをまるでクラウドノードのように、カフェやスターバックスのラップトップからリモートで管理・利用することが可能になります。これは、ローカルハードウェアの性能と、クラウドのような柔軟なアクセス性を融合させる画期的なアプローチであり、開発者が物理的な場所にとらわれずに高性能GPUを活用できる未来を提示しています。

3. NVIDIAのユニークな企業文化とイノベーションの源泉

NVIDIAは単に技術革新を追求するだけでなく、それを可能にする独自の企業文化を持っています。その中でも特に特徴的なのが「So」の哲学と「ゼロビリオンダラービジネス」の概念、そして情熱駆動型の研究開発です。

「So」の哲学：物理的限界から逆算する思考

NVIDIAのCEOであるジェンスン・フアン氏が提唱する「So」（スピード・オブ・ライト、Speed of Light）という概念は、文字通り「光速」のように物事が進むとしたらどうなるか、という問いから始まります。これは、プロジェクトの目標達成にかかる時間を、あらゆる制約を取り払った物理的な限界点から逆算する思考法です。

例えば、「このタスクには3週間かかります」と言われた場合、すぐに「なぜ3週間なのか？」「物理的に可能な最速の期間は？」と問うことで、無駄なプロセスや非効率なボトルネックを浮き彫りにします。もし、物理的に1日で完了できるタスクが3週間かかると言われたら、その差を埋めるための具体的な障害と解決策を探し出します。「So」は、単に「早くやれ」という圧力ではなく、**「本質を理解し、最短経路を見つけ出すための根源的な問いかけ」**なのです。

この哲学は、スタートアップが常に資金やリソースの制約の中で「なぜこれができないのか」を問い詰める姿勢と共通しています。NVIDIAのような大企業においても、この思考法は組織の惰性を打ち破り、常に「切迫感（urgency）」を生み出す原動力となっています。もちろん、安定性や品質も重要であり、「So」はそれらを無視するものではありません。安定性確保に必要な時間も、その「物理的な限界」の一部として考慮に入れられ、段階的な進歩とバランスの取れた意思決定を促します。CESでの新機能発表の際も、セキュリティ面での洗練は後に回し、まずは「早期アクセス」という形でユーザーに届け、フィードバックを得ながら改善を進めるというアプローチが取られました。

ゼロビリオンダラービジネス：未来への長期投資

NVIDIAのもう一つの特徴的な文化は、「ゼロビリオンダラービジネス」という考え方です。これは、たとえ現時点では収益を生まない、あるいは市場規模がゼロの分野であっても、将来的に重要になると判断すれば積極的に投資を行うという長期的な視点を示しています。

例えば、NVIDIAは自動運転技術に長年投資してきましたが、その初期には目立った収益は上がっていませんでした。しかし、同社はこれが未来の巨大な市場になると予測し、Drex Platformのような技術を開発し続けました。このような戦略は、短期的な売上や株価に囚われず、数年、十年単位での市場創造と技術革新に焦点を当てるNVIDIAのビジョンを体現しています。研究部門は特にこの恩恵を受けており、短期的な収益化のプレッシャーなしに、純粋な科学的探求に基づいた最先端の研究を自由に追求できる環境があります。

情熱駆動型の文化とオープンなコミュニケーション

NVIDIAでは、社員の「情熱」がイノベーションの重要な源泉となっています。興味深いアイデアを持つ社員は、自身の担当部署や階層に縛られず、チェーンの上の意思決定者に直接メールを送り、新しいプロジェクトを提案することができます。これは多くの大企業では見られないオープンな文化であり、NVIDIAのメールの「モッシュピット」ぶりにも現れています。

一見混沌としているように見えるメールのやり取りも、重要なスレッドが上部に表示されたり、複数のスレッドに分岐したりすることで、大規模な組織におけるコンテキスト管理とコラボレーションを助けています。この「草の根」的なアプローチに加え、「勢いが唯一の権威である」という考え方が浸透しており、小さな進捗でも具体的な成果を示すことで、組織全体を動かすことが可能です。このような情熱と自由な発想を重視する文化が、NVIDIAがNeMoやParakeetのような最先端の基盤モデルや音声技術を次々と生み出す原動力となっています。

4. Dynamoが解き放つデータセンタースケールインファレンス

AIモデルの推論（Inference）は、単にモデルを実行するだけでなく、コスト、品質、レイテンシーという3つの軸をいかに最適化するかが重要です。NVIDIAのDynamoは、この課題に取り組むデータセンタースケール推論エンジンであり、最先端の最適化技術を提供します。

インファレンスの3つの課題とDynamoの役割

AIモデル、特に大規模言語モデル（LLM）の推論においては、以下の3つの要素が常にトレードオフの関係にあります。

  1. 品質 (Quality): モデルが生成する結果の正確性や性能。より多くの思考（トークン生成）を促すことで品質は向上しますが、コストとレイテンシーが増加します。
  2. コスト (Cost): 推論を実行するために必要な計算リソース（GPU時間、メモリなど）とその費用。
  3. レイテンシー (Latency): リクエストから応答までの時間。リアルタイム性が求められるアプリケーションでは特に重要です。

Dynamoは、VLM、SLA、TensorRT-LLMといった既存の推論エンジンの上に位置し、これらの「ノブ（調整可能なパラメータ）」を操作することで、ユーザーが自身のワークロードに最適なコスト・品質・レイテンシーのバランスを見つけられるように設計されています。

非同期化（Disaggregation）の革新：プリフィルとデコードの分離

Dynamoの中核をなす最も重要な技術革新の一つが「非同期化（Disaggregation）」です。従来の推論エンジンは、リクエストを単一のモデルレプリカで処理し、以下の2つのフェーズを順次実行していました。

  1. プリフィル (Prefill): 入力シーケンス（プロンプト）を読み込み、KVキャッシュ（Key-Value Cache）を生成するフェーズ。KVキャッシュは、シーケンスを表現するベクトルのセットであり、後続のトークン生成の効率化に不可欠です。このフェーズは、入力シーケンスが長くなるほど計算負荷が高まり、計算バウンドになる傾向があります。
  2. デコード (Decode): プリフィルで生成されたKVキャッシュを利用して、新しいトークンを一つずつ生成するフェーズ。このフェーズは、KVキャッシュから線形量のメモリを検索し、線形量の計算を行うため、主にメモリバウンドになる傾向があります。

これらのフェーズを単一のエンジンで同期的に処理すると、プリフィルがデコードをブロックしたり、リソース要件の異なるフェーズで非効率が生じたりする問題がありました。

非同期化では、これらのフェーズを分離し、それぞれを独立したリソースプールで処理します。この分離によって得られるメリットは以下の通りです。

  • スケジューリングの効率化: ステップ同期的なスケジューリングの問題が解消され、プリフィルとデコードを非同期に実行できます。
  • リソース最適化: プリフィルは計算バウンド、デコードはメモリバウンドという異なる特性を持つため、それぞれのフェーズに最適なハードウェアリソースを割り当てて効率を最大化できます。例えば、DGX Sparkのような計算能力の高いマシンでプリフィルを処理し、Macのようなデバイスでデコードを行うといった「マシン層化」も可能です。NVIDIAは、将来のハードウェア世代で「Ruben CPX」というプリフィルに特化したアクセラレーターの登場も発表しています。

Kubernetesによるスケーリングの最適化 (Grove)

Dynamoは、KubernetesのコンポーネントであるGroveを活用して、この非同期化された推論のスケーリングを専門的に管理します。従来のKubernetesのマルチノードワークロード管理手法（リーダーワーカーセットなど）では、プリフィルとデコードのように異なる特性を持つフェーズの比率がワークロードの変化に応じて変動するケースに柔軟に対応することが困難でした。

Groveは、推論のワークロードの変化（例えば、非常に長いクエリが増加してプリフィルの負荷が高まるなど）に応じて、必要となるプリフィルワーカーとデコードワーカーの数を動的に調整する機能を提供します。これにより、ハードウェアインフラ全体で推論のスケーリングとリソース割り当てを最適化し、高い効率と性能を実現します。

NVIDIAの内部推論プラットフォームとNim

NVIDIAは、Dynamoのような技術を開発する一方で、開発者や企業がモデルを簡単に利用できる環境も提供しています。Kyleはかつて、build.nvidia.comというNVIDIAの内部推論プラットフォームのモデルサイドを運営していました。これは、オープンソースモデルをREST API経由で試せる無料（レート制限あり）のサービスであり、ハッカーから企業まで幅広いユーザーが最新モデルにアクセスできる重要なリソースです。このプラットフォームは、最新モデルをリリース後「ゼロ日」で提供する驚異的な速度を誇り、NVIDIAが推論の最前線を走る上で得た知見がDynamoの開発にも活かされています。

また、NimはNVIDIAの推論技術をエンタープライズ向けにパッケージ化したソリューションであり、Dynamoを含むNVIDIAの様々な最適化技術をサポートと合わせて企業が利用できるようにしています。これは、先進的なAI技術を企業レベルで安全かつ効率的に導入するための重要なステップです。

5. エージェントとLLMの進化を加速する技術的洞察

AIエージェントとLLMの能力を最大限に引き出すためには、ハードウェア、モデル、そして推論の仕組みを深く理解し、共同で設計する必要があります。

長文コンテキストの課題とブレイクスルー：Unhoblerの概念

LLMの性能を大きく左右する要因の一つに「コンテキスト長」があります。これはモデルが一度に処理できる情報の量を指しますが、過去数年間、このコンテキスト長は「100万トークン」あたりで頭打ちになっている状況でした。しかし、この限界を突破する可能性をNVIDIAのKyleは「Unhobler」という概念を用いて説明します。

「Unhobler」とは、レオポルド・アシェンブレーナーのエッセイ「状況認識（Situational Awareness）」で提唱された概念で、計算能力やデータ量といった線形的な進歩だけでは到達できない、科学的発見による飛躍的なブレイクスルーを指します。例えば、モデルアーキテクチャの根本的な改善や、新たなトレーニング手法の発見などがこれに当たります。

実際、DeepseekやKimmy 2といったモデルでは、このUnhoblerの兆候が見られます。これらのモデルは、アテンションメカニズムの改善（例：少ないアテンションヘッド、疎なエキスパートの利用）を通じて、同等の性能をより少ないメモリで実現し、結果としてコンテキスト長を大幅に伸ばすことに成功しています。Deepseekが128,000トークンのコンテキストをわずか8GBのVRAMに収めることができるのは、まさにUnhoblerによるものです。Kyleは、このような科学的発見を通じて、コンテキスト長が「1億トークン」のレベルに達する可能性を予測しています。

モデル・ハードウェア・コンテキストの共同設計の重要性

Unhoblerの概念は、ハードウェア、モデル、そしてモデルが動作する「コンテキスト」（ハーネスや推論環境）を一体として設計する「共同設計（co-design）」の重要性を示しています。単にモデルを大きくしたり、高性能なハードウェアを用意するだけでなく、これら三者を相互に最適化することで、初めて真の性能向上が可能になります。

例えば、Kimmy 2の設計では、より多くのエキスパート（MoEモデルの専門家）を使いながらも、アクティブになるエキスパートの比率を減らし、アテンションヘッドの数を減らすというトレードオフを採用しています。これは、アテンションの計算コストが高いというハードウェア的制約を考慮しつつ、モデルの性能を最大化するためのアーキテクチャ上の工夫です。

また、モデルのトレーニング段階で、それが最終的にどのような「ハーネス」（外部ツール連携や複数ステップの推論フロー）の中で使われるかを考慮することも重要です。モデルがハーネスの振る舞いを「学習」することで、より高い品質の出力を安定して生成できる可能性があります。

NVIDIAでのエージェント活用事例：社内でのCodex導入とOutlook CLIエージェント

NVIDIA社内では、最先端のAIエージェント技術が積極的に導入され、その効果が実証されています。特に「Codex」（NVIDIA製のコーディングエージェント）の導入は、社員の生産性向上に大きく貢献しています。

ある社員が個人的に開発したOutlook CLIエージェントの事例は象徴的です。このエージェントは、OutlookのメールをCLIで操作するためのツールをCodexに与えることで、未読メールの要約、緊急度の高いメールの選別、特定のフォルダへの移動、そしてアーカイブといった一連のタスクを自動実行しました。これは、エージェントが人間のタスクを効率化するだけでなく、社員が積極的に新しいツールを試し、その価値を広めるNVIDIAのオープンな文化を反映しています。

エージェントのセキュリティ原則とCLIサポートの重要性

AIエージェントの社内活用が進むにつれて、セキュリティは喫緊の課題となります。前述の通り、NVIDIAはエージェントが「ファイルアクセス」「インターネットアクセス」「カスタムコード実行」の3つのうち、2つまでしか実行できないような制限を設けるべきだと考えています。これは、エージェントに与える権限を最小限に抑え、潜在的なリスク（マルウェア注入など）を軽減するための重要な原則です。NVIDIAのセキュリティチームは、AIの可能性を認識しつつも、進歩的なアプローチでこれらのリスク管理に取り組んでいます。

また、LLMとエージェントの時代において、CLI（コマンドラインインターフェース）サポートの重要性が再認識されています。Kyleは、**「人間にとってのGUIが、LLMにとってはCLIである」**という逆説的な見解を提示します。

  • 豊富なトレーニングデータ: 世界中の開発者が何十年も使ってきたCLIには、膨大な量のドキュメントと実行ログが蓄積されており、これはLLMにとって非常に質の高いトレーニングデータとなります。
  • 汎用性と安定性: CLIはBashのような共通のシェル環境で動作するため、Pythonのバージョン違いなどによる環境依存の問題が少なく、モデルが生成するコードの安定性が高まります。
  • セキュリティの明確性: CLIのコマンドはAPIコールと異なり、事前に定義されたアクションに限定されるため、エージェントが実行する操作の範囲が明確になり、セキュリティリスクを管理しやすくなります。

NVIDIAは、自社のビジネスアプリケーションについてもCLIサポートを強化し、それをオープンソース化することで、コミュニティ全体のCLIエコシステム構築を支援しようとしています。これは、人間とAIが共存する未来のコンピューティングインターフェースの姿を再定義する試みと言えるでしょう。

サブエージェントの概念とシステムとしてのモデル

今年のAIトレンドとして注目されるのが「サブエージェント」の概念です。これは、メインエージェントが、特定のタスク（例えば、コードベースの検索、データ分析など）に特化した「ミニエージェント」を起動し、それらに作業を委譲するというものです。これらのサブエージェントは、メインエージェントよりも限定的なコンテキストやツールアクセス権限を持ち、より効率的にタスクを遂行します。

このサブエージェントの概念は、**「システムとしてのモデル（System as a Model）」**という広範なトレンドの一部です。将来的には、ユーザーがAPIコールを一つ行うだけで、その裏側では「ブラックボックス」として機能する複雑なマルチエージェントシステムが稼働し、複数のモデルやコンポーネントが連携してタスクを解決するようになるでしょう。Dynamoのような推論エンジンは、この複雑なシステムを効率的にオーケストレーションし、ユーザーに透過的な体験を提供するための鍵となります。CESで発表されたNVIDIAのモデルルーターは、ローカルモデルと基盤モデルを連携させ、クエリに応じて最適なモデルを使い分けることで、この「システムとしてのモデル」を具現化する初期の例と言えます。

エージェントの実行時間の将来予測

AIエージェントの自律的な実行時間は、その能力と応用範囲を測る重要な指標です。現在、CodexやClaude Codeのようなコーディングエージェントは、通常20〜45分程度のタスクを自律的にこなすのが現実的な範囲とされています。しかし、実験的なセットアップでは、ユーザーの介入なしに1時間以上稼働する事例も報告されています。

Kyleは、年内には24時間以上自己一貫性を保ちながら自律稼働できるエージェントが登場すると予測しています。ただし、これは単に実行時間を伸ばすだけでなく、より効率的でスマートな推論が求められるバランスゲームです。無駄な試行や最適化されていないシステムを長時間稼働させることは、コストとリソースの無駄につながります。今後は、エージェントがより賢く推論し、必要に応じてリソースを節約する能力も進化していくでしょう。

6. サンフランシスコのスタートアップエコシステムと共創の精神

ポッドキャストの終盤では、サンフランシスコのAIスタートアップコミュニティの活気と、NVIDIAがそのエコシステムとどのように関わっているかが語られました。2020年代初頭のサンフランシスコは、パンデミック後の特異な状況下で、真に「ビルドしたい」と願う起業家たちが集中し、AI分野で多くのイノベーションが生まれた時期でした。

NVIDIAの社員は、このようなオープンで協力的なコミュニティ精神を大切にしています。ポッドキャストホストのVivuが、Natとの個人的な出会いを通じて、開発者向けのコンテンツ作成に関するアドバイスを得たエピソードは、NVIDIAが単なる企業としてだけでなく、AIエコシステムの一員として、開発者コミュニティの成長を支援する姿勢を示しています。社員一人ひとりが持つ情熱と知識を共有することで、NVIDIAはAIの未来を共に創造する「共創」の精神を体現しているのです。

結論

NVIDIAは、単なるGPUメーカーの枠を超え、AIエージェントと大規模言語モデルの進化を、ハードウェア、ソフトウェア、そしてユニークな企業文化の三位一体で牽引しています。Brevのようなスタートアップの買収から、Dynamoによるデータセンタースケール推論の最適化、そして「So」や「ゼロビリオンダラービジネス」といった独自の経営哲学に至るまで、NVIDIAのアプローチは多角的かつ深遠です。

AIエージェントが私たちの生活に深く根ざしていく中で、NVIDIAは、その無限の可能性を追求しつつも、セキュリティ、効率性、そして開発者体験の向上という重要な課題に真摯に取り組んでいます。物理的な限界を問い直し、長期的な視点で市場を創造し、社員の情熱を最大限に引き出すNVIDIAの姿勢は、4.3兆ドル規模の企業でありながら、常に未来に向かって俊敏に動き続ける「スタートアップ」としての本質を示していると言えるでしょう。AIの「光速」の進化は、NVIDIAのようなリーダーたちによって、今後も加速し続けるに違いありません。

← 一覧に戻る