T最新テックトレンド

Google I/O 2024で発表されたGemini APIの進化：エージェント構築の新時代を切り拓く

Google for Developers
0:00--:--

Google I/O 2024で、AI技術の最前線が再び塗り替えられました。特に注目すべきは、Googleの最先端AIモデルであるGeminiを核とした各種APIの進化です。これらは、単なるツールとしてのAIを超え、より自律的で複雑なタスクを実行できる「AIエージェント」を誰もが構築できる新時代を告げています。本レポートでは、Gemini APIの最新アップデートを深く掘り下げ、その重要性、具体的な機能、ビジネスへの影響、そして将来性について詳細に解説します。

第1章: Gemini APIの基礎と驚異的なマルチモダリティ

Gemini APIは、Googleの強力な基盤モデルであるGeminiへのアクセスを開発者に提供します。このAPIの最も革新的な側面の一つが、その「マルチモダリティ」です。

1.1 Google AI Studioで始めるGemini API

Gemini APIの利用開始は驚くほど簡単です。Google AI Studio (ai.studio) にアクセスするだけで、数クリックでAPIキーを取得し、すぐに実験を開始できます。

  • 容易なアクセス: ai.studioにアクセスし、GoogleアカウントでログインするだけでAPIキーが発行されます。特別なセットアップは不要です。
  • 無料枠の提供: 開発者は寛大な無料枠を利用して、課金を気にすることなくモデルの機能や性能を試すことができます。
  • 費用管理: 開発者は必要に応じて課金設定を行い、利用上限を設定するなど、費用を管理する機能も提供されています。

Google AI Studioは、Google DeepMindモデルを試すための理想的なプレイグラウンドであり、開発者がGeminiの能力を素早く体験できるよう設計されています。

1.2 マルチモダリティが拓く可能性

Geminiの真の力は、そのマルチモダリティにあります。これは、Geminiが単一のデータ形式だけでなく、多様な形式の情報を同時に理解し、それらを統合して推論し、様々な形式で出力を生成できることを意味します。

  • 多様な入力:
    • システム指示: モデルの振る舞いやスタイルを定義する指示。
    • テキスト: 自然言語のプロンプトやドキュメント。
    • コード: 複数のプログラミング言語のコードスニペット。
    • 画像: 写真、図、グラフィックなど。モデルは画像を視覚的に理解し、その内容や文脈を推論します。
    • 音声: 音声データや話し言葉。モデルは音声をテキストに変換し、その意味を理解します。
    • 動画: 動的な視覚情報。モデルは動画フレームから動きやオブジェクトを認識し、動画内で何が起こっているかを理解します。
    • 音声認識: リアルタイムでの音声入力。
    • API情報: 外部サービスやカスタムツールに関する情報。
    • URL: ウェブコンテンツのコンテキストを提供。
  • 多様な出力:
    • テキスト: 質問への回答、文章生成、要約、翻訳など。
    • 画像: プロンプトに基づく画像生成、画像編集など。
    • 音声: テキストから音声への変換（Text-to-Speech, TTS）。
    • 動画: 動画生成、編集。
    • 関数呼び出し: モデルが外部ツールやAPIの関数を実行するための呼び出し。
    • コード: プログラミング言語のコード生成、デバッグ、改善提案。

Geminiはこれらの多様なモダリティをシームレスに処理することで、より人間らしい、複雑な対話やタスク実行が可能になります。例えば、画像を提示しながら音声で質問し、その内容に基づいてコードを生成するといった、かつては想像し得なかったインタラクションが現実のものとなります。

第2章: Gemini 3.1 Flash Live — リアルタイム対話の最前線

Gemini 3.1 Flash Liveは、Googleが提供する最新のマルチモーダルリアルタイム会話モデルであり、その名の通り「ライブ」なインタラクションに特化しています。

2.1 低レイテンシー、高応答性の会話モデル

Gemini 3.1 Flash Liveモデルは、Geminiアプリケーションの会話機能を支える基盤となっており、その最大の特徴は低レイテンシーとリアルタイム性です。これにより、ユーザーはモデルと非常にスムーズで自然な会話を体験できます。まるで人間と話しているかのように、応答の遅延が少なく、会話の流れが途切れません。

Live Jukeboxデモ: 音楽生成をDJがリアルタイムで実行

Live Jukeboxデモは、Gemini LiveとLyra（Googleの音楽生成AI）を組み合わせた革新的な体験を提供しました。これは、まるでラジオのDJにリクエストするような感覚で、AIがユーザーの音声リクエストに基づいて音楽をリアルタイムで生成するデモです。

  • デモの仕組み:
    1. ユーザーがDJ（Gemini Live）に音声で音楽をリクエストします。
    2. Gemini Liveは、ユーザーの音声入力を理解し、その内容に基づいてLyra 3に30秒の音楽クリップを生成するよう関数呼び出しを行います。
    3. Lyra 3が即座にリクエストされたジャンルやテーマの音楽を生成し、DJ（Gemini Live）がその音楽を流しながらユーザーに応答します。
  • 具体的なリクエストと生成: デモでは「Google I/Oの素晴らしい開発者たちのための、vibe codingとagentic codingについてのハイエナジーなレゲトン曲」というリクエストが行われました。その結果、モデルはスペイン語でvibe codingとagentic codingをテーマにした、まさにハイエナジーなレゲトン曲を生成しました。これは、AIがクリエイティブなタスクにおいて、単なる指示の実行にとどまらず、多言語での表現力と文化的文脈を理解してアウトプットできることを示す象徴的な瞬間でした。

2.2 Live APIの主要機能

Gemini 3.1 Flash Liveを支えるLive APIは、リアルタイムでのボイス＆ビジョンインタラクションを可能にする包括的な機能セットを提供します。

  • 低レイテンシーリアルタイムインタラクション: アプリケーションはWebSocket接続を介して、ユーザーからのテキスト、音声、さらには動画フレームをモデルにストリーミングできます。モデルはこれらの入力をリアルタイムで処理し、動画の視覚情報（例: ジェスチャーや背景）や音声情報（例: 口調や感情）を理解して推論します。
  • 多言語サポート: 現在プレビュー段階で90以上の言語をサポートしており、異なる言語間でのシームレスな会話が可能です。音声入力と音声出力が直接行われるため、テキストを介する変換プロセスによる遅延や不自然さが排除され、非常に流暢な多言語会話体験を提供します。
  • Barge-in機能: ユーザーはモデルが応答している最中でも割り込んで話すことができます。これにより、よりインタラクティブで自然な会話の流れが実現され、ユーザーの意図に素早く対応することが可能です。
  • ツール利用: Live APIは、Google検索や開発者が定義したカスタム関数と連携できます。モデルは対話の文脈に基づいて、リアルタイムの情報検索が必要か、特定のタスクを実行するカスタム関数を呼び出すべきかを自律的に判断します。Live Jukeboxデモのように、音楽生成APIへの関数呼び出しもこれに該当します。
  • 音声書き起こし: ユーザーの音声入力とモデルの音声出力の両方について、テキスト書き起こし（トランスクリプション）が提供されます。これにより、開発者は対話のログを容易に分析し、モデルの理解度や応答の正確性を検証できます。また、視覚的なフィードバックとしても利用可能です。

2.3 Live APIのエコシステム

Live APIは、単体で利用できるだけでなく、様々なサードパーティのプラットフォームやフレームワークと連携することで、開発をさらに効率化し、多様なユースケースへの適用を可能にします。

  • Firebase AI Logic: アプリケーションのバックエンドロジックとAI機能を統合。
  • LiveKit / Daily / Pipecat: リアルタイムコミュニケーションに特化したこれらのプラットフォームは、Live APIとの連携により、よりリッチな音声・動画対話体験を提供。
  • Software Mention / VisionAgents / Voximplant: 特定の業界や機能に特化したソリューションとの連携も可能。
  • SDK: Googleが提供するSDKを利用することで、開発者はLive APIの機能を既存のアプリケーションや新しいプロジェクトに簡単に組み込むことができます。

これらのパートナーエコシステムは、開発者がLive APIの可能性を最大限に引き出し、リアルタイム音声・視覚対話エージェントを迅速に製品化するための強力な基盤を提供します。

第3章: Interactions API — モデルとエージェント推論の統合ハブ

Live APIがリアルタイムインタラクションに焦点を当てる一方、Interactions APIは、より複雑で長期にわたるモデルやエージェントとの対話を、統一されたインターフェースで管理するために設計されています。

3.1 複雑なコンテキスト管理とサーバーサイド状態

従来のLLM（大規模言語モデル）との対話では、モデルが過去の会話内容を記憶するために、開発者が毎回過去のターンをプロンプトに含める必要がありました。しかし、Interactions APIでは、このプロセスが大幅に簡素化されます。

  • 統一されたAPI: client.interactions.create の単一のAPI呼び出しを通じて、モデルまたはエージェントとの対話を開始できます。
  • サーバーサイド状態管理: 各インタラクションの出力としてinteraction_idが返されます。次のターンでは、このprevious_interaction_idを渡すことで、モデルがサーバー側で全ての会話履歴とコンテキストを自動的に管理します。これにより、開発者はクライアント側で会話履歴を維持する複雑なロジックから解放され、より本質的なエージェントの機能開発に集中できます。
  • 長時間のバックグラウンドタスク: 永続的な状態管理により、モデルは長時間にわたる複雑なタスク（例: 大規模なデータ分析、複数のステップを要するコード生成）を中断することなく実行し続けることができます。

3.2 マルチモダリティ生成の強化

Interactions APIは、テキストだけでなく、音声や画像の生成もシームレスにサポートします。

  • オーディオ生成: Gemini 3.1 Flash TTS Previewモデルと連携し、指定されたテキストから高品質な音声を生成できます。開発者は音声の言語や声の種類（例: Puck, Kora）をgeneration_configで細かく設定可能です。これにより、対話エージェントがより自然で表現豊かな音声でユーザーに応答できるようになります。
  • 画像生成: Gemini 3-pro-image-previewモデルのような画像生成モデルと連携し、テキストプロンプトから画像を生成できます。画像の縦横比やサイズなどの生成設定もgeneration_configで指定可能です。これにより、視覚的な情報を用いてユーザーをサポートするエージェント（例: デザインアシスタント、アイデアの視覚化）を構築できます。

3.3 高度なツール利用とエージェント連携

Interactions APIは、モデルが外部ツールを自律的に利用し、より複雑なタスクを実行する能力を向上させます。

  • Google検索との連携: モデルは必要に応じてGoogle検索を自動的に利用し、リアルタイムの情報を取得して応答の正確性と関連性を高めます。
  • カスタム関数の統合: 開発者は、モデルが呼び出せる独自の関数（ツール）を定義できます。例えば、動画で紹介されたfile_incidentという関数は、内部のトラッキングシステムにセキュリティインシデントを記録するためのものです。
  • 自律的なツール選択: モデルは対話の文脈を理解し、Google検索とカスタム関数のどちらを使うべきか、あるいは両方を組み合わせて使うべきかを自律的に判断します。これにより、エージェントは限られた情報だけでなく、常に最新かつ関連性の高い情報を利用して、より効果的なアクションを実行できます。

第4章: エージェント構築の進化 — The Steps Data ModelとAntigravity

AIエージェントの構築は、単にモデルを呼び出す以上の複雑さを伴います。Interactions APIは、この複雑さを管理し、エージェントの振る舞いをより透過的にするための新しいデータモデルと実行環境を提供します。

4.1 The Steps Data Model — エージェント行動の透明性

従来のLLMとの対話では、多くの場合、ユーザーの入力とモデルの出力という2つの「ターン」で会話が表現されていました。しかし、自律的なエージェントは、思考、ツール利用、環境との対話など、より多くの内部ステップを実行します。The Steps Data Modelは、このエージェントの複雑な内部プロセスを「ステップ」という単位で表現し、開発者にとっての透明性と解釈可能性を劇的に向上させます。

  • Outputs[]からSteps[]へ: 従来のシンプルな出力配列ではなく、各インタラクションが「ステップ」の配列として表現されます。各ステップは、エージェントが実行した個々の行動や思考を表します。
  • タイプ判別: 各ステップにはtypeが割り当てられ、それが「モデルの思考 (thought)」、「モデルの出力 (model_output)」、「関数呼び出し (function_call)」、「Google検索呼び出し (google_search_call)」など、どのような種類の行動であったかを示します。
  • リッチなコンテンツと構造化データ:
    • Content[]には、テキスト、画像、音声、動画といった生のモダリティデータが格納されます。
    • Structured dataは、関数呼び出しの引数やモデルのサマリーといった構造化された情報（名前、引数、シグネチャなど）を型付けされたフィールドに格納します。
  • ステップの状態: 各ステップはdone（完了）、waiting（待機中）、in_progress（進行中）といった状態を持ち、エージェントの実行状況をリアルタイムで追跡できます。

このデータモデルにより、開発者はエージェントがどのように問題を解決しようとしているのか、どのツールを使用しているのか、どの情報に基づいて推論しているのかを詳細に把握できるようになります。これは、デバッグ、エージェントの改善、そしてその信頼性を高める上で非常に重要です。

4.2 Antigravity — リモートエージェントの実現

Antigravityは、Gemini APIの管理対象エージェント機能の一部として提供される、汎用的な自律エージェントの実行環境です。これは、セキュアなマネージドLinuxサンドボックス内でコードを実行することで、開発者に強力な能力と安心感を提供します。

  • Antigravity IDE と同じハーネス: Antigravityエージェントは、Googleの社内開発環境であるAntigravity IDEと同じ基盤で動作します。これにより、強力で一貫性のある開発体験が保証されます。
  • 豊富なツールセット: Antigravityエージェントは、コード実行、ファイルシステム操作、Google検索によるウェブ検索、URLコンテキスト取得、さらには他のエージェントスキル利用といった幅広いツールを組み合わせて使用できます。これにより、エージェントは多様なタスクを自律的に実行する能力を持ちます。
  • マネージドLinuxサンドボックス: コード実行は隔離されたLinuxサンドボックス内で行われます。これにより、悪意のあるコードや意図しない副作用からシステムが保護され、高いセキュリティが確保されます。
  • 単一のAPI呼び出しで複雑なオーケストレーションなし: 開発者は複雑なオーケストレーションロジックを自分で実装する必要がありません。単一のInteractions API呼び出しでAntigravityエージェントを起動すれば、エージェントが自律的に思考し、ツールを使い、必要なコードを実行し、結果を返します。

4.3 Persistent Environments — 状態を維持するエージェント

Antigravityの環境は永続的であり、単一のインタラクションを超えて状態を維持できます。これは、より複雑で長期にわたる作業をエージェントに任せる上で不可欠な機能です。

  • マルチターン永続性: エージェントの実行環境は、セッション間で継続されます。これにより、エージェントは以前のターンで実行したコードの状態、生成したファイル、インストールしたライブラリなどを保持したまま、次のタスクに取り組むことができます。例えば、データ分析エージェントがPandasをインストールし、CSVファイルを読み込んだ後、別のターンでそのデータを使ってグラフを作成するといった連続した作業が可能です。
  • 環境のソース: 環境は、GCS（Google Cloud Storage）バケット、GitHubリポジトリ、またはインラインコンテンツとして提供されたファイルから初期化できます。これにより、開発者はエージェントに必要なスキルやデータ、設定ファイルを簡単に提供できます。これらのソースはモデルのコンテキストの一部ではなく、隔離された環境の一部として扱われるため、コンテキストウィンドウの制限を気にすることなく大規模なデータやコードを扱えます。
  • 環境の共有: 異なるエージェント間で同じ環境を共有することが可能です。例えば、研究エージェントが特定のトピックについて調査し、その結果を環境に保存した後、別のアプリ構築エージェントがその環境にアクセスして、調査結果に基づいたアプリケーションを開発するといった連携が実現できます。

4.4 カスタムマネージドエージェントの構築

Interactions APIとAntigravityを組み合わせることで、開発者は自分だけのマネージドエージェントを簡単に構築し、デプロイできます。

  • ゼロからの定義: エージェントID、ベースとなるAntigravityプレビューエージェント、説明、使用するツール、そしてシステム指示を記述したYAMLファイルを作成することで、完全に新しいエージェントを定義できます。
  • 環境からのスナップショット: 既存のAntigravity環境の作業状態をスナップショットとして保存し、そのスナップショットから新しいマネージドエージェントを作成することも可能です。これにより、特定の開発状態をベースにしたエージェントを容易に派生させられます。
  • CI/CDとの統合: エージェントの定義とテストをCLIツールと組み合わせることで、CI/CDパイプラインに統合し、エージェントの開発とデプロイを自動化できます。

第5章: 実践的な開発ツールとデモンストレーション

Google I/Oでは、上記の新機能を実際に体験できる多様なデモンストレーションと開発ツールが紹介されました。

5.1 Gemini API CLIの活用

Gemini API CLIは、コマンドラインからGemini APIとInteractions APIの機能を簡単に操作できる開発者向けツールです。

  • 任意のモデルに対するプロンプト実行: gemini-api run "What is the capital of France?" のように、シンプルなコマンドでモデルに質問を投げかけられます。
  • 画像・テキスト音声変換の生成: gemini-api run "a cool neon rock emoji" のように、テキストから画像や音声を生成するタスクもCLIから実行可能です。
  • マネージドエージェントのスキャフォールド、テスト、デプロイ:
    1. gemini-api agents init my-agent: エージェントの初期ディレクトリ構造をスキャフォールド。
    2. gemini-api agents run my-agent "Analyze Q1 date": エージェントに特定のタスクを実行させる。
    3. gemini-api agents create: エージェントをデプロイ。
    4. gemini-api run "Summarize quarter" --agent my-agent: デプロイされたエージェントに対してプロンプトを実行。

CLIは、エージェントの定義、テスト、デプロイのプロセスを簡素化し、開発者が迅速にイテレーションを行うことを可能にします。

5.2 Google AI StudioでのAntigravity Agent Demo

Google AI Studioでは、Antigravityエージェントの驚くべき能力を示すいくつかのデモが実行されました。

  • 天気ダッシュボードの生成:
    • リクエスト内容: ロンドンとアンカラの現在の天気と3日間の予報をwtt.inから取得し、PythonでJSONデータを解析、クリーンなCSSスタイリングが施されたインタラクティブなHTMLダッシュボードを生成するようエージェントに指示。
    • エージェントの思考プロセス: エージェントは、最初にcurlコマンドを使って天気APIからデータを取得し、そのJSON構造を解析。次に、Pythonスクリプトを生成してデータを処理し、Tailwind CSSなどのライブラリを組み込んだHTMLテンプレートを使ってダッシュボードを構築しました。
    • 結果: わずか1回のAPI呼び出しと数分間の処理で、ロンドンとアンカラのリアルタイムの天気、3日間の予報、風速、湿度、UVインデックスなどの情報を含む、完全に機能するインタラクティブなHTMLダッシュボードが生成されました。
    • 環境アクセスとセキュリティ: このデモでは、エージェントが外部API (wtt.in) にアクセスするために、AI Studioのネットワーク構成でそのドメインが許可されていることが示されました。また、APIキーのような機密情報はサンドボックス内に直接置かれず、安全な方法でエージェントに中継されることでセキュリティが確保されています。
  • Antigravityゲームの生成:
    • リクエスト内容: Three.jsとWeb Audio APIを使用して、重力の特異点が存在する空間を飛行するインタラクティブな3Dスペースフライトゲームを生成するようエージェントに指示。
    • エージェントの思考プロセス: エージェントはゲームのコアコンセプト、物理演算、ゲームプレイの仕組み（船の操作、重力シールドなど）を考案し、3DグラフィックライブラリのThree.jsやWeb Audio APIを使ったHTML、JavaScript、CSSのコードを自律的に生成しました。
    • 結果: エージェントは、宇宙船を操作して重力の特異点を回避しながら飛行する、単一ファイルで完結するインタラクティブな3Dゲームを生成しました。生成されたHTMLファイルはAI Studio内で直接プレビューでき、すぐにプレイ可能な状態でした。
  • SVG絵文字ジェネレーターエージェントの作成:
    • リクエスト内容: SVG形式で高品質なカスタム絵文字を生成するGeminiエージェントを新しく作成するよう指示。
    • エージェントの思考プロセス: エージェントは、SVG絵文字ジェネレーターの「エージェント指示」「コア機能」「設計ルールとガイドライン」「出力形式の制約」などを含む詳細な実装計画を策定。CLIツールを使ってエージェントのディレクトリを初期化し、YAML形式でエージェントを定義しました。
    • 結果: 定義されたエージェントは、たとえば「クールなネオンロケット絵文字」といったプロンプトに基づいて、美しいSVG形式のロケット絵文字を生成しました。これは、AIが自律的に高度なグラフィックデザインの指示を理解し、実行できることを示しています。

これらのデモは、Antigravityエージェントがコードの記述、ファイルシステム操作、外部APIの利用、ウェブUIの生成、さらにはゲーム開発まで、多岐にわたるタスクをいかに自律的かつ柔軟にこなせるかを示しています。

結論: AIエージェントが切り拓く開発の未来

Google I/O 2024で発表されたGemini API、Live API、Interactions API、そしてAntigravityのようなマネージドエージェントは、AI開発の風景を根本的に変えつつあります。これらの技術は、単にAIモデルを呼び出すだけでなく、モデルに自律的な思考、行動、そして環境との対話を促すための強力な枠組みを提供します。

  • 開発の簡素化と加速: Google AI Studioの使いやすさ、Interactions APIの統一されたインターフェース、そしてAntigravityのマネージドサンドボックスは、AIエージェント開発の複雑さを大幅に軽減します。開発者はインフラ管理や複雑なオーケストレーションに悩むことなく、エージェントのコアロジックと創造性に集中できます。
  • ユーザー体験の革新: Live APIの低レイテンシー、マルチモーダル対話、Barge-in機能は、これまでにないほど自然で没入感のあるユーザー体験を可能にします。音声アシスタント、教育ツール、カスタマーサポート、エンターテイメントなど、あらゆる分野で人間とAIのインタラクションが変革されるでしょう。
  • ビジネスへの影響:
    • 生産性の向上: 大規模なデータ分析やレポート生成、自動化されたワークフローなど、エージェントが人間にとって時間のかかるタスクを自律的に実行することで、企業全体の生産性が向上します。
    • 新たなサービスの創出: リアルタイムな多言語カスタマーサポート、パーソナライズされた学習アシスタント、クリエイティブコンテンツの自動生成といった、新たなAIを活用したサービスが生まれる可能性を秘めています。
    • セキュリティとスケーラビリティ: マネージドサンドボックスと永続的な環境は、エージェントベースのソリューションを安全かつスケーラブルにデプロイするための基盤を提供し、企業のAI導入を加速させます。

AIエージェントは、単なる機能追加ではなく、アプリケーションそのものの設計思想を変える可能性を秘めています。Gemini APIの進化は、開発者がこのエージェント時代の波に乗り、次世代の革新的な体験を創造するための強力なツールセットを提供しています。この新しいフロンティアで、どのような創造的なアプリケーションやビジネスソリューションが生まれるのか、その可能性は無限大です。

← 一覧に戻る