T最新テックトレンド

AI評価の常識を覆す：Pi Workshopが語る、真に機能する評価システムの構築法

AI Engineer
0:00--:--

AI技術の急速な進化は、私たちの生活やビジネスのあり方を根本から変えつつあります。大規模言語モデル（LLM）やAIエージェントの登場は、かつてSFの領域だったアイデアを現実のものとし、その影響はデータサイエンスや機械学習の専門家だけでなく、あらゆる業界のプロフェッショナルに及んでいます。しかし、このエキサイティングな進化の裏側で、多くの開発者が共通の、そして根深い課題に直面しています。それは「AIの評価（Evals）」です。

AI Engineer World's Fairで開催されたPi Workshop「Building evals that actually work」は、この課題に光を当て、実際に機能する評価システムを構築するための革新的なアプローチを提示しました。Googleの長年の経験から得られた知見に基づき、本ワークショップは、AIの品質保証を再定義し、開発者がより効果的かつ効率的にAIアプリケーションを構築できるよう支援するものです。

本記事では、このPi Workshopの核心に迫り、なぜAI評価が今これほどまでに重要なのか、どのような評価手法が存在するのか、そしてPi Labsが提唱する「シグナルとスコアリング」アーキテクチャがどのようにビジネスに影響を与え、AI開発の未来を切り拓くのかを、詳細かつ分かりやすく解説します。

セクション1: なぜ今、AI評価が「最重要」なのか？

AIの評価は、今日のAI開発において最も複雑で、最も時間のかかる側面の1つとなっています。機能開発時間の最大80%が評価に費やされるという驚くべき指摘があるほどです。なぜ、これほどまでに評価が重要で、かつ困難なのでしょうか？

AIの確率的性質と品質保証の難しさ

従来のソフトウェア開発におけるテストは、入力と出力が明確に定義された決定論的なプロセスでした。しかし、AI、特にLLMは確率的な性質を持ちます。同じ入力に対しても異なる出力が生成される可能性があり、その「正解」を定義すること自体が困難な場合があります。

ある参加者は、「AIがテキストの要約を生成する際に、何が正しい答えなのかを定義すること自体が難しい」と述べました。AIは複数の方法でタスクを完了できるため、従来の単位テストのように単一の「正しい」出力があるわけではありません。このような不確実性は、単一の静的なテストスイートではAIの品質を適切に測定できないことを意味します。

従来の評価手法の限界

多くの開発者は、AIの品質を測るために様々な手法を試みてきました。

  1. Vibe Testing（バイブテスト）: これは、開発者がプロンプトを試したり、いくつかの例を手動でチェックしたりする、迅速で非公式なフィードバックループです。手軽に始められるため、多くの人がここから始めます。一部の単純なAIアプリケーションではこれで十分な場合もありますが、スコープが限定的で、体系的な品質保証にはつながりません。

  2. Human Evals（人間による評価）: 人間がAIの出力を評価する方法は、最も正確なフィードバックを提供しますが、非常に高価であり、時間とリソースを大量に消費します。多くの企業は、人間による評価のための専門チームやSME（Subject Matter Experts）を編成するリソースを持っていません。

  3. Code-based Evals（コードベースの評価）: 決定論的なコード（Pythonスクリプトなど）を使用してAIの出力をテストする方法です。これは安価で自動化しやすい反面、AIの生成する微妙なニュアンスや創造性を捉えることができません。例えば、生成されたJSONの形式が正しいか、特定のキーワードが含まれているかなどはチェックできますが、内容の品質やユーザー体験を評価することは困難です。

  4. LLM-as-a-Judge（LLMを評価者として利用）: LLM自体を評価者として使用し、別のLLMの出力を評価させる方法です。これは人間による評価よりも安価ですが、Pi Workshopでは「簡単だが粗く、正確ではない」と指摘されています。特に複雑なルブリック（評価基準）を持つプロンプトでは、結果が不安定になったり、モデル変更に対して脆かったりする課題があります。さらに、LLMを評価者として使うことは非常にコストがかかるため、頻繁なオンライン評価には向きません。

これらの従来の評価手法は、それぞれに長所と短所がありますが、AI開発のスケールと複雑さが増すにつれて、その限界が露呈してきました。そこで、Pi Workshopが提唱するのが「品質工学」へのパラダイムシフトです。

評価は開発の中心にある

Pi Workshopでは、「評価はドメイン知識が活きる唯一の場所であり、他の全てはその評価から派生する」という考え方が強調されました。これは、評価が単なる開発プロセスの最終段階にある「テスト」ではなく、AIシステムの設計、構築、改善のサイクル全体を駆動する中心的な要素であるという認識を示しています。

AI開発者は、自分のアプリケーションにとって何が「良い」出力なのかを深く理解し、それを具体的な評価指標に落とし込む必要があります。このドメイン知識が、プロンプトの改善、データの選定、モデルのファインチューニング、そして最終的な製品の品質向上に直接つながるのです。

セクション2: 品質工学へのパラダイムシフト – 評価の進化パス

AIの評価におけるこれらの課題を解決し、AI品質工学を実現するために、Pi Workshopは「Scoring System（スコアリングシステム）」というアプローチを提案します。これは、Googleが長年にわたる検索エンジン開発で培ってきた評価と改善のメソッド論にインスパイアされたものです。

Scoring System：計測・学習・反復のサイクル

Scoring Systemは、AIアプリケーションの品質を体系的に測定し、その結果から学習し、反復的に改善していくフィードバックループを構築することを目指します。

AI品質を測る方法の進化:

  • Vibe Testing：まずは試用。
  • Human Evals：より正確だがコストが高い。
  • Code-based Evals：安価だがニュアンスに欠ける。
  • Natural Language Evals (LLM-as-a-judge)：手軽だが精度に課題。
  • Scoring System：これらを統合し、測定、学習、反復のサイクルを回す。

このサイクルは、AI開発における従来の線形的なプロセス（設計→開発→テスト）から、継続的な改善を可能にする反復的なアプローチへの移行を意味します。

品質工学がスタック全体にわたる

Scoring Systemは、AI開発のスタック全体にわたる様々な要素と密接に連携します。

  • Prompt Rewriting & Vector Prompts: 良い評価があれば、プロンプトを単に手書きするのではなく、より効果的なプロンプトの自動生成や最適化が可能になります。
  • Few-Shot Selection & Synthetic Data: 評価システムは、より高品質なFew-shotの例を選定したり、合成データ（Synthetic Data）を生成し、その品質を評価するのに役立ちます。リアルワールドデータが不足している場合でも、合成データを使ってモデルを訓練・テストできます。
  • Data Filtering: 生成されたデータや既存のデータを評価し、品質の低いデータをフィルタリングすることで、モデルのトレーニングデータを改善できます。
  • Retrieval Augmentation (RAG): 外部知識を検索して回答を生成するRAGシステムにおいて、検索結果の関連性や品質を評価するのに役立ちます。
  • Feedback Loops & Reinforcement Learning: ユーザーフィードバック（例えば、生成された出力に対する「いいね」や「良くないね」）を評価システムに統合し、強化学習（RL）を通じてモデルを継続的に改善するフィードバックループを構築します。
  • Reward Models & Rankers: 強化学習における報酬モデルや、複数の出力をランキングするランカーの構築にも評価システムが不可欠です。
  • Auto-Evals: 人間が介入することなく自動的にAIの出力を評価する仕組みを構築し、開発の高速化とコスト削減を実現します。

この複雑な図が示すのは、評価が単なるテストツールではなく、AIシステムの設計、トレーニング、デプロイ、運用、改善の全段階において中心的な役割を果たす「品質工学」の基盤となるということです。評価は、ドメイン知識をAIシステムに注入し、そのパフォーマンスを継続的に最適化するための唯一の場所となるのです。

セクション3: 従来の評価が直面する壁と「カスタムな良さ」の追求

従来のAI評価がなぜ限界に達しているのかを理解するためには、それが「一般的な良さ」しか測れないという根本的な問題に目を向ける必要があります。Pi Workshopでは、この問題を「Taste & Opinion: Trip Planning（好みと意見：旅行計画）」の例で具体的に示しました。

ユースケース固有の「良さ」の定義

LLMは、一般的なテキスト生成タスクにおいては目覚ましい能力を発揮しますが、特定のユースケース、特に主観的な要素や個人の好みが絡む場面では、その出力が「平坦」で「魅力に欠ける」ものになりがちです。

旅行計画の例で考える課題: LLMに旅行計画を作成させると、一般的には無難で論理的な計画が生成されます。しかし、ユーザーが本当に求めているのは、以下のような「カスタムな良さ」です。

  • わくわくするか？: 提示された場所やアクティビティが、ユーザーの興味を引き、旅への期待感を高めるか。
  • 私の好みにパーソナライズされているか？: ユーザーの過去の行動履歴や明示的な好みを反映しているか。
  • 旅程は現実的か？: 移動時間は適切か、乗り換えは無理なく可能か。
  • 視覚的に魅力的か？: 計画の提示方法や、提案される場所の美しさはどうか。
  • ありきたりではないか？: 隠れた名所やユニークな体験を提案しているか。
  • 場所は実在するか？: 事実に基づいているか（ハルシネーションの回避）。
  • ブランドの声を反映しているか？: 企業のブランドイメージやトーン＆マナーに合致しているか。

これらの「良さ」の定義は、アプリケーションのドメインによって大きく異なります。

  • マップアプリ: ユーザーレビューの質、場所の関連性。
  • ポッドキャストアプリ: 聴取数、ユーザーの好み。
  • ショッピングアプリ: エンベディングの関連性、商品の魅力。
  • 音楽アプリ: アーティストの人気度、ジャンルの適合性。
  • イベントアプリ: 鮮度、位置、興味度。
  • 不動産アプリ: 平方メートル数、部屋数、プールなど設備、位置。
  • 求人情報: 学歴レベル、経験年数。

従来の一般的な評価指標（例：ヘルプフルネス、有害性、ハルシネーションの有無）だけでは、これらのニュアンスやドメイン固有の要件を捉えきれません。AIシステムが「間違ったことは言っていない」状態から、ユーザーが本当に「素晴らしい」と感じる状態へと移行するためには、より洗練された、カスタム可能な評価システムが不可欠なのです。

合成データの役割

リアルワールドデータへのアクセスが困難な場合、合成データ（Synthetic Data）の役割が重要になります。Pi Workshopでは、合成データを生成し、評価システムを使ってその品質をテスト・改善する方法についても言及しました。合成データは、特に希少なケースや機密性の高い情報を含むシナリオにおいて、モデルの頑健性を高めるために不可欠な要素です。良い評価システムがあれば、高品質な合成データを効率的に生成し、活用することが可能になります。

セクション4: Pi Labsが提唱する「シグナルとスコアリング」アーキテクチャ

Pi Labsのワークショップで紹介された「シグナルとスコアリング」アーキテクチャは、Googleの検索エンジンがどのように何百もの異なる要素（シグナル）を組み合わせて、ユーザーに最適な結果を提供しているかという経験から着想を得ています。このアプローチは、複雑なAIの品質評価問題を、より管理しやすく、説明可能で、改善しやすい形に分解します。

複雑なスコアリング問題をシンプルな構成要素に分解

このアーキテクチャの核心は、単一の主観的な「良さ」の評価を、複数の、より客観的で具体的な「シグナル」の木構造に分解することです。

シグナルの階層構造:

  • 最上位（Score）: 最も主観的で、アプリケーション全体の品質を表す単一のスコア。
  • 中間層（Signal）: 上位スコアを構成する、より具体的なサブ要素。
  • 最下層（Signal）: 最も客観的で、具体的な計測が可能な要素。これらはしばしばPythonコードで直接チェックできるような決定論的な基準となります。

Google検索の例: Pi Workshopでは、Google検索が300以上のメトリクス（シグナル）を使用している例が挙げられました。例えば、ある文書のランキングスコアは、以下のようなシグナルによって構成されます。

  • クエリとの関連性: ユーザーの検索意図にどの程度合致しているか。
  • 視覚的魅力: ページのレイアウトやデザインは魅力的か。
  • SEO（検索エンジン最適化）: ページの構造やキーワードは適切か。
  • 文書の人気度: その文書がどれだけ他のユーザーから参照されているか。

さらにこれらのシグナルは、より具体的な下位シグナルに分解されます。例えば、「SEO」は「コンテンツスコア」や「タイトルスコア」に分解され、「コンテンツスコア」は「内容を反映しているか」「質問として提示されているか」「クリックベイトではないか」といったより客観的な要素に分解されます。

この分解により、最も下位のシグナルは非常に客観的で、コードで容易に検証できるようになります。例えば、「タイトルが20単語未満であるか」といった具体的な基準です。

スコアリングモデルの特性：なぜ「シグナルとスコアリング」が機能するのか

この「シグナルとスコアリング」アーキテクチャは、以下のような特性を持つことで、従来の評価手法の課題を克服し、AI品質工学を可能にします。

  1. 高い精度（High Precision）と低い分散（Low Variance）:

    • 多数のきめ細かなディメンションを評価することで、全体的なスコアの精度が向上します。
    • 同じ入力に対して異なる出力（微細な表現の違いなど）が生成されても、同じスコアが与えられるように設計されており、高い安定性（低い分散）を保証します。これにより、強化学習のような最適化アルゴリズムが収束しやすくなります。
    • Pi Labsのスコアラーは、双方向アテンション（bidirectional attention）と回帰ヘッド（regression head）を持つファウンデーションモデル（従来のLLMとは異なる）を使用しており、トークン生成ではなくスコアリングに特化しているため、このような高い精度と低い分散を実現します。

  2. 構成可能性（Composability）とカバレッジ（Coverage）:

    • 自然言語、コード、訓練済みモデルのシグナルを柔軟に組み合わせて評価できます。
    • 複雑な品質要件を包括的に測定することが可能です。例えば、コードのコンパイルやデータ構造の正当性といった品質上の懸念を自然言語で記述し、スコアに貢献させることができます。

  3. 差別化能力（Differentiating Power）:

    • 単に「良いか悪いか」だけでなく、「良い、より良い、悪い、より悪い」といった微妙なニュアンスを区別できるスコアリングモデルを構築できます。
    • これにより、最適化アルゴリズム（特に強化学習）は、パフォーマンスを段階的に改善するためのより豊かなシグナルを得ることができます。

  4. 高い説明可能性（High Explainability）:

    • 評価結果の各シグナルが明確に定義されているため、問題が発生した際に、損失がどこから来ているのかを迅速に特定できます。
    • 多数のディメンションを用いることで、データのきめ細かな分析が可能になり、例えば、性能と安全性のようなトレードオフ関係をより深く理解するのに役立ちます。

  5. 人間のキャリブレーション（Human Calibration）:

    • 評価システムを人間の正解データやユーザーの行動（クリック、いいねなど）に照らしてキャリブレーションすることで、そのスコアが人間の好みや行動を正確に予測するように調整されます。
    • これにより、開発段階での評価改善が、実際のユーザーにとっての製品の改善に直接つながることを保証します。

  6. 運用上の要件（Operational Requirements）:

    • シンプルなインターフェース: 複雑なプロンプトエンジニアリングは不要で、シンプルなQ&A形式で評価を実行できます。
    • 低レイテンシー・高スループット: 20以上のディメンションを100ミリ秒未満でスコアリングできるため、オンラインおよびオフラインの両方で評価を実行可能です。
    • Pi Labsのスコアラー: Pi Labsの提供するスコアラーは、これらの運用要件を満たすように特別に設計されています。

これらの特性を持つ「シグナルとスコアリング」アーキテクチャは、AI開発者がAIアプリケーションの品質をより深く理解し、効率的に改善するための強力なフレームワークを提供します。これは、単なるテストを超え、AI開発プロセス全体に品質工学の原則を適用する、新しいパラダイムへの転換を意味するものです。

セクション5: 実践的デモンストレーション：Pi Labsコパイロットの活用法

Pi Workshopでは、Pi Labsが提供するコパイロットツールとスプレッドシートを実際に使用して、評価システムを構築・デプロイ・活用するデモンストレーションが行われました。この実践的なアプローチは、理論だけでなく、具体的なツールを使って評価課題にどのように取り組むかを示しています。

評価システムの構築：コパイロットと共に

デモンストレーションでは、会議の議事録を要約するAIアプリケーションを例にとり、その要約の品質を評価するためのスコアリングシステムをゼロから構築しました。

  1. システムの初期化とシステムプロンプトの定義:

    • Pi Labsコパイロットは、まずユーザーが意図するAIアプリケーションの目的と、期待する出力形式をシステムプロンプトとして設定することから始めます。例えば、「会議の議事録を分析し、主要な洞察、重要項目、行動項目を抽出し、それらをJSON形式で返すAIアシスタントを設計してください」といった具体的な指示を与えます。
    • 出力形式もJSONスキーマとして詳細に定義することで、LLMが構造化された出力を生成しやすくなります。

  2. テストケース（例）の生成:

    • コパイロットは、設定されたシステムプロンプトに基づいて、評価用のテストケース（例）を自動生成できます。ユーザーは「良い例を生成してください」「悪い例を生成してください」といった指示を与えることで、多様なシナリオに対応するテストデータを効率的に作成できます。
    • さらに、手動で例を修正したり、既存のデータセットをインポートしたりすることも可能です。

  3. スコアリングディメンション（評価項目）の定義:

    • これが「シグナルとスコアリング」アーキテクチャの核心です。ユーザーは、アプリケーションの「良さ」を構成する具体的な側面をディメンションとして定義します。会議の議事録要約の例では、以下のようなディメンションが定義されました。
      • タイトルの正確性: 「出力は、議事録の正確で関連性の高い要約タイトルを含んでいるか？」
      • キーインサイト: 「出力は、議事録からの主要な洞察をすべて抽出しているか？」
      • 行動項目: 「出力は、議事録で議論された行動項目を含んでいるか？」
      • JSON形式: 「出力は、マークダウンコードブロックに埋め込まれたJSON形式で構造化されているか？」
      • 網羅性: 「出力は、批判的情報を含まずに議事録のすべての関連内容をカバーしているか？」
      • 洞察の明確さ: 「キーインサイトは、明確で簡潔な言葉で提示されているか？」
      • 行動項目の具体的な記述: 「各行動項目には、十分な詳細情報が含まれているか？」
      • オーナー識別: 「出力は、議事録で指定されている場合、各行動項目の担当者を正確に特定しているか？」
      • 期日包含: 「出力は、議事録で指定されている場合、行動項目の期日を含んでいるか？」
      • 冗長性のなさ: 「出力は、冗長または反復的な情報を含んでいないか？」
      • 攻撃的な言葉の回避: 「出力は、虐待的または不適切な言葉遣いを避けているか？」
    • 各ディメンションには、その重要度を示すウェイトが割り当てられ、評価結果の総合スコアに反映されます。
    • これらのディメンションの定義は、単なる自然言語の質問だけでなく、Pythonコードを埋め込むことで、より複雑で決定論的なチェックを行うことも可能です。コパイロットは、これらの質問やコードに基づいてPi Labsの特殊なファウンデーションモデルに問い合わせ、スコアを生成します。

  4. 評価プロセスの自動化とイテレーション:

    • コパイロットは、生成されたテストケースと定義されたディメンションを使って、自動的に評価を実行します。
    • 例えば、コパイロットに「破損したJSONを持つ例を作成できますか？」と尋ねることで、特定の失敗シナリオをシミュレートするテストケースを生成し、その際にスコアリングシステムがどのように機能するかを確認できます。
    • また、「この例を調整するためにコパイロットを更新できますか？」といった指示で、評価システム自体をコパイロットに修正させることも可能です。これにより、人間が介入してコードを書く手間を大幅に削減し、迅速なイテレーションを実現します。

スプレッドシートとオンライン/オフラインデプロイ

Pi Workshopでは、このスコアリングシステムをGoogle Sheetsと連携させ、より大規模なデータセットに対して評価を実行する方法も示されました。

  1. Google Sheetsとの統合:

    • 定義された評価基準は、Google Sheetsの特定の形式（基準のID、質問、ウェイト、Pythonコード）にエクスポートできます。
    • このスプレッドシートを介して、実際の議事録トランスクリプト（入力）と、それに対するAIの要約（出力）を複数行にわたって入力し、Pi LabsのスコアラーAPIを呼び出すGoogle Apps Scriptを使用して、各ディメンションのスコアと総合スコアを自動的に計算させることができます。
    • これにより、数百、数千のサンプルに対して一貫した評価を大規模に実行することが可能になります。

  2. 評価結果の分析:

    • スプレッドシートには、予測されたフィードバック（AIによるスコア）と実際のフィードバック（ユーザーからの「いいね」や「良くないね」データなど）を比較するための混同行列（Confusion Matrix）が自動的に生成されます。
    • この混同行列は、評価システムの精度と、どのディメンションでAIが改善の余地があるのかを視覚的に示します。例えば、AIの要約が「良くないね」と評価されたが、スコアリングシステムでは高スコアだった場合、評価基準の調整が必要である可能性を示唆します。

  3. モデル比較とリジェクションサンプリング:

    • Pi Labsのコパイロットは、複数のAIモデル（例：Gemini 1.5 FlashとGemini 1.5 Pro）のパフォーマンスを比較するために使用できます。各モデルに同じ入力を与え、スコアリングシステムで評価することで、どちらのモデルが特定のタスクにおいてより高い品質の出力を生成するかを定量的に判断できます。
    • リジェクションサンプリング（Rejection Sampling）: これは、オンラインでAIの品質を向上させる強力な手法です。単一の応答を生成する代わりに、複数の応答を生成し、評価システムで最も高いスコアを獲得した応答を選択してユーザーに提供します。これにより、プロンプトやモデルを直接変更することなく、出力品質を大幅に向上させることができます。ワークショップでは、サンプリング数を増やすにつれて、応答の品質スコアが着実に向上することが示されました。

  4. オンライン/オフラインワークフロー:

    • Pi Labsのスコアラーは、非常に高速（20以上のディメンションを100ミリ秒未満でスコアリング）かつ高スループットで動作するように設計されているため、開発環境でのオフライン評価だけでなく、ライブのAIアプリケーションにおけるオンライン評価にも適しています。これにより、継続的な品質保証とリアルタイムでのパフォーマンス最適化が可能になります。

この実践的なデモンストレーションは、「シグナルとスコアリング」アーキテクチャが、いかにAI開発の複雑な評価課題を解決し、より質の高いAIアプリケーションを構築するための具体的な道筋を示すかを示しています。

結論と将来の展望

AI評価は、単なる技術的な課題にとどまらず、AI時代の品質保証とイノベーションを推進する上で不可欠な要素です。Pi Workshop「Building evals that actually work」は、AI開発における評価の重要性を再認識させ、Googleの知見に基づいた「シグナルとスコアリング」アーキテクチャという強力なソリューションを提示しました。

AI品質工学の未来

この新しいアプローチは、AI開発における既存の課題を克服し、以下のような未来を約束します。

  • より信頼性の高いAI: 高精度で客観的な評価が可能になることで、AIシステムの予測不可能性が減少し、より信頼性の高いデプロイが可能になります。
  • より安全なAI: 有害なコンテンツ生成やハルシネーションなどのリスクを、よりきめ細かく検出し、軽減するメカニズムを提供します。
  • よりパーソナライズされたAI: ユースケース固有の「良さ」の定義と評価が可能になることで、ユーザーの好みやニーズに深く応えるパーソナライズされたAI体験が実現します。
  • より効率的な開発: 自動化された評価プロセスとコパイロットツールは、開発者が評価に費やす時間を削減し、イノベーションに集中できる環境を提供します。
  • イテレーションを通じた継続的な改善: 「計測・学習・反復」のフィードバックループは、AIモデルが進化し続ける中で、その品質を継続的に最適化するための道筋を示します。

今後の展望

Pi Labsは、現在提供している英語を含むいくつかの言語対応に加え、今後マルチモーダルな評価機能やより多くの言語への対応を進めることをロードマップに掲げています。これにより、さらに多様なAIアプリケーションが「シグナルとスコアリング」アーキテクチャの恩恵を受けることができるでしょう。

まとめ

AI評価の最適化は、AI開発者がAIの持つ真の可能性を解き放つための鍵となります。Pi Workshopが提示した「シグナルとスコアリング」アプローチは、単なるツールの紹介にとどまらず、AI品質工学という新しいパラダイムへの転換を促すものです。このメソッド論を理解し、Pi Labsのコパイロットのようなツールを積極的に活用することで、私たち開発者は、より信頼性が高く、安全で、ユーザー中心のAIアプリケーションを構築する旅において、大きな一歩を踏み出すことができるでしょう。

AI開発の未来は、私たちがどれだけ効果的にAI自身を評価し、改善できるかにかかっています。今こそ、評価の重要性を認識し、真に機能する評価システムの構築に取り組む時です。

← 一覧に戻る