AI時代をリードするための5つの評価戦略：次世代LLMプロダクト開発の秘訣

近年、大規模言語モデル（LLM）は私たちの生活やビジネスに劇的な変化をもたらしています。その進化のスピードは目覚ましく、新しいモデルが次々と登場し、アプリケーション開発の可能性を無限に広げています。しかし、この加速するイノベーションの波に乗るためには、単に最新モデルを導入するだけでは不十分です。私たちは、製品の品質と性能を継続的に保証し、進化させるための強固な「評価（Evals）」システムを構築する必要があります。

AI Engineer World's Fairでの議論を通じて、私たちは効果的なLLMプロダクト開発における評価の重要性とその戦略について、5つの重要な教訓を学びました。本記事では、これらの教訓を深く掘り下げ、専門性と分かりやすさを両立させながら、皆さんのAI開発における羅針盤となるような詳細な洞察を提供します。

1. 評価はそれ自体で語る

効果的な評価システムとは、その存在自体が組織の成功を物語るものです。新しいLLMが発表された際、私たちはどれだけ迅速にそれを製品に統合できるでしょうか？そして、ユーザーからのフィードバックをどれだけ効率的に製品改善に繋げられるでしょうか？これらが、評価システムが「語る」成功の証です。

迅速なモデル導入の指標

動画では、Notionが新しいAnthropicモデルと機能を24時間以内に本番環境に展開できた事例が挙げられています。これは、評価フレームワーク、モジュラーコードベース、そして優秀なチームの努力の賜物です。新しいモデルが登場した際に、たった1日で製品にアップデートを組み込めるかどうか。これが、あなたの評価システムがどれだけ機能的であるかを示す、明確なサービスレベルアグリーメント（SLA）となります。もしこれができないのであれば、あなたの評価システムにはまだ改善の余地があると言えるでしょう。迅速な対応能力は、競合との差別化だけでなく、ユーザーへの価値提供においても不可欠です。

ユーザーフィードバックの評価への統合

成功のもう一つの兆候は、ユーザーが不満を抱いた際に、そのフィードバックを迅速かつ明確に評価システムに組み込む経路があるかどうかです。ユーザーからの貴重な意見が「エーテルの中」に消えてしまうことなく、製品改善のためのデータポイントとして活用されるべきです。動画では、ユーザーがフィードバックを送信するたびに、それを評価として保存できる仕組みの重要性が指摘されています。これにより、ユーザーの不満を具体的な改善点に変換し、モデルをより良くしていくサイクルを確立できます。

守りから攻めへの評価戦略

評価は、単にシステムの欠陥（リグレッション）を発見するための単体テストとしてだけ捉えるべきではありません。むしろ、それは「攻め」の戦略として機能すべきです。つまり、新しいユースケースをどれだけ効果的に解決できるか、その解決度合いを事前に理解するために評価を活用するのです。製品をリリースする前に、評価を通じて、その製品が市場でどれだけうまく機能するかを予測できる状態が理想的です。これにより、開発チームは自信を持って新機能を投入し、市場のニーズに合致したプロダクトを継続的に生み出すことができます。

2. 優れた評価は意図的に設計される

良い評価システムは、魔法のように現れるものではありません。それは、明確な意図をもって、そして入念にエンジニアリングされる必要があります。特に、データセットとスコアラーの設計には、深い思考と技術的な労力が求められます。

現実と乖離しないデータセットの構築

動画で強調されている「優れたデータセットの最も重要な特性は、現実と照合できること」という点は、非常に重要です。合成データセットやランダムなLLM-as-a-judgeのスコアだけでは、現実世界の複雑さや多様なユーザー体験を完全に捉えることはできません。数学の問題を解くような一部のユースケースでは完璧なデータセットが存在するかもしれませんが、ほとんどの現実世界のユースケースでは、事前に完全なデータセットを用意することは不可能です。

したがって、最良のデータセットとは、現実世界での体験に基づいて継続的に調整（reconcile）されるものです。この調整プロセス自体が、高度なエンジニアリング問題を伴います。データセットを単なる与えられたものとしてではなく、積極的に構築・維持すべきエンジニアリング課題として捉えることで、私たちはよりロバストで現実的な評価を実現できるのです。

プロジェクトの仕様書としてのスコアラー

スコアラーもまた、意図的に設計されるべき要素です。多くの開発者は「どのスコアラーを使えばいいのか」と尋ねますが、動画では「スコアラーはプロジェクトの仕様書（spec）である」と述べられています。既成のオープンソースや汎用的なスコアラーは、他の誰かのプロジェクトの仕様には適合するかもしれませんが、あなたのプロジェクト固有の要件には合致しない可能性があります。

成功している企業は、独自のスコアリング関数を開発し、それを継続的に修正・調整しています。評価項目（例：ハルシネーション、簡潔さ、ブランドアライメント、正確性など）は、まさにあなたのAIアプリケーションに対するプロダクト要件定義書（PRD）のようなものです。これらを独自のスコアラーとして実装することで、単なる既製品では得られない、プロジェクトに最適化された評価が可能になります。これは、スコアリングに投資することの正当性を証明すると同時に、プロジェクトの目標と評価基準を密接に連携させることを意味します。

3. コンテキストエンジニアリングが新しいプロンプトエンジニアリング

プロンプトエンジニアリングは、LLM開発の初期段階で注目されましたが、エージェントシステムの登場により、その焦点は「コンテキストエンジニアリング」へと移行しています。単一のプロンプトだけでなく、LLMに与えられる情報全体の構造と内容を最適化することが、性能向上の鍵となります。

プロンプトの構成要素とその影響

エージェントのプロンプトは、単なるシステムプロンプトだけではありません。動画で示された現代的なプロンプトの構成要素を見ると、次のようになっています。

System prompt (システムプロンプト): LLMの役割や一般的な指示を定義（トークン数の約3.4%）
Tool definitions (ツール定義): LLMが利用できるツールの仕様を記述（トークン数の約19.7%）
User/ (ユーザー/アシスタント): ユーザーの入力とLLMのテキスト応答（トークン数の約0.4%）
Tool Responses (ツール応答): LLMがツールを呼び出した際の結果（トークン数の約67.8%）

注目すべきは、システムプロンプトが全体のトークン数に占める割合が非常に小さい（3.4%）のに対し、ツール定義とツール応答がプロンプトの大部分（約87.5%）を占めている点です。これは、システムプロンプトを最適化することも重要ですが、それ以上にツールの定義とその応答内容を精密にエンジニアリングすることが、LLMの挙動に決定的な影響を与えることを示唆しています。

LLMのためのツール設計

ツールを設計する際、単に既存のAPIをそのまま反映させるだけでは不十分です。私たちは、LLMが何を「見たい」のか、どのようにツールを理解すれば最も効果的に動作できるのかという観点からツールを考える必要があります。

例えば、ツールからの出力形式一つとっても、LLMにとっては大きな違いを生むことがあります。動画では、ツールの出力をJSONからYAMLに変更するだけで、性能が大幅に向上した事例が紹介されています。JavaScriptにとってはJSONもYAMLも構造化データであり差はありませんが、LLMにとってはYAMLの方がトークン効率が良く、分析が容易な場合があります。

このことから、ツールやその出力の定義を精密に設計することは、既存のAPIレイヤーの上に単に乗せる以上の、破壊的な（disruptive）価値を持つことがわかります。LLMの特性を深く理解し、それに合わせてツールを設計する「コンテキストエンジニアリング」こそが、これからのプロンプトエンジニアリングの最前線となるでしょう。

4. 新しいモデルがすべてを変えることに備える

LLMの分野では、まさに「新しいモデルがすべてを変える」時代が続いています。昨日最先端だったモデルが、今日にはその座を譲る。このような急速な進化の中で、私たちはどのようにしてプロダクト開発を継続し、競争力を維持できるでしょうか。

モデル非依存システムの構築

この問いに対する重要な答えの一つは、「モデル非依存（Model-agnostic）なシステム」を構築することです。これは、特定のLLMプロバイダーやモデルに強く依存しないアーキテクチャを意味します。GoogleがGeminiの最新バージョンをリリースしたり、AnthropicがClaude 3.5 Sonnetを発表したりするたびに、すべてを最初からやり直す必要があっては、開発は立ち行かなくなります。

動画では、Replitがこのパターンを先駆けて実践していることが紹介されています。BrainTrust Proxyのようなツールは、モデルプロバイダーを跨いでコード変更なしで動作することを可能にし、新しいモデルが登場した際に、既存のコードを変更することなくそのモデルを試すことができます。

新しいモデルがもたらす機会の捉え方

この柔軟性は、単なる保守性の向上にとどまりません。それは、これまで不可能だった新しい製品機能の実現を意味します。動画では、ある製品機能が、以前のモデル（GPT-4o）では性能がわずか10%しかなく実用的でなかったものが、Claude 3.7 Sonnetで51%、そしてClaude 3.5 Sonnetでは52%にまで向上し、突然「実現可能」になった事例が示されています。

新しいモデルが持つ能力を最大限に活用するためには、野心的な評価を事前に作成しておくことが重要です。今日のモデルではまだ到達できないような高い目標を設定した評価を作成し、それに合わせてプロダクトやチーム、そしてマインドセットを設計しておくのです。そうすれば、ブレークスルーとなる新しいモデルが登場した際に、すぐにその機会に飛びつき、新しいユースケースを市場に投入できます。わずか2週間で新しいモデルを組み込んだ機能をリリースできたのは、このような準備があったからこそ可能になったのです。

5. プロンプトだけでなく、評価システム全体を最適化する

LLMアプリケーションの性能を最大化するためには、プロンプトの微調整だけに焦点を当てるのではなく、評価システム全体をホリスティックに最適化する必要があります。これは、データ、タスク定義（プロンプト、エージェントシステム、ツールなど）、そしてスコアリング関数を含む、すべての要素の相互作用を考慮することを意味します。

システム全体の最適化効果

動画で示されたベンチマーク結果は、このホリスティックなアプローチの重要性を明確に示しています。単にプロンプトのみを最適化した場合のスコアが8.9%だったのに対し、データセット、プロンプト、スコアラーを含むシステム全体を最適化した場合、スコアは39.14%にまで劇的に向上しました。これは、個別最適化の限界と、全体最適化がもたらす大きなインパクトを物語っています。

つまり、LLMアプリケーションの改善を考える際には、以下の要素を包括的に考慮し、継続的に改善するサイクルを構築することが不可欠です。

データ: どのようなデータを使用し、どのように収集・管理し、現実と照合するか。
タスク: システムプロンプト、ツール定義、ユーザー/アシスタントのやり取り、ツール応答など、プロンプト全体とエージェントシステムの設計。
スコアラー: プロジェクト固有の要件を反映したカスタムスコアリング関数。

LLMを活用した評価の自動最適化

BrainTrustのLoopのような新しいプロダクト機能は、このシステム全体の最適化を支援します。この機能は、プレイグラウンド内でプロンプト、データセット、スコアラーを与えると、LLMが自律的にこれらの要素を分析し、改善提案を生成して自動的に最適化を行います。これにより、手作業で行われていた評価の反復作業の多くが自動化され、開発者はより戦略的な問題解決に集中できるようになります。

例えば、「このプロンプトを最適化してほしい」「このデータセットでこのユースケースをテストするのに何が足りないか教えてほしい」「スコアが低いのはなぜか、あるいは高すぎるのはなぜか」といった問いに対し、LLMが建設的なフィードバックや改善案を提供してくれるのです。これにより、評価システムの改善そのものが、LLMによって加速されるという、画期的なワークフローが実現します。

過学習と人間による判断

ただし、ユーザーフィードバックをデータセットに組み込むことによる過学習（overfitting）の懸念も存在します。動画のQ&Aセッションでは、この点について「ユーザーのフィードバックのないデータセットに過学習することの方がはるかに心配だ」という考えが示されています。重要なのは、人間が適切な判断を下し、どのようなユーザーフィードバックをデータセットに追加すべきかを選別することです。ユーザーの苦情や提案の中には、製品のコアな意図と合致しないものや、単に「答えが気に入らない」といったものも含まれる可能性があります。人間の専門家がこれらのデータポイントを吟味し、本当に価値のあるフィードバックを評価システムに取り入れることで、過学習を防ぎつつ、現実世界に即したモデル改善が可能になります。

結論：未来のAI開発を切り拓く評価戦略

AIの進化は止まることなく、私たちはその最前線に立っています。効果的なLLMプロダクトを開発し、市場で成功を収めるためには、単に強力なモデルを手に入れるだけでは不十分です。本記事で紹介した5つの教訓は、その成功を支える強固な基盤を築くためのロードマップとなります。

評価はそれ自体で語る: 迅速なモデル導入とユーザーフィードバックの活用を通じて、評価がビジネス価値を生み出すことを証明する。
優れた評価は意図的に設計される: 現実を反映したデータセットと、プロジェクト固有の目標に合わせたカスタムスコアラーをエンジニアリングする。
コンテキストエンジニアリングが新しいプロンプトエンジニアリング: プロンプト全体、特にツール定義とツール応答の設計に注力し、LLMの能力を最大限に引き出す。
新しいモデルがすべてを変えることに備える: モデル非依存のシステムを構築し、野心的な評価を用意することで、新しいモデルがもたらす革新的な機会を逃さない。
プロンプトだけでなく、評価システム全体を最適化する: データ、タスク、スコアラーを含むシステム全体をホリスティックに改善し、LLMを活用して評価プロセスそのものを自動化・加速させる。

これらの戦略を実践することで、私たちは今日の技術的課題を乗り越えるだけでなく、明日のイノベーションを先導する準備を整えることができます。AI開発における評価システムは、単なる技術的な要件ではなく、ビジネスの成長と成功を決定づける戦略的な資産となるのです。今こそ、評価への投資を真剣に考え、未来のAIプロダクトを共に創造していきましょう。