T最新テックトレンド

世界クラスのAI製品を構築する秘訣：Notion AIとBrain Trustが明かす「評価」の力

AI Engineer
0:00--:--

今日の急速に進化するテクノロジーの世界において、AI、特に生成AI（Gen AI）製品の開発競争はかつてないほど激化しています。この競争を勝ち抜き、ユーザーに真に価値ある体験を提供するためには、単に最新のモデルを使用するだけでなく、製品の品質を継続的に評価し、改善していくプロセスが不可欠です。

本記事では、このAI製品開発の最前線で活躍する二つの企業、ドキュメントとワークスペースを刷新するNotionのAI開発をリードするSarah Sachs氏、そしてAI開発の評価プラットフォームを提供するBrain TrustのCarlos Esteban氏とDoug氏による講演の内容を深く掘り下げます。彼らの洞察から、AI製品の成功の鍵となる「評価（Eval）」の概念、その具体的な実践方法、ビジネスへの影響、そして将来性を専門性と分かりやすさを両立させて紐解いていきましょう。

Notion AIの挑戦：洗練された生成AI体験の追求

まずは、日々世界中の数多くのユーザーに利用されているNotion AIが、どのようにしてその「世界クラス」の製品を構築しているのかを見ていきましょう。

Notion AIとは：1億人以上を支える「つながるワークスペース」

Notionは、単なるメモ帳ではありません。文書作成、プロジェクト管理、情報共有、データベース構築など、あらゆるワークフローを一つの場所で完結させる「つながるワークスペース」を提供しています。現在、1億人を超えるユーザーがNotionを利用しており、Slack、Jira、Google Driveといったサードパーティツールとの連携も強化されています。

Notion AIの製品はほとんどの機能で無料トライアルを提供しており、このことがNotion AIのスケールを特徴づけています。一部の有料エンタープライズプランのユーザーだけでなく、膨大な数の無料ユーザーにも対応できる規模で製品を構築する必要があります。

Notionは本質的にデザイン駆動型の企業であり、「卓越した顧客体験」と「洗練された製品」で知られています。しかし、Gen AIの領域では「洗練」という言葉はあまり結びつきにくいのが現状です。急速な技術進化とリリースサイクルの速さが求められる中で、どのようにしてNotionのブランドが持つ洗練された品質をAI製品にもたらすのか。これがNotion AIが直面する大きな課題でした。

急速な進化の軌跡：AI Writerからエージェントへの飛躍

Sarah氏の講演で特に興味深いのは、Notion AIが実はChatGPTが公開されるよりも前に登場していたという事実です。生成モデルへの早期アクセス権を持っていたNotionは、コンテンツ生成がNotionの機能の中核になると確信し、初期からAI製品の開発に着手していました。

その進化の軌跡は以下の通りです。

  1. AI Writer（初期）: 「XYZについて一文を書いてください」といったシンプルなインラインでのコンテンツ生成機能。
  2. Autofill: データベースプロパティに組み込まれたAIエージェント。ページ内だけでなく、データベース全体でAIが機能し、多言語翻訳などユーザーの予測を超えた多様な使い方を生み出しました。この時期にNotionの専門AIチームが編成されます。
  3. RAGソリューション: 参照元に基づいた回答生成（Retrieval Augmented Generation）。Q&A機能などを無料ユーザーにも提供するために、多言語ワークスペースへの対応や、全ユーザーに対する埋め込み（embeddings）生成の必要性が生じました。
  4. 最新の「Notion AI for Work」スイート:
    • AI Meeting Notes: 音声テキスト変換、議事録のAI要約。将来的にはタスクデータベースやワークスペース全体と連携し、アクションアイテムの提案が可能に。
    • Enterprise Search: ワークスペース全体を横断する検索機能。SlackのスレッドやJiraのチケットなど、散在する情報から必要なものを迅速に発見。
    • Deep Research: 並列検索を実行し、Notionのファインチューニングされたエージェント能力を活用。これは、決められたタスクフローを実行する「ワークフロー」から、AI自身が推論し、ツールを選択し、より複雑な作業を自律的に行う「エージェント」への最初の移行を示唆しています。

Sarah氏は、「私たちが最初から現在のような機能を構築しようとしなかったことは重要だ」と強調します。当時はまだ技術が成熟しておらず、モデルの能力が最も活かせる領域から着実に製品を構築していったのです。

Gen AI特有の課題と「洗練」の追求

Notion AIがこのような急速なペースで進化し、かつ「洗練」された製品体験を提供するために、彼らはAI製品開発特有の困難に直面しました。

  1. 大規模なデータセットの評価: Notionは1億を超えるユーザーを持つため、扱うデータセットは非常に巨大です。Notion開発チーム自身がNotionを日常的に使用する「ドッグフーディング」を通じて多くの評価データを生成できるという強みがありますが、それでもその規模は圧倒的です。
  2. 人間の評価者の限界: 従来のGoogle Sheetsなどを用いた手動評価では、膨大な量のプロンプトと出力のペアを評価することは非効率的で、人間の評価者はすぐに疲弊してしまいます。特に、ファインチューニングやイテレーションにおいては「量より質」のインサイトが重要であり、より効率的でスケーラブルな評価ソリューションが求められていました。
  3. 多言語対応の複雑さ: Notionのエンタープライズユーザーの60%は非英語圏であり、彼らのAI製品は多言語環境で高い品質を維持する必要があります。しかし、Notion AIのエンジニアは100%英語話者であるため、英語話者ではないユーザーにも機能する製品を構築するには、厳密な多言語評価基準が不可欠でした。
  4. モデルの急速な進化への対応: 新しい基盤モデルが次々とリリースされる中で、Notion AIはそれらを迅速に製品に統合し、ユーザーに提供する能力を持っています（通常1日以内）。このスピードを維持しつつ、品質を保証するには、信頼性の高い評価システムが不可欠です。

これらの課題を克服し、Notionブランドの持つ「洗練された品質」をGen AI体験にもたらすために、Notion AIは「評価（Eval）」をその開発の中心に据えました。

AI製品開発の生命線：評価（Eval）とオブザーバビリティ

Sarah氏が「時間の10%はプロンプト、90%は評価とイテレーションに費やす」と語るように、Notion AIの開発チームにとって、評価は製品開発の最も重要な要素です。Brain Trustは、この評価プロセスを支えるプラットフォームとして不可欠な役割を担っています。

なぜ「評価」が不可欠なのか？

AI製品開発における評価の重要性は、以下の問いに答えることで理解できます。

  • 変更によってプロダクション環境のパフォーマンスが低下していないか？
  • ユースケースに最適な、最もコスト効率の良いモデルを使用しているか？
  • AIの応答はブランドの一貫性を保っているか？
  • ログから収集したデータから学習し、改善につなげられているか？
  • パフォーマンスの低い応答を迅速にデバッグし、トラブルシューティングできるか？

これらの問いに答えることは、幻覚や性能劣化といったAI製品特有の課題に対処し、ビジネスの成長を加速させる上で不可欠です。Brain Trustは、統計的分析とオンライン評価を用いてこれらの問題をプロアクティブに、そしてリアクティブに捕捉するシステムを提供します。

Brain Trustが提唱する評価の3要素

Brain Trustの評価システムは、以下の3つのコアコンポーネントで構成されています。

  1. タスク (Task): 評価対象となるAIシステムの部分を指します。これは、単純なLLMへの単一コールから、複数のプロンプトが連携し、外部ツールを使用する複雑なエージェントワークフローまで多岐にわたります。Brain TrustのUIでは、システムプロンプト、ユーザープロンプト（ムスタッシュ構文によるテンプレート化）、マルチターン会話のための追加メッセージ、ツール、そして複数のプロンプトを連鎖させるエージェント機能（ベータ版）を設定できます。
  2. データセット (Dataset): 評価に使用される現実世界のテストケースの集合です。必須の「入力」フィールドに加え、理想的な応答を示す「期待される出力」や、追加情報のための「メタデータ」を含めることができます。最初は5〜10行の少量から始め、ログや人間のレビューを通じて継続的に拡充していくことが推奨されます。
  3. スコア (Score): タスクの出力がどれだけ良好であるかを数値化する評価ロジックです。スコアは0から100の範囲で算出され、その方法は大きく2種類あります。
    • LLM as a Judge: LLM自身がAIの出力を評価する、主観的、非決定論的、定性的なアプローチ。Notion AIではこれを最も活用しています。
    • ヒューリスティック関数: コードベースの厳密なルールに基づき、客観的かつ決定論的に評価するアプローチ。Notion AIでは、特定のフォーマット遵守など、確定的な基準の評価に用います。 Brain Trustでは、これら二つのアプローチを組み合わせて使用することを推奨しています。

LLM as a Judge：AI自身がAIを評価する

Notion AIのSarah氏が強調するように、LLM as a JudgeはBrain Trustプラットフォームの中でも特に強力な機能です。これには2つの主要なタイプがあります。

  1. 汎用的な評価プロンプト: データセット全体に対して、例えば「この情報は簡潔か？」「この情報は忠実か？」といった一般的な基準で評価するプロンプトです。
  2. 特定の要件に基づく詳細な評価プロンプト: データセット内の各要素（トレース）に対して、具体的な製品要件を定義したプロンプトです。例えば、「この回答は日本語であるべき」「箇条書きはこうフォーマットされるべき」「XYZに回答し、Aページを参照すべき」といった具体的なルールをAIに指示します。これにより、Levenshtein距離のような単純な文字列比較では捉えきれない、より複雑な品質要件を評価できます。

特に検索評価において、LLM as a Judgeは大きな威力を発揮します。検索インデックスは常に変化するため、従来の「ゴールデンデータ」（理想的な固定出力）ではすぐに古くなってしまいます。しかし、LLM as a Judgeでは「最初の結果はQ1オフサイトに関する最も新しい要素であるべき」といった「ルール」を定義することで、インデックスの動的な変化にも対応し、常に最新の評価を維持できます。

LLM as a Judgeのプロンプト自体も、人間による評価結果と照合し、継続的に改善することが重要です。Brain Trustは、LLM as a Judgeで出力されるスコアの信頼性が高いため、新しいモデルが導入された際に深刻な回帰がないかを迅速に判断できるとSarah氏は述べています。

オフライン評価とオンライン評価の使い分け

Brain Trustは、開発ライフサイクルの異なる段階に対応するため、2つの評価モデルを提供します。

  1. オフライン評価 (Offline Evals): プロンプトのイテレーション、モデルの選択、新しい機能の開発段階で使用されます。あらかじめ定義されたデータセットに対して構造化されたテストを実行し、ライブトラフィックを使用せずにパフォーマンスを測定します。
  2. オンライン評価 (Online Evals): プロダクション環境で稼働中のAIアプリケーションをリアルタイムで監視するために使用されます。ライブトラフィックから収集されたログデータに対して評価を実行し、問題の診断、パフォーマンスの監視、そしてユーザーフィードバックの収集を行います。

この二つの評価を組み合わせることで、開発チームは開発段階での迅速なイテレーションと、本番環境での安定した品質保証の両立が可能になります。

評価の改善か、AIアプリケーションの改善か？

評価マトリックスは、開発者が「何を改善すべきか」を判断する上で非常に役立ちます。評価スコアと、人間による目視評価（出力が「良い」か「悪い」か）を比較します。

  • スコアも目視も「良い」: 理想的な状態。
  • スコアは「良い」が目視は「悪い」: 評価自体が不十分である可能性。評価プロンプトやヒューリスティックを見直す必要がある。
  • スコアは「悪い」が目視は「良い」: 同上。
  • スコアも目視も「悪い」: AIアプリケーション自体に問題がある可能性。プロンプト、モデル、データなどを改善する必要がある。

このマトリックスは、評価システム自体の品質を維持し、AIアプリケーションの真の改善点を見つけるための重要な指針となります。

Notion AIが実践するBrain Trust活用術

では、Notion AIは具体的にBrain Trustをどのように活用し、前述の課題を克服し、洗練されたAI製品を構築しているのでしょうか。

厳格なイテレーションサイクル

Notion AIのイテレーションサイクルは、以下のステップで構成されます。

  1. 改善点の決定: 例えば、ユニバーサル検索にJiraコネクタを導入する際に、「AIがタスクやスプリントをどのように理解し、Jiraワークスペースから適切にクエリを生成するか」といった具体的な改善点を特定します。
  2. ターゲットデータセットのキュレーション: 特定のユースケースに特化したデータセットを、ログやプロトタイプから手作業で作成します。Notion AIには、PM、データアナリスト、データアノテーターの要素を兼ね備えた「データスペシャリスト」という専門職がおり、彼らがこのデータセットのキュレーションを担当します。最初は少量のデータ（10個程度）から始め、構造が適切であることを確認してから増やすことが重要です。
  3. スコアリング関数の設定: データセットを十分に検討した後、製品に特化したスコアリング関数を定義します。Notion AIはLLM as a Judgeを最も信頼していますが、Jiraからのクエリには「Jira」という文字列が含まれるべき、といった決定論的なヒューリスティック関数も併用します。多言語対応の評価も同様に、特定の言語での出力が期待されるデータセットに対して、その言語での出力が保証されるかを評価します。
  4. 結果の検査と反復: 評価結果を詳細に検査し、必要に応じてプロンプト、モデル、データセット、スコアリング関数を調整します。

このプロセスにおいて、Notion AIはエンジニアだけでなく、プロダクトマネージャー（PM）やデザイナーもBrain Trustを積極的に活用しています。特に新しい検索モードの開発では、ユーザーが単なるリサーチだけでなく、レポートのドラフト作成にもAIを使おうとしていることが、Thumbs Downデータ（ユーザーからの不満を示すフィードバック）から明らかになりました。PMやデザイナーがこれらのデータに触れることで、製品の方向性やUXデザインにユーザーのニーズを反映させることができ、Brain Trustが実質的なUXR（ユーザーエクスペリエンスリサーチ）ツールとしても機能しているとSarah氏は指摘します。

新モデルへの迅速な対応と品質保証

Notion AIは、新しい基盤モデルがリリースされると、通常1日以内にそれを本番環境のユーザーに提供できるという驚異的なスピードを誇ります。この迅速なデプロイを可能にしているのが、Brain Trustを用いた厳格な評価プロセスです。

Notion AIのモジュール化されたインフラは、異なるタスクに対して異なるプロンプト、異なるプロンプトに対して異なるモデルを組み合わせることを可能にします。例えば、新しい「Nano」モデル（高速、低コストだが推論能力は低い）が登場した際、Notion AIはLLM as a Judgeを用いて、どの高頻度ユースケース（高度な推論が不要だが高速性が求められるケース）でNanoモデルが適切に機能するかを迅速に評価します。一つのボタンで関連する全ての評価を実行し、問題がなければすぐにそのプロンプトにモデルを切り替えることで、常に最先端の技術をユーザーに提供できるのです。

多言語対応の徹底

前述の通り、Notionのエンタープライズユーザーの60%は非英語圏です。Notion AIのエンジニアは全員英語話者であるため、この多言語対応は特に大きな課題となります。

Brain Trustを用いた厳密な評価指標は、この課題を克服するために不可欠です。例えば、Notionの顧客であるトヨタが日本語と英語の両方で質問を受けるようなケースでは、ユーザーがどちらの言語で応答を求めているのかをAIが適切に判断する必要があります。Notion AIは、このような多言語コンテキストスイッチング体験が壊れていないことを確認するために、専用の評価データセットとスコアリング関数を用意し、CI/CDのような形で評価を実行しています。

Brain Trustが「知的財産」となる理由

Sarah氏は、「Brain Trustや同様のソフトウェアなしでは、Notion AIは今日存在し得ないだろう」とまで言い切ります。さらに、「私たちが構築するすべてのもの、その知的財産（IP）は、いかに評価し、いかに構築するかから生まれる。そしてそれは、私たちがBrain Trustの上に構築するところから来ている」と強調します。

これは、単にプロンプトの文字列やコードだけでなく、それらが「うまく機能するかどうかをどのように決定するか」、そして「モデル選択をどのように行うか」といった評価プロセス自体が、Notion AIの競争優位性、つまり知的財産の中核をなしているという深い洞察です。Brain Trustは、この評価という知的財産を構築し、管理するためのプラットフォームとして機能しているのです。

Brain Trustプラットフォームの強力な機能群

Notion AIの事例を通して、Brain TrustがAI製品開発にもたらす価値を理解できました。ここからは、Brain Trustの提供する具体的な機能と、それが開発プロセス全体にどのように統合されるかを見ていきましょう。

開発フローを加速するUI/UX

Brain Trustは、AI開発におけるプロンプトエンジニアリングの迅速なイテレーションを支援するために、直感的でパワフルなUIを提供します。

  • Playground (プレイグラウンド): プロンプト、モデル、データセット、スコアを組み合わせて、その場で評価を実行できる迅速なイテレーション環境です。一時的な試行錯誤に適しており、結果をすぐに確認できます。
  • Experiments (実験): Playgroundでの作業内容をスナップショットとして保存したり、SDKを介して実行された評価結果が蓄積される場所です。時間の経過とともにパフォーマンスを追跡し、異なるプロンプトやモデルのバージョンを比較・分析できます。コスト、レイテンシ、トークン数などの指標も詳細に確認可能です。

さらに、Brain Trustはプロンプトやスコアなどのアセットをコードとして管理し、SDKを介してプラットフォームにプッシュすることを可能にします。これにより、開発者はCI/CDパイプラインに評価プロセスを統合し、コード変更がAI製品の品質に与える影響を自動的にテストできるようになります。

プロダクションの可視化と改善サイクル

AI製品の品質を継続的に向上させるには、本番環境でのパフォーマンスを把握し、ユーザーからのフィードバックを開発サイクルに組み込むことが不可欠です。Brain Trustは、オブザーバビリティ機能を通じてこれを実現します。

  1. 詳細なロギング:
    • LLMクライアントのラッピング: OpenAIやVercel AI SDKのようなLLMクライアントをBrain Trustのラッパー関数で囲むだけで、モデルへの入力、出力、トークン使用量、レイテンシ、コストといった詳細なメトリクスを自動的にBrain Trustにロギングできます。
    • 任意関数のトレーシング: @trace デコレーターや wrap_trace 関数を使用して、LLMコールだけでなく、AIアプリケーション内の任意の関数の実行状況をトレースし、入力、出力、メタデータを記録できます。これにより、複雑なエージェントワークフローの各ステップのパフォーマンスを詳細に分析できます。
    • OTEL/span.logによる柔軟な情報追加: OpenTelemetry (OTEL) と統合したり、span.log を使用したりすることで、アプリケーションから追加したいあらゆるメタデータや情報を柔軟にログに記録し、分析の精度を高めることができます。
  2. オンラインスコアリング:
    • 本番環境のライブトラフィックから収集されたログデータに対して、事前に定義された評価スコアを自動的に適用します。これにより、リアルタイムでAI製品の品質を監視し、パフォーマンスの低下や問題のある応答を早期に検知できます。
    • サンプリングレートを設定できるため、最初は低サンプリングレートで開始し、メトリクスへの信頼度が高まるにつれて徐々にレートを上げていくことが推奨されます。
  3. カスタムビューとアラート:
    • Notionのように、Brain Trustではフィルタリング、ソート、グルーピングといった操作をカスタマイズし、「ビュー」として保存できます。これにより、チームは自分たちにとって重要なメトリクスや特定のシナリオに焦点を当てたログ分析を迅速に行うことができます。
    • スコアが特定の閾値を下回った際にアラートを発動させるなど、自動化ルールを設定することも可能です。

Human-in-the-Loop：人間の洞察をAIに

AIは強力ですが、人間の洞察や専門知識が不可欠な領域も多く存在します。特に、医療、金融、法律といった分野では、AIの単一の失敗が深刻な結果を招く可能性があります。Brain Trustは、人間の介入をAI開発サイクルに組み込むHuman-in-the-Loop機能を提供します。

  1. Human Review (人間のレビュー):
    • 専門のアノテーターや領域の専門家がBrain Trustのプラットフォーム上で、特定のデータセットやログの出力を手動で評価し、ラベル付けを行います。
    • これにより、データセットの「グラウンドトゥルース」（真実のデータ）を確立したり、エッジケースの監査を行ったり、LLM as a Judge自体の評価・改善に役立てたりできます。
    • 評価者は、複数選択、スライダー、自由形式テキストなど、多様な形式でフィードバックを入力できます。
  2. User Feedback (ユーザーフィードバック):
    • 製品に組み込まれた「Thumbs Up/Down」ボタンやコメント入力欄を通じて、実際のユーザーからのフィードバックを直接収集し、Brain Trustのログに連携します。
    • Notion AIの事例のように、Thumbs Downデータからユーザーの予期せぬ使用方法や問題点を特定し、それをデータセットに追加して評価・改善サイクルに組み込むことで、フィードバックループを閉じることができます。

これらのHuman-in-the-Loop機能は、AIが到達できない領域の品質保証、幻覚の検出、そしてユーザーの真のニーズへの対応を可能にします。

Remote Evals：Playgroundの可能性を無限に

Brain TrustのPlaygroundは強力ですが、中間コードの実行、VPC内の外部システムとの連携、あるいはあまりに複雑なタスクなど、ローカル環境でしか実行できないような高度なユースケースには限界があります。この課題を解決するのが「Remote Evals」機能です。

  • 機能概要: 開発者のローカル環境で稼働しているカスタムタスクやスコアロジックを、Brain TrustのPlaygroundからリモートで呼び出して実行することを可能にします。これにより、すべての複雑なロジック（中間コード、外部ツール呼び出し、動的なR&D環境など）をローカルで処理しつつ、その結果をPlayground上で確認・比較・分析できます。
  • 利点:
    • 複雑なタスクの評価: Playgroundの制約を超えて、どんなに複雑なAIアプリケーションでも評価できます。
    • 技術チームと非技術チームの橋渡し: 複雑な技術的タスクを構築するエンジニアと、プロンプトの調整やパラメータの変更を試したいPMやデザイナーが、同じPlayground上でシームレスに協業できるようになります。例えばNotion AIの場合、SDKで実行している複雑な評価タスクの一部をRemote EvalとしてPlaygroundに公開することで、エンジニアはコードを修正せずに、PMがPlaygroundで特定の行を何度も実行して微調整を行うといったことが可能になります。これはコスト削減と開発速度向上に直結します。
    • ローカル環境の柔軟性: ツールやスコアをBrain Trustにプッシュし続ける必要がなく、ローカル環境の最新のコードで常に評価を実行できます。

Remote Evalsは、AI製品開発の柔軟性と効率性を飛躍的に向上させる、非常に有望な機能と言えるでしょう。

未来を見据える：Brain Trustが提供する価値

Notion AIとBrain Trustの協業事例は、世界クラスのAI製品を構築するためには、単に最先端のAIモデルを適用するだけでなく、その品質を継続的かつ厳密に評価し、改善していくプロセスが不可欠であることを明確に示しています。

Brain Trustは、この評価プロセスを民主化し、技術チームと非技術チームの両方がデータに基づいた意思決定を行えるよう支援します。

  • 開発速度の向上: 迅速なイテレーション、自動評価、効率的なフィードバックループにより、AI製品の開発サイクルを大幅に短縮します。
  • コスト削減: 最適なモデル選択、不要なAIリソースの特定により、LLM利用コストを最適化します。
  • チームのスケーリング: 非技術者も評価プロセスに積極的に参加できるため、AI開発チーム全体の生産性とコラボレーションを向上させます。
  • 品質と信頼性の確保: 厳格な評価基準とオブザーバビリティにより、幻覚や性能劣化といったリスクを低減し、製品の品質と信頼性を保証します。

Brain Trustは、その直感的なUI/UX、内部開発による高性能かつスケーラブルな基盤インフラ（データベースの深い知識を持つ創業エンジニアによる）によって、競合他社との差別化を図っています。また、自動プロンプト最適化機能やデータセット拡張機能など、プラットフォーム自体の進化も継続的に行われており、AI開発の未来を切り拓くツールとしての期待が高まります。

結論：AIの未来を切り拓く開発者へのメッセージ

AI製品開発の旅は、決して平坦な道ではありません。しかし、Notion AIがBrain Trustとの協業で示したように、「評価」を開発プロセスの中核に据えることで、私たちは幻覚や性能劣化といった課題を乗り越え、ユーザーに真に価値ある、そして「洗練された」AI体験を提供できると信じています。

AI開発に携わる全てのエンジニア、プロダクトマネージャー、デザイナーにとって、本記事で紹介した評価の概念とBrain Trustのようなプラットフォームの活用は、競争の激しい市場で成功を収めるための強力な武器となるでしょう。データに基づいた厳密な評価文化を築き、人間の創造性とAIの可能性を最大限に引き出すことで、私たちはきっとAIの新たな未来を切り拓くことができるはずです。

← 一覧に戻る