推論市場とモデルルーティングの未来：コモディティ化か、それとも価値増大か？ LangChain CEOが語る深層

AI技術の進化は、私たちのビジネス、働き方、そして生活そのものを劇的に変えつつあります。特に、大規模言語モデル（LLM）と、それらを活用した「エージェント」の台頭は、ソフトウェア開発の風景を一変させ、新たな機会と同時に、これまで予期しなかった課題をもたらしています。エンジニアの給与の30%をコーディングツールに費やす時代において、この2ヶ月でその割合は減少しているにもかかわらず、使用されるトークン数は増加しているという興味深い現象が起きています。これは、AIツールの効率化と需要の拡大が同時に進行していることを示唆しています。

本記事では、数十億ドル規模の企業であり、エージェントの作成と監視において業界をリードするLangChainの創設者、ハリソン・チェイス氏の洞察に基づき、推論市場とモデルルーティングの未来について深く掘り下げていきます。なぜ今エージェント構築がこれほど難しいのか、エージェントの未来には何が待っているのか、そして誰もが知るべき奇抜な予測とは何か。AI技術の最前線に立つ専門家からの知見を通じて、その重要性、具体的な機能、ビジネスへの影響、そして将来性を詳細かつ分かりやすく解説します。

LangChainとは何か？エージェント構築のリーディングカンパニー

まず、LangChainとは何か、そしてAIスタックのどこに位置するのかを理解することから始めましょう。ハリソン・チェイス氏はLangChainを「エージェントを簡単に構築するためのツール」と定義しています。その主要なターゲットは開発者であり、モデルと、役立つエージェントを構築するために必要なあらゆる要素（ツール、データ、計算処理など）を繋ぐオープンソースのフレームワークを提供しています。

さらに、LangChainは「LangSmith」という独自のプラットフォームも提供しています。LangSmithの役割は、エージェントの可観測性と評価にあります。エージェントは常に予期せぬ動作、つまり「誤作動」を起こす可能性があるため、LangSmithはこれらの誤作動を把握し、時間をかけてパフォーマンスを向上させるための測定を可能にします。これは、エージェント開発における反復改善のサイクルを支える、不可欠なインフラストラクチャと言えるでしょう。

エージェント構築の根源的な難しさ：非決定論的なブラックボックス

では、なぜエージェントの構築はこれほどまでに難しいのでしょうか。ハリソン氏はその核心を突くように、モデルが「非決定論的なブラックボックス」であるという点から説明を始めます。

非決定論的な振る舞い: LLMは自然言語を入力として受け取り、自然言語を出力しますが、その内部プロセスは予測不可能です。同じ入力に対しても、わずかな変化で異なる出力をもたらすことがあります。これは、モデルが特定のルールに基づいて常に同じ結果を返す「決定論的」なシステムとは大きく異なります。
無限の入力空間: エージェント、特にチャットボットのようなインタラクティブなシステムでは、ユーザーは無限に多様な入力を与えることができます。ユーザーが何を尋ね、何を試すかを事前に予測することは極めて困難です。この「広大な入力空間」が、エージェントの堅牢性を確保する上での大きな障壁となります。
連鎖的なエラーの可能性: エージェントは単一のモデル呼び出しで完結するわけではありません。多くの場合、複数のモデル呼び出しが連鎖し、それらが他のツールやシステムと相互作用します。この複雑な「連鎖」のどこかで小さなブラックボックスが予期せぬ動作をすると、システム全体にエラーが波及し、壊滅的な結果を招く可能性があります。これは、まるで小さな歯車が多数組み合わさった複雑な機械において、一つがわずかに狂うだけで全体が機能しなくなるようなものです。
再現性の確保が困難: 上記の理由により、エージェントシステムは再現性を確保することが非常に難しいという課題を抱えています。少しの入力の変化や、モデルの内部状態の変化が、予測不能な結果を生むため、開発者はシステムが「確実に動作する」ことを保証するのに苦労します。

しかし、ハリソン氏は同時に、この数年間でエージェント技術は格段に進歩したと指摘します。その主な要因は二つ。一つは、LLM自体の性能が向上したこと。そしてもう一つは、これらのモデルをより効果的に活用するためのシステム構築方法を見出したことです。LangChainはまさに、この後者の「モデルの活用法」に注力し、開発者がエージェントの難しさを乗り越えるためのツールを提供しています。

モデルの進化がビジネスを「消去」する：不確実な未来への適応

LLMの進化は止まることを知らず、この急速な進歩はビジネスモデルや製品開発のあり方にまで深く影響を及ぼします。ハリソン氏は、モデルが進化する中でビジネスが変わる主な点は、「製品の大部分を消去せざるを得なくなる」ことだと指摘し、Cursor社の「erasetheproduct（製品を消去する）」という企業運営原則を引用しています。

これは、6ヶ月前には必要不可欠だった機能やコンポーネントが、モデルの進化によってあっという間に不要になる可能性があるという事実を指します。LangChainのようなオープンソースフレームワークにとって、モデルの活用方法は1ヶ月、3ヶ月、6ヶ月といった短期的なスパンでさえ急速に変化するため、この問題は特に重要です。

不確実な未来への構築戦略：短期的な回避策と本質的なものの見極め

このような不確実な未来に向けて、開発者はどのように製品を構築すべきでしょうか？6ヶ月かけて開発したものがすぐに陳腐化しないよう、モデル研究所と密に連携してロードマップを把握するしかないのでしょうか？ハリソン氏によれば、これには簡単な答えはなく、「作らない」という選択肢すら冗談めかして口にすることもあるほどです。

しかし、彼は「将来何が残り、何が廃れるのか、ある程度予測を立てていく必要がある」と強調します。初期のLangChainがJSONやDSLを生成・解析してツール呼び出しを行っていた時代から、OpenAIがネイティブなツール呼び出し機能を発表した際、LangChainは即座にこれこそが未来のスタンダードであると認識し、多大な労力を投じてその新しい方式へと完全に移行しました。このエピソードは、技術の進化を素早く察知し、対応することの重要性を示しています。

ハリソン氏は、今後も残り続けるであろう本質的な要素と、いずれ消えていく回避策を見極めるための明確な基準を提示します。

残り続けるもの:
- 独自のデータ: モデルは決してあなたの持つ独自のデータを直接知ることはできません。この独自のデータとの接続と活用は、常にエージェントシステムの差別化要因となります。
- API連携とループシステム: モデルが直接APIの出力を取得することはできません。API呼び出しを抽出し、実行し、結果を受け取ってループを続けるという「モデルと他の場所を接続するシステムの役割」は、これからも残り続けるでしょう。
いずれ消えていく回避策:
- 思考の連鎖、計画、ツール呼び出しの多くの回避策: モデルやAPI自体に深く統合できるようになることで、これまで必要だったこれらの多くの回避策は、いずれ消えていくと予測されています。

したがって、開発者は常に技術の潮流に目を光らせ、本質的な価値を生み出す部分に注力し、流動的な部分には柔軟に対応できる設計を心がける必要があります。

中立的フレームワークの必要性：知能の所有とポータビリティ

モデル自体が非常に優秀なエージェント構築機能を持つ時代において、なぜLangChainのような中立的なフレームワークが依然として必要なのでしょうか。ハリソン氏の回答は、エージェントがその真価を発揮するために不可欠な「状態の保持」と「知能の所有」に集約されます。

エージェントの状態とメモリの重要性

エージェントの構築前や実行中には、多くの状態を保持する必要があります。これには、短期記憶や長期記憶といった「メモリ」が含まれます。メモリは、エージェントとの対話から生まれることもあれば、エージェントが環境から学習することで生まれることもあります。

エージェントが時間の経過とともに成長し、学習し、改善していくためには、これらの状態が不可欠です。学習や継続的な改善の一部はモデルの重みに反映されますが、その多くはモデルの外側に存在し、特に「コンテキスト」の中に存在しています。

モデルロックインの回避：攻めと守りの両面

このコンテキストを構築する際に、特定のモデルプロバイダーに依存することは非常に危険です。特定のベンダーに強く結びついてしまうと、以下の「攻め」と「守り」の両面で不利になります。

攻めの側面: どのベンダーからであれ、最高性能のモデルが登場した際に、すぐにそれを活用できなくなってしまいます。市場で最も優れたツールを常に利用できる柔軟性は、競争優位性を確立する上で不可欠です。
守りの側面: 特定のベンダーに囲い込まれてしまい、料金を一方的に引き上げられるといった事態を避けられなくなります。モデルを自由に切り替えられる状態を保つことは、ビジネスの持続可能性とコスト効率性において極めて重要です。

ハリソン氏は、ハーネス（モデルを活用するための枠組み）とモデルが強く結びつく危険性を指摘します。もしメモリをハーネスに依存した形で構築し、そのハーネスが特定のモデルに縛られていれば、システムは身動きが取れなくなり、進化の速度を阻害してしまいます。したがって、ハーネス構造において真に重要なのは、「ユーザーに対してデータがどれだけポータブルか」という点です。メモリやコンテキストが特定のモデルのやり方に特化して構築され始めると、その移植性は大きく損なわれ、将来的なビジネス展開に不利になります。

知能を所有するとは？オープンで制御可能なエージェントアーキテクチャ

ハリソン氏は、「インテリジェンスの所有」という概念を提唱し、それがいくつかの構成要素から成ると説明します。

モデルの調整可能性: ユーザーは使用するモデルを調整できる必要があります。
ハーネスの調整可能性: モデル研究所は多くの場合、コーディングに特化したハーネスを訓練していますが、エージェントの用途はコーディングに留まりません。営業、リサーチ、法律など、コーディング以外の特定分野の業務にエージェントが使われる場合、モデル研究所の想定範囲から外れるケースがあります。そのため、ユーザー自身がハーネスの動作を制御できる必要があります。
コンテキストの制御: モデル、ハーネス、そしてコンテキストのすべてが、オープンで制御可能なエージェントアーキテクチャを構成することで、真に「知能を所有する」ことができるとLangChainは考えています。

このように、中立的なフレームワークは、特定のモデルに依存せず、多様なモデルを柔軟に組み換え、メモリやコンテキストを自社で制御することで、ユーザーが自身の「知能」を真に所有し、長期的な競争力を確保するための基盤を提供します。

エージェントの価値と垂直統合型エージェントの台頭

エージェントの価値について考える際、その価値が「うまくできたかどうかを判断する検証のプロセス」にあると考える人もいます。この検証こそが、次のステップである自動化を切り拓く鍵となるからです。もし検証を通じて価値が生まれるのであれば、誰がその価値の勝者となるのでしょうか？

ハリソン氏は、「勝者はドメインエキスパート（専門家）である」と断言します。エージェントが何をもって「良質」であるかを数値化できる人々、つまり評価（eval）を構築できる人々に多くの価値が蓄積されるというのです。評価の構築は非常に困難な作業ですが、これを実現できるドメインエキスパートは、ハーネスやモデルを構築する際にも最適な立場にあります。

垂直統合型エージェントの可能性

ハリソン氏は、さまざまなドメインに向けた「垂直統合型エージェント」に大きな期待を寄せています。これは、単なる汎用的なエージェントではなく、特定の業界や用途に特化し、そのドメイン知識を深く組み込んだエージェントを指します。

垂直統合型エージェントが成功する理由は、ドメインエキスパートが「検証プログラム」や「評価の仕組み」を構築するのに最適だからです。彼らは自分たちの専門分野において何が「良質」であるかを定量化し、その基準に基づいてエージェントを訓練・最適化することができます。

実践的な開発戦略として、ハリソン氏は垂直統合型エージェントを開発する場合、ハーネス層から着手し、コンテキストエンジニアリングを行い、ハーネスを微調整していくことを強く推奨します。そして、ユーザーを獲得してから、ポストトレーニングでモデルの調整を始めるのが良いと述べています。コンテキスト層やハーネス層からのスタートは、投資対効果がはるかに高いと考えられています。これにより、特定の垂直分野に特化した、単なるエージェントを超えた「エージェント体験」が構築され、多くの価値が生まれると予測されています。

特化型モデルとポストトレーニングの現在地：どこまでが「独自」なのか？

HarveyやRAMPといった企業が独自のモデルを構築しているという話を聞くと、彼らが一体どこまで実際に自分たちでモデルを開発しているのか、疑問に思うかもしれません。これに対して、ハリソン氏は「その大部分は、公開された重みを持つモデルを事後学習（ポストトレーニング）している」と明言します。中国のオープンソースモデルをファインチューニングしているだけだという指摘は、多くの場合において真実であるとのことです。

しかし、ハリソン氏はこの事後学習に「価値がある」と強調し、何ら問題はないと考えています。むしろ、知能を自社で保有するという点において、いくつかの異なる次元があると説明します。

知能保有の4つの次元

コンテキストのみの制御: 最も安上がりな方法です。既製のハーネスと既製のモデルを使い、コンテキスト（プロンプトや入力データ）だけを制御します。
ハーネスの微調整: コンテキストのみよりも制御の幅は広がりますが、多少コストがかかります。モデルと他の要素を繋ぐハーネスの振る舞いを調整します。
公開重みモデルの事後学習（ポストトレーニング）: 既存の公開された重みを持つモデル（例：中国のオープンソースモデル）を取り込み、自社のドメイン向けに事後学習させます。これは多くの垂直統合型エージェント企業が行っていることです。
ゼロからのモデル学習: 最も深いレベルであり、実際にモデルをゼロから学習させることです。これは非常にコストとリソースがかかるため、Neolabのようなごく一部の企業しか行っていません。

RAMPやHarveyのような企業は、非常に優秀な人材と大量のデータ、そして膨大な利用実績を持っています。彼らはコンテキストやハーネスから得られる成果をすべて引き出した結果、最終的にこれらのモデルの事後学習に辿り着いたのです。

ポストトレーニングの有効性：単純タスクとコアループの課題

ポストトレーニングの領域において、こうした特化型モデルの有効性についてはまだ結論が出ていません。劇的に効率的で優れているという報告もあれば、そうではないという報告も見られます。

ハリソン氏の見解では、現在ポストトレーニングが実用的な意味を持つものの多くは、より大きなシステムを構成する「単純なタスク向け」であるとのことです。

有効な領域: 分類、抽出、要約といった単純なタスク。これらはエージェントが使うツールやガードレールの役割を果たします。こうしたタイプのポストトレーニングは現時点でも理にかなっており、今後も続いていくでしょう。
未解決の課題: エージェントのコアループ（LLMがループ内でツールを呼び出す基本的な仕組み）を駆動するモデルについてです。このコアループがポストトレーニングされたモデルになるのか、それともフロンティアモデルになるのかは、まだ答えが出ていません。新しいフロンティアモデルが出るたびに、コアループの実行能力が向上していくという一進一退の状況が見られます。Harveyのような企業がこのコアループのためにモデルのポストトレーニングを試みていますが、これはまだ未解決の課題とされています。

もし自身が独自の垂直アプリケーションを構築するなら、最初はポストトレーニングを行わないが、5年後、膨大な利用があることを前提とするならば、現実的な選択肢になり得るとハリソン氏は述べています。

推論市場の未来とモデルルーティングの価値：ハーネスかゲートウェイか？

エージェントがリクエストに応じて最適なモデルを呼び出す「モデルルーティング」は、AI市場で今最も注目され、同時に意見が分かれるトピックの一つです。どこでモデルルーティングを行うべきか、つまり「ハーネスのレベル」で行うべきか、「ゲートウェイのレベル」で行うべきかという議論があります。

ハーネスレベルとゲートウェイレベルの違い

ハーネスレベル: 実行コード内にルーティングロジックが組み込まれます。
ゲートウェイレベル: 単なるAPIコールとしてルーティングが行われます。

各レベルのメリット・デメリット

ゲートウェイレベルのメリット:

移植性: 単なるAPIコールなので、どんなハーネスにも組み込めます。CloudCodeのような特定のハーネスを使い続けたいが、ルーティングは別のモデルプロバイダーで行いたい場合に有効です。
汎用性: 汎用的なチャットやコーディングのようなドメインであれば、モデルの得意分野をゲートウェイに組み込むことで、ある程度の汎用ルーターを構築できる可能性があります。（例：OpenRouter）

ハーネスレベルのメリット（LangChainが支持する理由）:

詳細な状態認識: ハーネス側の方が、エージェント内で何が起きているかをより詳細に把握できます。プロンプトキャッシュの状態など、APIを使う場合に比べて多くの状態を認識できます。
プロンプトの柔軟な変更: 多くのモデルにはそれぞれ異なるプロンプト戦略があるため、ハーネス層でルーティングを行えば、プロンプトをより簡単に変更できます。
ドメイン固有の最適化: 法律、金融、コーディングなど、ドメインによってタスクの内容や要求が大きく異なります。そのため、万能なルーティングは存在せず、ドメイン固有、ハーネス固有のルーティングが必要となります。ハーネス層に保存されたコンテキストやメモリを考えると、ルーティングをその層で行うのが自然な流れです。

ハリソン氏は、2〜3年後にはそのコンテキストによる利点から、ルーティングの大部分はハーネス内で行われるようになり、非常に汎用的なタスクのみがゲートウェイに残るだろうと予測しています。垂直統合型エージェントを構築するなら、ルーティングはハーネス内にある必要があり、一般的なチャットやコーディングのような汎用的タスクであればゲートウェイにあっても良いかもしれません。

ルーティングはコモディティ化するのか？

ルーティングはコモディティだとは「思わない」とハリソン氏は断言します。人々が自ら構築することはあるものの、今日においてもそれを構築するのは非常に困難です。その理由の一部は、モデルが急速に変化し続けるからです。特定のモデルが何かに優れていると議論しても、新しいフロンティアモデルが登場するとすべてにおいて性能が上回り、ルーティングの価値が低下してしまうという現象が起きます。この絶え間ない変化が、ルーティングをコモディティ化させない要因となっています。

評価指標（Evals）の役割と限界：数字のその先へ

エージェントの性能を測る上で不可欠な評価指標（evals）ですが、ハリソン氏はこれを「有用だが、完全に信頼はしていない」と述べます。

学術的評価指標の限界と内部評価の重要性

多くのモデルが登場する際に使われる学術的な評価指標は、もはやそれほど役に立たないことが多いと指摘されます。これは、登場するモデルがすべてこれらの評価指標でスコアを最大化するように調整されているため、そこから学べる新しい洞察が少ないからです。

一方で、独自のドメインのために構築し、保持している「内部評価」は、間違いなく依然として有用であるとされています。これが、特定のバーティカル向けエージェント開発において、評価の構築が非常に重要な要素である主な理由です。何かを測定する手段を持つ必要があり、その評価は概ね信頼できるものです。

データ観察とトレースの必要性

しかし、それでもなお最も重要なことの一つは、単に「データを見ること」だとハリソン氏は強調します。単一の数値にあまり頼りすぎず、とにかくデータを見て、何が起きているかを確認すべきだというのです。だからこそ、エージェントの動作を可視化する「トレース」が必要になります。評価が完璧ではない可能性もあり、モデルはこれまで把握できなかったような別の方法で、より良い結果を出しているかもしれないからです。

垂直に特化したベンチマークは信頼できるものの、それらも進化させる必要があり、モデルが多様な形で改善し続ける中で、評価のあり方も常に問い直す必要があります。

エージェントの継続的学習とメモリ層の革新：未来の差別化要因

エージェントの未来を語る上で、「継続的学習」と「メモリ層」は避けて通れないテーマです。継続的学習は、エージェントやその仕組みそのものを変えるというよりも、「エージェントの周辺で実行すべきシステムを変える」ものだとハリソン氏は考えています。

継続的学習における「外側のループ」

エージェントの核となるループ（LLMがループ内でツールを呼び出し、モデルや環境とやり取りする仕組み）は、大きくは変わらないとされています。継続的学習が加えるのは、「外側のループ」です。これは、エージェントの実行結果（排気）を監視し、それに基づいて何かを行うループを指します。

継続的学習の具体的な動作は、それがどう定義されるかによって異なります。ハリソン氏は、実行されるにつれて時間の経過とともに改善していくシステムと定義します。改善の形には、コンテキストの更新、ハーネスのコード更新、モデルの重みの更新など、さまざまな方法があります。

いずれの場合も、外側のループはほぼ同じような流れになります。トレースを取得し、学習内容を得て、何かを修正し、改善したことを測定して、それを繰り返すという流れです。LangChainは「Engine」というLangSmith内のエージェントを使って、トレースを実行してコードを更新しようと試みています。こうした更新が実際に改善されているかを確認するために、評価（eval）が役立ちます。

メモリ層の課題と未来：なぜ解決が難しいのか？

ハリソン氏は、エージェントのための「メモリ層」が、依然として大きく未解決の問題であり、今後数年で非常に一般的になるものの一つだと考えています。InstinctやMuseのような成功事例を見ると、パーソナライゼーションや学習、そしてそれがユーザーのためであるかのように感じさせる能力が、メモリによって実現されています。

しかし、メモリ管理はまだ非常に初期の段階にあり、その解決策は依然として明らかではありません。多くの企業では、メモリ管理は単に一つのファイルに保存するだけの非常にシンプルな方法で行われています。メモリの最も難しい部分は、データベースそのものではなく、以下のプロセスにあります。

観測データの精査: ユーザーが従来のSaaSやソフトウェア、あるいはエージェントとやり取りする際に生じるすべての観測データを取り込み、それをコンテキスト層に収めるべき「価値ある情報」へと精査することが極めて困難です。
メタ的な振り返り: LLMは、自身のプロンプトやエージェントのアーキテクチャを振り返って改善するような「メタ的な振り返り」を苦手としています。これは人間にとっても一般的に難しいことであり、私たちが自分の脳の中で何が起きているのかを完全に理解できていないのと同様に、システムにこの学習プロセスを再現させるには多くの異なる要素が必要になります。

ハリソン氏は、LangChainが以前メモリの商用ソリューションを打ち切った経験を明かします。その理由は、プロダクトマーケットフィットを見出せなかったことにありました。彼らはあまりに汎用的にしすぎたのです。メモリ技術は現在まだ初期段階にあり、構築すべきソリューションの多くは、実際には特定のドメインやエージェントに特化したものになるはずだと考えられています。

ドメイン特化型学習エージェントの台頭

メモリの真の難しさは、「何を記憶すべきか」という事実から学習するプロセスにあります。そして、その記憶を担うエージェントは、垂直型エージェントに大きな期待が寄せられています。こうしたエージェントが自らのドメインに特化した学習に長けていることが、その重要な鍵となります。

記憶を専門とするエージェントが登場することになるでしょう。これらは、ループ内で動作するLLMを基盤としつつ、特定の指示とツールを備え、既存のメモリ構造をナビゲートしたり、事実を要約したりすることに長けたサブエージェントが組み込まれる形になるはずです。ただし、これらはドメイン特化型になるだろうと予測されています。

コンシューマー向け垂直型エージェントの可能性

コンシューマー市場においても、水平型エージェントと垂直型エージェントの両方が共存し、水平型エージェントが垂直型エージェントと連携する形になるだろうとハリソン氏は見ています。

ほとんどのアプリにおいて垂直型エージェントを持つことは合理的であり、その理由は二つあります。

ユーザーに関する深い学習: アプリはユーザーに関する知識を持っており、一般的な水平型エージェントよりも、ユーザーがそのアプリをどう使うかをより深く学習できます。Spotifyでの音楽のやり取りとStravaでのやり取りが異なるように、アプリはユーザーについての学習において最も優れています。その学習内容を活かす最善の方法がエージェントを介することです。
豊富なAPIの活用: 多くのアプリは大量のAPIを持っています。汎用エージェントがこれらのAPIをラップし、単一あるいは複数の自然言語インターフェースを提供する特化型エージェントとやり取りする方が、より良い体験を提供できるでしょう。

エージェントがサイトとの基本的なインターフェースになった時、インフラは劇的に変化します。エージェントがやり取りすると、リクエストの数が人間が操作した場合の桁違いに増えるため、下層のインフラはもっとバースト的な負荷に耐えられ、より広範囲にスケールするシステムを構築する必要があります。将来は、プロバイダーが独自のエージェントを公開し、ユーザーがそのエージェントと直接やり取りするか、ユーザーの汎用エージェントがそのエージェントとやり取りする形になるだろうと予測されています。

Resyのような企業が広告モデルやアップセルを失い、客単価が下がるのではないかという懸念に対しては、エージェントの回答の中に広告や追加提案を自然言語で組み込むことが可能であり、特化型エージェントであればサードパーティのエージェントよりも基盤システムとより効率的に連携できるため、効率性の面でも優位であると説明されています。

トークンエコノミーとコスト最適化：見えないコストとの戦い

エージェントによるクエリ数や処理量の増加は、膨大なトークン消費を伴います。トークンのコスト、ひいてはインテリジェンスのコストは、時間の経過とともにどう変化していくのでしょうか？「安くなる一方だと思っていたが、あまり安くなっていない」という現状に対して、ハリソン氏は以下のように分析します。

トークンコストの二面性

フロンティアモデルの価格性能比向上: 最先端モデル（フロンティアモデル）自体は、相対的に徐々に安くなっています。Astraのようなモデルは、1年前に存在していた多くのモデルと比較しても、価格性能比が素晴らしいです。
圧倒的な需要増大: エージェント同士が対話したり、マルチエージェントシステムのような仕組みになると、消費されるトークン量が桁違いに増えるため、全体的なコストは上昇しています。特にコーディングの分野でこの傾向は顕著であり、多くの組織がコスト削減の方法を模索しています。

コスト削減の3つのステップ

LangChain自身もコーディングエージェントのコスト削減に取り組んでおり、その経験から再現性の高い3つのステップを提示しています。

可視化: まず、どれくらいのコストがかかるのか、あるいはどれくらいかかったのかを管理者に提示することです。誰がいくら使っているか、何に使っているかを把握することで、具体的な分析が可能になります。LangSmithのようなツールがこの役割を担います。
コスト管理: 「予約を取ってきてほしい。ただし、その作業に5ドル以上はかけないで」といった指示が出せるような、具体的な予算設定や制限の仕組みです。これは、エージェントの誤った使用や悪いループに陥ることを防ぐためのセーフガードとして機能します。
ハーネスエンジニアリングによる介入: 実際にシステムの仕組みそのものに介入し、エージェントの効率化や正確性向上を図ることです。プロンプトキャッシングのような技術は、コスト削減に非常に効果的です。モデルプロバイダーも、エージェントが実行中でも利用可能なツールを動的に変更できるような機能を導入しており、これによりキャッシュが無効にならず、コストを維持できるようになりました。LangChainは「OpenSuite」という独自のクラウド型コーディングエージェントを構築し、プロンプトキャッシュやルーティングといった機能をハーネスに組み込むことで、コストを抑制することに成功しています。

この3ステップを通じて、コスト増大の課題に対処し、AIエージェントの経済的な持続可能性を高めることができるとハリソン氏は考えています。

大企業の優先事項：精度、レイテンシ、コスト、セキュリティ

大企業がAI技術を導入する際、何を最も重要視しているのでしょうか？ハリソン氏はLangChainが毎年実施する開発者アンケートの結果を基に、その優先順位を語ります。

過去2年間、常に「精度」が1位であり、2位と3位を合わせたものの約2倍の重要度を誇ります。次に続くのが「レイテンシ」と「コスト」で、これらに少し遅れて「セキュリティ」が続きます。

最近では、大企業と話す際に「コストへの懸念」が高まっていると感じるとハリソン氏は述べます。これは依然として精度よりは下ですが、おそらくレイテンシよりは高い優先順位になっているとのことです。セキュリティも重要ですが、精度やコストよりは低い位置にあります。

コーディングエージェントのコスト削減事例と組織設計への影響

LangChain自身の事例では、エンジニアの給与の約30%をコーディングツールに費やしているという推測があります。この割合はここ2ヶ月で下がった一方で、使用したトークン数は増加しました。これは前述の3つのステップ（可視化、コスト管理、ハーネスの制御）を実行することで実現されました。

可視化: LangSmithでコーディングエージェントの使用状況を追跡し、誰が、いくら、何に使っているかを把握しました。これにより、例えば誤ったプラグインの使用によって1週間で4万ドルもの費用が発生したケースを検知し、修正することができました。悪意があったわけではなく、単なる設定ミスが原因だったため、検知の価値は非常に大きかったといいます。
基本的なコスト管理: 予算を設定し、上限に達した際には確認を求める仕組みを導入しました。
ハーネスの制御: 独自のクラウド型コーディングエージェント「OpenSuite」を開発し、プロンプトキャッシュやルーティングなどのコスト抑制機能を組み込みました。

ハリソン氏は、2年後には組織がずっと小規模になり、コーディングエージェントへの支出が人間の給与と同じか、あるいはそれ以上、一桁多くなる未来が来ると予測しています。少人数の人間が信じられないほどの速さと高いパフォーマンスで物事を進め、実行していく未来です。これは魅力的でありながら、同時に非常に人間的な要素が残るとも考えており、組織設計が今非常に興味深い分野だと指摘します。少人数化しても、その分彼らへの報酬が高くなるため、結果的に支出は変わらないかもしれないという見方です。

この数字（AIツールへの支出がエンジニア給与の何パーセントになるか）は、AnthropicのようなAI企業の価値を決定づける根本的な要因であり、非常に重要であるとされています。現在のところソフトウェアエンジニアリングでエージェントが効果を発揮していますが、企業内にはまだエージェントの影響を受けていない領域が山ほどあるため、他のドメインでの普及が進めば、AnthropicやOpenAIといったモデル提供企業はさらに成長するだろうとハリソン氏は強気な見方を示しています。

オープンソースモデルの現状と展望：信頼と懸念

大企業が中国のオープンソースモデルを使うことに恐れを抱いているのか、それとも気にしないのか、という問いに対しては、「恐れを抱いている企業もあれば、全く気にしていない企業も見受けられる」という両方の意見があるようです。

ハリソン氏は、その恐れが「正当だとは思わない」と述べます。懸念の一つとして、モデルが稼働するデータが中国の研究所に流出するのではないかというものがありますが、Fireworksを利用したり自社でホスティングしたりしていれば、これは馬鹿げた心配だと一蹴します。学習データが原因で、企業の価値観に合わないような回答が生成されてしまうのではないかという不安については、大部分は根拠がないが、特定の領域においては確かに一理あるかもしれないとニュアンスを示しています。

米国製オープンソースモデルの出現と限定的な用途

今後12ヶ月以内に、同等の米国製オープンソースモデルが登場するだろうとハリソン氏は確信しています。NVIDIAがエコシステムと連携するために行っている取り組みを見れば明らかであり、Reflectionのような企業も既にモデルをリリースしています。

しかし、オープンソースモデルの現状については、一般の人には見えていない真実があるとハリソン氏は指摘します。それは「非常に多く利用されているが、思われている以上に限定的なタスク向けだ」という点です。1年半前と比べると、オープンソースモデルやポストトレーニング済みモデルを活用する企業は増えましたが、それでも主な用途はルーティング、ガードレール、抽出、要約といった「単純なタスク」にとどまっているのが現状です。主要なエージェントにおける中核的なエージェントループを動かすまでには至っていません。

ハリソン氏は、オープンソースモデルはTwitter上で見られるような極端な意見のちょうど中間にあるような「微妙な立場」にあると結論付けます。「もう十分優れているから全てに使える」という意見もあれば、「フロンティアモデルがどんどん高性能で安価になるから不要」という意見もあります。しかし、自分のやるべきことが明確で、大量の利用が見込める場合、一部の単純なタスクに関しては、そうしたユースケース向けにモデルをポストトレーニングするのは非常に投資対効果が高いという現実があります。

推論市場の爆発的成長と投資の視点：どこにチャンスがあるか

ハリソン氏は、LangChainの開始当初から現在に至るまで、完全に過小評価していたことが二つあると告白します。一つは「推論に対する需要」、もう一つは「コーディングエージェントに対する需要」です。どちらの市場も、彼が数年前に考えていたよりも遥かに巨大であり、Eric Visher（Benchmark）やThomas Tungstも同様の意見を述べているように、「市場があまりに巨大なため、すべてがうまくいく」という見解です。推論サービスに対する需要が非常に大きく、すぐに減る兆候もないため、Fireworks、AWS、Crusoeなど、どんな推論サービスでも成功の機会があるだろうと予測しています。

投資しない分野とすべき分野

ハリソン氏は、彼のファンドの新しいパートナーになったと仮定した仮想の質問に対し、どこに投資すべきか、どこに投資しないべきかについて具体的に言及しています。

投資しない分野の例:

カスタマーサポート: 過去18ヶ月間で1億ドル以上の資金調達を受けたプロバイダーが20社もあり、SalesforceやAtlassianといった大手、さらにはIntercomやTalkdeskのような既存企業も参入しているため、競争が激しすぎると判断。
ロボティクス（特に人型ロボット）: 「大胆な意見だが、ロボットにはあまりに多くの資金が投入されすぎており、ChatGPTのような瞬間が訪れるまでにはまだ非常に長い道のりがある。特に人型ロボットは、その形状において非常に苦戦している。資金調達と期待感が、実力よりも大幅に先行している」と分析。

投資すべき分野の例:

低レイヤーのインフラ基盤: これから書かれるソフトウェアは劇的に増えるため、推論やコーディングを支える低レイヤーのインフラに投資すべきです。ModalやTemporal、Supabase、Convexなどが例として挙げられています。
垂直AIエージェント: ドメイン特化型の視点を持って深く入り込むことが重要です。AIの浸透率が低い一方で、蓄積されたドメイン知識が豊富な分野に飛び込み、それを変革していくような領域に大きなチャンスがあります。

成功するチームの3つの共通要素

ハリソン氏は、これらすべての投資において注目する要素として、成功しているチームに共通する3つの特徴を挙げます。

とてつもなく優秀な人材: ModalやFireworksのように、PyTorchを開発したような極めて高い技術力を持つ人材がいること。深いインフラを構築するには、このレベルの技術力が不可欠です。
とにかくスピード感を持つこと: 迅速にイテレーションを回せることは非常に重要です。市場の変化があまりに速いため、迅速な実行力が競争優位性を生み出します。LangChain自身の強みも、統合のスピードの速さにあると認識しています。
ブランド力: このAI時代に成功した多くの企業は、奇跡的なチャンスを掴み、その波に乗って成長しました。LangChainも初期に急速に普及し、それを足がかりに実行してきました。市場が速く動き、競合も多いため、「ブランドの独占」は非常に強力な先行者利益となります。

先行者利益の重要性

先行者利益はこれまで以上に重要になっているとハリソン氏は考えています。もちろん、追いつくことも可能ですが（OpenAIがコーデックでAnthropicやClaudeに追随したように）、市場を最初に築いたというブランドの独占は非常に強力です。ただし、先行者であっても、その後も圧倒的な実行力が求められます。AutoGPTが良い例で、LangChainの数ヶ月後に史上最速で成長したGitHubプロジェクトでしたが、その後あまり動向が聞かれないように、スピード感を持って実行し続けることは非常に困難だからです。

VCとの関係と資金調達の真実：ゲーム性とその本質

ハリソン氏は、BenchmarkとSequoiaからの投資経験を振り返り、VCが企業にもたらす価値について語ります。

Benchmarkのパートナーたちは、LangChainがハリソン氏とAnkush氏の二人だけだった頃から、会社の「第三の共同創業者」のように支援してくれたと述べています。彼らは会社作りやポジショニングといった多くのことについて相談相手となり、一貫したパートナーであり続けています。

セコイアのソニア氏も素晴らしいパートナーであり、この業界で最も人脈が広い人物の一人です。彼らのスタイルは、すべてにおいて支援してくれる「マシーン」のような存在で、個人の採用から幹部の採用、マーケティングやローンチの支援まで、徹底的に実務をサポートしてくれます。多くの優秀な候補者はセコイアの人材ネットワークからの紹介でした。

ハリソン氏は、「セコイアやベンチマーク、あるいは他のトップティアのVC企業であれば、評価額を下げても絶対に従事する価値がある」と断言します。

資金調達の「ゲーム性」と本質

ハリソン氏は、初めての起業だったため、資金調達にある種の「ゲーム」のような側面があることを全く知らなかったと語ります。資金調達しているように見せずに資金調達する、といった手法（タームシートを手に入れたら他社に伝え、Twitterで収益グラフを投稿してインバウンドの問い合わせを増やすなど）があることに気づいたといいます。

彼自身はこの「駆け引き」を非常に嫌っており、「もうこのゲームには歳を取りすぎたのかもしれない」とさえ感じています。彼は、一緒に働きたい人たちと素晴らしいものを築き上げることが本質であり、資金調達はその実現のために必要な手段であると考えています。BenchmarkやIVPのトムとの資金調達では、時間をかけて関係を築き、お互いのことを深く知ることで、駆け引きが少ない形で進めることができた経験を感謝しています。

未来への展望：AIが解き放つ創造性と個人的な興奮

最後に、ハリソン氏はAIの未来、そして彼自身が最も楽しみにしていることについて語ります。

彼が5年後を見据えて最も楽しみにしているのは、「AIを使ってどんな創造的なことができるのか」という点です。AIの多くは企業の効率化や成果の提供を支援するものですが、Sunoのような創造的なアプリケーションは非常に興味深く、もっと増えてほしいと願っています。

OpenAI vs Anthropicへの投資判断

もし1社だけIPOに投資できるとしたら、1.5兆ドルのOpenAIか、2兆ドルのAnthropicか、という質問に対し、ハリソン氏は「OpenAI」を選択します。その理由は、「彼らの方が、莫大な評価額でのイグジットに至るまでの多様な道筋を持っていると思うから」です。

2022年にLangChainを始めた頃に知っておきたかったことについては、「現在のハーネス（Harnesses）がどのようなものか当時知っていれば、もっと早く構築できたのに」と述べています。これは、エージェント構築における本質的な課題と解決策への理解が、初期段階でどれほど重要であるかを示唆しています。

まとめ：変化の波に乗るための洞察

ハリソン・チェイス氏の語る推論市場とエージェントの未来は、目まぐるしい変化と同時に、計り知れない可能性を秘めていることがよく分かります。エージェント構築の根源的な難しさから、LLM進化がビジネスを再構築する力、中立的フレームワークの戦略的価値、垂直統合型エージェントの台頭、そしてトークンエコノミーの複雑な動向まで、多岐にわたる洞察が示されました。

私たちは、単に最新のモデルを追いかけるだけでなく、それをいかに効率的かつ安全に活用し、ビジネス価値へと転換していくかという、より深い視点を持つ必要があります。メモリ層の革新、ルーティング戦略の最適化、そして評価指標の賢明な利用は、エージェントが真の知能と自律性を獲得し、私たちの世界を豊かにするための鍵となるでしょう。

AI技術の進化は、私たちに「何を構築しないのか」という問いを突きつけ、同時に「どこに真の価値が生まれるのか」という問いに対するヒントを与えてくれます。LangChainのようなオープンソースのフレームワークは、この不確実な未来において、開発者が自身の知能を所有し、変化の波を乗りこなし、新たな創造的な可能性を追求するための強力な羅針盤となるでしょう。