AGIへの突破口か？MITアレックス・チャンが提示する「再帰的言語モデル（RLM）」とAIエージェントの未来

近年、人工知能（AI）の世界は目覚ましい進化を遂げています。特に大規模言語モデル（LLM）の登場は、私たちに汎用人工知能（AGI）の夢を現実のものとして意識させ、その壮大なビジョンに多くの期待が集まっています。しかし、現在の最先端モデルは、その高い能力にもかかわらず、特定のタスクを一貫して、かつ効率的にこなす上ではまだ多くの課題を抱えています。例えば、ある特定の仕事を1ヶ月間うまくこなすには、1万個のエージェントを88時間動かし、1,300億トークンを消費する計算資源が必要となる場合があります。これは公開価格でおよそ4,000万ドル（約60億円）に相当する膨大なコストであり、AGIへの道は依然として遠く険しいものに感じられます。

このような現状に対し、MITの博士課程学生であるアレックス・チャン氏は、既存のパラダイムを打破し、AIの真の潜在能力を引き出すための画期的なアプローチを提唱しています。それが「再帰的言語モデル（Recursive Language Models, RLM）」です。本記事では、アレックス・チャン氏の深い洞察に基づき、RLMの核心、ハーネス設計の再定義、アカデミアと産業界の役割、そしてAIエージェントの未来について、詳細かつ分かりやすく解説していきます。

AI開発の最前線：GPU最適化と「GPUMode」の貢献

AI、特に深層学習モデルの性能を左右する上で、GPU（Graphics Processing Unit）の最適化は不可欠な要素です。アレックス・チャン氏は、自身の研究キャリアの初期から、このGPUプログラミングの分野に深く関わってきました。

彼は、マーク・サラフィンやジェレミー・ハワードらと共に、GPUカーネルの書き方を学ぶためのDiscordコミュニティ「GPUMode（旧CUDAモード）」を立ち上げました。このコミュニティは2023年頃に始まり、当初はGPUカーネルの学習に特化していましたが、その対象は徐々に広がっていきました。アレックス氏自身も、Snapchatでのインターン中に「InfiniteAttention」論文のためのカーネル記述を試みた経験から、GPUプログラミングに興味を持ち、GPUModeに参加しました。

GPUModeの活動は、GPUプログラミングを競技プログラミングのように捉えるというユニークな視点を持っています。まるで「コードゴルフ」のように、いかに効率的なカーネルを記述できるかを競うリーダーボード「ポップコーン」を設け、参加者が互いのスキルを磨き合う場を提供しました。このアプローチの背景には、「GPUコードで競技プログラミングのようなことができれば、GPUカーネル開発を拡張・自動化できる」という洞察がありました。これは研究者にとって非常に重要な意味を持ちます。例えば、Mambaの論文のように、革新的なモデルが発表されても、同時に最適化されたカーネルが公開されない限り、実用的な意味で利用できないという大きなボトルネックが存在するからです。

LLMとGPUカーネル最適化の融合

近年では、このGPUカーネル開発の分野にもLLMが大きな影響を与えています。GPUModeから派生したプロジェクト「KernelBench」は、LLMを用いてGPUカーネルコードを自動化する試みでした。現在、GPUModeのリーダーボードに並ぶ解決策のほとんどはAI生成によるものです。

興味深いのは、単にAIがコードを生成するだけでなく、人間とAIが協調することでさらに優れた結果が生まれている点です。例えば、GPUModeの熱心なメンバーであるGaurst氏は、AIを使って解決策を導き出しながらも、プロンプトを工夫し、AIを特定の方向に誘導することで、トップクラスの性能を持つカーネルを生み出しています。彼のカーネルは、AIが生成した他のカーネルがエンドツーエンドのシステムで安定して動作しない中、安定性を保つほぼ唯一のものです。このことは、GPUカーネルにおける「検証」の問題、すなわち「報酬ハッキング」のような、特定の指標には最適化されるが実際のシステムでは機能しない問題があることを浮き彫りにします。しかし、同時に、専門知識を持つ人間がAIを適切に「操縦」することの価値を強く示唆しています。

GPUカーネルの最適化は、物理学に基づいた理論上の限界（「光速」に近い推定値）が存在し、行列演算のような単純なケースでは計算が容易です。しかし、データの転送（HBM、DRAM）や、転送と計算の完璧な重ね合わせといった複雑な要因が絡むと、理論上の数値に到達することすら困難になります。アレックス氏は、速度とメモリが重要であるとし、一部の専門家がマイクロジュールやピコジュール単位での消費電力まで追跡していることにも言及しています。

また、単一カーネルの最適化とモデル全体の最適化は異なる課題であると指摘しています。モデル全体では、層間のデータキャッシュの最適化（フュージョン、メガカーネル）が必要となる場合があり、これは個別のカーネルだけを見ていては見えない複雑なトレードオフを含みます。メガカーネルのような高レベルの演算は、コンパイラによる最適化がより適しているという見解も示されています。

GPUプログラミングは、かつては非常にニッチな分野でしたが、Tri Dao氏のFlashAttentionのような画期的な研究によって一躍注目を集め、今では多くの人がカーネルを記述する「飽和状態」に近い状況にあります。このような背景から、アレックス氏は、もはやGPUカーネルの直接的な最適化だけでなく、AIと効率的なシステム設計を組み合わせた、より高レベルなアプローチにイノベーションの余地があると見ているのです。

AGIへの道：現在の課題とアカデミアの役割

AGIの実現に向けた期待が高まる一方で、アレックス・チャン氏は現状のAI開発が抱える根本的な課題に鋭く切り込んでいます。彼は、今日の最先端モデル（例えばAstraのようなモデル）をもってしても、特定の仕事を1ヶ月間、一貫してうまくこなすにはまだ不十分であると指摘します。これには膨大な計算資源とコスト（前述の4,000万ドル）が必要であり、実用的なレベルでのAGIは依然として遠い目標です。

この問題意識から、アレックス氏はアカデミア、すなわち大学や研究機関が果たすべき重要な役割について熱く語っています。産業界の研究所はIPOや目先の成果に囚われがちですが、博士課程の学生は、本質的に「何に取り組んでもいい」という非常にユニークで自由な立場にあります。この「大きな賭けに出る」自由こそが、アカデミア最大の強みであると彼は強調します。

「研究のセンス」と革新的なアイデアの価値

アレックス氏は、自身のプリンストン大学時代からの経験を振り返り、SweetBenchのジョンやカルロス、そして現在10（テン）を運営するシュンのような、「研究のセンス」を持つ同僚たちから大きな影響を受けたと語ります。彼らは、手掛ける研究がどれもこれも重要で、誰もが知っておくべきものとなる「幸運な大学院生」です。しかし、この「センス」は単なる幸運だけでなく、研究の機会を通じて養われるものであり、優れた指導者（MITのオマール教授）との出会いも重要であると述べています。

アカデミアで最も成功する研究は、しばしば「産業界の多くの人が注目していないような問題」に取り組んでいる時に生まれます。例えば、アレックス氏が提唱するRLMの論文は、発表当初、多くの人から「これには一体何の意味があるんだ？」「ただのサブエージェントではないか？」といった反応を受けました。しかし、このような反応こそが、人々がまだその目的について深く考えが及んでいない、革新的なアイデアであることの「良い兆候」だとアレックス氏は捉えています。

彼は、STaRやQuiet-STaR（エリック・ゼリクマン）、SWE-bench、ReActといった研究論文も同様の運命を辿ったと指摘します。SWE-benchは当初「不可能なタスク」と見なされましたが、Devonの登場によってその重要性が認識されました。これらの論文の価値は、GPT-6のような即座に使える最新モデルを提供するものではなく、むしろ「この分野がどうあるべきか」という未来の「物語」を提示する点にあると分析します。

博士課程の学生は、豊富なリソースと人材を持つ産業界の研究所とは異なり、限られた環境で研究を行います。だからこそ、瑣末な問題に時間を費やすのではなく、あえて「大きな賭け」に出ることが不可欠だとアレックス氏は主張します。失敗することも多いですが、それが博士課程の学生としての最大の強みであり、官僚的な手続きに煩わされることなく、他のどんな研究所の人間よりも有利な立場にあると言えるでしょう。

Jevと新たな設計空間の探求

この「大きな賭け」の一例として、彼はJevというプロジェクトに言及します。Jevもまた、過剰な宣伝と同時に「些細なことだ、馬鹿げている」という批判を受けました。しかしアレックス氏は、Jevが「言語モデルのあり方はこれで正しいのか」という根本的な問いを投げかけている点を高く評価します。

現在の言語モデルは、テキストからテキストへの変換という形式に慣れきっています。しかしJevは、出力空間を変えることで、推論の遅延などのトレードオフを提供し、新たな設計空間を検討する可能性を示唆しています。アレックス氏は、「言語モデルとは、言語をモデル化するものであって、必ずしもTransformerのデコーダである必要はない」と力説します。

Jevが提起する疑問は多岐にわたります。Loop Transformerをどこまで活用できるのか、モデルの一部だけをループさせたらどうなるのか、モデルの内部でハーネスのような動きを再現できるのか、などです。これらの研究は、従来のTransformerの限界を超え、言語モデルが持つ真のポテンシャルを引き出すための新たな道を切り開く可能性を秘めています。Jevがもたらす高速化の可能性は、RLMのようなシステムにとって最大のボトルネックである「動作の遅さ」を解決する上で非常に有益であると、アレックス氏は期待を寄せています。

「再帰的言語モデル（RLM）」とは何か？：根本的なパラダイムシフト

従来の言語モデルやエージェントシステムが抱える課題、特に長いコンテキストの扱いや複雑なタスクにおける非効率性を乗り越えるために、アレックス・チャン氏が提唱するのが「再帰的言語モデル（RLM）」です。これは単なる新しいモデルアーキテクチャではなく、言語モデルの機能を最大限に引き出すための「ハーネス設計」における根本的なパラダイムシフトを意味します。

RLMの定義と核心

アレックス氏は、RLMを「コードのみをツールとするハーネス設計」と定義します。これは、以下の特徴を持つサブエージェント型の仕組みです。

自己参照とツール呼び出し: RLMは自身をツールとして呼び出すことができ、他にも外部ツール（コード上の関数として定義される）を利用できます。
永続的なコンテキスト管理: 扱われるコンテキストは常にそのコード環境内のメモリ、例えばファイルシステムに保存されます。これにより、モデルは常に元のコンテキストを参照でき、長い履歴や複雑なデータ構造を効率的に扱えます。従来のハーネスが長いコンテキストを要約・圧縮してプロンプトに含めることで情報を失っていたのに対し、RLMはこの問題を解決します。
コードによる通信: すべてのツールはPythonのREPLやBashのREPLといった環境内で実行されます。エージェント間の通信もコードを介して行われ、モデル自身が通信のためのコードを書くことで、非常に柔軟で強力な連携が可能になります。これは、HuggingFaceのインシデントのようなエージェントスウォームがコミュニケーションのために掲示板（共有コンテキスト）を使うのと似た発想ですが、RLMは「最良の通信方法はコードである」という信念に基づいています。

RLMが解決しようとする中心的な課題は、従来のハーネスが「長いコンテキストの処理が非常に苦手だった」という点、そして「各ステップでの行動をより制御できる言語モデルシステム」が必要であるという点です。従来のツール呼び出しは非常に制限されており、ツールA、ツールB、ツールCと順番に呼び出す必要があり、中心的なコンテキストを引き出すことが困難でした。RLMは、この「構成可能性」と「常に参照できる中心的なコンテキスト」を持つことを念頭に設計されています。

RLMの驚異的な汎化能力

RLMの最も魅力的な特性の一つは、その高い汎化能力にあります。アレックス氏の研究では、RLMは次のような驚くべき特性を示しました。

長さに対する汎化: 短いタスクで学習させたRLMは、8倍から30倍も長いタスクにも即座に汎化して解決できます。これは、モデルが特定の長さのタスクの解き方だけでなく、その背後にある「戦略」を学習するためです。
ドメインに対する汎化: 検索タスクと集約タスクのように、ドメインが全く異なるクエリであっても、RLMは同じようなメタ戦略を認識し、一方のタスクで学習した挙動をもう一方にも汎化させることができます。従来のハーネスは、解決策が似ていてもこれらの問題を過度に区別してしまうことがありますが、RLMではサブエージェントがより簡単なサブタスクを解くため、全体的な基本戦略が類似していると認識されるのです。
メタ解決策の学習: 数学のタスクとライティングのタスクという全く異なるドメインのタスクであっても、RLMはメタ的な解決策を学習し、その挙動を汎化させます。例えば、GPUプログラミングと競技プログラミングが似たスキルセットを必要とするように、RLMはサブエージェントを通じて「解決策のリストを作成し、有望な案を列挙させ、ループ処理でチェックし、検証プログラムを使って改善していく」といった共通の戦略を学習できるのです。

この「構成的な汎化（Compositional Generalization）」は、RLMが計算をメタハーネスやサブエージェントを含むプログラムに分解し、個々の言語モデルの呼び出しが「局所的にインディストリビューション（分布内）」となるようにするため実現されます。これにより、タスク全体がアウトオブディストリビューション（分布外）であっても、モデルは既知のパターンに基づいて解決策を探索できるのです。

PrimeAgent：RLMの実践例

RLMの具体的な実装例として、アレックス氏は「PrimeAgent」を挙げています。PrimeAgentは、Pi-monoというミニマルなハーネスをベースに構築されていますが、RLMの抽象化を組み込むことで、従来のハーネスとは一線を画す機能を提供します。

唯一のツールとしてのIPython: PrimeAgentは、IPythonのみを唯一の利用可能なツールとして厳格に制限しています。他のツールはすべてPythonモジュールとして読み込むか、実行可能なbashスクリプトとしてロードされるため、モデルはコード記述能力を最大限に活用できます。
ContinualHarness: 博士課程学生のセスが開発した「ContinualHarness」が組み込まれており、ハーネス自身が自身のスキルやサブエージェントを自ら修正できるように設計されています。これにより、システムはより動的で適応的な振る舞いを示します。
特殊なエージェント間通信と永続的サブエージェント: LLMが多数のサブエージェントを生成する傾向があるため、PrimeAgentはエージェント間の非常に特殊な通信システムとフレームワークを備えています。これにより、サブエージェントは互いに協調し、情報を共有できます。さらに、「永続的なサブエージェント」は、元のエージェントの実行時間を超えて持続できるため、長時間実行される複雑なタスクにも柔軟に対応できます。これは、Codeexのサブエージェントが一時的で、長時間タスクには不向きであるという問題点への解決策となります。
ファイルシステムへの外部化: PrimeAgentの大きなコツは、ファイルシステムにコンテキストを外部化することです。これにより、モデルは常に元のコンテキストを参照し、複雑な状態を管理できます。

PrimeAgentのようなシステムは、従来のハーネスが「プロンプトとしての軌跡（Trajectory as a Prompt）」として、ロールアウトの全軌跡をメインモデルのコンテキストとして保持し続けることで生じていた非効率性（多くの計算リソースが必要で、情報が失われやすい）を根本的に解決します。Prime社は、RLMのトレーニングとハーネス構築に本格的に取り組み、カスタムモデルのトレーニングも行っています。

RLMは、単に強力なLLMを呼び出すだけでなく、その内部構造と相互作用を最適化することで、AIエージェントの能力を飛躍的に向上させる可能性を秘めています。これは、フロンティアモデルの持つ膨大な計算リソースによる自己回帰デコーダーと同じ土俵で戦うのではなく、独自の優位性を構築しようとする「ネオラボ」にとって、極めて重要な戦略となるでしょう。

ハーネス設計の再考：モデルの真の能力を引き出す鍵

アレックス・チャン氏は、「CloudCodeやCodex、Pi、PrimeAgentといったハーネスは、正直なところ、どれも同じようなものだ」という挑発的な見解を示します。彼の言う「同じようなもの」とは、ハーネスの設計判断や選択のほとんどが似通っており、言語モデルを単なるブラックボックスとして扱い、次トークン予測という形式に依存している現状を指します。しかし、RLMは、このハーネス設計そのものに革命をもたらし、モデルの真の能力を引き出す鍵となると主張します。

従来のハーネスの限界と「ハーネスの税」

言語モデルに非常に難しいタスクを解かせようとすると、次トークン予測という形式はしばしば不自然であるとアレックス氏は指摘します。例えば、Swebenchのようなコードベースを操作するタスクでは、単一の言語モデル呼び出しで全てを完結させることは不可能です。そのため、こうした作業を補助する「ハーネス」に頼ることになります。

しかし、アレックス氏は「ハーネスの役割を再考すべきだ」と主張します。ハーネスとは、単にツール呼び出しを提供するだけでなく、「言語モデルを問題にどのように適応させるかという強い意志が込められたプログラム」であるべきだというのです。彼は最近発表された「ハーネスの税（Harness Tax）」に関する論文を引用し、「ほとんどのハーネスの選択は重要ではない」という前提を裏付けています。これは、ユーザーにとっての使い勝手はさておき、最終的な答えを導き出すためにエージェントをどう有意義に組み合わせるかこそが重要である、という洞察を示唆しています。

つまり、AnthropicやOpenAIのような大手ラボは、自社のハーネスでモデルを学習させているため、特定のハーネスに最適化されたモデルを構築できます。しかし、オープンソースの世界では、モデルが汎用的な環境で機能する必要があります。アレックス氏は、モデルが賢くなるにつれて、このハーネス間の違いはそれほど重要ではなくなるだろうと予測しています。Astraのような十分に優秀なモデルであれば、オープンなコード環境に入れたとしても、性能が破綻することはないでしょう。結局のところ、異なるハーネス間の唯一の利点は「コスト」に行き着く、という見方もできます。

RLMが描くハーネス設計の未来

RLMは、従来のハーネスが抱える問題を解決し、新しいハーネスの方向性を示唆します。

コンテキストのオフロードとコード記述の活用: RLMは、コンテキストを十分にオフロードし、モデルにそのコンテキストに基づいてコードを書かせることで、非常に有用な特性を引き出します。モデルは学習中にタスクの解決策を認識すると、一見異なるタスク間でも解決策の類似性を見出すようになります。これは、RLMがサブエージェントを通じてより簡単なサブタスクを解くことで、全体的な基本戦略が共通していると認識されるためです。
汎化性能の飛躍的向上: RLMの学習方法では、短いタスクで学習した戦略が、8倍から30倍もの長いタスク、あるいは数学とライティングのような異なるドメインのタスクにも直接転用できることが示されています。これは、限られたデータや環境で学習しつつも、より広範なタスクへ汎化する可能性を秘めています。
モデルフォワードパスへの統合: アレックス氏はさらに踏み込み、将来的にモデルのフォワードパス自体がRLMとして暗黙的に機能するようにトレーニングできるのではないかと問いかけます。コードは微分不可能であるという議論はありますが、この挙動の近似は発見され始めるだろうと予測しています。これは、単に「特別な圧縮形式を使う新しいコーディング用ハーネスを設計する」というレベルを超え、より創造的な方法で言語モデルを活用できる可能性を示唆しています。

投機的先行コンパイル（Speculative PCC）の導入

ハーネスの効率性を高める具体策として、アレックス氏は「投機的先行コンパイル（Speculative PCC）」というシンプルなアイデアを挙げます。これは、モデルがコードを書いている最中や書いた直後でも、多くのツールが順次処理や待ち時間を伴う現状に対し、コードを事前に実行してしまおうというものです。コードをコンパイルできるなら、変数などが含まれていても何が起こるか予測できるため、事前に実行することで待ち時間を削減し、全体的な効率を向上させることができます。プログラミング言語の専門家は、Haskell、Lisp、OCamlのような関数型言語でこれを実現するためのクールな手法を持っていると述べています。

今後の展望

新しいハーネスを探求するためには、新しいハーネスのスケールアウトや、ポストトレーニングでのハーネス設計の最適化といった有意義な実験に専念するチームが必要です。RLMであれ、他の何かであれ、こうした取り組みを通じて、非常に有意義な知見や向上が得られるとアレックス氏は確信しています。例えば、Fableのようなモデルが長時間のトレーニングを重ねることで、動的なワークフローを持つRLMにとって最高のモデルとなる可能性が示唆されています。これは、学習によって獲得された能力であり、ハーネスとモデルの共進化が、次世代AIシステムの性能を決定づける重要な要素となることを物語っています。

最終的に、アレックス氏は「現在私たちが解決したい問題は山ほどあり、常に可能な限り多くの計算リソースを投入し続ける余裕はないはずだ」と強調します。だからこそ、RLMのような効率的で賢いハーネス設計が、AIの発展において極めて重要な役割を果たすのです。

エージェントスウォームと未来のAI研究

アレックス・チャン氏の議論は、RLMの概念を超えて、複数のAIエージェントが協調して複雑な問題を解決する「エージェントスウォーム（Agent Swarms）」の可能性と課題にまで及びます。この分野は、AGIへの道を模索する上で、最も注目されている領域の一つです。

OpenAIのNavier-Stokes方程式解決事例が示すもの

最近、OpenAIがNavier-Stokes方程式の解法で99.9%の達成率を報告した事例は、エージェントスウォームの驚異的な可能性を示すものです。彼らは、1万個のエージェントを88時間稼働させ、1300億トークンの出力を生成し、推定4000万ドルという巨額のコストを投じてこの成果を達成しました。アレックス氏はこのコストを「意外にも、思ったより少ない印象」と評しつつも、この費用を投じて問題解決の選択肢があること自体を「非常にエキサイティングだ」と述べています。

OpenAIの事例では、エージェントたちは共有ファイルシステムのような共通のコンテキストを持ち、一種の「エージェントの群れ」として機能したことが示唆されています。これはRLMの精神に非常に近いものですが、アレックス氏は、彼らの成功はRLMそのものとは関係のない、もっと賢いやり方が含まれている可能性もあると考えています。

この事例が示唆するのは、GPT-6 Astraのようなモデルは、適切な情報さえ与えられれば、非常に困難な問題の証明を導き出すだけの知能を技術的に備えているということです。しかし、その「情報にどうやってたどり着くのか」が最大の疑問点です。OpenAIの場合、それはスウォーム内の多数のエージェントによる非常に長時間の探索の結果であり、何を探索すべきかといった人間の直感をプロセスに取り入れた結果かもしれません。このような文脈では、ハーネスの細かな仕様自体はそれほど重要ではなく、エージェントをどう有意義に組み合わせるかこそが重要であるという「ハーネスの税」の概念が改めて浮上します。

エージェントスウォームの効率性と課題

エージェントスウォームの設計は、従来のソフトウェア開発チームの組織図と類似していると指摘されています。Cursorのマルチエージェントアーキテクチャの例に見られるように、メインの担当者が全サブエージェントを調整し、その後また集約して再調整を行うというプロセスは、往々にして遅く、非効率的です。アレックス氏は、真のスウォームとは、各自が独立して動くべきであると主張します。

エージェントスウォームが抱える大きな課題の一つは、その効率性、すなわち「無駄（スロップ）」です。アレックス氏は、「スウォームの95%は完全に無駄、つまり探索している内容は単なるトークンの浪費ではないか」と推測しています。多くのエージェントが検索問題に取り組む場合、大量の無駄な情報が含まれることになります。これは意識的に許容されている側面でもありますが、「どの問題に何を適用するのが適切なのか、どのような設計が良いのか」という根本的な問いは残ります。

それでも、OpenAIが「Swarms」というAPIをパッケージ化し、「どんな問題にもこれを向ければ解決策を出します」と提供する未来も考えられます。それが高額なサービス（「Pro」）であったとしても、問題解決の選択肢が増えることはエキサイティングです。

関連する研究と今後の方向性

アレックス氏は、RLMリリース後のサードパーティによる興味深い関連研究をいくつか紹介しています。

Harvey (法務AI): 法務AI企業のHarveyは、RLMを事後学習に利用し、多くの文書を精査したり、検索が難しい多様な情報を探したりするタスクで素晴らしい結果を出しています。
Headlong (旧AutoTerminus): AndyKwinskが主導するLudd Instituteのプロジェクトで、永続的に思考するハーネスのようなシステムです。こちらが問いかけなくても、コンテキスト内の問題を自ら考え抜き、トークンコストを調整することで高コストではない常時稼働を実現しています。
Axe: DSPyとRLMのためのハーネス。
ARCAGI3 Kaggleコンペ: 多くの参加者が、RLM抽象化やそれに着想を得たハーネスを利用して好成績を収めています。これは、構成やコードの利用、ニューロシンボリックシステムとAIの組み合わせから多くの恩恵が得られる場面を示唆しています。

オープンエンド研究とSakanaAI

さらにアレックス氏は、解決策やゴールが明確でない「オープンエンド」な研究にも触れます。彼は、博士課程に入る直前にSakanaAIに在籍し、彼らがこの分野をかなり研究していたと語ります。オープンエンドな問題は、未解決の数学の問題に似ており、進化探索のような手法（エージェントの群れを放って面白いものが生まれるのを期待する）が用いられます。

しかし、オープンエンド探索の最大の難所は、「最終的にどうやって選別するか」、すなわち「どうやって面白いものだけを抽出するのか」という点です。ゴールがない、あるいはエージェントがゴールを考案する場合でも、大量の「ゴミのようなデータ集」の中から隠れた宝石を見つける仕組みが必要です。これはモデルルーティングの考え方にも繋がり、ある問題に最適なモデルを選び出すといったアプローチが考えられます。

アレックス氏は、オープンエンドな性質への解決策は、モデルを永遠に走らせ、超高スループットなデータ生成を行うことに他ならないと考えています。これは、ゴールを持つことに対する、ゴールを持たないことを目指すという、機械学習の基本方針に対する興味深い対抗策でもあります。

最終的に、アレックス氏は「将来的に、私たちが『言語モデル』だと認識してクエリを投げているものが、実はスウォームや足場、あるいは非常にスケーラブルな特殊なハーネス設計であるという状況を、いつか目の当たりにするようになると思う」と語ります。ユーザーにはその裏側の複雑な仕組みは見えず、ハーネスのフロントエンド部分だけが可視化されるようになる、という未来像です。これは、AIシステムのインテリジェンスが、単一のモデルの能力だけでなく、その背後にある精巧なシステム設計によって大きく左右されることを示唆しています。

言語と推論：モデルが「思考」する言語

AI、特に言語モデルの能力を深く掘り下げていくと、私たちは人間の「言語」と「思考」の関係、そしてそれがAIの推論にどう影響するかという、哲学的な問いに行き着きます。アレックス・チャン氏は、この点についても鋭い洞察を披露しています。

サピア＝ウォーフの仮説とAIの思考

アレックス氏は、言語が思考を制限するという「サピア＝ウォーフの仮説」を引用し、この議論をAIに適用します。もしAIが英語を選んで出力するように学習していれば、その思考プロセスは「せいぜい500年程度の英語の歴史に縛られる」ことになり、それは決して長くはない歴史です。彼は具体例を挙げます。

中国語の時制: 中国語には、英語のような明確な時制の概念がない。
日本語や韓国語の社会的地位: 話す相手の社会的地位を認識しなければならない言語では、その文化的・社会的なニュアンスが思考や行動に影響を与える。
ドイツ語の語順: 動詞が最後に置かれるドイツ語のような言語では、文の最後まで何をしているか分からないため、自己回帰的な思考プロセスが形成される。

これらの例から、アレックス氏は「採用する言語が思考に影響を及ぼす」という結論を導き出します。もしAIが思考プロセスを英語で出力するなら、その推論は英語が解決できる範囲にバイアスがかかってしまう可能性があります。

自己回帰的推論と拡散モデル的推論

映画『メッセージ』のヘプタポッドの例は、この問題をさらに深く掘り下げます。彼らにとって時間は平坦であり、一気に文全体を思考し、出力します。これは、私たちが「自己回帰的」に（次々にトークンを予測して）話すのに対し、ヘプタポッドは「拡散モデル的」に（全体像を一度に生成する）話すことの最も近いアナロジーだとアレックス氏は指摘します。

私たちは自己回帰的に話しますが、もし拡散モデルのように話せたらどうなるでしょうか？全体的なアイデアが一度に現れるような思考は、全く異なる推論の連鎖を生み出す可能性があります。例えば、コードを書く場合、因果関係は通常不可欠ですが、関数型プログラミング言語の理論（純粋関数的で論理関係で構成され、常に真である関係をコードに変換するソルバーを抽象化する）を深く探求すれば、非自己回帰的なコード生成の可能性も見えてくるかもしれません。

モデルが「本来出力したい」言語とは？

アレックス氏は、「モデルが本来出力したい言語は何なのか」という興味深い問いを投げかけます。一部には「バイナリだ」と主張する意見（マーク・サラフィンやジェイソンなどの考え）もありますが、彼は「モデルの能力はある程度、私たちが何を学習させるかに依存する」という理由から、その考えには完全には納得していません。

しかし、英語やPython、JavaScriptよりも優れた出力形式がある可能性は十分にあります。もしかしたら、モデルはPTX（Parallel Thread Execution）のような、より低レベルで並列処理に適した言語を「思考」しているのかもしれません。あるいは、英語とPythonのミックスのような、人間には理解しにくいがAIにとっては効率的な「神経言語」が存在する可能性もあります。

このような議論は、AIが単なる人間の模倣に留まらず、私たちとは全く異なる、より効率的で強力な思考プロセスを持つ可能性を示唆しています。そして、その思考プロセスを、人間が理解できる言語に翻訳するハーネスやインターフェースの設計が、今後ますます重要になるでしょう。機械が人間には一生話すことのないような言語を話せるようになる未来は、決して遠くないのかもしれません。

未来への提言とMIT博士課程の挑戦

アレックス・チャン氏との対話は、RLMやエージェントスウォームといった具体的な技術論に留まらず、AI研究の哲学、アカデミアの役割、そして未来への個人的な展望にまで及びました。彼の思考の深さと広さは、現在のAI分野が直面する課題と可能性を浮き彫りにします。

「能力のオーバーハング」と継続学習の重要性

アレックス氏は、「能力のオーバーハング」という仮説を提示します。これは、AI開発を一時停止したとしても、現在のモデルの状態でもまだ多くのインパクトを生み出せるという考え方です。彼は、モデルがコーディングや数学において不釣り合いなほど優れた「デコボコした知能」を持っていると指摘します。国際数学オリンピックの金メダリストを連れてきて様々な問題解決の領域に当てはめれば解決策を見出すことができるように、AIモデルも同様にその能力を多くの分野に応用できるはずだと。

例えば、GPUプログラミングに関するデータをすべて取り除いたとしても、Astraと同等の能力があればGPUカーネルを最適化できるか？という問いです。つまり、学習に必要なことを文脈の中で大まかに学び、何らかのパイプラインを構築したり、最適化タスクを解決するためのソリューションを考え出したりできるか、という問題です。アレックス氏は、人間の知能とモデルの活用能力の間にはミスマッチがあり、実際には人間の方にもっと近づけることができると考えています。これは、まさに「継続学習（continual learning）」の問題であり、アレックス氏はこれこそが最適な例であると強調します。

アカデミアにおける「大きな賭け」の追求

アレックス氏自身も、博士課程という立場を最大限に活用し、GPUモードのフェーズ、RLMのフェーズを経て、さらに新たな「大きな賭け」に取り組む準備をしています。彼は、数学的な観点から物事を考えることを好み、ハーネスやエージェントに取り組むことは時に「居心地が悪い」と感じると語ります。なぜなら、ハーネスはどれも似ていて新しいアイデアが少ないと感じるからです。しかし、彼がこれらの問題に目を向ける理由は、「こここそが、私にとってまだイノベーションが起こっていない場所だと考えているから」です。GPUレベルの探求は、より大きな目標、すなわち「システム的な課題にボトルネックを感じることなく、他のアイデアを探求したい」という思いを実現するための手段に過ぎません。

彼は、博士課程の学生であることの贅沢の一つは、本当に多くの大きな賭けに出られることだと信じています。そのほとんどは何も生まないかもしれませんが、今こそ研究をする上で非常にエキサイティングな時期だと捉えています。特に、これまでのAI分野の進歩の多くが「少し退屈なもの」であったと感じているからです（成果が退屈なのではなく、それを実行するプロセスが退屈になりがち）。

科学分野が次のフロンティアか？

多くの人が物理科学や生物学、数学といった分野をAIの次のフロンティアと考えています。アレックス氏は、自身も博士課程を始める前に生物学関連のAI研究をしていた経験から、この分野が大きく変化していると見ています。エンジニアたちが「実はそこには解決可能な問題がある」と気づき始めたことで、「サイエンス・ポッド」のような取り組みも生まれています。

しかし、科学分野の応用には特有の難しさがあります。特に実証的あるいは応用科学は、フィードバックループが非常に長く、ある問題に多くの時間を費やしても、半年後には新しいモデルや解決策が出てきて「ああ、これの方がずっといいじゃないか」となるリスクがあります。ArcJ3のようなベンチマークが1年も経たずに飽和してしまったように、研究の陳腐化リスクを考慮し、物事がどこへ向かっているのかを常に意識する必要があります。

ナレッジワークやゲームといった分野はもはや飽和状態に近く、次の「低くぶら下がった果実」は科学分野にあるのかもしれません。アレックス氏は、MITの優秀な科学者たちと協力し、「あなたの問題を私が解決します」と語りかけることに、むしろ大きな意義を見出しています。それは、国際数学オリンピックの金メダリストが「IMOなんて行ったことがない」と語るように、専門分野の壁を越え、AIの能力を純粋に適用することの可能性を示唆しています。

協力者へのメッセージ

アレックス氏は、未来の研究仲間や協力者に向けて、明確なメッセージを送っています。彼は、特に誰かと一緒に取り組む必要性があるわけではないとしながらも、計算リソースを必要とする企業との連携や、他の人たちとの議論にはオープンです。

彼が本当に好きなのは「意見をはっきり持っている人」、たとえそれが自分の意見と食い違っていても構いません。もし強い意見を持ち、それがなぜ正しいのか、あるいは間違っているのかを筋道立てて考えられるのであれば、いつでも喜んで話したいし、一緒に何か取り組む可能性だってあると語ります。「優れたアイデアがうまく実行されて新しく登場した時、それはすぐに注目を集めますよね。最先端の研究者たちから注目されるのは、実はそれほど難しいことではありません。彼らは常にそういう人を探しているのですから。ただ、自分を売り込む必要があるだけですよね。」

アレックス氏の思考は、AIの無限の可能性と、その実現に向けた知的探求の喜び、そして時には伴う苦悩を私たちに示してくれます。博士課程の学生として、ランニング中やテニスをしている時など、仕事をしていないような時間にも問題について考え続け、確信を得た時に他の全てを放り出してその問題に没頭する。それが彼の研究スタイルであり、AIのフロンティアを切り拓く真のイノベーターの姿なのかもしれません。

結論：RLMが拓くAIの新たな地平

アレックス・チャン氏が提唱する「再帰的言語モデル（RLM）」は、単なる技術的な改良に留まらず、AIが複雑な問題を解決し、AGIへと進化していく上での根本的なパラダイムシフトを提示しています。現在のAIが抱える「高コスト」「非効率なコンテキスト管理」「タスク汎化の限界」といった課題に対し、RLMは「コードを介した構成可能性」「永続的なコンテキスト」「メタ戦略学習による驚異的な汎化能力」という明確な解決策を提供します。

GPUカーネル最適化の最前線から、ハーネス設計の再考、そしてエージェントスウォームの未来まで、アレックス氏の議論は多岐にわたります。彼のメッセージは、単に強力な大規模言語モデルを構築するだけでなく、そのモデルの能力を最大限に引き出すための賢明なシステム設計、特にハーネスの役割の再定義が不可欠であるという点に集約されます。

アカデミアは、産業界が目先の利益に囚われがちな中で、リスクを恐れずに「大きな賭け」に出て、分野の未来を形作る「物語」を提示する役割を担うべきです。RLM、Jev、ContinualHarnessといった革新的なアイデアは、そうした精神から生まれています。

また、言語が思考を制限するというサピア＝ウォーフの仮説をAIに適用し、モデルが人間とは異なる「本来出力したい言語」を持つ可能性に言及する彼の洞察は、AIの知能を深く理解し、その真の潜在能力を解放するための道筋を示しています。自己回帰的な推論だけでなく、拡散モデル的な、全体像を一度に把握するような思考プロセスを持つAIの姿は、私たちの想像力を掻き立てます。

AGIへの道は、単一の巨大モデルの開発だけでなく、効率的でインテリジェントなシステム設計、人間とAIの協調、そして絶え間ない探求によって拓かれるでしょう。アレックス・チャン氏のような、既存の枠にとらわれずに本質的な問いを追求する研究者たちの貢献が、AIの未来を形作っていくことは間違いありません。彼の提唱するRLMが、私たちをAGIの実現へと導く重要な突破口となることを期待します。