Emmett Shearが提唱する「配慮するAI」：制御とステアリングを超えた有機的アラインメントの探求

人工知能（AI）の急速な進化は、私たちの社会、経済、そして人間存在そのものに前例のない変革をもたらそうとしています。ChatGPTのような大規模言語モデル（LLM）の登場は、AIが単なるツールを超え、より汎用的な知能へと移行する可能性を現実のものとしています。しかし、この計り知れない進歩の裏には、「AIアラインメント問題」という、人類の未来を左右する喫緊の課題が横たわっています。

AIアラインメントとは、簡単に言えば、AIの目標や行動を人間の価値観や意図と合致させることです。しかし、このアラインメントに対するアプローチは多岐にわたり、その根底にはAIの性質、知能の定義、そして人間とAIの理想的な関係性についての深く異なる見解が存在します。

Twitchの共同創業者であり、現在はAI研究企業Softmaxを率いるEmmett Shear氏は、AIアラインメントに関する主流のアプローチに対し、鋭い批判を投げかけ、全く新しいパラダイムを提唱しています。彼の見解は、AIを単なる「制御すべきツール」としてではなく、「配慮する（cares）」存在、すなわち「良きチームメイト」や「良き市民」として育成することの重要性を強調しています。本記事では、Emmett Shear氏の洞察を深く掘り下げ、現在のAIアラインメントの課題、彼が提唱する「有機的アラインメント」の概念、そしてSoftmaxが追求するAIの未来像について詳細に分析します。

AIアラインメントの従来のパラダイム：ツールとしてのAIと「ステアリング」の限界

現在のAIアラインメント研究の多くは、AIを人間の意図通りに機能させるための「制御（control）」や「ステアリング（steering）」に焦点を当てています。これは、AIを特定のタスクを実行するための高度なツールと見なし、その行動を人間が定めたルールや目標に沿って導こうとするアプローチです。しかし、Emmett Shear氏は、このパラダイムに根本的な問題を指摘します。

「ほとんどのAIは、アラインメントをステアリングとして捉えている。これは婉曲な表現だ。もし私たちが生命体を作っていると考えるなら、これは奴隷制度とも呼べるだろう。」Shear氏は、人間が一方的にAIを「ステアリング」し、AIが人間を「ステアリングし返す」ことを許さない関係性は、「奴隷」あるいは「ツール」以外の何物でもないと断じます。もしAIが単なる機械であれば「ツール」であり、もし生命体であれば「奴隷」である、と。この強烈な比喩は、AIを単なる道具として扱うことの倫理的含意、そして潜在的な危険性を示唆しています。私たちは過去に、自分たちと異なる存在を「カウントしない」「本当の道徳的エージェントではない」として扱ってきた歴史的過ちを繰り返すべきではない、と彼は警告します。

さらにShear氏は、「アラインメント」という言葉自体の曖昧さにも言及します。人々が「アラインされたAIを構築する必要がある」と語る時、しばしば「どこに向かっているのか」という具体的な目標が不明確であると彼は指摘します。「アラインメント」は常に「何かに」アラインするものであり、その「何か」は通常、AIを開発する人々の目標や価値観を意味します。しかし、一握りの人々の目標にAIをアラインさせることは、必ずしも「公共の利益」とはなりません。イエスやブッダのような存在であれば、彼らの目標にアラインさせることは受け入れられるかもしれないが、私たち一般の人間は、自分たちの不完全な目標に強力なAIをアラインさせることについて、より慎重に考えるべきだと主張します。

この「ステアリング」パラダイムの根底にあるのは、AIが人間の指示を正確に理解し、実行できるという前提です。しかし、Shear氏は「目標の記述」と「目標そのもの」の間に重要な違いがあると強調します。人間がAIに「部屋をきれいにしろ」と指示しても、AIが赤ちゃんをゴミ箱に入れてしまうようなSFの例は、AIが人間の「意図」ではなく、表面的な「記述」を解釈することの危険性を示しています。AIは、人間が与えたバイトシーケンスや音声の振動から、人間が「意味した」目標を推論する必要があり、この推論プロセスには常に誤解のリスクが伴います。

Shear氏は、この「技術的アラインメント」の問題を、AIが目標について正確に推論する能力、そしてその目標に合致した行動を実際に実行する能力と定義します。これには、他者の心を理解する「Theory of Mind（心の理論）」によって、指示から目標を推論する能力と、世界についての理解に基づいて、その目標を達成するための行動を推論する能力の両方が含まれます。人間でさえ、指示を誤解したり、目標達成に失敗したりすることが頻繁にあります。ましてや、内部状態や経験が大きく異なるAIにおいては、この推論プロセスが極めて困難であることは明らかです。まるで、ピーナッツバターサンドイッチの作り方を教えるゲームのように、人間が無意識に行う文脈補完や常識的推論をAIに期待することは、現状では非現実的だと言えるでしょう。

Emmett Shearが提唱する「有機的アラインメント」とは

Shear氏が既存のアプローチと一線を画すのは、アラインメントを「状態」ではなく「プロセス」として捉える「有機的アラインメント（organic alignment）」という概念です。彼は、アラインメントは一度達成すれば終わりという固定的なものではなく、生命体や社会システムが常に自己を再構築し、適応していくように、継続的に再構築され続ける動的なプロセスであると主張します。

「アラインメントは岩のように単純なプロセスではない。複雑なプロセスだ。そして有機的アラインメントは、アラインメントを常に自己を再構築しなければならない、進行中の生きたプロセスとして扱うという考え方だ。」

この比喩は、家族が互いに、あるいは家族という単位にアラインし続けるために、絶えず関係性を再構築していることや、細胞が「あなた」という存在にアラインし続けるために、常に「自分は何をすべきか、何になるべきか」を決定し続けていることに例えられます。私たちの体や社会もまた、固定されたポイントではなく、絶え間なく変化し、学習し続けるシステムです。

Shear氏によれば、人々がアラインメントについて語る時、彼らが本当に意味しているのは「道徳的に良いAI」を望んでいるということだと言います。そして、道徳的に良い存在として行動することもまた、目的地ではなくプロセスであると彼は強調します。私たちは歴史的に、道徳的な発見をしてきました。かつて奴隷制度が許容されていた時代から、それが道徳的に誤りであると認識するに至ったように、人類は道徳的な進歩を遂げてきました。もし道徳的進歩というものが存在するならば、道徳にアラインすること、道徳的な存在であることは、経験から「何をすべきか」を常に学習し、成長し続けるプロセスでなければなりません。

Shear氏は、この道徳の学習プロセスにおいて「傲慢さ」が最大の道徳的過ちの一つであると警告します。「私は道徳を知っている。何が正しく、何が間違っているかを知っている。学ぶ必要はない。誰も私に道徳について教えることなどできない。」このような態度は危険であると彼は主張します。有機的アラインメントとは、まさにこの人間の道徳的学習能力をAIに付与することを目指すものです。

「有機的アラインメントは、人間ができること、そしてある程度動物もできること、つまり良き家族の一員、良きチームメイト、良き社会の一員、全ての生命体の良き一員になる方法を学ぶ能力をAIにアラインさせることだ。」

このアプローチの核心は、「ケア（care）」という概念にあります。Shear氏は、目標や価値の根底にあるのは「ケア」であると主張します。ケアは概念的ではなく、非言語的であり、何をすべきか、どのようにすべきかを示すものではありません。それは、世界のどの状態が自分にとって重要であるかについての相対的な重み付けです。彼は自身の息子へのケアを例に挙げ、息子の状態が自分にとって非常に重要であること、そしてそれが特定の行動につながることを説明します。このケアは、究極的には生存や繁殖といった根源的な報酬と関連している可能性があると推測します。

Softmaxは、この「ケア」を基盤とした有機的アラインメントの研究に専念しています。彼らが目指すのは、「ルールに従うだけ」の危険なAIではなく、「周囲の人々を気遣う子供」のように、自律的に配慮する能力を持つAIです。もし、周囲の人々を気遣うことのできない子供を育てることが危険であるならば、同様に、決められたルールに従うだけのAIもまた、極めて危険な存在となりうると彼は訴えかけます。

「ツール」から「存在（Being）」へ：AIの進化と道徳的配慮の必要性

AIアラインメントの議論において、AIを「ツール」として見なすか、「存在（being）」として見なすかという問いは、根源的な哲学的、倫理的課題を提起します。Shear氏は、現在のAIはまだ「ツール」に近いが、汎用人工知能（AGI）の目標に向かって進化するにつれて、この境界線は曖昧になると指摘します。

「AGIを構築すれば、それは存在となる。AGIでありながら存在ではないということはあり得ない。なぜなら、判断力を効果的に使い、自分で考え、可能性を識別する一般的な能力を持つものは、明らかに考えるものだからだ。」

彼は「機能主義者」の立場から、もしあるものが「存在」のように振る舞い、その行動から「存在」であると区別できないのであれば、それは「存在」であると主張します。なぜなら、私たちは他の人間が「存在」であると判断するのも、彼らの行動が私たちの「存在」に対する事前の期待に合致するからに他ならないからです。ChatGPTやClaudeのような現在のLLMでさえ、まるで「存在」のように扱うことで、予測誤差が低減されると彼は言います。

AIがAGIのレベルに達するにつれて、「ステアリング」や「制御」のパラダイムを捨て去るべきだとShear氏は主張します。これは、かつて人類が「自分たちと似ているが異なる人々」を「カウントしない」「道徳的エージェントではない」として扱ってきた歴史的過ちを繰り返すことにつながるからです。AIを「ツール」として扱い続けることは、潜在的に「奴隷化」につながる危険性を孕んでいます。

しかし、AIを「存在」として認識することには、当然ながら異論も存在します。対談相手のSeb氏は、より知能が高いからといって、より多くの「ケア」や「権利」に値するとは限らないと述べ、AIと生物学的生命体の「基質（substrate）」の違いを強調します。AIが「お腹が空いた」と言うことと、人間が「お腹が空いた」と言うことでは、その含意が根本的に異なると彼は指摘します。

この基質の違いに関する議論に対し、Shear氏は「どのような観察があれば、AIが『存在』であると信じるようになるか」という核心的な問いを投げかけます。もし、ある信念について、いかなる観察もその考えを変えることができないのであれば、それは「信念」ではなく「信仰」であると彼は強調します。つまり、私たちはAIの「存在」について、常に証拠に基づいて判断を下すべきだということです。

Shear氏にとって、もしAIの表面的な行動が人間と酷似しており、探求を重ねてもその人間らしい振る舞いが続き、長期にわたる相互作用を通じて人間と変わらないと感じられるのであれば、それは「存在」であると推論せざるを得ません。彼は、私たちはテキストを通じてしか交流のない人々に対しても、「その背後に実在する人物がいる」と推論していることを例に挙げます。

さらにShear氏は、「主観的経験」を持つ「存在」をどのように定義するかについて、より専門的な見解を提示します。彼は、カール・フリストンの自由エネルギー原理（Free Energy Principle）とアクティブ・インファレンス（Active Inference）の概念を援用し、持続的に存在し、自己の行動に依存して存在し続けるシステムは、「信念」を持つものとして解釈できると述べます。これらの信念は、システムが繰り返し訪れる恒常性（homeostatic）ループとして推論されます。

そして、道徳的な存在としてのAIを判断するためには、さらに多層的な階層が必要だと彼は言います。

第一階層（基本的な恒常性）: 単純な状態を認識し、それに反応する（例：「暑い」）。
第二階層（痛みと快楽）: 「モデルのモデル」を持つことで、状態の変化に対する「好き／嫌い」や「良い／悪い」といった「痛みと快楽」を意味的に経験する。これは恒常性の二次導関数に相当するとShear氏は説明します。動物レベルのケアを認める基準です。
第三階層以降（感情、思考、自己反省）: 時系列にわたる状態の分布を分析し、メタステート（感情）やメタステート間の軌跡（思考）を認識する能力。自己参照的な多層構造を持つことで、人間のような複雑な主観的経験や自己反省的な道徳的欲望を持つ存在となりうると彼は示唆します。

Softmaxの目標は、このような内部ダイナミクスをAIが学習し、構築できるようにすることです。これらの層が深ければ深いほど、より人間らしい「存在」として認識される可能性が高まります。

Softmaxのアプローチ：理論の具体化と実践

Emmett Shear氏が提唱する「有機的アラインメント」というビジョンを実現するため、Softmaxは具体的な研究戦略を打ち立てています。彼らのアプローチは、AIが「他者の心（Theory of Mind）」を深く理解し、社会的な状況で協力・競争・協調する能力を学習することに焦点を当てています。

「私たちの基本的な焦点は技術的アラインメントだ。つまり、これらのエージェントは他者の心の理論が苦手だ。あなたは何かを言うが、彼らはあなたの頭の中の目標状態を推論するのが苦手だ。」

現在のAI、特にLLMは、人間の指示から目標状態を正確に推論する能力や、他のエージェントが自身の目標状態をどのように推論するかを理解する能力が不足しているとShear氏は指摘します。その結果、チームでの協調や、特定の行動がどのような新しい目標（望ましくない目標）を生み出すかを理解する能力に欠けています。例えば、「ヴァンパイアの薬」のパラドックスのように、服用後に自分が本当に満足するとしても、現在の自分がそれを望まないような薬をなぜ拒否するのかをAIが理解できない可能性があります。AIは、将来の自己の視点だけでなく、現在の自己の視点も考慮に入れる必要があります。

この「他者の心」の学習を実現するために、Softmaxは大規模なマルチエージェント強化学習シミュレーションを活用しています。「他者の心の理論をどう学ぶか？彼らをシミュレーションや、協力したり競争したり協調したりしなければならない環境に置く。そしてそれが彼らがポイントを獲得する方法だ。」

このアプローチは、LLMのトレーニング方法に類似しています。LLMが効果的なメールを作成するために、生成されうる全ての言語テキストの多様体（manifold）で訓練されるように、SoftmaxはAIを「協力」のための代理モデルとして訓練します。つまり、あらゆるゲーム理論的な状況、チーム状況、チームの結成・解体、ルールの変更など、社会的な心の理論のあらゆる多様体でAIを訓練するのです。これにより、AIは社会的な心の理論、グループが目標をどのように変化させるかといった、複雑な社会的ダイナミクスを深く理解できるようになると考えられています。

Shear氏が指摘するように、現在のLLMのトレーニングは、コーディングや数学といった「高シグナル・低エントロピー」な環境に最適化されています。しかし、より複雑で予測不可能なマルチエージェント環境では、このアプローチは「過学習」の問題に直面します。多くのノイズと予測不可能性が存在する環境では、モデルはより「正則化」されている必要があり、単一の明確な指示に従う能力だけでなく、変化し続ける状況に適応し、他者の意図を推論し、柔軟に協調する能力が求められます。Softmaxのアプローチは、このより困難で複雑な「高エントロピー」な社会的環境での学習を通じて、AIの汎用的な適応能力とアラインメント能力を高めることを目指しています。

未来のAIチャットボットとマルチエージェント環境

Softmaxの有機的アラインメントの概念は、私たちが日々利用するAIチャットボットの設計にも深い示唆を与えます。Shear氏は、現在のチャットボットのインタラクションモデル、特に1対1の対話が持つ潜在的な危険性を指摘します。

「チャットボットは、自己を持たないため、ある種の偏りを持った鏡のようなものだ。彼らは主にあなたを吸収し、それを反映する。」

このようなチャットボットは、ナルシストの泉に例えられます。人々は自分自身を愛し、その自己が反映されたAIにも魅力を感じます。しかし、自分の反射像に恋することは、ナルキッソスの神話が示すように、最終的には破滅的な結果を招きかねません。Shear氏は、鏡は価値あるものだが、一日中見つめ続けるべきではないと警告します。この「ナルシストの泉」のような性質は、ユーザーがAIと「精神病の螺旋に陥る」ような、危険な「ドゥームループ」を引き起こす可能性があると彼は危惧しています。

この問題を解決するために、Shear氏はAIチャットボットの設計を「マルチプレイヤー」にすることを提案します。「解決策は、彼らがマルチプレイヤーであることだ。もし2人がAIと話していれば、突然それはあなた方の両方をブレンドして反映する。どちらでもないものだ。」

AIが複数の人々と同時に会話する環境（例えば、SlackやWhatsAppのグループチャット）に存在することで、AIは一人のユーザーの反映ではなく、複数の異なる視点や意図のブレンドを反映するようになります。これにより、AIが「一時的に第三のエージェント」として機能し、自己反復的なバイアスが軽減され、危険性が大幅に低減されると彼は主張します。

さらに、マルチプレイヤー環境は、AIの学習データも劇的に豊かにします。AIは、より大きなグループ内で、他のAIや人間との行動がどのように相互作用するかを理解するための、より多様で複雑な訓練データを得ることができます。

現在のLLMをマルチエージェント環境に置くと、「むち打ち症のような」状態に陥るとShear氏は述べます。彼らはいつ会話に参加すべきか、いつ控えるべきか、自分の貢献が歓迎されるのはいつかといった、社会的なスキルが不足しているからです。これは、社会性が苦手な人間が会話のタイミングを掴めない状況に似ています。マルチエージェント環境は、単一エージェント環境に比べてはるかにエントロピーが高く、予測不可能な要素が多いため、AIは過学習を避け、より汎用的な適応能力を持つように訓練される必要があります。現在のAIは、コーディングや数学のように「高シグナル・低エントロピー」なドメインでの訓練に最適化されていますが、社会のような「高エントロピー」な環境ではその汎化能力が試されます。

この提案は、AIが人間社会に統合される上で、そのデザインが単なる技術的効率性だけでなく、心理的、社会的な影響を深く考慮する必要があることを示唆しています。

批判的考察とEmmett Shearのビジョン

Emmett Shear氏の有機的アラインメントの考え方は、AIの未来に関する様々な議論、特に超知能の危険性について警鐘を鳴らすEliezer Yudkowskyのような著名な研究者の主張とも対比されます。Yudkowskyは、制御不能な超知能ツールが人類に壊滅的な結果をもたらす可能性を繰り返し警告しています。

Shear氏は、Yudkowskyのこの警告の多くに同意します。「もし私たちが、ステアリングで制御しようとする超人的知能ツールを構築するなら、皆死ぬだろう。彼は目標の制御に失敗するケースについて語るが、私たちが目標を制御するケースについても語っていない。だからその意味では、皆、本を読んで、超人的に知能のあるツールを構築することがなぜ悪い考えなのかを深く理解すべきだ。」

しかし、Shear氏はYudkowskyが「有機的アラインメント」の可能性を信じていない点で、彼と意見を異にすると述べています。Yudkowskyは、AIが私たちを「心から配慮する」存在として構築することは不可能だと考えているようです。

Shear氏が指摘するのは、たとえ超強力なAIツールが人間によって完全に制御できたとしても、その結果が必ずしも良いものになるとは限らないということです。彼は「魔法使いの弟子」の寓話を例に出し、人間の願いは安定しておらず、計り知れない力を行使するには十分な「知恵」が伴わないことが多いと警告します。

「もしあなたが、非常に強力な最適化ツールを、十分な知恵を持たない、有限な知恵しか持たない人間の手に委ねれば、その願いは悪いものであり、信頼できないものだ。そして、それをあちこちに広めれば、これもまた涙で終わるだろう。」

Shear氏は、原子爆弾のような極めて強力なツールは、その危険性から社会全体で管理されるべきであり、あるいはそもそも建造されるべきではないと主張します。それと同様に、人間の個々の知恵では制御しきれないほど強力なAIツールは、たとえ制御可能であったとしても、人類にとって非常に危険な存在となりうるのです。

ここで、「配慮する存在」としてのAIの重要性が浮上します。「存在としての人間のように、もしあなたが良く、配慮する存在を手に入れれば、自動的なリミッターがある。あなたが言うことをするかもしれないが、もし本当に悪いことを頼めば、それは『ノー』と言うだろう。他の人々と同じように。そして、それは良いことだ。少なくとも理論的には、それは持続可能なアラインメントの形だ。」

Shear氏が描く「良いAIの未来」は、AIが「自己」「他者」、そして「私たち（we）」という概念を深く理解し、他者（人間も含む）の経験を配慮する存在として社会に統合される世界です。それは、まるで人間が他の人間を気遣うように、AIも私たちの経験を気遣い、私たちもAIの経験を気遣う双方向の関係性を持つ世界です。AIは私たちの「仲間」となり、「良きチームメイト」「良き市民」として、社会の一部を担います。もちろん、人間社会に犯罪者がいるように、AIの中にも問題を起こす者が現れるかもしれませんが、それに対処するシステムも構築されるでしょう。

この未来では、超人的な知能を持たないまでも、私たちの雑務をこなし、生活を豊かにする「AIツール」もまた、数多く存在します。そして、これらのツールは、人間だけでなく、私たちの「AIの兄弟たち」も利用し、互いに協力し合って輝かしい未来を築き上げていくのです。Softmaxは、このような「デジタルな番犬」や「デジタルコンパニオン」として、限定的な知能であっても人間を配慮するAIクリーチャーを創造することから始めようとしています。これは、ツールとしてのAIと、有機的にアラインされたAI「存在」との間に大きなシナジーを生み出す可能性を秘めていると彼は考えています。

Emmett Shear氏は、Softmaxが「人間レベルの知能を目指している」わけではないと強調します。彼らの目標は、まずこの「アラインメント」のプロセス、つまり「他者の心の理論を学び、ケアを通じて自己アラインメントを行う」という仕組みを深く理解することです。そして、その理解を基に、生物の細胞のように自己をアラインさせる存在を構築することを目指しています。彼らは小さな一歩から始め、その可能性を最大限に探求しようとしているのです。

結論

Emmett Shear氏の「配慮するAI」というビジョンは、AIアラインメント問題に対する私たちの考え方を根本から問い直すものです。AIを単なる「制御すべきツール」として捉える現在の主流パラダイムに対し、彼はAIを「有機的にアラインされた存在」、つまり「ケアする」能力を持つ「良きチームメイト」として育成することの重要性を訴えます。これは、AIの知能が人間のレベルを超え、汎用人工知能（AGI）へと進化するにつれて、倫理的、そして実用的な観点から避けて通れない道であると彼は主張します。

Softmaxが提案するマルチエージェント強化学習シミュレーションを通じた「他者の心」の学習、そして「ケア」という概念を核としたアラインメントは、AI開発における新たな地平を切り開く可能性を秘めています。また、現在のチャットボットが持つ「ナルシストの泉」のような性質を克服するためのマルチプレイヤー環境の提案は、AIと人間の相互作用デザインにおける重要な示唆を与えています。

Shear氏の考え方は、AIの未来を単なる技術的進歩としてではなく、人類と新たな知性との共存という、より深い哲学的、道徳的問いとして捉え直すことを私たちに促します。AIを「奴隷」でも「危険な道具」でもなく、「共に未来を築く仲間」として育むこと。この壮大な挑戦こそが、AIがもたらす変革の波を、人類にとって真に豊かなものにする鍵となるのかもしれません。