Netflixの「ビッグベット」：レコメンデーションを統べる唯一のモデルへの挑戦

Netflixは私たちのエンターテイメント体験を根本から変え、次に何を見たいかを提案するパーソナライゼーションの旗手として君臨してきました。しかし、その裏側では、ユーザーに最適なコンテンツを届けるための推薦システムが絶えず進化し、複雑さを増しています。今回、AI Engineer World's Fairにて、NetflixのYesu Feng氏が「One Model to Rule Recommendations: Netflix's Big Bet」と題した講演を行い、同社がパーソナライゼーションの未来をどのように構想しているか、その詳細を明らかにしました。これは単なる技術的な進歩ではなく、Netflixが抱える長年の課題に対する大胆な「ビッグベット」、すなわち「たった1つのファウンデーションモデルで全ての推薦を支配する」という野心的な挑戦なのです。

Netflixレコメンデーションシステムの複雑な舞台裏

Netflixのホーム画面を開くと、映画、TV番組、ドキュメンタリー、そして最近ではゲームに至るまで、多種多様なコンテンツが並んでいます。ユーザー一人ひとりの好みに合わせて最適化されたこの画面は、一見するとシンプルに見えますが、その裏には極めて複雑なレコメンデーションシステムが稼働しています。

多次元のパーソナライゼーション Netflixのレコメンデーションは、単に個々の作品を推薦するだけではありません。まず、画面全体のレイアウト自体がパーソナライズされています。水平方向に並ぶ「行」は、コメディ、アクション、新着、Netflixオリジナルといったジャンルやテーマで構成されており、これらの「行」が垂直方向に並べられます。この「行のランキング」と、各行内の「アイテム（作品）のランキング」という2つの次元で、ユーザーに最適な配置が決定されます。

コンテンツの多様化 かつては映画とTV番組が中心でしたが、Netflixはゲームやライブストリーミングといった新たなエンティティにも進出しています。これは推薦の対象となるコンテンツの種類が爆発的に増加し、かつその性質が大きく異なることを意味します。映画とゲームではユーザーのインタラクションパターンが全く異なり、それぞれのコンテンツタイプに適した推薦ロジックが求められます。

ユーザー体験の多様性 Netflixのユーザーがコンテンツにアクセスする経路も多岐にわたります。最も一般的な「ホームページ」だけでなく、子供向けの「キッズページ」、モバイルデバイスに特化した線形な「モバイルフィード」、能動的にコンテンツを探すための「検索ページ」など、それぞれのページやデバイスの特性に応じた推薦が必要です。例えば、モバイルフィードではスクロールのしやすさや短い視聴時間のコンテンツが優先されるなど、表示形式や文脈が大きく影響します。

このような多様性は、ユーザーエンゲージメントを高める上で不可欠ですが、同時に推薦システムの開発と運用に大きな課題を突きつけていました。

従来のレコメンデーションモデルが抱える壁

これまでのNetflixの推薦システムは、上記のような多様なニーズに対応するために、個別の専門モデルを構築するというアプローチを採ってきました。

モデルの乱立とサイロ化 例えば、「精度を重視するモデル」「網羅性（リコール）を重視するモデル」「アイテムをランキングするモデル」「行をランキングするモデル」「連続視聴を予測するシーケンシャルモデル」「共同フィルタリングモデル」「コンテンツベースモデル」「複数のモデルを組み合わせるアンサンブルモデル」など、用途や目的ごとに多数のモデルが開発されてきました。さらに、単一の目的を最適化するモデルもあれば、複数の目的を考慮するモデル、明示的なユーザーシグナル（高評価など）に焦点を当てるモデル、暗黙的なシグナル（視聴時間など）を重視するモデルなど、そのアプローチも様々でした。これらのモデルは、多くの場合、独立して開発・運用されてきたため、知識やリソースのサイロ化が進んでいました。

非効率な特徴エンジニアリング 複数のモデルが乱立すると、必然的にデータ準備や特徴エンジニアリングに重複が生じます。例えば、ユーザーのインタラクション履歴（再生、高評価、リスト追加など）から派生する特徴量は、どのモデルでも共通して利用される基盤情報ですが、それぞれのモデル向けに個別に設計・抽出されることが多々ありました。特定のアクションのカウント、特定の期間内のアクションの集計、インタラクトしたタイトルとターゲットタイトルの類似性、ユニークなタイトルIDのシーケンスなど、類似の機能がモデルごとに微調整され、重複した開発作業が発生していました。これは、リソースの無駄であるだけでなく、システムの保守性を著しく低下させ、複雑性を増大させる原因となっていました。

スケーラビリティとイノベーションの限界 コンテンツの種類やビジネスユースケースが拡大し続ける中で、個別のモデルを開発し続けるアプローチでは、以下のような限界に直面していました。

スケーラビリティの欠如: 特定のアーキテクチャ、データ、特徴量の決定に縛られるため、新しいコンテンツタイプやビジネス要件に対応するために、一からモデルを構築する必要が生じ、スケーラブルではありませんでした。
高いレバレッジの欠如: モデル間で学習された知識や表現を再利用・転用することが困難であったため、あるモデルで得られた知見を他のモデルに効率的に適用することができませんでした。
イノベーション速度の遅延: 各アプリケーションやユースケースが独立してモデルを開発するため、新しいアイデアを試したり、改善を加えたりするのに時間がかかり、イノベーションのサイクルが遅くなっていました。

これらの課題は、Netflixがユーザー体験をさらに向上させ、成長し続ける上で看過できないものでした。そこでNetflixが着目したのが、近年のAI分野で目覚ましい発展を遂げている「ファウンデーションモデル」のアプローチでした。

ファウンデーションモデルがもたらす変革のビジョン

「ユーザー表現の学習を一箇所に集約できるか？」──これがNetflixが自らに問いかけた「ビッグベット」の核心でした。Yesu Feng氏は、この問いに対して「はい」と断言しました。その背景には、ファウンデーションモデルが持つ2つの主要な仮説があります。

LLMのスケーリング法則がレコメンデーションにも適用 第一の仮説は、「スケールアップした半教師あり学習を通じて、パーソナライゼーションは改善できる。LLM（大規模言語モデル）に適用されるスケーリング法則はレコメンデーションシステムにも適用される」というものです。LLM分野では、モデルのパラメータ数、データ量、計算量を増やすことで、性能が予測可能に向上するという「スケーリング法則」が発見されています。Netflixは、この法則がユーザーのインタラクション履歴から学習する推薦システムにも当てはまるのではないかと考えました。つまり、より大規模なモデルを、より大量のデータで学習させることで、より高品質なユーザー表現を獲得し、パーソナライゼーション性能を飛躍的に向上させられるという期待です。

高いレバレッジの実現 第二の仮説は、「ファウンデーションモデルを全てのシステムに統合することで、高いレバレッジを生み出し、全てのアルゴリズムを同時に改善できる」というものです。従来のサイロ化されたモデル群では、それぞれが独自のユーザー表現やコンテンツ表現を学習していました。しかし、もし共通のファウンデーションモデルが、あらゆるダウンストリームタスクで活用できる汎用性の高いユーザー・コンテンツ表現を学習できれば、個別のアプリケーションモデルは、そのファウンデーションモデルの出力を活用する「薄い層」として機能できるようになります。これにより、開発効率が向上し、一つのモデルの改善が全ての推薦アルゴリズムに波及するという、極めて高いレバレッジが実現されることになります。

このビジョンの実現に向けて、Netflixはファウンデーションモデルの構築に着手しました。

Netflixファウンデーションモデルの深掘り: データとアーキテクチャ

Netflixが開発するファウンデーションモデルは、Transformerアーキテクチャをベースにしており、特に「ユーザーインタラクション履歴のトークン化」「イベント表現の設計」「エンティティ表現の統合」「学習目的の多角化」に独自の工夫が凝らされています。

ユーザーインタラクションの「トークン化」 大規模言語モデル（LLM）では、テキストを単語やサブワードの「トークン」に分解し、それぞれを単一のIDで表現します。しかし、Netflixのユーザーインタラクション履歴は、単なるIDの羅列ではありません。各インタラクションイベントは、単一のIDではなく、多くの多面的な情報を含んでいます。例えば、ユーザーが動画を再生した場合、そのイベントには「いつ（再生された時間）」「どこで（どのデバイス、どの地域、どのUIページで）」「何を（どの動画を、どれくらいの期間、どのようなアクションで）」といった豊富な情報が含まれます。

このため、Netflixのファウンデーションモデルでは、この多面的なイベント情報を適切に「トークン化」するプロセスが非常に重要になります。イベントの種類、コンテンツのメタデータ（ジャンル、言語など）、インタラクションの期間、使用されたデバイスなど、イベントに付随するあらゆる情報が、ユーザーの行動パターンを理解するための重要な手がかりとなります。トークン化の粒度やコンテキストウィンドウの長さのトレードオフを慎重に検討し、最適な抽象化レベルとインターフェースを設計することで、モデルの品質が大きく左右されます。

イベント表現の設計 トークン化されたイベントデータは、以下の3つの主要な側面を捉えるように設計されています。

When（時間エンコーディング）: イベントがいつ発生したかという時間情報。ユーザーの行動は時間と共に変化するため、この情報はシーケンスのパターンを学習する上で不可欠です。
Where（場所エンコーディング）: イベントが発生した物理的な場所（地域）、使用されたデバイス、そしてNetflixアプリ内のどの「キャンバス」（例：ホームページ、検索ページ、特定のジャンル行など）で発生したかという情報。デバイスやUIの文脈によってユーザーの意図が異なる可能性があるため、重要な要素です。
What（対象エンコーディング）: ユーザーがインタラクトした対象（タイトルやエンティティ）と、そのインタラクションの性質。これは、動画のIDだけでなく、その動画のジャンル、長さ、言語などのメタデータ、そしてインタラクションの種類（再生、サムズアップ、スキップ、リスト追加など）、さらにインタラクションの期間（視聴時間）といった詳細な情報を含みます。

これらの情報を組み合わせて、各インタラクションイベントをリッチなベクトル表現（イベント埋め込み）に変換します。

エンティティ表現の統合 埋め込み/特徴変換層では、イベント埋め込みがさらに処理されます。特に重要なのが、エンティティ（動画、ゲームなど）の表現方法です。レコメンデーションシステムでは、モデルが学習中に遭遇しなかった新しいコンテンツ（コールドスタートアイテム）に対する推薦が課題となります。これを解決するために、Netflixのファウンデーションモデルでは、単にコンテンツIDの埋め込みを学習するだけでなく、そのコンテンツのメタデータやセマンティックな情報（ジャンル、キャスト、キーワードなど）から得られる埋め込みを組み合わせるアプローチを採用しています。これにより、モデルは見たことのないコンテンツに対しても、そのセマンティックな類似性に基づいて適切な推薦を行うことができるようになります。

Transformerベースのモデルアーキテクチャ イベント表現とエンティティ表現が構築された後、データはTransformer Attention層に入力されます。Transformerは、シーケンスデータ内の長期的な依存関係を捉えるのに非常に強力なアーキテクチャであり、ユーザーの過去の行動履歴から現在の好みや将来の行動を予測するために活用されます。

このTransformer Attention層の最終的な隠れ状態出力は、ユーザーの長期的な嗜好を捉えた「ユーザー表現」として機能します。これはファウンデーションモデルの主要な目標の一つであり、Netflixは「より良く、より安定したユーザー表現」を学習することを目指しています。このユーザー表現の「安定性」（ユーザーの行動履歴が変化しても、その本質的な嗜好を捉え続ける能力）や、「アグリゲーション」（異なる時間スケールや異なるTransformer層からの情報をどのように集約するか）が、モデルの性能を左右する重要な考慮事項となります。

学習目的の多角化 モデルの学習段階では、単一の目的（例えば、次にユーザーが再生する動画の予測）だけでなく、複数の学習目的（Learning Objectives）を組み合わせることで、よりリッチで汎用性の高い表現を学習します。

主目的（Main Objective）: メインとなるエンティティIDの予測。これは、LLMにおける次トークン予測に似ており、ユーザーの次の行動を予測する中心的なタスクです。
補助目的（Auxiliary Objectives）: これに加えて、以下の多様な情報を予測する補助的なタスクが設定されます。
- アクションタイプ（次にどのようなインタラクションを行うか）
- エンティティのメタデータ（予測されるコンテンツのジャンル、言語など）
- 期間（次に再生するコンテンツの視聴期間、次のアクションまでの時間）
- デバイス（次にどのデバイスでアクションを行うか）
- 時間（次のユーザー行動が発生する時刻）
- 報酬、重み、マスクといった学習をガイドする信号

これらの目的を多角的に学習することで、モデルはユーザー行動の多様な側面を捉え、特定のタスクに特化しすぎることなく、汎用性の高いユーザー・コンテンツ表現を構築することができます。これは、いわばモデルがユーザーの「全体像」を理解しようとする試みであり、マルチタスク学習や階層的な予測として問題が定式化されます。

スケーリング法則の実証とLLMからの応用

Netflixのファウンデーションモデルへの「ビッグベット」は、単なる概念的なものではなく、具体的なデータと実験によって裏付けられています。

モデル規模と性能向上の相関 Netflixは、過去2年半にわたり、モデルのパラメータサイズを数百万から10億のオーダーまでスケールアップしてきました。その結果、モデルのパラメータサイズが大きくなるにつれて、レコメンデーションの性能（相対的な改善率）も一貫して向上するという「スケーリング法則」が確認されました。この線形的な関係は、LLM分野で観察されている現象と類似しており、より大規模なモデルがより優れたパーソナライゼーションを実現するというNetflixの仮説を裏付けています。

ただし、レコメンデーションシステムは、LLMとは異なり、オンラインでリアルタイムに推薦を生成する必要があるため、厳しいレイテンシー（応答速度）の要件があります。モデルを単純に大きくするだけではレイテンシーが増大するため、Netflixはスケールアップとモデル蒸留（より小さなモデルに知識を転移させる手法）のバランスを取りながら開発を進めています。それでもなお、スケーリング法則はまだ終焉を迎えておらず、さらなる性能向上の余地があると考えられています。

LLMの知見をレコメンデーションへ応用 Netflixは、LLMのトレーニングから得られた貴重な学習を、ファウンデーションモデルに応用することで、レコメンデーションシステムの性能と堅牢性を向上させています。

マルチトークン予測: LLMが次に来る単語を予測するように、ファウンデーションモデルでは、単一の行動だけでなく、ユーザーの複数の次の行動や行動の側面（例：次の視聴作品のジャンル、長さ、デバイスなど）を同時に予測します。これにより、モデルは個々の瞬間的な行動だけでなく、より長期的なユーザーの満足度や行動パターンを捉えるように促されます。結果として、モデルは短絡的な推薦（近視眼性）に陥りにくくなり、トレーニング時とサービング時のデータ分布のずれ（時間シフト）に対してもより堅牢になります。NetflixのABテストでは、このアプローチにより顕著なメトリック改善が確認されています。
多層表現 (Multi-layer Representation): Transformerモデルは複数の層で構成されており、各層が異なるレベルの抽象度で情報を処理します。Netflixは、LLMから着想を得て、層ごとの教師あり学習（各層の出力に対しても補助的な損失を設定する）、自己蒸留（より深い層の知識を浅い層に転移させる）、多層出力アグリゲーション（複数の層の出力を組み合わせて最終的な表現を生成する）といった技術を導入しています。これにより、モデルはより豊富で、かつ「安定した」ユーザー表現を学習できるようになります。これは、ユーザーの嗜好が時間とともに変化しても、その本質的な特徴を捉え続けられる表現を獲得することを目指します。
長いコンテキストウィンドウのハンドリング: ユーザーの行動履歴は非常に長く、その全てを一度にモデルに入力することは計算コストの観点から困難です。LLMの分野で開発された「長いコンテキストウィンドウ」を効率的に処理する技術（例：固定長のシーケンスで区切る「切り捨て」や「スライディングウィンドウ」、関連性の高い部分にのみ注意を向ける「スパースアテンション」、徐々に長いシーケンスを学習させる「プログレッシブトレーニング」、シーケンスやコンテキストの並列処理）を導入することで、Netflixはモデルがより広範なユーザー履歴から学習し、かつトレーニングを効率的に行えるようにしています。これにより、ユーザーの長期的な行動パターンや文脈を最大限に活用し、学習効果を最大化することが可能になります。

これらの技術革新は、Netflixのファウンデーションモデルが単なる理論に留まらず、実際のユーザー体験を向上させる強力なツールであることを示しています。

ファウンデーションモデルの導入とビジネスへの影響

Netflixのファウンデーションモデルは、レコメンデーションシステムのアーキテクチャを根本から変革し、ビジネスに多大な好影響をもたらしています。

アルゴリズムスタックの再構築 従来のNetflixのアルゴリズムスタックでは、多数のデータソースと特徴量ストアが、それぞれ独立して開発されたアプリケーションモデルに供給されていました。個々のアプリケーションモデルが、それぞれの推薦タスク（例：ホームページの特定の行、検索結果、モバイルフィードなど）のために、ユーザーとコンテンツの表現を学習していました。

しかし、ファウンデーションモデルの導入により、この構造は劇的に簡素化され、効率化されました。

データ層の統合: ユーザーのインタラクション履歴やコンテンツデータは、中央のファウンデーションモデルに集約されます。ファウンデーションモデルが、これらのデータから汎用性の高いユーザー表現とコンテンツ表現を学習する中心的な役割を担います。
アプリケーションモデルの軽量化: 各アプリケーションモデルは、ファウンデーションモデルが学習した表現（埋め込み）を再利用し、その上にファインチューニングされた「薄い層」として構築されます。これにより、個々のモデル開発にかかる労力が大幅に削減され、より迅速なデプロイが可能になります。

高レバレッジなサービングパターン ファウンデーションモデルは、ダウンストリームのアプリケーションやモデルが多様な方法で利用できるよう、高いレバレッジを持つサービングパターンを提供します。

ダウンストリームモデル内のサブグラフ: ファウンデーションモデルの一部（例えば、ユーザーのプロファイル埋め込み層までのネットワーク）を、ダウンストリームのアプリケーションモデル内に直接サブグラフとして統合します。これにより、アプリケーションモデルはFMの強力な表現学習能力を継承しつつ、特定のタスクに特化した追加学習を行うことができます。
メンバーとエンティティの埋め込み: ファウンデーションモデルが学習したエンティティ（動画、ゲームなど）の埋め込みと、メンバー（ユーザー）の埋め込みは、推論インフラを通じて中央の埋め込みストアにプッシュされます。これにより、様々なアプリケーションやモデル、さらにはアナリストやデータサイエンティストが、これらの高品質な埋め込みを直接参照・利用できるようになります。ここで重要なのは、メンバー埋め込みをどの程度の頻度で更新し、その安定性をどのように保証するかという点です。
予測モデルとしてのファインチューニングされたFM: ファウンデーションモデル全体、またはその大部分を、特定のアプリケーションの予測モデルとして直接利用します。これは、アプリケーション固有のデータを用いてFMをファインチューニングするか、あるいはより軽量なモデルにFMの知識を蒸留（ディスティレーション）することで実現されます。特に厳しいレイテンシー要件がある場合、蒸留は有効な手段となります。

具体的な成果 Netflixは、ファウンデーションモデルの導入後、過去1年半で目覚ましい成果を上げています。FMを組み込んだアプリケーションの数（青いバー）と、それらのアプリケーションにおけるABテストの勝利数（緑のバー）は、着実に増加しています。

「検索」のような基盤的な機能から、「ホームページのビデオランク」「ホームページの構築」といったコアな推薦機能、さらには「メッセージング」「エビデンス（視聴継続を促す表示）」、そして「新しいキャンバス（新UIや新デバイス向けの表示）」に至るまで、多様なユースケースでFMが導入され、ポジティブな効果が確認されています。
ABテストでの勝利は、FMがユーザーエンゲージメントや満足度の向上に直接貢献していることを示しています。これは、単なるオフラインの評価指標の改善に留まらない、実ビジネスへの明確な影響です。
さらに、FMはインフラの統合にも貢献し、新しいアプリケーションの立ち上げをより迅速かつ容易にしています。

これらの成果は、Netflixの「ビッグベット」が単なる願望ではなく、具体的な戦略と実行力によって検証された成功であることを明確に示しています。

Netflixの未来を拓く現在の方向性

Netflixはファウンデーションモデルの可能性を最大限に引き出すため、現在も活発な研究開発を続けています。

異種エンティティのためのユニバーサル表現の追求 映画、TV番組、ゲーム、ライブストリーミングといった、それぞれ異なる特性を持つコンテンツタイプが増加する中で、これらの異種エンティティ全てを統一的に表現できる「ユニバーサル表現」の構築を目指しています。これにより、Netflixのプラットフォーム上のあらゆるコンテンツに対するユーザーの好みを、より深く、一貫して理解できるようになります。セマンティックなID学習とコンテンツメタデータの活用がその鍵を握っています。

生成型検索によるエンティティコレクションの推薦 従来の推薦システムは、個々のエンティティ（例：一本の映画）を推薦することが中心でした。しかし、Netflixはより能動的に、複数のエンティティからなる「コレクション」（例：特定のテーマの映画リスト、関連性の高いゲームのバンドル、特定の行全体）を生成し、推薦する「生成型検索」へと移行しようとしています。これは、多段階のデコーディングプロセスを通じて、ビジネスルールや多様性といった複雑な制約を自然に組み込みながら、ページ全体のレイアウトやコンテンツの組み合わせを最適化することを目指します。

プロンプトチューニングによる迅速なモデル適応 大規模なファウンデーションモデルを新しいタスクやアプリケーションに適用する際、完全なファインチューニングは計算コストが高く、時間がかかります。LLM分野で注目される「プロンプトチューニング」の概念をレコメンデーションに応用し、ファインチューニングなしで、あるいは最小限の調整でモデルを適応させる手法を模索しています。例えば、「ソフトトークン」と呼ばれる学習可能な少数の特殊なトークンをモデルの入力に加えることで、ファウンデーションモデルの振る舞いを異なるタスクや文脈に合わせて「プロンプト」し、迅速に展開することを可能にします。これにより、イノベーションの速度をさらに加速させることが期待されます。

まとめ: レコメンデーションの未来を再定義するNetflix

Netflixの「One Model to Rule Recommendations」という「ビッグベット」は、推薦システムの複雑化という課題に対し、ファウンデーションモデルという最新のAI技術で応える壮大な挑戦です。この取り組みは、以下の重要な側面で成功を収めています。

スケーラビリティの確保: 大規模なトレーニングデータとモデルパラメータの活用により、性能が向上し続けるスケーラブルなソリューションを確立しました。
高いレバレッジの実現: ユーザーとコンテンツの表現学習を一元化し、それを多様なダウンストリームアプリケーションで再利用することで、開発効率と推薦品質を同時に向上させる高レバレッジなアプローチを確立しました。
イノベーション速度の加速: ファウンデーションモデルのファインチューニングやプロンプトチューニングを通じて、新しいアプリケーションや推薦体験を迅速に市場投入できる体制を整えました。

このNetflixの挑戦は、単に同社のビジネス成長に貢献するだけでなく、レコメンデーションシステム、ひいてはパーソナライゼーションの未来を再定義する可能性を秘めています。LLMの進化が示唆するように、大規模な基盤モデルが汎用的な知能を獲得し、特定のドメインを超えて応用される日もそう遠くないかもしれません。Netflixがこの「ビッグベット」を通じてどのようにエンターテイメント体験を革新し続けるのか、私たちはその動向に注目し続ける必要があります。

彼らの取り組みは、AIがもたらす無限の可能性と、それを現実世界の課題解決に応用するエンジニアリングの力を改めて私たちに示しています。Netflixのファウンデーションモデルが描く未来は、私たち一人ひとりの「次に見たいもの」を、これまで以上に深く、そして予測不可能に洞察する世界となるでしょう。