AIとパーソナライゼーションの未来：LinkedInが切り拓く大規模言語モデルの挑戦

近年、私たちは人工知能、特に大規模言語モデル（LLM）の驚異的な進化を目の当たりにしています。ChatGPTのような生成AIの登場は、私たちの仕事、学習、そして日常生活における情報との関わり方を根本的に変えつつあります。この技術革新の波は、個人のキャリアを支援するプロフェッショナルネットワーキングサービスであるLinkedInにおいても、ユーザー体験の向上とビジネス価値の創出において中心的な役割を担っています。

本記事では、AI Engineer World's FairでLinkedInのHamed Firooz氏とMaziar Sanjabi氏が発表した「360BREW - Personalization with LLM」と題された講演の深層に迫ります。彼らがどのようにしてLLMを活用し、LinkedInのプラットフォームにおけるパーソナライゼーションとランキングの課題を解決しようとしているのか、そのビジョン、具体的な技術的アプローチ、そしてビジネスへの影響と将来性について、詳細かつ分かりやすく解説していきます。

1. なぜ今、LLMによるパーソナライゼーションなのか？：旧来の課題と新たなビジョン

今日のデジタル世界では、レコメンデーション（推薦）システムが私たちの日常生活に深く根付いています。ニュースフィードの記事、求人情報、オンラインショッピングの商品、検索結果など、私たちが目にする情報のほとんどは、パーソナライゼーションとランキングのアルゴリズムによって最適化されています。しかし、このようなシステムは、その複雑さと運用面において、いくつかの深刻な課題を抱えています。

1.1. 既存のレコメンデーションシステムの「痛み」

LinkedInのような大規模なプラットフォームでは、何百ものレコメンデーションシステムが同時に稼働しています。それぞれのシステムは特定のタスク（例えば、特定の種類の求人を推薦する、特定の記事を推薦するなど）のために個別に設計・最適化されており、その結果、以下のような「痛み」が生じていました。

• 運用上の非効率性:
  • コストのかかる低アジリティな開発ライフサイクル: 各システムが個別に開発・メンテナンスされるため、新しい機能や改善の導入には長い時間と多大なリソースが必要となります。アジャイルな開発が困難です。
  • モデルとシステムの増殖: タスクごとに異なるモデルが乱立し、それぞれのモデルが独自のデータパイプラインやインフラストラクチャを必要とするため、システム全体が肥大化し、管理が複雑になります。
• 品質と開発者体験のジレンマ:
  • バラバラな最適化: 各モデルが個別の目標関数に基づいて最適化されるため、プラットフォーム全体の統一されたユーザー体験やビジネス目標との整合性を保つことが難しくなります。あるシステムが最適化されても、他のシステムとの間で衝突が生じる可能性もあります。
  • 変更のロールアウトが遅い: 新しいアーキテクチャや最先端の技術を導入しようとしても、多数のモデルやシステムにそれぞれ適用する必要があるため、変更の展開が遅延し、イノベーションの速度が低下します。

これらの課題は、ユーザー体験の停滞だけでなく、開発者の生産性低下や運用コストの増大にも直結していました。

1.2. 究極の問い：「もしモデルが一つだけだったら？」

LinkedInの研究チームは、これらの課題に立ち向かうために、根本的な問いを投げかけました。「もし、LinkedInのすべてのパーソナライゼーションおよびランキングタスクを解決できる単一のモデルが存在したらどうだろうか？」この問いから、彼らの壮大なビジョンが生まれました。

• LinkedInの壮大なビジョン：全マッチング問題を解決する基盤モデル 彼らの目標は、生涯にわたるメンバーの活動データ（求職活動、投稿へのエンゲージメント、ネットワーク形成など）をすべてキャプチャし、LinkedInのあらゆるマッチング問題（求人推薦、人脈推薦、コンテンツ推薦など）を解決できるような、単一の「基盤モデル」を構築することでした。これは、多様なタスクに特化したモデル群を置き換え、プラットフォーム全体で一貫した高精度なパーソナライゼーションを実現することを目指しています。

• 基盤モデルが持つべき3つの鍵となる能力 この基盤モデル「360BREW」は、単一モデルであることのメリットを最大限に引き出すために、以下の3つの主要な特性を持つように設計されました。

  1. ゼロショット能力（Zero-shot capability）:

     • 概念: 新しい予測タスクに対して、事前のトレーニングなしで、あるいは非常に少量のデータで、すぐに優れたパフォーマンスを発揮する能力です。
     • メリット: 新しい製品や機能が導入された際、データ収集やモデルの再構築に時間をかけることなく、即座にパーソナライゼーションを提供できるようになります。「新しい製品に対してモデルはどの程度優れているか？」という問いに、迅速に答えられるようになります。これにより、製品開発のスピードとアジリティが飛躍的に向上します。

  2. 文脈内学習（In-Context Learning）:

     • 概念: 再トレーニングなしで、わずかな例（コンテキスト内の少数のデモンストレーション）から学習し、新しいタスクに適応する能力です。これは、LLMの最も強力な特性の一つです。
     • メリット: 特に「コールドスタート問題」と呼ばれる、新規ユーザーや新規アイテムに関するデータが少ない場合に威力を発揮します。少数の過去のインタラクション例を与えるだけで、モデルがユーザーの好みやアイテムの特性を推論し、関連性の高い推薦を行うことができます。「新規ユーザー/アイテムに対してモデルはどの程度優れているか？」という課題に対し、効率的かつ効果的な解決策を提供します。

  3. ユーザー主導の制御（Follow instruction from developers/users）:

     • 概念: 開発者や最終ユーザーがプロンプトを通じてモデルの振る舞いを制御できる能力です。
     • メリット: 例えば、ユーザーが「最近テクノロジー分野の求人に興味がある」と入力すれば、モデルはその指示に基づいて推薦内容を動的に調整します。これにより、ユーザーはより主体的に自分の体験をパーソナライズできるようになり、開発者もビジネス目標に応じてモデルの出力を細かく調整できます。これは、ユーザーエンゲージメントの向上に直結します。

これらのビジョンと能力を備えた基盤モデルの構築は、LinkedInのパーソナライゼーション戦略における大きな転換点となり、AI時代の新たな標準を打ち立てる可能性を秘めています。

2. 革新のレシピ：150Bパラメータから3Bモデルへ、効率的な開発パイプライン

LinkedInのチームが360BREWモデルを構築する上で採用したアプローチは、「Automation, Automation, Automation」というレシピに集約されます。大規模言語モデルを、広範なユースケースに対応し、かつ効率的に本番環境で運用できる形にするためには、開発プロセス全体の徹底的な自動化が不可欠でした。

2.1. データからプロンプトへ：「プロンプト化」の魔法

LLMが多様なタスクをこなすためには、従来の数値的な特徴量だけでなく、人間が理解しやすい自然言語の形式で情報が与えられる必要があります。これが「プロンプト化（Promptification）」と呼ばれるプロセスです。

• ユーザー履歴の言語化: LinkedInでは、ユーザーのプロフィール情報（現在の職位、会社、所在地など）や、過去の求人への応募、閲覧、スキップといったインタラクション履歴が豊富に存在します。これらの構造化されたデータと行動データは、LLMが理解できる自然言語のプロンプトに変換されます。 例えば、以下のような形式でユーザー履歴とジョブ情報がプロンプトに組み込まれます。

  指示: メンバーのプロフィールと、メンバーが過去に行った行動（応募、閲覧、スキップ、またはインタラクションなし）を含む一連のジョブ、その説明、およびインタラクションデータが提供されます。あなたのタスクは、メンバーのプロフィールとジョブインタラクションデータを分析し、メンバーが「質問ジョブ」と呼ばれる新しいジョブに応募、閲覧、またはスキップするかどうかを予測することです。
  注意: スキル、所在地、経験年数を他の基準よりも重視してください。
  
  メンバーのプロフィール: 現在の職位: ソフトウェアエンジニア, 現在の会社: LinkedIn, 所在地: サニーベール, カリフォルニア, アメリカ
  
  過去のジョブインタラクションデータ:
  [期間]: 2日前, 職位: ソフトウェアブリゲード, 所在地: ニューヨーク, アメリカ, 会社: Meta, 説明: ...
  [期間]: 1週間前, 職位: ソフトウェアエンジニア, 所在地: テキサス, アメリカ, 会社: Apple, 説明: ...
  [期間]: 3日前, 職位: RFエンジニア, 所在地: ベイエリア, アメリカ, 会社: Google, 説明: ...
  
  質問1: このメンバーは以下のジョブに応募するか？ [期間]: 1日前, 職位: ソフトウェアエンジニア, 所在地: シアトル, アメリカ, 会社: Apple, 説明: ...
  質問2: このメンバーは以下のジョブに応募するか？ [期間]: 5日前, 職位: RFエンジニア, 所在地: ベイエリア, アメリカ, 会社: Google, 説明: ...
  

  このプロンプトは、ユーザーの背景、過去の行動、そして予測対象のジョブに関する詳細情報を提供し、モデルが関連性を判断するための豊かな文脈を作り出します。

• 課題解決のための指示と訓練データ: モデルの訓練時には、異なる形式のバーバリゼーション（言語化）を用いることで、モデルが様々な指示形式に適応できるよう汎化能力を高めます。例えば、モデルに直接的な質問形式で「このジョブに応募するか？」と尋ねたり、「このユーザーが興味を持つ可能性のある求人を推薦してほしい」といった、より広範な指示を与えたりします。この柔軟性こそが、ゼロショットや文脈内学習の基盤となります。

2.2. モデル構築の旅路：「GO BIG THEN GO SMALL」

360BREWの開発パイプラインは、まず非常に大規模なモデルを構築し、そこから効率化された小規模モデルへと段階的に移行する「GO BIG THEN GO SMALL」という戦略に基づいています。

• Brew-XLの誕生: オープンソースモデルから150Bパラメータの基盤モデルへの成長

  1. Continuous Pre-Training (CPT): まず、一般的なオープンソースのLLMを基盤として、LinkedIn独自の大量のデータで継続的な事前学習を行います。これにより、モデルはLinkedInプラットフォーム特有の言語、エンティティ、ユーザー行動のパターンを深く学習します。
  2. Supervised Fine-Tuning (SFT): 次に、特定のタスク（求人推薦、人脈推薦など）に対するラベル付きデータを用いて、モデルをファインチューニングします。これにより、モデルは具体的なタスクをこなす能力を習得します。
  3. Alignment (アライメント): 人間がモデルの出力をどのように評価するかを学習させるため、人間のフィードバックを用いたアライメントプロセス（例：RLHF）を行います。これにより、モデルはより人間にとって役立つ、意図に沿った出力ができるようになります。 これらのステップを経て、150Bパラメータを持つ大規模モデル「Brew-XL」が構築されます。このモデルは、最大限の品質と汎化能力を持つことを目指します。

• Brew-Smolへの蒸留: 品質を保ちつつ、効率を最大化する戦略 Brew-XLは非常に強力ですが、その巨大さゆえに、本番環境でのリアルタイムな推論にはコストやレイテンシーの課題があります。そこで、以下の技術を用いて、より小さく、より効率的なモデル「Brew-Smol」（3Bモデル）を作成します。

  1. 蒸留（Distillation）: 大規模な教師モデル（Brew-XL）の知識を、より小さな生徒モデル（Brew-Smol）に転移させるプロセスです。教師モデルのソフトラベル（確率分布）を生徒モデルに学習させることで、小規模モデルが大規模モデルに近いパフォーマンスを発揮できるようにします。
  2. プルーニング（Pruning）: モデルの冗長な接続やニューロンを削除することで、モデルのサイズを縮小します。これは、モデルのパフォーマンスに大きな影響を与えずに、計算コストを削減するために行われます。
  3. 量子化（Quantization）: モデルの重みと活性化の精度（ビット数）を減らすことで、モデルのメモリフットプリントと計算要件を削減します。例えば、32ビット浮動小数点数（FP32）を8ビット整数（FP8）に変換するなどです。

• 「なぜXLが必要か？」: 大規模モデルが小規模モデルに与える恩恵 スクラッチから直接小規模モデルをトレーニングするよりも、まず大規模モデルを構築し、そこから小規模モデルを蒸留するアプローチがなぜ優れているのか、その理由をグラフが示しています。大規模モデルは、より広範な知識と複雑なパターンを学習する能力があり、その知識を小規模モデルに転移させることで、小規模モデル単体では到達できない高いパフォーマンスを実現できます。実際、実験結果では、Brew-XLからの蒸留が、AUC Delta（モデルの分類性能を示す指標）において-0.06%から-1.21%の改善をもたらすことが示されています。これは、大規模モデルが持つ豊富な知識が、小規模モデルの性能を底上げする「教師」として機能するためです。

3. 品質向上への3つのレバー：データ、モデルサイズ、コンテキスト長

モデルの品質を継続的に向上させるためには、複数の要素を戦略的に調整する必要があります。LinkedInのチームは、以下の3つの主要なレバーに注目しました。

3.1. データの力：量と質、そして多様性

AIモデルの性能は、その訓練データの量と質に大きく依存します。

• データレシピの最適化: モデルの精度を最大化するためには、単に大量のデータを集めるだけでなく、そのデータの準備方法や分布を最適化することが重要です。
• メンバーの活動履歴とエンゲージメントデータの重要性: ユーザーの過去の求職活動、閲覧履歴、クリック、応募などのインタラクションデータは、ユーザーの好みや意図を理解するための貴重な情報源です。これらのデータを、正確性、網羅性、そして最新性を確保しながらモデルに供給することが求められます。
• 品質の確保: 低品質のエンゲージメントデータ（例：誤クリック）、低品質のエンティティ（例：不完全なジョブ記述）、および意味的に重複するデータを特定し、削除することで、モデルがよりクリーンで有用な情報から学習できるようにします。
• 15種類以上のデータソースがもたらす洞察の深さ: LinkedInは、多様なサービスと機能を提供しており、それぞれが異なる種類のデータ（プロフィール、ジョブ、記事、イベントなど）を生み出します。これら15種類以上のデータソースを統合し、モデルに多様な視点から学習させることで、モデルの理解度と汎化能力を向上させます。 グラフは、訓練に使用されるトークン数（データの量）が増加するにつれて、様々なタスクにおけるモデルの生産パフォーマンスが着実に向上することを示しており、データがモデルの品質に不可欠な要素であることを裏付けています。

3.2. モデルサイズの拡大：より賢く、より強力な予測へ

モデルの規模を大きくすることは、一般的にその能力を向上させる最も直接的な方法の一つです。

• Mixtralアーキテクチャによる検証: LinkedInのチームは、MixtralのようなMixture-of-Experts（MoE）アーキテクチャでモデルのサイズを検証しました。これは、複数の専門家（エキスパート）モデルを組み合わせて、入力に応じて適切なエキスパートを選択するものです。
• 7Bから176Bまでの性能向上: 実験では、7Bパラメータのモデルから、8x7B（合計56Bパラメータ）、そして8x22B（合計176Bパラメータ）へとモデルサイズを拡大するにつれて、各タスクにおけるモデルのパフォーマンスが一貫して向上することが確認されました。より大規模なモデルは、より複雑なパターンや関係性を捉え、より洗練された予測を行うことができます。

3.3. コンテキスト長の深化：ユーザーの過去を深く理解する

LLMにおける「コンテキスト長」とは、モデルが一度に処理できる情報の最大量であり、ユーザーの過去の活動履歴や関連情報がどの程度の期間にわたって考慮されるかを指します。

• 履歴データの長さがパフォーマンスに与える影響: より長いコンテキスト長をモデルに与えることで、モデルはユーザーの長期的な興味や行動の変化、そしてその背後にある深い動機をより詳細に理解できるようになります。これは、「より長いコンテキストはより深いユーザー活動を意味する」という考え方に基づいています。
• 履歴の深さはタスクに依存: しかし、コンテキスト長を無限に長くすれば良いというわけではありません。タスクによっては、最新のインタラクションが最も重要であり、あまりにも古い履歴はノイズとなることもあります。
• コンテキスト長の限界とモデルの汎化能力: グラフは、コンテキスト長（トークン数）の増加に伴い、モデルの相対パフォーマンスが一定の範囲で向上することを示しています。しかし、ある最適点を過ぎるとパフォーマンスが低下する傾向が見られます。これは、モデルが非常に長いコンテキストにうまく汎化できない、または長いコンテキストから関連性の高い情報を効率的に抽出する能力に限界があることを示唆しています。この課題を克服するためには、長期依存性を効果的に処理できるような新しいアーキテクチャやトレーニング手法の研究が進められています。

4. 実用性への挑戦：高速かつ効率的なモデル提供

基盤モデルがどれほど優れていても、本番環境でリアルタイムかつ低コストで運用できなければ、そのビジネス価値は限定的です。LinkedInは、高QPS（Query Per Second）と低レイテンシーが求められるレコメンデーションシステムの要件を満たすために、モデルの効率性を最大化するための様々な工夫を凝らしました。

4.1. 効率性向上の3つの柱

モデルの効率性を高めるために、以下の3つの主要なレバーが活用されました。

1. スパース化（Sparsification）:

   • 概念: モデル内の冗長な計算や接続を削減し、より少ないリソースで同等、またはそれ以上のパフォーマンスを達成する技術です。特にアテンションメカニズムのような計算コストの高い部分に適用されます。
   • Star Attentionとマルチアイテムスコアリング: トランスフォーマーモデルの最も計算コストの高い部分はアテンションスコアリングです。全てのアイテムが全てのアイテムにアテンションを払う必要はありません。LinkedInのチームは、Star Attention（スパースなアテンションメカニズム）のような技術を導入し、不必要な計算を削減しました。また、複数のアイテムを同時にスコアリングする際に、アイテム間のアテンションを限定的にすることで、効率を向上させます。これにより、推論の高速化とメモリ使用量の削減を実現します。

2. 小規模モデル（Small Model）:

   • 漸進的な蒸留とプルーニング戦略: 前述の「GO BIG THEN GO SMALL」戦略の一環として、まず150Bパラメータの大規模モデル（Brew-XL）を訓練し、そこから段階的に小さなモデルへと蒸留していきます。例えば、150Bから8B、さらに3B、1Bへとサイズを縮小します。
   • 段階的な縮小がもたらす性能維持: 蒸留プロセスと並行して、プルーニング（モデルの重みを削除すること）も行われます。単純なアグレッシブなプルーニングはモデルの品質を著しく損なう可能性がありますが、LinkedInのチームは「再蒸留を伴う段階的なプルーニング」を導入しました。これにより、各プルーニングステップの後でモデルの知識が再強化され、品質の低下を最小限に抑えつつ、モデルサイズを効果的に削減できます。実験結果は、段階的プルーニングが性能損失をほぼゼロに抑えることを示しています。

3. 量子化（Quantization）:

   • 概念: モデルの重みや活性化の数値を、より少ないビット数で表現することで、メモリ使用量と計算速度を最適化する技術です。
   • 混合精度の活用: 全ての層を低い精度に量子化すると、モデルの品質が著しく損なわれる可能性があります。そこで、「混合精度（Mix-precision）」アプローチが採用されました。具体的には、重みと活性化にはFP8（8ビット浮動小数点数）のような低精度を使用しつつ、モデルの最終出力層であるLMヘッド（言語モデルヘッド）やロジットプロセッサーなど、高い精度が求められるクリティカルな部分にはFP32（32ビット浮動小数点数）を保持します。これにより、精度を維持しながら、モデルの全体的なフットプリントと推論時間を削減します。FP8は特に、GPUでの高速な推論に適しています。

4.2. スループットとレイテンシーの劇的な改善

これらの効率化技術を組み合わせることで、LinkedInの360BREWモデルは、本番環境で驚異的なパフォーマンス向上を達成しました。

• 7倍のレイテンシー削減と30倍のスループット向上: 継続的な改善と最適化の結果、LinkedInはモデルのレイテンシー（推論にかかる時間）を最大7倍削減し、同時にスループット（1秒あたりに処理できるクエリ数）を30倍に増加させることに成功しました。
• GPUあたりのクエリ数と応答時間の最適化: グラフは、リリース（R8からR12）ごとに、GPUあたりのクエリ数（スループット）が大幅に増加し、それに伴ってレイテンシー（ミリ秒単位の応答時間）が着実に減少していることを明確に示しています。これは、同じハードウェアリソースで、より多くのユーザーに対して、より迅速にパーソナライズされた推薦を提供できるようになったことを意味します。このようなパフォーマンスは、大規模なユーザーベースを持つLinkedInのようなプラットフォームにとって、ユーザーエンゲージメントとビジネス成長の加速に不可欠です。

3. まとめと将来展望

LinkedInの「360BREW」プロジェクトは、LLMがパーソナライゼーションとレコメンデーションシステムにもたらす可能性を鮮やかに示しています。この取り組みから、私たちは以下の重要な教訓と将来への展望を得ることができます。

• LinkedInのLLM活用事例から学ぶこと:

  • 基盤モデルアプローチの有効性: 多様なタスクを単一のモデルで処理することで、開発の複雑さを軽減し、アジリティを高めることができます。ゼロショット能力、文脈内学習、プロンプトによるユーザー制御は、より柔軟で応答性の高いシステムを可能にします。
  • 開発パイプラインの自動化の重要性: 大規模なAIモデルを効率的に開発し、最適化された形で本番環境に導入するためには、データ準備からモデルの訓練、評価、そしてデプロイメントに至るまで、開発プロセスのあらゆる段階での徹底的な自動化が不可欠です。
  • 品質と効率の両立: データ、モデルサイズ、コンテキスト長の調整がモデルの品質向上に寄与する一方で、蒸留、プルーニング、量子化、スパース化といった技術が、品質を維持しつつモデルの効率を劇的に改善します。

• パーソナライゼーションとレコメンデーションの未来: 360BREWのような基盤モデルは、ユーザーの過去の行動だけでなく、明示的な指示や微細な文脈までを理解し、その時々のニーズに合わせた最適な推薦をリアルタイムで提供する未来を拓きます。これは、よりパーソナルで、よりエンゲージメントの高いユーザー体験を実現し、プラットフォームの成長をさらに加速させるでしょう。

• コミュニティへの貢献とオープンな学びの文化: LinkedInの研究チームは、この道のりで得られた知見を技術レポートや論文として積極的にコミュニティに共有しています。このようなオープンなアプローチは、AI分野全体の発展を促進し、他の企業や研究者がLLMを効果的に活用するための貴重なリソースを提供します。

LLMの進化は止まることを知りません。LinkedInの360BREWの取り組みは、企業がこの強力な技術をいかに戦略的に活用し、ビジネス価値とユーザー体験の双方を最大化できるかを示す、優れた実践例と言えるでしょう。今後、この種の基盤モデルが様々な業界でどのように応用され、私たちのデジタルライフをさらに豊かにしていくのか、その動向から目が離せません。