T最新テックトレンド

Google PhotosのAI進化が描く未来：写真編集を革新する「Magic Editor」の裏側とエンジニアリングの挑戦

AI Engineer
0:00--:--

写真と動画は、私たちの記憶と感情を記録する大切な手段です。Google Photosは、世界中の何十億ものユーザーが日々生成する膨大な量の視覚コンテンツを管理し、共有し、そして最も重要なこととして、それをより美しく、よりパーソナルなものに変えるための革新的なツールを提供してきました。

本記事では、AI Engineer World's Fairでのプレゼンテーションから、Google PhotosにおけるAIを活用した写真編集機能の進化、特に「Magic Editor」の開発に至るまでの道のり、そしてそこから見えてくるAIエンジニアリングの挑戦と未来について、深く掘り下げて解説します。

Google Photosとは？思い出をスマートに管理するMLの力

Google Photosは、単なる写真ギャラリーアプリではありません。それは「あなたの思い出の家（Home for your memories）」であり、機械学習（ML）を基盤としてゼロから構築された製品です。Android、iOS、Webの各プラプラットフォームで利用でき、自動バックアップ、キュレーション、検索、共有といった機能を統合的に提供しています。

このサービスの大きな特徴は、その驚異的なスケールにあります。月間アクティブユーザー（MAU）は15.8億人に達し、毎月2億1000万枚もの写真が、これらのプラットフォームを通じて編集されています。これほどの規模のデータを扱うからこそ、Google PhotosはMLの力を最大限に活用し、ユーザーの生活をより便利に、より豊かにすることを目指しています。

例えば、Google Photosは、写真に写っているものが何であるかを画像認識で理解し、自動的にアルバムを作成したり、特定の場所や人物、オブジェクトで検索できるようにしたりします。旅行から帰ってきて写真をバックアップするだけで、「この旅行のアルバムを作成しました」と提案してくれるのは、まさにMLの恩恵です。私たちは膨大な写真を整理する時間も労力もありませんが、Google Photosがその負担を肩代わりしてくれるのです。

計算写真学の夜明け：Pixelデバイスで始まった編集革命（2018年〜）

Google Photosの編集機能は、2018年に始まった「計算写真学（Computational Photography）」の取り組みから大きく進化しました。当時の写真編集アプリは基本的な機能しか持っていませんでしたが、Googleはスマートフォンの「コンピューティング能力」に注目しました。スマートフォンのカメラセンサーは一眼レフには及ばないかもしれませんが、内蔵された高性能プロセッサは、ソフトウェアによる画像処理に大きな可能性を秘めていました。

このアプローチの目標は、「Pixelデバイスを皮切りに、ソフトウェアと携帯電話の計算能力を活用して、一般消費者向けモバイルアプリでプロ品質の編集を可能にし、ライブラリ内のあらゆる画像をシンプルに編集できるようにする」というものでした。

「難しいことを簡単に」：HDR画像の自動生成

計算写真学の好例として、逆光で人物が暗く写ってしまった夕焼けの写真を挙げてみましょう。従来の一眼レフカメラでは、複数の露出レベルで写真を撮影し、それらを組み合わせてHDR（ハイダイナミックレンジ）画像を生成するという、専門的な知識とPhotoshopなどのソフトウェアが必要なプロセスでした。三脚を立て、露出を調整し、合成するという手間のかかる作業です。

しかし、計算写真学の登場により、Google Photosはたった1枚の写真から、機械学習を駆使して人物の明るさを自動調整し、背景の夕焼けの美しさを損なうことなく、全体的にバランスの取れた写真を生み出すことができるようになりました。ユーザーは撮影時に複雑な設定を気にする必要がなくなり、後からアプリが賢く処理してくれるのです。

Googleの垂直統合がもたらすアドバンテージ

Googleがこのような革新的な機能を実現できる背景には、ハードウェア（Pixelスマートフォン）から、コンピュータビジョンと機械学習の専門知識を持つ内部研究チーム、そしてGoogle Photosアプリケーションまでの「垂直統合」という強みがあります。

この垂直統合により、MLモデルとアプリケーション開発の間で密接な連携と迅速なイテレーションが可能になります。研究者が開発した最新のMLモデルを、ハードウェアの特性に合わせて最適化し、Photosアプリのユーザーエクスペリエンスにシームレスに統合できるのです。エンジニアは研究者と協力して、機能の基礎から構築し、互いにフィードバックを交換しながら、ユーザーにとって本当に価値のある体験を創り上げていきます。

このシステムの技術スタックは、Android/iOS/Web向けのモバイルクライアント、オンデバイスでのモデル推論を担う共有C++ライブラリ、そしてTensorFlow Lite（現在はLight RT）でトレーニングされたMLモデルを使用する研究ライブラリで構成されています。これにより、高度なML機能をユーザーのデバイス上で直接実行し、リアルタイムに近い速度で編集を可能にしています。

「Pixel First」で切り開いた新境地：代表的なAI編集機能の進化

2018年以来、Google Photosの編集チームは、AIの力を活用した画期的な機能を次々とリリースしてきました。これらは、単に写真を修正するだけでなく、写真体験そのものを再定義するものでした。

1. ポストキャプチャセグメンテーション（2019年）

この機能は、写真撮影後にポートレート画像の背景をぼかす能力を提供します。具体的には、U-Netと呼ばれる畳み込みニューラルネットワーク（CNN）が使用され、単一の画像から深度を推定し、被写体と背景を分離する深度マスクを生成します。この深度マップを利用して、背景に自然なぼかしを適用できます。

MLモデルの強みと課題:

  • 強み: 従来のコンピュータビジョン手法と比較して、はるかに優れたパフォーマンスを発揮します。また、常に何らかの結果を返すため、エラーケースという概念がありません。
  • 課題:
    • モデルファイルサイズ: 当時のモデルサイズは約10MBと大きく、アプリに直接バンドルできないため、ユーザーがダウンロードする必要がありました。これにより、モデル管理やIP保護の課題が生じます。
    • モデル評価: モデルの更新を評価するためのベンチマーク構築が難しく、開発サイクルが遅れる原因となります。
    • 常に結果を返す: エラーケースがないという強みは、同時にモデルが「自信がない」場合でも、何らかの出力を返してしまうという課題でもあります。特に髪の毛のような細かい部分のセグメンテーションは完璧ではなく、不自然なぼかしが生じることがありました。この問題は、モデル後のコンピュータビジョン処理で補正することで、より自然な結果を実現しました。

2. ポートレート再ライティング（2020年）

この機能は、ポートレート写真の照明条件を撮影後に調整することを可能にしました。例えば、日差しが眩しくて顔が白飛びしてしまったり、影がかかってしまったりした写真でも、AIが人物の顔の3Dモデルを推定し、光源の方向や強さを仮想的に調整することで、自然でバランスの取れたライティングに修正できます。これにより、ユーザーは撮影時の照明の制約を気にすることなく、理想的なポートレート写真を作成できるようになりました。

3. Magic Eraser（マジックイレーサー、2021年）

Pixelデバイスの主要なローンチ機能として大きな注目を集めたMagic Eraserは、写真から不要なオブジェクトを瞬時に消去する画期的な機能です。

技術的アプローチ:

Magic Eraserは、単一のMLモデルではなく、複数のモデルとコンピュータビジョンコードが連携するシステムとして機能します。

  1. オブジェクト検出: まず、写真内の主要な被写体や、背景に写り込んだ「邪魔者」（ディストラクター）を検出します。
  2. セグメンテーション: 検出された邪魔者を正確にセグメンテーション（切り抜き）します。
  3. ディストラクターサジェスター: AIが、写真から消去すべき邪魔な要素を自動的に提案します。
  4. インペインティング: 選択された邪魔者を消去し、その部分を周囲の画像情報に基づいて自然に補完（インペインティング）します。

複雑なUX/UIとOpenGLの活用:

ユーザーはタップやドラッグでオブジェクトを選択し、そのインペインティングマスクをOpenGLを通じて視覚的に確認しながら操作できます。不要なオブジェクトが消え去り、背景がアニメーションでシームレスに補完される体験は、まさに魔法のようです。

課題:

  • モデルの巨大化: Magic Eraserは複数のモデルを組み合わせるため、モデルの総サイズはさらに大きくなり、数十から数百MBに達しました。これにより、オンデバイスでの処理は困難になり、サーバー側での推論が不可欠になりました。
  • 失敗ケースの顕著化: 消去するオブジェクトが大きかったり、背景が複雑だったりする場合、不自然なインペインティングが生じる可能性が高まり、その失敗がユーザーにとってより明確に認識されるようになりました。これは、MLモデルの「予測不可能性」という根本的な課題でもあります。

MLを基盤とした製品開発の光と影：エンジニアが直面する現実

これまでのAI編集機能の開発を通じて、Google PhotosチームはMLを活用した製品開発における重要な教訓を得ました。

AIがもたらす革新の側面（Green Indicators）:

  1. 卓越した機能性 (Great Capability): MLは、従来の画像処理技術では実現困難だった、ユーザーにとって魅力的で使いやすい新機能を提供します。
  2. 予測可能なレイテンシー (Consistent Latency): MLモデルは、入力に対して常に同じ計算量を実行するため、特定のデバイス上での処理時間は予測可能です。これは、ユーザーエクスペリエンスの安定性に貢献します。
  3. 研究者との共同開発 (Co-develop models with Researchers): Googleのような企業では、製品開発チームとAI研究チームが密接に連携することで、最新の研究成果を迅速に製品に落とし込み、継続的な改善を実現できます。

AIがもたらす課題の側面（Yellow Indicators）:

  1. 予測不可能性 (Unpredictable): MLモデルは、特定の「エッジケース」や、一見すると通常の入力に見えるものに対して、予期せぬ、あるいは望ましくない出力を生成することがあります。エンジニアにとって、「なぜこのような結果になったのか」を理解し、修正することは非常に困難です。研究者は「もっとデータを集め、新しいバージョンのモデルを訓練しましょう」と答えるかもしれませんが、これはソフトウェアエンジニアリングにおける「バグを特定し、修正する」というプロセスとは全く異なります。
  2. 遅いイテレーション (Slower Iteration): MLモデルの改善は、モデルの再訓練、新しいデータセットの収集、そして「ベンチマーク」と呼ばれる評価システムの構築と実行という、時間と労力のかかるプロセスを伴います。特に、新しい機能がPixelのようなハードウェアローンチと連携している場合、数か月の短い期間で数回のイテレーションしか実行できないこともあり、開発の柔軟性が制限されます。

このように、MLを活用した製品開発は大きな可能性を秘める一方で、従来のソフトウェア開発とは異なる、特有の課題に直面します。

「MLからAIへ」：Magic Editorが拓く新しい写真編集のパラダイム

2022年から2023年にかけて、Generative AI（生成AI）の分野、特に大規模言語モデル（LLM）やDALL-E、ChatGPTのような大規模なマルチモーダルモデルの台頭は、写真編集の分野にも大きな変化をもたらしました。「ML」という言葉から、より広範で野心的な「AI」へと、業界の関心がシフトしていったのです。

Google Photosは、このGenerative AIの波を捉え、これまでの学習と経験を活かして、新たな編集体験「Magic Editor」の開発に着手しました。

Magic Editorの製品コンセプト:

Magic Editorは、単なる既存機能の集まりではありません。そのコンセプトは次の3つの柱に基づいています。

  1. 空想的ではない、現実に基づいた生成 (Grounded generation rather than fantastical): Google Photosは、ユーザーの「思い出の家」であるため、DALL-Eのように完全にファンタジーな画像を生成するのではなく、既存の写真を、まるで現実世界で撮影されたかのように自然に、より良く見せることに焦点を当てています。共有しても違和感のない、自然な仕上がりを重視します。
  2. プロンプトと特定の要素選択の組み合わせ (Prompts along with ability to select specific elements of the scene): Magic Editorは、テキストプロンプトによる指示と、ユーザーが写真内の特定のオブジェクトや領域をインタラクティブに選択する能力を組み合わせます。これにより、ユーザーの意図をより正確にAIに伝え、より的確な編集結果を得ることができます。
  3. 最高品質のSOTAマルチモーダルLLMを活用 (Leverage highest quality SOTA multi-modal LLM): Magic Editorは、画像とテキストの両方を理解できる最先端のマルチモーダルLLMを基盤としています。これにより、より複雑で微妙な編集要求にも対応できるようになりました。

Magic Editorが解決する「発見可能性」の問題:

これまでのGoogle Photosの編集機能（Magic Eraser、背景ぼかしなど）は個別の素晴らしいツールでしたが、ユーザーは「この写真にはどの機能が最適か」を自分で判断する必要がありました。しかし、AIの進化により、Magic Editorは写真の文脈を理解し、「この写真では、Magic Eraserを使うといいかもしれません」 のように、AIがユーザーに適切な編集ツールや提案を能動的に提示できるようになります。

これは、AIの知能と既存の特定のツールを組み合わせることで、「状況に応じた提案」 と 「効率的で決定論的なツール」 の両方を実現するというビジョンです。ユーザーは完璧なプロンプトを考える必要はなくなり、AIが写真のコンテキストに基づいて関連性の高い編集オプションを提示し、ユーザーはそれを調整するだけで良いという、より直感的で使いやすいエクスペリエンスを目指しています。

未来への挑戦：クライアント/サーバー、曖昧な問題空間、そして信頼性

Magic Editorのような最先端のAI編集機能を実現する上で、Google Photosチームは新たな、そしてより複雑な課題に直面しています。

1. クライアント/サーバーの複雑化

これまでの多くのAI編集機能がユーザーのデバイス上で完結する「オンデバイスAI」を重視していましたが、Magic Editorが活用するようなSOTA（State-of-the-Art）モデルは、あまりにも巨大すぎてモバイルデバイスに完全に搭載することはできません。このため、オンデマンド推論のためにサーバーサイドでの処理が必要となり、システムアーキテクチャがクライアント/サーバーモデルへと移行します。

これにより、以下のような新たな課題が浮上します。

  • キャパシティプランニング: バックエンドのリソース（TPU/GPU）に対する需要予測とキャパシティプランニングが不可欠になります。かつてはユーザーが自身のデバイスの計算能力を提供していましたが、今はGoogleがそのコストを負担しなければなりません。
  • 予測不可能なレイテンシー: ネットワークの品質、データセンターの負荷、ユーザーとデータセンター間の距離などが、処理のレイテンシーに影響を与え、予測不可能な要素が増えます。
  • 自動テストの困難さ: オンデバイスで完結していたテストスイートは、サーバー応答のシミュレーションや専用のテストサーバーへの依存など、その複雑性が増します。

2. 曖昧な問題空間

LLMやGenerative AIは、「何でもできる」という大きな可能性を秘めていますが、これは同時に**「何でも可能＝何も範囲外ではない」**という、システム設計者にとっては非常に困難な状況を生み出します。

  • モデルの規模とイテレーション: 大規模モデルは訓練、評価、推論のいずれにおいても、従来のMLモデルよりも時間がかかります。もはやテストスイートの一部として毎日実行することはできません。
  • プロンプトの曖昧性: 人間の言葉は本質的に曖昧です。例えば、「山頂からの眺めは最高だった」("The view from the mountaintop was sick!") の"sick"をAIがどのように解釈すべきでしょうか。これが「素晴らしい」という意味か、「不健康な」という意味か、文脈なしには判断できません。
  • 「Easy to use」から「プロンプトはバグではない」へ: ユーザーは、自分の意図を正確に伝えるために詳細なプロンプトを書くことを望んでいません。UI/UXは、ユーザーの曖躇昧な意図から「何をしたいのか」を推測し、それに対応する機能を提供する必要があります。これは、「プロンプトがバグではなく、機能であるべきだ」というパラダイムシフトを意味します。
  • システム設計の困難さ: 達成可能なことの範囲が広すぎるため、エンジニアリングシステムとして信頼性を保証し、明確なスコープを設定することが非常に難しくなります。システムは、定義された制約の中で機能しなければなりません。

3. 信頼性と安全性 (Trust & Safety)

Generative AIは、その強力な生成能力ゆえに、倫理的、社会的な課題も提起します。

  • Deepfakeの防止: 画像生成AIは、現実と見分けがつかないようなフェイク画像（Deepfake）を生成する能力も持ち合わせています。Google Photosのような広く利用されるサービスでは、Deepfakeの生成を防止するための厳格な制限と安全性メカニズムが不可欠です。出力が「高品質で責任ある」ものであることをどのように保証するかが問われます。
  • 完璧ではないモデル: AIモデルは決して100%完璧ではありません。特定の精度や再現率を目指すことになります。ユーザーに対して、AIの限界とトレードオフを明確に伝え、期待値を管理することが重要です。

AIエンジニアリングの真髄：反復と制約、そしてコスト最適化

Google PhotosのAIエンジニアリングチームは、これらの挑戦に立ち向かうために、AIをソフトウェアエンジニアリングの一部である「ツールセット」として捉えるアプローチを強調します。

  1. 制約の定義: AIエンジニアの最初の仕事は、ターゲットとする問題空間において、AIで解決できる問題とできない問題を明確に定義することです。
  2. 再現性のある決定論的結果: AIのランダム性を管理し、可能な限り決定論的で再現性のある結果を導き出すことが重要です。そのためには、堅牢な「ビルド評価」（ベンチマーク）システムを構築し、モデルの変更がもたらす影響を客観的に測定する必要があります。
  3. コスト（レイテンシー）の削減: 大規模なモデルから開始し、ユーザーにとって最適なレイテンシーとコストを実現するために、モデルの効率化に努めます。具体的には、「モデル蒸留（Model Distillation）」のような技術を用いて、より小さく、より高速なモデルを開発することが挙げられます。また、従来のコンピュータビジョン手法がMLモデルよりも効率的であれば、MLを使用しないという選択肢も常に考慮します。
  4. イテレーションごとの時間削減: 開発と評価のサイクル（イテレーション）を高速化することは、製品の改善速度を向上させる上で極めて重要です。より速いイテレーションは、より多くの試行と、それによって得られるより良い改善につながります。

AIの未来予測：イテレーションとユースケースが鍵

AIの未来は、誰にも予測できません。しかし、Google Photosチームの経験から、以下の点が常に重要であると結論付けられます。

  • 高速なイテレーション: AIの進化が速い時代において、迅速に新しいアイデアを試し、改善を繰り返す能力は、常に競争優位性となります。
  • 粘着性のある（スティッキーな）ユースケース: ユーザーの生活に深く根ざし、繰り返し使われるような具体的なユースケースに焦点を当てることで、製品は真の価値を提供し、市場での地位を確立できます。

AIの進歩は、以下のようなシナリオをたどるかもしれません。

  • AIの停滞: AIの進歩が一時的に停滞した場合、エンジニアリングチームは製品の品質と実用性に焦点を当て、既存の技術を最大限に活用することになります。
  • フロンティアの停滞 + モデル効率: AIの最前線が停滞しても、より効率的なモデルの開発が進むことで、オンデバイスAIのような「ローカルファースト」なアプローチが再び重要になるかもしれません。
  • フロンティアの減速 + モデル効率: AIの進歩が全体的に減速しても、モデル効率化は続き、オンデバイスでの機能実装の可能性を広げます。この場合、オンデバイスへの移行前に、まずローンチと評価を通じて価値を検証することが重要になります。
  • 継続的な進歩: AIが常に進化し続けるならば、可能なことを常にプロトタイプし、新しい技術を製品に統合していくことが求められます。
  • AGI (Artificial General Intelligence): 最終的にはAGIの時代が来るかもしれませんが、それはまだ遠い未来のことであり、その具体的な姿はまだ不明です。

まとめ

Google Photosの「Magic Editor」は、AI技術の最先端と、それを実用的な製品へと落とし込むGoogleのAIエンジニアリングの粋を集めたものです。この取り組みは、単に美しい写真を作成するだけでなく、AIが私たちの日常のデジタル体験をどのように変革できるかを示す強力な事例です。

AIは、私たちに前例のない能力を提供する一方で、サーバーインフラの管理、モデルの予測不可能性への対処、そして倫理的・社会的な責任といった新たな課題をもたらします。これらの課題に立ち向かうためには、AIを単なる魔法としてではなく、「ツール」として捉え、ソフトウェアエンジニアリングの基本原則（制約の定義、再現性、効率性、迅速なイテレーション）を適用することが不可欠です。

AIの未来は不確実ですが、高速なイテレーションを通じてユーザーの具体的な課題を解決し、信頼性と安全性を確保しながら、AIの知能と人間の創造性を融合させることで、Google Photosは今後も写真編集の未来をリードしていくことでしょう。

← 一覧に戻る