画像生成AIの性能を左右するのはモデル構造だけではない。Photoroomが公開したPRX開発の内部資料から、事前学習データの「多様性重視」という設計判断と、それを支えるキャプション戦略の実像が浮かび上がった。

事前学習は「幅」、微調整は「趣味」

Photoroomのデータ戦略で最も明確な指針は、学習段階ごとの役割分担だ。事前学習段階では美的な完成度よりも、視覚世界の多様性を網羅することに集中する。多少のスナップ写真や圧縮画像が含まれていても、コンセプトや構図のバリエーションをモデルに教え込む方が優先される。過度なフィルタリングはデータ分布を狭め、後から回復できない概念の欠落を招くリスクがある。仕上がりの美しさは、その後の微調整と厳選データセットによる嗜好調整に委ねる設計だ。

長文キャプションが「ノイズ」を資産に変える

PRXプロジェクトが得た重要な知見の一つが、キャプションの長さと正確性が生成品質を大きく左右するという点だ。短いキャプションから長文のものに切り替えただけで、サンプル品質が実質的に向上した。特筆すべきは、スクリーンショットや広告、ロゴといった通常「ノイズ」と見なされる要素への対処法だ。これらを除去するのではなく、正確に説明文に含めることで、モデルはそれらを条件付きで制御可能な属性として学習する。ノイズ除去ではなく、プロンプト制御の対象に変換する発想である。

既存データセットへの「立乗り」という現実解

Photoroomは一からデータセットを構築するのではなく、公開データセットと自社データを組み合わせる戦略を取った。既に品質フィルタリングや重複除去、NSFWコンテンツの除外が施されたデータソースを活用し、再作業のコストを回避している。7Bパラメータモデルの事前学習用としては「絶対的な最善ではない」と認めつつも、迅速な立ち上げを可能にした現実的な選択だったと振り返る。研究開発において、データセット構築の初期投資をどこまで外部に依存するかは、競争速度を左右する経営判断になりつつある。

MDS形式が支える分散訓練の基盤

データパイプラインの技術基盤として、Mosaic StreamingとMosaic Data Shards（MDS）形式が採用された。Mosaic Composerとの組み合わせにより、分散訓練環境でのメンテナンス負荷を低減しつつ、S3やGCSといったオブジェクトストレージからの直接訓練を実現している。データセットの混合やシャッフルも容易で、研究の反復速度を高める要素として機能した。インフラ選択が研究開発の柔軟性に直結する事例である。