指示に従って画像を編集するAIが、一度のやり取りで終わらず、連続した修正指示の連鎖に対応する能力を獲得しつつある。UCLAを中心とする研究チームは、強化学習を用いてこの「マルチターン編集」の成功率を高めるフレームワーク「MT-EditFlow」を発表した。

単発の成功が連鎖失敗を生む、対話型編集の構造的課題

従来の画像編集AIの性能評価は、1回の指示に対する編集結果の良し悪しに焦点が当てられてきた。しかし、ユーザーが望む画像に仕上げる実際の作業は「背景をもう少し明るく」「人物の服の色を変えて」といった指示を重ねる対話的なプロセスである。研究チームは、このマルチターン編集において、モデルが自分の出力した画像を基に次の編集を行う際に「露出バイアス」と呼ばれる誤差の蓄積が起こり、シーケンス全体が破綻する点を根本的な問題と指摘する。1回の失敗が後続の全手順を無駄にする、オール・オア・ナッシングの厳しさが、実用化への障壁だった。

「軌跡」全体を報酬で評価、独自の強化学習フレームワーク

研究チームが開発したMT-EditFlowは、この連続編集のプロセスを「編集の軌跡」として捉え、最終的な成果だけでなく、各手順の寄与を評価する報酬設計を組み込んだ手法である。中核となる発見は、個別の編集ステップの良さを評価した報酬を、シーケンス全体に一律に「放送（ブロードキャスト）」することで、モデルが目先の部分最適に陥らず、最終目標までの大局的な計画を学習できる点にある。このアプローチにより、FLUX.1-Kontext-devという基盤モデルで3ターン目の総合性能が6.85ポイント向上し、Qwen-Image-Editなどの既存の有力オープンソースモデルを上回る結果を示した。

報酬設計の分解が示す、AIと人の協働設計の新段階

本研究の工学的貢献は、報酬シグナルの設計そのものを体系的に分析した点にある。タスクをどの単位で切り分けて報酬を与えるか、視覚言語モデル（VLM）による判定の偏りと分散のトレードオフをどう取るか、部分的な成功へのご褒美が全体の「報酬ハッキング」を誘発しないよう、どのレベルで報酬を融合すべきか――これらの要素を分解し、GRPOとNFTという二種類の強化学習手法に共通する最適な構造を導き出した。これは、生成AIが単に指示に従う道具から、目的を共有しながら試行錯誤する協働者へと進化するための、設計思想の転換を示している。