白黒映像のカラー化を研究 AIで作業効率向上 大相撲中継で制作映像を披露/NHKアート
 [2017年7月10日]


 NHKアートはこれまでにも、2015年に放送された『NHKスペシャル カラーでみる太平洋戦争』で、モノクロ映像のカラー化を担当。ここではマニュアル作業を中心に、作業するコマ数が増えないようフレームレートを29.97から撮影時の24に戻したり、映像としてのリアリティーを残しながら傷消しやスタビライズを施したりするなどの工夫をしていた。
 従来の一連の作業で最も大変なのは、人物の顔や衣類、背景などオブジェクトごとの細かなマスク切りとトラッキング、およびその後の実際の色着けといった工程であった。
新システムではこれを前提に、AI(ディープラーニング)によってそれらの作業を自動化し効率化を実現。さらに、シーケンスの代表的なカットをマニュアルで着色し、これをAIが学習することで少ない学習量でも意図した映像に近づけることにも成功している。
 今回のカラー化映像制作は、『カラーでみる太平洋戦争』などの実績を背景に今年の4月中旬に依頼を受け、このシステムの活用を提案して実施にいたった。
 制作進行およびシステム開発の企画・提案を担当した伊佐早さつき氏は、「カラー化番組の後、作業時間の短縮のほか、戦中の映像には悲惨な場面も含まれていたことから、時間だけでなく精神的な負担の軽減が必要だと考え、Ridge-i社と共同でAIを使ったシステム開発を始めた」と説明する。
 今回の案件では、作業期間やスタッフ数などの条件があったため、「効率化を望める手段として担当の番組ディレクターにシステムの利用を相談。開発途中ではあるが、数カットだけでも試してみることになった」(同氏)。
 Ridge-i社とは、前年から研究開発に着手。当時、静止画を着色するAIが発表されており、いくつかを調査したところ、同社の技術なら映像制作に応用できるのではないかと協業に至った。
 開発時には、番組で使う映像である以上、ただ色をつけるのではなく視聴者に意図を伝えられるよう仕上げることを重視している。このため「狙った色を狙った部分につけられる技術」(伊佐早氏)を目指し、AIの得意と不得意、またどの作業をAIにさせるのかを整理・検討した。
 課題となったのが史実との齟齬(そご)や、乗用車や一般的な衣類などさまざまな色があるオブジェクトの場合に、AIが中間色を選んでしまうこと。また、単色でのベタ塗りになりがちなことも克服すべき点だった。
 伊佐早氏は、「当社ではマニュアル作業の際、グラデーションマップを利用し、オリジナルのモノクロ素材の輝度を変えずに色をのせてきた。AIでも同様にしたかったが難易度が高いことが分かり、人間が塗った濃淡を学習させることになった」と説明する。
 作業量が減ることから、スタッフがよりクリエイティブな内容に集中できる利点も生まれているという。

(つづき・詳細は映像新聞 2017年7月10日号1面)


VISUAL COMMUNICATION JOURNAL THE EIZO SHIMBUN ©Eizo Shimbun, Inc. 映像新聞社 映像新聞ウェブサイト Home