JP6770442B2 - 画像処理装置及びそのプログラム - Google Patents

Description

本発明は、画像処理装置及びそのプログラムに関する。

従来より、オフライン又はリアルタイムを問わず、実写映像内の不要な被写体を隠蔽する手法が提案されている。ここで、実写映像から不要な被写体を隠蔽する際に、拡張現実の分野でリアルタイム処理を行うものは隠消現実と呼ばれている。以下、実写映像内の不要な被写体を隠蔽する際に、不要な被写体が映っている画像を、隠蔽される対象という意味で「ターゲット画像」と呼ぶ。また、不要な被写体が映っていない画像を、隠蔽元という意味で「ソース画像」と呼ぶ。

オフラインで不要な被写体を隠蔽する手法として、ソース画像を一枚だけ使用するポアソンエディッティングなど、合成境界線上の画素の勾配に着目した手法が提案されている（非特許文献１参照）。

また、隠消現実では、リアルタイムで不要な被写体を隠蔽する必要があるので、計算コストの低いアルゴリズムが利用されている。例えば、非特許文献２では、単純にターゲット画像間で画素の平均と分散を計算して、ソース画像の平均と分散をターゲット画像に合わせる手法が提案されている。また、非特許文献３では、画像上に格子状に並べたサンプリングポイントにおいて、ソース画像とターゲット画像との間で色空間内の誤差情報を取得し、サンプリングポイント以外の画素を補間する手法が提案されている。

P. Perez, M. Gangnet, and A. Blake, "Poisson Image Editing," Proc. ACM SIGGRAPH, pp. 313-318, 2003. 中島武眞、一刈良介、柴田史久、木村朝子、田村秀行、"隠消現実感における隠背景面復元の画質的整合の実現,"、電子情報通信学会 パターン認識・メディア理解研究会、電子情報通信学会技術研究報告、Vol. 110, No. 381、 PRMU2010-195、 pp. 359-364、 2011. J. Herling and W. Broll, "High-Quality Real-Time Video Inpainting with PixMix," IEEE Transactions on Visualization and Computer Graphics, Vol. 20, No. 6, pp.866-878, 2014.

しかし、非特許文献１に記載の手法は、最適化のための計算量が多く、根本的にリアルタイム処理には向いていない。また、非特許文献１に記載の手法は、照明条件が大きく変化する場合、勾配情報だけでは大きく変化する色を再現できず、シームレスな合成が困難であるという問題がある。

また、隠消現実では、照明を含む光学的条件が一定であるという仮定に立脚している。このため、非特許文献２に記載の手法は、照明条件が大きく変化する環境下で被写体を隠蔽することが困難である。さらに、非特許文献３に記載の手法は、照明条件が大きく変化する場合には補間しきれないという問題がある。
このように、従来技術では、オフラインかリアルタイムかを問わず、照明条件が大きく変化する場合、リアルタイムで高品質な合成を行うことが困難であるという問題がある。

そこで、本発明は、照明条件が大きく変化する場合でも、リアルタイムで高品質な画像処理を可能とする画像処理装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本発明に係る画像処理装置は、強度又は色度の少なくとも一方が変化する照明条件において、複数の照明のうち何れか１つが点灯したときに撮影した点灯画像と、全ての照明が消灯したときに撮影した消灯画像と、照明毎の照明強度及び色度を表す重み係数とを用いて、処理対象が含まれる撮影画像に所定の画像処理を施す画像処理装置であって、素材画像生成部と、画像処理部と、を備える構成とした。

かかる画像処理装置は、素材画像生成部によって、照明毎に点灯画像と消灯画像との差分画像を生成し、重み係数を差分画像のそれぞれに乗算し、重み係数が乗算された差分画像と消灯画像とを加算する。このように、画像処理装置は、画像の差分及び重み係数の乗算という低コストな演算により、撮影画像に対応した明るさ及び色合いの素材画像を生成できる。
そして、画像処理装置は、画像処理部によって、素材画像を用いて、画像処理を撮影画像に施す。

本発明に係る画像処理装置は、低コストな演算により撮影画像に対応した明るさ及び色合いの素材画像を生成するので、照明条件が大きく変化する場合でも、リアルタイムで高品質な画像処理を可能とする。

本発明の実施形態に係る画像合成システムの概要図である。 基底画像の撮影を説明する説明図である。 センサ画像の一例を説明する説明図である。 画像合成装置の構成を示すブロック図である。 ソース画像の生成を説明する説明図である。 （ａ）及び（ｂ）は画像合成処理を説明する説明図である 誤差の調整を説明する説明図である。 画像合成装置の動作を示すフローチャートである。 （ａ）はターゲット画像の一例であり、（ｂ）は合成画像の一例である。

（実施形態）
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１を参照し、本発明の実施形態に係る画像合成システム１の概要について説明する。

［画像合成システムの概要］
画像合成システム１は、強度又は色度の少なくとも一方が変化する照明条件において、不要な被写体が含まれるターゲット画像（撮影画像）に、その被写体が含まれないソース画像（素材画像）の画像領域を合成することで、不要な被写体を隠蔽するものである。

図１に示すように、画像合成システム１は、照明条件が変化するスタジオ２に設置されており、照明３（３_１〜３_３）と、スタジオカメラ４と、センサカメラ５と、画像合成装置（画像処理装置）６と、を備える。

スタジオ２は、例えば、床面及び壁面を有し、この壁面に沿って３個の被写体９（９_１〜９_３）が配置されている。被写体９は、例えば、円筒体の上側端面に球体を乗せた形状であり、全て同一形状であることとする。本実施形態では、３個並んだ被写体９のうち、中央の被写体９_１の球体が処理対象であることとする。つまり、画像合成システム１は、被写体９_１の球体を不要な被写体として、背景（壁面）で隠蔽する画像合成処理を行う。
なお、処理対象とは、画像処理の対象となるオブジェクトのことである。

また、スタジオ２は、天井に３個の照明３が設置され、被写体９の正面にスタジオカメラ４が配置され、床面にセンサカメラ５が配置されている。なお、図１では、説明のために一部壁面の図示を省略した。

照明３は、一般的な照明であり、例えば、図示を省略した照明コントローラで照明強度をリアルタイムに制御できる。本実施形態では、１個目の照明３_１が赤色に点灯し、２個目の照明３_２が緑色に点灯し、３個目の照明３_３が白色に点灯する。そして、これら照明３_１〜３_３の照明強度を様々に変化させることで、スタジオ２の明るさや色を自在に変化させることができる。

スタジオカメラ４は、一般的な放送番組撮影用のカメラである。このスタジオカメラ４は、被写体９の正面からターゲット画像を撮影し、画像合成装置６に出力する。また、スタジオカメラ４は、後記する基底画像（点灯画像）及びオフセット画像（消灯画像）を撮影し、画像合成装置６に出力してもよい。本実施形態では、ターゲット画像、基底画像及びオフセット画像は、同一画角で撮影された同一画素数の画像であることとする。

基底画像は、照明３_１〜３_３のうち何れか一つが点灯したときに撮影した画像であり、照明３_１〜３_３のそれぞれについて生成する。ここで、基底画像は、処理対象である被写体９_１の球体がなく、被写体９_１の球体の背面に位置する壁面が映っている。なお、被写体９_２，９_３の球体は残してもよいし、なくてもよい。図２に示すように、照明３_１の基底画像は、照明３_１のみを点灯したときに撮影する。また、照明３_２，３_３の基底画像も照明３_１の基底画像と同様、照明３_２，３_３のみが点灯したときに撮影する。つまり、画像合成システム１は、３枚の基底画像を撮影する。
なお、図２では、照明３_２，３_３が消灯していることを示すため、照明３_２，３_３を破線で図示した。

オフセット画像は、全ての照明３_１〜３_３が消灯したときに撮影した画像である。つまり、画像合成システム１は、照明３_１〜３_３を消灯したときに、１枚のオフセット画像を撮影する。ここで、オフセット画像は、基底画像の撮影時と同様、処理対象である被写体９_１の球体がなく、被写体９_１の球体の背面に位置する壁面が映っている。なお、被写体９_２，９_３の球体は残してもよいし、なくてもよい。

センサカメラ５は、スタジオ２の広範囲を撮影できるように、超広角レンズ（魚眼レンズ）を有するカメラである。このセンサカメラ５は、全ての照明３が含まれるセンサ画像（照明画像）をリアルタイムで撮影し、画像合成装置６に出力する。図３に示すように、センサ画像は、全ての照明３_１〜３_３が映る状態で撮影され、後記する重み係数の算出に利用される。
なお、図３では、図面を見やすくするため、照明３の光源部分のみを図示し、フード部分の図示を省略した。

ここで、照明条件がダイナミックに変化する環境下では、ターゲット画像の明るさや色合いがダイナミックに変化するので、ソース画像の明るさや色合いがターゲット画像に対応していないと画像処理に利用できない。そこで、画像合成装置６は、センサ画像から算出した各照明３の照明強度及び色度（重み係数）を利用し、リアルタイムにソース画像を合成する。

［画像合成装置の構成］
図４を参照し、画像合成装置６の構成について説明する。
画像合成装置６は、照明強度又は色度の少なくとも一方が変化する照明条件において、基底画像と、オフセット画像と、重み係数とを用いて、ターゲット画像に画像合成処理を施すものである。図４に示すように、画像合成装置６は、ソース画像合成部（素材画像生成部）６１と、照明強度・色度算出部（重み係数算出部）６３と、画像処理部６５と、を備える。

ソース画像合成部６１は、例えば、スタジオカメラ４より基底画像及びオフセット画像が入力され、入力された基底画像及びオフセット画像を用いて、ソース画像を合成（生成）するものである。そして、ソース画像合成部６１は、合成したソース画像を画像処理部６５に出力する。以下、ソース画像の生成について、具体的に説明する。

＜ソース画像の生成＞
まず、ソース画像合成部６１は、照明３の基底画像とオフセット画像との差分であるエレメント画像を生成する。つまり、ソース画像合成部６１は、基底画像とオフセット画像との間で同一画素位置の画素値の差分を求め、各画素の画素値の差分を表すエレメント画像を生成する。図５に示すように、ソース画像合成部６１は、照明３_１の基底画像とオフセット画像Ｉ_ｏｆｆとの差分であるエレメント画像Ｉ_Ｅ１を生成する。また、ソース画像合成部６１は、照明３_２の基底画像とオフセット画像Ｉ_ｏｆｆとの差分であるエレメント画像Ｉ_Ｅ２を生成する。さらに、ソース画像合成部６１は、照明３_３の基底画像とオフセット画像Ｉ_ｏｆｆとの差分であるエレメント画像Ｉ_Ｅ３を生成する。

次に、ソース画像合成部６１は、照明強度・色度算出部６３から入力された照明３_１〜３_３の重み係数ｗ_１〜ｗ_３を照明３_１〜３_３のエレメント画像Ｉ_Ｅ１〜Ｉ_Ｅ３に乗算する。図５に示すように、ソース画像合成部６１は、エレメント画像Ｉ_Ｅ１の各画素の画素値に重み係数ｗ_１を乗算する。また、ソース画像合成部６１は、エレメント画像Ｉ_Ｅ２の各画素の画素値に重み係数ｗ_２を乗算する。さらに、ソース画像合成部６１は、エレメント画像Ｉ_Ｅ３の各画素の画素値に重み係数ｗ_３を乗算する。

次に、ソース画像合成部６１は、重み係数ｗ_１〜ｗ_３が乗算されたエレメント画像Ｉ_Ｅ１〜Ｉ_Ｅ３とオフセット画像Ｉ_ｏｆｆとを加算する。つまり、ソース画像合成部６１は、エレメント画像Ｉ_Ｅ１〜Ｉ_Ｅ３とオフセット画像Ｉ_ｏｆｆとの間で同一画素位置の画素値を加算する。このように、ソース画像合成部６１は、隣接画素の情報を用いることなく、画素単位でソース画像Ｉ_Ｓを生成する演算を行う。

すなわち、ソース画像合成部６１は、下記の式（１）を用いて、ソース画像Ｉ_Ｓを合成（生成）する。ここで、Ｉ_Ｓがソース画像であり、ｎが照明３の数であり、ｗ_ｉがｉ番目の照明３に対応した重み係数であり（但し、１≦ｉ≦ｎ）、Ｉ_ｉがｉ番目の照明３に対応した基底画像であり、Ｉ_ｏｆｆがオフセット画像であり、Ｉ_ｉ−Ｉ_ｏｆｆがｉ番目の照明３に対応したエレメント画像Ｉ_Ｅｉである。

図４に戻り、画像合成装置６の構成について説明を続ける。
照明強度・色度算出部６３は、センサカメラ５よりセンサ画像が入力され、入力されたセンサ画像から、明るさの線形性の原理により重み係数ｗ_ｉを算出するものである。そして、照明強度・色度算出部６３は、算出した重み係数ｗ_ｉをソース画像合成部６１に出力する。この重み係数ｗ_ｉは、照明３_１〜３_３それぞれの照明強度及び色度を表す。

ここで、明るさの線形性の原理とは、全ての照明３が点灯したときの明るさが、それぞれの照明３が点灯したときの明るさの和になることである。例えば、明るさの線形性の原理により重み係数ｗ_ｉを算出する手法は、下記の参考文献１，２に記載されている。

参考文献１：盛岡寛史、大久保英彦、三ツ峰秀樹、“映像合成のためのカラーセンサカメラによるリアルタイム照明推定手法”、映像情報メディア学会年次大会講演予稿集（２０１４）、１１−３、一般社団法人映像情報メディア学会
参考文献２：特開２０１５−２１３２３４号公報

以下、参考文献１に記載の手法について説明する。
まず、照明強度の推定対象となるｉ番目の照明３のみを点灯した基底画像から、輝度値が飽和した点及び一定輝度以下の点をマスクした画素の輝度値を、照明画像ベクトルｐ_ｉとして求める。ここで、各照明画像ベクトルｐ_１，…，ｐ_ｎを列ベクトルとする行列Ｆを定義する。また、各照明３の照明強度を正規化した値ｋ_１，…，ｋ_ｎをベクトル化したものを照明強度ベクトルｋとする。この場合、各チャンネルについて、以下の式（２）が成立する。

この式（２）は、照明３の明るさの線形性の原理を利用したものである。一般的には、行列Ｆは、行数が列数より大きく正方行列にならないので、擬似逆行列Ｆ^＋を用いて、照明強度ベクトルｋ＝Ｆ^＋ｐ_ｉを求める。これにより、照明３の照明強度を推定できる。

ここで、ＲＧＢ３チャンネルのうち、１チャンネルに着目したものが照明強度となる。つまり、前記した式（２）をＲチャンネルに適用すると、その照明３について、Ｒチャンネルの照明強度が求められる。一方、ＲＧＢの全チャンネルに着目したものが色度となる。つまり、前記した式（２）をＲＧＢの全チャンネルに適用すると、その照明３の色度が求められる。つまり、色度は、各チャンネルの照明強度を要素とする３次元ベクトルで表される。

画像処理部６５は、ソース画像合成部６１から入力されたソース画像Ｉ_Ｓを用いて、スタジオカメラ４から入力されたターゲット画像に所望の画像処理を施すものである。図４に示すように、画像処理部６５は、画像合成部６５１と、誤差調整部６５３とを備える。

画像合成部６５１は、ターゲット画像の処理対象に対応した画像領域をソース画像Ｉ_Ｓから切り出して、切り出した画像領域をターゲット画像の処理対象領域に合成するものである。以下、画像合成処理について説明する。

＜画像合成処理＞
図６（ａ）に示すように、画像合成部６５１は、ターゲット画像Ｉ_Ｔにおいて、外部から、被写体９_１の球体を含んだ処理対象領域αが指定される。例えば、画像合成システム１の利用者が、図示を省略したマウス等の操作手段を介して、画像合成部６５１に処理対象領域αを指定（入力）する。

次に、画像合成部６５１は、指定された処理対象領域αと同一位置、同一形状及び同一サイズの画像領域βを、ソース画像Ｉ_Ｓに設定する。そして、画像合成部６５１は、図６（ｂ）に示すように、ソース画像Ｉ_Ｓから画像領域βを切り出して、切り出した画像領域βをターゲット画像Ｉ_Ｔの処理対象領域αに貼り付ける。このようにして、画像合成部６５１は、処理対象（被写体９_１の球体）が含まれない合成画像Ｉ_Ｇを生成する。

図４に戻り、画像合成装置６の構成について説明を続ける。
図７に示すように、基底画像の撮影時及び合成画像Ｉ_Ｇの合成時に発生する誤差のため、合成画像Ｉ_Ｇでは、画像領域βで色ズレが発生することが多い（図７のハッチング部分）。このため、この色ズレを補正して画像合成処理を行うための調整が必要になる。

誤差調整部６５３は、ターゲット画像Ｉ_Ｔに対する、画像合成部６５１が生成した合成画像Ｉ_Ｇの明るさ及び色合いの誤差を調整するものである。そして、誤差調整部６５３は、誤差を調整した合成画像を外部に出力する。

本実施形態では、誤差調整部６５３は、下記の参考文献３に記載の手法を利用して、誤差を調整する。この場合、誤差調整部６５３は、画像内に格子状のサンプリングポイントを設定し、ソース画像Ｉ_Ｓとターゲット画像Ｉ_Ｔとの間において、同一サンプリングポイントに位置する画素の誤差を計測する。そして、誤差調整部６５３は、合成画像Ｉ_Ｇに対し、誤差を補正する調整を行う。このように、誤差調整部６５３は、隣接サンプリングポイントの情報を用いることなく、各サンプリングポイントの画素の誤差を調整できる。さらに、誤差調整部６５３は、サンプリングポイント以外の画素について、補間処理（例えば、非線形補間）を行う。ここでも画素同士は互いに独立して計算できるので、並行処理を行うことができる。なお、誤差調整部６５３は、ソース画像Ｉ_Ｓとターゲット画像Ｉ_Ｔとの明るさや色合いが近いため、参考文献３に記載の手法により誤差を調整できる。

参考文献３：J. Herling and W. Broll, “High-Quality Real-Time Video Inpainting with PixMix,” IEEE Transactions on Visualization and Computer Graphics, Vol. 20, No. 6, pp.866-878, 2014.

［画像合成装置の動作］
図８を参照し、画像合成装置６の動作について説明する（適宜図４参照）。
照明強度・色度算出部６３は、センサカメラ５より入力されたセンサ画像から、明るさの線形性により重み係数を算出する（ステップＳ１）。

ソース画像合成部６１は、各照明３の基底画像とオフセット画像との差分に基づいて、各照明３のエレメント画像を生成する（ステップＳ２）。
ソース画像合成部６１は、ステップＳ１で算出した重み係数を、ステップＳ２で生成した各照明３のエレメント画像に乗算することで、ソース画像を生成する（ステップＳ３）。

画像合成部６５１は、ターゲット画像の不要な被写体に対応した画像領域をソース画像から切り出して、切り出した画像領域をターゲット画像の処理対象領域に合成することで、合成画像を生成する（ステップＳ４）。
誤差調整部６５３は、ターゲット画像に対する、ステップＳ４で生成した合成画像の明るさ及び色合いの誤差を調整する（ステップＳ５）。

［作用・効果］
画像合成装置６は、低コストな演算によりターゲット画像に対応した明るさ及び色合いのソース画像を生成するので、照明条件がダイナミックに変化する場合でも、高品質な画像合成処理を行うことができる。これにより、画像合成装置６は、リアルタイムで不要な被写体９の隠蔽が可能となり、多様な合成表現を実現することができる。

さらに、画像合成装置６は、ソース画像合成部６１や画像処理部６５が画素単位で演算できるので、ＧＰＵ（Graphics Processing Unit）により画素毎に並列処理が可能となり、より高速で画像合成処理を行うことができる。

以上、本発明の実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、画像合成処理を施すこととして説明したが、本発明は、画像合成処理以外の画像処理を行ってもよい。

前記した実施形態では、照明が３個であることとして説明したが、本発明は、これに限定されない。つまり、照明は、２個又は４個以上であってもよい。さらに、本発明は、各照明の色が制限されず、全て同色であってもよく、２以上の異なる色であってもよい。

前記した実施形態では、画像合成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、コンピュータが備えるＣＰＵ(Central Processing Unit)、メモリ、ＨＤＤ(Hard Disk Drive)、ＳＳＤ(Solid State Drive)等のハードウェア資源を、画像合成装置として協調動作させる画像合成プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記憶媒体に書き込んで配布してもよい。

（実施例）
以下、本発明の実施例として、不要な被写体を隠蔽する画像合成の実験を行った。その結果を図９に示す。図９（ａ）のターゲット画像Ｉ_Ｔには、白枠内にカメラ（不要な被写体）が含まれている。なお、図９（ａ）の白枠は、説明を分かり易くするために付したものであり、実際のターゲット画像Ｉ_Ｔには含まれていない。

そして、本発明に係る画像合成装置は、図９（ａ）のターゲット画像Ｉ_Ｔに画像合成処理を施し、図９（ｂ）の合成画像Ｉ_Ｇを生成した。図９（ｂ）の合成画像Ｉ_Ｇでは、不要な被写体が隠蔽されており、貼り付けた画像領域の境界を見分けることができない。このように、本発明に係る画像合成装置は、高品質な画像合成処理を行うことができる。さらに、本発明に係る画像合成装置は、１枚のフレーム画像を約数１０ミリ秒で処理可能であり、リアルタイムでの使用に耐え得ることがわかる。

６ 画像合成装置
６１ ソース画像合成部（素材画像生成部）
６３ 照明強度・色度算出部（重み係数算出部）
６５ 画像処理部
６５１ 画像合成部
６５３ 誤差調整部

Claims (5)

1. 強度又は色度の少なくとも一方が変化する照明条件において、複数の照明のうち何れか１つが点灯したときに撮影した点灯画像と、全ての前記照明が消灯したときに撮影した消灯画像と、前記照明毎の照明強度及び色度を表す重み係数とを用いて、処理対象が含まれる撮影画像に所定の画像処理を施す画像処理装置であって、
   前記照明毎に前記点灯画像と前記消灯画像との差分画像を生成し、前記重み係数を前記差分画像のそれぞれに乗算し、前記重み係数が乗算された差分画像と前記消灯画像とを加算することで、前記撮影画像に対応した明るさ及び色合いの素材画像を生成する素材画像生成部と、
   前記素材画像を用いて、前記画像処理を前記撮影画像に施す画像処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記画像処理部は、
   前記撮影画像の処理対象に対応した画像領域を前記素材画像から切り出して、切り出した前記画像領域を前記撮影画像の処理対象領域に合成することで、前記処理対象が含まれない合成画像を生成する画像合成部と、
   前記撮影画像に対する、前記合成画像の明るさ及び色合いの誤差を調整する誤差調整部と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記全ての照明が撮影された照明画像から、明るさの線形性の原理により前記重み係数を算出する重み係数算出部、
   をさらに備えることを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記素材画像生成部は、画素単位の演算により前記素材画像を生成し、
   前記画像処理部は、画素単位で前記画像処理を行うことを特徴とする請求項１から請求項３の何れか一項に記載の画像処理装置。
5. コンピュータを、請求項１から請求項４の何れか一項に記載の画像処理装置として機能させるための画像処理プログラム。