JP6709761B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、動画像から前景領域を抜き出すビデオマッティングの技術に関する。

マッティングは、画像から被写体（前景）を切り抜き別背景と違和感なく合成する技術である。前景をＦ、背景をＢ、前景の透明度（アルファ値）をα（０≦α≦１）とすると、合成画像の各画素Ｉは次式で表される。

Ｉ＝αＦ＋（１−α）Ｂ

従来、様々なマッティング方法が提案されている。例えば、ＫＮＮ（Ｋ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ：Ｋ近傍法）マッティングでは、ある注目画素ｉは他のｋ個の類似画素（ＫＮＮ（ｉ））の線形近似から導出できると仮定し、アルファ値を求めている。

ＫＮＮを用いたビデオマッティングは、１枚の画像から前景を切り抜くマッティング技術を拡張したものであり、動画像から動いている被写体を切り抜く技術である。

Dingzeyu Li, Qifeng Chen, and Chi-Keung Tang, "Motion-Aware KNN Laplacian for Video Matting", ICCV '13 Proceedings of the 2013 IEEE International Conference on Computer Vision, IEEE Computer Society, December 2013, pp. 3599-3606

ビデオマッティングにおいて、フレーム画像の一枚一枚をマッティング処理した場合、ノイズや近似計算の誤差からフレーム間でアルファ値が変化し、前景画像の縁がちらつくフリッカと呼ばれる現象が発生することがある。

この問題に対して、非特許文献１では、ＫＮＮマッティングにおいて１枚のフレーム画像の特徴ベクトルを用いてラプラシアン行列を作成していたものを、複数のフレーム画像を同時に用いてラプラシアン行列を作成することでフリッカの発生を抑えた。

しかしながら、非特許文献１の技術では、参照するフレーム画像の数に従って行列のサイズが増大するため、計算量が膨大となってしまうという問題があった。例えば、参照するフレーム画像の数が１である場合、つまり２枚のフレーム画像を用いる場合、１枚のフレーム画像の画素数をＮとすると、必要な行列の大きさは２Ｎ×２Ｎとなる。

本発明は、上記に鑑みてなされたものであり、ビデオマッティングにおいてフリッカの発生を抑えるとともに、処理速度を向上させることを目的とする。

第１の本発明に係る画像処理装置は、動画像から前景画像を切り出す画像処理装置であって、前記動画像を構成するフレーム画像と当該フレーム画像において既知の前景及び背景を示す情報を入力する入力手段と、前記フレーム画像と前記既知の前景及び背景を示す情報を用いてＫ近傍法に基づくマッティングで用いるラプラシアン行列を導出するラプラシアン行列導出手段と、処理対象のフレーム画像と前のフレーム画像との間で透明度が変化しないと推定される静止領域を判別する静止領域判別手段と、前記Ｋ近傍法に基づくマッティングに前記静止領域の制約を加えて前記前景画像の透明度を算出する透明度算出手段と、前記前景画像の透明度を用いて前記前景画像を切り出す出力手段と、を有することを特徴とする。

第２の本発明に係る画像処理方法は、動画像から前景画像を切り出す画像処理装置によって実行される画像処理方法であって、前記動画像を構成するフレーム画像と当該フレーム画像において既知の前景及び背景を示す情報を入力するステップと、前記フレーム画像と前記既知の前景及び背景を示す情報を用いてＫ近傍法に基づくマッティングで用いるラプラシアン行列を導出するステップと、処理対象のフレーム画像と前のフレーム画像との間で透明度が変化しないと推定される静止領域を判別するステップと、前記Ｋ近傍法に基づくマッティングに前記静止領域の制約を加えて前記前景画像の透明度を算出するステップと、前記前景画像の透明度を用いて前記前景画像を切り出すステップと、を有することを特徴とする。

第３の本発明に係る画像処理プログラムは、上記画像処理装置の各手段としてコンピュータを動作させることを特徴とする。

本発明によれば、ビデオマッティングにおいてフリッカの発生を抑えるとともに、処理速度を向上させることができる。

本実施形態の画像処理装置の構成を示す機能ブロック図である。 本実施形態の画像処理装置の処理の流れを示すフローチャートである。 注目画素とフレーム画像内の各画素との類似度を示す図である。 ｋ個の類似画素の類似度を示す図である。 類似性行列の例を示す図である。 ｋ個の類似画素の類似度の総和を示す図である。 類似度の総和を対角化した対角行列の例を示す図である。 ラプラシアン行列の例を示す図である。 静止領域を判別し、静止領域に対する対角行列を導出する処理の流れを示すフローチャートである。

以下、本発明の実施の形態について図面を用いて説明する。

図１は、本実施形態の画像処理装置１の構成を示す機能ブロック図である。

画像処理装置１は、入力部１１、類似性行列計算部１２、静止領域判別部１３、透明度計算部１４、及び出力部１５を備える。画像処理装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは画像処理装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。

入力部１１は、動画像を構成する一連のフレーム画像とフレーム画像の既知情報である前景領域(絶対前景)と背景領域(絶対背景)に属する画素情報を入力する。画素情報は、例として、ｔｒｉｍａｐと呼ばれるフレーム画像の各画素に対して前景、背景、又は未知のラベルを付与した画像などでもよく、あるいはインタラクションによってユーザが既知の前景及び背景を指定したスクリブルを用いてもよい。

類似性行列計算部１２は、現在フレーム画像について、ＫＮＮに基づくマッティングで用いるラプラシアン行列を導出する。

静止領域判別部１３は、現在フレーム画像と前のフレーム画像との間でアルファ値が変化しないと推定される静止領域を判別する。静止領域は、フレーム画像間で対応する画素の変化が小さく、フレーム画像間で対応する画素が互いに同一のアルファ値を持つと思われる領域である。静止領域の判別には、オプティカルフロー、輝度値差分の閾値によるクラスタリング、パーティクルフィルタを利用できる。

透明度計算部１４は、ラプラシアン行列に既知領域（絶対前景・絶対背景）の制約を加えるとともに、さらに、静止領域の制約を加えた式を用いてアルファ値を求める。透明度計算部１４が用いる式については後述する。

出力部１５は、求めたアルファ値に従ってフレーム画像から前景画像を切り出す。

次に、本実施形態の画像処理装置１の動作について説明する。

図２は、本実施形態の画像処理装置１の処理の流れを示すフローチャートである。

入力部１１は、フレーム画像とｔｒｉｍａｐを入力する（ステップＳ１１）。

類似性行列計算部１２は、従来のＫＮＮマッティングと同様に、類似性行列Ａを求め、ラプラシアン行列Ｌを導出する（ステップＳ１２）。

ここで、ＫＮＮマッティングについて説明する。ＫＮＮマッティングでは、ある注目画素ｉは他のｋ個の類似画素（ＫＮＮ（ｉ））の線形近似から導出できるという仮定に基づき、アルファ値は次式として表される。

ここで、ｋ（ｉ，ｊ）は、特徴により重み付けされた線形カーネル関数であり、Ｘは特徴ベクトルである。ｋ（ｉ，ｊ）により位置ｉと位置ｊのアルファ値の類似度が得られる。類似性行列をＡ＝［ｋ（ｉ，ｊ）］とし、Ｄｉを対角化したものをＤとすると、次式となるαが導出したい全ての画素のアルファ値のベクトルである。

上記の式は解が不定となるため、従来のＫＮＮマッティングではｔｒｉｍａｐ等既知領域の制約を加えた次式によりαを導出する。

ここで、ｖは、ｔｒｉｍａｐ等により制約として与えられた各画素のアルファ値をベクトル化したものである。絶対前景の画素のアルファ値は１となる。絶対背景及び未知領域の画素のアルファ値は０となる。上記式のＤは、ｖを対角化した対角行列である。λは、ｔｒｉｍａｐ等の制約の影響を調節する係数である。

図３〜８を用いて、類似性行列計算部１２によるラプラシアン行列Ｌの導出を具体的に説明する。図３〜８では簡単のために１枚のフレーム画像が１４画素で構成されているものとする。

注目画素ｉとフレーム画像内の各画素との類似度を計算し、上位ｋ個（例えばｋ＝５）の類似画素を抽出する（図３）。

ｋ個の類似画素の対応箇所に類似度を代入する（図４）。

すべての画素に対して上記の処理を繰り返し、類似性行列Ａを導出する（図５）。フレーム画像の画素数をＮとすると、類似性行列Ａの大きさはＮ×Ｎとなる。

また、注目画素ｉのｋ個の類似画素の類似度の総和Ｄｉを算出し（図６）、対角行列Ｄの注目画素ｉに対応する箇所にＤｉを代入して対角行列Ｄを導出する（図７）。

そして、Ｄ−Ａ＝Ｌとなるラプラシアン行列Ｌを導出する（図８）。

以上の処理により、ラプラシアン行列Ｌが得られる。

図２に戻り、静止領域判別部１３は、静止領域を判別し、静止領域に対する対角行列Ｄｓを導出する（ステップＳ１３）。

図９は、静止領域を判別し、対角行列Ｄｓを導出する処理の流れを示すフローチャートである。本実施形態では、フレーム画像間の輝度値の差分を用いて静止領域を判別する。静止領域の判別の前処理として、現フレーム画像と前フレーム画像をグレースケール化し、Ｎ×Ｎの空の行列Ｄｓを用意しておく。

フレーム画像間で同位置にある画素の輝度値の差分を取る（ステップＳ２１）。

差分の絶対値が閾値（例えば１００）以下であり（ステップＳ２２のＹＥＳ）、かつ未知領域の画素である場合（ステップＳ２３のＹＥＳ）、対角行列Ｄｓの対応箇所の数値を１とする（ステップＳ２４）。

差分の絶対値が閾値を超えている場合（ステップＳ２２のＮＯ）、又は既知領域の画素である場合（ステップＳ２３のＮＯ）、対角行列Ｄｓの対応箇所の数値を０とする（ステップＳ２５）。

ステップＳ２１〜Ｓ２５の処理をフレーム画像内のすべての画素について行う（ステップＳ２６）。

以上の処理により、静止領域に対する対角行列Ｄｓが得られる。

図２に戻り、透明度計算部１４は、ラプラシアン行列にｔｒｉｍａｐ等既知領域の制約を加えるとともに、フレーム間の静止領域の制約を加えた次式を用いてアルファ値を計算する（ステップＳ１４）。

ここで、Ｄｍ，Ｄｓは制約となる対応画素が１となる対角行列、ｖｍ，ｖｓは制約として与えるアルファ値、λｍ，λｓはそれぞれの影響を調整する係数である。より具体的には、ｖｍはｔｒｉｍａｐ等の制約により与えられた各画素のアルファ値（絶対前景の画素は１、その他の画素は０）をベクトル化したものである。Ｄｍは、ｖｍを対角化した対角行列である。Ｄｓは、静止領域判別部１３で得られた静止領域に対する対角行列である。ｖｓは、前フレームのアルファ値をベクトル化したものであり、静止領域と判別された画素に対応する箇所には前フレームのアルファ値を入れる。本実施形態では、λｍ＝１０００，λｓ＝１０として、ｔｒｉｍａｐ等で指定された絶対前景をフレーム間で判別した静止領域よりも信頼した。

出力部１５は、透明度計算部１４の導出したアルファ値を用いて、現フレーム画像から前景画像を切り出して出力する（ステップＳ１５）。

本実施形態の画像処理方法を用いることで、従来のＫＮＮマッティングに比べてフリッカを抑制できることが確認できた。また、本実施形態の画像処理方法は、非特許文献１の方法よりも約２倍の処理速度であった。

以上説明したように、本実施の形態によれば、静止領域判別部１３が動画像のフレーム画像間の静止領域を判別し、フレーム間情報を加法型に分解することで、アルファ値を求めるために必要な行列のサイズを増大させることなく、複数のフレームを考慮してアルファ値を求めることができる。その結果、ビデオマッティングにおいてフリッカの発生を抑えるとともに、処理速度を向上させることができる。

１…画像処理装置
１１…入力部
１２…類似性行列計算部
１３…静止領域判別部
１４…透明度計算部
１５…出力部

Claims (5)

1. 動画像から前景画像を切り出す画像処理装置であって、
   前記動画像を構成するフレーム画像と当該フレーム画像において既知の前景及び背景を示す情報を入力する入力手段と、
   前記フレーム画像と前記既知の前景及び背景を示す情報を用いてＫ近傍法に基づくマッティングで用いるラプラシアン行列を導出するラプラシアン行列導出手段と、
   処理対象のフレーム画像と前のフレーム画像との間で透明度が変化しないと推定される静止領域を判別する静止領域判別手段と、
   前記Ｋ近傍法に基づくマッティングに前記静止領域の制約を加えて前記前景画像の透明度を算出する透明度算出手段と、
   前記前景画像の透明度を用いて前記前景画像を切り出す出力手段と、
   を有することを特徴とする画像処理装置。
2. 前記静止領域判別手段は、前景及び背景が既知でない画素について静止領域であるか否かを判別することを特徴とする請求項１に記載の画像処理装置。
3. 動画像から前景画像を切り出す画像処理装置によって実行される画像処理方法であって、
   前記動画像を構成するフレーム画像と当該フレーム画像において既知の前景及び背景を示す情報を入力するステップと、
   前記フレーム画像と前記既知の前景及び背景を示す情報を用いてＫ近傍法に基づくマッティングで用いるラプラシアン行列を導出するステップと、
   処理対象のフレーム画像と前のフレーム画像との間で透明度が変化しないと推定される静止領域を判別するステップと、
   前記Ｋ近傍法に基づくマッティングに前記静止領域の制約を加えて前記前景画像の透明度を算出するステップと、
   前記前景画像の透明度を用いて前記前景画像を切り出すステップと、
   を有することを特徴とする画像処理方法。
4. 前記静止領域を判別するステップは、前景及び背景が既知でない画素について静止領域であるか否かを判別することを特徴とする請求項３に記載の画像処理方法。
5. 請求項１又は２に記載の画像処理装置の各手段としてコンピュータを動作させることを特徴とする画像処理プログラム。

Images