JP6489551B2 - 画像のシーケンスにおいて前景を背景から分離する方法およびシステム - Google Patents

Description

本発明は、包括的には、画像処理に関し、より詳細には、画像のシーケンスにおいて、前景コンテンツを背景コンテンツから分離することに関する。

前景／背景（ＦＧ／ＢＧ）分離は、前景コンテンツが背景コンテンツと異なる運動を有するビデオ監視、ヒューマンコンピューターインターラクション、およびパノラマ写真等の用途において用いることができる。例えば、ＦＧ／ＢＧ分離は、物体検出、物体分類、軌道分析、および通常でない運動の検出を改善し、画像のシーケンス（ビデオ）に表された事象の高レベルの理解をもたらすことができる。

ロバスト主成分分析（ＲＰＣＡ）がこの分離に用いられるとき、ＲＰＣＡは、観察されたビデオ信号

を、低ランク成分

と、補完的なスパース成分

とに分解することができることを前提としている。このため、ＦＧ／ＢＧ分離は、ＸおよびＳの最適化問題として、下式（１）により定式化することができ、

ここで、｜｜・｜｜_＊は、行列の核ノルムであり、｜｜・｜｜_１は、行列をベクトル化したもののｌ_１ノルムであり、λは、正則化パラメーターである。ＲＰＣＡ問題の解法は、完全なまたは部分的な特異値分解（ＳＶＤ）を反復ごとに計算することを伴う。

複雑度を低減するために、低ランク行列フィッティング（ＬＭａＦｉｔ：Ｌａｗ−Ｒａｎｋ Ｍａｔｒｉｘ Ｆｉｔｔｉｎｇ）等のいくつかの技法が、低ランク因数を用いて説明されており、計算複雑度を制限するために、それらの因数にわたって最適化を行う。低ランク成分に関する行列の因数分解は、Ｘ＝ＬＲ^Ｔを表し、ここで、

であり、

であり、ｒ≧ｒａｎｋ（Ｘ）である。

因数分解に基づくＲＰＣＡ法は、以下のような拡張ラグランジュ交互方向法（ＡＤＭ）を用いて、下式（２）により定式化して解くことができ、

ここで、｜｜・｜｜_Ｆは、行列のフロベニウスノルムであり、λは、正則化パラメーターであり、Ｙは、ラグランジュ双対変数であり、μは、拡張ラグランジュパラメーターであり、Ｅ＝Ｂ−ＬＲ^Ｔ−Ｓである。式（１）における核ノルム｜｜Ｘ｜｜_＊は、

という知見に基づいて、式（２）では、

に置き換えられていることに留意されたい。ここで、Ｘ＝ＬＲ^Ｔであり、Ｔは、転置演算子である。

図３は、式（２）を解くのに用いられる反復のためのアルゴリズム１の擬似コードを示している。ステップ５におけるソフト閾値処理演算子は、

であることに留意されたい。ここで、

は、スパース成分に構造を課さない。

近年、構造化されたスパース性の技法が、ＲＰＣＡ法に適用されている。スパース技法は、過完備基底を学習して、データを効率的に表す。この技術では、スパース行列は、要素のほとんどがゼロである行列である。これとは対照的に、要素のほとんどが非ゼロである場合、行列は、密とみなされる。行列におけるゼロ要素（非ゼロの要素）の割合は、スパース性（密度）と呼ばれる。これは、スパースデータがランダムに位置していないことが多く、密集する傾向を有するという知見によって、主に動機付けられている。

例えば、動的グループスパース性（ＤＧＳ）と呼ばれる１つの学習定式化は、局所的クラスタリングに有利であるスパース成分を選択する際に、プルーニング（pruning）ステップを用いる。もう１つの手法は、式（１）におけるｌ_１ノルムを以下のように定義される混合型のｌ_２、１ノルムに置き換えることによって、グループスパース性を実施し、

ここで、Ｓ_ｇは、グループｇに対応する成分であり、ｇ＝１、・・・、ｓであり、ｗ_ｇは、各グループに関連付けられた重みである。その結果得られる問題を定式化したものは、以下となる。

ＰＣＡファミリーの最新のＦＧ／ＢＧ分離手法は、静止カメラを用いて取得された画像シーケンスおよび大部分が静的な背景にかなり効果的である。しかしながら、分離性能は、移動するカメラを用いた画像シーケンスの場合に低下し、その結果、運動ジッターが制限されていても、背景に仮現運動が生じる場合がある。そこで、ＲＰＣＡに基づくＦＧ／ＢＧ分離方法を適用する前に、大域的運動補償（ＭＣ）によって、画像が位置合わせされる。

移動するカメラのシーケンスでは、背景内の運動は、もはや低ランク仮定を満たさない。したがって、ＲＰＣＡを適用するために、ＲＰＣＡを用いる前の画像シーケンスに対する事前処理ステップにおいて、ホモグラフィーモデルを用いた大域的運動補償を用いることができる。

大域的運動補償を実行する１つの手法は、画像シーケンスのホモグラフィーモデルを計算することである。８パラメーターホモグラフィーモデルｈ＝［ｈ_１、ｈ_２、・・・、ｈ_８］^Ｔでは、現在の画像内の対応するピクセルＸ_１＝（ｘ_１、ｙ_１）^Ｔと、その基準画像内のピクセルＸ_２＝（ｘ_２、ｙ_２）^Ｔとが、以下の式に従って関係付けられる。

現在の画像内のピクセルロケーション（ｘ_１、ｙ_１）を基準画像内のそれに対応するロケーション（ｘ_２、ｙ_２）に関連付ける局所的運動情報が与えられると、最小二乗（ＬＳ）フィッティング：ｂ＝Ａｈによってホモグラフィーモデルｈを推定することができる。ここで、ｂは、ベクトルＸ_２をスタックすることによって構成されるベクトルであり、各Ｘ_２に対応するＡの行は、以下のように指定される。

対応する奥行きマップを有する画像シーケンスは、特に、マイクロソフト社のＫｉｎｅｃｔ（商標）のような奥行きセンサーの急速な成長および立体画像からの奥行き推定アルゴリズムの進歩に伴って、今や一般的である。奥行きデータおよびカラーデータを併せて用いることによって、優れた分離結果が生成される。また、奥行き強調は、照明の変化、陰影、反射、およびカモフラージュを、より良好に取り扱うことができる。

本発明の実施の形態は、画像のシーケンスを処理する方法を提供する。本方法は、背景差分問題を解くのに、奥行きに基づくグループスパース性を用いた新規なＰＣＡ枠組みを有する代数分解を用いる。

本方法は、画像のシーケンス、例えば、ビデオ内のグループオブピクチャ（ＧＯＰ）を、低ランク成分とグループスパース前景成分との和に分解する。低ランク成分は、シーケンスにおける背景を表し、グループスパース成分は、シーケンスにおける前景の移動する物体を表す。

移動するカメラを用いてシーンから取得されたビデオの場合、まず、運動ベクトルがビデオから抽出される。例えば、このビデオは、運動ベクトルを有するビットストリームとして符号化されている。次に、関連付けられた奥行きマップが、運動ベクトルと組み合わされて、ビデオ内の画像ごとの大域的運動を照合する１４個のパラメーターを有するパラメトリック透視投影モデルが計算される。

本発明の実施の形態による画像のシーケンスを処理する方法の流れ図である。 本発明の実施の形態に従って画像を位置合わせおよびワープする流れ図である。 従来技術の因数分解型ＲＰＣＡアルゴリズムのブロック図である。 本発明の実施の形態による奥行き重み付きグループ単位アルゴリズムのブロック図である。

ＲＰＣＡ問題の定式化では、ビデオ背景は、低ランク成分Ｘを用いてモデル化することができる小さな変化を有するものと仮定される。Ｓによって表される、例えば、移動する物体等の前景コンテンツは、スパースであり、背景とは異なるタイプの運動を有すると仮定される。

従来技術のＦＧ／ＢＧ分離アルゴリズムは、一般に、分離の際に前景物体の構造を組み込まない。

本実施の形態は、例えば、移動するカメラによって取得されたシーケンスに対する大域的運動補償における位置合わせ不良を原因とする、背景におけるより大きな変化を克服することができる構造化されたグループスパース性に基づくＰＣＡ法を提供する。

奥行き重み付きグループ単位ＰＣＡ
実際の画像シーケンスでは、前景物体（スパース成分）は、均一に分布しているのではなく、空間的および時間的の双方において密集する傾向を有する。この知見が、ＲＰＣＡ手法へのグループスパース性の導入につながり、スパース成分を、より構造化されたグループに移すことになった。

本発明者らの方法は、ビデオの奥行きマップを用いて、奥行き重み付きグループ単位ＰＣＡ（ＤＧ−ＰＣＡ）法におけるグループ構造を定義する。

構造化されたスパース性を取り扱うために、因数分解されたＲＰＣＡ問題におけるｌ_１ノルムは、式（５）に定義された混合型のｌ_２、１ノルムに置き換えられる。このｌ_２、１ノルムは、奥行きマップにおける奥行きの単調増加関数に基づいている。その結果得られる問題は、以下のものとなる。

図１は、画像のシーケンス（ビデオ）において前景コンテンツを背景コンテンツから分離する方法１０５を示している。この方法は、本発明の実施の形態による奥行き重み付きグループ単位ＰＣＡ（ＤＧ−ＰＣＡ）１１０を用いる。カメラ１５０は、実世界のシーン１５１のビデオＶを取得する。カメラは、静止させておくこともできるし、移動させることもできる（１５５）。カメラは、カラーセンサーと、ビデオと同期した奥行きマップＤを取得する奥行きセンサーとを用いてカラー画像を取得するＫｉｎｅｃｔ（登録商標）とすることができる。

ビデオ内の背景は、事前処理ステップにおいて位置合わせすることができる（１６０）（図２参照）。背景が位置合わせされたビデオＢ＝Ａ（Ｙ） １０１および奥行きに基づくピクセルグループＧ １０２が、方法１０５に入力される。ＤＧ−ＰＣＡ１１０は、主として背景コンテンツ１１１に対応する低ランク成分Ｘ_０ １１１と、主として前景コンテンツ１２１に対応するスパース成分Ｓ_０ １２１とを出力する。出力ステップ１４０は、所定の閾値よりも大きな値を有するＳ内のピクセルを前景１４１としてマーク付けし、それ以外のピクセルは、背景１４２としてマーク付けされる。

図４は、本発明者らのＤＧ−ＰＣＡ手法の１つの好ましい実施の形態を記述したアルゴリズム２の擬似コードのブロック図を示している。このアルゴリズムへの入力は、背景が位置合わせされた画像シーケンスＢ １０１および対応する奥行きグループＧ １０２を含む。

奥行きマップＤを用いてピクセルグループＧを定義するために、演算子Ｇ（Ｄ）は、以下の手順を用いて奥行きマップをｓ個のグループ１０２にセグメンテーションする。本発明の１つの実施の形態では、奥行きレベルが０〜２５５の範囲を有すると仮定すると、奥行きｄを有するピクセルは、グループ

に分類される。

その結果、Ｂ内のピクセルは、ｇ∈｛１、・・・、ｓ｝を有するＢ_ｇグループにクラスタリングすることができる。各Ｂ_ｇは、セグメントｇ内にマーク付けされたＢからの要素からなる。同様に、Ｌ_ｇ、Ｒ_ｇ、およびラグランジュ乗数Ｙ_ｇもグループ化される。

次に、アルゴリズム２のステップ３および４が、Ｘ＝ＬＲ^Ｔを用いて低ランク成分（背景）を求める。

次に、アルゴリズム２のステップ５において、演算子Ｓ_{λ／μ、ｇ}は、下式（１０）によるグループ単位ソフト閾値処理であり、

ここで、

であり、εは、０による除算を回避するための小さな定数であり、ｗ_ｇは、式（５）におけるグループ重みを定義する。前景物体は、背景物体よりもカメラに近い、すなわち、背景物体よりも大きな奥行きを有する確率がより高いので、以下の式を用いて、グループ重みが設定され、

ここで、ｃは、ある定数であり、ｄ_ｇは、グループｇ内のピクセルの平均奥行きである。ｗ_ｇは、カメラに最も近い物体、すなわち、ｄ＝２５５の場合には、１に等しく、カメラに最も遠い物体、すなわち、ｄ＝０の場合にはｃに等しい。ｃの選択によって、前景ピクセルをそれらの対応する奥行きに基づいて選択することを可能にする閾値が制御される。Ｓ_ｇがグループｇごとに計算された後、全てのＳ_ｇを総計することによって、スパース成分Ｓが取得される。

上記ステップは、アルゴリズムが収束するまで、または最大反復回数に達するまで反復される。

Ｓ内で大きな値を有するピクセル、例えば、所定の閾値よりも大きな値を有するピクセルは、前景ピクセル１４１として出力される。

本方法は、前景コンテンツ、例えば、物体がカメラのより近くにある場合に、グループ構造に有利である。空間的に接続されて、一定の奥行きを有するピクセルのセット、または一定の奥行き勾配を有する接続されたピクセルのセットとしてグループを定義することも、本発明者らの枠組みの範囲内で可能である。

式（９）における核ノルムに等価な項目

が、アルゴリズム２を数値的に安定にすることについて言及することは、意味がある。核ノルムがない場合、アルゴリズム２のステップ３における

は、

になる。これは、行列

が特異であるとき、例えば、画像が、Ｂ、Ｌ、Ｒ≒０である比較的暗いときに不安定である。

奥行き強調ホモグラフィーモデル
実際には、ピクセルロケーションを関連付ける局所的運動情報は、多くの場合、不正確である。この場合、式（７）における完全な８パラメーターモデルは、運動情報内の誤差の影響を受け易い。したがって、ホモグラフィーモデルにおいてパラメーターの数を削減したものが好ましく、このため、シーン１５１内の運動のタイプが制限される。

例えば、２パラメーターモデル、４パラメーターモデル、および６パラメーターモデルは、ｈにおけるいくつかの係数を０に設定することによって、それぞれ並進のみのモデル、幾何モデル、およびアフィンモデルに対応する。本発明者らは、４パラメーターの幾何モデルを本発明者らの出発点として選択する。ここで、ｈ＝［ｈ_１、ｈ_２、ｈ_３、０、０、ｈ_６、０、０］^Ｔである。

しかしながら、ビデオシーケンス内の運動は、一般に平面的ではない。したがって、従来のホモグラフィーモデルを慎重に選択した後であっても、大きな運動推定誤差を有する可能性があり、これは、その後のＰＣＡと同様の手順における検出率を劇的に低下させる。したがって、本発明者らは、奥行き強調ホモグラフィーモデルを用いる。具体的には、奥行きに関係した６つの新たなパラメーターが追加され、ｈ＝［ｈ_１、・・・、ｈ_８、ｈ_９、・・・、ｈ_１４］^Ｔが得られる。ｚ_１およびｚ_２が、対応するピクセルの奥行きを意味するものとすると、現在の画像内の対応するピクセルＸ_１＝（ｘ_１、ｙ_１、ｚ_１）^Ｔと、その基準画像内のピクセルＸ_２＝（ｘ_２、ｙ_２、ｚ_２）^Ｔとは、本発明者らの奥行き強調ホモグラフィーモデルによって、下式（１２）により関係付けられる。

式（１２）において、奥行き値０は、物体がカメラから遠いこと、例えば、∞にあることを意味する。奥行きが大きいほど、物体がカメラのより近くにあることを意味する。ビデオシーケンスをより簡略にするために、ある特定の簡略化が可能である。例えば、ｚ_２＝ｚ_１である場合、運動は、同じ奥行き平面内にあるように制限される。

奥行き強調ホモグラフィーモデルｈが、式（１２）のように定義される場合、この問題は、最小二乗フィッティングを用いて解くことができる。現在の画像内のピクセルロケーション（ｘ_１、ｙ_１）と、基準画像内の対応するロケーション（ｘ_２、ｙ_２）とを関連付ける局所的運動情報が与えられると、ホモグラフィーモデルｈは、最小二乗（ＬＳ）フィッティング：ｂ＝Ａｈを解くことによって推定することができる。ここで、ｂは、ベクトルＸ_２をスタックすることによって構成されるベクトルであり、各Ｘ_２に対応するＡの行は、以下のように指定される。

図２は、上述した奥行き強調ホモグラフィーモデルを用いてビデオＶを位置合わせするステップ１６０を示している。入力は、運動ベクトルＭＶｘ、ＭＶｙ、および奥行きマップ２０１を含む。背景からのものである可能性がより高いＭＶが識別される（２１０）。選択されたＭＶおよび入力された奥行きを用いて、ホモグラフィーモデルのパラメーターｈが、例えば、最小二乗フィッティングを介して求められる（２２０）。位置合わせされていない画像のグループが入力２０２として得られ、推定されたホモグラフィーモデルを用いてワープする（２３０）ことによって、位置合わせされる。最後に、背景が位置合わせされた画像シーケンス１０１が、さらなる処理１０５のために出力される。

Claims (17)

1. 画像のシーケンスにおいて前景を背景から分離する方法であって、
   カメラによって前記画像のシーケンスおよびシーンの奥行きマップを取得するステップと、
   前記奥行きマップに基づいてピクセルのスパース性グループを求めるステップと、
   前記画像のシーケンスにおける仮現運動および前記スパース性グループに従って、前記画像のシーケンスをスパース前景成分と低ランク背景成分とに分解するステップと
   を含み、
   前記スパース性グループ内の前記ピクセルは、空間的に接続され、一定の奥行き勾配を有し、
   前記ステップは、前記画像のシーケンスおよび前記奥行きマップを記憶するメモリに接続されたプロセッサにおいて実行される、方法。
2. 前記画像の背景は、位置合わせされていない、請求項１に記載の方法。
3. 前記画像のシーケンスから取得された運動ベクトルと、前記奥行きマップから取得された奥行きとを用いて前記背景を識別するステップと、
   前記背景のホモグラフィックベクトルを求めるステップと、
   前記ホモグラフィックベクトルを用いて前記画像のシーケンスをワープするステップと
   をさらに含む、請求項２に記載の方法。
4. 最小二乗フィッティングを用いてホモグラフィーモデルの前記ホモグラフィックベクトルを求めるステップ
   をさらに含む、請求項３に記載の方法。
5. 前記ホモグラフィックベクトルは、奥行きが強調され、前記方法は、
   前記奥行きマップを組み込むことによって前記ホモグラフィーモデルを３次元モデルに拡張するステップ
   をさらに含む、請求項４に記載の方法。
6. 前記カメラは、静止している、請求項１に記載の方法。
7. 前記カメラは、移動している、請求項２に記載の方法。
8. 前記スパース前景成分を閾値処理するステップ
   をさらに含む、請求項１に記載の方法。
9. 前記奥行きマップ内のピクセルを用いて前記画像内のピクセルをセグメンテーションするステップ
   をさらに含む、請求項１に記載の方法。
10. 前記スパース性グループ内の前記ピクセルは、空間的に接続され、一定の奥行きを有する、請求項１に記載の方法。
11. 前記画像のシーケンスは、グループオブピクチャである、請求項１に記載の方法。
12. 前記分解は、ｌ_２、１ノルムを用いる、請求項１に記載の方法。
13. 前記ｌ_２、１ノルムにおける重みは、前記奥行きマップにおける奥行きの単調増加関数に基づいている、請求項１２に記載の方法。
14. 前記カメラは、カラーセンサーおよび奥行きセンサーを備える、請求項１に記載の方法。
15. 前記ピクセルのスパース性グループは、前記カメラまでの異なる距離における前記シーン内の物体に対応する、請求項１に記載の方法。
16. 前記奥行きマップを運動ベクトルと組み合わせて、前記画像のシーケンス内の画像ごとに大域的運動を照合するパラメトリック透視投影モデルを求めるステップ
    をさらに含む、請求項３に記載の方法。
17. 画像のシーケンスにおいて前景を背景から分離するシステムであって、
    前記画像のシーケンスおよびシーンの奥行きマップを取得するカメラと、
    前記画像のシーケンスおよび奥行きマップを記憶するメモリと、
    前記奥行きマップに基づいてピクセルのスパース性グループを求め、前記画像のシーケンスにおける仮現運動および前記スパース性グループに従って、前記画像のシーケンスをスパース前景成分と低ランク背景成分とに分解する、前記メモリに接続されたプロセッサであって、前記スパース性グループは、奥行きに基づいており、前記スパース性グループ内の前記ピクセルは、空間的に接続され、一定の奥行き勾配を有する、プロセッサと
    を備える、システム。

Images