JP5312942B2

JP5312942B2 - 移動物体境界の抽出

Info

Publication number: JP5312942B2
Application number: JP2008531379A
Authority: JP
Inventors: マルコパニコーニ; ジェイムズジェイキャリッグ; ズーロンミアオ
Original assignee: Sony Electronics Inc
Current assignee: Sony Electronics Inc
Priority date: 2005-09-16
Filing date: 2006-09-14
Publication date: 2013-10-09
Anticipated expiration: 2026-09-14
Also published as: EP1946244A2; JP2009509417A; WO2007035538A2; CN101283364A; US7596243B2; WO2007035538A3; EP1946244A4; KR20080063770A; CN101283364B; KR101396618B1; US20070065025A1; WO2007035538A8

Description

本発明は、ビデオ圧縮の分野に関する。

移動物体抽出方法は、ビデオシーケンスにおける移動物体の輪郭を抽出するためにビデオ圧縮技術に従来から用いられている。従来の方法は、多くの場合に輪郭を抽出するためにモデルを明示的に導入する。これらの従来の方法は、輪郭の離散化、及び輪郭が発展する時に長さ及び曲率を制御する難しさのような大きな問題を有する可能性がある。

例えば、予測誤差を低減するために、動きブロックの簡単な分割を実施して複数の移動物体を捕捉することができる。この処理は、大きな予測誤差を有するブロックを動き推定の改善のためのサブブロックに四分木分割することによって達成することができる。一般的に、大きな予測誤差を有するブロックは、移動物体の境界の直線モデルを用いて四分木分割される。

動き分割における他の手法は、オプティカルフロー推定又はパラメトリック（すなわち、アフィン）動きモデルに依存している。これらの手法は、物体境界の近くの遮蔽効果のような問題を有する。分割フィールドにおける及び従って物体境界におけるある程度の滑らかさは、事前確率項を含むＭＡＰ／ベイジアン法を用いて達成することができる。これらの方法は、物体境界及び動きフィールドに対処するために明示的に結合されたいかなるモデルも用いることなく分割フィールドの接続性を制約する。

一部の従来の手法では、移動物体境界を捕捉するために曲率発展モデルが用いられる。しかし、これらの手法は、動き推定を伴わず、物体境界発展のためのモデルにおける時間差演算子のみに依存する。

初期条件から物体を成長させ、かつ予測誤差の低減、境界安定性（すなわち、物体において穴がないこと及び輪郭に対する滑らかさ）、及び画像特徴への結合の間の均衡をもたらす状態に達するように領域競合を実施する移動物体抽出方法に対する必要性が存在する。

移動物体境界を抽出する方法は、物体の動きが目標画像と参照画像の間の位置の変化によって表される物体に対する初期動きベクトルを推定する段階、物体が現れて移動する背景エリアに対する初期ベクトルを推定する段階、推定されたベクトルを用いて１回目の繰返しの動的モデル解を求める段階、及び物体の境界を抽出するために動的モデル解の少なくとも１回の次の繰返しを完了する段階を含む。

本発明は、例示的に示しており、添付図面と共に以下の説明を参照することによってより良く理解することができる。

以下の説明では、本明細書の一部を形成し、本発明を実施することができる特定的な実施形態を具体例によって示す添付図面を参照する。他の実施形態も利用することができ、本発明の範囲から逸脱することなく構造的変更を加えることができることは理解されるものとする。例えば、様々な実施形態を説明するために用いるフィールド、フレーム、又は画像という用語は、一般的にビデオデータに関連して用いられるものと互換的である。

物体抽出方法は、動的モデルを用いて物体の境界を発展させることによってビデオ画像内に表される移動前景物体の輪郭を推定する。動的モデルは、コンパクトかつコヒーレントな構造が出現することを可能にする。一部の実施形態では、動的モデルは、物体境界を抽出するのに制約された又はパラメータ化された境界モデルを必要としないように画像内の各ピクセルに形成された２次元境界フィールドを用いる。動的モデルはまた、物体の局所的な動きフィールドを用いて、物体の非格子的動きを説明する境界に沿った動きベクトルを得る。動的モデルは、境界を画像勾配特徴に結合するために拡散項及びアニーリング項を組み込んでいる。物体抽出方法は、遮蔽によって引き起こされる誤差を最小限に止めるように過去及び未来の仮説試験を実施する。本方法は、物体の境界における物体の動きベクトルが物体のより複雑な局所的動きを処理することを可能にする。本方法は、動き分割又はビデオ符号化用途で用いることができ、目標画像の時間予測を改善するために動きベクトルのサンプリングを発生させる。

背景領域から移動物体境界を抽出する方法が背景から単一の物体の輪郭を抽出する例を図１に示している。１１０では、動的モデルが形成される。１２０では、目標画像の領域内に境界フィールドに対する初期シードを入れる。１２５では、動きベクトルの初期値が判断される。１３０では、時間ステップで動的モデルの状態を進めて境界フィールドを発展させる。１４０では、背景及び移動物体を表す動きベクトルを推定し直す。１５０では、方法は、停止基準に達したか否かを判断する。この判断が真である場合には、方法は１６０で終了する。そうでなければ、方法は１３０に戻る。

境界フィールドに対する動的モデル
２次元境界フィールドＢ（ｘ、ｙ）の動的モデルが形成され、ここで、Ｂは、画像内の位置（ｘ、ｙ）におけるピクセルに関する値である。Ｂの正の値は、対応するピクセルが物体内に存在することを示し、負の値は、ピクセルが背景内に存在することを示している。方法は、Ｂ（ｘ、ｙ）における初期条件で始まり、反復的に境界フィールドを発展させて物体境界のより良好な推定を定める。

一部の実施形態では、方法は、動的モデルを数値的に解き、モデルを時間に対して進めることによって境界フィールドを発展させる。続いて、境界フィールドは、時間の関数Ｂ（ｘ、ｙ、ｔ）として表現され、ここで、初期条件Ｂ₀（ｘ、ｙ）は、次式のように初期時間０で始まる。

初期条件は、物体内の領域において、

であり、他の場所では、

であり、２つの状態の間に緩やかな遷移を有する。初期条件はまた、物体境界に関する事前知識が利用可能な場合には、そのような知識によってシードを供給することができる。一部の実施形態では、境界フィールドにおける初期値は、次式になる。

ここで、（ｘ₀、ｙ₀）は、シードの中心であり、ａは、シードのサイズを示している。

方法は、境界フィールドＢ（ｘ、ｙ）の勾配∇の周囲にシードを成長させ、ここで、Ｂ（ｘ、ｙ）〜０であり、以下の発展方程式：

を用いて、以下に従って動的モデルを発展させる。

ここで、Ｔは複合駆動項、τは、状態を時間ｔからｔ＋τに進めるための時間ステップパラメータである。方法は、収束のような停止基準に達するまで繰り返される。

動的モデルを用いて成長した境界フィールドの例を図２に示している。目標画像をブロック２０５に示している。目標画像２０５内で物体２０２の境界を判断するために、ブロック２１０に示すように目標画像内にシード２１２を入れる。物体２０４の境界を判断するために、ブロック２１０に示すように目標画像内にシード２１４を入れる。ブロック２２０及び２３０に示すように、シード２１２の境界が発展し、白色エリア２２２によって表される物体領域が形成される。同様に、シード２１４の境界が発展し、灰色エリア２２４で表される物体領域が形成される。ブロック２３０に示すように、シード２１４から決定された灰色の全体の物体領域２３４は、大きな部分と連結していない小さな部分、並びにその大きな部分内に背景領域を有する。同様に、白色エリアによって表される全体の物体領域２３２は、一部の非連結部分を有する。以下に解説する安定性駆動項は、非連結領域を制御するために用いられる。ブロック２４０に示すように、物体２０２全体の境界２４２が捕捉される。同様に、物体２０４全体の境界２４４が捕捉されるまでシード２１４の境界が発展する。

式（２）における複合駆動項Ｔは、以下のように予測誤差、安定性、結合、及びテンプレート駆動項のような項の組合せである。

各重み付け値｛λ_i｝は、対応する駆動項の相対強度を判断する。過去／未来予測誤差駆動項は、過去及び未来の参照画像処理からの誤差を含む。この駆動項は、以下に解説するように、遮蔽及び露出領域を説明する仮説試験方法中に考慮される。安定性駆動項Ｔ_stabilityは、抽出される動きレーヤがある程度のコンパクト性を有し、抽出される移動物体境界がある程度の接続性を有するように、Ｂ（ｘ、ｙ）が滑らかさを維持することを保証するために用いられる。結合駆動項Ｔ_{imageーcoupling}は、画像内の空間活動に関連する。例えば、物体は、物体境界と画像勾配の間の相関性のような局所空間活動への相関性を有することができる。駆動項Ｔ_templateは、利用可能な場合には、画像内の境界に関する現存知識を考慮する。

式（３）からの駆動項の表現を式（２）からの動的モデルの中に含めることにより、次式が得られる。

過去及び未来予測誤差駆動項
過去及び未来予測誤差駆動項は、何らかのピクセル位置において背景動きベクトルと物体動きベクトルとを用いることの間の予測誤差の差を表している。背景動きベクトルの推定は、ｖ_b（ｘ、ｙ）で表され、物体動きベクトルは、ｖ_o（ｘ、ｙ）で表される。この駆動項は、次式で表現される。

ここで、ε²（ｖ_o）は、動きベクトルｖ_o（ｘ、ｙ）が用いられる時の何らかのピクセル位置における予測誤差であり、ε²（ｖ_b）は、動きベクトルｖ_b（ｘ、ｙ）が用いられる時のそのピクセル位置における予測誤差である。この項を式（３）の動的モデルに入れると、この項の寄与として次式が得られる。

すなわち、ピクセル位置（ｘ、ｙ）において、物体動きベクトルが用いられる時に予測誤差が小さい場合には（すなわち、ε²（ｖ_b）−ε²（ｖ₀）が正）、時間導関数が正であることからＢ（ｘ、ｙ）は増大し、このピクセルは物体に向って移行し、これは、ピクセル位置が正のＢ（ｘ、ｙ）値を有することとして表現される。同様に、ピクセル位置（ｘ、ｙ）において、背景動きベクトルが用いられる時に予測誤差が小さい場合には（ε²（ｖ_b）−ε²（ｖ₀）が負）、時間導関数が負であることからＢ（ｘ、ｙ）は減少し、このピクセルは、背景に向って移行し、これは、ピクセル位置が負のＢ（ｘ、ｙ）値を有することとして表現される。

予測誤差は、遮蔽が参照画像内に存在する場合に増大する。図３Ａは、過去又は未来のいずれか一方の参照画像のみが用いられる時に境界抽出によって生成される遮蔽の例を示している。ブロック３１０では、目標画像は、過去の参照画像では物体３１５によって覆われているが、目標画像では物体３１５によって覆われていないピクセルである遮蔽領域３１７を有する。過去の参照画像に依存するこの遮蔽領域の結果、移動物体の境界を抽出する時に動的モデルを反復的に解くのに１つの過去の参照フィールドが用いられているので、遮蔽領域３１７の近くで真の物体境界への低い対応性しか持たない移動物体境界が存在する。遮蔽を生成するのを回避するためには、遮蔽領域３１７内のピクセルが未来の参照画像内で物体３１５によって覆われていないので、利用可能である場合は遮蔽領域におけるピクセルを予測するのに未来の参照画像が用いられるべきである。同様に、ブロック３２０では、遮蔽領域３２７は、目標画像内では物体３１５によって覆われていないが未来の参照画像内では物体３１５によって覆われている領域である。その結果は、移動物体の境界を抽出する時に動的モデルを反復的に解くのに１つの未来の参照フィールドのみが用いられる場合に、遮蔽領域３２７の近くで真の物体境界に低い対応性しか持たない移動物体境界である。従って、遮蔽領域３２７内のピクセルを予測するのに、利用可能である場合は過去の参照画像が用いられるべきである。

図３Ａに示す遮蔽領域は、図３Ｂ、３Ｃ、及び３Ｄに示す移動物体境界を抽出する時に過去及び未来の両方の参照画像を用いることによって回避することができる。遮蔽を処理するために、過去及び未来の動き情報が用いられる。動的モードの繰返しにおけるいずれかの時点で、動き推定においてピクセルが過去又は未来のいずれの参照画像を用いるべきかを判断するために、物体の成長状態、並びに物体及び背景の動きが用いられる。図３Ｂに示すように、目標画像３４０内の移動物体の境界を抽出するのに、未来の参照画像３３０及び過去の参照画像３５０が用いられる。図３Ｃに示すように、黒色の正方形によって表している背景領域及び移動物体の境界内のシード３４２を生成するために、ブロック３７０の黒色領域３４１内で動的モデルが初期化される。ブロック３８０に示すように、動的モデルを反復的に解いて移動物体の境界を拡張し、移動物体領域３４４を生成する。移動物体は、物体の動きが目標画像の右側に向って方向付けられていることを示す動きベクトル３４６を有する。従って、遮蔽領域を生成するのを回避するために、動的モデルは、未来の参照画像３３０を用いて、点線３４７の左の領域３８１における動きベクトル及び予測誤差を推定し、過去の参照画像３５０を用いて、点線３４７の右の領域３８２における動きベクトル及び予測誤差を推定する。一部の実施形態では、過去の参照画像又は未来の参照画像のいずれを用いるかの決定は、以下に説明するように、背景及び物体動きベクトルに対して仮説試験を実施することによって各ピクセルにおいて行われる。最終結果は、図３Ｄに物体の周囲を白色線で表している抽出された境界３４９として示しており、この境界は、遮蔽領域なしに生成され、従って、より良好な品質の抽出を有する。

過去の参照フィールドを用いるか又は未来の参照フィールドを用いるかに関するより詳細なピクセル毎の判断は、予測誤差駆動項を次式のように拡張することによって行われる。

ここで、ｖ^hypは、ピクセル位置（ｘ、ｙ）での動きベクトルに関する仮説を表している。背景動きベクトルに関する仮説試験は、図４に示すように実施される。物体における動きベクトルは、過去又は未来の参照画像を用いて、ｖ_o ^past（ｘ、ｙ）又はｖ_o ^future（ｘ、ｙ）のいずれかとして表される。背景における動きベクトルは、過去又は未来の参照画像を用いて、ｖ_b ^past（ｘ、ｙ）又はｖ_o ^future（ｘ、ｙ）のいずれかとして表される。４１０では、動きベクトルｖ_b ^pastが現在の物体の状態及び動きと一致し、ｖ_b ^futureが一致しない場合には、４１５においてｖ_b ^pastを選択する。そうでなければ、４２０で動きベクトルｖ_b ^pastが、現在の物体の状態及び動きと一致せず、ｖ_b ^futureが一致する場合には、４２５においてｖ_b ^futureを選択する。そうでなければ、両方の動きベクトルが一致する場合には、４３５で以下のように最小予測誤差を有する動きベクトルを選択する。

前景物体動きベクトルに関する仮説試験は、図５に示すように実施される。５０５では、境界フィールドＢ（ｘ、ｙ）に対する値を受信する。５１０では、Ｂ（ｘ、ｙ）≧Ｓであるかを判断する。そうである場合には、５２０で、ｖ_o ^hyp＝ｍｉｎ_v（ε（ｖ＝ｖ_o ^past）、ε（ｖ＝ｖ_o ^future））を選択する。そうでない場合には、５３０で、ｖ_o ^hyp＝ｍａｘ_v（ε（ｖ＝ｖ_o ^past）、ε（ｖ＝ｖ_o ^future））を選択する。従って、ピクセル（ｘ、ｙ）において現在の状態がＢ（ｘ、ｙ）≧Ｓであるような値を有し、すなわち、このピクセルが物体内に存在する見込みが高い場合には、方法は、ｖ_o ^hyp＝ｍｉｎ_v（ε（ｖ＝ｖ_o ^past）、ε（ｖ＝ｖ_o ^future））を用いて、物体動きベクトルに対して、物体の成長に有利に働く小さい予測誤差を選択する。一方、ピクセル（ｘ、ｙ）において現在の状態がＢ（ｘ、ｙ）＜Ｓである値を有し、すなわち、このピクセルが背景内に存在する見込みが高い場合には、方法は、背景の成長に有利に働くように、ｖ_o ^hyp＝ｍａｘ_v（ε（ｖ＝ｖ_o ^past）、ε（ｖ＝ｖ_o ^future））を用いて物体動きベクトルに対して大きな予測誤差を選択する。

この例では、物体と背景がゼロＢ（ｘ、ｙ）値によって分離されるので、パラメータＳは、０に設定される。物体又は背景動きベクトルの仮説選択は、遮蔽をより確実に処理するのに現在の物体状態情報と共に過去及び未来の参照画像情報を用いる。

安定性駆動項
安定性駆動項は、非線形モデルからコンパクトで安定した構造が出現するのを可能にし、この項は次式で表現される。

ここで、

は、境界フィールドに関する法線ベクトルであり、次式で定義される。

これは、Ｂ（ｘ、ｙ）＝定数である曲線に対する法線方向である。この項を式（３）に入れると次式が得られる。

従って、│∇Ｂ（ｘ、ｙ）│が非ゼロである境界の近くの物体の輪郭が、正の曲率（すなわち、正の領域から外向きの形状）を有する場合には、

は正であり、Ｂ（ｘ、ｙ）は減少して曲線を直線化する。同様に、│∇Ｂ（ｘ、ｙ）│が非ゼロである境界の近くの物体の輪郭が、負の曲率（すなわち、正の領域から内向きの形状）を有する場合には、

は負であり、Ｂ（ｘ、ｙ）は、増大して曲線を直線化する。

安定性駆動項は、物体境界トポロジーの曲率の程度を制御する。この項は、輪郭の長さを短縮する拡散項として機能する。図６は、境界フィールドの一部分６１０及び法線ベクトル６２０の例を示している。安定性駆動項は、破線６３０によって示すように境界フィールドの輪郭を直線化する。式（１０）に示すように、小さな正又は負の領域の除去（すなわち、拡散）をより直接的に制御するために式９に明示的な拡散項を追加することができる。

式（１０）の右辺のラプラシアン項は、境界フィールドを比較的平滑で均質なものとする。

画像結合駆動項
移動物体境界は、何らかの局所空間画像活動との相関性を有することができる。例えば、多くの場合、物体境界は、境界に対して法線方向に強度勾配を有する。この種類の局所空間活動の相関性は、画像結合駆動項を用いてモデルの中に組み込まれる。

ここで、

は、境界フィールドに対して法線方向にあり、│∇Ｉ（ｘ、ｙ）│は、画像強度勾配のマグニチュードである。この項を式（３）に入れると、この因子の寄与が次式のように得られる。

従って、画像勾配が物体境界幅に近い場合には、境界は、画像勾配に沿って整列する。図７は、画像結合駆動項の効果の例を示している。境界曲線７１０の一部分は、強度勾配における局所ピークのような画像構造７２０の近くにある。画像結合駆動項は、曲線７３０及び破線７４０に示すように境界を画像構造へと引きつける。

テンプレート駆動項
テンプレート駆動項は、例えば、前のシーケンスからシーン内の物体境界に関する情報を得るか、又は物体の予想形状に関する事前情報を有する実施形態で用いられる。この情報は、物体境界のためのテンプレートを供給する。物体境界テンプレート駆動因子は、２次元関数：

の交点によって特徴付けることができる。テンプレート駆動項は、次式で表現される。

すなわち、物体境界の近くのピクセル位置で、境界フィールドＢ（ｘ、ｙ）がテンプレート：

よりも大きい場合には、Ｂ（ｘ、ｙ）は減少する。同様に、物体境界の近くのピクセル位置で、境界フィールドＢ（ｘ、ｙ）がテンプレート：

よりも小さい場合には、Ｂ（ｘ、ｙ）は増大する。最終的に、

であるところで平衡に達する。

動的モデルは、式（４）に従って空間的２次元境界フィールドＢ（ｘ、ｙ）を発展させる。パラメータ｛λ₁、λ₂λ₃｝は、各項の相対重みを左右する。一部の実施形態では、λ₃は、物体境界の成長の後期段階でより有効になるように最初に０に設定され、徐々に増大する。多くの場合、物体境界に関する事前知識が利用可能ではないので、λ₄は、全方法において０に設定される。この駆動項は、境界フィールドＢ（ｘ、ｙ）及び動きフィールドの関数である。これらの駆動項の非線形の協働効果は、移動物体における境界フィールドの安定した発展及び出現を可能にする。

境界フィールドが、動的モデルにおいて更新される時に、各ピクセル「ｘ」において背景の動きを用いること及び物体の動きを用いることの間の予測誤差は、全ての繰返しにおいて計算すべきである。背景の動きは、通常は非常にロバストで安定しており、従って、単一の背景の動きを全ピクセルで用いることができる。しかし、一部の事例では、物体の動きは、非局所的又は非剛体的動きを伴う場合がある。これらの事例では、一部の実施形態において物体の動きに対してバルク及び局所的／境界の動きベクトルが用いられる。

図８は、物体において出現する境界フィールドの例を示している。時間ｔ₁において、目標画像８００内の物体の識別部分を８１０に示しており、目標画像の残りは、背景領域と考えられる。時間ｔ₂において、境界フィールドが発展すると、物体の識別部分は、８２０に示すように成長する。境界の動きベクトル８３０が、移動物体の境界に沿って配置され、動きベクトルに関する値が推定される。境界の動きベクトルの値は、現在の時間ｔ₂において物体の一部として識別されるピクセルを用いて決定される。すなわち、物体８２０の識別部分の内側のピクセルのみが、境界の動きベクトル８３０を推定するのに用いられる。各境界の動きベクトルは、境界から所定の距離内にある物体の識別部分の内側の領域を用いて推定される。従って、各境界の動きベクトルは、物体の小さな部分の動きを示している。物体におけるバルクの動きベクトルｖ_bulkは、識別部分からのピクセルを用いて推定され、物体全体の総合的な動きを示している。

一般的に、バルクの動きベクトルｖ_bulkは、物体内の各ピクセルにおける物体の動きを表するのに用いることができる。物体のいくつかの部分が異なる方向に移動する非剛体的な動きを処理するために、境界に沿ったピクセルでは、このピクセルの近く又はこのピクセルと局所空間相関性を有する境界の動きベクトルを物体の動きを表すのに用いることができる。例えば、物体が人物であった場合には、バルクの動きベクトルは、人物が右に移動するのを示すことができ、人物の手に沿った境界の動きベクトルは、手がバルクの動きベクトルに対して左に移動していることを示すことができる。

一実施形態では、境界抽出方法は、図９に示すように、ビデオデータの画像（又はフレーム、又はフィールド）を符号化するためのビデオ符号化に用いられる。９１０で、符号器は、入力目標画像を受信する。目標画像に関連する復号された画像データを収容する１組の参照画像が、符号化処理中には符号器に対して利用可能であり、同様に、復号処理中には復号器に対して利用可能である。９１５では、移動物体境界を抽出する。９２０では、符号器は、目標画像に関連付けられた動きベクトルの不規則サンプリング又は分布を発生させる。９３０では、サンプリングパターン情報（例えば、パターンを表すビット）を復号器に伝送する。

９４０では、時間予測フィルタ処理を不規則な動きサンプリングパターンに適用する。この適応フィルタ処理は、動きベクトル、不規則なサンプリングパターン、及び参照画像を用いて目標画像の予測を発生させる。９５０では、動きベクトル値を符号化し、復号器に送信する。９６０では、目標画像の実際の目標データから適応フィルタリング処理からの予測誤差を差し引いた残差を発生させる。９７０では、残差を符号化し、９８０において復号器に送信する。

別の実施形態では、動きベクトルの適応サンプリングパターンは、図１０に示すようにビデオデータの画像（又はフレーム、又は画像）を復号するのに用いられる。１０１０では、符号化済み残差を受信する。１０２０では、復号器は、受信した符号化済み残差を復号する。１０３０では、復号器は、サンプリングパターン情報、参照画像、及び動きベクトル値を受信する。続いて１０４０において、復号器は、適応時間フィルタ手法を適用して時間予測を発生させる。１０５０では、復号済み残差を時間予測に加えることによって復号された目標画像を発生させる。

図１１は、適応影響エリアフィルタを用いるシステムの例を示している。デジタルビデオカメラ１１１０は、電子形式で画像を取り込み、圧縮及び符号化処理中に動きベクトル選択法を用いる圧縮デバイス１１２０を用いて画像を処理する。符号化された画像は、電子伝送媒体１１３０を通じてデジタル再生デバイス１１４０に送信される。画像は、復号処理中にフィルタを用いる復号デバイス１１５０によって復号される。カメラ１１１０は、本発明の実施形態を含む様々な画像処理装置（例えば、他の画像取り込みデバイス、画像エディタ、画像処理プロセッサ、パーソナル及び市販のコンピュータプラットフォーム等）を示している。同様に、復号デバイス１１５０は、画像データを復号する様々なデバイスを示している。

本発明を特定のシステム環境における実施形態に関して説明したが、本発明は、特許請求の精神及び範囲内の他の異なるハードウエア及びソフトウエア環境において修正を伴って実施することができることを当業者は認識するであろう。

背景領域から移動物体境界を抽出する方法の例を示す図である。動的モデルによって成長した境界フィールドの例を示す図である。動的モデルにおいて１つの参照画像を用いた場合に発生する可能性がある遮蔽の例を示す図である。動的モデルにおいて複数の参照画像を用いた場合に遮蔽を回避する例を示す図である。動的モデルにおいて複数の参照画像を用いた場合に遮蔽を回避する例を示す図である。動的モデルにおいて複数の参照画像を用いた場合に遮蔽を回避する例を示す図である。背景動きフィールドに対して仮説を発生させる方法の例を示す図である。物体動きフィールドに対して仮説を発生させる例を示す図である。境界フィールドの一部分及び法線ベクトルの例を示す図である。画像結合駆動項の効果の例を示す図である。物体に対して出現する境界フィールドの例を示し、局所境界動きベクトルを示す図である。移動物体境界を抽出する方法を用いるビデオデータの画像（又はフレーム又はフィールド）を符号化するためのビデオ符号化の例を示す図である。ビデオデータの画像（又はフレーム、又は画像）を復号する例を示す図である。移動物体境界を抽出する方法を用いるシステムの例を示す図である。

符号の説明

１１０動的モデルが形成される段階
１２５動きベクトルの初期値が判断される段階
１３０境界フィールドを発展させる段階

Claims

電子データプロセッサによって実施される方法であって、
動きが目標画像と参照画像の間の位置の変化によって表される物体に対して初期動きベクトルを推定する段階と、
前記物体が現れて移動する背景エリアに対して初期動きベクトルを推定する段階と、
前記電子データプロセッサによって、前記推定された初期動きベクトルを用いて、予測誤差推定処理を含む少なくとも１回の繰返しの動的モデルを求める段階であって、前記目標画像内のピクセルが、未来の参照フレームに対して推定される遮蔽エリアに近接している場合には、前記予測誤差を予測するのに過去の参照フレームを用い、前記目標画像内のピクセルが、前記過去の参照フレームに対して推定される遮蔽エリアに近接している場合には、前記予測誤差を推定するのに未来の参照フレームを用いる、前記動的モデルを求める段階と、
物体動きフィールドに対して仮説試験手順を用いる段階とを備え、
前記目標画像内のピクセルが、閾値以上の大きさである境界フィールドにおいて対応する値を有している場合、物体の仮説は、過去の画像物体動きベクトルと未来の画像物体動きベクトルからのより小さい予測誤差を有する物体動きベクトルであり、
前記目標画像内のピクセルが、前記閾値より小さい境界フィールドにおいて対応する値を有している場合、前記物体の仮説は、前記過去の画像物体動きベクトルと前記未来の画像物体動きベクトルからのより大きな予測誤差を有する物体動きベクトルであり、更に、
動的モデルの前記少なくとも１回の繰返しを用いて前記物体の境界を抽出する段階と、
を含むことを特徴とする方法。
前記動的モデルは、予測誤差項を含み、
前記予測誤差項は、前記物体に関連付けられた動きベクトルを用いることによって得られる予測誤差と、前記背景エリアに関連付けられた動きベクトルを用いることによって得られる予測誤差との間の差を含む、
ことを特徴とする請求項１に記載の方法。
前記動的モデルは、安定性項を含み、
前記安定性項は、前記境界の曲率の抽出に関連付けられた曲率項を含み、かつ
前記安定性項は、前記移動物体の滑らかさ又はコンパクト性の抽出に関連付けられた拡散項を含む、
ことを特徴とする請求項１に記載の方法。
前記動的モデルは、画像結合項を含み、
前記画像結合項は、前記物体境界に対して法線方向の強度勾配と関連付けられ、
前記強度勾配は、前記物体に近接する前記目標画像の一部分に関連付けられている、
ことを特徴とする請求項１に記載の方法。
前記動的モデルは、テンプレート項を含み、
前記テンプレート項は、前記移動物体境界のためのテンプレートを提供する、
ことを特徴とする請求項１に記載の方法。
前記予測誤差推定処理は、背景動きフィールドに関する仮説試験手順を含み、
前記仮説試験手順は、
前記物体の現在の状態と一致しているかどうについて、過去の参照フレームに基づく第１の背景動きフィールドを試験し、
前記物体の前記現在の状態と一致しているかどうについて、未来の参照フレームに基づく第２の背景動きフィールドを試験し、
前記試験の結果を用いて前記第１又は前記第２の背景のフィールドのいずれかを選択する、
ものである、
ことを特徴とする請求項１に記載の方法。
前記予測誤差推定処理は、前記物体動きフィールドに関する仮説試験手順を含み、
前記仮説試験手順は、
Ｂ（ｘ、ｙ）≧Ｓである場合は、
ｖ_o ^hyp＝ｍｉｎ_v（ε（ｖ_o ^past）、ε（ｖ＝ｖ_o ^future））を選択し、
それ以外の場合は、ｖ_o ^hyp＝ｍａｘ_v（ε（ｖ＝ｖ_o ^past）、ε（ｖ＝ｖ_o ^future））を選択する、
ものであり、
ｖ_o ^past/futureは、過去又は未来の参照フィールドに基づく前記物体に関する動きベクトルを含み、εは、前記予測誤差を含み、ｖ_o ^hypは、該動きベクトルに関する仮説を含み、Ｓは、閾値を含み、Ｂ（ｘ、ｙ）は、ピクセル（ｘ、ｙ）での境界フィールド状態を含む、
ことを特徴とする請求項１に記載の方法。
前記動的モデルは、
Ｂ（ｘ、ｙ、ｔ＋τ）＝Ｂ（ｘ、ｙ、ｔ）＋τＴ│∇Ｂ（ｘ、ｙ、ｔ）│
を含み、
Ｂ（ｘ、ｙ、ｔ）は、全てのピクセル（ｘ、ｙ）に対して時間ｔにおける物体又は背景の状態を定める時間ｔにおけるピクセル（ｘ、ｙ）での前記境界フィールドの状態を含み、∇は、該境界フィールドの勾配を含み、Ｔは、複数の境界特徴からの影響を組み合わせる複合駆動項を含み、τは、時間ｔからｔ＋τに状態を進める時間ステップパラメータを含む、
ことを特徴とする請求項１に記載の方法。
Ｔは、
Ｔ＝λ₁Ｔ_past/futurep _{redictionーerror}＋λ₂Ｔ_stability＋λ₃Ｔ_{imageーcoupling}＋λ₄Ｔ_template
を含み、
λ₁、λ₂、λ₃、λ₄は、重み付け係数を含み、Ｔ_past/future _{predictionーerror}は、予測誤差項を含み、Ｔ_stabilityは、安定性項を含み、Ｔ_{imageーcoupling}は、画像結合項を含み、Ｔ_templateは、テンプレート項を含む、
ことを特徴とする請求項８に記載の方法。
動的モデル解の特定数の繰返しを完了した後の前記物体に対して第２の動きベクトルを推定する段階と、
前記動的モデル解の前記特定数の繰返しを完了した後の前記背景エリアに対して第２の動きベクトルを推定する段階と、
を更に含むことを特徴とする請求項１に記載の方法。
前記物体に対して及び前記背景エリアに対して前記第２の動きベクトルを推定する段階は、
前記物体の移動を表すバルク動きベクトルと局所的な境界の動きベクトルとを推定する段階と、
前記推定された局所的な境界の動きベクトルを用いて、非剛体的動きを有する前記物体内の領域に近接するピクセルに対して前記動的モデルにおける前記予測誤差項を計算する段階と、
を含む、
ことを特徴とする請求項１０に記載の方法。
動きが目標画像と参照画像の間の位置の変化によって表される物体に対して初期の動きベクトルを推定し、該物体が現れて移動する背景エリアに対して初期動きベクトルを推定し、推定されたベクトルを用いて予測誤差項推定処理を含む動的モデルの少なくとも１回の繰返しを計算し、
前記目標画像のピクセルが、未来の参照フレームに対して推定遮蔽エリアに近接する場合には、過去の参照フレームが、前記予測誤差を推定するのに用いられ、前記目標画像内の前記ピクセルが、前記過去の参照フレームに対して推定遮蔽エリアに近接する場合には、未来の参照フレームが、前記予測誤差を推定するのに用いられ、
物体動きフィールドに対して仮説試験手順を用い、
前記目標画像内のピクセルが、閾値以上の大きさである境界フィールドにおいて対応する値を有している場合、物体の仮説は、過去の画像物体動きベクトルと未来の画像物体動きベクトルからのより小さい予測誤差を有する物体動きベクトルであり、
前記目標画像内のピクセルが、前記閾値より小さい境界フィールドにおいて対応する値を有している場合、前記物体の仮説は、前記過去の画像物体動きベクトルと前記未来の画像物体動きベクトルからのより大きな予測誤差を有する物体動きベクトルであり、
更に、
動的モデルの前記少なくとも１回の繰返しを用いて前記物体の境界を抽出するプロセッサを含むことを特徴とする装置。
前記動的モデルは、予測誤差項を含み、
前記予測誤差項は、前記物体に関連付けられた動きベクトルを用いることによって得られる予測誤差と、前記背景エリアに関連付けられた動きベクトルを用いることによって得られる予測誤差との間の差を含む、
ことを特徴とする請求項１２に記載の装置。
前記動的モデルは、安定性項を含み、
前記安定性項は、前記境界の曲率の抽出に関連付けられた曲率項を含み、かつ
前記安定性項は、前記移動物体の滑らかさ又はコンパクト性の抽出に関連付けられた拡散項を含む、
ことを特徴とする請求項１２に記載の装置。
前記動的モデルは、画像結合項を含み、
前記画像結合項は、前記物体境界に対して法線方向の強度勾配と関連付けられ、
前記強度勾配は、前記物体に近接する前記目標画像の一部分に関連付けられている、
ことを特徴とする請求項１２に記載の装置。
前記動的モデルは、テンプレート項を含み、
前記テンプレート項は、前記移動物体境界のためのテンプレートを提供する、
ことを特徴とする請求項１２に記載の装置。
前記予測誤差推定処理は、前記背景動きフィールドに関する仮説試験手順を含み、
前記仮説試験手順は、
前記物体の現在の状態と一致しているかどうについて、過去の参照フレームに基づく第１の背景動きフィールドを試験し、
前記物体の前記現在の状態と一致しているかどうについて、未来の参照フレームに基づく第２の背景動きフィールドを試験し、
前記試験の結果を用いて前記第１又は前記第２の背景のフィールドのいずれかを選択する、
ものである、
ことを特徴とする請求項１２に記載の装置。
前記予測誤差推定処理は、前記物体動きフィールドに関する仮説試験手順を含み、
前記仮説試験手順は、
Ｂ（ｘ、ｙ）≧Ｓである場合は、
ｖ_o ^hyp＝ｍｉｎ_v（ε（ｖ＝ｖ_o ^past）、ε（ｖ＝ｖ_o ^future））を選択し、
それ以外の場合は、ｖ_o ^hyp＝ｍａｘ_v（ε（ｖ＝ｖ_o ^past）、ε（ｖ＝ｖ_o ^future））を選択する、
ものであり、
ｖ_o ^past/futureは、過去又は未来の参照フィールドに基づく前記物体に関する動きベクトルを含み、εは、前記予測誤差を含み、ｖ_o ^hypは、該動きベクトルに関する仮説を含み、Ｓは、閾値を含み、Ｂ（ｘ、ｙ）は、ピクセル（ｘ、ｙ）での境界フィールド状態を含む、
ことを特徴とする請求項１２に記載の装置。
前記動的モデルは、
Ｂ（ｘ、ｙ、ｔ＋τ）＝Ｂ（ｘ、ｙ、ｔ）＋τＴ│∇Ｂ（ｘ、ｙ、ｔ）│
を含み、
Ｂ（ｘ、ｙ、ｔ）は、時間ｔにおけるピクセル（ｘ、ｙ）での前記境界フィールドの状態を含み、▽は、該境界フィールドの勾配を含み、Ｔは、複数の境界特徴からの影響を組み合わせる複合駆動項を含み、τは、時間ｔからｔ＋τに状態を進める時間ステップパラメータを含む、
ことを特徴とする請求項１２に記載の装置。
Ｔは、
Ｔ＝λ₁Ｔ_past/futurep _{redictionーerror}＋λ₂Ｔ_stability＋λ₃Ｔ_{imageーcoupling}＋λ₄Ｔ_template
を含み、
λ₁、λ₂、λ₃、λ₄は、重み付け係数を含み、Ｔ_past/future _{predictionーerror}は、予測誤差項を含み、Ｔ_stabilityは、安定性項を含み、Ｔ_{imageーcoupling}は、画像結合項を含み、Ｔ_templateは、テンプレート項を含む、
ことを特徴とする請求項１２に記載の装置。
前記マイクロプロセッサは、前記動的モデル解の特定数の繰返しを完了した後に前記物体に対して第２の動きベクトルを推定し、かつ該動的モデル解の該特定数の繰返しを完了した後に前記背景エリアに対して第２の動きベクトルを推定することを特徴とする請求項１２に記載の装置。
前記マイクロプロセッサは、前記物体の移動を表すバルク動きベクトルと局所的な境界の動きベクトルとを推定し、かつ該推定された局所的な境界の動きベクトルを用いて非剛体的動きを有する該物体内の領域に近接するピクセルに対して前記動的モデルにおける前記予測誤差項を計算することにより、該物体に対して及び前記背景エリアに対して前記第２の動きベクトルを推定することを特徴とする請求項２１に記載の装置。