JP5506717B2 - ステレオ画像においてオクルージョンをハンドリングするための方法 - Google Patents

Description

発明は、包括的にはステレオマッチングに関し、より詳細には、ステレオ画像におけるオクルージョンをハンドリングすることに関する。

オクルージョンハンドリングは、コンピュータービジョン及び３Ｄ画像処理において、特にステレオにおける対応問題、及び動き解析に関して、重要かつ困難な問題である。

ステレオ画像の場合、オクルードされたピクセルは通例、ステレオ画像のうちの一方においてのみ可視であるため、他方の画像において対応するピクセルを推定することは不可能である。しかしながら、オクルードされたピクセルに妥当な視差値を割り当てて、高品質の画像に基づくレンダリング及び３Ｄモデリングを保証する必要がある。

ステレオ画像におけるオクルージョンをハンドリングするために、３Ｄジオメトリに基づいて利用することができる様々な制約が存在する。たとえば、動的プログラミングを使用して、順序制約を利用することによって視差及びオクルージョンマップが推定されてきた。この手法は、非常に効率的であるが、順序制約は、画像が比較的薄い物体、すなわち、わずか数ピクセルの幅を有する物体を含む場合、有効でない。

一意性制約を大域最適化法に組み合わせると共に、所定のペナルティをオクルードされたピクセルに割り当てることによって該オクルードされたピクセルの視差を推定する多くの手法が説明されてきた。オクルードされたピクセルの視差はまた、外挿法によって推定されてきた。外挿法では、可視ピクセルの視差がオクルードされた領域に単に拡張される。しかしながら、この外挿法は、視差マップにおける誤差に起因して、オクルードされたピクセルの幾何学的秩序が有効でない可能性があるため、信頼性がない。

セグメンテーションに基づくオクルージョンハンドリング方法も存在する。該方法は、部分的に可視のセグメントにおける可視ピクセルの視差を用いて平面当てはめを実行することによって、オクルードされたピクセルに視差を割り当てる。

別の方法は、重み付けされた最小二乗解を使用して、オクルージョン問題をコスト集約方式に組み合わせる。この方法は、オクルードされたピクセルを検出するのに左視差場しか使用せず、オクルージョンの幾何学的秩序が利用される。この方式の１つの欠点は、この方法が各コスト領域に対して連続非線形フィルタリングを繰り返し実行するので、計算複雑度が高くなり得ることである。

本発明の実施の形態は、新規のサポート及び決定プロセスを利用する確率的投票フレームワークに基づいてステレオ画像内のオクルードされたピクセルをハンドリングするための方法を提供する。オクルージョンハンドリング方法は、視差マップ内のオクルードされたピクセルに視差値を割り当てる。

初期ステップにおいて、可視ピクセルにおける視差を使用する確率的投票法を使用して、各オクルードされたピクセルの視差及び対応するサポートが求められる。このようにして、各オクルードされたピクセルにおける視差及びサポートが求められると、ピクセル情報が伝播される。次に、反復的なサポート及び決定プロセスを通じて、オクルードされたピクセルの最終視差が求められ、オクルードされたピクセル領域内部の情報が伝播される。

反復的なサポート及び決定プロセスの実行を改善する高速化技法も説明される。

本発明の実施の形態は、サポート及び決定プロセスを使用してオクルージョンをハンドリングするための新規の方法を提供する。本方法は、特定の視差値を有する尤度を表すサポート関数を使用して、オクルードされたピクセルに視差値を割り当てる。複雑度を低減すると共に、オクルードされたピクセル間のサポート情報を効率的に伝播するための高速化技法も説明される。従来技術による方式と比較して、本発明において説明される方法は、その複雑度が視差探索範囲から独立しているという利点を有する。

本発明の実施の形態によって使用される左ステレオ画像のオクルージョンマップである。 本発明の実施の形態によって使用される右ステレオ画像のオクルージョンマップである。 本発明の実施の形態による、オクルージョンをハンドリングするための方法のブロック図である。 本発明の実施の形態による、確率的フレームワークのサポート関数の計算の概略図である。

システム概観
左視差マップ及び右視差マップ、たとえば図１Ａ及び図１Ｂに示すマップから、左オクルージョンマップ及び右オクルージョンマップが求められる。これらの図では、白い領域は可視ピクセルを示し、黒い領域はオクルードされたピクセルを示している。オクルージョンマップは、従来の照合検査法（cross-checking method）を使用して求めることができる。

本発明の実施の形態は、視差値をオクルードされたピクセルに割り当てる。オクルージョン検出は、本発明によって特に扱われず、オクルージョン検出の目的のために任意の従来の方法を使用することができる。

本方法は、従来技術において既知のメモリ及び入力／出力インターフェースに接続されたプロセッサ２００において実行することができる。ステレオ画像内の数百万ピクセルの処理を知的に（mentally）実行することができないことも理解される。

たとえば、大域最適化を使用して、又はオクルードされたピクセルが背景内の可視ピクセルと類似した視差値を有する可能性が高いという幾何学的制約を適用することによって、オクルードされたピクセルに視差値を割り当てるための方法が既知である。しかしながら、従来技術による方法は常に正確であるとは限らない。

図２に示すように、オクルージョンハンドリングプロセスは、２つのステップ、すなわち、初期化２１０及び反復的なサポート及び決定プロセス２２０に分割することができる。プロセス２２０は、オクルードされたピクセルのサポートを決定すること（２２１）及び決定ステップ２２２を含む。

方法への入力２０１は、可視ピクセルの視差値、並びに左ステレオ画像及び右ステレオ画像のオクルージョンマップである。出力２０２は、オクルードされたピクセルの最終視差値及びオクルードされたサポートである。

初期化２１０の間、視差、及びオクルードされたピクセルの対応するサポートが、近傍可視ピクセルの視差を使用して求められ、決定２１５が生成される。このようにして、可視ピクセル情報がオクルードされた領域に伝播される。

反復的なサポート及び決定プロセスは、最終視差、及びオクルードされたピクセルの対応するサポートを求める。反復的なプロセスは初期プロセスに幾分類似しているが、プロセス２２０がオクルードされたピクセルの該プロセス独自のサポートを使用し、オクルードされたピクセルごとにサポート値の正規化を実行するという点で異なる。

オクルージョンハンドリングステップは、左視差マップ及び右視差マップに関して同じであるので、ステレオ画像のうちの一方についてのみ本方法を説明する。

初期サポート関数
本発明において説明される方法によれば、確率的投票フレームワークにおいてオクルージョンをハンドリングするためのサポート関数が規定される。初期サポート関数は、オクルードされたピクセルが、初期視差候補のセット間で、特定の視差値を有する尤度を表す。初期サポート関数Ｓ（ｍ，ｄ）は以下のように規定される。

ここで、ｐ（ｍ，ｎ）は、ピクセルｍ及びｎが同一の視差値を有する確率を表し、ｄは初期視差候補であり、ｄ（ｎ）は可視ピクセルｎの視差である。（ｄ＝ｄ（ｎ）の場合、ｆ（ｄ、ｄ（ｎ））＝１であり、そうでない場合（ｄ、ｄ（ｎ））＝０である。可視である場合、ｏ（ｎ）＝１であり、そうでない場合、ｏ（ｎ）＝０である）。初期サポート関数を求めるとき、Ｎ個の近傍ピクセルのセットが使用され、ｏ（ｎ）は可視性関数（visibility function）である。初期サポート関数は、オクルードされたピクセルについてのみ、すなわち式（１）においてｏ（ｍ）＝０のときに求められることに留意されたい。

図３は、可視ピクセルの視差及びそれらの確率値を使用して、ピクセルｍにおけるサポートを求めるプロセスを概略的に示している。各オクルードされたピクセル３０１について、近傍可視ピクセル３０２が視差候補に「投票」する。これは、オクルードされたピクセル及び近傍可視ピクセルが同じ視差値を有する確率に比例する、オクルードされたピクセルｍにおけるそれらの近傍可視ピクセル３０２の視差値ｄ（ｎ）に対応する。換言すれば、オクルードされたピクセルは、高確率の近傍可視ピクセルがより多いとき、より大きなサポートを有する。

初期化
可視ピクセルとオクルードされたピクセルとの間の確率関数ｐ（ｍ，ｎ）を規定するために、深度不連続性が、色不連続性に対応している可能性が高い、すなわち、類似の色を有する近傍ピクセルは通例、類似の視差値を有すると仮定する。

この仮定は、ステレオマッチング及び動き推定のような対応問題において広く使用されてきた。これに従って、確率関数に比例する重み関数ｗを規定する。

ここで、∝は比例記号であり、ｗ（ｍ，ｎ）はガウス距離関数であり、幾何学的距離及び色距離の双方を含み、Ｄ（，）はユークリッド距離を表し、Ｉは本発明におけるＲＧＢ成分を有する３次元色ベクトルであるが、他の色空間も使用することができ、σ^２ _Ｓは幾何学的距離の重み付け定数であり、σ^２ _Ｉは色距離の重み付け定数である。

式（２）を使用して、初期サポート関数Ｓ_ＩＮＩを以下のように規定することができる。

上述したように、初期サポート関数Ｓ_ＩＮＩは、可視ピクセルの視差を使用して求められる。確率関数に比例する重み付け関数ｗは、バイラテラルフィルタリング及び異方性拡散フィルタリングと同様に、不連続性を位置特定するのに役立つ。正確なオクルージョンハンドリングのために、可視ピクセルから十分なサポートを収集して、初期視差、及びオクルードされたピクセルごとのサポートを決定することも必要とされている。

初期サポート関数Ｓ_ＩＮＩを使用して、初期視差及び対応するサポートを以下のように求めることができる。

ここで、関数ａｒｇ ｍａｘ_ｄは初期視差候補のセット間の最大値を返す。

サポート関数Ｓは、オクルードされたピクセルについて求められた初期視差の信頼度を表す。初期サポート関数Ｓ_ＩＮＩは近傍可視ピクセルの視差を使用して求められるので、初期サポート関数の最大値Ｓは、オクルードされたピクセルｍが視差ｄ（ｍ）を有する尤度を表す。

式（２）〜式（４）によれば、説明されたオクルージョンハンドリング方法の初期サポートによって、近傍ピクセルの視差がオクルードされたピクセルの初期視差候補のセットに等しい尤度を示す確率の重み付けされた和、すなわち対応する重みに基づいて初期視差値が決まる。ここで、重みは可視ピクセルの距離及び輝度値の類似度に基づく。

オクルードされたピクセルのサポート値によって、該オクルードされたピクセルにおける初期視差の信頼度が決まる。次に、反復的なサポート及び決定プロセス２２０において、オクルードされたピクセル間で視差値及びサポート値を伝播することによって、最終視差値及び対応するサポート値が求められる。

反復的なサポート及び決定プロセス
初期サポート及び決定プロセス２１０において得られた視差値及びサポート値を使用して、可視ピクセルからオクルードされたピクセルへ情報を伝播する。初期化は可視ピクセルの視差にのみ依存する一方、反復的なサポート及び決定プロセスはオクルードされたピクセルからの情報を使用する。

反復的なサポート及び決定プロセスは、初期プロセスに類似しているが、反復的なプロセスが、オクルードされたピクセルの該プロセス独自のサポートを使用し、各反復中に、オクルードされたピクセルのサポート値の正規化を実行するという点で異なる。

オクルードされたピクセルにおける最終サポート関数及び正規化関数は以下のように求めることができる。

ここで、Ｓ^ｔ（ｎ）はｔ番目の反復における最終サポート関数を表す。Ｓ（ｎ）を使用してＳ^０（ｎ）を初期化し、正規化されていない中間サポート関数は

である。

したがって、視差関数及び最終サポート関数は以下のように求められる。

（ｔ＋１）番目の反復における最終サポートＳ^ｔ＋１（ｍ）が、重みＷによって正規化される。サポート及び決定プロセスの反復中、サポート値の和を保持するために正規化プロセスが必要とされる。初期サポート及び決定プロセスにおいて求められるサポート値の総和は、バイラテラルフィルタリング及び非局所平均フィルタリングのようなエッジ保存フィルタリング法に類似の反復フィルタリングプロセスにおいて維持される。

本発明の１つの実施の形態では、反復回数は予め定められている。これは、固定処理及びタイミング制約を必要とする実施態様に有用である。

本発明の別の実施の形態では、反復回数は、現在の反復の最終視差値と前回の反復の最終視差値とを比較することによって求められる。最小の変化が検出されるとき、プロセスは収束している。

本発明の別の実施の形態では、反復回数はサポート値に従って確定される。このようにして、オクルードされたピクセルの最終視差値において或る特定のレベルの信頼度に達する。

高速化技法
本方法は、ガウス−ザイデル法及び階層方式を含む多数の方法を用いて高速化することができる。ガウス−ザイデル法は、リープマン法、又は連続変位法としても知られる。本方法は、連立一次方程式を解くのに使用される既知の反復法である。階層方式は、粗いレベルから精緻なレベルに配置された異なる解像度を有する画像を使用する。画像を連続してダウンサンプリングすることによって、様々な解像度を得ることができる。

ガウス−ザイデル法の場合、オクルードされたピクセルの更新されたサポート値は、反復的なサポート及び決定プロセスにおいて求められると即座に使用される。

近傍ピクセルのセットＮ（ｍ）を、因果部Ｎ_C（ｍ）と非因果部Ｎ_ｎ（ｍ）とに分割する。Ｎ（ｍ）のこれらの２つの部分を使用して、式（５）の最終サポート関数を以下のように表すことができる。

別の高速化手段は、本方法を階層的に適用することである。信頼性のあるオクルージョンハンドリングを保証するために、大きな距離においてサポート情報を収集することが必要である場合があるので、階層方式は、オクルードされたピクセル間でサポート情報を効率的に伝播することができる。

階層法において、各レベルにおいて、より粗いレベルにおける最終値を使用することによって、最適サポートに近い値が初期化される。第１のフェーズにおいて、最も粗いレベルにおける最終サポート関数は、式（４）におけるＳ（ｍ）を使用して初期化される。また、ステレオ画像は、各階層レベルにおける重み付け関数ｗを求めるためにサブサンプリングされる。

次に、反復的なサポート及び決定プロセス２２０が各レベルにおいて実行される。Ｔ回反復した後、結果としての視差関数及び最終サポート関数を使用して、より精緻なレベルにおける視差関数及び最終サポート関数を初期化する。この方式において、異なる視差値を有するオクルードされたピクセルの最終サポート関数を用いてアップサンプリングステップを実行することが不可能であるので、視差関数及び最終サポート関数のアップサンプリングステップは実行されないことに留意されたい。

Claims (16)

1. ステレオ画像においてオクルージョンをハンドリングするための方法であって、前記ステレオ画像はオクルードされたピクセル及び可視ピクセルを含み、前記ステレオ画像ごとに、
   オクルードされたピクセルのそれぞれについて、初期サポート関数と、オクルージョンマップと、前記ステレオ画像内の前記オクルードされたピクセルの近傍の前記可視ピクセルの視差とを使用して、初期視差値及びそれぞれの初期視差値の尤度を求めるステップであって、前記初期サポート関数は、前記オクルードされたピクセルの近傍の前記可視ピクセルの視差が、前記オクルードされたピクセルの前記初期視差値に等しい尤度を示す確率の重み付けされた和である、初期視差値及びそれぞれの初期視差値の尤度を求めるステップと、
   オクルードされたピクセルのそれぞれについて、前記初期視差値と、最終サポート関数と、正規化関数とを使用して、最終視差値及びそれぞれの最終視差値の尤度を繰り返し求めるステップであって、前記最終サポート関数は、近傍のオクルードされたピクセルの前記初期視差値が、前記オクルードされたピクセルの前記最終視差値に等しい尤度を示す確率の重み付けされた和である、最終視差値及びそれぞれの最終視差値の尤度を繰り返し求めるステップと
   を含み、各ステップはプロセッサで実行される、ステレオ画像においてオクルージョンをハンドリングするための方法。
2. 対応する重みを用いて、前記初期サポート関数の前記重み付けされた和は、前記オクルードされたピクセルと、前記近傍可視ピクセルとの間の幾何学的距離及び色距離のセットに基づく
   請求項１記載の方法。
3. 前記重みはガウス距離関数
   

   

   によって求められ、ここで、ｍは前記オクルードされたピクセルのインデックスであり、ｎは前記近傍可視ピクセルのインデックスであり、Ｄ（，）はユークリッド距離を表し、Ｉは３次元色ベクトルであり、σ^２ _Ｓは前記幾何学的距離の重み付け定数であり、σ^２ _Ｉは前記色距離の重み付け定数である
   請求項２記載の方法。
4. 前記初期サポート関数は、
   

   

   であり、ｗ（ｍ，ｎ）は前記オクルードされたピクセルｍ及び前記可視ピクセルｎに対応する重みであり、ｆ（ｄ，ｄ（ｎ））は、ｄがｄ（ｎ）に等しい場合に１に等しく、そうでない場合に０に等しいバイナリ関数であり、ここでｄは前記初期視差候補であり、ｄ（ｎ）は近傍Ｎ（ｍ）における前記可視ピクセルｎの前記視差であり、ｏ（ｎ）は、前記ピクセルｎが可視である場合に１に等しく、そうでない場合０に等しいバイナリ関数である 請求項１記載の方法。
5. 前記初期視差値ｄ（ｍ）及び前記初期視差値のサポートＳ（ｍ）は、以下のように求められ、
   

   

   ここで、関数ａｒｇ ｍａｘ_ｄは、前記初期視差候補のセット間の最大値を返す
   請求項１記載の方法。
6. 対応する重みを用いて、前記最終サポート関数の前記重み付けされた和は、オクルードされたピクセルと、前記近傍のオクルードされたピクセルとのそれぞれの間の幾何学的距離及び色距離のセットに基づく
   請求項１記載の方法。
7. 前記重みは、ガウス距離関数によって求められ、
   

   

   ここで、ｍは前記現在のオクルードされたピクセルのインデックスであり、ｎは前記近傍のオクルードされたピクセルのインデックスであり、Ｄ（，）はユークリッド距離であり、Ｉは３次元色ベクトルであり、σ^２ _Ｓは前記幾何学的距離の重み付け定数であり、σ^２ _Ｉは前記色距離の重み付け定数である
   請求項６記載の方法。
8. 前記最終サポート関数は、
   

   

   であり、ここで、Ｓ^ｔ（ｎ）はｔ番目の反復における前記最終サポート関数を表し、Ｓ^０（ｎ）はＳ（ｎ）を使用して初期化され、正規化されていない中間サポート関数は
   

   

   である
   請求項１記載の方法。
9. 前記正規化関数は
   

   

   である
   請求項１記載の方法。
10. 前記最終視差値ｄ^ｔ＋１（ｍ）及び前記最終視差値の尤度Ｓ^ｔ＋１（ｍ）は反復的に求められ、（ｔ＋１）回の反復後、
    

    

    として求められ、ここで、ｍは前記オクルードされたピクセルのインデックスである
    請求項１記載の方法。
11. 反復回数は、予め定められている
    請求項１０記載の方法。
12. 前記反復的に求めることは、前記最終視差値が収束することで終了する
    請求項１０記載の方法。
13. 前記反復的に求めることは、前記尤度に依存する
    請求項１０記載の方法。
14. 前記方法は、ガウス−ザイデル法を使用して高速化される
    請求項１記載の方法。
15. 前記方法は、異なる解像度の画像の階層に適用される
    請求項１記載の方法。
16. 近傍ピクセルのセットＮ（ｍ）を因果部Ｎ_ｃ（ｍ）と非因果部Ｎ_ｎ（ｍ）とに分割するステップと、
    前記最終サポート関数を、
    

    

    として表すステップとをさらに含む
    請求項１５記載の方法。

Images