JP6142611B2

JP6142611B2 - ステレオマッチングのための方法及びステレオマッチングのためのシステム

Info

Publication number: JP6142611B2
Application number: JP2013064254A
Authority: JP
Inventors: 王炳融; バイ・シアンホォイ; タヌ・ジミン
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2012-03-27
Filing date: 2013-03-26
Publication date: 2017-06-07
Anticipated expiration: 2033-03-26
Also published as: JP2013206468A; EP2657910A1; CN103366354B; CN103366354A; US20130259360A1; US9020242B2

Description

本発明は、画像処理分野に関し、具体的には、ステレオマッチングのための方法及びステレオマッチングのためのシステムに関する。

ステレオマッチングは、あるシーンを撮影する２つ以上の画像から、画像間のマッチング画素を正確に抽出することで該シーンの三次元（３Ｄ）モデルを推定し、これらの画像間のマッチング画素の二次元（２Ｄ）位置を３Ｄ奥行きに変換する処理である。簡単な撮像装置（例えば、両眼又は２つのカメラが前に向かって撮影する撮像装置）において、両眼又は２つのカメラの間の視差と、該両眼又は２つのカメラと観察対象との距離（撮影する画像における観察対象のステレオ奥行き）とは反比例する。このため、通常視差画像は、撮影された画像における画素のステレオ奥行きを表示するために用いられる。

従来のステレオマッチングのためのアルゴリズムにおいて、通常両眼又は２つのカメラにより取得された２つの画像のうち１つの画像を参考画像とし、もう１つの画像を目標画像として、目標画像の参考画像に対する視差図を出力する。

ステレオマッチングのためのアルゴリズムが沢山あるが、これらのアルゴリズムは一般にマッチングコスト計算ステップ、コスト集約（cost aggregation）ステップ、視差計算ステップ、及び視差最適化ステップを含む。

マッチングコスト計算ステップにおいて、最小視差値（ｄ_ｍｉｎ）から最大視差値（ｄ_ｍａｘ）の各視差値に対応する参考画像と目標画像との間の画素差を計算する。ｄ_ｍｉｎからｄ_ｍａｘの全ての視差値及びこれらの視差値に対応する全ての画素差が最初の視差空間画像（ＤＳＩ）を形成する。従来のマッチングコスト計算方法は、１）強度差の平方（ＳＤ）を計算する方法及び光強度差の絶対値（ＡＤ）を計算する方法（この２つの方法はノイズに敏感である）、２）例えば階層変換、統計変換のような非パラメータ方法（これらの方法はノイズに敏感なものではないが、計算時間が長い）。

コスト集約ステップにおいて、各視差値に対応するマッチングコスト平面上のサポートウィンドウにおけるマッチングコストを合計することで、信頼性がより高いマッチングコストを取得する。最も常用のコスト集約方法は、マッチングコスト平面上の固定ウィンドウにおけるマッチングコストを合計する。しかし、この方法はいろいろな方面で問題点がある。これは、１）画像における画素のステレオ奥行きの不連続性を無視し、２）画像におけるぼけ領域を処理していないからである。このため、理想的なコスト集約方法は、できるだけ多くのマッチングコスト平面上の同一の視差値に対応する点を含むサポートウィンドウを使用すべきである。従って、例えば移動ウィンドウ、多数ウィンドウ、及び可変ウィンドウのようなサポートウィンドウが提案されている。しかい、これらのウィンドウ全ては満足できる結果を得られるものではなく、且つそれらの効率が高くない。

視差計算ステップは、最初のＤＳＩに基づいて画像の視差図を取得する。通常、１つのシーンを撮影して得られた画像におけるある画素点について、該画素点に関連する最小マッチングコスト集約値に対応する視差値を該画素点の視差値として選択する。

視差最適化ステップは、取得された視差値に対して後処理を行うものであり、サブ画素最適化ステップ、遮蔽検出ステップ、及び遮蔽充填ステップをさらに含む。従来の遮蔽充填方法は、１）同一の画素行に位置し、空間上最も接近し、遮蔽されていない画素の最小視差値を遮蔽された画素の視差値として選択すること（この方法は縞模様の擬像を生じることがある）、２）バイラテラルフィルタ(bilateral filter)用いて遮蔽された領域をアンチエイリアシングすること（この方法は処理速度が遅い）を含む。

上述した問題点を鑑み、新たなステレオマッチングのための方法が提供される。

ステレオマッチングのための方法の一観点によれば、マッチングコスト計算ステップと、コスト集約ステップと、視差計算ステップと、視差最適化ステップと、を含むステレオマッチングのための方法であって、前記マッチングコスト計算ステップは、左画像及び右画像における各画素の全てのコンポーネントチャンネルの強度値の水平勾配及び鉛直勾配に基づいて、左視差空間画像及び右視差空間画像を取得する、ステレオマッチングのための方法が提供される。

ステレオマッチングのためのシステムの一観点によれば、マッチングコスト計算手段と、コスト集約手段と、視差計算手段と、視差最適化手段と、を含むステレオマッチングのためのシステムであって、前記マッチングコスト計算手段は、左画像及び右画像における各画素の全てのコンポーネントチャンネルの強度値の水平勾配及び鉛直勾配に基づいて、左視差空間画像及び右視差空間画像を取得する、ステレオマッチングのためのシステムが提供される。

開示のステレオマッチングのための方法及びステレオマッチングのためのシステムによれば、正確な視差図を迅速に取得できる。

ステレオマッチングのための方法／システムを示す図。マッチングコスト計算部により実行されたマッチングコスト計算ステップを示す図。左境界画素ｘ_１及び右境界画素ｘ_２を決定するプロセスを示す図。視差計算部及び視差最適化部により実行された視差計算ステップ及び視差最適化ステップのプロセスを示す図。二次多項式の曲線グラフ。

以下、本発明の各方面の特徴及び例示的な実施例を説明する。下記の説明は、本発明を全面的に理解するように、多くの詳細を含む。ただし、本発明は、これらの具体的な細部の全部が必要であることではない。下記の実施例の説明は、本発明の例を通じて本発明をよく理解するためのものに過ぎない。本発明は、下記説明する如何なる具体的な配置及びアルゴリズムに限定されず、本発明の要旨から離脱しない限り、関係要素、部材、アルゴリズムを任意に修正、変更及び改良してもよい。

従来のステレオマッチング方法と同じように、本発明の実施例に係るステレオマッチングのための方法もマッチングコスト計算ステップと、コスト集約ステップと、視差計算ステップと、視差最適化ステップと、を含む。

図１は、ステレオマッチングのための方法／システムを示す図である。具体的には、ステレオマッチングのための方法においては、ノイズに対する感度と計算量とを両立できるマッチングコスト計算方法及びエッジ感知（edge aware）のサポートウィンドウに基づくコスト集約方法を用いる。また、視差最適化部／ステップにおいては、二次多項式補間を用いてサブ画素最適化処理を行い、クロスチェック手法を用いて遮蔽検出処理を行い、エッジ感知のメディアンフィルタを用いて遮蔽充填処理を行う。

ステレオマッチングのための方法／システムは、一対の補正画像（rectified images）から視差図を生成する。標準の補正幾何学（rectified geometry）では、視差は一対の補正画像における２つの対応画素のｘ座標の間の差であるが、視差と画素奥行き（以下、「奥行き」と略称する）とが反比例するため、通常視差が画素奥行きを表示するために用いられる。各画素が自分の奥行きを有するため、視差図は画像ｄ（ｘ，ｙ）に形成する。

具体的には、ステレオマッチングのための方法／システムは、左画像、右画像及び所定の最大視差値d_maxと最小視差値d_minを入力とし、左画像の視差図（以下、左画像の視差図を取得することを例として説明しているが、類似の処理により右画像の視差図を取得してもよい）を出力する。なお、ここに言われた最大視差値と最小視差値は、予め規定された、ステレオマッチング方法が処理可能な視差値範囲を表示する。

以下、図面を参照しながら、ステレオマッチングのためのシステムにおける各部により実行される、ステレオマッチングのための方法における各ステップを詳細に説明する。

（マッチングコスト計算）
マッチングコスト計算ステップにおいて、２つの画素の間のマッチングコストを計算して、２つの画素の間の対応関係を見つける。図２は、マッチングコスト計算ステップを示す図である。図２に示すように、左画像I_L(x,y)及び最小視差値d_minと最大視差値d_maxとの間のいずれか１つ視差値dについて、マッチングコストC₀(x,y,d)が以下のように計算される。
x-d≧1の場合、

x≦dの場合、

上記数式において、

は左画像における画素(x,y)のiチャンネルの強度値を表示し、

は右画像における画素(x-d,y)のiチャンネルの強度値を表示する。

は左画像から変換されたグレースケール画像の画素（x,y）の水平勾配を表示し、

は右画像から変換されたグレースケール画像の画素（x-d,y）の水平勾配を表示し、

は左画像から変換されたグレースケール画像の画素（x,y）の鉛直勾配を表示し、

は右画像から変換されたグレースケール画像の画素（x-d,y）の鉛直勾配を表示する。Cはチャンネル数（RGB画像の場合、C=3；グレースケール画像の場合、C=1）を表示する。上記数式におけるパラメータは以下のように設置される。

右画像I_R(x,y)について、マッチングコストC’₀(x,y,d)は以下のように簡単に計算される。
x+d≦wの場合、

x+d＞wの場合、

上記計算されたマッチングコストは、サイズがh*w*(d_max-d_min+1)の２つ視差空間画像（ＤＳＩ）を形成し、そのうち、hは左画像及び右画像の高さを表示し、wは左画像及び右画像の幅を表示する。

（コスト集約ステップ）
コスト集約ステップにおいては、ＤＳＩにおけるサポートウィンドウにおいてマッチングコストの和又は平均値を求めることでマッチングコストを集約する。各視差値dについて、水平方向及び鉛直方法それぞれに沿ってC₀(x,y,d)とC’₀(x,y,d)に対して二行程一次元（two-pass 1D）のコスト集約を行う。以下左視差空間画像（ＤＳＩ）を例として説明する。左視差空間画像（ＤＳＩ）における視差値dに対応するマッチングコスト平面について、まず水平行程のコスト集約を実行して、そして水平行程による結果に対して鉛直行程のコスト集約を適用する。まず、水平行程の処理プロセスを説明する。左視差空間画像における視差値dに対応するマッチングコスト平面における画素(x,y)は、集約コストがサポートウィンドウ（即ちコスト集約サポートウィンドウ）におけるマッチングコストの平均値。

そのうち、x₁はサポートウィンドウの左境界画素の横座標値であり、x₂はサポートウィンドウの右境界画素の横座標値である。理想的なサポートウィンドウは、できるだけ多くの、視差値dに対応するマッチングコスト平面における同一の奥行きの点を含むすべきである。奥行きはサポートウィンドウの境界において変化する。ステレオマッチングのための方法は勾配累加により境界を検出する。視差値dに対応するマッチングコスト平面における画素（x,y）の周囲に位置し、且つ横座標が上記境界画素の横座標の間に位置する画素は、サポートウィンドウに含まれる。

図３は、左境界画素の横座標値x₁及び右境界画素の横座標値x₂を決定するプロセスを示す図である。まず、左境界画素の横座標値x₁に対して、以下の関数を定義して、画素(u,y)が(x,y)と同じ奥行きを有するか否かを判断する。T_1x(u,y)≦0の場合、画素（u,y）と画素(x,y)とが同じ奥行きを有すると判断され、そうでない場合、それらが同じ奥行きを有しないと判断される。

そのうち、

は左画像における画素(j,y)のiチャンネルの水平勾配を表示する。パラメータα、βはステレオマッチングのための方法のサポートウィンドウに対する感度を制御する。ここで、パラメータα、βの値は以下のように設置される。

右境界画素について、以下の関数を類似的に定義される。T_2x(u,y)≦0の場合、画素（u,y）と画素(x,y)とが同じ奥行きを有すると判断され、そうでない場合、それらが同じ奥行きを有しないと判断される。

サポートウィンドウができるだけ多くの同一の奥行きの点を含むために、

とする。

このように、視差値dに対応するマッチングコスト平面における画素(x,y)のx方向に対するサポートウィンドウが得られる。サポートウィンドウにおいてマッチングコストを平均して、集約コストC₁(x,y,d)を取得する。右視差空間画像に対して、同様な方法を用いて、サポートウィンドウを取得して集約コストC’₁(x,y,d)を計算する。

実際には、漸化式を用いてT_1x及びT_2xを取得してもよい。

次に、鉛直行程の処理を説明する。具体的には、鉛直行程の処理は水平行程により得られた結果に適用される。

そのうち、

なお、ここもT_1y(x,v)≦0及びT_2y(x,v)≦0に基づいて、画素(x,v)と画素(x,y)とが同じ奥行きを有し、且つウィンドウサイズがこの条件を満たす全ての点を判断する。

右視差空間画像（ＤＳＩ）において同じ演算を実行して、C’(x,y,d)を取得する。最小視差値、最大視差値、及び最小視差値と最大視差値との間にある視差値を含む全ての視差値dを検索（traverse）して上記のステップを実行した後で、ステレオマッチング方法は次のステップに進む、即ちＤＳＩから視差を計算し、視差を最適化する。

（視差計算と最適化）
図４は、視差計算及び最適化のプロセスを示す図。ステレオマッチングのための方法は、各画素の最小集約コストに対応する視差値を該画素の視差値とする（１人勝ち（WTA: Winner-Take-All）法と称する）。

そのうち、d₀(x,y)は左画像における画素(x,y)の初期視差値を表示し、d’₀(x,y)は右画像における画素(x,y)の初期視差値を表示する。

次に、ステレオマッチングのための方法は、サブ画素最適化を利用して離散コスト関数による視差の不連続性を低減する。ステレオマッチングのための方法は、二次多項式補間によって、画素(x,y)の初期視差値d₀及び初期視差値d₀に隣接する視差値(d₀-1)、(d₀+1)に対応するマッチングコストに基づいて、画素(x,y)の中間視差値を推定する。そのうち、d₀は最小マッチングコストを有する視差値であり、他の２つの視差値はd₀に隣接する視差値である。

図５は、以下の二次多項式の曲線グラフを示す。

３つの点を用いて上記二次多項式により表示される放物線を唯一確定でき、

の場合、f(x)が最小値を有する。d₀、f(d₀)、f(d₀-1)及びf(d₀+1)（そのうち、f(d₀)、f(d₀-1)及びf(d₀+1)それぞれは視差値d₀、(d₀-1)及び(d₀+1)に対応するマッチングコストである）を指定すると、以下のようにパラメータa及びbを計算することができる。

従って、最適化後の視差値は

となる。

一方、離散の左視差画像及び離散の右視差画像は、遮蔽検出のクロスチェックを行うために用いられる。即ち、右画像における画素(x,y)の中間視差値と左画像における画素(x,y)の中間視差値とが同じである場合、画素(x,y)が遮蔽された領域に位置すると見なされる。L(x,y)で二進法遮蔽画像（１：遮蔽された画素；０：遮蔽されていない画素）を表示すると、

となる。

ステレオマッチングのための方法は、遮蔽された領域を充填するために、エッジ感知のメディアンフィルタ（edge-aware median filter）を利用している。遮蔽された領域を充填する処理は下記２つのステップに分けられる。

ステップ１：各遮蔽された画素に対して、同一の走査線に位置する、空間において遮蔽されていない画素に最も近接する画素の最小視差値（最低視差値）を抽出する。

そのうち、

ステップ２：二行程一次元（two-pass 1D）のエッジ感知のメディアンフィルタをこれらの遮蔽された画素に適用する。

これは、水平ウィンドウの中央値を画素の視差値として設定して、鉛直ウィンドウの中央値を最終視差値として設定することを意味する。各画素のウィンドウサイズの計算はコスト集約の計算に類似する。

本発明の実施例に係るステレオマッチングのための方法に用いられるエッジ感知のサポートウィンドウが他のコスト累加方法よりも強い（特に境界においてより強い）ため、本発明の実施例に係るステレオマッチングのための方法は非常に正確な視差図を生成することができる。

また、本発明の実施例に係るステレオマッチングのための方法は、計算量が少ないため、その効率がより高い。更に、本発明の実施例に係るステレオマッチングのための方法は、全てのステップが局部オペレータを用いるため、これらのステップを並行実現することができる。また、本発明の実施例に係るステレオマッチングのための方法は遮蔽領域を好適に充填することができる。

以上、本発明の好ましい実施形態、実施例を説明したが、本発明はこの実施形態、実施例に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる修正、組合せ及び変更は本発明の技術範囲に属する。

本発明に係る方法のステップは、必要に応じてハードウェア又はソフトウェアにより実行してもよい。なお、本発明の範囲から離脱しない限り、本明細書のフローチャートにステップを追加、削除、或いは修正してもよい。フローチャートは、一般には機能を実現するための基本操作を表示する一種の序列に過ぎない。

本発明の実施例は、プログラミングされた汎用ディジタルコンピュータ、専用集積回路、プログラミング可能な論理モジュール、現場でプログラミング可能なゲートアレー、光学的、化学的、生物的、量子的、ナノプロセスのシステム、組み物、及び機構により実現してもよい。一般、本発明の機能は、本技術分野の既知の如何なる手段により実現してもよい。分散式又はネットワークのシステム、モジュール及び回路を使用してもよい。データの通信又は伝送は有線、無線、又は如何なる他の手段により実現してもよい。

なお、特定の応用の必要に応じて、図面に示される要素の一つ又は複数は、更に分離或いは集積して実現してもよく、或いはある場合に除去或いは停止されてもよい。上述したいずれかの方法を実行させる、機器が読み取り可能な媒体に記憶されているプログラム又はコードも本発明の要旨及び範囲内にある。

また、図面における如何なる信号矢印は単なる例示的なものと理解すべきであり、他の具体的な指示がない限り、本発明を限定するものではない。用語は分離又は組合せの可能性が不明確である場合、部品又はステップの組合せも本発明の範囲にあると見なされる。

また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。

（付記１）
マッチングコスト計算ステップと、コスト集約ステップと、視差計算ステップと、視差最適化ステップと、を含むステレオマッチングのための方法であって、
前記マッチングコスト計算ステップは、左画像及び右画像における各画素の全てのコンポーネントチャンネルの強度値の水平勾配及び鉛直勾配に基づいて、左視差空間画像及び右視差空間画像を取得する、ステレオマッチングのための方法。

（付記２）
前記コスト集約ステップは、
左視差空間画像又は右視差空間画像における任意の視差値ｄに対応するマッチングコスト平面における任意の画素（ｘ，ｙ）に対して、勾配累加方法によって、左画像又は右画像における画素（ｘ，ｙ）の周囲の複数の画素の全てのチャンネルの強度値の水平勾配及び鉛直勾配に基づいて、画素（ｘ，ｙ）のコスト集約サポートウィンドウの範囲を決定するステップと、
画素（ｘ，ｙ）のコスト集約サポートウィンドウの範囲における画素のマッチングコストに基づいて、視差値ｄに対応するマッチングコスト平面における画素（ｘ，ｙ）の集約コストを計算するステップと、を含む、付記１に記載のステレオマッチングのための方法。

（付記３）
前記視差計算ステップにおいて、左画像又は右画像における任意の画素（ｘ，ｙ）に対して、画素（ｘ，ｙ）の最小集約コストに対応する視差値を画素（ｘ，ｙ）の視差値ｄ_０とする、付記２に記載のステレオマッチングのための方法。

（付記４）
前記視差最適化ステップは、
二次多項式補間によって、画素（ｘ，ｙ）の視差値ｄ_０、視差値ｄ_０の２つの隣接視差値（ｄ_０−１）と（ｄ_０＋１）、及び画素（ｘ，ｙ）の視差値ｄ_０、（ｄ_０−１）、（ｄ_０＋１）それぞれに対応するマッチングコストに基づいて、画素（ｘ，ｙ）の最適化視差値ｄ_１を推定するサブ画素最適化サブステップを含む、付記３に記載のステレオマッチングのための方法。

（付記５）
前記視差最適化ステップは、
左最適化視差画像又は右最適化視差画像における遮蔽された領域を抽出する遮蔽検出サブステップと、
左最適化視差画像及び右最適化視差画像における遮蔽された各画素に対応する視差値のうち小さい一つの視差値及び遮蔽されていない各画素の視差値によって遮蔽画像を構成し、メディアンフィルタにより前記遮蔽画像における遮蔽された各画素のコスト集約サポートウィンドウの範囲内の画素の視差値に対してメディアンフィルタ処理を行うことで、遮蔽された各画素の最終視差値を取得する遮蔽充填サブステップと、を含む、付記３に記載のステレオマッチングのための方法。

（付記６）
マッチングコスト計算手段と、コスト集約手段と、視差計算手段と、視差最適化手段と、を含むステレオマッチングのためのシステムであって、
前記マッチングコスト計算手段は、左画像及び右画像における各画素の全てのコンポーネントチャンネルの強度値の水平勾配及び鉛直勾配に基づいて、左視差空間画像及び右視差空間画像を取得する、ステレオマッチングのためのシステム。

（付記７）
前記コスト集約手段は、
左視差空間画像又は右視差空間画像における任意の視差値ｄに対応するマッチングコスト平面における任意の画素（ｘ，ｙ）に対して、勾配累加方法によって、左画像又は右画像における画素（ｘ，ｙ）の周囲の複数の画素の全てのチャンネルの強度値の水平勾配及び鉛直勾配に基づいて、画素（ｘ，ｙ）のコスト集約サポートウィンドウの範囲を決定するウィンドウ取得手段と、
画素（ｘ，ｙ）のコスト集約サポートウィンドウの範囲における画素のマッチングコストに基づいて、視差値ｄに対応するマッチングコスト平面における画素（ｘ，ｙ）の集約コストを計算する集約コスト計算手段と、を含む、付記６に記載のステレオマッチングのためのシステム。

（付記８）
前記視差計算手段は、左画像又は右画像における任意の画素（ｘ，ｙ）に対して、画素（ｘ，ｙ）の最小集約コストに対応する視差値を画素（ｘ，ｙ）の視差値ｄ_０とする、付記７に記載のステレオマッチングのためのシステム。

（付記９）
前記視差最適化手段は、
二次多項式補間によって、画素（ｘ，ｙ）の視差値ｄ_０、視差値ｄ_０の２つの隣接視差値（ｄ_０−１）と（ｄ_０＋１）、及び画素（ｘ，ｙ）の視差値ｄ_０、（ｄ_０−１）、（ｄ_０＋１）それぞれに対応するマッチングコストに基づいて、画素（ｘ，ｙ）の最適化視差値ｄ_１を推定するサブ画素最適化サブ手段を含む、付記８に記載のステレオマッチングのためのシステム。

（付記１０）
前記視差最適化手段は、
左最適化視差画像又は右最適化視差画像における遮蔽された領域を抽出する遮蔽検出サブ手段と、
左最適化視差画像及び右最適化視差画像における遮蔽された各画素に対応する視差値のうち小さい一つの視差値及び遮蔽されていない各画素の視差値によって遮蔽画像を構成し、メディアンフィルタにより前記遮蔽画像における遮蔽された各画素のコスト集約サポートウィンドウの範囲内の画素の視差値に対してメディアンフィルタ処理を行うことで、遮蔽された各画素の最終視差値を取得する遮蔽充填サブ手段と、を含む、請求項８に記載のステレオマッチングのためのシステム。

（付記１１）
コンピュータに、付記１乃至５のいずれかに記載の各ステップを実行させるためのプログラム。

（付記１２）
付記１１に記載のプログラムを記憶しているコンピュータ読み出し可能な記憶媒体。

Claims

マッチングコスト計算ステップと、コスト集約ステップと、視差計算ステップと、視差最適化ステップと、を含むステレオマッチングのための方法であって、
前記マッチングコスト計算ステップは、左画像及び右画像における各画素の全てのコンポーネントチャンネルの強度値の水平勾配及び鉛直勾配に基づいて、左視差空間画像及び右視差空間画像を取得し、
前記コスト集約ステップは、
左視差空間画像又は右視差空間画像における任意の視差値ｄに対応するマッチングコスト平面における任意の画素（ｘ，ｙ）に対して、勾配累加方法によって、左画像又は右画像における画素（ｘ，ｙ）の周囲の複数の画素の全てのチャンネルの強度値の水平勾配及び鉛直勾配に基づいて、画素（ｘ，ｙ）のコスト集約サポートウィンドウの範囲を決定するステップと、
画素（ｘ，ｙ）のコスト集約サポートウィンドウの範囲における画素のマッチングコストに基づいて、視差値ｄに対応するマッチングコスト平面における画素（ｘ，ｙ）の集約コストを計算するステップと、を含む、ステレオマッチングのための方法。
前記視差計算ステップにおいて、左画像又は右画像における任意の画素（ｘ，ｙ）に対して、画素（ｘ，ｙ）の最小集約コストに対応する視差値を画素（ｘ，ｙ）の視差値ｄ_０とする、請求項１に記載のステレオマッチングのための方法。
前記視差最適化ステップは、
二次多項式補間によって、画素（ｘ，ｙ）の視差値ｄ_０、視差値ｄ_０の２つの隣接視差値（ｄ_０−１）と（ｄ_０＋１）、及び画素（ｘ，ｙ）の視差値ｄ_０、（ｄ_０−１）、（ｄ_０＋１）それぞれに対応するマッチングコストに基づいて、画素（ｘ，ｙ）の最適化視差値ｄ_１を推定するサブ画素最適化サブステップを含む、請求項２に記載のステレオマッチングのための方法。
前記視差最適化ステップは、
左最適化視差画像又は右最適化視差画像における遮蔽された領域を抽出する遮蔽検出サブステップと、
左最適化視差画像及び右最適化視差画像における遮蔽された各画素に対応する視差値のうち小さい一つの視差値及び遮蔽されていない各画素の視差値によって遮蔽画像を構成し、メディアンフィルタにより前記遮蔽画像における遮蔽された各画素のコスト集約サポートウィンドウの範囲内の画素の視差値に対してメディアンフィルタ処理を行うことで、遮蔽された各画素の最終視差値を取得する遮蔽充填サブステップと、を含む、請求項２に記載のステレオマッチングのための方法。
マッチングコスト計算手段と、コスト集約手段と、視差計算手段と、視差最適化手段と、を含むステレオマッチングのためのシステムであって、
前記マッチングコスト計算手段は、左画像及び右画像における各画素の全てのコンポーネントチャンネルの強度値の水平勾配及び鉛直勾配に基づいて、左視差空間画像及び右視差空間画像を取得し、
前記コスト集約手段は、
左視差空間画像又は右視差空間画像における任意の視差値ｄに対応するマッチングコスト平面における任意の画素（ｘ，ｙ）に対して、勾配累加方法によって、左画像又は右画像における画素（ｘ，ｙ）の周囲の複数の画素の全てのチャンネルの強度値の水平勾配及び鉛直勾配に基づいて、画素（ｘ，ｙ）のコスト集約サポートウィンドウの範囲を決定するウィンドウ取得手段と、
画素（ｘ，ｙ）のコスト集約サポートウィンドウの範囲における画素のマッチングコストに基づいて、視差値ｄに対応するマッチングコスト平面における画素（ｘ，ｙ）の集約コストを計算する集約コスト計算手段と、を含む、ステレオマッチングのためのシステム。
前記視差計算手段は、左画像又は右画像における任意の画素（ｘ，ｙ）に対して、画素（ｘ，ｙ）の最小集約コストに対応する視差値を画素（ｘ，ｙ）の視差値ｄ_０とする、請求項５に記載のステレオマッチングのためのシステム。
前記視差最適化手段は、
二次多項式補間によって、画素（ｘ，ｙ）の視差値ｄ_０、視差値ｄ_０の２つの隣接視差値（ｄ_０−１）と（ｄ_０＋１）、及び画素（ｘ，ｙ）の視差値ｄ_０、（ｄ_０−１）、（ｄ_０＋１）それぞれに対応するマッチングコストに基づいて、画素（ｘ，ｙ）の最適化視差値ｄ_１を推定するサブ画素最適化サブ手段を含む、請求項６に記載のステレオマッチングのためのシステム。
前記視差最適化手段は、
左最適化視差画像又は右最適化視差画像における遮蔽された領域を抽出する遮蔽検出サブ手段と、
左最適化視差画像及び右最適化視差画像における遮蔽された各画素に対応する視差値のうち小さい一つの視差値及び遮蔽されていない各画素の視差値によって遮蔽画像を構成し、メディアンフィルタにより前記遮蔽画像における遮蔽された各画素のコスト集約サポートウィンドウの範囲内の画素の視差値に対してメディアンフィルタ処理を行うことで、遮蔽された各画素の最終視差値を取得する遮蔽充填サブ手段と、を含む、請求項６に記載のステレオマッチングのためのシステム。