JP6411177B2 - ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法 - Google Patents

Description

本発明は、大域的に最適化を行うステレオマッチング処理に関するものである。

従来、同一の対象物（被写体）を２台のカメラ（画像取得手段）で撮影し、得られた２枚の画像同士の対応点を求めて、カメラから対象物までの距離を計測する距離計測システムが知られている。

図１は、距離計測システムの構成例を示す模式図である。同システムは、同一の対象物ＯＢＪを撮影する基準カメラＣＬと参照カメラＣＲと、各カメラが撮影した画像から対象物ＯＢＪまでの距離（奥行き情報）を出力するコンピュータＣＯＭとを備える。ここで、対象物とはカメラが撮影した画像に写っているものであり、同図には建物とその背景とが対象物ＯＢＪを構成している。基準カメラＣＬにより撮影された画像は、ケーブルＣＢＬによってコンピュータＣＯＭに転送されて、基準画像ＰＬとして記憶される。参照カメラＣＲより撮影された画像は、ケーブルＣＢＲによってコンピュータに転送されて、参照画像ＰＲとして記憶される。

ここで、以降の説明においては、基準カメラＣＬと参照カメラＣＲの組をステレオカメラという。また、基準画像ＰＬと参照画像ＰＲの組をステレオ画像という。

基準カメラＣＬと参照カメラＣＲは、撮影する位置が異なる。ただし、各カメラのピントや絞り、感度などの特性は等しくなるよう調整されることが望ましい。基準カメラＣＬと参照カメラＣＲは、平行ステレオカメラとなるように配置される。平行ステレオカメラとは、２台のカメラの光軸が互いに平行であり、かつ、撮像面が同一平面上にあって水平方向に整列されたステレオカメラである。

なお、各カメラの配置は左右が逆であっても、水平方向ではなく垂直方向に整列して配置してもよい。また、画像の平行化が可能なように両方のカメラを校正すれば、平行でないステレオカメラであってもよい。

ここで、以降の説明においては、説明の便宜上、視線方向に向かって左側に配置されるカメラを基準カメラＣＬ、右側に配置されるカメラを参照カメラＣＲとする。

コンピュータＣＯＭは、ステレオマッチング装置と記憶装置と出力装置を備える。ステレオマッチング装置は、ステレオ画像から対応点を探索する処理を行い、奥行き情報を算出する。記憶装置は、カメラで撮影されたステレオ画像、およびステレオマッチング装置が計算した奥行き情報を記憶する。出力装置は、奥行き情報に基づいて対象物ＯＢＪを立体的に表示するディスプレイである。

なお、出力装置は、立体視可能な媒体や立体物の印刷装置、奥行き情報に基づく制御が可能な装置（ロボット、玩具、情報端末、交通輸送機、検品装置）であってもよい。

ここで、ステレオ計測について説明する。
図２は、ステレオ計測の原理を示す模式図である。同図に示されるように、３次元空間中の点Ｐは、ステレオ画像に投影され、点Ｐ₀および点Ｐ₁をもたらす。基準カメラＣＬと参照カメラＣＲの位置が異なるため、基準画像ＰＬと参照画像ＰＲに投影された点の２次元座標は一致することはなく、各カメラＣＬ，ＣＲから点Ｐまでの距離に応じて２次元座標の「ずれ」を生じる。この「ずれ」の大きさを視差という。なお、同図に示された対象物ＯＢＪには、建物の背景の図示が省略されている。

計測前の点Ｐの３次元座標は未知であるため、その視差もまた未知である。ステレオカメラによる計測は、画像処理を用いてステレオ画像から視差を獲得することにより達せられる。基準画像ＰＬ上の点Ｐ₀に対応する点Ｐ₁を参照画像ＣＲから精度良く求めるほど、より正確に点Ｐの３次元座標を計測することが可能となる。

なお、以降の説明においては、視差と３次元座標を区別する必要がないとき、これらを単に奥行き情報という。

コンピュータＣＯＭのオペレータまたはコンピュータＣＯＭは、ステレオカメラに２枚の画像ＰＬ，ＰＲの撮影を指示する。撮影された画像はデジタル化されて、コンピュータＣＯＭへと転送される。ステレオ画像が入力されると、コンピュータＣＯＭは、基準画像ＰＬ上の点Ｐ₀に対応する点Ｐ₁を参照画像ＰＲから探索する。これを対応点探索という。点Ｐの視差が確定すると、三角測量の原理により、基準カメラＣＬのカメラ中心Ｏ₀と参照カメラＣＲのカメラ中心Ｏ₁、および、基準画像ＰＬ中の点Ｐ₀と参照画像ＰＲの点Ｐ₁から３次元空間中の点Ｐの３次元座標が直ちに求まる。

以上説明した処理を基準画像ＰＬ上の各画素について繰り返すことにより、ステレオカメラによって撮影された対象物ＯＢＪに関する奥行き情報を獲得することができる。コンピュータＣＯＭは、得られた奥行き情報に基づいてディスプレイに対象物ＯＢＪを立体的に表示し、あるいは、他の出力装置に奥行き情報を転送する。

次に、ステレオ相関法について説明する。
ステレオ相関法は、基準画像ＰＬ上の画素ごとに、対応する点を参照画像ＰＲより探索する。平行ステレオカメラによって撮影すると、一方の画像上のある１点に対する、他方の画像上での対応点は、上下位置が同一の走査線上に存在することが知られている。走査線とは、画像上に水平に並んだ画素の列である。すなわち、基準画像ＰＬ上にある１点に対して対応点を求めるためには、参照画像ＰＲ上のただ１行の走査線を探索すればよい。

なお、平行ステレオカメラではない２台のカメラによって撮影が行われた場合でも、あらかじめ校正され基準カメラＣＬと参照カメラＣＲの相対的な位置・姿勢関係および特性が既知であれば、平行化と呼ばれる画像変換によって同様の対応点探索が可能となる。

図３は、ウィンドウコストと対応点の関係を示す模式図である。図３（ａ）に示すように、対応点の探索は、基準画像ＰＬ上に設けた小領域（図中、注目画素の周囲に示された太線で囲まれた領域）と、参照画像ＰＲ上に設けた小領域（図中、対応点の周囲に示された太線で囲まれた領域）とを比較する。これらの小領域をウィンドウという。基準画像ＰＬ上の注目した点（注目画素）に対して、その近傍にウィンドウを設ける。参照画像ＰＲの走査線上に並んでいる対応点候補それぞれの近傍にウィンドウを設ける。

ウィンドウ内に写る像を用いて、注目画素と各対応点候補との非類似性を数値化する。この非類似性の指標をウィンドウコストという。ウィンドウコストは、基準画像ＰＬに含まれる画素と参照画像ＰＲに含まれる画素との非類似性を表す。ウィンドウコストには、輝度の差の絶対値の総和などを用いる。

縦軸にウィンドウコストＣ、横軸に対応点候補の視差ｄをとってグラフ化すると、理想的な場合におけるウィンドウコストは、図３（ｂ）に示すように類似性が最も高い候補においてピークを示す曲線を描く。

したがって、最も単純な対応点の探索方法は、画素ごとにウィンドウコストが最小値となる視差を求めることである。しかし、局所的な輝度の比較にのみ頼る探索方法は、しばしば誤対応をまねき、奥行き情報に突発的なノイズをもたらす。

次に、走査線最適化法について説明する。
図４は、従来の走査線最適化法(scanline optimization)の概念を示す概念図である。同図に示されるように、従来の走査線最適化法は、走査線を単位として、各画素の対応点を決定する手法である（例えば「非特許文献１」参照）。図中の太線の枠は、１回の最適化により視差の組み合わせが求まる画素列である。破線の矢印は、解を求める画素の計算順序を表す。座標軸ｕ，ｖは、それぞれ基準画像ＰＬの水平座標と垂直座標に対応する。評価値は、注目画素と対応点との非類似性および奥行きの不連続性を同時に表す。

この方法によれば、一般に物体表面は連続するという期待が視差の組み合わせに反映されるため、奥行き情報の突発的なノイズが軽減される。

走査線最適化法は、動的計画法の原理に基づいて、走査線ごとに視差の組み合わせの最適解を求める。基準画像ＰＬの幅をＬとしたとき、基準画像ＰＬのある１行について１列目からＬ列目までの最適な視差の組み合わせを求める問題を、いくつかの部分問題に分解する。この場合の部分問題とは、１列目からＬ−１列目までの組み合わせの問題、１列目からＬ−２列目までの組み合わせの問題、以下同様に続いて、最後は１列目の最適な視差を求める問題を指す。そして１列目から順番に部分解を得ていくことによって、全体の最適解を得る手法である。

視差の組み合わせの評価値は、漸化式に基づいて効率的に求めることができる。そして、漸化式の計算結果を最小にする視差の組み合わせが解となる。漸化式は、隣り合う画素同士の視差変化が小さいほど、かつ、ウィンドウコストの合計が小さいほど、値が小さくなるように定義する。

ここで、走査線最適化法のアルゴリズムについて具体例を用いて説明する。
図５は、１つの走査線を１次元画像と見なして、横に水平座標、縦に視差をとったウィンドウコスト配列である。説明を単純化するため、画像の幅は３画素、視差の探索範囲も３画素とする。マス目の中の数値は、対応点候補との非類似性を表すウィンドウコストの例である。

各列から視差を１つずつ選び、それらのウィンドウコストの合計を最小化したい。ただし、隣り合う２列の視差が異なる場合は、その組み合わせのたびに、ウィンドウコストの合計にペナルティとして１を加える。視差が同じならペナルティは０である。問題は、最適な視差の組み合わせを効率よく求める方法である。

ウィンドウコスト配列とペナルティの系が探索空間となる。視差の組み合わせを全探索すると、画像サイズと探索範囲に応じて計算量が指数関数的に増大する。しかし、計算の段階が順序づけ可能であり、かつ、いずれの段階の探索空間も前の段階の計算結果によって変化しなければ、探索空間の同一部分は解が変化しないので再計算する必要がない。走査線最適化法は、画像の水平座標によって計算の段階を順序づけて、各段階の部分解を記録しながら、最適な組み合わせを効率良く探索する。

図６は、図５に対する走査線最適化法の計算過程をグラフ表現で表したものである。円は計算の段階であり、円内の数値はその段階の評価値を、円外の数値の組はウィンドウコスト配列の列座標と視差を表す。矢印は、段階間の計算順序を示す。矢印線の数値は、両端の視差の組み合わせによる評価値の増分量であり、矢印の先のウィンドウコストにペナルティを加算したものである。終了段階の最適解は、１〜３列目の解の最小値より求まる。１〜３列目の解は、矢印線で結ばれている１〜２列目の評価値と増分量の和の最小値である。１〜２列目の解も同様であり、１列目の解はウィンドウコストそのものとなる。なお、計算の開始段階の評価値は、０である。

以上説明した処理により、終了段階において評価値が最小となる視差の組み合わせが求まる。図６の太字で示される計算順序は、最適解を得るまでの履歴である。この例で求まった、最適な視差の組み合わせは、１列目から順に１、１、２となる。

図７は、カメラからコンピュータへ入力されるステレオ画像の例である。図８は、従来技術によって求めた奥行き情報であり、走査線最適化法における問題点の例を示している。図８に示すように、従来技術は、画素単位の突発的なノイズを軽減する一方で、走査線単位のノイズが発生する。図８に囲みで示した領域は、背景であるにも関わらず、前景の建物に近い奥行きとして、走査線に沿って細長く計測されている。

このようなノイズは、線状のアーティファクト(streaking artifact)として知られる。この問題は、対応付けの最適化が走査線ごとに独立しており、走査線間の整合性が考慮されないことに由来する。すなわち、従来技術は１次元画像を対象としていて、走査線ごとの最適化を繰り返すことで、一般的な２次元画像への適用が実現される。

D. Scharstein and R. Szeliski, A taxonomy and evaluation of dense two-frame stereo correspondence algorithms, International Journal of Computer Vision, Vol.47, p.7−42, 2002.

本発明は、以上のような従来技術の問題点を解消するためになされたもので、ステレオマッチングの精度を向上することができる、ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法を提供することを目的とする。

本発明は、基準画像と参照画像とを取得する画像入力部と、基準画像に含まれる画素ごとに、基準画像に設定される基準ウィンドウと、基準ウィンドウに対応して参照画像に設定される参照ウィンドウと、の間の非類似性を示すウィンドウコストを算出するウィンドウコスト計算処理部と、基準画像に含まれる画素ごとに、基準画像に含まれるすべての画素のウィンドウコストを主方向に集約した主方向コストを算出する主方向コスト計算処理部と、基準画像に含まれる画素ごとに、基準画像に含まれるすべての画素の主方向コストを副方向に集約した副方向コストを算出する副方向コスト計算処理部と、基準画像に含まれる画素ごとに、主方向コストと副方向コストとに基づいて評価値を算出する評価値計算処理部と、基準画像に含まれる画素ごとに、評価値に基づいて、参照画像に含まれる画素のうち基準画像に含まれる画素に対応する対応点を判定する対応点判定部と、を有してなることを特徴とする。

本発明によれば、ステレオマッチングの精度を向上することができる。

距離計測システムの構成例を示す模式図である。 ステレオ計測の原理を示す模式図である。 ウィンドウコストと対応点の関係を示す模式図である。 従来の走査線最適化法の概念を示す概念図である。 １次元画像におけるウィンドウコストの配列例を示す模式図である。 上記走査線最適化法の計算過程を示す模式図である。 ステレオ画像の例である。 従来技術の問題点を示す模式図である。 本発明にかかるステレオマッチング装置の実施の形態を示すブロック図である。 本発明において用いる木構造の例を示す模式図である。 本発明における木による計算結果の再利用の例を示す模式図である。 本発明における部分木の例を示す模式図である。 ウィンドウコストの配列の概念を示す概念図である。 本発明における主方向の漸化式を計算するための画像の走査順序を示す模式図である。 本発明における副方向の漸化式を計算するための画像の走査順序を示す模式図である。 本発明における部分木と、主方向コストと副方向コストの合計と、の関係を示す模式図である。 本発明にかかるステレオマッチング方法の実施の形態を示すフローチャートである。 上記フローチャート中の主・副方向コストの計算処理の例を示すフローチャートである。 本発明による効果を示す模式図である。

以下、本発明にかかるステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法の実施の形態について、図面を参照しながら説明する。

図９は、本発明にかかるステレオマッチング装置（以下「本装置」という。）の実施の形態を示すブロック図である。

●本装置
本装置１は、画像入力部２、ステレオ画像記憶手段３、ウィンドウコスト計算処理部４、主・副方向コスト計算処理部５、評価値計算処理部６、対応点判定部７、視差記憶手段８、立体表示手段９を有してなる。

画像入力部２は、基準カメラＣＬと参照カメラＣＲとが撮影した対象物の画像を取得する手段である。

ステレオ画像記憶手段３は、画像入力部２により取得されたステレオ画像が記憶される手段である。

ウィンドウコスト計算処理部４は、ステレオ画像記憶手段３に記憶されているステレオ画像を取得して（読み出して）、ウィンドウコストを算出する手段である。ウィンドウコストとその算出方法については、後述する。

主・副方向コスト計算処理部５は、主方向コストと副方向コストを算出する手段である。主・副方向コスト計算処理部５は、主方向コストを算出する主方向コスト計算処理部と、副方向コストを算出する副方向コスト計算処理部と、で構成される。主方向コストと副方向コスト、ならびにそれらの算出方法については、後述する。

評価値計算処理部６は、評価値を算出する手段である。評価値とその算出方法については、後述する。

対応点判定部７は、対応点を判定する手段である。対応点とその判定方法については、後述する。

視差記憶手段８は、本装置１が出力する視差を記憶する手段である。

立体表示手段９は、画像入力部２が取得した対象物の画像と、視差記憶手段８に記憶された視差と、に基づいて、対象物を立体的に表示する手段である。

さらに、本装置１は、ステレオ画像記憶手段３とは別に、後述する本発明にかかるステレオマッチング方法（以下「本方法」という。）を実行するために必要な情報を記憶する不図示の記憶手段を備えている。

ここで、本装置１は、パーソナルコンピュータなどの情報処理装置により実現される。後述する本方法は、本装置１で動作する本発明にかかるステレオマッチングプログラム（以下「本プログラム」という。）が本装置１を構成するハードウェア資源と協働することで、本装置１により実行される。

なお、本装置１とは別の情報処理装置で本プログラムを動作させることで、同情報処理装置を本装置１と同様に機能させて、本方法を実行させることができる。

また、図９に示した構成に代えて、本装置が、画像入力部２やステレオ画像記憶手段３を備えていなくてもよく、この場合、ウィンドウコスト計算処理部４は本装置の外部の記憶手段に記憶されているステレオ画像を読み出して取得する構成となる。

さらに、図９に示した構成に代えて、本装置が、視差記憶手段８や立体表示手段９を備えていなくてもよい。

●木構造と漸化式
まず、本発明において用いる木構造と漸化式について説明する。
本発明においては、注目画素の対応点探索にあたり、注目画素の１画素のみではなく、また注目画素がある走査線１行のみではなく、基準画像全体（基準画像に含まれるすべての画素）のウィンドウコストを用いる。つまり、本発明においては、注目画素の対応点探索において、基準画像全体の大域的な情報を用いる。その計算過程において、画像中の全画素を網羅的に走査するために、本発明においては、図１０に示すように、図中の太線で囲まれた注目画素を根とし、他の画素を節点とする木構造を利用する。図中の矢印は、画像の走査順序を表す。

従来の走査線最適化法においては、１つの漸化式を用いて、走査線上の画素からなる１次元の画像ごとに最適化を行う。一方、本発明においては、２つの漸化式を用いて、２次元の画像を単位として最適化を行う。

また、従来の走査線最適化法においては、画像の最も外側の画素まで計算したときに最適解が求まるため、計算の履歴を記録しておき、最終的な解からバックトラックして走査線上の全画素の視差を求める必要がある。一方、本発明においては、最終的な解が求まる木構造の根が画像中の任意の画素であってよいので、バックトラックする必要がなく、１画素ずつ順に視差を求めることができる。

前述のとおり、本発明においては、基準画像全体のウィンドウコストを用いるため、対応点候補の評価値を求めるには、すべての画素の、すべての視差について、計算を繰り返さなければならない。しかし、画像全体を網羅する計算を、個々の画素について繰り返すとなると、計算量が多い。そこで、従来技術と同様に、個々の画素を効率よく処理するために、対応点候補の評価値を漸化式によって定義する。前述の木構造は、注目画素に隣接する画素を根とする木の一部が、注目画素を根とする木と重複する。この漸化式は、すでに計算し終わった隣接画素の計算過程の値を再利用することで、重複部分の計算を削減することができる。

木構造の重複部分の計算を削減できる例として、画素（ｕ−１，ｖ）の計算を終えて注目画素が（ｕ，ｖ）に移る場合を考える。このとき、図１０の木構造もｕ座標軸方向に移動する。

図１１に示すように、移動前の木の一部について、ｕ座標が根より小さく水平な枝をそれぞれ移動方向へ節点１つ分だけ伸ばすと、移動後の木の、同様の枝に等しくなる。よって、重複部分の漸化式の計算結果の値は、移動前の木の計算過程で得られる計算結果の値と同一である。この値を記録しておき、再利用することで、冗長な計算を省略することができる。木を構成する他の方向の枝についても同様である。

しかし、１方向よる組み合わせ最適化は、従来技術と同様に１次元的になり、画像を網羅することはできない。そこで、本発明においては、２つの漸化式を用いることで、２次元的に画像を網羅し、かつ、効率良く計算する。

なお、説明の便宜上、図１０には、木の節点は１画素に１つとして描いているが、同じ画素に複数の節点を設けて、部分木が重複するように接点を設けてもよい。また、画像を網羅する木は、図１０に図示した破線を、注目画素を中心に４５度回転させたものでもよい。

ここで、漸化式の計算に用いる木構造について説明する。木は注目画素を根とし、画素ごとに与えられる。漸化式の計算は、画像の大きさに制限されるが、木の大きさに制限はない。部分木は、根を含む木の部分である。部分木の枝は、根が端点の半直線と、分岐点が端点の半直線からなる。根が端点の半直線には、分岐点が複数あっても、存在しなくてもよい。分岐点が端点の半直線は、端点の他に分岐点を持たず、端点において最も根に近くなる。

根が端点の半直線は、主方向または副方向と平行である。分岐点が端点の半直線は、主方向と平行である。副方向は部分木１つに２つ存在し、これらは異なる方向である。副方向の２つのベクトルの内積は、正の数となる。主方向は、部分木１つに１つ存在し、部分木の２つの副方向がなす角を二等分する。主方向と副方向のベクトルの内積は、どちらの副方向でも正となる。

図１２は、図１０に示した注目画素を根とする木を、上下左右に４分割したうちの左側の部分木の例である。太線の枠は、注目画素を表す。水平に右から左へ向かう方向は、この部分木の「主方向」の例である。また、斜めの線が向かう２つの方向は、この部分木の「副方向」の例である。以降、図１２に示した部分木を例に説明する。

本発明においては、主方向と副方向で異なる２つの漸化式を用いる。いずれの漸化式も、ある方向で直前の画素の計算が完了すれば、次の画素が計算できるよう定義される。つまり、主方向用の漸化式は、注目画素に関する主方向コストを、この注目画素と主方向の前方に隣接する画素（同漸化式で１つ前の計算における注目画素）に関する主方向コストを利用して算出可能となるように定義されている。また、副方向用の漸化式は、注目画素に関する副方向コストを、この注目画素と副方向の前方に隣接する画素（同漸化式で１つ前の計算における注目画素）に関する副方向コストを利用して算出可能となるように定義されている。図１２の破線の矢印方向の順に計算処理が画素を参照するとき、主方向・副方向ともに縦１列を計算すれば、その右隣の縦１列が計算可能になる。よって、基準画像を１回走査するごとに、少なくとも１つの主方向と２つの副方向の漸化式計算が完了する。すなわち、画像をただ１回走査すれば、同一の主方向に関して、すべての画素の部分木を計算することができる。

●ウィンドウコスト
ウィンドウコストとその算出方法について説明する。
ウィンドウコストは、基準画像に含まれる各画素の、各対応点候補について求める。基準画像の注目画素の２次元座標を（ｕ，ｖ）とする。基準画像には、図３に示したように（ｕ，ｖ）を中心としてウィンドウ（基準ウィンドウ）を設ける。また、対応点候補となる視差の画素について、参照画像の座標（ｕ−ｄ，ｖ）を中心に、基準ウィンドウに対応するウィンドウ（参照ウィンドウ）を設ける。

ここで、基準ウィンドウと参照ウィンドウのウィンドウサイズ（ウィンドウの面積）は同一であり、そのサイズは、あらかじめ決められている。

基準画像と参照画像のウィンドウの組について、ウィンドウコストＣ（ｐ，ｄ）を次の計算式によって求める。なお、基準画像における注目画素の座標をｐ＝（ｕ，ｖ）、参照画像に対する視差をｄ、基準画像の画素の輝度をＩ_L、参照画像の画素の輝度をＩ_R、画素ｐを中心とする１画素以上の領域をＷ_pで表す。

上記の式によって定義されるウィンドウコストは、一般にＳＡＤ(Sum of Absolute Differences)として知られる。

なお、本発明において用いるウィンドウコストは、ウィンドウ間の非類似性を表す指標であればよく、ＳＳＤ(Sum of Squared Differences)、あるいは、ＮＣＣ(Normalized Cross-Correlation)の符号を反転した値など、他の公知の技術を用いてもよい。

ウィンドウコストの計算は、基準画像のすべての画素について繰り返す。
図１３は、１組のステレオ画像から求まるウィンドウコストの概念図である。ウィンドウコストは、３次元の配列として表現することができる。図中のｕ，ｖは、それぞれ基準画像の水平座標と垂直座標に対応し、その解像度によって値のとり得る範囲が定まる。ｄは視差を表していて、ｄがとり得る値の範囲は視差の探索範囲としてあらかじめ設定されている。基準画像の注目画素に対して、視差に応じて、参照画像上に対応点候補が定義される。１つの対応点候補から１つのウィンドウコストが求まり、図中の格子１つに割り当てられる。ウィンドウコストの数値が大きいほど、注目画素と対応点候補が類似しないことを表す。

●主方向コスト
主方向コストとその算出方法について説明する。
図１４は、主方向ｑ＝（−１，０）について、漸化式を計算するための画像の走査方向を矢印で表す。主方向コストの漸化式は、下記の式で定義される。主方向コストＳ_q（ｐ，ｄ）は、画素ｐの視差ｄにおいて、主方向ｑよりウィンドウコストを集約した値を表す。主方向コストの初期値は、ウィンドウコストである。この式で求まる値は、後述する副方向コストの計算に用いられる。

ｑ：主方向ｑ∈Ｑ
Ｄ’：視差の組み合わせの選択肢集合Ｄ’＝｛ｄ｜Ｄ_min≦ｄ≦Ｄ_max｝
ｗ（ｄ，ｄ’）:視差の不連続に対するペナルティ関数

Ｄ_minとＤ_maxは、所与の最小視差と最大視差である。上記の式におけるＤ’は、視差の探索範囲に等しいが、必ずしも探索範囲全体を用いる必要はなく、Ｄ’は視差の探索範囲の一部であってもよい。

Ｑは、主方向の集合を表し、主方向が上下左右ならＱ＝{（−１，０），（０，−１），（１，０），（０，１）} である。Ｑは、必ずしも４方向である必要はなく、斜め方向も含む８方向であってもよい。また、主方向は、必ずしも上下左右である必要はなく、４５度傾けて斜めでもよく、この場合は、副方向が上下左右となる。

ペナルティ関数ｗ（ｄ，ｄ’）は、下記の式によって定義される。Ｐ₁とＰ₂は、所与のしきい値であり、Ｐ₂≧Ｐ₁≧０の関係にある。

●副方向コスト
副方向コストとその算出方法について説明する。
図１５は、副方向ｑ＝（−１，−１）あるいはｑ＝（−１，１）について、漸化式を計算するための画像の走査方向を矢印で表す。副方向は、ｑの値を除いて同じ式なので、ここでは両者を区別しない。

副方向の漸化式は、下記の式によって定義される。副方向コストＳ_r（ｐ，ｄ）は、画素ｐの視差ｄにおいて、副方向ｒより主方向コストを集約した値を表す。副方向コストの初期値は、主方向コストである。この式で求まる値は、後述する評価値の計算に用いられる。Ｄ’およびｗ（ｄ，ｄ’）は、主方向コストの漸化式と同様である。Ｒ（ｑ）は、主方向ｑとともに部分木を形作る副方向の集合を表す。例として主方向がｑ＝（−１，０）のとき、Ｒ（ｑ）＝｛（−１，−１），（−１，１）｝である。

ｒ：副方向ｒ∈Ｒ(ｑ)

●評価値
評価値とその算出方法について説明する。
以上説明した主方向コストと副方向コストの算出を、すべての主方向について繰り返し、その結果を合計して評価値を求める。評価値Ｓ（ｐ，ｄ）は、走査線最適化法の組み合わせ最適化を、木に基づいて大域的な最適化に拡張して得られた値であり、基準画像の注目画素（ｕ，ｖ）と参照画像の対応点候補（ｕ−ｄ，ｖ）のステレオ対応の確からしさに反比例する。評価値の計算処理について次に述べる。

図１６は、注目画素の左側の部分木について、主方向コストと副方向コストの合計が左側の部分木を網羅することを表す。これによって求まる値は、評価値の一部となる。評価値は、下記の式によって定義される。ｎは主方向の数であり、集合Ｑの濃度に等しい。主方向が上下左右の場合は、ｎ＝４となる。

式中で副方向コストの合計から、主方向コストを減算している。これは、注目画素ｐの２つの副方向コストにはそれぞれ同じ主方向コストが加算されているので、余分となる主方向コスト１つ分を減算している。同様に、ｎ個の主方向コストにはそれぞれウィンドウコストが加算されているので、余分となるｎ−１個分のウィンドウコストを減算している。

評価値を算出すると、対応点の判定が可能となる。視差の探索範囲においてＳ（ｐ，ｄ）が最小となる視差を、注目画素ｐの最適な視差ｄ_pに採用する。下記の式の解は、注目画素を根とする木によって画像を網羅するとき、評価値で表される対応点の非類似性と奥行きの不連続性を最小にする視差となる。

Ｄ：視差の探索範囲 Ｄ＝｛ｄ｜Ｄ_min≦ｄ≦Ｄ_max｝

●本方法
以下、本方法について説明する。
図１７は、本方法の実施の形態を示すフローチャートである。
先ず、ステレオカメラを用いて、対象物（被写体）を撮像してステレオ画像を撮影する（Ｓ１）。すなわち、基準カメラＣＬが基準画像ＰＬを出力し、参照カメラＣＲが参照画像ＰＲを出力する。

本装置１は、画像入力部２を用いて、ステレオ画像（基準画像ＰＬと参照画像ＰＲ）を取得してステレオ画像記憶手段３に記憶する。

次いで、本装置１は、ウィンドウコスト計算処理部４を用いて、ステレオ画像記憶手段３に記憶されているステレオ画像を読み出して、ウィンドウコストを算出する（Ｓ２）。

次いで、本装置１は、主・副方向コスト計算処理部５を用いて、基準画像ＰＬに含まれるすべての画素ごとに、主方向コストと副方向コストを算出する（Ｓ３）。

図１８は、主・副方向コストの計算処理の例を示すフローチャートである。
主方向ｑ、注目画素の座標ｐ、視差ｄについて主方向コストＳ_q（ｐ，ｄ）を算出（Ｓ３４）した後に、副方向コストＳ_r（ｐ，ｄ）の計算（Ｓ３６）を、部分木を形作る副方向の集合において繰り返す（Ｓ３５ａ、Ｓ３５ｂ）。この一連の計算を、主方向ｑ（Ｓ３１ａ、Ｓ３１ｂ）、座標ｐ（Ｓ３２ａ、Ｓ３２ｂ）、視差ｄ（Ｓ３３ａ、Ｓ３３ｂ）について繰り返す。

次いで、本装置１は、評価値計算処理部６を用いて、基準画像ＰＬに含まれるすべての画素ごとに、評価値を算出する（Ｓ４）。

次いで、本装置１は、対応点判定部７を用いて、基準画像ＰＬに含まれるすべての画素ごとに、参照画像ＰＲ上の対応点を判定し、その視差を、視差記憶手段８に記憶するなど出力する（Ｓ５）。視差記憶手段８に記憶された視差は、例えば、本装置１が対象物を立体的に立体表示手段９に表示する際に用いられる。

図１９は、本装置１が視差記憶手段８に記憶された視差を用いて、対象物を立体的に表示した例を示す模式図である。同図は、前述の図８に示した従来技術の出力結果に表れている線状のアーティファクトが解消していることを示している。

●まとめ
以上説明した実施の形態によれば、２次元の画像を単位として最適化を行う、つまり、基準画像ＰＬに含まれるすべての画素のウィンドウコストを主方向に集約した主方向コストと、基準画像ＰＬに含まれるすべての画素の主方向コストを副方向に集約した副方向コストとに基づいて算出された評価値を用いて注目画素の対応点を判定するため、ステレオマッチングの精度を向上することができる。

また、注目画素を根とし、その他の画素を節点とする木構造を利用した、主方向用の漸化式と副方向用の漸化式とを用いることで、基準画像ＰＬに含まれるすべての画素を網羅する計算を、効率よく行うことができる。

ここで、これまで説明した本装置の特徴について、以下にまとめて記載しておく。

（特徴１）
基準画像と参照画像とを取得する画像入力部と、
前記基準画像に含まれる画素ごとに、前記基準画像に設定される基準ウィンドウと、前記基準ウィンドウに対応して前記参照画像に設定される参照ウィンドウと、の間の非類似性を示すウィンドウコストを算出するウィンドウコスト計算処理部と、
前記基準画像に含まれる画素ごとに、前記基準画像に含まれるすべての画素の前記ウィンドウコストを主方向に集約した主方向コストを算出する主方向コスト計算処理部と、
前記基準画像に含まれる画素ごとに、前記基準画像に含まれるすべての画素の前記主方向コストを副方向に集約した副方向コストを算出する副方向コスト計算処理部と、
前記基準画像に含まれる画素ごとに、前記主方向コストと前記副方向コストとに基づいて評価値を算出する評価値計算処理部と、
前記基準画像に含まれる画素ごとに、前記評価値に基づいて、前記参照画像に含まれる画素のうち前記基準画像に含まれる画素に対応する対応点を判定する対応点判定部と、
を有してなることを特徴とするステレオマッチング装置。

（特徴２）
前記対応点判定部は、前記参照画像に含まれる画素のうち、前記評価値を最小にする画素を前記対応点として判定する、
特徴１記載のステレオマッチング装置。

（特徴３）
前記基準画像に含まれる画素のうち、前記評価値計算処理部により評価値が算出される注目画素を根とし、前記注目画素以外の画素を根以外の節点とする、木構造により表される集約順序に基づいて、前記主方向コスト計算処理部は、前記ウィンドウコストを集約して前記注目画素に関する前記主方向コストを算出し、
前記木構造により表される集約順序に基づいて、前記副方向コスト計算処理部は、前記主方向コストを集約して前記注目画素に関する前記副方向コストを算出する、
特徴１または２記載のステレオマッチング装置。

（特徴４）
前記木構造は、１つ以上の部分木で構成され、
前記部分木は、前記根と、前記基準画像に含まれる画素のうち前記根が端点の半直線上にある別の半直線の端点である分岐点と、を含み、
前記部分木の枝は、前記根が端点の半直線と、前記分岐点が端点の半直線と、を含み、
前記根が端点の半直線は、前記主方向または前記副方向と平行であり、
前記分岐点が端点の半直線は、前記主方向と平行である、
特徴３記載のステレオマッチング装置。

（特徴５）
前記複数の部分木のそれぞれには、内積が正となる２つの副方向と、前記２つの副方向がなす角を二等分する１つの主方向と、が存在する、
特徴４記載のステレオマッチング装置。

（特徴６）
前記部分木に存在する前記２つの副方向のそれぞれは、前記部分木に存在する前記１つの主方向との内積が正となる、
特徴５記載のステレオマッチング装置。

（特徴７）
前記主方向コスト計算処理部は、主方向用の漸化式を用いて、前記主方向コストを算出し、
前記副方向コスト計算処理部は、副方向用の漸化式を用いて、前記副方向コストを算出し、
前記主方向用の漸化式と、前記副方向用の漸化式と、は異なり、
前記主方向用の漸化式は、前記注目画素に関する前記主方向コストを、前記注目画素と前記主方向の前方に隣接する画素に関する前記主方向コストを利用して算出可能となるように定義され、
前記副方向用の漸化式は、前記注目画素に関する前記副方向コストを、前記注目画素と前記副方向の前方に隣接する画素に関する前記副方向コストを利用して算出可能となるように定義される、
特徴３から６のいずれかに記載のステレオマッチング装置。

（特徴８）
少なくとも前記主方向用の漸化式と前記副方向用の漸化式のいずれか一方にはペナルティ関数が含まれ、
前記ペナルティ関数の値は、前記注目画素と前記注目画素に対応する対応点との視差と、前記注目画素に隣接する隣接画素と前記隣接画素に対応する対応点との視差と、の変化量が小さいほど、小さくなるように定義される、
特徴７記載のステレオマッチング装置。

１ ステレオマッチング装置
２ 画像入力部
３ ステレオ画像記憶手段
４ ウィンドウコスト計算処理部
５ 主・副方向コスト計算処理部
６ 評価値計算処理部
７ 対応点判定部
８ 視差記憶手段
９ 立体表示手段
ＣＬ 基準カメラ
ＣＲ 参照カメラ

Claims (10)

1. 基準画像と参照画像とを取得する画像入力部と、
   前記基準画像に含まれる画素ごとに、前記基準画像に設定される基準ウィンドウと、前記基準ウィンドウに対応して前記参照画像に設定される参照ウィンドウと、の間の非類似性を示すウィンドウコストを算出するウィンドウコスト計算処理部と、
   前記基準画像に含まれる画素ごとに、前記基準画像に含まれるすべての画素の前記ウィンドウコストを主方向に集約した主方向コストを算出する主方向コスト計算処理部と、
   前記基準画像に含まれる画素ごとに、前記基準画像に含まれるすべての画素の前記主方向コストを副方向に集約した副方向コストを算出する副方向コスト計算処理部と、
   前記基準画像に含まれる画素ごとに、前記主方向コストと前記副方向コストとに基づいて評価値を算出する評価値計算処理部と、
   前記基準画像に含まれる画素ごとに、前記評価値に基づいて、前記参照画像に含まれる画素のうち前記基準画像に含まれる画素に対応する対応点を判定する対応点判定部と、
   を有してなることを特徴とするステレオマッチング装置。
2. 前記対応点判定部は、前記参照画像に含まれる画素のうち、前記評価値を最小にする画素を前記対応点として判定する、
   請求項１記載のステレオマッチング装置。
3. 前記基準画像に含まれる画素のうち、前記評価値計算処理部により評価値が算出される注目画素を根とし、前記注目画素以外の画素を根以外の節点とする、木構造により表される集約順序に基づいて、前記主方向コスト計算処理部は、前記ウィンドウコストを集約して前記注目画素に関する前記主方向コストを算出し、
   前記木構造により表される集約順序に基づいて、前記副方向コスト計算処理部は、前記主方向コストを集約して前記注目画素に関する前記副方向コストを算出する、
   請求項１または２記載のステレオマッチング装置。
4. 前記木構造は、１つ以上の部分木で構成され、
   前記部分木は、前記根と、前記基準画像に含まれる画素のうち前記根が端点の半直線上にある別の半直線の端点である分岐点と、を含み、
   前記部分木の枝は、前記根が端点の半直線と、前記分岐点が端点の半直線と、を含み、
   前記根が端点の半直線は、前記主方向または前記副方向と平行であり、
   前記分岐点が端点の半直線は、前記主方向と平行である、
   請求項３記載のステレオマッチング装置。
5. 前記複数の部分木のそれぞれには、内積が正となる２つの副方向と、前記２つの副方向がなす角を二等分する１つの主方向と、が存在する、
   請求項４記載のステレオマッチング装置。
6. 前記部分木に存在する前記２つの副方向のそれぞれは、前記部分木に存在する前記１つの主方向との内積が正となる、
   請求項５記載のステレオマッチング装置。
7. 前記主方向コスト計算処理部は、主方向用の漸化式を用いて、前記主方向コストを算出し、
   前記副方向コスト計算処理部は、副方向用の漸化式を用いて、前記副方向コストを算出し、
   前記主方向用の漸化式と、前記副方向用の漸化式と、は異なり、
   前記主方向用の漸化式は、前記注目画素に関する前記主方向コストを、前記注目画素と前記主方向の前方に隣接する画素に関する前記主方向コストを利用して算出可能となるように定義され、
   前記副方向用の漸化式は、前記注目画素に関する前記副方向コストを、前記注目画素と前記副方向の前方に隣接する画素に関する前記副方向コストを利用して算出可能となるように定義される、
   請求項３から６のいずれかに記載のステレオマッチング装置。
8. 少なくとも前記主方向用の漸化式と前記副方向用の漸化式のいずれか一方にはペナルティ関数が含まれ、
   前記ペナルティ関数の値は、前記注目画素と前記注目画素に対応する対応点との視差と、前記注目画素に隣接する隣接画素と前記隣接画素に対応する対応点との視差と、の変化量が小さいほど、小さくなるように定義される、
   請求項７記載のステレオマッチング装置。
9. コンピュータを、請求項１から８のいずれかに記載のステレオマッチング装置として機能させることを特徴とするステレオマッチングプログラム。
10. 基準画像と参照画像とが記憶されるステレオ画像記憶手段を備えたステレオマッチング装置により実行されるステレオマッチング方法であって、
    前記ステレオマッチング装置が、
    前記基準画像と前記参照画像とを前記ステレオ画像記憶手段より取得するステップと、
    前記基準画像に含まれる画素ごとに、前記基準画像に設定される基準ウィンドウと、前記基準ウィンドウに対応して前記参照画像に設定される参照ウィンドウと、の間の非類似性を示すウィンドウコストを算出するステップと、
    前記基準画像に含まれる画素ごとに、前記基準画像に含まれるすべての画素の前記ウィンドウコストを主方向に集約した主方向コストを算出するステップと、
    前記基準画像に含まれる画素ごとに、前記基準画像に含まれるすべての画素の前記主方向コストを副方向に集約した副方向コストを算出するステップと、
    前記基準画像に含まれる画素ごとに、前記主方向コストと前記副方向コストとに基づいて評価値を算出するステップと、
    前記基準画像に含まれる画素ごとに、前記評価値に基づいて、前記参照画像に含まれる画素のうち前記基準画像に含まれる画素に対応する対応点を判定するステップと、
    を有してなることを特徴とするステレオマッチング方法。