WO2017090705A1

WO2017090705A1 - 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Info

Publication number: WO2017090705A1
Application number: PCT/JP2016/084897
Authority: WO
Inventors: 喜宏山下
Original assignee: Ｎｅｃソリューションイノベータ株式会社
Priority date: 2015-11-27
Filing date: 2016-11-25
Publication date: 2017-06-01
Also published as: JPWO2017090705A1

Abstract

画像処理装置１００は、ペア画像それぞれから画像ブロックを抽出し、一方の画像の画像ブロックと他方の画像の画像ブロックとを組み合せ、画像ブロックの組を設定する画像抽出部１０と、各組について、一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、一方の画像ブロックの画素の輝度とその画像ブロックの輝度の平均値との差を算出し、他方の画像ブロックの対応する画素の輝度とその画像ブロックの輝度の平均値との差を算出し、一方の差から他方を減算して輝度差を算出し、輝度差の積算値を相関値とする相関値算出部２０と、相関値に基づき、画像ブロックの組毎に、一方の画像ブロックと他方の画像ブロックとが一致しているか否かを判定する判定部３０とを備える。

Description

画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

　本発明は、２つの画像を用いた画像処理を行なうための、画像処理装置、画像処理方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

　従来から、３次元データの自動生成方法として、人工衛星又は航空機等から得られたペア画像を基に、ステレオマッチング処理を行うことによって、地形を示す３次元データ［ＤＳＭ（Digital Surface Model）データ］を生成する方法が広く知られている。ペア画像は、２台のカメラによって同一の被写体を異なる視点で撮影することによって得られた画像である。

　具体的には、ステレオマッチング処理では、まず、ステレオ画像を構成する各画像は一定サイズの画像ブロックが抽出され、次いで、一方の画像の画像ブロックに一致する他方の画像の画像ブロックが特定される。その後、一致する画像ブロック間で対応点を特定し、特定した対応点間の視差を用いて、三角測量を実行することによって、被写体の奥行き及び形状が求められる。

　ところで、ステレオマッチング処理において、精度を高めるためには、一致する画像ブロックを正確に特定することが重要となる。そして、一致する画像ブロックを特定する処理の具体的手法としては、輝度差の和（ＳＡＤ：Sum of Absolute Difference）を利用した方法、輝度差の２乗和（ＳＳＤ：Sum of Squared Difference）を利用した方法、正規化相互相関（ＮＣＣ：Normalized Cross-Correlation）を利用した方法、などが知られている。

　具体的には、ＳＡＤを利用する場合は、下記の数１を用いて、Ｒ_ＳＡＤの値が最も小さくなる画像ブロックのペアを特定し、特定したペアを互いに一致する画像ブロックであると判定する（例えば、特許文献１～３及び非特許文献１参照）。なお、数１において、Ｉ（ｉ，ｊ）及びＴ（ｉ，ｊ）は、画像ブロックにおける対応する画素の輝度を示している。また、（ｉ，ｊ）は、画素の座標を表している。

　また、ＳＳＤを利用する場合は、下記の数２を用いて、Ｒ_ＳＳＤの値が最も小さくなる画像ブロックのペアを特定し、特定したペアを互いに一致する画像ブロックであると判定する（例えば、特許文献４及び非特許文献１参照）。数２においても、Ｉ（ｉ，ｊ）及びＴ（ｉ，ｊ）は、画像ブロックにおける輝度を示している。

　更に、ＮＣＣを利用する場合は、下記の数３を用いて、Ｒ_ＮＣＣの値が１．０に最も近くなる画像ブロックのペアを特定し、特定したペアを互いに一致する画像ブロックであると判定する（例えば、特許文献５参照）。数３においても、Ｉ（ｉ，ｊ）及びＴ（ｉ，ｊ）は、画像ブロックにおける輝度を示している。

特開平９－２１１０８０号公報特開２０００－００３４４８号公報特開２００６－９０８９６号公報特開２０００－０８２１４２号公報特開平７－１２１７１１号公報

新井元基、鷲見和彦、松山隆司著、「画像のブロックマッチングにおける相関関数とサブピクセル推定方式の最適化」、２００４年５月６日、ｐ．２、右パラグラム、第２～１９行

　ところで、上記数１及び数２から分かるように、ＳＡＤを利用した方法及びＳＳＤを利用した方法のいずれにおいても、値の算出は、比較対象となる２つの画像ブロックそれぞれの互いに対応する２つの画素毎に行なわれている。このため、これらの方法によれば、２枚の画像同士が同一かどうかを判定することを目的とした一般的なマッチング処理においては、非常に正確な判定が期待出来る。

　しかしながら、ステレオマッチング処理においては、ペア画像を撮影する２台のカメラそれぞれの撮影角度が異なるため、被写体で反射された光の入射角度が、カメラ毎に異なり、各カメラで得られる画像の輝度が互いに微妙に異なる場合がある。このため、ＳＡＤ又はＳＳＤを用いてステレオマッチング処理を行なった場合は、画像間の輝度の違いが原因で、互いに一致する画像ブロックのペアであるにもかかわらず、算出された値が高くなり、一致していないと判定される可能姓がある。

　一方、ＮＣＣを利用した方法では、上記数３から分かるように、一般的には２枚の画像の輝度の違いが許容されると考えられる。しかしながら、ＮＣＣを利用した方法では、２つの画像ブロックそれぞれの２つの画素毎に計算が行なわれるわけではない。このため、ＮＣＣを利用してステレオマッチング処理を行なった場合は、一致しない画像ブロック間でも、画像全体的の輝度の条件によっては、一致すると判定されてしまう場合がある。つまり、ＮＣＣを利用してステレオマッチング処理を行なった場合には、誤判定が発生しやすいという問題がある。

　本発明の目的の一例は、上記問題を解消し、輝度が異なるペア画像を対象としたマッチング処理において判定精度の向上を図り得る、画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。

　上記目的を達成するため、本発明の一側面における画像処理装置は、
　対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、画像抽出部と、
　設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、相関値算出部と、
　前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、判定部と、
を備えている、ことを特徴とする。

　また、上記目的を達成するため、本発明の一側面における画像処理方法は、
（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を有する、ことを特徴とする。

　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。

　以上のように本発明によれば、輝度が異なるペア画像を対象としたマッチング処理において判定精度の向上を図ることができる。

図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。図３は、本発明の実施の形態において画像ブロックが抽出されたペア画像の一例を示す図である。図４は、本発明の実施の形態において設定される画像ブロックの組の一例を説明する図である。図５は、本発明の実施の形態における相関値の算出処理で用いられる画素間組合せの一例を説明するための図である。図６は、ペア画像における画像ブロック間の輝度の相違の一例を示す図である。図７は、ペア画像それぞれにおける画像ブロックの輝度の平均値と特定の画素の輝度との差の一例を示す図である。図８は、画像ブロック間で輝度値の変化のパターンが近似している例を示す図である。図９は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。図１０は、画像ブロックの抽出方法の変形例を説明するための図である。図１１は、画像ブロックの抽出方法の変形例を説明するための図である。図１２は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
　以下、本発明の実施の形態における、画像処理装置、画像処理方法、及びプログラムについて、図１～図１２を参照しながら説明する。

［装置構成］
　最初に、図１を用いて、本発明の実施の形態における画像処理装置の概略構成について説明する。図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。

　図１に示すように、本実施の形態における画像処理装置１００は、２枚の画像を対象として画像処理を行なう装置であり、画像抽出部１０と、相関値算出部２０と、判定部３０とを備えている。

　画像抽出部１０は、対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出する。また、画像抽出部１０は、２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する。

　相関値算出部２０は、続いて、設定された画像ブロックの組それぞれについて、一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ（以下「画素間組合せ」と表記する。）毎に、（ａ）～（ｃ）の算出処理を行なう。
（ａ）一方の画像ブロックの画素における輝度と一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出する。
（ｂ）他方の画像ブロックの対応する画素における輝度と他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出する。
（ｃ）第１の輝度差と第２の輝度差との差を、画素間の輝度差として算出する。

　更に、相関値算出部２０は、画素間組合せ毎に算出した画素間の輝度差を積算し、得られた積算値を、計算対象となった画像ブロックの組の相関値とする。

　判定部３０は、画像ブロックの組それぞれの相関値に基づいて、画像ブロックの組毎に、各画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する。

　このように、図１に示した構成では、一方の画像ブロックの画素と他方の画像ブロックの画素との間で相関値を比較する際に、両画像ブロックにおいて全体の平均の輝度値（平均値）と画素単独の輝度値との差が求められ、この差に基づいて、相関値が計算される。このため、図１に示した構成によれば、一方の画像ブロックと他方の画像ブロックとの間の全体的な輝度の違いによる影響が、大きく軽減されるので、輝度が異なるペア画像を対象としたマッチング処理において、従来からの方法に比べて、判定精度の向上が図られることになる。

　続いて、図２を用いて、本発明の実施の形態における画像処理装置の構成及び機能について更に具体的に説明する。図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。

　まず、本実施の形態では、画像処理装置１００は、ステレオマッチング処理を行なう装置である。処理対象となる２つの画像は、異なる角度から同一対象を撮影して得られたペア画像、具体的には、人工衛星又は航空機等から撮影されたペア画像である。

　また、図２に示すように、本実施の形態では、画像処理装置１００は、図１に示した、画像抽出部１０、相関値算出部２０、及び判定部３０に加えて、更に、画像取得部４０と相関値補正部５０とを備えている。

　画像取得部４０は、処理対象となるペア画像を取得する。具体的には、画像取得部４０は、ネットワーク等を介して送信されてきたペア画像の各画像データを取得し、取得した各画像データを画像抽出部１０に入力する。また、画像取得部４０は、ペア画像それぞれのエピポーラ線が水平方向において一致しているかどうかを判定し、一致していない場合は、一方又は両方の画像に対して、回転および射影変換のうち少なくとも１つを行なって、エピポーラ線が一致するように補正を実行する。

　画像抽出部１０は、図３に示すように、ペア画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、複数の画像ブロックを抽出する。本実施の形態で、画像抽出部１０は、ペア画像それぞれを、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、タイル状に分割した形で、ペア画像それぞれから複数の画像ブロックを抽出する。図３は、本発明の実施の形態において画像ブロックを抽出したペア画像の一例を示す図である。

　具体的には、図３の例では、ペア画像は、画像２０１と画像２０２とで構成されている。そして、図３に示すように、画像抽出部１０は、画像２０１及び画像２０２それぞれから、予め設定された大きさの矩形の画像ブロックを抽出する。これにより、画像ブロックは、画像の水平方向及び垂直方向に沿って配列される。

　また、画像抽出部１０は、本実施の形態では、一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出する。そして、画像抽出部１０は、選出した画像ブロック同士を組み合せて、画像ブロックの組を設定し、設定した画像ブロックの組を、相関値算出部２０に入力する。

　具体的には、上述したように、本実施の形態では、画像取得部４０によって、ペア画像それぞれのエピポーラ線は水辺方向において一致している。従って、図４に示すように、画像抽出部１０は、行数が一致する画像ブロック同士を組み合せて、画像ブロックの組を設定する。図４は、本発明の実施の形態において設定される画像ブロックの組の一例を説明する図である。

　図４の例では、画像抽出部１０は、まず、画像２０１及び画像２０２それぞれの１行目から選出した画像ブロックを用いて、画像ブロックの組を設定する。つまり、画像抽出部１０は、画像２０１の１行目の全画像ブロックと画像２０２の１行目の全画像ブロックとで得られる、全ての組合せを、画像ブロックの組として設定する。例えば、画像ブロック２０３は、画像ブロック２０４に加えて、画像ブロック２０５～画像ブロック２０９それぞれとも組合せられる。

　続いて、画像抽出部１０は、画像２０１及び画像２０２それぞれの２行目以降についても同様に、画像２０１の画像ブロックと画像２０２の画像ブロックとを組み合せて、画像ブロックの組を設定する。そして、画像抽出部１０は、このようにして設定した各画像ブロックの組を相関値算出部２０に入力する。

　相関値算出部２０は、入力された画像ブロックの組それぞれについて、画素間組合せ毎に算出処理を行なって、相関値を算出する。ここで、図５～図７を用いて、相関値算出部による相関値の算出処理について具体的に説明する。

　図５は、本発明の実施の形態における相関値の算出処理で用いられる画素間組合せの一例を説明するための図である。図６は、ペア画像における画像ブロック間の輝度の相違の一例を示す図である。図７は、ペア画像それぞれにおける画像ブロックの輝度の平均値と特定の画素の輝度との差の一例を示す図である。

　図５に示すように、相関値算出部２０は、まず、画像ブロック２０３及び２０４それぞれにおける座標が同じ画素によって画素間組合せを設定する。最上段の行の左端を原点（０，０）とすると、相関値算出部２０は、例えば、画像ブロック２０３の座標（０，０）に位置する画素４０１を、画像ブロック２０４の同じ座標（０，０）に位置する画素４０２と組み合わせる。同様に、相関値算出部２０は、画像ブロック２０３の座標（１，０）に位置する画素４０３を、画像ブロック２０４の座標（１，０）に位置する画素４０４と組み合わせる。更に、相関値算出部２０は、画像ブロック２０３の他の座標に位置する画素についても、同様にして、画像ブロック２０４の画素と組み合わせる。

　ところで、エピポーラ線が一致しているペア画像において、行数が同じ画像ブロック同士であっても、図６に示すように、画像ブロック全体の輝度値が相違する場合がある。これはペア画像それぞれの被写体は同じであっても、ペア画像を構成する画像毎に、撮影角度が異なり、それによって全体の輝度値が微妙に異なるからである。

　なお、図６において、実線は、画像ブロック２０３の特定の水平行を構成する画素の輝度値を示し、破線は、画像ブロック２０４の対応する水平行を構成する画素の輝度値を示している。

　一方、図７に示すように、ペア画像を構成する画像間では、両者の全体の輝度値が異なっていても、画像ブロックの輝度の平均値と各画素の輝度との差は両者間で極めて小さいものとなる。

　なお、図７において、左側の図は画像ブロック２０３に対応し、右側の図は画像ブロック２０４に対応する。そして、左側の図における実線は、画像ブロック２０３の特定の水平行を構成する画素の輝度値を示し、右側の図における破線は、画像ブロック２０４の対応する水平行を構成する画素の輝度値を示している。また、左側の図における一点鎖線は、画像ブロック２０３の輝度の平均値を示し、右側の図における一点鎖線は、画像ブロック２０４の輝度の平均値を示している。

　このため、相関値算出部２０は、画素間組合せ毎に、第１の輝度差及び第２の輝度差を算出し、更に、両者の差（画素間の輝度差）を算出する。そして、相関値算出部２０は、計算対象となっている画像ブロックの組について、画素間の輝度差を積算し、得られた積算値を、画像ブロックの組の相関値とする。具体的には、相関値算出部２０は、下記の数４を用いて、画像ブロックの組の相関値Ｒを算出する。

　また、上記数４において、Ｍは、各画像の水平方向における画像ブロックの数（列数）を示し、Ｎは、各画像の垂直方向における画像ブロックの数（行数）を示している。また、上記数４においてＩ（ｉ，ｊ）は、一方の画像の画像ブロックにおいて座標（ｉ，ｊ）に位置する画素の輝度値を示し、Ｉバーは、座標（ｉ，ｊ）に位置する画素が属する画像ブロックの輝度の平均値を示している。更に、上記数４においてＪ（ｉ，ｊ）は、他方の画像の画像ブロックにおいて座標（ｉ，ｊ）に位置する画素の輝度値を示し、Ｊバーは、座標（ｉ，ｊ）に位置する画素が属する画像ブロックの輝度の平均値を示している。

　ところで、例えば、被写体がビル壁などである場合は、複数の画像ブロックが同じ色で構成されてしまう。このため、図８に示すように、一致しないはずの画像ブロック間で輝度値の変化のパターンが近似することがある。図８は、画像ブロック間で輝度値の変化のパターンが近似している例を示す図である。

　なお、図８において、実線は、画像ブロック２０３の特定の水平行を構成する画素の輝度値を示し、破線は、画像ブロック２０４の対応する水平行を構成する画素の輝度値を示している。また、２本の一点鎖線のうち、下側の一点鎖線は、画像ブロック２０３の輝度の平均値を示し、上側の一点鎖線は、画像ブロック２０４の輝度の平均値を示している。

　そして、このようなケースにおいては、両者の輝度値は異なるが、上述の相関値Ｒの値は小さくなってしまい、後述する判定部３０において間違った判定がなされるおそれがある。

　このため、本実施の形態では、相関値補正部５０によって相関値の補正が行なわれる。相関値補正部５０は、設定された画像ブロックの組毎に、一方の画像ブロックの輝度の平均値と、他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた差に基づいて、相関値算出部２０によって算出された相関値を補正する。本実施の形態では、補正後の相関値が、判定部３０に入力される。

　具体的には、相関値補正部５０は、一方の画像ブロックの輝度の平均値と、他方の画像ブロックの輝度の平均値との差を求め、求めた差を基準にペナルティＰを算出し、ペナルティＰが一定の閾値を超えている場合に、相関値に対して、算出したペナルティＰを付与する。

　ペナルティＰの算出は、例えば、下記の数５を用いて行なうことができる。下記の数５において、αは、任意の値であり、サンプルとなるペア画像を用いた実験によって求められる。また、Ｉは、一方の画像ブロックの輝度の平均値であり、Ｊは、他方の画像ブロックの輝度の平均値である。また、本実施の形態において、ペナルティＰの算出式は、下記の数５に限定されることはない。ペナルティＰは、｜Ｉ－Ｊ｜を二乗したり、｜Ｉ－Ｊ｜の対数を取ったりすることによって算出されても良い。

　また、上記数５によってペナルティが算出され、ペナルティＰが一定の閾値を超えている場合は、相関値補正部５０は、例えば、相関値に対して、算出したペナルティＰを乗算することによって、相関値を補正する。

　また、相関値補正部５０が、このように、一方の画像ブロックの輝度の平均値と他方の画像ブロックの輝度の平均値との差を基準にペナルティを計算しているのは、相関値計算部２０によって算出された平均値をそのまま流用するためである。この結果、相関値補正部５０による計算処理を削減でき、処理時間の短縮化が図られることになる。但し、相関値補正部５０による補正処理の仕方は、上記態様に限定されるものではない。相関値補正部５０は、例えば、一方の画像ブロックの輝度の分散値と、他方の画像ブロックの輝度の分散値との差を求めることによって、相関値を補正することもできる。

　判定部３０は、本実施の形態では、一方の画像から抽出された画像ブロックの一つに組み合わされた、他方の画像から抽出された画像ブロックのうち、上記数４によって算出された相関値Ｒ（又は補正後の相関値Ｒ）が最も小さくなる画像ブロックを特定する。そして、判定部３０は、特定した画像ブロックは、一方の画像から抽出された画像ブロックの一つと一致していると判定する。つまり、判定部３０は、相関値Ｒが最も小さくなる画像ブロックの組を特定し、特定した画像ブロックを構成する画像ブロック同士は一致していると判定する。

［装置動作］
　次に、本発明の実施の形態における画像処理装置１００の動作について図９を用いて説明する。図９は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１～図８を参酌する。また、本実施の形態では、画像処理装置１００を動作させることによって、画像処理方法が実施される。よって、本実施の形態における画像処理方法の説明は、以下の画像処理装置１００の動作説明に代える。

　図９に示すように、画像処理装置１００においては、最初に、画像取得部４０が、ネットワーク等を介して送信されてきたペア画像を取得する（ステップＡ１）。更に、画像取得部４０は、ペア画像それぞれのエピポーラ線が水平方向において一致するように、一方又は両方の画像を補正する（ステップＡ２）。

　次に、画像抽出部１０は、ペア画像それぞれを、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、タイル状に分割した形で、ペア画像それぞれから複数の画像ブロックを抽出する（ステップＡ３）。

　次に、画像抽出部１０は、一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、画像ブロックの組を設定する（ステップＡ４）。具体的には、画像抽出部１０は、行数が一致する画像ブロック同士を組み合せて、画像ブロックの組を設定する。

　次に、相関値算出部２０は、入力された画像ブロックの組毎に、上記数４を用いて、相関値を算出する（ステップＡ５）。具体的には、相関値算出部２０は、画像ブロック間で同じ座標に位置する２つの画素によって画素間組合せを設定し、画素間組合せ毎に、第１の輝度差及び第２の輝度差を算出し、更に、両者の差（画素間の輝度差）を算出する。そして、相関値算出部２０は、算出した画素間の輝度差を積算し、得られた積算値を相関値とする。

　次に、相関値補正部５０は、算出された相関値に対して必要に応じて補正を実行する（ステップＡ６）。具体的には、相関値補正部５０は、設定された画像ブロックの組毎に、一方の画像ブロックの輝度の平均値と、他方の画像ブロックの輝度の平均値との差を求め、求めた差を基準にペナルティＰを算出する。そして、相関値補正部５０は、ペナルティＰが一定の閾値を超えている場合に、相関値に対して、算出したペナルティＰを乗算する。

　次に、判定部３０は、画像ブロックの組それぞれの相関値に基づいて、画像ブロックの組毎に、画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する（ステップＡ７）。具体的には、判定部３０は、相関値Ｒが最も小さくなる画像ブロックの組を特定し、特定した画像ブロックの組を構成する画像ブロック同士は一致していると判定する。

　このように、ステップＡ１～Ａ７の実行により、ペア画像において一致する画像ブロックの組が特定される。その後、画像処理装置１００は、一致する画像ブロック間で対応点を特定し、特定した対応点間の視差を用いて、三角測量を実行する。更に、画像処理装置１００は、三角測量の結果に基づいて、被写体の奥行き及び形状を特定する。

［実施の形態における効果］
　以上のように、本実施の形態では、各画像ブロックにおいて、画像ブロック全体の平均の輝度値と画素単独の輝度値との差が求められ、この差に基づいて、画像ブロック間の相関値が求められる。従って、本実施の形態によれば、従来からのＳＡＤ又はＳＳＤを利用する場合と異なり、直接の輝度値のみで相関値が算出されないので、画像ブロック間の全体的な輝度の違いによる影響が大きく軽減される。

　また、本実施の形態では、ＮＣＣを利用する場合と異なり、画像ブロック間の相関値を計算するに際して、各画像ブロックの対応する画素同士が直接比較されるので、一致しない画像ブロックの組が誤って一致していると判断される可能姓は大きく低減される。

　また、一致しないはずの画像ブロックの組で、両者の輝度値の変化のパターンが近似していると、誤って両者が一致していると判断される可能姓がある。しかし、本実施の形態では、画像ブロック間の平均の輝度の差に応じて、相関値が補正され、輝度値の変化のパターンが近似しているだけの画像ブロックの組の相関値は高くなるので、このような事態が回避されることになる。

［プログラム］
　本実施の形態におけるプログラムは、コンピュータに、図９に示すステップＡ１～Ａ７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像処理装置１００と画像処理方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、画像抽出部１０、相関値算出部２０、判定部３０、画像取得部４０、及び相関値補正部５０として機能し、処理を行なう。

　また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像抽出部１０、相関値算出部２０、判定部３０、画像取得部４０、及び相関値補正部５０のいずれかとして機能しても良い。

［変形例］
　上述した例では、ステップＡ３において画像抽出部１０は、ペア画像それぞれを予め設定されたサイズの画像ブロックに分割することによって、ペア画像それぞれから複数の画像ブロックを抽出しているが、ステップＡ３における画像ブロックの抽出方法は上述の例に限定されない。図１０は、画像ブロックの抽出方法の変形例を説明するための図である。なお、図１０には、画像取得部４０によって取得された画像２０１及び画像２０２が示されている。図１０においては、説明を分かりやすくするために、画像に含まれる各画素を大きく示している。したがって、実際には、各画像には、図１０に示すよりも多くの画素が含まれていてもよい。

　本実施の形態における変形例においても、画像抽出部１０は、ペア画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、複数の画像ブロックを抽出する。具体的には、図１０を参照して、画像抽出部１０は、画像２０１，２０２それぞれにおいて、垂直方向（矢印Ｖで示す方向）及び水平方向（矢印Ｈで示す方法）に沿って、水平方向Ｈにおける行と垂直方向Ｖにおける列とを設定する。各行は、水平方向Ｈに並ぶ複数の画素によって構成されている。同様に、各列は、垂直方向Ｖに並ぶ複数の画素によって構成されている。図１０の例では、画像２０１，２０２それぞれにおいて、垂直方向Ｖに沿って２０個の行が設定され、水平方向Ｈに沿って２４個の列が設定されている。各行は、水平方向Ｈに並ぶ２４個の画素によって構成され、各列は、垂直方向Ｖに並ぶ２０個の画素によって構成されている。

　画像抽出部１０は、上記のように複数の行及び複数の列が設定された画像２０１，２０２それぞれから、複数の画像ブロックを抽出する。画像ブロックは、複数の画素によって構成される。本変形例では、画像抽出部１０は、画像２０１の画素ごとに、その画素を中心画素とする画像ブロックを抽出する。また、画像抽出部１０は、画像２０２の画素ごとに、その画素を中心画素とする画像ブロックを抽出する。したがって、画像抽出部１０は、例えば、画像２０１を構成する複数の画素と同数の画像ブロックを、画像２０１から抽出する。また、画像抽出部１０は、例えば、画像２０２を構成する複数の画素と同数の画像ブロックを、画像２０２から抽出する。

　図１０においては、画像２０１から抽出された複数の画像ブロックのうちの一つの画像ブロック２０３が示され、画像２０２から抽出された複数の画像ブロックのうちの一つの画像ブロック２０４が示されている。図１０においては、画像ブロック２０３，２０４を構成する複数の画素にハッチングを付している。図１０の例では、画像ブロック２０３，２０４はそれぞれ、９画素によって構成されている。

　なお、図１１を参照して、例えば、画像２０１内の最も外側に並ぶ複数の画素のうちの一つを中心画素として画像ブロック２０３を抽出する際には、画像２０１内の画素のみによって画像ブロックを構成することはできない。この場合には、例えば、一定の輝度（例えば、零）を有する複数の画素（以下、仮想画素と記載する。）が、画像２０１を囲むように設けられていると仮定して画像ブロックを抽出する。図１１の例では、例えば、画像２０１内の６個の画素と、３個の仮想画素とによって、画像ブロック２０３が構成されている。詳細な説明は省略するが、画像２０２から抽出される画像ブロックについても同様である。

　更に、本変形例では、画像抽出部１０は、一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出する。そして、選出した画像ブロック同士を組み合せて、複数の画像ブロックの組を設定し、設定した複数の画像ブロックの組を、相関値算出部２０に入力する。例えば、図１０では、画像２０２の一つの行は、２４画素によって構成されている。上述したように、画像ブロックは画素ごとに設定されるので、画像２０２の一つの行に対して２４個の画像ブロックが設定される。したがって、図１０の例では、一方の画像２０１から抽出された任意の画像ブロックは、他方の画像２０２の対応する一つの行を構成する画素ごとに設定された２４個の画像ブロックにそれぞれに組み合わされる。例えば、画像２０１から抽出された画像ブロックの中心画素が５行目に位置している場合には、その画像ブロックは、画像２０２の５行目の画素ごとに設定された２４個の画像ブロックにそれぞれ組み合わされる。このようにして、本変形例では、画像２０１から抽出された画像ブロックごとに、２４個の画像ブロックの組が設定される。すなわち、画像２０１を構成する全ての画素それぞれに対して、２４個の画像ブロックの組が設定される。

　以上のように、本変形例においては、画像抽出部１０は、ペア画像２０１，２０２から、画素と同数の画像ブロック２０３，２０４を抽出する。この場合、互いに一致する画像ブロックのペアをより高精度に特定することが可能になる。すなわち、ペア画像を対象としたマッチング処理において、判定精度をさらに向上させることができる。

　ここで、本実施の形態におけるプログラムを実行することによって、画像処理装置１００を実現するコンピュータについて図１２を用いて説明する。図１２は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。

　図１２に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。

　なお、本実施の形態における画像処理装置１００は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置１００は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１５）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
　対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、画像抽出部と、
　設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、相関値算出部と、
　前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、判定部と、
を備えている、ことを特徴とする画像処理装置。

（付記２）
　前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、付記１に記載の画像処理装置。

（付記３）
　前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、相関値補正部を更に備えている、
付記１または２に記載の画像処理装置。

（付記４）
　前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、画像取得部を更に備え、
　前記画像抽出部が、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
付記１～３のいずれかに記載の画像処理装置。

（付記５）
　前記判定部は、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から抽出された画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
付記４に記載の画像処理装置。

（付記６）
（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を有する、ことを特徴とする画像処理方法。

（付記７）
　前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、付記６に記載の画像処理方法。

（付記８）
（ｄ）前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、ステップを更に有する、
付記６または７に記載の画像処理方法。

（付記９）
（ｅ）前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に有し、
　前記（ａ）のステップにおいて、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
付記６～８のいずれかに記載の画像処理方法。

（付記１０）
　前記（ｃ）のステップにおいて、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から得られた画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
付記９に記載の画像処理方法。

（付記１１）
コンピュータに、
（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。

（付記１２）
　前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、付記１１に記載のコンピュータ読み取り可能な記録媒体。

（付記１３）
前記コンピュータに、
（ｄ）前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、ステップを更に実行させる、
付記１１または１２に記載のコンピュータ読み取り可能な記録媒体。

（付記１４）
前記コンピュータに、
（ｅ）前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換うち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に実行させ、
　前記（ａ）のステップにおいて、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
付記１１～１３のいずれかに記載のコンピュータ読み取り可能な記録媒体。

（付記１５）
　前記（ｃ）のステップにおいて、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から抽出された画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
付記１４に記載のコンピュータ読み取り可能な記録媒体。

　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　この出願は、２０１５年１１月２７日に出願された日本出願特願２０１５－２３２０６３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　以上のように本発明によれば、輝度が異なるペア画像を対象としたマッチング処理において判定精度の向上を図ることができる。本発明は、例えば、ステレオマッチングが必要な分野に有用である。

　１０　画像抽出部
　２０　相関値算出部
　３０　判定部
　４０　画像取得部
　５０　相関値補正部
　１００　画像処理装置
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス

Claims

　対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、画像抽出部と、
　設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、相関値算出部と、
　前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、判定部と、
を備えている、ことを特徴とする画像処理装置。
　前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、請求項１に記載の画像処理装置。
　前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、相関値補正部を更に備えている、
請求項１または２に記載の画像処理装置。
　前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、画像取得部を更に備え、
　前記画像抽出部が、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
請求項１～３のいずれかに記載の画像処理装置。
　前記判定部は、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から抽出された画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
請求項４に記載の画像処理装置。
　（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
　（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
　（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を有する、ことを特徴とする画像処理方法。
　前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、請求項６に記載の画像処理方法。
　（ｄ）前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、ステップを更に有する、
請求項６または７に記載の画像処理方法。
　（ｅ）前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に有し、
　前記（ａ）のステップにおいて、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
請求項６～８のいずれかに記載の画像処理方法。
　前記（ｃ）のステップにおいて、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から得られた画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
請求項９に記載の画像処理方法。
　コンピュータに、
　（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
　（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
　（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
　前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、請求項１１に記載のコンピュータ読み取り可能な記録媒体。
　前記コンピュータに、
　（ｄ）前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、ステップを更に実行させる、
請求項１１または１２に記載のコンピュータ読み取り可能な記録媒体。
　前記コンピュータに、
　（ｅ）前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換うち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に実行させ、
　前記（ａ）のステップにおいて、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
請求項１１～１３のいずれかに記載のコンピュータ読み取り可能な記録媒体。
　前記（ｃ）のステップにおいて、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から抽出された画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
請求項１４に記載のコンピュータ読み取り可能な記録媒体。