JP6601893B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、２つの画像を用いた画像処理を行なうための、画像処理装置、画像処理方法、及びこれらを実現するためのプログラムに関する。

従来から、３次元データの自動生成方法として、人工衛星又は航空機等から得られたペア画像を基に、ステレオマッチング処理を行うことによって、地形を示す３次元データ［ＤＳＭ（Digital Surface Model）データ］を生成する方法が広く知られている。ペア画像は、２台のカメラによって同一の被写体を異なる視点で撮影することによって得られた画像である。

具体的には、ステレオマッチング処理では、まず、ステレオ画像を構成する各画像から一定サイズの複数の画像ブロックが抽出される。次いで、一方の画像の任意の画像ブロックに最も類似する他方の画像の画像ブロックが特定される。これにより、対応点が特定され、特定された対応点間の視差を用いて、三角測量を実行することによって、被写体の奥行き及び形状が求められる。なお、詳細な説明は省略するが、対応点とは、一方の画像中の一つの画素と、その画素に対応する他方の画像中の画素とを意味する。一方の画像の任意の画像ブロックに最も類似する他方の画像の画像ブロックが特定されると、上記任意の画像ブロックの中心画素と、上記最も類似する画像ブロックの中心画素とが、対応点として特定される。

最も類似する画像ブロックを特定する処理の具体的手法としては、輝度差の和（ＳＡＤ：Sum of Absolute Difference）を利用した方法、輝度差の２乗和（ＳＳＤ：Sum of Squared Difference）を利用した方法、正規化相互相関（ＮＣＣ：Normalized Cross-Correlation）を利用した方法、などが知られている。

具体的には、ＳＡＤを利用する場合は、下記の数１を用いて、Ｒ_ＳＡＤの値が最も小さくなる画像ブロックのペアを特定し、特定したペアを互いに最も類似する画像ブロックであると判定する（例えば、特許文献１〜３及び非特許文献１参照）。なお、数１において、Ｉ（ｉ，ｊ）及びＴ（ｉ，ｊ）は、画像ブロックにおける対応する画素の輝度を示している。また、（ｉ，ｊ）は、画素の座標を表している。

また、ＳＳＤを利用する場合は、下記の数２を用いて、Ｒ_ＳＳＤの値が最も小さくなる画像ブロックのペアを特定し、特定したペアを互いに最も類似する画像ブロックであると判定する（例えば、特許文献４及び非特許文献１参照）。数２においても、Ｉ（ｉ，ｊ）及びＴ（ｉ，ｊ）は、画像ブロックにおける輝度を示している。

更に、ＮＣＣを利用する場合は、下記の数３を用いて、Ｒ_ＮＣＣの値が１．０に最も近くなる画像ブロックのペアを特定し、特定したペアを互いに最も類似する画像ブロックであると判定する（例えば、特許文献５参照）。数３においても、Ｉ（ｉ，ｊ）及びＴ（ｉ，ｊ）は、画像ブロックにおける輝度を示している。

なお、ステレオマッチング処理においては、一般に、各画像から正方形の画像ブロックが抽出されるが、他の形状の画像ブロックによってステレオマッチング処理を行うこともできる。例えば、特許文献６には、ステレオマッチング処理を行う際の画像ブロックの例として、横長の画像ブロック、縦長の画像ブロック、及び十字形状の画像ブロックが記載されている。また、特許文献６には、ステレオカメラによって撮像されたシーンを予測または検出して、横長の画像ブロック、縦長の画像ブロック、または十字形状の画像ブロックを使い分けることが記載されている。

特開平９−２１１０８０号公報 特開２０００−００３４４８号公報 特開２００６−９０８９６号公報 特開２０００−０８２１４２号公報 特開平７−１２１７１１号公報 特開２０１３−１６４３５１号公報

新井元基、鷲見和彦、松山 隆司著、「画像のブロックマッチングにおける相関関数とサブピクセル推定方式の最適化」、２００４年５月６日、ｐ．２、右パラグラム、第２〜１９行

ところで、ステレオマッチング処理においては、ペア画像を撮影する２台のカメラそれぞれの撮影角度が異なる。これにより、視差が生じ、同一の撮影対象物の形状及び位置がペア画像間において異なる。以下、ペア画像間において生じる視差の影響について図面を用いて簡単に説明する。

図８は、左右に配置した２台のカメラによって上空から撮影したペア画像の一例を示す図である。図８には、左に配置したカメラで撮影した画像１と、右に配置したカメラで撮影した画像２とが示されている。

画像１，２にはそれぞれ、撮影対象物３，４，５が示されている。なお、図８においては、各撮影対象物を簡略化して示している。撮影対象物３はアパートであり、撮影対象物４，５はそれぞれ、地面Ｇ上に停車している自動車である。以下、撮影対象物３をアパート３と記載し、撮影対象物４，５をそれぞれ、自動車４，５と記載する。

また、図８には、ステレオマッチング処理で抽出される正方形の画像ブロック６ａ，６ｂ，７ａ，７ｂが示されている。画像ブロック６ａの中心画素と、画像ブロック６ｂの中心画素とは、アパート３の屋上３ａの同じ位置に対応する。画像ブロック７ａの中心画素と、画像ブロック７ｂの中心画素とは、屋上３ａの同じ位置に対応する。したがって、ステレオマッチング処理では、画像ブロック６ａと画像ブロック６ｂとが互いに最も類似する画像ブロックであると判定されることが好ましく、画像ブロック７ａと画像ブロック７ｂとが互いに最も類似する画像ブロックであると判定されることが好ましい。

図８を参照して、ペア画像間において生じる視差は、撮影対象物の高さ方向における位置によって異なる。図８の例では、地面Ｇと、アパート３の屋上３ａとでは、視差が大きく異なる。このように撮影対象物の位置によって視差が異なることによって、図８に示すように、画像１，２間において、アパート３の側面３ｂの形状が大きく異なる。また、画像１，２間において、屋上３ａに対する自動車４，５の位置が大きく異なる。

上記のように、画像１，２間において撮影対象物の形状及び位置が異なることによって、例えば、以下のような現象が生じる。まず、屋上３ａの右端近傍の画像ブロック６ａ，６ｂに注目すると、画像ブロック６ａ内に示される側面３ｂの形状と、画像ブロック６ｂ内に示される側面３ｂの形状との間で大きな差が生じている。このため、画像ブロック６ａ内の各画素の輝度と、画像ブロック６ｂ内の各画素の輝度との間で大きな差が生じる。これにより、ステレオマッチング処理において、画像ブロック６ａと画像ブロック６ｂとが、互いに最も類似する画像ブロックであると判定される確率が低くなる。その結果、適切な対応点を特定することが難しくなる。

一方、画像ブロック７ａ，７ｂに注目すると、画像ブロック７ａには自動車４，５の一部が含まれているが、画像ブロック７ｂには自動車４，５が含まれていない。このため、画像ブロック７ａ内の各画素の輝度と、画像ブロック７ｂ内の各画素の輝度との間で大きな差が生じる。これにより、ステレオマッチング処理において、画像ブロック７ａと画像ブロック７ｂとが、互いに最も類似する画像ブロックであると判定される確率が低くなる。その結果、適切な対応点を特定することが難しくなる。

ここで、例えば、画像ブロック６ａ，６ｂ，７ａ，７ｂの代わりに、特許文献６に記載されているような縦長の画像ブロックを用いたとする。この場合、図９に示すように、屋上３ａの右端近傍において、画像ブロック６ｃ，６ｄ内に含まれる側面３ｂの領域を小さくすることができる。これにより、ステレオマッチング処理において、側面３ｂの形状の変化の影響を小さくすることができると考えられる。しかしながら、自動車４，５の位置の変化による影響を小さくすることは難しい。一方、図示は省略するが、画像ブロック６ａ，６ｂ，７ａ，７ｂの代わりに、横長の画像ブロックを用いた場合には、自動車４，５の位置の変化による影響を小さくすることができると考えられる。しかしながら、側面３ｂの形状の変化の影響を小さくすることは難しい。画像ブロック６ａ，６ｂ，７ａ，７ｂの代わりに、十字形状の画像ブロックを用いたとしても、側面３ｂの形状変化及び自動車４，５の位置変化の影響を十分に小さくすることは難しい。

なお、上述したように、特許文献６には、縦長の画像ブロックと横長の画像ブロックとを使い分けることが記載されている。しかしながら、ペア画像間における撮影対象物の形状変化及び位置変化を正確に予測または検出することは難しい。したがって、ペア画像間における撮影対象物の形状変化及び位置変化に応じて、縦長の画像ブロックと横長の画像ブロックを適切に使い分けることは難しい。

本発明の目的の一例は、上記問題を解消し、ペア画像を対象としたマッチング処理において判定精度の向上を図り得る、画像処理装置、画像処理方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における画像処理装置は、
対象となる２つの画像それぞれから、長辺を有する長方形状の複数の第１画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された第１画像ブロックの一つと、他方の画像から抽出された第１画像ブロックの一つとを組み合せて、複数の第１画像ブロックの組を設定する、第１画像抽出部と、
前記２つの画像それぞれから、前記第１画像ブロックの前記長辺に直交する長辺を有し、かつ中心画素が前記第１画像ブロックの中心画素と共通の画素である、長方形状の複数の第２画像ブロックを抽出し、前記２つの画像の前記一方の画像から抽出された第２画像ブロックの一つと、前記他方の画像から抽出された第２画像ブロックの一つとを組み合せて、複数の第２画像ブロックの組を設定する、第２画像抽出部と、
設定された前記第１画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する第１相関値算出部と、
設定された前記第２画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する第２相関値算出部と、
前記第１画像ブロックの組それぞれの相関値及び前記第２画像ブロックの組それぞれの相関値に基づいて、前記２つの画像において互いに対応する画素を抽出する、対応画素抽出部と、
を備えている、ことを特徴とする。

また、上記目的を達成するため、本発明の一側面における画像処理方法は、
（ａ）対象となる２つの画像それぞれから、長辺を有する長方形状の複数の第１画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された第１画像ブロックの一つと、他方の画像から抽出された第１画像ブロックの一つとを組み合せて、複数の第１画像ブロックの組を設定する、ステップと、
（ｂ）前記２つの画像それぞれから、前記第１画像ブロックの前記長辺に直交する長辺を有し、かつ中心画素が前記第１画像ブロックの中心画素と共通の画素である、長方形状の複数の第２画像ブロックを抽出し、前記２つの画像の前記一方の画像から抽出された第２画像ブロックの一つと、前記他方の画像から抽出された第２画像ブロックの一つとを組み合せて、複数の第２画像ブロックの組を設定する、ステップと、
（ｃ）前記（ａ）のステップで設定された前記第１画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する、ステップと、
（ｄ）前記（ｂ）のステップで設定された前記第２画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する、ステップと、
（ｅ）前記（ｃ）のステップで算出された前記第１画像ブロックの組それぞれの相関値及び前記（ｄ）のステップで算出された前記第２画像ブロックの組それぞれの相関値に基づいて、前記２つの画像において互いに対応する画素を抽出する、ステップと、
を有する、ことを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）対象となる２つの画像それぞれから、長辺を有する長方形状の複数の第１画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された第１画像ブロックの一つと、他方の画像から抽出された第１画像ブロックの一つとを組み合せて、複数の第１画像ブロックの組を設定する、ステップと、
（ｂ）前記２つの画像それぞれから、前記第１画像ブロックの前記長辺に直交する長辺を有し、かつ中心画素が前記第１画像ブロックの中心画素と共通の画素である、長方形状の複数の第２画像ブロックを抽出し、前記２つの画像の前記一方の画像から抽出された第２画像ブロックの一つと、前記他方の画像から抽出された第２画像ブロックの一つとを組み合せて、複数の第２画像ブロックの組を設定する、ステップと、
（ｃ）前記（ａ）のステップで設定された前記第１画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する、ステップと、
（ｄ）前記（ｂ）のステップで設定された前記第２画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する、ステップと、
（ｅ）前記（ｃ）のステップで算出された前記第１画像ブロックの組それぞれの相関値及び前記（ｄ）のステップで算出された前記第２画像ブロックの組それぞれの相関値に基づいて、前記２つの画像において互いに対応する画素を抽出する、ステップと、
を実行させることを特徴とする。

以上のように本発明によれば、ペア画像を対象としたマッチング処理において判定精度の向上を図ることができる。

図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。 図３は、本発明の実施の形態において取得されたペア画像の一例を示す図である。 図４は、本発明の実施の形態において取得された画像の一例を説明する図である。 図５は、本発明の実施の形態において取得されたペア画像の一例を示す図である。 図６は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。 図７は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。 図８は、左右に配置した２台のカメラによって撮影したペア画像の一例を示す図である。 図９は、左右に配置した２台のカメラによって撮影したペア画像の一例を示す図である。

（実施の形態）
以下、本発明の実施の形態における、画像処理装置、画像処理方法、及びプログラムについて、図１〜図９を参照しながら説明する。

［装置構成］
最初に、図１を用いて、本発明の実施の形態における画像処理装置の概略構成について説明する。図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。

図１に示すように、本実施の形態における画像処理装置１００は、２枚の画像を対象として画像処理を行なう装置であり、第１画像抽出部１０ａと、第２画像抽出部１０ｂと、第１相関値算出部２０ａと、第２相関値算出部２０ｂと、対応画素抽出部３０とを備えている。

第１画像抽出部１０ａは、対象となる２つの画像それぞれから、複数の画像ブロックを抽出する。本実施形態では、第１画像抽出部１０ａによって抽出される画像ブロックは、一対の長辺及び一対の短辺を有する長方形状の画像ブロックである。以下、第１画像抽出部１０ａによって抽出される複数の画像ブロックをそれぞれ、第１画像ブロックと記載する。第１画像抽出部１０ａは、２つの画像の一方の画像から抽出された第１画像ブロックの一つと、他方の画像から抽出された第１画像ブロックの一つとを組み合せて、複数の第１画像ブロックの組を設定する。

第２画像抽出部１０ｂは、対象となる上記２つの画像それぞれから、複数の画像ブロックを抽出する。本実施形態では、第２画像抽出部１０ｂによって抽出される画像ブロックは、一対の長辺及び一対の短辺を有する長方形状の画像ブロックである。以下、第２画像抽出部１０ｂによって抽出される複数の画像ブロックをそれぞれ、第２画像ブロックと記載する。第２画像抽出部１０ｂは、２つの画像の一方の画像から抽出された第２画像ブロックの一つと、他方の画像から抽出された第２画像ブロックの一つとを組み合せて、複数の第２画像ブロックの組を設定する。

本実施形態では、第１画像抽出部１０ａ及び第２画像抽出部１０ｂによって、画素ごとに、その画素を共通の中心画素とする第１画像ブロック及び第２画像ブロックが抽出される。第１画像ブロックの一対の長辺と、その第１画像ブロックと共通の中心画素を有する第２画像ブロックの一対の長辺とは、互いに直交する。すなわち、本実施形態では、画素ごとに、その画素を共通の中心画素とするように、長方形状の第１画像ブロックと、その第１画像ブロックに直交する第２画像ブロックとが抽出される。

第１相関値算出部２０ａは、第１画像抽出部１０ａによって設定された第１画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する。同様に、第２相関値算出部２０ｂは、第２画像抽出部１０ｂによって設定された第２画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する。第１相関値算出部２０ａ及び第２相関値算出部２０ｂによる相関値の算出方法については後述する。

対応画素抽出部３０は、第１画像ブロックの組それぞれの相関値及び第２画像ブロックの組それぞれの相関値に基づいて、上記２つの画像において互いに対応する画素（対応点）を抽出する。

このように、図１に示した構成では、２つの画像においてそれぞれ、画素ごとに、長方形状の第１画像ブロックと、その第１画像ブロックに直交する長方形状の第２画像ブロックとが抽出される。また、２つの画像の一方の画像から抽出された第１画像ブロックの一つと、他方の画像から抽出された第１画像ブロックの一つとを組み合せることによって、複数の第１画像ブロックの組が設定される。また、２つの画像の一方の画像から抽出された第２画像ブロックの一つと、他方の画像から抽出された第２画像ブロックの一つとを組み合せることによって、複数の第２画像ブロックの組が設定される。そして、第１画像ブロックの組それぞれの相関値及び第２画像ブロックの組それぞれの相関値に基づいて、上記２つの画像において互いに対応する画素（対応点）が抽出される。

すなわち、図１に示した構成では、長方形状の第１画像ブロックに基づいて算出される相関値と、第１画像ブロックに直交するように設定された長方形状の第２画像ブロックに基づいて算出される相関値とを用いて、対応点を抽出することができる。これにより、図８及び図９で説明したように、２つの画像間において、撮影対象物の形状及び位置が大きく変化する場合でも、その変化の影響を十分に低減して、マッチング処理における判定精度を向上することができる。その結果、マッチング処理において適切な対応点を特定することができる。

続いて、図２を用いて、本発明の実施の形態における画像処理の構成及び機能について更に具体的に説明する。図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。

まず、本実施の形態では、画像処理装置１００は、ステレオマッチング処理を行なう装置である。処理対象となる２つの画像は、異なる角度から同一対象を撮影して得られたペア画像、具体的には、人工衛星又は航空機等から撮影されたペア画像である。

また、図２に示すように、本実施の形態では、画像処理装置１００は、図１に示した、第１画像抽出部１０ａ、第２画像抽出部１０ｂ、第１相関値算出部２０ａ、第２相関値算出部２０ｂ及び対応画素抽出部３０に加えて、更に、画像取得部４０を備えている。

画像取得部４０は、処理対象となるペア画像を取得する。具体的には、画像取得部４０は、ネットワーク等を介して送信されてきたペア画像の各画像データを取得し、取得した各画像データを第１画像抽出部１０ａ及び第２画像抽出部１０ｂにそれぞれ入力する。また、画像取得部４０は、ペア画像それぞれのエピポーラ線が水平方向において一致しているかどうかを判定し、一致していない場合は、一方又は両方の画像に対して、回転及び射影変換のうち少なくとも１つを行なって、エピポーラ線が一致するように補正を実行する。そして、画像取得部４０は、ペア画像を補正して得られた各画像データを、ペア画像の各画像データとして、第１画像抽出部１０ａ及び第２画像抽出部１０ｂにそれぞれ入力する。

図３は、本発明の実施の形態において取得されたペア画像の一例を示す図である。図３の例では、ペア画像は、画像２０１と画像２０２とで構成されている。なお、図３においては、説明を分かりやすくするために、画像に含まれる各画素を大きく示している。したがって、実際には、各画像には、図３に示す複数の画素よりも多くの画素が含まれていてもよい。また、図面が煩雑になることを避けるために、図３においては、撮影対象物は示していない。

図３に示すように、本実施の形態では、第１画像抽出部１０ａは、画像２０１，２０２それぞれにおいて、垂直方向（矢印Ｖで示す方向）及び水平方向（矢印Ｈで示す方向）に沿って、水平方向Ｈにおける行と垂直方向Ｖにおける列とを設定する。各行は、水平方向Ｈに並ぶ複数の画素によって構成されている。同様に、各列は、垂直方向Ｖに並ぶ複数の画素によって構成されている。図３の例では、画像２０１，２０２それぞれにおいて、垂直方向Ｖに沿って２０個の行が設定され、水平方向Ｈに沿って２４個の列が設定されている。各行は、水平方向Ｈに並ぶ２４個の画素によって構成され、各列は、垂直方向Ｖに並ぶ２０個の画素によって構成されている。

また、第１画像抽出部１０ａは、画像２０１，２０２それぞれから、複数の第１画像ブロックを抽出する。第１画像ブロックは、複数の画素によって構成される。本実施の形態では、第１画像抽出部１０ａは、画像２０１の画素ごとに、その画素を中心画素とする第１画像ブロックを抽出する。また、第１画像抽出部１０ａは、画像２０２の画素ごとに、その画素を中心画素とする第１画像ブロックを抽出する。したがって、第１画像抽出部１０ａは、例えば、画像２０１を構成する複数の画素と同数の第１画像ブロックを、画像２０１から抽出する。また、第１画像抽出部１０ａは、例えば、画像２０２を構成する複数の画素と同数の第１画像ブロックを、画像２０２から抽出する。

図３においては、画像２０１から抽出された複数の第１画像ブロックのうちの一つの第１画像ブロック２０３が示され、画像２０２から抽出された複数の第１画像ブロックのうちの一つの第１画像ブロック２０４が示されている。図３においては、第１画像ブロック２０３，２０４を構成する複数の画素にハッチングを付している。図３の例では、第１画像ブロック２０３，２０４はそれぞれ長方形状を有し、垂直方向Ｖに沿う一対の長辺と、水平方向Ｈに沿う一対の短辺とを有している。本実施の形態では、第１画像ブロックは、２１画素によって構成される。また、本実施の形態では、第１画像ブロックの一対の長辺は、エピポーラ線に直交する。

なお、図４を参照して、例えば、画像２０１内の最も外側に並ぶ複数の画素のうちの一つを中心画素として第１画像ブロックを抽出する際には、画像２０１内の画素のみによって第１画像ブロックを構成することはできない。この場合には、例えば、一定の輝度（例えば、零）を有する複数の画素（以下、仮想画素と記載する。）が、画像２０１を囲むように設けられていると仮定して第１画像ブロックを抽出し、後述の処理が行われる。図４の例では、画像２０１内の１４個の画素と、７個の仮想画素とによって、第１画像ブロック２０３ａが構成される。詳細な説明は省略するが、画像２０２から抽出される第１画像ブロックについても同様である。また、画像２０１，２０２からそれぞれ抽出される第２画像ブロックについても同様である。

更に、本実施の形態では、第１画像抽出部１０ａは、一方の画像から抽出された第１画像ブロックの一つと、他方の画像から抽出された第１画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出する。そして、選出した第１画像ブロック同士を組み合せて、複数の第１画像ブロックの組を設定し、設定した複数の第１画像ブロックの組を、第１相関値算出部２０ａに入力する。例えば、図３では、画像２０２の一つの行は、２４画素によって構成されている。上述したように、第１画像ブロックは画素ごとに設定されるので、画像２０２の一つの行に対して２４個の第１画像ブロックが設定される。したがって、図３の例では、一方の画像２０１から抽出された任意の第１画像ブロックは、他方の画像２０２の対応する一つの行を構成する画素ごとに設定された２４個の第１画像ブロックにそれぞれに組み合わされる。例えば、画像２０１から抽出された第１画像ブロックの中心画素が５行目に位置している場合には、その第１画像ブロックは、画像２０２の５行目の画素ごとに設定された２４個の第１画像ブロックにそれぞれ組み合わされる。このようにして、本実施の形態では、画像２０１から抽出された第１画像ブロックごとに、２４個の第１画像ブロックの組が設定される。すなわち、画像２０１を構成する全ての画素それぞれに対して、２４個の第１画像ブロックの組が設定される。

図５に示すように、本実施の形態では、第２画像抽出部１０ｂは、第１画像抽出部１０ａと同様に、画像２０１，２０２それぞれにおいて、垂直方向Ｖ及び水平方向Ｈに沿って、水平方向Ｈにおける行と垂直方向Ｖにおける列とを設定する。図３で説明したように、各行は、水平方向Ｈに並ぶ複数の画素によって構成され、各列は、垂直方向Ｖに並ぶ複数の画素によって構成されている。

また、第２画像抽出部１０ｂは、画像２０１，２０２それぞれから、複数の第２画像ブロックを抽出する。第２画像ブロックは、複数の画素によって構成される。本実施の形態では、第２画像抽出部１０ｂは、画像２０１の画素ごとに、その画素を中心画素とする第２画像ブロックを抽出する。また、第２画像抽出部１０ｂは、画像２０２の画素ごとに、その画素を中心画素とする第２画像ブロックを抽出する。したがって、第２画像抽出部１０ｂは、例えば、画像２０１を構成する複数の画素と同数の第２画像ブロックを、画像２０１から抽出する。また、第２画像抽出部１０ｂは、例えば、画像２０２を構成する複数の画素と同数の第２画像ブロックを、画像２０２から抽出する。このようにして、本実施の形態では、画素ごとに、一つの第１画像ブロックと、その第１画像ブロックと共通の中心画素を有する一つの第２画像ブロックとが抽出される。

図５においては、画像２０１から抽出される複数の第２画像ブロックのうちの一つの第２画像ブロック２０５が示され、画像２０２から抽出される複数の第２画像ブロックのうちの一つの第２画像ブロック２０６が示されている。図５においては、第２画像ブロック２０５，２０６を構成する複数の画素にハッチングを付している。図５の例では、第２画像ブロック２０５，２０６はそれぞれ長方形状を有し、垂直方向Ｖに沿う一対の短辺と、水平方向Ｈに沿う一対の長辺とを有している。本実施の形態では、第２画像ブロックは、２１画素によって構成される。すなわち、本実施の形態では、第１画像ブロックの画素数及び第２画像ブロックの画素数は、互いに等しい。

更に、本実施の形態では、第２画像抽出部１０ｂは、一方の画像から抽出された第２画像ブロックの一つと、他方の画像から抽出された第２画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出する。そして、選出した第２画像ブロック同士を組み合せて、複数の第２画像ブロックの組を設定し、設定した複数の第２画像ブロックの組を、第２相関値算出部２０ｂに入力する。

例えば、図５では、画像２０２の一つの行は、２４画素によって構成されている。また、上述したように、第２画像ブロックは画素ごとに設定されるので、画像２０２の一つの行に対して２４個の第２画像ブロックが設定される。したがって、図５の例では、一方の画像２０１から抽出された一つの第２画像ブロックは、他方の画像２０２の対応する一つの行の画素ごとに設定された２４個の第２画像ブロックそれぞれに組み合わされる。これにより、画像２０１から抽出された第２画像ブロックごとに、２４個の第２画像ブロックの組が設定される。すなわち、画像２０１を構成する全ての画素それぞれに対して、２４個の第２画像ブロックの組が設定される。

第１相関値算出部２０ａは、入力された第１画像ブロックの組それぞれについて、相関値を算出する。そして、第１相関値算出部２０ａは、算出した第１画像ブロックの組それぞれの相関値を対応画素抽出部３０に入力する。同様に、第２相関値算出部２０ｂは、入力された第２画像ブロックの組それぞれについて、相関値を算出する。そして、第２相関値算出部２０ｂは、算出した第２画像ブロックの組それぞれの相関値を対応画素抽出部３０に入力する。なお、相関値は、例えば、上述のＳＡＤ、ＳＳＤまたはＮＣＣ等の公知の方法を利用して算出することができる。ＳＡＤを利用して相関値を算出する場合には、例えば、上述のＲ_ＳＡＤの値を相関値とすることができる。また、ＳＳＤを利用して相関値を算出する場合には、例えば、上述のＲ_ＳＳＤの値を相関値とすることができる。更に、例えば、ＮＣＣを利用して相関値を算出する場合には、上述のＲ_ＮＣＣの値を相関値とすることができる。例えば、Ｒ_ＳＡＤの値またはＲ_ＳＳＤの値を相関値として用いる場合には、画像ブロックの組の相関値が小さいほど、その画像ブロックの組が高い相関関係を有していることを示す。また、例えば、Ｒ_ＮＣＣの値を相関値として用いる場合には、画像ブロックの組の相関値が大きいほど、その画像ブロックの組が高い相関関係を有していることを示す。

対応画素抽出部３０は、一方の画像から抽出された第１画像ブロックの一つを基準第１画像ブロックに設定する。また、対応画素抽出部３０は、一方の画像から抽出された複数の第２画像ブロックのうち、中心画素が上記基準第１画像ブロックと共通する第２画像ブロックを基準第２画像ブロックに設定する。例えば、図３に示した第１画像ブロック２０３の中心画素と、図５に示した第２画像ブロック２０５の中心画素とは、共通の画素である。したがって、例えば、図３に示した第１画像ブロック２０３が基準第１画像ブロックに設定された場合には、図５に示した第２画像ブロック２０５が基準第２画像ブロックに設定される。

更に、対応画素抽出部３０は、基準第１画像ブロックとの組み合せとして設定された第１画像ブロックの組の一つと、基準第２画像ブロックとの組み合せとして設定された第２画像ブロックの組の一つとを、他方の画像から抽出された第１画像ブロック及び第２画像ブロックの中心画素が共通の画素となるように選出する。そして、対応画素抽出部３０は、選出された第１画像ブロックの組と第２画像ブロックの組とを組み合せて、複合ブロックを設定する。例えば、図３に示した第１画像ブロック２０４の中心画素と、図５に示した第２画像ブロック２０６の中心画素とは、共通の画素である。また、第１画像ブロック２０４は、第１画像ブロック２０３に組み合わされて、第１画像ブロックの組を構成する。更に、第２画像ブロック２０６は、第２画像ブロック２０５に組み合わされて、第２画像ブロックの組を構成する。したがって、図３及び図５に示した例では、第１画像ブロック２０３が基準第１画像ブロックに設定され、第２画像ブロック２０５が基準第２画像ブロックに設定された場合には、第１画像ブロック２０３，２０４（第１画像ブロックの組）と、第２画像ブロック２０５，２０６（第２画像ブロックの組）とが選出され、これらを組み合せて一つの複合ブロックが設定される。

本実施の形態では、一方の画像から抽出された全ての第１画像ブロックがそれぞれ、基準第１画像ブロックに設定される。そして、設定された基準第１画像ブロックごとに、複数の複合ブロックが設定される。図３及び図５に示した例では、上述したように、第１画像ブロックごとに、２４個の第１画像ブロックの組が設定され、第２画像ブロックごとに、２４個の第２画像ブロックの組が設定される。したがって、図３及び図５に示した例では、第１画像ブロックの組の一つと、第２画像ブロックの組の一つとを組み合せることによって、基準第１画像ブロックごとに、２４個の複合ブロックが設定される。

また、上述したように、本実施の形態では、第１画像抽出部１０ａは、一方の画像を構成する複数の画素と同数の第１画像ブロックを、一方の画像から抽出する。すなわち、本実施の形態では、一方の画像の画素ごとに、その画素を中心とする第１画像ブロックが抽出される。したがって、本実施の形態では、一方の画像の画素ごとに、複数の複合ブロックが設定される。図３及び図５に示した例では、一方の画像２０１の全ての画素に対してそれぞれ、２４個の複合ブロックが設定される。

対応画素抽出部３０は、上記のようにして設定した複合ブロックごとに、第１画像ブロックの組の相関値と第２画像ブロックの組の相関値とに基づいて複合相関値を算出する。例えば、図３に示した第１画像ブロック２０３，２０４（第１画像ブロックの組）と、図５に示した第２画像ブロック２０５，２０６（第２画像ブロックの組）とによって構成された複合ブロックの複合相関値は、第１画像ブロック２０３，２０４の相関値と第２画像ブロック２０５，２０６の相関値とに基づいて算出される。

なお、本実施の形態では、複合ブロックごとに、例えば、第１画像ブロックの組と第２画像ブロックの組とのうち、高い相関関係を示す方の画像ブロックの組の相関値を、複合相関値としてもよい。具体的には、例えば、上述のＲ_ＳＡＤの値またはＲ_ＳＳＤの値を相関値として用いる場合には、第１画像ブロックの組の相関値と第２画像ブロックの組の相関値とのうち、小さい方の相関値を、複合相関値とすることができる。また、例えば、上述のＲ_ＮＣＣの値を相関値として用いる場合には、第１画像ブロックの組の相関値と第２画像ブロックの組の相関値とのうち、大きい方の相関値を、複合相関値とすることができる。

また、例えば、複合ブロックごとに、第１画像ブロックの組の相関値及び第２画像ブロックの組の相関値を加算して得られる値、又は第１画像ブロックの組の相関値及び第２画像ブロックの組の相関値の平均値を、複合相関値としてもよい。

また、例えば、複合ブロックごとに、第１画像ブロックの組と第２画像ブロックの組とのうち、高い相関関係を示す方の画像ブロックの組の重み付けを大きくして、複合相関値を算出してもよい。具体的には、予め設定された第１係数（例えば、０．８）及び第２係数（第１係数よりも小さい値。例えば、０．２）を用いて、第１画像ブロックの組の相関値と第２画像ブロックの組の相関値とに基づいて、複合相関値を算出することができる。例えば、上述のＲ_ＳＡＤの値またはＲ_ＳＳＤの値を相関値として用い、かつ第１画像ブロックの組の相関値が第２画像ブロックの組の相関値よりも小さい場合には、第１画像ブロックの組の相関値に第１係数を乗算して得られる値と、第２画像ブロックの組の相関値に第２係数を乗算して得られる値とを加算することによって、複合相関値を算出してもよい。また、例えば、上述のＲ_ＮＣＣの値を相関値として用い、かつ第２画像ブロックの組の相関値が第１画像ブロックの組の相関値よりも大きい場合には、第２画像ブロックの組の相関値に第１係数を乗算して得られる値と、第１画像ブロックの組の相関値に第２係数を乗算して得られる値とを加算することによって、複合相関値を算出してもよい。なお、第１係数及び第２係数は、適宜変更することができる。

続いて、対応画素抽出部３０は、一方の画像の一つの基準第１画像ブロックに対して設定された複数の複合ブロックのうち、最も高い相関関係を示す複合ブロックを選出する。例えば、上述のＲ_ＳＡＤの値またはＲ_ＳＳＤの値を相関値として用いた場合には、対応画素抽出部３０は、複合相関値が最も小さい複合ブロックを選出する。また、例えば、上述のＲ_ＮＣＣの値を相関値として用いた場合には、対応画素抽出部３０は、複合相関値が最も大きい複合ブロックを選出する。そして、対応画素抽出部３０は、選出した複合ブロックの他方の画像の第１画像ブロック（第２画像ブロック）の中心画素を、基準第１画像ブロック（基準第２画像ブロック）の中心画素に対応する画素（対応点）として抽出する。

［装置動作］
次に、本発明の実施の形態における画像処理装置１００の動作について図６を用いて説明する。図６は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図５を参酌する。また、本実施の形態では、画像処理装置１００を動作させることによって、画像処理方法が実施される。よって、本実施の形態における画像処理方法の説明は、以下の画像処理装置１００の動作説明に代える。

図６に示すように、画像処理装置１００においては、最初に、画像取得部４０が、ネットワーク等を介して送信されてきたペア画像を取得する（ステップＡ１）。更に、画像取得部４０は、ペア画像それぞれのエピポーラ線が水平方向において一致するように、一方又は両方の画像を補正する（ステップＡ２）。

次に、第１画像抽出部１０ａは、一方の画像から抽出された第１画像ブロックの一つと、他方の画像から抽出された第１画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出し、選出した第１画像ブロック同士を組み合せて、複数の第１画像ブロックの組を設定する（ステップＡ３）。

また、第２画像抽出部１０ｂは、一方の画像から抽出された第２画像ブロックの一つと、他方の画像から抽出された第２画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出し、選出した第２画像ブロック同士を組み合せて、複数の第２画像ブロックの組を設定する（ステップＡ４）。

次に、第１相関値算出部２０ａは、入力された第１画像ブロックの組ごとに、相関値を算出する（ステップＡ５）。また、第２相関値算出部２０ｂは、入力された第２画像ブロックの組ごとに、相関値を算出する（ステップＡ６）。

次に、対応画素抽出部３０は、一方の画像から抽出された第１画像ブロックの一つを基準第１画像ブロックに設定するとともに、一方の画像から抽出された第２画像ブロックの一つを基準第２画像ブロックに設定する（ステップＡ７）。なお、ステップＡ７において設定される基準第１画像ブロックの中心画素と、基準第２画像ブロックの中心画素とは、共通の画素である。

次に、対応画素抽出部３０は、基準第１画像ブロックとの組み合せとして設定された第１画像ブロックの組の一つと、基準第２画像ブロックとの組み合せとして設定された第２画像ブロックの組の一つとを組み合せて、複数の複合ブロックを設定する（ステップＡ８）。ステップＡ８において設定された各複合ブロックにおいては、第１画像ブロックの組のうちの他方の画像から抽出された第１画像ブロックの中心画素と、第２画像ブロックの組のうちの他方の画像から抽出された第２画像ブロックの中心画素とは、共通の画素である。

次に、対応画素抽出部３０は、複合ブロックごとに、第１画像ブロックの組の相関値と第２画像ブロックの組の相関値とに基づいて複合相関値を算出する（ステップＡ９）。

最後に、対応画素抽出部３０は、一つの基準第１画像ブロックに対して設定された複数の複合ブロックのうち、最も高い相関関係を示す複合ブロックを選出する。そして、対応画素抽出部３０は、選出した複合ブロックの他方の画像の第１画像ブロック（第２画像ブロック）の中心画素を、一方の画像の基準第１画像ブロック（基準第２画像ブロック）の中心画素に対応する画素（対応点）として抽出する（ステップＡ１０）。

このように、ステップＡ１〜Ａ１０の実行により、ペア画像において、対応する画素（対応点）が特定される。その後、画像処理装置１００は、特定した対応点間の視差を用いて、三角測量を実行する。更に、画像処理装置１００は、三角測量の結果に基づいて、被写体の奥行き及び形状を特定する。

［実施の形態における作用効果］
以上のように、本実施の形態では、一方の画像の画素ごとに、その画素を中心画素とする長方形状の基準第１画像ブロックが設定される。また、一方の画像において、基準第１画像ブロックと共通の中心画素を有しかつ基準第１画像ブロックに直交する長方形状の基準第２画像ブロックが設定される。

基準第１画像ブロックには、他方の画像から抽出された複数の第１画像ブロックのそれぞれが組み合される。これにより、基準第１画像ブロックとの組み合わせとして、複数の第１画像ブロックの組（以下、基準第１画像ブロックの組と記載する。）が設定される。また、複数の基準第１画像ブロックの組についてそれぞれ、相関値が算出される。基準第１画像ブロックの中心画素と、基準第１画像ブロックに組み合わされた上記第１画像ブロックの中心画素とは、互いに対応する行に位置している。

基準第２画像ブロックには、他方の画像から抽出された複数の第２画像ブロックのそれぞれが組み合される。これにより、基準第２画像ブロックとの組み合わせとして、複数の第２画像ブロックの組（以下、基準第２画像ブロックの組と記載する。）が設定される。また、複数の基準第２画像ブロックの組についてそれぞれ、相関値が算出される。基準第２画像ブロックの中心画素と、基準第２画像ブロックに組み合わされた上記第２画像ブロックの中心画素とは、互いに対応する行に位置している。

基準第１画像ブロックの組の一つと、基準第２画像ブロックの組の一つとが組み合わされて、複数の複合ブロックが設定される。各複合ブロックにおいて、他方の画像から抽出された第１画像ブロックの中心画素と、他方の画像から抽出された第２画像ブロックの中心画素とは、共通の画素である。また、基準第１画像ブロックの組の相関値と、基準第２画像ブロックの組の相関値とに基づいて、複合ブロックの複合相関値が算出される。そして、複数の複合ブロックのうち、最も高い相関関係を示す複合ブロックが選出され、選出された複合ブロックから対応点が特定される。

このように、本実施の形態では、基準第１画像ブロックの組の相関値と、基準第２画像ブロックの組の相関値とを考慮して、対応点を特定することができる。これにより、視差によって２つの画像間において撮影対象物の形状等が大きく変化している場合でも、画像間における形状等の変化の影響を十分に低減して、対応点を適切に特定することができる。

［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図６に示すステップＡ１〜Ａ１０を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像処理装置１００と画像処理方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、第１画像抽出部１０ａ、第２画像抽出部１０ｂ、第１相関値算出部２０ａ、第２相関値算出部２０ｂ、対応画素抽出部３０、及び画像取得部４０として機能し、処理を行なう。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、第１画像抽出部１０ａ、第２画像抽出部１０ｂ、第１相関値算出部２０ａ、第２相関値算出部２０ｂ、対応画素抽出部３０、及び画像取得部４０のいずれかとして機能しても良い。

［物理構成］
ここで、本実施の形態におけるプログラムを実行することによって、画像処理装置１００を実現するコンピュータについて図７を用いて説明する。図７は、本発明の実施の形態における画像処理装置１００を実現するコンピュータの一例を示すブロック図である。

図７に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。

なお、本実施の形態における画像処理装置１００は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置１００は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記２４）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
対象となる２つの画像それぞれから、長辺を有する長方形状の複数の第１画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された第１画像ブロックの一つと、他方の画像から抽出された第１画像ブロックの一つとを組み合せて、複数の第１画像ブロックの組を設定する、第１画像抽出部と、
前記２つの画像それぞれから、前記第１画像ブロックの前記長辺に直交する長辺を有し、かつ中心画素が前記第１画像ブロックの中心画素と共通の画素である、長方形状の複数の第２画像ブロックを抽出し、前記２つの画像の前記一方の画像から抽出された第２画像ブロックの一つと、前記他方の画像から抽出された第２画像ブロックの一つとを組み合せて、複数の第２画像ブロックの組を設定する、第２画像抽出部と、
設定された前記第１画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する第１相関値算出部と、
設定された前記第２画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する第２相関値算出部と、
前記第１画像ブロックの組それぞれの相関値及び前記第２画像ブロックの組それぞれの相関値に基づいて、前記２つの画像において互いに対応する画素を抽出する、対応画素抽出部と、
を備えている、ことを特徴とする画像処理装置。

（付記２）
前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、
付記１に記載の画像処理装置。

（付記３）
前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転及び射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、画像取得部を更に備え、
前記第１画像抽出部は、前記画像取得部によってエピポーラ線が一致された前記２つの画像それぞれから、前記第１画像ブロックの前記長辺が前記エピポーラ線に直交するように前記複数の第１画像ブロックを抽出し、
前記第２画像抽出部は、前記画像取得部によってエピポーラ線が一致された前記２つの画像それぞれから、前記複数の第２画像ブロックを抽出する、
付記１または２に記載の画像処理装置。

（付記４）
前記第１画像抽出部は、前記２つの画像それぞれにおいて、垂直方向及び水平方向に沿って、複数の画素によって構成される、水平方向における行と垂直方向における列とを設定し、前記一方の画像から抽出された第１画像ブロックの一つと、前記他方の画像から抽出された第１画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出し、選出した第１画像ブロック同士を組み合せて、前記複数の第１画像ブロックの組を設定し、
前記第２画像抽出部は、前記２つの画像それぞれにおいて、垂直方向及び水平方向に沿って、複数の画素によって構成される、水平方向における行と垂直方向における列とを設定し、前記一方の画像から抽出された第２画像ブロックの一つと、前記他方の画像から抽出された第２画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出し、選出した第２画像ブロック同士を組み合せて、前記複数の第２画像ブロックの組を設定する、
付記１から３のいずれかに記載の画像処理装置。

（付記５）
前記対応画素抽出部は、
前記一方の画像から抽出された第１画像ブロックの一つを基準第１画像ブロックに設定し、
前記一方の画像から抽出された前記複数の第２画像ブロックのうち、中心画素が前記基準第１画像ブロックと共通する第２画像ブロックを基準第２画像ブロックに設定し、
前記基準第１画像ブロックとの組み合せとして設定された前記第１画像ブロックの組の一つと、前記基準第２画像ブロックとの組み合せとして設定された前記第２画像ブロックの組の一つとを、前記他方の画像から抽出された第１画像ブロック及び第２画像ブロックの中心画素が共通の画素となるように選出し、前記選出された第１画像ブロックの組と前記選出された第２画像ブロックの組とを組み合せて、複数の複合ブロックを設定し、
前記設定した複合ブロックごとに、前記第１画像ブロックの組の相関値と前記第２画像ブロックの組の相関値とに基づいて複合相関値を算出し、
前記複数の複合ブロックのうち、最も高い相関関係を示す複合ブロックを選出し、前記選出した複合ブロックの前記他方の画像の前記第１画像ブロック及び前記第２画像ブロックの前記中心画素を、前記基準第１画像ブロック及び前記基準第２画像ブロックの前記中心画素に対応する画素として抽出する、
付記４に記載の画像処理装置。

（付記６）
前記対応画素抽出部は、前記複合ブロックごとに、前記第１画像ブロックの組と前記第２画像ブロックの組とのうち、高い相関関係を示す方の画像ブロックの組の相関値を、前記複合相関値として算出する、
付記５に記載の画像処理装置。

（付記７）
前記対応画素抽出部は、前記複合ブロックごとに、前記第１画像ブロックの組と前記第２画像ブロックの組とのうち、高い相関関係を示す方の画像ブロックの組の重み付けを大きくして、前記複合相関値を算出する、
付記５に記載の画像処理装置。

（付記８）
前記第１画像ブロックの画素数及び前記第２画像ブロックの画素数は、互いに等しい、付記１から７のいずれかに記載の画像処理装置。

（付記９）
（ａ）対象となる２つの画像それぞれから、長辺を有する長方形状の複数の第１画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された第１画像ブロックの一つと、他方の画像から抽出された第１画像ブロックの一つとを組み合せて、複数の第１画像ブロックの組を設定する、ステップと、
（ｂ）前記２つの画像それぞれから、前記第１画像ブロックの前記長辺に直交する長辺を有し、かつ中心画素が前記第１画像ブロックの中心画素と共通の画素である、長方形状の複数の第２画像ブロックを抽出し、前記２つの画像の前記一方の画像から抽出された第２画像ブロックの一つと、前記他方の画像から抽出された第２画像ブロックの一つとを組み合せて、複数の第２画像ブロックの組を設定する、ステップと、
（ｃ）前記（ａ）のステップで設定された前記第１画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する、ステップと、
（ｄ）前記（ｂ）のステップで設定された前記第２画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する、ステップと、
（ｅ）前記（ｃ）のステップで算出された前記第１画像ブロックの組それぞれの相関値及び前記（ｄ）のステップで算出された前記第２画像ブロックの組それぞれの相関値に基づいて、前記２つの画像において互いに対応する画素を抽出する、ステップと、
を有する、ことを特徴とする画像処理方法。

（付記１０）
前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、
付記９に記載の画像処理方法。

（付記１１）
（ｆ）前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転及び射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に有し、
前記（ａ）のステップでは、前記（ｆ）のステップによってエピポーラ線が一致された前記２つの画像それぞれから、前記第１画像ブロックの前記長辺が前記エピポーラ線に直交するように前記複数の第１画像ブロックを抽出し、
前記（ｂ）のステップでは、前記（ｆ）のステップによってエピポーラ線が一致された前記２つの画像それぞれから、前記複数の第２画像ブロックを抽出する、
付記９または１０に記載の画像処理方法。

（付記１２）
前記（ａ）のステップでは、前記２つの画像それぞれにおいて、垂直方向及び水平方向に沿って、複数の画素によって構成される、水平方向における行と垂直方向における列とを設定し、前記一方の画像から抽出された第１画像ブロックの一つと、前記他方の画像から抽出された第１画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出し、選出した第１画像ブロック同士を組み合せて、前記複数の第１画像ブロックの組を設定し、
前記（ｂ）のステップでは、前記２つの画像それぞれにおいて、垂直方向及び水平方向に沿って、複数の画素によって構成される、水平方向における行と垂直方向における列とを設定し、前記一方の画像から抽出された第２画像ブロックの一つと、前記他方の画像から抽出された第２画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出し、選出した第２画像ブロック同士を組み合せて、前記複数の第２画像ブロックの組を設定する、
付記９から１１のいずれかに記載の画像処理方法。

（付記１３）
前記（ｅ）のステップでは、
前記一方の画像から抽出された第１画像ブロックの一つを基準第１画像ブロックに設定し、
前記一方の画像から抽出された前記複数の第２画像ブロックのうち、中心画素が前記基準第１画像ブロックと共通する第２画像ブロックを基準第２画像ブロックに設定し、
前記基準第１画像ブロックとの組み合せとして設定された前記第１画像ブロックの組の一つと、前記基準第２画像ブロックとの組み合せとして設定された前記第２画像ブロックの組の一つとを、前記他方の画像から抽出された第１画像ブロック及び第２画像ブロックの中心画素が共通の画素となるように選出し、前記選出された第１画像ブロックの組と前記選出された第２画像ブロックの組とを組み合せて、複数の複合ブロックを設定し、
前記設定した複合ブロックごとに、前記第１画像ブロックの組の相関値と前記第２画像ブロックの組の相関値とに基づいて複合相関値を算出し、
前記複数の複合ブロックのうち、最も高い相関関係を示す複合ブロックを選出し、前記選出した複合ブロックの前記他方の画像の前記第１画像ブロック及び前記第２画像ブロックの前記中心画素を、前記基準第１画像ブロック及び前記基準第２画像ブロックの前記中心画素に対応する画素として抽出する、
付記１２に記載の画像処理方法。

（付記１４）
前記（ｅ）のステップでは、前記複合ブロックごとに、前記第１画像ブロックの組と前記第２画像ブロックの組とのうち、高い相関関係を示す方の画像ブロックの組の相関値を、前記複合相関値として算出する、
付記１３に記載の画像処理方法。

（付記１５）
前記（ｅ）のステップでは、前記複合ブロックごとに、前記第１画像ブロックの組と前記第２画像ブロックの組とのうち、高い相関関係を示す方の画像ブロックの組の重み付けを大きくして、前記複合相関値を算出する、
付記１３に記載の画像処理方法。

（付記１６）
前記第１画像ブロックの画素数及び前記第２画像ブロックの画素数は、互いに等しい、付記９から１５のいずれかに記載の画像処理方法。

（付記１７）
コンピュータに、
（ａ）対象となる２つの画像それぞれから、長辺を有する長方形状の複数の第１画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された第１画像ブロックの一つと、他方の画像から抽出された第１画像ブロックの一つとを組み合せて、複数の第１画像ブロックの組を設定する、ステップと、
（ｂ）前記２つの画像それぞれから、前記第１画像ブロックの前記長辺に直交する長辺を有し、かつ中心画素が前記第１画像ブロックの中心画素と共通の画素である、長方形状の複数の第２画像ブロックを抽出し、前記２つの画像の前記一方の画像から抽出された第２画像ブロックの一つと、前記他方の画像から抽出された第２画像ブロックの一つとを組み合せて、複数の第２画像ブロックの組を設定する、ステップと、
（ｃ）前記（ａ）のステップで設定された前記第１画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する、ステップと、
（ｄ）前記（ｂ）のステップで設定された前記第２画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する、ステップと、
（ｅ）前記（ｃ）のステップで算出された前記第１画像ブロックの組それぞれの相関値及び前記（ｄ）のステップで算出された前記第２画像ブロックの組それぞれの相関値に基づいて、前記２つの画像において互いに対応する画素を抽出する、ステップと、
を実行させるプログラム。

（付記１８）
前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、
付記１７に記載のプログラム。

（付記１９）
前記コンピュータに、
（ｆ）前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転及び射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に実行させ、
前記（ａ）のステップでは、前記（ｆ）のステップによってエピポーラ線が一致された前記２つの画像それぞれから、前記第１画像ブロックの前記長辺が前記エピポーラ線に直交するように前記複数の第１画像ブロックを抽出し、
前記（ｂ）のステップでは、前記（ｆ）のステップによってエピポーラ線が一致された前記２つの画像それぞれから、前記複数の第２画像ブロックを抽出する、
付記１７または１８に記載のプログラム。

（付記２０）
前記（ａ）のステップでは、前記２つの画像それぞれにおいて、垂直方向及び水平方向に沿って、複数の画素によって構成される、水平方向における行と垂直方向における列とを設定し、前記一方の画像から抽出された第１画像ブロックの一つと、前記他方の画像から抽出された第１画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出し、選出した第１画像ブロック同士を組み合せて、前記複数の第１画像ブロックの組を設定し、
前記（ｂ）のステップでは、前記２つの画像それぞれにおいて、垂直方向及び水平方向に沿って、複数の画素によって構成される、水平方向における行と垂直方向における列とを設定し、前記一方の画像から抽出された第２画像ブロックの一つと、前記他方の画像から抽出された第２画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出し、選出した第２画像ブロック同士を組み合せて、前記複数の第２画像ブロックの組を設定する、
付記１７から１９のいずれかに記載のプログラム。

（付記２１）
前記（ｅ）のステップでは、
前記一方の画像から抽出された第１画像ブロックの一つを基準第１画像ブロックに設定し、
前記一方の画像から抽出された前記複数の第２画像ブロックのうち、中心画素が前記基準第１画像ブロックと共通する第２画像ブロックを基準第２画像ブロックに設定し、
前記基準第１画像ブロックとの組み合せとして設定された前記第１画像ブロックの組の一つと、前記基準第２画像ブロックとの組み合せとして設定された前記第２画像ブロックの組の一つとを、前記他方の画像から抽出された第１画像ブロック及び第２画像ブロックの中心画素が共通の画素となるように選出し、前記選出された第１画像ブロックの組と前記選出された第２画像ブロックの組とを組み合せて、複数の複合ブロックを設定し、
前記設定した複合ブロックごとに、前記第１画像ブロックの組の相関値と前記第２画像ブロックの組の相関値とに基づいて複合相関値を算出し、
前記複数の複合ブロックのうち、最も高い相関関係を示す複合ブロックを選出し、前記選出した複合ブロックの前記他方の画像の前記第１画像ブロック及び前記第２画像ブロックの前記中心画素を、前記基準第１画像ブロック及び前記基準第２画像ブロックの前記中心画素に対応する画素として抽出する、
付記２０に記載のプログラム。

（付記２２）
前記（ｅ）のステップでは、前記複合ブロックごとに、前記第１画像ブロックの組と前記第２画像ブロックの組とのうち、高い相関関係を示す方の画像ブロックの組の相関値を、前記複合相関値として算出する、
付記２１に記載のプログラム。

（付記２３）
前記（ｅ）のステップでは、前記複合ブロックごとに、前記第１画像ブロックの組と前記第２画像ブロックの組とのうち、高い相関関係を示す方の画像ブロックの組の重み付けを大きくして、前記複合相関値を算出する、
付記２１に記載のプログラム。

（付記２４）
前記第１画像ブロックの画素数及び前記第２画像ブロックの画素数は、互いに等しい、付記１７から２３のいずれかに記載のプログラム。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１６年５月３１日に出願された日本出願特願２０１６−１０８２９７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上のように本発明によれば、輝度が異なるペア画像を対象としたマッチング処理において判定精度の向上を図ることができる。本発明は、例えば、ステレオマッチングが必要な分野に有用である。

１０ａ 第１画像抽出部
１０ｂ 第２画像抽出部
２０ａ 第１相関値算出部
２０ｂ 第２相関値算出部
３０ 対応画素抽出部
４０ 画像取得部
１００ 画像処理装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (24)

1. 対象となる２つの画像それぞれから、長辺を有する長方形状の複数の第１画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された第１画像ブロックの一つと、他方の画像から抽出された第１画像ブロックの一つとを組み合せて、複数の第１画像ブロックの組を設定する、第１画像抽出部と、
   前記２つの画像それぞれから、前記第１画像ブロックの前記長辺に直交する長辺を有し、かつ中心画素が前記第１画像ブロックの中心画素と共通の画素である、長方形状の複数の第２画像ブロックを抽出し、前記２つの画像の前記一方の画像から抽出された第２画像ブロックの一つと、前記他方の画像から抽出された第２画像ブロックの一つとを組み合せて、複数の第２画像ブロックの組を設定する、第２画像抽出部と、
   設定された前記第１画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する第１相関値算出部と、
   設定された前記第２画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する第２相関値算出部と、
   前記第１画像ブロックの組それぞれの相関値及び前記第２画像ブロックの組それぞれの相関値に基づいて、前記２つの画像において互いに対応する画素を抽出する、対応画素抽出部と、
   を備えている、ことを特徴とする画像処理装置。
2. 前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、
   請求項１に記載の画像処理装置。
3. 前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転及び射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、画像取得部を更に備え、
   前記第１画像抽出部は、前記画像取得部によってエピポーラ線が一致された前記２つの画像それぞれから、前記第１画像ブロックの前記長辺が前記エピポーラ線に直交するように前記複数の第１画像ブロックを抽出し、
   前記第２画像抽出部は、前記画像取得部によってエピポーラ線が一致された前記２つの画像それぞれから、前記複数の第２画像ブロックを抽出する、
   請求項１または２に記載の画像処理装置。
4. 前記第１画像抽出部は、前記２つの画像それぞれにおいて、垂直方向及び水平方向に沿って、複数の画素によって構成される、水平方向における行と垂直方向における列とを設定し、前記一方の画像から抽出された第１画像ブロックの一つと、前記他方の画像から抽出された第１画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出し、選出した第１画像ブロック同士を組み合せて、前記複数の第１画像ブロックの組を設定し、
   前記第２画像抽出部は、前記２つの画像それぞれにおいて、垂直方向及び水平方向に沿って、複数の画素によって構成される、水平方向における行と垂直方向における列とを設定し、前記一方の画像から抽出された第２画像ブロックの一つと、前記他方の画像から抽出された第２画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出し、選出した第２画像ブロック同士を組み合せて、前記複数の第２画像ブロックの組を設定する、
   請求項１から３のいずれかに記載の画像処理装置。
5. 前記対応画素抽出部は、
   前記一方の画像から抽出された第１画像ブロックの一つを基準第１画像ブロックに設定し、
   前記一方の画像から抽出された前記複数の第２画像ブロックのうち、中心画素が前記基準第１画像ブロックと共通する第２画像ブロックを基準第２画像ブロックに設定し、
   前記基準第１画像ブロックとの組み合せとして設定された前記第１画像ブロックの組の一つと、前記基準第２画像ブロックとの組み合せとして設定された前記第２画像ブロックの組の一つとを、前記他方の画像から抽出された第１画像ブロック及び第２画像ブロックの中心画素が共通の画素となるように選出し、前記選出された第１画像ブロックの組と前記選出された第２画像ブロックの組とを組み合せて、複数の複合ブロックを設定し、
   前記設定した複合ブロックごとに、前記第１画像ブロックの組の相関値と前記第２画像ブロックの組の相関値とに基づいて複合相関値を算出し、
   前記複数の複合ブロックのうち、最も高い相関関係を示す複合ブロックを選出し、前記選出した複合ブロックの前記他方の画像の前記第１画像ブロック及び前記第２画像ブロックの前記中心画素を、前記基準第１画像ブロック及び前記基準第２画像ブロックの前記中心画素に対応する画素として抽出する、
   請求項４に記載の画像処理装置。
6. 前記対応画素抽出部は、前記複合ブロックごとに、前記第１画像ブロックの組と前記第２画像ブロックの組とのうち、高い相関関係を示す方の画像ブロックの組の相関値を、前記複合相関値として算出する、
   請求項５に記載の画像処理装置。
7. 前記対応画素抽出部は、前記複合ブロックごとに、前記第１画像ブロックの組と前記第２画像ブロックの組とのうち、高い相関関係を示す方の画像ブロックの組の重み付けを大きくして、前記複合相関値を算出する、
   請求項５に記載の画像処理装置。
8. 前記第１画像ブロックの画素数及び前記第２画像ブロックの画素数は、互いに等しい、請求項１から７のいずれかに記載の画像処理装置。
9. （ａ）対象となる２つの画像それぞれから、長辺を有する長方形状の複数の第１画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された第１画像ブロックの一つと、他方の画像から抽出された第１画像ブロックの一つとを組み合せて、複数の第１画像ブロックの組を設定する、ステップと、
   （ｂ）前記２つの画像それぞれから、前記第１画像ブロックの前記長辺に直交する長辺を有し、かつ中心画素が前記第１画像ブロックの中心画素と共通の画素である、長方形状の複数の第２画像ブロックを抽出し、前記２つの画像の前記一方の画像から抽出された第２画像ブロックの一つと、前記他方の画像から抽出された第２画像ブロックの一つとを組み合せて、複数の第２画像ブロックの組を設定する、ステップと、
   （ｃ）前記（ａ）のステップで設定された前記第１画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する、ステップと、
   （ｄ）前記（ｂ）のステップで設定された前記第２画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する、ステップと、
   （ｅ）前記（ｃ）のステップで算出された前記第１画像ブロックの組それぞれの相関値及び前記（ｄ）のステップで算出された前記第２画像ブロックの組それぞれの相関値に基づいて、前記２つの画像において互いに対応する画素を抽出する、ステップと、
   を有する、ことを特徴とする画像処理方法。
10. 前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、
    請求項９に記載の画像処理方法。
11. （ｆ）前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転及び射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に有し、
    前記（ａ）のステップでは、前記（ｆ）のステップによってエピポーラ線が一致された前記２つの画像それぞれから、前記第１画像ブロックの前記長辺が前記エピポーラ線に直交するように前記複数の第１画像ブロックを抽出し、
    前記（ｂ）のステップでは、前記（ｆ）のステップによってエピポーラ線が一致された前記２つの画像それぞれから、前記複数の第２画像ブロックを抽出する、
    請求項９または１０に記載の画像処理方法。
12. 前記（ａ）のステップでは、前記２つの画像それぞれにおいて、垂直方向及び水平方向に沿って、複数の画素によって構成される、水平方向における行と垂直方向における列とを設定し、前記一方の画像から抽出された第１画像ブロックの一つと、前記他方の画像から抽出された第１画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出し、選出した第１画像ブロック同士を組み合せて、前記複数の第１画像ブロックの組を設定し、
    前記（ｂ）のステップでは、前記２つの画像それぞれにおいて、垂直方向及び水平方向に沿って、複数の画素によって構成される、水平方向における行と垂直方向における列とを設定し、前記一方の画像から抽出された第２画像ブロックの一つと、前記他方の画像から抽出された第２画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出し、選出した第２画像ブロック同士を組み合せて、前記複数の第２画像ブロックの組を設定する、
    請求項９から１１のいずれかに記載の画像処理方法。
13. 前記（ｅ）のステップでは、
    前記一方の画像から抽出された第１画像ブロックの一つを基準第１画像ブロックに設定し、
    前記一方の画像から抽出された前記複数の第２画像ブロックのうち、中心画素が前記基準第１画像ブロックと共通する第２画像ブロックを基準第２画像ブロックに設定し、
    前記基準第１画像ブロックとの組み合せとして設定された前記第１画像ブロックの組の一つと、前記基準第２画像ブロックとの組み合せとして設定された前記第２画像ブロックの組の一つとを、前記他方の画像から抽出された第１画像ブロック及び第２画像ブロックの中心画素が共通の画素となるように選出し、前記選出された第１画像ブロックの組と前記選出された第２画像ブロックの組とを組み合せて、複数の複合ブロックを設定し、
    前記設定した複合ブロックごとに、前記第１画像ブロックの組の相関値と前記第２画像ブロックの組の相関値とに基づいて複合相関値を算出し、
    前記複数の複合ブロックのうち、最も高い相関関係を示す複合ブロックを選出し、前記選出した複合ブロックの前記他方の画像の前記第１画像ブロック及び前記第２画像ブロックの前記中心画素を、前記基準第１画像ブロック及び前記基準第２画像ブロックの前記中心画素に対応する画素として抽出する、
    請求項１２に記載の画像処理方法。
14. 前記（ｅ）のステップでは、前記複合ブロックごとに、前記第１画像ブロックの組と前記第２画像ブロックの組とのうち、高い相関関係を示す方の画像ブロックの組の相関値を、前記複合相関値として算出する、
    請求項１３に記載の画像処理方法。
15. 前記（ｅ）のステップでは、前記複合ブロックごとに、前記第１画像ブロックの組と前記第２画像ブロックの組とのうち、高い相関関係を示す方の画像ブロックの組の重み付けを大きくして、前記複合相関値を算出する、
    請求項１３に記載の画像処理方法。
16. 前記第１画像ブロックの画素数及び前記第２画像ブロックの画素数は、互いに等しい、請求項９から１５のいずれかに記載の画像処理方法。
17. コンピュータに、
    （ａ）対象となる２つの画像それぞれから、長辺を有する長方形状の複数の第１画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された第１画像ブロックの一つと、他方の画像から抽出された第１画像ブロックの一つとを組み合せて、複数の第１画像ブロックの組を設定する、ステップと、
    （ｂ）前記２つの画像それぞれから、前記第１画像ブロックの前記長辺に直交する長辺を有し、かつ中心画素が前記第１画像ブロックの中心画素と共通の画素である、長方形状の複数の第２画像ブロックを抽出し、前記２つの画像の前記一方の画像から抽出された第２画像ブロックの一つと、前記他方の画像から抽出された第２画像ブロックの一つとを組み合せて、複数の第２画像ブロックの組を設定する、ステップと、
    （ｃ）前記（ａ）のステップで設定された前記第１画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する、ステップと、
    （ｄ）前記（ｂ）のステップで設定された前記第２画像ブロックの組それぞれについて、輝度に基づいて相関値を算出する、ステップと、
    （ｅ）前記（ｃ）のステップで算出された前記第１画像ブロックの組それぞれの相関値及び前記（ｄ）のステップで算出された前記第２画像ブロックの組それぞれの相関値に基づいて、前記２つの画像において互いに対応する画素を抽出する、ステップと、
    を実行させるプログラム。
18. 前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、
    請求項１７に記載のプログラム。
19. 前記コンピュータに、
    （ｆ）前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転及び射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に実行させ、
    前記（ａ）のステップでは、前記（ｆ）のステップによってエピポーラ線が一致された前記２つの画像それぞれから、前記第１画像ブロックの前記長辺が前記エピポーラ線に直交するように前記複数の第１画像ブロックを抽出し、
    前記（ｂ）のステップでは、前記（ｆ）のステップによってエピポーラ線が一致された前記２つの画像それぞれから、前記複数の第２画像ブロックを抽出する、
    請求項１７または１８に記載のプログラム。
20. 前記（ａ）のステップでは、前記２つの画像それぞれにおいて、垂直方向及び水平方向に沿って、複数の画素によって構成される、水平方向における行と垂直方向における列とを設定し、前記一方の画像から抽出された第１画像ブロックの一つと、前記他方の画像から抽出された第１画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出し、選出した第１画像ブロック同士を組み合せて、前記複数の第１画像ブロックの組を設定し、
    前記（ｂ）のステップでは、前記２つの画像それぞれにおいて、垂直方向及び水平方向に沿って、複数の画素によって構成される、水平方向における行と垂直方向における列とを設定し、前記一方の画像から抽出された第２画像ブロックの一つと、前記他方の画像から抽出された第２画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出し、選出した第２画像ブロック同士を組み合せて、前記複数の第２画像ブロックの組を設定する、
    請求項１７から１９のいずれかに記載のプログラム。
21. 前記（ｅ）のステップでは、
    前記一方の画像から抽出された第１画像ブロックの一つを基準第１画像ブロックに設定し、
    前記一方の画像から抽出された前記複数の第２画像ブロックのうち、中心画素が前記基準第１画像ブロックと共通する第２画像ブロックを基準第２画像ブロックに設定し、
    前記基準第１画像ブロックとの組み合せとして設定された前記第１画像ブロックの組の一つと、前記基準第２画像ブロックとの組み合せとして設定された前記第２画像ブロックの組の一つとを、前記他方の画像から抽出された第１画像ブロック及び第２画像ブロックの中心画素が共通の画素となるように選出し、前記選出された第１画像ブロックの組と前記選出された第２画像ブロックの組とを組み合せて、複数の複合ブロックを設定し、
    前記設定した複合ブロックごとに、前記第１画像ブロックの組の相関値と前記第２画像ブロックの組の相関値とに基づいて複合相関値を算出し、
    前記複数の複合ブロックのうち、最も高い相関関係を示す複合ブロックを選出し、前記選出した複合ブロックの前記他方の画像の前記第１画像ブロック及び前記第２画像ブロックの前記中心画素を、前記基準第１画像ブロック及び前記基準第２画像ブロックの前記中心画素に対応する画素として抽出する、
    請求項２０に記載のプログラム。
22. 前記（ｅ）のステップでは、前記複合ブロックごとに、前記第１画像ブロックの組と前記第２画像ブロックの組とのうち、高い相関関係を示す方の画像ブロックの組の相関値を、前記複合相関値として算出する、
    請求項２１に記載のプログラム。
23. 前記（ｅ）のステップでは、前記複合ブロックごとに、前記第１画像ブロックの組と前記第２画像ブロックの組とのうち、高い相関関係を示す方の画像ブロックの組の重み付けを大きくして、前記複合相関値を算出する、
    請求項２１に記載のプログラム。
24. 前記第１画像ブロックの画素数及び前記第２画像ブロックの画素数は、互いに等しい、請求項１７から２３のいずれかに記載のプログラム。

Images