JP5051670B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関し、特に、ステレオマッチングを行なう画像処理装置、画像処理方法および画像処理プログラムに関する。

従来のステレオ処理方式の一例として、たとえば、特許文献１（特開平４−２９９４７４号公報）には、以下のような技術が開示されている。すなわち、２つの画像Ａ，Ｂのブロック同士の画素値の相関を、相関計算手段で計算する。ＡからＢ方向、およびＢからＡ方向のそれぞれについて、その対応の相関値による順位付けを相関係数順位付け手段で行なう。さらにＡからＢ方向、およびＢからＡ方向の順位の和を相関係数順位加算手段で求める。この順位の和を積算し、対応のないブロックの数に応じた一定のペナルティを加えたものが最小になる対応の組み合わせを最小加算順位選択手段によって求める。

ここで、相関係数の計算には、非特許文献１に示されているような２つの画像におけるＭ×Ｎサイズのブロック間での相関値を用いるテンプレートマッチングが知られており、マッチングが達成されたときの中央位置（注目点）をテンプレート画像位置（対応点）とするのが一般的である。この場合に、たとえばＭ，Ｎには１１，１３などの奇数が用いられ、中心となる画素の位置（注目点）でマッチングが得られ、当該注目点が対応点として得られたとする処理を行なう。

また、特許文献２（特開平１１−１８３１４２号公報）には、以下のような技術が開示されている。すなわち、被測定物体に対する輝度情報および距離情報を測定する三次元画像撮像方法において、上記被測定物体を複数の撮像位置から撮影して複数の視差画像を取得する。次に、上記視差画像の一つを輝度情報とするとともに、この輝度情報となる基準視差画像とその撮像位置に最も近い撮像位置での第１の視差画像との画像対からステレオ視に必要な第１回目の対応画素探索を行い、第１のオクルージョンが発生しない範囲において上記画像対の視差から輝度情報の各画素に対する撮像位置からの各距離を算出して距離情報として記憶する。次に、上記基準視差画像とその撮像位置に２番目に近い撮像位置での第２の視差画像との画像対から再度対応画素探索を行い、第２のオクルージョンが発生しない範囲において各画素に対応する各距離を算出し、距離が算出できた画素については既に記憶している距離情報を書き換える距離情報書換処理を行なう。次に、この距離情報書換処理について、上記基準視差画像と撮像位置の近さが３番目以降の各視差画像との画像対で順次処理を繰り返し行なう。そして、上記第１のオクルージョンが発生している範囲の画素については、距離情報がないオクルージョン画素として記憶し、上記第１のオクルージョンが発生している範囲の画素については、この画素に対する最近傍の画素の距離情報を割り当てる。

特開平４−２９９４７４号公報 特開平１１−１８３１４２号公報

新編画像解析ハンドブック 高木幹雄，下田陽久、東京大学出版会、pp.1669-1672

テンプレート画像を用いてマッチングを行なうステレオマッチング手法においては、ステレオ処理しようとする対象物に急峻な形状変化があると、その変化部分付近におけるステレオマッチングの精度が低下する場合がある、という課題がある。

その理由は、次のとおりである。すなわち、形状変化部分の周辺には、両方の画像間での対応がない部分である隠れ領域（オクルージョン領域）が存在する。そして、相関係数の計算において、隠れ領域と非隠れ領域の境界部分付近での相関係数値が必ずしも最大とならず、ステレオマッチングの対応ミスが発生するためである。以下、模式図を用いてこれを説明する。

図１１は、Ｌ画像およびＲ画像の撮影方法を示す模式図である。図１２は、ステレオ画像におけるＬ画像およびＲ画像の見え方の違いを説明するための図である。

図１１に示す被写体ＢＬは、たとえば航空写真の撮影対象のビルディングである。また、図１２に示すステレオ画像、すなわちＬ画像（左画像）およびＲ画像（右画像）は、図１１に示すＬおよびＲの位置において連続して撮影された航空写真である。すなわち、図１１に示すようにして撮影した場合に得られるＬ画像およびＲ画像の模式図が図１２に示されている。

図１３は、ステレオ画像における隠れ領域を説明するための図である。図１４は、左右の高さ画像を示す図である。

Ｌ画像およびＲ画像間で対応する点を求めることで、高さの値を求めた結果の例が図１４に示されている。Ｌ高さ画像は、Ｌ画像の各点に対応する点をＲ画像中から求め、Ｌ画像の点およびＲ画像の対応点間の位置のずれ量、すなわち視差を高さとして求めた結果を示す画像である。同様に、Ｒ高さ画像は、Ｒ画像の各点に対応する点をＬ画像中から求め、Ｒ画像の点およびＬ画像の対応点間の位置のずれ量、すなわち視差を高さとして求めた結果を示す画像である。

ここで、Ｌ高さ画像およびＲ高さ画像には、各々の撮影範囲が重ならないので高さが求められない領域（図１４のハッチング領域）が、それぞれ左右に存在する。このＬ画像およびＲ画像の撮影範囲が重ならない部分、すなわち図１４のハッチング領域については、撮影範囲のみをステレオマッチングの対象とするにより、容易に対処可能である。

一方、Ｌ高さ画像およびＲ高さ画像には、撮影時に被写体ＢＬによって隠されるために、一方の画像には写っているが他方の画像には写っていない領域、すなわち隠れ領域ＯＣＬ１，ＯＣＬ２が存在する。

図１５は、隠れ領域と非隠れ領域の境界において相関係数計算が行なわれるブロック画像を示す図である。すなわち、図１５は、隠れ領域を含んだブロック画像の処理を示している。

図１５を参照して、ブロック画像Ａは、対応点Ｐを中心とするブロック全体がＬ画像およびＲ画像双方に写っている場合の画像である。この場合、同じ対象が写っているブロック画像同士の相関係数が最大となることが成立する。

一方、ブロック画像Ｂにおいては、注目点ＰがＬ画像およびＲ画像双方に写っているが、相関係数が計算される領域の一部は隠れ領域ＯＣＬに対応している。すなわち、図１２
に示す場合を考えると、Ｌ画像の領域Ｆの相関と、Ｒ画像の領域Ｄおよび領域Ｅの相関とを比較していることになる（領域Ｄおよび領域Ｅが隠れ領域）。

このため、ブロック画像に隠れ領域が存在する場合には、一般に、相関係数が一致する可能性は低下し、一方、他のブロック画像との組み合わせにおいてより高い相関が得られてしまう可能性、すなわち誤った対応点を求めてしまう可能性が高くなってしまう。

ここで、特許文献１に記載の技術は、２つの画像の対応付けを行なうマッチングに際し、双方向にマッチングを行なうことにより、オクルージョンのある画像間においても正確な対応付けを行なうためのものであるが、特許文献１に記載の技術を超えて精度の高いマッチングを行なう技術が望まれる。

また、特許文献２に記載の技術では、対応画素探索処理を複数の画像について行なう必要があり、処理量が増大してしまう。また、オクルージョンが発生した場合に最近傍の画素の距離情報を割り当てる処理を行なっているに過ぎないため、ステレオマッチングにおいて隠れ領域の周辺でのマッチング率を向上させることはできない。

この発明は、上述の課題を解決するためになされたもので、その目的は、テンプレートマッチングによる対応点探索を行なうステレオマッチング手法において、隠れ領域が存在する場合でも簡易な処理で精度の高いマッチングを行なうことが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することである。

上記課題を解決するために、この発明のある局面に係わる画像処理装置は、第１の画像および第２の画像の各々を複数のブロック画像に分割するための画像分割部と、被写体の影響によって上記第１の画像および上記第２の画像のいずれかにおいて写っていない領域である隠れ領域といずれにも写っている領域である非隠れ領域との境界に対応する１または複数の画素である境界画素を上記第１の画像および上記第２の画像においてそれぞれ指定するための境界画素指定部と、上記第１の画像および上記第２の画像における各上記境界画素に基づいてブロック画像間の相関計算範囲を決定し、前記ブロック画像に前記境界画素が含まれている場合には、前記境界画素が含まれていない場合と比べて、前記相間計算範囲を制限するための相関計算範囲決定部と、上記第１の画像における上記複数のブロック画像と上記第２の画像における上記複数のブロック画像との間のすべてまたは一部の組み合わせごとに、上記相関計算範囲に従って画素値の相関係数を算出するための相関計算部と、上記相関計算部によって算出された、上記組み合わせごとの相関係数の値を用いて、上記組み合わせに関し上記第１の画像におけるブロック画像から上記第２の画像におけるブロック画像への相関係数の大きい順の第１の順位づけを行ない、かつ上記組み合わせに関し上記第２の画像におけるブロック画像から上記第１の画像におけるブロック画像への相関係数の大きい順の第２の順位づけを行なうための相関係数順位付け部と、上記組み合わせごとに、上記第１の順位と上記第２の順位の和を算出するための相関係数順位加算部と、各上記組み合わせ間の複数のパスを生成するためのパス生成部と、上記複数のパスを接続することによって表現される上記組み合わせのグループごとに、上記相関係数順位加算部によって算出された和を加算し、上記加算の結果が最小となる上記グループを動的計画法を用いて求めるための最終加算順位選択部とを備える。

上記課題を解決するために、この発明のある局面に係わる画像処理方法は、（ａ）第１の画像および第２の画像の各々を複数のブロック画像に分割するステップと、（ｂ）被写体の影響によって上記第１の画像および上記第２の画像のいずれかにおいて写っていない領域である隠れ領域といずれにも写っている領域である非隠れ領域との境界に対応する１または複数の画素である境界画素を上記第１の画像および上記第２の画像においてそれぞれ指定するステップと、（ｃ）上記第１の画像および上記第２の画像における各上記境界画素に基づいてブロック画像間の相関計算範囲を決定し、前記ブロック画像に前記境界画素が含まれている場合には、前記境界画素が含まれていない場合と比べて、前記相間計算範囲を制限するステップと、（ｄ）上記第１の画像における上記複数のブロック画像と上記第２の画像における上記複数のブロック画像との間のすべてまたは一部の組み合わせごとに、上記相関計算範囲に従って画素値の相関係数を算出するステップと、（ｅ）上記（ｄ）のステップにおいて算出された、上記組み合わせごとの相関係数の値を用いて、上記組み合わせに関し上記第１の画像におけるブロック画像から上記第２の画像におけるブロック画像への相関係数の大きい順の第１の順位づけを行ない、かつ上記組み合わせに関し上記第２の画像におけるブロック画像から上記第１の画像におけるブロック画像への相関係数の大きい順の第２の順位づけを行なうステップと、（ｆ）上記組み合わせごとに、上記第１の順位と上記第２の順位の和を算出するステップと、（ｇ）各上記組み合わせ間の複数のパスを生成するステップと、（ｈ）上記複数のパスを接続することによって表現される上記組み合わせのグループごとに、上記（ｆ）のステップにおいて算出された和を加算し、上記加算の結果が最小となる上記グループを動的計画法を用いて求めるステップとを含む。

上記課題を解決するために、この発明のある局面に係わる画像処理プログラムは、（ａ）第１の画像および第２の画像の各々を複数のブロック画像に分割するステップと、（ｂ）被写体の影響によって上記第１の画像および上記第２の画像のいずれかにおいて写っていない領域である隠れ領域といずれにも写っている領域である非隠れ領域との境界に対応する１または複数の画素である境界画素を上記第１の画像および上記第２の画像においてそれぞれ指定するステップと、（ｃ）上記第１の画像および上記第２の画像における各上記境界画素に基づいてブロック画像間の相関計算範囲を決定し、前記ブロック画像に前記境界画素が含まれている場合には、前記境界画素が含まれていない場合と比べて、前記相間計算範囲を制限するステップと、（ｄ）上記第１の画像における上記複数のブロック画像と上記第２の画像における上記複数のブロック画像との間のすべてまたは一部の組み合わせごとに、上記相関計算範囲に従って画素値の相関係数を算出するステップと、（ｅ）上記（ｄ）のステップにおいて算出された、上記組み合わせごとの相関係数の値を用いて、上記組み合わせに関し上記第１の画像におけるブロック画像から上記第２の画像におけるブロック画像への相関係数の大きい順の第１の順位づけを行ない、かつ上記組み合わせに関し上記第２の画像におけるブロック画像から上記第１の画像におけるブロック画像への相関係数の大きい順の第２の順位づけを行なうステップと、（ｆ）上記組み合わせごとに、上記第１の順位と上記第２の順位の和を算出するステップと、（ｇ）各上記組み合わせ間の複数のパスを生成するステップと、（ｈ）上記複数のパスを接続することによって表現される上記組み合わせのグループごとに、上記（ｆ）のステップにおいて算出された和を加算し、上記加算の結果が最小となる上記グループを動的計画法を用いて求めるステップとをコンピュータに実行させる。

本発明によれば、テンプレートマッチングによる対応点探索を行なうステレオマッチング手法において、隠れ領域が存在する場合でも簡易な処理で精度の高いマッチングを行なうことができる。

隠れ領域と非隠れ領域の境界における境界画素の指定方法を説明するための図である。 隠れ領域と非隠れ領域の境界部分の拡大図である。 境界画素がブロック画像に存在する場合の相関計算範囲の変形を示す図である。 本発明の第１の実施の形態に係る画像処理装置の概略構成図である。 本発明の第１の実施の形態に係る画像処理装置が提供する制御構造を示すブロック図である。 本発明の第１の実施の形態に係る画像処理装置がステレオマッチング処理を行なう際の動作手順を示すフローチャートである。 本発明の第１の実施の形態に係る相関計算範囲決定部が指定する相関計算範囲の例を示す図である。 ブロック画像を用いて相関行列を求める方法を示す図である。 本発明の第２の実施の形態に係る画像処理装置が提供する制御構造を示すブロック図である。 本発明の第２の実施の形態に係る画像処理装置がステレオマッチング処理を行なう際の動作手順を示すフローチャートである。 Ｌ画像およびＲ画像の撮影方法を示す模式図である。 ステレオ画像におけるＬ画像およびＲ画像の見え方の違いを説明するための図である。 ステレオ画像における隠れ領域を説明するための図である。 左右の高さ画像を示す図である。 隠れ領域と非隠れ領域の境界において相関係数計算が行なわれるブロック画像を示す図である。

以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

＜第１の実施の形態＞
［概要］
本発明の第１の実施の形態に係る画像処理装置は、隠れ領域と非隠れ領域の境界を指定するための後述する境界画素指定部２１を用いて明示的に対応を与えることにより、境界点での誤対応を修正するものである。

図１は、隠れ領域と非隠れ領域の境界における境界画素の指定方法を説明するための図である。図１は、境界画素指定部２１が与える上記対応の例を示している。図２は、隠れ領域と非隠れ領域の境界部分の拡大図である。

図１および図２を参照して、境界画素指定部２１は、Ｌ画像およびＲ画像において互いに対応するエッジ、すなわち隠れ領域と非隠れ領域の境界を示す線分を指定する。ここでは、境界画素指定部２１は、α１とα２を対応する境界としてそれぞれＬ画像およびＲ画像において指定し、また、β１とβ２を対応する境界としてそれぞれＬ画像およびＲ画像において指定する。

後述する相関計算範囲設定部２２は、明示的に与えられた境界付近におけるマッチング処理のために相関係数を計算する際に、ステレオマッチングの対象となるブロック画像における計算範囲を変化させる。これにより、境界画素指定部２１によって指定された境界に対応する画素（以下、境界画素とも称する。）がマッチングウィンドウすなわち相関計算範囲に含まれる場合において、上記線分を境界として注目点を含む領域と含まない領域とに分割し、注目点を含む側の領域のみにおいて相関係数を計算し、マッチングの判定を行なうことが可能となる。

図３は、境界画素がブロック画像に存在する場合の相関計算範囲の変形を示す図である。図３は、通常の相関計算範囲のブロック画像Ａと、相関計算範囲設定部（マッチングウィンドウ変形部）２２による変形後のブロック画像Ｂを示している。

変形後のブロック画像Ｂでは、同一の領域と判定されたＬ画像およびＲ画像の領域同士のみでマッチング判定を行なうことができるため、隠れ領域Ｈによる影響を取り除いた相関係数の値を得ることができる。このような構成により、注目点Ｐを含む側の領域のみの相関係数に基づいて精度の高いマッチングを行なうことができる。

本発明の第１の実施の形態に係る画像処理装置２０１は、典型的には、汎用的なアーキテクチャを有するコンピュータを基本構造としており、予めインストールされたプログラムを実行することで、後述するような各種機能を提供する。一般的に、このようなプログラムは、フレキシブルディスク（Flexible Disk）およびＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの記録媒体に格納されて、あるいはネットワークなどを介して流通する。このような汎用的なコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのＯＳ（Operating System）がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および／またはタイミングで呼出して処理を実行するものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、ＯＳと協働して処理が実行される場合もある。したがって、本実施の形態に係るプログラムとしては、上記のようなモジュールを含まない形態であってもよい。

さらに、本実施の形態に係るプログラムは、他のプログラムの一部に組み込まれて提供されるものであってもよい。この場合でも、本実施の形態に係るプログラム自体は、上記のような組み込み先の他のプログラムが有するモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係るプログラムとしては、このような他のプログラムに組み込まれた形態であってもよい。

なお、代替的に、プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。

［装置構成］
図４は、本発明の第１の実施の形態に係る画像処理装置の概略構成図である。図４を参照して、画像処理装置２０１は、演算処理部であるＣＰＵ（Central Processing Unit）１０１と、記憶部としてのメインメモリ１０２およびハードディスク１０３と、入力インターフェイス１０４と、表示コントローラ１０５と、データリーダ／ライタ１０６と、通信インターフェイス１０７とを備える。これらの各部は、バス１２１を介して互いにデータ通信可能に接続される。

ＣＰＵ１０１は、ハードディスク１０３に格納されたプログラム（コード）をメインメモリ１０２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１０２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、ハードディスク１０３から読み出されたプログラムに加えて、各種の演算処理結果を示すデータなどを保持する。また、ハードディスク１０３は不揮発性の磁気記憶装置であり、ＣＰＵ１０１で実行されるプログラムに加えて、各種設定値などが格納される。このハードディスク１０３にインストールされるプログラムは、後述するように、記録媒体１１１に格納された状態で流通する。なお、ハードディスク１０３に加えて、あるいはハードディスク１０３に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。

入力インターフェイス１０４は、ＣＰＵ１０１とキーボード１０８、マウス１０９および図示しないタッチパネルなどの入力部との間のデータ伝送を仲介する。すなわち、入力インターフェイス１０４は、ユーザが入力部を操作することで与えられる操作指令などの外部からの入力を受け付ける。

表示コントローラ１０５は、表示部の典型例であるディスプレイ１１０と接続され、デ
ィスプレイ１１０での表示を制御する。すなわち、表示コントローラ１０５は、ＣＰＵ１０１による画像処理の結果などをユーザに対して表示する。ディスプレイ１１０は、たとえばＬＣＤ（Liquid Crystal Display）またはＣＲＴ（Cathode Ray Tube）である。

データリーダ／ライタ１０６は、ＣＰＵ１０１と記録媒体１１１の間のデータ伝送を仲介する。すなわち、記録媒体１１１は、画像処理装置２０１で実行されるプログラムなどが格納された状態で流通し、データリーダ／ライタ１０６は、この記録媒体１１１からプログラムを読み出す。また、データリーダ／ライタ１０６は、ＣＰＵ１０１の内部指令に応答して、画像処理装置２０１における処理結果などを記録媒体１１１へ書き込む。なお、記録媒体１１１は、たとえば、ＣＦ（Compact Flash）およびＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）などの磁気記憶媒体、またはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体である。

通信インターフェイス１０７は、ＣＰＵ１０１とパーソナルコンピュータおよびサーバ装置などの間のデータ伝送を仲介する。通信インターフェイス１０７は、典型的には、イーサネット（登録商標）またはＵＳＢ（Universal Serial Bus）の通信機能を有する。なお、記録媒体１１１に格納されたプログラムを画像処理装置２０１にインストールする形態に代えて、通信インターフェイス１０７を介して配信サーバなどからダウンロードしたプログラムを画像処理装置２０１にインストールしてもよい。

また、画像処理装置２０１には、必要に応じてプリンタなどの他の出力装置が接続されてもよい。

［制御構造］
次に、画像処理装置２０１における各種機能を提供するための制御構造について説明する。

図５は、本発明の第１の実施の形態に係る画像処理装置が提供する制御構造を示すブロック図である。図５に示す各ブロックは、ハードディスク１０３に格納されたプログラム（コード）などをメインメモリ１０２に展開して、ＣＰＵ１０１に実行させることで提供される。なお、図５に示すモジュールの一部もしくは全部がハードウェアに実装されているファームウェアによって提供される場合もある。あるいは、図５に示す制御構造の一部もしくは全部を専用ハードウェアおよび／または配線回路によって実現してもよい。

図５を参照して、画像処理装置２０１は、その制御構造として、画像入力部１０と、画像記憶部１１と、画像分割部１２と、相関計算部１３と、相関係数順位付け部１４と、相関係数順位加算部１５と、パス生成部１６と、最終加算順位選択部１７と、境界画素指定部２１と、相関計算範囲決定部２２とを備える。

画像入力部１０、画像記憶部１１、画像分割部１２、相関計算部１３、相関係数順位付け部１４、相関係数順位加算部１５、パス生成部１６、および最終加算順位選択部１７は、たとえば特許文献１の図４に示す構成と同様の動作を行なう。

具体的には、画像入力部１０は、２つの画像（Ｌ画像およびＲ画像）を入力する。画像記憶部１１は、画像入力部１０へ入力された画像を記憶する。これらの画像は、たとえば、図４に示す記録媒体１１１からデータリーダ／ライタ１０６を介して画像入力部１０へ送られ、画像入力部１０は、これらの画像を画像記憶部１１であるメインメモリ１０２またはハードディスク１０３に格納する。

画像分割部１２は、画像記憶部１１に記憶されているＬ画像およびＲ画像を、位置的な重複を許して複数のブロック画像に分割する。各画像における複数のブロック画像は、隣り合うブロック画像の一部領域が互いに重なり合うように設けられる。画像分割部１２は、たとえば特許文献１の図４に示す構成と同様に、Ｌ画像およびＲ画像の各々を走査線ごとに分割し、分割した走査線に対応する部分を、一部領域が重なり合いながら配列される複数のブロック画像に分割する。

境界画素指定部２１は、Ｌ画像およびＲ画像の各々における境界に対応する画素である境界画素の入力を受け付ける。

相関計算範囲決定部２２は、境界画素指定部２１によって得られた境界画素の情報を用いることにより、Ｌ画像およびＲ画像双方における注目点の周囲の相関計算をそれぞれ行なう範囲（相関計算範囲）を決定する。

相関計算部１３は、Ｌ画像におけるブロック画像およびＲ画像におけるブロック画像間において、ブロック画像に含まれる画素値の相互相関を計算する。相関計算部１３は、たとえば特許文献１の図４に示す構成と同様に、同じ位置の走査線上に存在する、Ｌ画像における複数のブロック画像とＲ画像における複数のブロック画像との間のすべてまたは一部の組み合わせごとに、相関計算範囲に従って画素値の相関係数を算出する。

相関係数順位付け部１４は、相関計算部１３によって得られたＬ画像におけるブロック画像とＲ画像におけるブロック画像の組み合わせごとの相関係数の値を用いて、これらの組み合わせに関し、Ｌ画像におけるブロック画像からＲ画像におけるブロック画像への相関係数の大きい順の順位付け、およびＲ画像からＬ画像への相関係数の大きい順の順位付けを行なう。

相関係数順位加算部１５は、これらの組み合わせごとに、相関係数順付け部１４０によって得られたＬ画像におけるブロック画像からＲ画像におけるブロック画像の順位と、Ｒ画像における同じブロック画像からＬ画像における同じブロック画像への順位の和を計算する。

パス生成部１６は、各組み合わせ間の複数のパスを生成する。パス生成部１６は、たとえば特許文献１の図４に示す構成と同様に、対応点間の接続する候補をすべてパスとして生成する。すなわち、パス生成部１６は、上記組み合わせについて、隣接した組み合わせ同士のパスだけでなく、隣接しない組み合わせ同士のパスも生成する。

最終加算順位選択部１７は、パス生成部１６によって生成されたパスから最良のパスを動的計画法によって求める。最終加算順位選択部１７は、たとえば特許文献１の図４に示す構成と同様に、パス生成部１６によって生成された各パスを接続することによって表現されるすべての組み合わせのグループごとに、相関係数順位加算部１５によって求めた順位の和を加算する。

そして、最終加算順位選択部１７は、たとえば特許文献１の図４に示す構成と同様に、この加算結果に、各グループにおける組み合わせに含まれないブロック画像の数に応じた一定のペナルティを加え、この結果が最小になるグループを動的計画法を用いて求める。すなわち、最終加算順位選択部１７は、特許文献１の段落［００５２］〜［００５３］および図９に示すような方法により、最良のパスを求める。

［動作］
次に、本発明の第１の実施の形態に係る画像処理装置の動作について図面を用いて説明
する。本発明の第１の実施の形態では、画像処理装置２０１を動作させることによって、本発明の第１の実施の形態に係るステレオマッチング方法が実施される。よって、本発明の第１の実施の形態に係るステレオマッチング方法の説明は、以下の画像処理装置２０１の動作説明に代える。なお、以下の説明においては、適宜図５を参照する。

図６は、本発明の第１の実施の形態に係る画像処理装置がステレオマッチング処理を行なう際の動作手順を示すフローチャートである。

図６を参照して、まず、画像入力部１０は、ステレオ処理の対象となるＬ画像およびＲ画像を入力する（ステップＳ２）。

次に、画像記憶部１１は、これらのＬ画像およびＲ画像を記憶する（ステップＳ４）。ここで、Ｌ画像およびＲ画像は、エピポーララインに画像が配列された平行化済みの画像である。以降の処理における対応点の探索は、Ｌ画像およびＲ画像の同じ行ごとに対応点を求める処理を繰り返すことにより、両画像全体の対応を求める。

次に、画像分割部１２は、Ｌ画像およびＲ画像の各々を複数のブロック画像に分割する。具体的には、画像分割部１２は、画像記憶部１１から取得したＬ画像およびＲ画像の各行について、重なり合うＭ×Ｎの大きさを持つ複数のブロック画像にそれぞれ分割する。たとえば、対応点を１画素ごとに求める場合には、ブロック画像は、互いに１画素ずつずれて重なり合うように配列される（ステップＳ６）。

次に、境界画素指定部２１は、画像記憶部１１からＬ画像およびＲ画像を取得する。そして、境界画素指定部２１は、被写体の影響によってＬ画像およびＲ画像のいずれかにおいて写っていない領域である隠れ領域といずれにも写っている領域である非隠れ領域との境界に対応する画素である境界画素をＬ画像およびＲ画像においてそれぞれ指定する。本発明の第１の実施の形態では、境界画素指定部２１は、ユーザの操作による各境界画素の指定を受け付ける。具体的には、境界画素指定部２１は、たとえば図１に示すように両方の画像を図４に示す画像記憶部１１に並べて表示し、利用者が両画像の対応する場所にマウス１０９等を用いて線分を与える操作を受け付けることにより、境界画素を指定する（ステップＳ８）。

ここでは、境界線は隠れ領域と注目する対象である非隠れ領域との境界部分であって、この注目する対象の内側に引くものとする。これにより、Ｌ画像およびＲ画像のｉ行目には、複数の境界点の組すなわち（ｉ，Ｌ１）−（ｉ，Ｒ１），（ｉ，Ｌ２）−（ｉ，Ｒ２），・・・（ｉ，Ｌｎ）−（ｉ，Ｒｎ）というｎ個の境界画素の組が与えられる。

次に、相関計算範囲決定部２２は、Ｌ画像およびＲ画像における各境界画素に基づいて相関計算範囲を決定する。具体的には、相関計算範囲決定部２２は、Ｌ画像およびＲ画像のブロック画像間の相関係数を求めるための相関計算範囲を決定する。ここで、ブロック画像は前述のようにＭ×Ｎの大きさを持つため、左右のブロック画像のいずれにも境界画素指定部２１で指定された境界画素が含まれない場合には、Ｍ×Ｎの矩形の画像が相関計算範囲となる（ステップＳ１０）。

次に、相関計算部１３は、Ｌ画像における複数のブロック画像とＲ画像における複数のブロック画像との間のすべてまたは一部の組み合わせごとに、相関計算範囲決定部２２によって決定された相関計算範囲に従って画素値の相関係数を算出する（ステップＳ１２）。

次に、相関係数順位付け部１４は、相関計算部１３によって算出された、組み合わせご
との相関係数の値を用いて、組み合わせに関しＬ画像におけるブロック画像からＲ画像におけるブロック画像への相関係数の大きい順の第１の順位づけを行ない、かつ組み合わせに関しＲ画像におけるブロック画像からＬ画像におけるブロック画像への相関係数の大きい順の第２の順位づけを行なう（ステップＳ１４）。

次に、相関係数順位加算部１５は、組み合わせごとに、上記第１の順位と上記第２の順位の和を算出する（ステップＳ１６）。

次に、パス生成部１６は、各組み合わせ間の複数のパスを生成する（ステップＳ１８）。

次に、最終加算順位選択部１７は、複数のパスを接続することによって表現される組み合わせのグループごとに、相関係数順位加算部１５によって算出された和を加算し、加算の結果が最小となるグループを動的計画法を用いて求める（ステップＳ２０）。最終加算順位選択部１７によって求められたグループから、対応点となる画素位置が得られる（ステップＳ２２）。

図７は、本発明の第１の実施の形態に係る相関計算範囲決定部が指定する相関計算範囲の例を示す図である。図７は、図２に対応している。

図７を参照して、相関計算範囲決定部２２は、境界画素指定部２１によって指定された境界画素がブロック画像に含まれる場合には、注目点Ｐを含む境界線の内側の領域のみを相関計算範囲とする。ここで、境界上の点すなわち境界画素については、相関計算範囲に含める。

相関計算範囲決定部２２は、求めた相関計算範囲を相関計算部１３に送る。相関計算部１３は、相関計算範囲決定部２２から受けた相関計算範囲に従い、Ｌ画像およびＲ画像それぞれの注目点すなわち対応画素間の相関係数を求める。

図８は、ブロック画像を用いて相関行列を求める方法を示す図である。図８は、相関行列のイメージを示している。

図８を参照して、相関行列中の（ｉ，ｊ）の値は、Ｌ画像のある行でのｉ番目の画素と、Ｒ画像の対応する行でのｊ番目の画素との相関度合いを示す。

相関計算部１３によって得られる結果は、Ｌ画像およびＲ画像における各々の位置を行および列で表し、相関係数を値として持つ相関行列を求めることに相当する。

ところで、特許文献２に記載の技術では、対応画素探索処理を複数の画像について行なう必要があり、処理量が増大してしまうという問題点があった。また、オクルージョンが発生した場合に最近傍の画素の距離情報を割り当てる処理を行なっているに過ぎないため、ステレオマッチングにおいて隠れ領域の周辺でのマッチング率を向上させることはできないという問題点があった。これらの問題点を解決し、かつ特許文献１に記載の技術を超えて精度の高いマッチングを行なう技術が望まれる。

これに対して、本発明の第１の実施の形態では、境界画素指定部２１が、被写体の影響によってＬ画像およびＲ画像のいずれかにおいて写っていない領域である隠れ領域といずれにも写っている領域である非隠れ領域との境界に対応する画素である境界画素をＬ画像およびＲ画像においてそれぞれ指定する。相関計算範囲決定部２２は、Ｌ画像およびＲ画像における各境界画素に基づいて相関計算範囲を決定する。相関計算部１３は、画像分割
部１２がＬ画像およびＲ画像の各々を分割することによって得られた複数のブロック画像を用いて、Ｌ画像における複数のブロック画像とＲ画像における複数のブロック画像との間のすべてまたは一部の組み合わせごとに、上記相関計算範囲に従って画素値の相関係数を算出する。

このようにして、本発明の第１の実施の形態では、対応点の周囲に隠れ領域がある場合に、隠れ領域と非隠れ領域の境界を指定することで相関計算の計算範囲を変形させる。これにより、隠れ領域であって明らかに他方画像の画素と対応しない部分についての相関計算を省くことができるため、処理量を低減し、かつ相関計算による対応点探索の精度を向上させることができる。

すなわち、本発明の第１の実施の形態に係る画像処理装置における各構成要素のうち、画像分割部１２、相関計算部１３、相関係数順位付け部１４、相関係数順位加算部１５、パス生成部１６、最終加算順位選択部１７、境界画素指定部２１および相関計算範囲決定部２２からなる最小構成により、テンプレートマッチングによる対応点探索を行なうステレオマッチング手法において、隠れ領域が存在する場合でも簡易な処理で精度の高いマッチングを行なうという本発明の目的を達成することが可能となる。

なお、本発明の第１の実施の形態は、隠れ領域と非隠れ領域との境界線に接する画素であって非隠れ領域における画素を境界画素として指定し、この境界画素を相関計算範囲に含める構成であるとしたが、これに限定するものではない。隠れ領域と非隠れ領域との境界線に接する画素であって隠れ領域における画素を境界画素として指定し、この境界画素を相関計算範囲に含めない構成としてもよい。また、各ブロック画像における境界画素は、１つであってもよいし、複数であってもよい。

また、本発明の第１の実施の形態では、図６に示すフローチャートにおいて、ステップＳ６の動作の後に、ステップＳ８の動作を行なう構成であるとしたが、これに限定するものではなく、ステップＳ８の動作の後に、ステップＳ６の動作を行なう構成であってもよい。

次に、本発明の他の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

＜第２の実施の形態＞
本実施の形態は、第１の実施の形態に係る画像処理装置と比べて境界の指定方法を変更した画像処理装置に関する。以下で説明する内容以外は第１の実施の形態に係る画像処理装置と同様である。

図９は、本発明の第２の実施の形態に係る画像処理装置が提供する制御構造を示すブロック図である。図１０は、本発明の第２の実施の形態に係る画像処理装置がステレオマッチング処理を行なう際の動作手順を示すフローチャートである。

図９に示す各ブロックは、ハードディスク１０３に格納されたプログラム（コード）などをメインメモリ１０２に展開して、ＣＰＵ１０１に実行させることで提供される。なお、図９に示すモジュールの一部もしくは全部がハードウェアに実装されているファームウェアによって提供される場合もある。あるいは、図９に示す制御構造の一部もしくは全部を専用ハードウェアおよび／または配線回路によって実現してもよい。

画像処理装置２０２は、本発明の第１の実施の形態に係る画像処理装置２０１と比べて、その制御構造として、境界画素指定部２１の代わりに境界画素検出部２３および境界画
素対応付け部２４を備える。

境界画素検出部２３は、境界画素の候補をＬ画像およびＲ画像からそれぞれ検出する。すなわち、境界画素検出部２３は、Ｌ画像およびＲ画像を参照し、それぞれの画像から明瞭な境界線と判断される線分を抽出する（ステップＳ７）。

境界画素対応付け部２４は、Ｌ画像における境界画素の候補とＲ画像における境界画素の候補とを対応付けることにより、Ｌ画像およびＲ画像における境界画素をそれぞれ指定する。すなわち、境界画素対応付け部２４は、Ｌ画像およびＲ画像の各々において抽出された境界線間の対応付けを行なう（ステップＳ９）。

より詳細には、境界画素検出部２３は、たとえば、２次元の画像処理技術としてよく知られているエッジ抽出の技術を用いる。すなわち、境界画素検出部２３は、エッジの強さを用いることにより一定以上の強さを持つ線分をすべて抽出し、抽出した線分に対して膨張収縮処理などを行って小さなノイズを除去した後、細線化処理を行なうことで境界を示す線分を得る。この段階ではＬ画像およびＲ画像について独立に処理が行われ、それぞれの画像から境界線の候補となる線分が得られる。境界画素検出部２３は、得られた線分を、Ｌ画像およびＲ画像とともに境界画素対応付け部２４へ送る。

境界画素対応付け部２４は、境界画素検出部２３から境界線の候補となる線分、ならびにＬ画像およびＲ画像を受けて、同一走査線上にある線分について、線分の向きおよび線分の長さ、ならびに線分の周囲の類似度などに基づいて、Ｌ画像およびＲ画像の線分間の対応付けを行なう。

境界画素対応付け部２４は、このようにして得られた境界画素を示す線分間の対応関係を本発明の第１の実施の形態に係る境界画素指定部２１と同様の形式で相関計算範囲決定部２２に送る。この対応関係は、境界画素検出部２３において相関計算を行なう範囲を決定するために用いられる。

その他の構成および動作は第１の実施の形態に係る画像処理装置と同様であるため、ここでは詳細な説明を繰り返さない。

このように、本発明の第２の実施の形態では、境界画素検出部２３および境界画素対応付け部２４により、本発明の第１の実施の形態における境界画素指定部２１と同様の対応付けを行なうことが可能となる。このような構成により、境界画素をユーザ等が明示的に指定することなく自律的に境界を指定し、相関計算範囲を変形させることができる。これにより、隠れ領域であって明らかに他方の画素と対応しない部分についての相関計算を省くことができるため、処理量を低減し、かつ相関計算による対応点選択の精度を向上させることができる。

なお、本発明の第２の実施の形態では、図１０に示すフローチャートにおいて、ステップＳ６の動作の後に、ステップＳ７およびステップＳ９の動作を行なう構成であるとしたが、これに限定するものではなく、ステップＳ７およびステップＳ９の動作の後に、ステップＳ６の動作を行なう構成であってもよい。

上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明によれば、テンプレートマッチングによる対応点探索を行なうステレオマッチング手法において、隠れ領域が存在する場合でも簡易な処理で精度の高いマッチングを行なうことができる。したがって、本発明は、ステレオマッチング処理によって、たとえば、航空写真から土地の高さを測定する用途に適用可能であり、また、ロボットの視覚機能で奥行きを知覚する用途にも適用可能であるため、産業上の利用可能性を有している。

上記実施の形態の一部または全部は以下の付記のようにも記載されうるが、本発明の範囲は、以下の付記に限定されるものではない。

［付記１］
（ａ）第１の画像および第２の画像の各々を複数のブロック画像に分割するステップと、（ｂ）被写体の影響によって前記第１の画像および前記第２の画像のいずれかにおいて写っていない領域である隠れ領域といずれにも写っている領域である非隠れ領域との境界に対応する１または複数の画素である境界画素を前記第１の画像および前記第２の画像においてそれぞれ指定するステップと、
（ｃ）前記第１の画像および前記第２の画像における各前記境界画素に基づいて相関計算範囲を決定するステップと、
（ｄ）前記第１の画像における前記複数のブロック画像と前記第２の画像における前記複数のブロック画像との間のすべてまたは一部の組み合わせごとに、前記相関計算範囲に従って画素値の相関係数を算出するステップと、
（ｅ）前記（ｄ）のステップにおいて算出された、前記組み合わせごとの相関係数の値を用いて、前記組み合わせに関し前記第１の画像におけるブロック画像から前記第２の画像におけるブロック画像への相関係数の大きい順の第１の順位づけを行ない、かつ前記組み合わせに関し前記第２の画像におけるブロック画像から前記第１の画像におけるブロック画像への相関係数の大きい順の第２の順位づけを行なうステップと、
（ｆ）前記組み合わせごとに、前記第１の順位と前記第２の順位の和を算出するステップと、
（ｇ）各前記組み合わせ間の複数のパスを生成するステップと、
（ｈ）前記複数のパスを接続することによって表現される前記組み合わせのグループごとに、前記（ｆ）のステップにおいて算出された和を加算し、前記加算の結果が最小となる前記グループを動的計画法を用いて求めるステップとを含む、画像処理方法。

［付記２］
前記（ｂ）のステップにおいては、ユーザの操作による前記各境界画素の指定を受け付ける、付記１に記載の画像処理方法。

［付記３］
前記（ｂ）のステップは、
前記境界画素の候補を前記第１の画像および前記第２の画像からそれぞれ検出するステップと、
前記第１の画像における前記境界画素の候補と前記第２の画像における前記境界画素の候補とを対応付けることにより、前記第１の画像および前記第２の画像における前記境界画素をそれぞれ指定するステップとを含む、付記１に記載の画像処理方法。

［付記４］
（ａ）第１の画像および第２の画像の各々を複数のブロック画像に分割するステップと、（ｂ）被写体の影響によって前記第１の画像および前記第２の画像のいずれかにおいて写っていない領域である隠れ領域といずれにも写っている領域である非隠れ領域との境界に対応する１または複数の画素である境界画素を前記第１の画像および前記第２の画像においてそれぞれ指定するステップと、
（ｃ）前記第１の画像および前記第２の画像における各前記境界画素に基づいて相関計算範囲を決定するステップと、
（ｄ）前記第１の画像における前記複数のブロック画像と前記第２の画像における前記複数のブロック画像との間のすべてまたは一部の組み合わせごとに、前記相関計算範囲に従って画素値の相関係数を算出するステップと、
（ｅ）前記（ｄ）のステップにおいて算出された、前記組み合わせごとの相関係数の値を用いて、前記組み合わせに関し前記第１の画像におけるブロック画像から前記第２の画像におけるブロック画像への相関係数の大きい順の第１の順位づけを行ない、かつ前記組み合わせに関し前記第２の画像におけるブロック画像から前記第１の画像におけるブロック画像への相関係数の大きい順の第２の順位づけを行なうステップと、
（ｆ）前記組み合わせごとに、前記第１の順位と前記第２の順位の和を算出するステップと、
（ｇ）各前記組み合わせ間の複数のパスを生成するステップと、
（ｈ）前記複数のパスを接続することによって表現される前記組み合わせのグループごとに、前記（ｆ）のステップにおいて算出された和を加算し、前記加算の結果が最小となる前記グループを動的計画法を用いて求めるステップとをコンピュータに実行させる、画像処理プログラム。

［付記５］
前記（ｂ）のステップにおいては、ユーザの操作による前記各境界画素の指定を受け付ける、付記４に記載の画像処理プログラム。

［付記６］
前記（ｂ）のステップは、
前記境界画素の候補を前記第１の画像および前記第２の画像からそれぞれ検出するステップと、
前記第１の画像における前記境界画素の候補と前記第２の画像における前記境界画素の候補とを対応付けることにより、前記第１の画像および前記第２の画像における前記境界画素をそれぞれ指定するステップとを含む、付記４に記載の画像処理プログラム。

１０ 画像入力部
１１ 画像記憶部
１２ 画像分割部
１３ 相関計算部
１４ 相関係数順位付け部
１５ 相関係数順位加算部
１６ パス生成部
１７ 最終加算順位選択部
２１ 境界画素指定部
２２ 相関計算範囲決定部
２２ 境界画素検出部
２３ 境界画素対応付け部
１０１ ＣＰＵ
１０２ メインメモリ
１０３ ハードディスク
１０４ 入力インターフェイス
１０５ 表示コントローラ
１０６ データリーダ／ライタ
１０７ 通信インターフェイス
１０８ キーボード
１０９ マウス
１１０ ディスプレイ
１１１ 記録媒体
１２１ バス
２０１ 画像処理装置

Claims (9)

1. 第１の画像および第２の画像の各々を複数のブロック画像に分割するための画像分割部と、
   被写体の影響によって前記第１の画像および前記第２の画像のいずれかにおいて写っていない領域である隠れ領域といずれにも写っている領域である非隠れ領域との境界に対応する１または複数の画素である境界画素を前記第１の画像および前記第２の画像においてそれぞれ指定するための境界画素指定部と、
   前記第１の画像および前記第２の画像における各前記境界画素に基づいてブロック画像間の相関計算範囲を決定し、前記ブロック画像に前記境界画素が含まれている場合には、前記境界画素が含まれていない場合と比べて、前記相間計算範囲を制限するための相関計算範囲決定部と、
   前記第１の画像における前記複数のブロック画像と前記第２の画像における前記複数のブロック画像との間のすべてまたは一部の組み合わせごとに、前記相関計算範囲に従って画素値の相関係数を算出するための相関計算部と、
   前記相関計算部によって算出された、前記組み合わせごとの相関係数の値を用いて、前記組み合わせに関し前記第１の画像におけるブロック画像から前記第２の画像におけるブロック画像への相関係数の大きい順の第１の順位づけを行ない、かつ前記組み合わせに関し前記第２の画像におけるブロック画像から前記第１の画像におけるブロック画像への相関係数の大きい順の第２の順位づけを行なうための相関係数順位付け部と、
   前記組み合わせごとに、前記第１の順位と前記第２の順位の和を算出するための相関係数順位加算部と、
   各前記組み合わせ間の複数のパスを生成するためのパス生成部と、
   前記複数のパスを接続することによって表現される前記組み合わせのグループごとに、前記相関係数順位加算部によって算出された和を加算し、前記加算の結果が最小となる前記グループを動的計画法を用いて求めるための最終加算順位選択部とを備える、画像処理装置。
2. 前記境界画素指定部は、ユーザの操作による前記各境界画素の指定を受け付ける、請求項１に記載の画像処理装置。
3. 前記境界画素指定部は、
   前記境界画素の候補を前記第１の画像および前記第２の画像からそれぞれ検出するための境界画素検出部と、
   前記第１の画像における前記境界画素の候補と前記第２の画像における前記境界画素の候補とを対応付けることにより、前記第１の画像および前記第２の画像における前記境界画素をそれぞれ指定するための境界画素対応付け部とを含む、請求項１に記載の画像処理装置。
4. （ａ）第１の画像および第２の画像の各々を複数のブロック画像に分割するステップと、
   （ｂ）被写体の影響によって前記第１の画像および前記第２の画像のいずれかにおいて写っていない領域である隠れ領域といずれにも写っている領域である非隠れ領域との境界に対応する１または複数の画素である境界画素を前記第１の画像および前記第２の画像においてそれぞれ指定するステップと、
   （ｃ）前記第１の画像および前記第２の画像における各前記境界画素に基づいてブロック画像間の相関計算範囲を決定し、前記ブロック画像に前記境界画素が含まれている場合には、前記境界画素が含まれていない場合と比べて、前記相間計算範囲を制限するステップと、
   （ｄ）前記第１の画像における前記複数のブロック画像と前記第２の画像における前記複数のブロック画像との間のすべてまたは一部の組み合わせごとに、前記相関計算範囲に従って画素値の相関係数を算出するステップと、
   （ｅ）前記（ｄ）のステップにおいて算出された、前記組み合わせごとの相関係数の値を用いて、前記組み合わせに関し前記第１の画像におけるブロック画像から前記第２の画像におけるブロック画像への相関係数の大きい順の第１の順位づけを行ない、かつ前記組み合わせに関し前記第２の画像におけるブロック画像から前記第１の画像におけるブロック画像への相関係数の大きい順の第２の順位づけを行なうステップと、
   （ｆ）前記組み合わせごとに、前記第１の順位と前記第２の順位の和を算出するステップと、
   （ｇ）各前記組み合わせ間の複数のパスを生成するステップと、
   （ｈ）前記複数のパスを接続することによって表現される前記組み合わせのグループごとに、前記（ｆ）のステップにおいて算出された和を加算し、前記加算の結果が最小となる前記グループを動的計画法を用いて求めるステップとを含む、画像処理方法。
5. 前記（ｂ）のステップにおいては、ユーザの操作による前記各境界画素の指定を受け付ける、請求項４に記載の画像処理方法。
6. 前記（ｂ）のステップは、
   前記境界画素の候補を前記第１の画像および前記第２の画像からそれぞれ検出するステップと、
   前記第１の画像における前記境界画素の候補と前記第２の画像における前記境界画素の候補とを対応付けることにより、前記第１の画像および前記第２の画像における前記境界画素をそれぞれ指定するステップとを含む、請求項４に記載の画像処理方法。
7. （ａ）第１の画像および第２の画像の各々を複数のブロック画像に分割するステップと、
   （ｂ）被写体の影響によって前記第１の画像および前記第２の画像のいずれかにおいて写っていない領域である隠れ領域といずれにも写っている領域である非隠れ領域との境界に対応する１または複数の画素である境界画素を前記第１の画像および前記第２の画像においてそれぞれ指定するステップと、
   （ｃ）前記第１の画像および前記第２の画像における各前記境界画素に基づいてブロック画像間の相関計算範囲を決定し、前記ブロック画像に前記境界画素が含まれている場合には、前記境界画素が含まれていない場合と比べて、前記相間計算範囲を制限するステップと、
   （ｄ）前記第１の画像における前記複数のブロック画像と前記第２の画像における前記複数のブロック画像との間のすべてまたは一部の組み合わせごとに、前記相関計算範囲に従って画素値の相関係数を算出するステップと、
   （ｅ）前記（ｄ）のステップにおいて算出された、前記組み合わせごとの相関係数の値を用いて、前記組み合わせに関し前記第１の画像におけるブロック画像から前記第２の画像におけるブロック画像への相関係数の大きい順の第１の順位づけを行ない、かつ前記組み合わせに関し前記第２の画像におけるブロック画像から前記第１の画像におけるブロック画像への相関係数の大きい順の第２の順位づけを行なうステップと、
   （ｆ）前記組み合わせごとに、前記第１の順位と前記第２の順位の和を算出するステップと、
   （ｇ）各前記組み合わせ間の複数のパスを生成するステップと、
   （ｈ）前記複数のパスを接続することによって表現される前記組み合わせのグループごとに、前記（ｆ）のステップにおいて算出された和を加算し、前記加算の結果が最小となる前記グループを動的計画法を用いて求めるステップとをコンピュータに実行させる、画像処理プログラム。
8. 前記（ｂ）のステップにおいては、ユーザの操作による前記各境界画素の指定を受け付ける、請求項７に記載の画像処理プログラム。
9. 前記（ｂ）のステップは、
   前記境界画素の候補を前記第１の画像および前記第２の画像からそれぞれ検出するステップと、
   前記第１の画像における前記境界画素の候補と前記第２の画像における前記境界画素の候補とを対応付けることにより、前記第１の画像および前記第２の画像における前記境界画素をそれぞれ指定するステップとを含む、請求項７に記載の画像処理プログラム。

Images