JP5310594B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理技術に関する。

ステレオカメラを用いて異なる視点から撮像された２つの画像を対象として、一方の画像の各画素に対し、２つの画像の間における相関（すなわち類似の度合い）が求められ、該相関に基づいて同一の部分が捉えられた点（以下「対応点」と称する）が他方の画像から検出される技術（以下「対応点探索技術」と称する）が知られている。

この対応点探索技術については、一方の画像の各画素に対し、２つの画像の間における各周波数の正弦波の位相差の成分に基づいて投票空間上に投票が行われることで、他方の画像上の対応点が求められる技術が提案されている（例えば、特許文献１等）。また、投票時に重み付けが加えられる技術も提案されている（例えば、非特許文献１等）。更に、エピポーララインに沿った１次元の画像領域を用いた位相限定相関法による対応点の探索処理が実行されることで、演算量の低減が図られる技術も提案されている（例えば、特許文献２）。

特許第３４６８１８２号公報 特開２００８−１２３１４１号公報

IEICE transactions on information and systems E87-D(1) pp.58-65(2004), KOUZUKI I(Kogakuin Univ., Tokyo, Jpn) KANEKO T(Kogakuin Univ., Tokyo, Jpn) ITO M(Kogakuin Univ., Tokyo, Jpn) "Precise and Reliable Image Shift Detection by a New Phase-Difference Spectrum Analysis (PSA) Method"

しかしながら、上記特許文献１および非特許文献１の各技術では、演算量が膨大となるため、演算に長時間を要する。また、上記特許文献２の技術では、エピポーララインに沿った一次元の画像領域には含まれない領域に対しては該技術を適用することが不可能である上に、各対応点の探索に用いられる領域（すなわちデータ量）が少な過ぎるため、対応点の探索処理における精度の低下を招く。

本発明は、上記課題に鑑みてなされたものであり、複数の画像を対象とした対応点の探索処理における精度の維持と速度の向上とを両立させることが可能な対応点探索技術を提供することを目的とする。

上記課題を解決するために、第１の態様に係る画像処理装置は、第１画像の第１領域を第１周波数成分情報に変換するとともに、第２画像の第２領域を第２周波数成分情報に変換する変換部と、前記第１および第２周波数成分情報に基づいて、前記第１領域と前記第２領域との相関を示す第１相関値を算出する相関演算部と、前記第１相関値に基づいて、前記相関演算部での演算における周波数成分情報の使用が制限される周波数の使用制限範囲を設定する制限部と、を備える。そして、該画像処理装置では、前記変換部が、前記第１画像に対応する第３画像の第３領域を第３周波数成分情報に変換するとともに、前記第２画像に対応する第４画像の第４領域を第４周波数成分情報に変換し、前記相関演算部が、前記第３および第４周波数成分情報のうちの前記使用制限範囲外の周波数に係る周波数成分情報に基づいて、前記第３領域と前記第４領域との相関を示す第２相関値を算出する。

第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記第３画像から所定ルールに従って画素数を低減することで前記第１画像を生成するとともに、前記第４画像から前記所定ルールに従って画素数を低減することで前記第２画像を生成する生成部、を更に備える。

第３の態様に係る画像処理装置は、第１または第２の態様に係る画像処理装置であって、前記第３および第４画像が、同一の被写体を異なる視点から捉えた複数の画像である。

第４の態様に係る画像処理装置は、第１画像の第１領域を第１周波数成分情報に変換するとともに、第２画像の第２領域を第２周波数成分情報に変換し、前記第２画像の第３領域を第３周波数成分情報に変換するとともに、第３画像の第４領域を第４周波数成分情報に変換する変換部と、前記第１および第２周波数成分情報に基づいて、前記第１領域と前記第２領域との相関を示す第１相関値を算出する相関演算部と、前記第１相関値に基づいて、前記相関演算部での演算における周波数成分情報の使用が制限される周波数の使用制限範囲を設定する制限部と、を備える。そして、該画像処理装置では、前記相関演算部が、前記第３および第４周波数成分情報のうちの前記使用制限範囲外の周波数に係る周波数成分情報に基づいて、前記第３領域と前記第４領域との相関を示す第２相関値を算出する。

第５の態様に係る画像処理装置は、第４の態様に係る画像処理装置であって、前記第１から第３画像が、同一の視点から同一の被写体の時間的な変化を捉えた複数の画像である。

第６の態様に係る画像処理装置は、第１から第５の何れか１つの態様に係る画像処理装置であって、前記制限部が、前記第１相関値が大きくなるに従って、前記変換部で得られる各前記周波数成分情報のうちの最も低周波側からより広範囲の周波数に係る周波数成分情報の使用が制限されるように、前記使用制限範囲を設定する。

第７の態様に係る画像処理装置は、第１から第６の何れか１つの態様に係る画像処理装置であって、前記制限部が、前記第１相関値が小さくなるに従って、前記変換部で得られる各前記周波数成分情報のうちの最も高周波側からより広範囲の周波数に係る周波数成分情報の使用が制限されるように、前記使用制限範囲を設定する。

第８の態様に係る画像処理方法は、第１画像の第１領域を第１周波数成分情報に変換するとともに、第２画像の第２領域を第２周波数成分情報に変換する第１変換ステップと、前記第１および第２周波数成分情報に基づいて、前記第１領域と前記第２領域との相関を示す第１相関値を算出する第１演算ステップと、前記第１相関値に基づいて、前記相関演算部での演算における周波数成分情報の使用が制限される周波数の使用制限範囲を設定する設定ステップと、前記第１画像に対応する第３画像の第３領域を第３周波数成分情報に変換するとともに、前記第２画像に対応する第４画像の第４領域を第４周波数成分情報に変換する第２変換ステップと、前記第３および第４周波数成分情報のうちの前記使用制限範囲外の周波数に係る周波数成分情報に基づいて、前記第３領域と前記第４領域との相関を示す第２相関値を算出する第２演算ステップと、を備える。

第９の態様に係る画像処理方法は、第１画像の第１領域を第１周波数成分情報に変換するとともに、第２画像の第２領域を第２周波数成分情報に変換する第１変換ステップと、前記第１周波数成分情報と前記第２周波数成分情報とに基づいて、前記第１領域と前記第２領域との相関を示す第１相関値を算出する第１演算ステップと、前記第１相関値に基づいて、相関演算における周波数成分情報の使用が制限される周波数の使用制限範囲を設定する設定ステップと、前記第２画像の第３領域を第３周波数成分情報に変換するとともに、第３画像の第４領域を第４周波数成分情報に変換する第２変換ステップと、前記第３および第４周波数成分情報のうちの前記使用制限範囲外の周波数の周波数成分情報に基づいて、前記第３領域と前記第４領域との相関を示す第２相関値を算出する第２演算ステップと、を備える。

第１０の態様に係るプログラムは、情報処理装置に含まれる制御部において実行されることにより、前記情報処理装置を、第１から第７の何れか１つの態様に係る画像処理装置として機能させるプログラムである。

第１から第３の何れの態様に係る画像処理装置によっても、複数の画像の間における類似の度合いを示す相関値に基づいて、該複数の画像に対応する別の複数の画像の間における類似の度合いを示す相関値を算出する際の演算量が低減されるため、複数の画像を対象とした対応点の探索処理における精度の維持と速度の向上とが両立する。

第４および第５の何れの態様に係る画像処理装置によっても、第１画像と第２画像との間における類似の度合いを示す相関値に基づいて、第２画像と第３画像との間における類似の度合いを示す相関値を算出する際の演算量が低減されるため、複数の画像を対象とした対応点の探索処理における精度の維持と速度の向上とが両立する。

第６および第７の何れの態様に係る画像処理装置によっても、演算量の低減による探索速度の向上が図られる。

第８の態様に係る画像処理方法によれば、第１の態様に係る画像処理装置と同様な効果が得られる。

第９の態様に係る画像処理方法によれば、第４の態様に係る画像処理装置と同様な効果が得られる。

第１０の態様に係るプログラムによれば、第１から第７の何れか１つの態様に係る画像処理装置と同様な効果が得られる。

一実施形態に係る情報処理システムの概略構成を示す図である。 一実施形態に係る情報処理システムの要部構成を示すブロック図である。 一実施形態に係る制御部の機能的な構成例を示す図である。 基準画像および参照画像を例示する模式図である。 第１縮小基準画像および第１縮小参照画像を例示する模式図である。 第２縮小基準画像および第２縮小参照画像を例示する模式図である。 第３縮小基準画像および第３縮小参照画像を例示する模式図である。 基準画像に対する基準点の設定態様を模式的に示す図である。 ３層目に係る基準点および処理対象点の設定例を示す模式図である。 ２層目に係る基準点および処理対象点の設定例を示す模式図である。 １層目に係る基準点の設定例を示す模式図である。 １層目に係る処理対象点の設定例を示す模式図である。 基準画像における基準点の設定例を示す模式図である。 参照画像における処理対象点の設定例を示す模式図である。 ３層目に係る基準領域および比較領域の設定例を示す模式図である。 ２層目に係る基準領域および比較領域の設定例を示す模式図である。 １層目に係る基準領域の設定例を示す模式図である。 １層目に係る比較領域の設定例を示す模式図である。 基準画像に対する基準領域の設定例を示す模式図である。 参照画像に対する比較領域の設定例を示す模式図である。 周波数と重み付け係数との関係を例示する図である。 周波数と重み付け係数との関係を例示する図である。 相関値と重み付け係数との関係を例示する模式図である。 相関値と重み付け係数との関係を例示する模式図である。 相関値と重み付け係数との関係を例示する模式図である。 相関演算で使用される投票空間を例示する図である。 相関演算における投票方法を説明するための図である。 相関演算における投票方法を説明するための図である。 一実施形態に係る対応点探索動作のフローを示すフローチャートである。 一実施形態に係る対応点探索動作のフローを示すフローチャートである。 一実施形態に係る対応点探索動作のフローを示すフローチャートである。 一変形例に係る情報処理システムの概略構成を示す図である。 一変形例に係る情報処理システムの要部構成を示すブロック図である。 Ｔ１フレーム画像を例示する模式図である。 Ｔ２フレーム画像を例示する模式図である。 Ｔ３フレーム画像を例示する模式図である。 一変形例に係る制御部の機能的な構成例を示す図である。 一変形例に係る対応点探索動作のフローを示すフローチャートである。 一変形例に係る対応点探索動作のフローを示すフローチャートである。 一変形例に係る対応点探索動作のフローを示すフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。

＜(1)情報処理システムの構成＞
図１は、本発明の一実施形態に係る情報処理システム１Ａの概略構成を示す図であり、図２は、情報処理システム１Ａの要部構成を示すブロック図である。

情報処理システム１Ａは、２眼のステレオカメラ２と、ステレオカメラ２に対してデータの送受信が可能に接続される情報処理装置３とを備える。

２眼のステレオカメラ２には、それぞれ撮像素子を有する２つの撮像系２１，２２が設けられる。撮像系２１，２２は、所定方向に沿って離隔配置され、カメラ正面の被写体ＯＢを、同じタイミングで異なる視点から撮像するように構成される。撮像系２１，２２による同じタイミングの撮像によって得られる２つの画像データ（以下「画像」と略称する）は、いわゆるステレオ画像であり、データ線ＣＢを介して情報処理装置３に送信される。

以下では、撮像系２１の撮像によって取得される画像を「第１撮像画像」Ｇ１と称し、撮像系２２の撮像によって取得される画像を「第２撮像画像」Ｇ２と称する。つまり、第１および第２撮像画像Ｇ１，Ｇ２は、同一の被写体ＯＢが異なる視点からそれぞれ捉えられた画像の組を成す。

ここでは、説明の複雑化を避けるために、第１撮像画像Ｇ１において被写体の或る部分が捉えられた画素の座標と、第２撮像画像Ｇ２において被写体の同一部分が捉えられた画素の座標とが、縦方向（Ｙ方向）には略同一で且つ横方向（Ｘ方向）に異なるように撮像系２１と撮像系２２とが設置されているものとして説明する。

また、説明を簡素化するために、ステレオカメラ２の収差は良好に補正されており、且つ撮像系２１，２２は、略平行（好ましくは完全に平行）に設定される。つまり、撮像系２１，２２の光軸が略平行（好ましくは完全に平行）に設定される。なお、実際のステレオカメラ２の構成が、このような条件にない場合は、第１および第２撮像画像Ｇ１，Ｇ２に対する画像処理により、同等の条件下で撮像されたステレオ画像に変換されても良い。

情報処理装置３は、例えばパーソナルコンピュータ（パソコン）で構成され、マウスやキーボード等を含む操作部３１と、液晶ディスプレイ等で構成される表示部３２と、ステレオカメラ２からのデータを受信するインターフェース(Ｉ／Ｆ)部３３とを備える。また、情報処理装置３は、記憶部３４と入出力部３５と制御部３６とを有する。

記憶部３４は、例えばハードディスク等で構成され、ステレオカメラ２の撮像によって得られる第１および第２撮像画像Ｇ１，Ｇ２を記憶する。また、記憶部３４には、後述される対応点探索動作を行うためのプログラムＰＧａ等が格納される。

入出力部３５は、例えばディスクドライブを備えて構成され、光ディスク等の記憶媒体９を受け付け、制御部３６との間でデータの授受を行う。

制御部３６は、プロセッサーとして働くＣＰＵ３６ａと、情報を一時的に記憶するメモリ３６ｂとを有し、情報処理装置３の各部を統括的に制御する。制御部３６では、記憶部３４内のプログラムＰＧａが読み込まれて実行されることで、各種機能や各種情報処理等が実現される。なお、メモリ３６ｂには、記憶媒体９に記憶されているプログラムデータを入出力部３５を介して格納させることができる。この格納されたプログラムは、情報処理装置３の動作に適宜反映可能である。

また、制御部３６は、ステレオカメラ２で取得されたステレオ画像を構成する第１および第２撮像画像Ｇ１，Ｇ２の間において被写体の同じ部分を捉えた点を探索する一連の動作（以下「対応点探索動作」とも称する）を行う。

更に、制御部３６は、対応点探索動作によって得られる情報を用いた三角測量の原理に基づき、被写体ＯＢの３次元空間における位置（以下「３次元位置」とも称する）を算出する。そして、表示部３２では、制御部３６で算出された被写体ＯＢの３次元位置に基づいて、被写体ＯＢを３次元的に表した画像（以下「３次元画像」とも称する）が可視的に出力される。

＜(2)対応点探索動作＞
本実施形態に係る対応点探索動作では、次の２つの工程(Ｉ)(II)がこの順番で順次に行われる。

(Ｉ)ステレオ画像を構成する第１撮像画像Ｇ１と第２撮像画像Ｇ２との組がベースとされて、解像度が複数段階に低減された画像の組が生成される。

(II)第１撮像画像Ｇ１の各画素について、解像度が低い画像の組から順に、一方の画像の基準となる点（以下「基準点」と称する）と同じ被写体の部分を捉えた点（以下「対応点」と称する）を他方の画像から探索する処理（以下「対応点探索処理」とも称する）が行われる。各対応点探索処理では、２つの画像の間における類似の度合い（以下「相関」とも称する）が周波数成分を用いて求められ、該相関に応じて基準点に対応する対応点が検出される。なお、ここで言う「周波数成分」には、画像上における画素値の空間的な変化を表す各周波数の正弦波についての振幅と位相とが含まれる。

工程(II)では、或る解像度の画像の組を対象とした対応点探索処理において、この或る解像度の画像の組よりも解像度が１段階低い画像の組を対象とした対応点探索処理の結果が利用される。

更に、工程(II)では、対応点探索処理における精度の維持と速度の向上とを両立させることを目的として、或る解像度の画像の組を対象とした対応点探索処理では、この或る解像度の画像の組よりも解像度が１段階低い画像の組を対象とした対応点探索処理で求められる画像間の相関を示す値（以下「相関値」とも称する）の高低に応じて、演算に使用される周波数成分が制限される。ここでは、周波数成分の制限が、振幅に対して後述される重み付け係数が乗ぜられることで実現される。

なお、本実施形態では、演算に使用される周波数成分の制限に資する相関値として、後述されるピーク相関値Ｃ_maxが採用されている例を挙げて説明する。

以下、対応点探索動作を実現するための機能的な構成、および対応点探索動作のフローについて順次に説明する。

＜(2-1)対応点探索動作に係る機能的な構成＞
図３は、対応点探索動作を実行するために制御部３６で実現される機能的な構成を示す図である。なお、ここでは、制御部３６の機能的な構成が、プログラムＰＧａの実行によって実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。

図３で示されるように、制御部３６は、機能的な構成として、画像取得部３６１、解像度変換部３６２、探索基準点設定部３６３、画像指定部３６４、基準視差設定部３６５、ウインドウ設定部３６６、周波数解析部３６７、周波数成分制限部３６８、相関演算部３６９、および対応点決定部３７０を有する。

＜(2-1-1)画像取得部＞
画像取得部３６１は、同一の被写体を略同一のタイミングで撮像することで得られる第１撮像画像Ｇ１と第２撮像画像Ｇ２とを記憶部３４から取得する。

図４は、第１および第２撮像画像Ｇ１，Ｇ２の形態をそれぞれ例示する模式図である。第１および第２撮像画像Ｇ１，Ｇ２では、多数の画素がマトリックス状に配列される。具体的には、縦方向（Ｙ方向）に第１所定数（ここでは４８０個）の画素が配列されるとともに、横方向（Ｘ方向）に第２所定数（ここでは６４０個）の画素が配列される。

ここで、第１および第２撮像画像Ｇ１，Ｇ２では、左上の位置が原点とされ、第１および第２撮像画像Ｇ１，Ｇ２の各画素における横方向の位置がＸ座標で示され、縦方向の位置がＹ座標で示される。つまり、第１および第２撮像画像Ｇ１，Ｇ２では、各画素の位置がＸＹの座標（ｘ，ｙ）で示され、例えば、右方向（Ｘ方向）に１画素ずれるとＸ座標の値が１つ増加し、下方向（Ｙ方向）に１画素ずれるとＹ座標の値が１つ増加する。

また、対応点探索動作では、第１撮像画像Ｇ１が基準となる画像（以下「基準画像」とも称する）とされ、第２撮像画像Ｇ２が参照される画像（以下「参照画像」とも称する）とされる。そこで、第１撮像画像Ｇ１を基準画像Ｇ１と称し、第２撮像画像Ｇ２を参照画像Ｇ２と称する。

なお、画像取得部３６１では、厳密には、基準画像Ｇ１および参照画像Ｇ２を示すデータが取得されるが、本明細書では、基準画像Ｇ１を示すデータと該データに基づいて表示される基準画像Ｇ１そのものとを「基準画像Ｇ１」と総称し、参照画像Ｇ２を示すデータと該データに基づいて表示される参照画像Ｇ２そのものとを参照画像Ｇ２と総称する。

＜(2-1-2)解像度変換部＞
解像度変換部３６２は、基準画像Ｇ１を基準として、該基準画像Ｇ１に対して解像度を段階的に低下させた関係にある画像（以下「低解像度基準画像」とも称する）を生成する。また、解像度変換部３６２は、参照画像Ｇ２を基準として、該参照画像Ｇ２に対して解像度を段階的に低下させた関係にある画像（以下「低解像度参照画像」とも称する）を生成する。

ここでは、基準画像Ｇ１および参照画像Ｇ２を対象として、それぞれ、複数の縦方向（Ｙ方向）の画素の列（以下「垂直ライン」と称する）および複数の横方向（Ｘ方向）の画素の行（以下「水平ライン」と称する）のうち、所定の間引きルールに従って、垂直ラインおよび水平ラインが間引かれることで、低解像度基準画像および低解像度参照画像が生成される。

ここで、所定の間引きルールとは、間引かれる垂直ラインを決定するための規則性、および／または間引かれる水平ラインを決定するための規則性を示すルールである。例えば、所定の間引きルールには、所定数の垂直ライン毎に１列の垂直ラインが間引かれる規則や、所定数の水平ライン毎に１行の水平ラインが間引かれる規則などを示すルールが含まれる。

以下では、垂直ラインおよび水平ラインの双方が間引かれる例が示されているが、垂直ラインおよび水平ラインのうちの少なくとも一方の複数の画素からなるライン（以下「画素ライン」とも称する）が間引かれれば良い。

基準画像Ｇ１については、まず、基準画像Ｇ１を構成する複数の垂直ラインおよび複数の水平ラインから、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれる。このとき、縮小された低解像度の基準画像（以下「第１縮小基準画像」とも称する）Ｇ１１（図５）が生成される。第１縮小基準画像Ｇ１１では、縦方向に２４０個および横方向に３２０個の画素がマトリックス状に配列される。

次に、第１縮小基準画像Ｇ１１から、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の基準画像（以下「第２縮小基準画像」とも称する）Ｇ１２（図６）が生成される。第２縮小基準画像Ｇ１２では、縦方向に１２０個および横方向に１６０個の画素がマトリックス状に配列される。

その次に、第２縮小基準画像Ｇ１２から、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の基準画像（以下「第３縮小基準画像」とも称する）Ｇ１３（図７）が生成される。第３縮小基準画像Ｇ１３では、縦方向に６０個および横方向に８０個の画素がマトリックス状に配列される。

このようにして、基準画像Ｇ１に基づいて、該基準画像Ｇ１に対応する第１〜３縮小基準画像Ｇ１１〜Ｇ１３が生成される。

一方、参照画像Ｇ２については、まず、参照画像Ｇ２を構成する複数の垂直ラインおよび複数の水平ラインから、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれる。このとき、縮小された低解像度の参照画像（以下「第１縮小参照画像」とも称する）Ｇ２１（図５）が生成される。第１縮小参照画像Ｇ２１では、縦方向に２４０個および横方向に３２０個の画素がマトリックス状に配列される。

次に、第１縮小参照画像Ｇ２１から、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の参照画像（以下「第２縮小参照画像」とも称する）Ｇ２２（図６）が生成される。第２縮小参照画像Ｇ２２では、縦方向に１２０個および横方向に１６０個の画素がマトリックス状に配列される。

その次に、第２縮小参照画像Ｇ２２から、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の参照画像（以下「第３縮小参照画像」とも称する）Ｇ２３（図７）が生成される。第３縮小参照画像Ｇ２３では、縦方向に６０個および横方向に８０個の画素がマトリックス状に配列される。

このようにして、参照画像Ｇ２に基づいて、該参照画像Ｇ２に対応する第１〜３縮小参照画像Ｇ２１〜２３が生成される。

換言すれば、解像度変換部３６２では、基準画像Ｇ１と参照画像Ｇ２との組から、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組（以下「１層目の低解像度の画像の組」とも称する）、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組（以下「２層目の低解像度の画像の組」とも称する）、および第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との組（以下「３層目（最下層）の低解像度の画像の組」とも称する）が生成される。

すなわち、解像度変換部３６２では、基準画像Ｇ１と参照画像Ｇ２との組が基準とされて、解像度が１段階低減された１層目の低解像度の画像の組、解像度が２段階低減された２層目の低解像度の画像の組、解像度が３段階低減された３層目（最下層）の低解像度の画像の組が生成される。

＜(2-1-3)探索基準点設定部＞
探索基準点設定部３６３は、基準画像Ｇ１に対して、対応点探索の基準となる点（基準点）Ｓｐ１（図８）を設定する。

例えば、まず、基準画像Ｇ１のうちの左上の画素が基準点Ｓｐ１として設定される。そして、基準点Ｓｐ１に対して参照画像Ｇ２から対応点が検出される度に、新たな基準点Ｓｐ１が設定される。

詳細には、基準画像Ｇ１に対して、図８の矢印で示されるように、基準点Ｓｐ１が、上方向（＋Ｙ方向）から順に、左から右方向（Ｘ方向）に沿って所定画素（ここでは１画素）ずつずらされながら時間順次に設定され、各基準点Ｓｐ１に対応する対応点が、参照画像Ｇ２上で順次に検出される。

換言すれば、基準画像Ｇ１に対し、−Ｙ側から＋Ｙ側に向けて並ぶＸ軸に平行な各水平ラインに沿って、−Ｘ側から＋Ｘ側に向けて基準点Ｓｐ１が時間順次に設定される。そして、１つの水平ラインに沿った基準点Ｓｐ１の設定が完了すると、１画素分＋Ｙ側に位置する次の水平ラインに沿って基準点Ｓｐ１が時間順次に設定される。

＜(2-1-4)画像指定部＞
画像指定部３６４は、対応点の探索処理を行う対象となる画像の組（以下「処理対象画像ペア」と称する）を指定する。ここでは、或る低解像度の処理対象画像ペアについて対応点が認識される度に、この対応点が認識された或る低解像度の画像の組よりも一段階解像度が高い画像の組が、次の処理対象画像ペアとして指定される。

例えば、まず、最下層（３層目）の低解像度の画像の組（具体的には、第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３）が、処理対象画像ペアとして指定される。次に、２層目の低解像度の画像の組（具体的には、第２縮小基準画像Ｇ１２と第３縮小参照画像Ｇ２２）が、処理対象画像ペアとして指定される。その次に、１層目の低解像度の画像の組（具体的には、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１）が、処理対象画像ペアとして指定される。更にその次に、基準画像Ｇ１と参照画像Ｇ２とが、処理対象画像ペアとして指定される。

＜(2-1-5)基準視差設定部＞
基準視差設定部３６５は、各処理対象画像ペアに対して、対応点の探索の基準となる視差（以下「基準視差」とも称する）を仮に設定する。

具体的には、最下層（３層目）の低解像度の画像の組に対し、基準視差の初期値が仮に設定される。基準視差の初期値としては、例えば、ＸおよびＹ方向の所定値（例えばゼロ等）に設定される。

例えば、図９で示されるように、第３縮小基準画像Ｇ１３に対して、探索基準点設定部３６３によって設定された基準点Ｓｐ１に対応する基準点Ｓｐ１３が設定されるとともに、第３縮小参照画像Ｇ２３に対して演算処理の対象となる点（以下「処理対象点」とも称する）Ｐｐ２３が設定される。ここでは、第３縮小基準画像Ｇ１３における基準点Ｓｐ１３の座標と、第３縮小参照画像Ｇ２３における処理対象点Ｐｐ２３の座標とのズレ量が、基準視差の初期値に相当する。

次に、３層目の低解像度の画像の組を処理対象画像ペアとした対応点探索処理によって得られる視差が、次の処理対象画像ペアとしての２層目の低解像度の画像の組に対し、基準視差として仮に設定される。ここでは、２層目の解像度が３層目の解像度の２倍であるため、仮に視差を画素の座標のズレ量として取り扱えば、３層目に係る対応点探索処理で得られる視差に相当する画素の座標のズレ量の２倍が、２層目に設定される基準視差に相当する画素の座標のズレ量となる。

例えば、図１０で示されるように、第２縮小基準画像Ｇ１２に対して、基準点Ｓｐ１に対応する基準点Ｓｐ１２が設定されるとともに、第２縮小参照画像Ｇ２２に対して処理対象点Ｐｐ２２が設定される。ここでは、第２縮小基準画像Ｇ１２における基準点Ｓｐ１２の座標と、第２縮小参照画像Ｇ２２における処理対象点Ｐｐ２２の座標とのズレ量が、３層目の低解像度の画像の組を処理対象画像ペアとした対応点探索処理によって得られる視差に相当する。

その次に、２層目の低解像度の画像の組を処理対象画像ペアとした対応点探索処理によって得られる視差が、次の処理対象画像ペアとしての１層目の低解像度の画像の組に対し、基準視差として仮に設定される。ここでは、１層目の解像度が２層目の解像度の２倍であるため、仮に視差を画素の座標のズレ量として取り扱えば、２層目に係る対応点探索処理で得られる視差に相当する画素の座標のズレ量の２倍が、１層目に設定される基準視差に相当する画素の座標のズレ量となる。

例えば、図１１で示されるように、第１縮小基準画像Ｇ１１に対して基準点Ｓｐ１に対応する基準点Ｓｐ１１が設定されるとともに、図１２で示されるように、第１縮小参照画像Ｇ２１に対して処理対象点Ｐｐ２１が設定される。ここでは、第１縮小基準画像Ｇ１１における基準点Ｓｐ１１の座標と、第１縮小参照画像Ｇ２１における処理対象点Ｐｐ２１の座標とのズレ量が、２層目の低解像度の画像の組を処理対象画像ペアとした対応点探索処理によって得られる視差に相当する。

更にその次に、１層目の低解像度の画像の組を処理対象画像ペアとした対応点探索処理によって得られる視差が、次の処理対象画像ペアとしての基準画像Ｇ１と参照画像Ｇ２の組に対し、基準視差として仮に設定される。ここでは、基準画像Ｇ１と参照画像Ｇ２の解像度が１層目の解像度の２倍であるため、仮に視差を画素の座標のズレ量として取り扱えば、１層目に係る対応点探索処理で得られる視差に相当する画素の座標のズレ量の２倍が、基準画像Ｇ１と参照画像Ｇ２に設定される基準視差に相当する画素の座標のズレ量となる。

例えば、図１３で示されるように、基準画像Ｇ１に対して基準点Ｓｐ１が設定されるとともに、図１４で示されるように、参照画像Ｇ２に対して処理対象点Ｐｐ２が設定される。ここでは、基準画像Ｇ１における基準点Ｓｐ１の座標と、参照画像Ｇ２における処理対象点Ｐｐ２の位置の座標とのズレ量が、１層目の低解像度の画像の組を処理対象画像ペアとした対応点探索処理によって得られる視差に相当する。

なお、ここでは、基準点Ｓｐ１１，Ｓｐ１２，Ｓｐ１３が、基準点Ｓｐ１に対応する点であるとして説明したが、これは、基準点Ｓｐ１と、基準点Ｓｐ１１，Ｓｐ１２，Ｓｐ１３とが、同じ被写体の部分を捉えた点であることを意味している。

具体的には、基準画像Ｇ１の外縁と基準点Ｓｐ１との相対的な位置関係と、第１縮小基準画像Ｇ１１の外縁と基準点Ｓｐ１１との相対的な位置関係と、第２縮小基準画像Ｇ１２の外縁と基準点Ｓｐ１２との相対的な位置関係と、第３縮小基準画像Ｇ１３の外縁と基準点Ｓｐ１３との相対的な位置関係とが略同一（好ましくは完全同一）であることを意味している。

＜(2-1-6)ウインドウ設定部＞
ウインドウ設定部３６６は、各基準点Ｓｐ１，Ｓｐ１１〜Ｓｐ１３を中心として包含するウインドウ（以下「基準領域」とも称する）Ｗ１，Ｗ１１〜Ｗ１３をそれぞれ設定するとともに、各処理対象点Ｐｐ２，Ｐｐ２１〜Ｐｐ２３を中心として包含するウインドウ（以下「比較領域」とも称する）Ｗ２，Ｗ２１〜Ｗ２３をそれぞれ設定する。基準領域Ｗ１，Ｗ１１〜Ｗ１３および比較領域Ｗ２，Ｗ２１〜Ｗ２３は、同一サイズの正方形の画像領域であり、例えば、縦方向および横方向にそれぞれ３２画素が配列されて構成される。

具体的には、図１５で示されるように、第３縮小基準画像Ｇ１３に対して、基準点Ｓｐ１３を中心として包含する基準領域Ｗ１３が設定されるとともに、第３縮小参照画像Ｇ２３に対して、処理対象点Ｐｐ２３を中心として包含する比較領域Ｗ２３が設定される。

また、図１６で示されるように、第２縮小基準画像Ｇ１２に対して、基準点Ｓｐ１２を中心として包含する基準領域Ｗ１２が設定されるとともに、第２縮小参照画像Ｇ２２に対して、処理対象点Ｐｐ２２を中心として包含する比較領域Ｗ２２が設定される。

また、図１７で示されるように、第１縮小基準画像Ｇ１１に対して、基準点Ｓｐ１１を中心として包含する基準領域Ｗ１１が設定されるとともに、図１８で示されるように、第１縮小参照画像Ｇ２１に対して、処理対象点Ｐｐ２１を中心として包含する比較領域Ｗ２１が設定される。

更に、図１９で示されるように、基準画像Ｇ１に対して、基準点Ｓｐ１を中心として包含する基準領域Ｗ１が設定されるとともに、図２０で示されるように、参照画像Ｇ２に対して、処理対象点Ｐｐ２を中心として包含する比較領域Ｗ２が設定される。

＜(2-1-7)周波数解析部＞
周波数解析部３６７は、画像を正弦波に係る周波数成分を示す情報に変換する処理（以下「変換処理」とも称する）を実行する。この変換処理は、各基準領域Ｗ１，Ｗ１１〜Ｗ１３に対して行われるとともに、各比較領域Ｗ２，Ｗ２１〜Ｗ２３に対して行われる。

ここでは、周波数解析部３６７における変換処理が、各画像領域を対象とした公知のフーリエ変換によって実行されるものとする。ここでは、各基準領域Ｗ１，Ｗ１１〜Ｗ１３および各比較領域Ｗ２，Ｗ２１〜Ｗ２３ともに離散的に配列される各座標に対して画素値が与えられている離散関数を示すため、離散フーリエ変換が行われる。

具体的には、変換部としての周波数解析部３６７によって、基準領域Ｗ１３を対象とした２次元のフーリエ変換によって基準領域Ｗ１３に係る正弦波の周波数成分を示す情報（以下「周波数成分情報」とも称する）が得られ、比較領域Ｗ２３を対象とした２次元のフーリエ変換によって比較領域Ｗ２３に係る周波数成分情報が得られる。また、基準領域Ｗ１２を対象とした２次元のフーリエ変換によって基準領域Ｗ１２に係る周波数成分情報が得られ、比較領域Ｗ２２を対象とした２次元のフーリエ変換によって比較領域Ｗ２２に係る周波数成分情報が得られる。

また、基準領域Ｗ１１を対象とした２次元のフーリエ変換によって基準領域Ｗ１１に係る周波数成分情報が得られ、比較領域Ｗ２１を対象とした２次元のフーリエ変換によって比較領域Ｗ２１に係る周波数成分情報が得られる。更に、基準領域Ｗ１を対象とした２次元のフーリエ変換によって基準領域Ｗ１に係る周波数成分情報が得られ、比較領域Ｗ２を対象とした２次元のフーリエ変換によって比較領域Ｗ２に係る周波数成分情報が得られる。

なお、本実施形態では、２次元画像の周波数成分を取り扱うため、各周波数は、例えば、ｘ方向に係る周波数ｕと、ｘ方向に直交するｙ方向に係る周波数ｖとが合成された周波数となる。この合成された周波数は、周波数(ｕ，ｖ)で示される。また、周波数解析部３６７における変換処理については、所謂ウェーブレット変換等、その他の方法によって実行されても良い。

＜(2-1-8)周波数成分制限部＞
＜(2-1-8-1)周波数成分の制限の概要＞
周波数成分制限部３６８は、周波数解析部３６７で生成された周波数成分情報を所定の制限ルールに従って制限した上で、相関演算部３６９に対して出力する。これにより、相関演算部３６９における基準領域と比較領域との間における相関値を求める演算（以下「相関演算」とも称する）においては、周波数解析部３６７で生成された周波数成分情報のうちの一部の周波数成分情報については使用されず、残余の一部の周波数成分情報が選択的に使用されることになる。

具体的には、１つの基準点Ｓｐ１に対して、或る処理対象画像ペアを対象とした対応点探索処理の相関演算で得られる相関値の高低に応じて、該或る処理対象画像ペアよりも解像度が１段階高い処理対象画像ペアを対象とした対応点探索処理の相関演算で使用される周波数成分情報が制限される。

例えば、まず、第３層の基準領域Ｗ１３と比較領域Ｗ２３とに係る周波数成分情報に基づいて得られる基準領域Ｗ１３と比較領域Ｗ２３との間における相関値の高低に応じて、第２層の基準領域Ｗ１２と比較領域Ｗ２２とを対象とした相関演算において使用される周波数成分情報が制限される。

次に、第２層の基準領域Ｗ１２と比較領域Ｗ２２とに係る周波数成分情報に基づいて得られる基準領域Ｗ１２と比較領域Ｗ２２との間における相関値の高低に応じて、第１層の基準領域Ｗ１１と比較領域Ｗ２１とを対象とした相関演算において使用される周波数成分情報が制限される。

その次に、第１層の基準領域Ｗ１１と比較領域Ｗ２１とに係る周波数成分情報に基づいて得られる基準領域Ｗ１１と比較領域Ｗ２１との間における相関値の高低に応じて、基準領域Ｗ１と比較領域Ｗ２とを対象とした相関演算において使用される周波数成分情報が制限される。

詳細には、以下で説明される重み付け係数の決定により、相関演算部３６９における相関演算での使用が制限される周波数成分情報の周波数の範囲（以下「使用制限周波数範囲」とも称する）が設定される。

なお、以下では、或る解像度の処理対象画像ペアを基準として、解像度が１段階低い処理対象画像ペアを対象とした対応点探索処理を「前段の対応点探索処理」とも称する。また、或る解像度の処理対象画像ペアを基準として、解像度が１段階高い処理対象画像ペアを対象とした対応点探索処理を「次段の対応点探索処理」とも称する。

ここで、重み付け係数の決定による使用制限周波数範囲の設定について説明する。

或る対応点探索処理で得られる相関値が高い場合、次段の対応点探索処理における処理対象点の近傍に基準点に対応する対応点があると予測される。このような場合、この次段の対応点探索処理では、処理対象点からある程度離れた位置について対応点を探索する必要がない。

なお、１つの処理対象画像ペアを成す基準領域と比較領域との間における画像のパターンの差が微小な場合、相対的に高い周波数（以下「高周波」と称する）の周波数成分よりも、相対的に低い周波数（以下「低周波」と称する）の周波数成分の方が、基準領域の周波数成分と比較領域の周波数成分との差が小さくなる。

上記のことから、或る対応点探索処理の相関演算で得られる相関値が高い場合には、次段の対応点探索処理では処理対象点の近傍での対応点探索処理が高精度に行われれば良い。換言すれば、或る対応点探索処理で得られる相関値が高ければ高いほど、その次段の対応点探索処理における探索精度の確保に対する低周波の周波数成分の寄与度が低くなる。逆に、或る対応点探索処理で得られる相関値が低ければ低いほど、その次段の対応点探索処理における探索精度の確保に対する高周波の周波数成分の寄与度が低い。

そこで、或る対応点探索処理では、その前段の対応点探索処理で得られる相関値が高ければ、周波数成分制限部３６８によって、低周波の周波数成分に対する重み付けが低減される。逆に、その前段の対応点探索処理で得られる相関値が低ければ、周波数成分制限部３６８によって、高周波の周波数成分に対する重み付けが低減される。

詳細には、前段の対応点探索処理で得られる相関値が大きくなるに従って、周波数解析部３６７で得られる各周波数に係る周波数成分情報のうちの最も低周波側からより広範囲の周波数に係る周波数成分情報の使用が制限されるように使用制限周波数範囲が設定される。これにより、演算量の低減による探索速度の向上が図られ、対応点探索処理における精度の維持と速度の向上とが両立する。

一方、前段の対応点探索処理で得られた相関値が小さくなるに従って、周波数解析部３６７で得られる各周波数に係る周波数成分情報のうちの最も高周波側からより広範囲の周波数に係る周波数成分情報の使用が制限されるように使用制限周波数範囲が設定される。これにより、演算量の低減による探索速度の向上が図られ、対応点探索処理における精度の維持と速度の向上とが両立する。

＜(2-1-8-2)周波数成分の制限方法の具体例＞
次に、周波数成分制限部３６８における周波数成分の制限方法の具体例を説明する。

ここでは、前段の対応点の探索処理で得られる相関値の最大値（以下「ピーク相関値」とも称する）Ｃ_maxごとに、周波数と重み付け係数との関係（すなわち重み付けルール）を示す情報が、記憶部３４等に予め記憶されている。そして、この情報が参照されつつ、周波数成分制限部３６８における処理が実施される。

周波数成分制限部３６８では、次の処理(ｉ)〜(iii)がこの順番で行われる。

(ｉ)相関演算部３６９における前段の対応点探索処理で得られるピーク相関値Ｃ_maxに応じて、該ピーク相関値Ｃ_maxに対応する重み付けルールが採用される。

(ii)処理(ｉ)で採用された重み付けルールに従って各周波数に係る周波数成分（具体的には振幅情報）に対して重み付け係数が乗じられる。

(iii)処理(ii)で振幅情報に対して重み付け係数が乗ぜられた後の各周波数に係る周波数成分を示す周波数成分情報が、相関演算部３６９に対して出力される。

このような流れで、周波数成分制限部３６８では、周波数解析部３６７で生成された周波数成分情報が、前段の相関演算で得られるピーク相関値Ｃ_maxに応じた重み付けルールに従って制限される。

図２１は、或るピーク相関値Ｃ_maxに対して設定される周波数と重み付け係数との関係（すなわち、重み付けルール）を例示する図である。

図２１では、縦軸が重み付け係数の大小を示し、横軸が周波数の大小を示す。また、太い破線の曲線ＬＬ１が、低周波の周波数成分が重視される重み付けのルール（以下「低周波重視型ルール」とも称する）についての周波数と重み付け係数との関係を示す。更に、太線で示される階段状の複数の線分ＬＨ１が、高周波の周波数成分が重視される重み付けのルール（以下「高周波重視型ルール」とも称する）についての周波数と重み付け係数との関係を示す。

図２１で示されるような重み付けルールに従った周波数成分に対する重み付けの処理では、離散的な各周波数に対して、低周波重視型ルールの重み付け係数Ｗ_LOWと高周波重視型ルールの重み付け係数Ｗ_HIGHのうち、相対的に低い重み付け係数が採用される。

例えば、ここで、離散的な周波数をｉ（ｉ＝０〜ｉ_max）、ピーク相関値Ｃ_maxと周波数ｉとの双方に対応する低周波重視型ルールの重み付け係数をＷ_LOW(ｉ，Ｃ_max)、ピーク相関値Ｃ_maxと周波数ｉとの双方に対応する高周波重視型ルールの重み付け係数をＷ_HIGH(ｉ，Ｃ_max)とする。また、周波数ｉの振幅をｆ_iとする。

この場合、下式(１)の関係を満たす周波数ｉに対して、低周波重視型ルールの重み付け係数Ｗ_LOW(ｉ，Ｃ_max)が採用され、下式(２)で示されるように、振幅ｆ_iに低周波重視型ルールの重み付け係数Ｗ_LOW(ｉ，Ｃ_max)が乗ぜられた値が、重み付け後の振幅ｆ_iAFTERとなる。

Ｗ_LOW(ｉ，Ｃ_max)＜Ｗ_HIGH(ｉ，Ｃ_max) ・・・(１)
ｆ_iAFTER＝Ｗ_LOW(ｉ，Ｃ_max)×ｆ_i ・・・(２)

一方、上式(１)の関係を満たさない周波数ｉに対しては、高周波重視型ルールの重み付け係数Ｗ_HIGH(ｉ，Ｃ_max)が採用され、下式(３)で示されるように、振幅ｆ_iに高周波重視型ルールの重み付け係数Ｗ_HIGH(ｉ，Ｃ_max)が乗ぜられた値が、重み付け後の振幅ｆ_iAFTERとなる。

ｆ_iAFTER＝Ｗ_HIGH(ｉ，Ｃ_max)×ｆ_i ・・・(３)

ここでは、図２１で示されるように、最も低周波側からある程度の周波数の範囲（以下「低周波側制限範囲」とも称する）ＲＬ１において、重み付け係数がゼロになるとともに、最も高周波側からある程度の周波数の範囲（以下「高周波側制限範囲」とも称する）ＲＨ１において、重み付け係数がゼロになる。そして、振幅ｆ_iにゼロの重み付け係数が乗ぜられれば、振幅ｆ_iAFTERがゼロになるため、その振幅ｆ_iAFTERを含む周波数成分は、実体を失うことになる。

このため、重み付け係数によって、低周波側制限範囲ＲＬ１の周波数に係る周波数成分情報を相関演算で使用することが制限されるとともに、高周波側制限範囲ＲＨ１の周波数に係る周波数成分情報を相関演算で使用することが制限される。よって、ここでは、低周波側制限範囲ＲＬ１および高周波側制限範囲ＲＨ１が、使用制限周波数範囲に相当する。

また、ここでは、前段の相関演算で得られるピーク相関値Ｃ_maxが大ければ大きいほど、低周波側制限範囲ＲＬ１が拡げられ、該ピーク相関値Ｃ_maxが小さければ小さいほど、高周波側制限範囲ＲＨ１が拡げられるように使用制限周波数範囲が設定される。

図２２は、図２１で示される重み付けルールと比較して、低周波側制限範囲ＲＬ１が拡げられるとともに高周波側制限範囲ＲＨ１が狭められた重み付けルールを示す図である。図２２で示される重み付けルールは、図２１で示される重み付けルールよりも、前段の相関演算で得られるピーク相関値Ｃ_maxが大きい場合の重み付けルールに相当する。

なお、重み付け係数Ｗ_LOW(ｉ，Ｃ_max)，Ｗ_HIGH(ｉ，Ｃ_max)とピーク相関値Ｃ_maxとの関係は、テーブルの形式や定式化された関係式の形式で記憶部３４に記憶されるような態様が考えられる。

また、周波数ｉと重み付け係数Ｗ_LOW(ｉ，Ｃ_max)，Ｗ_HIGH(ｉ，Ｃ_max)との関係については、図２１の太い破線で描かれる曲線ＬＬ１のように、周波数ｉの変化とともに重み付け係数Ｗ_LOW(ｉ，Ｃ_max)，Ｗ_HIGH(ｉ，Ｃ_max)が連続的に変化するものであっても良いし、図２１の太線で描かれる階段状の複数の線分ＬＨ１のように、周波数ｉの変化ととともに、離散的な閾値を超える度に重み付け係数Ｗ_LOW(ｉ，Ｃ_max)，Ｗ_HIGH(ｉ，Ｃ_max)が段階的に変化するような関係であっても良い。

また、各周波数ｉについて、相関値（ここでは、ピーク相関値Ｃ_max）と重み付け係数との関係が設定されており、前段で求められる相関値（ここでは、ピーク相関値Ｃ_max）に応じて、各周波数ｉに対する重み付け係数が一義的に決まっても良い。なお、相関値と重み付け係数との関係としては、直線的な関係（図２３）、曲線的な関係（図２４）、相関値が閾値に到達する度に重み付け係数が段階的に切り替わるような関係（図２５）のうちの何れであっても良い。

＜(2-1-8-3)周波数成分制限部からの出力＞
周波数成分制限部３６８では、周波数解析部３６７で算出された周波数成分について、周波数ｉごとに設定される重み付け係数が振幅に乗ぜられ、重み付け後の周波数成分を示す周波数成分情報が、相関演算部３６９に対して出力される。つまり、周波数ｉごとに、上式(２)，(３)で示されるような重み付け後の振幅ｆ_iAFTERの振幅情報を含む周波数成分情報が出力される。

このとき、周波数ｉの振幅ｆ_iに対してゼロの重み付け係数が乗ぜられていれば、振幅ｆ_iAFTERがゼロとなり、周波数成分の実体が失われるため、その周波数ｉについての周波数成分情報は出力されないことになる。

これにより、周波数解析部３６７で生成される周波数成分情報のうちの一部の周波数成分情報が相関演算部３６９における相関演算で使用されないように、周波数成分情報が制限される。

なお、前段の相関値が得られていない場合、すなわち最下層（３層目）の低解像度の画像の組（具体的には、第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３）が、処理対象画像ペアとして指定されている場合には、周波数成分制限部３６８における周波数成分情報の制限は行われない。つまり、周波数解析部３６７における変換処理によって得られた周波数成分情報が、相関演算部３６９に対してそのまま出力される。

＜(2-1-9)相関演算部＞
相関演算部３６９は、周波数成分制限部３６８から出力される基準領域に係る周波数成分情報と比較領域に係る周波数成分情報とに基づいて、基準領域と比較領域との間における相関値を算出する。つまり、相関演算部３６９では、周波数成分制限部３６８において重み付け係数の乗算によって制限された周波数成分情報が用いられて、基準領域と比較領域との間における相関値が算出される。

そして、相関演算部３６９では、各基準点Ｓｐ１について、第３層の基準領域Ｗ１３と比較領域Ｗ２３との間における相関値、第２層の基準領域Ｗ１２と比較領域Ｗ２２との間における相関値、第１層の基準領域Ｗ１１と比較領域Ｗ２１との間における相関値、および基準領域Ｗ１と比較領域Ｗ２との間における相関値が順次に算出される。

相関演算部３６９における相関値を算出する相関演算の方法としては、例えば、上記非特許文献１で提案されている方法「Phase-Differnce Spectrum Analysis（ＰＳＡ法）」の採用が可能である。

以下、ＰＳＡ法を用いた相関演算の方法について説明する。

ここでは、相関演算の対象となっている基準領域と比較領域との組について、該基準領域と比較領域との間における周波数(ｕ，ｖ)の正弦波についての位相の差（位相差）がΔθ(ｕ，ｖ)とされ、基準領域における基準点の位置と比較領域における対応点の位置との間におけるＸ方向およびＹ方向におけるズレ量（視差）がｄｘおよびｄｙとされる。そして、相関演算の対象となっている矩形状の基準領域と比較領域を構成するＸ方向およびＹ方向の画素数がそれぞれＭおよびＮとされると、下式(４)の関係が成立する。

ｄｙ＝−(Ｎ／Ｍ)×(ｕ／ｖ)×ｄｘ＋(Ｎ／２π)×Δθ(ｕ，ｖ)／ｖ ・・・(４)

上式(４)のうち、基準領域と比較領域のサイズを示す値Ｍ，Ｎは設計によって定まり、各周波数(ｕ，ｖ)に対する位相差Δθ(ｕ，ｖ)は、周波数成分制限部３６８から入力される周波数成分情報によって得られる。このため、上式(４)に対して、設計値である値Ｍ，Ｎが代入されるとともに、周波数(ｕ，ｖ)毎に位相差Δθ(ｕ，ｖ)が代入されることで、各周波数(ｕ，ｖ)についての視差ｄｘと視差ｄｙとの関係を示す一次関数（以下「視差一次関数」とも称する）が得られる。

このため、ＰＳＡ法を用いた相関演算では、次の工程(Ａ)，(Ｂ)がこの順番で順次に行われることで、基準領域と比較領域との間における相関値（ここでは、ピーク相関値Ｃ_max）が得られる。

(Ａ)上式(４)に従って、周波数(ｕ，ｖ)毎に、位相差Δθ(ｕ，ｖ)が、基準点と対応点とに係る視差(ｄｘ，ｄｙ)に変換されて、視差一次関数が得られる。

(Ｂ)工程(Ａ)で得られる各周波数(ｕ，ｖ)の視差一次関数に基づいて、視差ｄｘを横軸、視差ｄｙを縦軸とする所定サイズの空間（以下「投票空間」とも称する）の各座標に対する投票が行われる。これにより、投票空間の各座標に対する投票数の積算値の分布が得られる。このとき、投票数の積算値の最大値がピーク相関値Ｃ_maxとして得られる。

ここで、投票空間の各座標に対する投票について説明する。

図２６は、投票空間Ｄ３６９を例示する模式図である。

図２６で示されるように、投票空間Ｄ３６９は、縦軸と横軸とが直交する２次元の空間座標系によって構成され、その横軸は視差ｄｘを示し、縦軸は視差ｄｙを示す。投票空間Ｄ３６９のサイズは、扱われる周波数(ｕ，ｖ)の数や対応点を探索する対象となる領域の大きさに応じて決められれば良い。

また、例えば、視差(ｄｘ，ｄｙ)を±１画素の範囲で０．１画素刻みで探索する場合、投票空間Ｄ３６９には、原点（０，０）を含む０．１画素刻みの投票可能な座標のポイント（以下「投票可能座標ポイント」とも称する）が設定される。具体的には、図２６で示されるように、縦方向（ｄｙ方向）に２１箇所および横方向（ｄｘ方向）に２１箇所の投票可能座標ポイントがマトリックス状に設けられる。なお、図２６では、各投票可能座標ポイントが、模式的に正方形の領域で示されている。

図２７および図２８は、投票空間Ｄ３６９への投票方法を説明するための図である。

図２７で示されるように、各周波数(ｕ，ｖ)について、投票空間Ｄ３６９に、視差一次関数で示される直線（図中太線）が引かれる。そして、各周波数(ｕ，ｖ)について、投票空間Ｄ３６９を構成する多数の投票可能座標ポイントのうち、視差一次関数に係る直線が通る全ての投票可能座標ポイントに対して、投票値が与えられる。例えば、図２７で示される視差一次関数に係る直線に対しては、図２８で示されるような複数の投票可能座標ポイントに対して投票値が与えられる。

各周波数(ｕ，ｖ)について、投票可能座標ポイントに対して投票値が与えられる際には、振幅の大小に応じた投票値が与えられる。具体的には、振幅の増大に応じて、投票値が大きくなるようにすれば良い。例えば、振幅が増大すれば増大するほど、投票値が大きくなるような態様であっても良いし、振幅に対して１以上の閾値を設け、振幅が増大する際に閾値を超える度に投票値が、１、２、３、・・・と段階的に増加するような態様であっても良い。

そして、各周波数(ｕ，ｖ)について、投票空間Ｄ３６９への投票値の付与（すなわち投票）が順次に行われることで、投票可能座標ポイント毎に、投票値が積算される。このとき、重み付けによって振幅がゼロとなった周波数(ｕ，ｖ)に係る周波数成分情報については、投票空間Ｄ３６９への投票値の付与には利用されない。つまり、或る解像度の基準領域と比較領域との間における相関を示す相関値の算出は、その解像度の基準領域と比較領域の周波数成分情報のうち、前段のピーク相関値Ｃ_maxに応じて設定される使用制限周波数範囲に属しない周波数の周波数成分情報に基づいて行われる。

このような投票値の付与によって、投票空間Ｄ３６９における投票値の積算値（以下「投票積算値」とも称する）の分布が得られる。ここで得られる投票積算値の分布が、基準画像と参照画像との間における相関を示しており、最大の投票積算値が、ピーク相関値Ｃ_maxとなる。なお、視差一次関数に係る直線が頻繁に交わる点の近傍の投票可能座標ポイントに付与される投票積算値が、ピーク相関値Ｃ_maxとなる。

相関演算部３６９では、投票空間Ｄ３６９における投票積算値の分布を示す情報が、対応点決定部３７０に対して出力されるとともに、ピーク相関値Ｃ_maxを示す情報が、周波数成分制限部３６８に対して出力される。

＜(2-1-10)対応点決定部＞
対応点決定部３７０は、各解像度の基準領域と比較領域の組に対し、相関演算部３６９で得られた投票積算値の分布を示す情報に基づいて、基準領域における基準点と比較領域における対応点とのズレ量（視差）を導出する。具体的には、投票積算値の分布のうち、最大の投票積算値すなわちピーク相関値Ｃ_maxに対応する視差(ｄｘ，ｄｙ)が導出される。そして、対応点決定部３７０は、各基準点Ｓｐ１１〜Ｓｐ１３に対応する対応点を認識するとともに、基準領域Ｗ１と比較領域Ｗ２との間における視差(ｄｘ，ｄｙ)に基づいて、各基準点Ｓｐ１に対応する参照画像Ｇ２上の対応点を決定する。

例えば、３層目（最下層）の低解像度に係る基準領域Ｗ１３と比較領域Ｗ２３との間における視差が導出される。また、２層目の低解像度に係る基準領域Ｗ１２と比較領域Ｗ２２との間における視差が導出される。更に、１層目の低解像度に係る基準領域Ｗ１１と比較領域Ｗ２１との間における視差が導出される。そして、基準領域Ｗ１と比較領域Ｗ２との間における視差が導出される。このとき、基準点Ｓｐ１に対応する参照画像Ｇ２上の対応点が決定される。

そして、ここでは、ピーク相関値Ｃ_maxは、各解像度について、基準点とピーク相関値Ｃ_maxが得られた対応点との相関を示す相関値に相当する。

なお、対応点決定部３７０で導出される視差は、次段の基準視差を設定するために基準視差設定部３６５に対して適宜出力される。また、対応点決定部３７０において視差が導出されたことに応答して、画像指定部３６４および探索基準点設定部３６３に対して信号が送出される。

＜(3)対応点探索動作のフロー＞
図２９から図３１は、情報処理システム１Ａにおいて実現される対応点探索動作のフローを例示するフローチャートである。例えば、ユーザーによる操作部３１に対する操作に応じて、本動作フローが開始されて、図２９のステップＳＴ１に進む。

ステップＳＴ１では、画像取得部３６１によって、基準画像Ｇ１と参照画像Ｇ２とからなるステレオ画像が取得される。

ステップＳＴ２では、解像度変換部３６２によって、基準画像Ｇ１と参照画像Ｇ２とに対して解像度の変換処理が行われる。具体的には、基準画像Ｇ１から解像度を低下させた第１〜３縮小基準画像Ｇ１１〜Ｇ１３が生成されるとともに、参照画像Ｇ２から解像度を低下させた第１〜３縮小参照画像Ｇ２１〜Ｇ２３が生成される。

ステップＳＴ３では、探索基準点設定部３６３によって、基準画像Ｇ１に対して基準点Ｓｐ１が設定される。なお、ステップＳＴ３では、１つの基準点Ｓｐ１に対して参照画像Ｇ２から対応点が検出される度に、後述される図３１のステップＳＴ２２から戻って来て、新たな基準点Ｓｐ１が設定される。

ステップＳＴ４では、画像指定部３６４によって、最下層（３層目）の低解像度の画像の組（具体的には、第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３）が、処理対象画像ペアとして指定される。

ステップＳＴ５では、基準視差設定部３６５によって、第３縮小基準画像Ｇ１３上に基準点Ｓｐ１に対応する基準点Ｓｐ１３が設定されるとともに、第３縮小参照画像Ｇ２３上に処理対象点Ｐｐ２３が設定される。すなわち、ステップＳＴ４で指定された処理対象画像ペアに対して、基準視差の初期値が設定される。

ステップＳＴ６では、ウインドウ設定部３６６によって、第３縮小基準画像Ｇ１３に対して、基準点Ｓｐ１３を中心として包含する基準領域Ｗ１３が設定されるとともに、第３縮小参照画像Ｇ２３に対して、処理対象点Ｐｐ２３を中心として包含する比較領域Ｗ２３が設定される。

ステップＳＴ７では、周波数解析部３６７によって、ステップＳＴ６で設定された基準領域Ｗ１３が周波数成分情報に変換されるとともに、ステップＳＴ６で設定された比較領域Ｗ２３が周波数成分情報に変換される。ここで得られる周波数成分情報は、周波数成分制限部３６８を介して、そのまま相関演算部３６９に対して出力される。

ステップＳＴ８では、相関演算部３６９によって、ステップＳＴ７で得られた基準領域Ｗ１３に係る周波数成分情報と比較領域Ｗ２３に係る周波数成分情報とに基づく相関演算が行われる。この相関演算によって、投票積算値の分布が得られるとともに、基準領域Ｗ１３と比較領域Ｗ２３との間の相関を示すピーク相関値Ｃ_maxが算出される。

ステップＳＴ９では、対応点決定部３７０によって、ステップＳＴ８で得られた投票積算値の分布に基づいて、ピーク相関値Ｃ_maxに対応する視差(ｄｘ，ｄｙ)が導出されるとともに、基準点Ｓｐ１３に対応する第３縮小参照画像Ｇ２３上の対応点が認識される。このステップＳＴ９の処理が終了されると、図３０のステップＳＴ１１に進む。

図３０のステップＳＴ１１では、画像指定部３６４によって、前段の処理対象画像ペアよりも１つ解像度が高い層に属する画像の組が、処理対象画像ペアとして指定される。

例えば、前段の処理対象画像ペアが、３層目の解像度の画像の組である第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３であれば、２層目の解像度の画像の組である第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２とが指定される。また、前段の処理対象画像ペアが、２層目の解像度の画像の組である第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２であれば、１層目の解像度の画像の組である第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１とが指定される。更に、前段の処理対象画像ペアが、１層目の解像度の画像の組である第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１であれば、基準画像Ｇ１と参照画像Ｇ２とが指定される。

ステップＳＴ１２では、基準視差設定部３６５によって、直近のステップＳＴ１１で指定された処理対象画像ペアに対し、基準視差が設定される。ここでは、ステップＳＴ９またはステップＳＴ１７で認識される前段の視差に応じた基準視差が設定される。

例えば、前段である３層目の解像度について認識された視差に応じて、第２縮小基準画像Ｇ１２に対して、基準点Ｓｐ１に対応する基準点Ｓｐ１２が設定されるとともに、第２縮小参照画像Ｇ２２に対して処理対象点Ｐｐ２２が設定される。また、前段である２層目の解像度について認識された視差に応じて、第１縮小基準画像Ｇ１１に対して、基準点Ｓｐ１に対応する基準点Ｓｐ１１が設定されるとともに、第１縮小参照画像Ｇ２１に対して処理対象点Ｐｐ２１が設定される。更に、前段である１層目の解像度について認識された視差に応じて、基準画像Ｇ１の基準点Ｓｐ１を基準とした処理対象点Ｐｐ２が参照画像Ｇ２上に設定される。

ステップＳＴ１３では、ウインドウ設定部３６６によって、直近のステップＳＴ１１で指定された処理対象画像ペアに対し、直近のステップＳＴ１２で設定された基準点と処理対象点とが基準とされて、基準領域と比較領域とが設定される。

例えば、直近のステップＳＴ１１で指定された処理対象画像ペアが、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組であれば、直近のステップＳＴ１２で設定された基準点Ｓｐ１２と処理対象点Ｐｐ２２とが基準とされて、第２縮小基準画像Ｇ１２に対して基準領域Ｗ１２が設定されるとともに、第２縮小参照画像Ｇ２２に対して比較領域Ｗ２２が設定される。また、直近のステップＳＴ１１で指定された処理対象画像ペアが、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組であれば、直近のステップＳＴ１２で設定された基準点Ｓｐ１１と処理対象点Ｐｐ２１とが基準とされて、第１縮小基準画像Ｇ１１に対して基準領域Ｗ１１が設定されるとともに、第１縮小参照画像Ｇ２１に対して比較領域Ｗ２１が設定される。また、直近のステップＳＴ１１で指定された処理対象画像ペアが、基準画像Ｇ１と参照画像Ｇ２との組であれば、基準点Ｓｐ１と直近のステップＳＴ１２で設定された処理対象点Ｐｐ２とが基準とされて、基準画像Ｇ１に対して基準領域Ｗ１が設定されるとともに、参照画像Ｇ２に対して比較領域Ｗ２が設定される。

ステップＳＴ１４では、周波数解析部３６７によって、直近のステップＳＴ１３で設定された基準領域が周波数成分情報に変換されるとともに、直近のステップＳＴ１３で設定された比較領域が周波数成分情報に変換される。

例えば、直近のステップＳＴ１３で設定された基準領域Ｗ１２が周波数成分情報に変換されるとともに、直近のステップＳＴ１３で設定された比較領域Ｗ２２が周波数成分情報に変換される。また、直近のステップＳＴ１３で設定された基準領域Ｗ１１が周波数成分情報に変換されるとともに、直近のステップＳＴ１３で設定された比較領域Ｗ２１が周波数成分情報に変換される。また、直近のステップＳＴ１３で設定された基準領域Ｗ１が周波数成分情報に変換されるとともに、直近のステップＳＴ１３で設定された比較領域Ｗ２が周波数成分情報に変換される。

ステップＳＴ１５では、周波数成分制限部３６８によって、直近のステップＳＴ１４で生成された周波数成分情報が、前段の相関演算で得られたピーク相関値Ｃ_maxに応じた重み付けルールに従って制限される。ここでは、前段の相関演算で得られるピーク相関値Ｃ_maxに基づいて、相関演算における周波数成分情報の使用が制限される使用制限周波数範囲（例えば、低周波側制限範囲ＲＬ１や高周波側制限範囲ＲＨ１など）が設定される。そして、この使用制限周波数範囲に応じて、直近のステップＳＴ１４で生成された周波数成分情報が制限された上で、相関演算部３６９に対して出力される。

例えば、直近のステップＳＴ１３で基準領域Ｗ１２と比較領域Ｗ２２とが設定されておれば、基準領域Ｗ１２に係る周波数成分情報と比較領域Ｗ２２に係る周波数成分情報とが使用制限周波数範囲に応じて制限された上で出力される。また、直近のステップＳＴ１３で基準領域Ｗ１１と比較領域Ｗ２１とが設定されておれば、基準領域Ｗ１１に係る周波数成分情報と比較領域Ｗ２１に係る周波数成分情報とが使用制限周波数範囲に応じて制限された上で出力される。直近のステップＳＴ１３で基準領域Ｗ１と比較領域Ｗ２とが設定されておれば、基準領域Ｗ１に係る周波数成分情報と比較領域Ｗ２に係る周波数成分情報とが使用制限周波数範囲に応じて制限された上で出力される。

ステップＳＴ１６では、相関演算部３６９によって、ステップＳＴ１５で周波数成分制限部３６８から出力された使用制限周波数範囲外の周波数の周波数成分情報に基づいて、直近のステップＳＴ１３で設定された基準領域と比較領域との間における相関演算が行われる。この相関演算によって、投票積算値の分布が得られるとともに、基準領域と比較領域との間における相関を示すピーク相関値Ｃ_maxが算出される。

例えば、直近のステップＳＴ１５で周波数成分制限部３６８から基準領域Ｗ１２と比較領域Ｗ２２とに係る使用制限周波数範囲外の周波数の周波数成分情報が出力されていれば、基準領域Ｗ１２と比較領域Ｗ２２との間における、投票積算値の分布とピーク相関値Ｃ_maxとが得られる。また、直近のステップＳＴ１５で周波数成分制限部３６８から基準領域Ｗ１１と比較領域Ｗ２１とに係る使用制限周波数範囲外の周波数の周波数成分情報が出力されていれば、基準領域Ｗ１１と比較領域Ｗ２１との間における、投票積算値の分布とピーク相関値Ｃ_maxとが得られる。また、直近のステップＳＴ１５で周波数成分制限部３６８から基準領域Ｗ１と比較領域Ｗ２とに係る使用制限周波数範囲外の周波数の周波数成分情報が出力されていれば、基準領域Ｗ１と比較領域Ｗ２との間における、投票積算値の分布とピーク相関値Ｃ_maxとが得られる。

ステップＳＴ１７では、対応点決定部３７０によって、ステップＳＴ１６で得られた投票積算値の分布に基づいて、ピーク相関値Ｃ_maxに対応する視差(ｄｘ，ｄｙ)が導出されるとともに、直近のステップＳＴ１１で指定された処理対象画像ペアについて、基準点に対応する対応点が認識される。

例えば、直近のステップＳＴ１１で指定された処理対象画像ペアが、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組であれば、第２縮小基準画像Ｇ１２上の基準点Ｓｐ１２に対応する第２縮小参照画像Ｇ２２上の対応点が認識される。また、直近のステップＳＴ１１で指定された処理対象画像ペアが、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組であれば、第１縮小基準画像Ｇ１１上の基準点Ｓｐ１１に対応する第１縮小参照画像Ｇ２１上の対応点が認識される。また、直近のステップＳＴ１１で指定された処理対象画像ペアが、基準画像Ｇ１と参照画像Ｇ２との組であれば、基準画像Ｇ１上の基準点Ｓｐ１に対応する参照画像Ｇ２上の対応点が認識される。

ステップＳＴ１８では、対応点決定部３７０によって、直近のステップＳＴ１１で指定された処理対象画像ペアよりも解像度が１段階上の層の画像の組があるか否か判定される。ここでは、解像度が１段階上の層の画像の組があれば、ステップＳＴ１１に進み、解像度が１段階上の層の画像の組がなければ、ステップＳＴ１９に進む。

例えば、直近のステップＳＴ１１で指定された処理対象画像ペアが、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組であれば、解像度が１段階上の層の画像の組に相当する第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が存在する。また、直近のステップＳＴ１１で指定された処理対象画像ペアが、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組であれば、解像度が１段階上の層の画像の組に相当する基準画像Ｇ１と参照画像Ｇ２との組が存在する。一方、直近のステップＳＴ１１で指定された処理対象画像ペアが、基準画像Ｇ１と参照画像Ｇ２との組であれば、解像度が１段階上の層の画像の組が存在していない。

ステップＳＴ１９では、対応点決定部３７０によって、直近のステップＳＴ１７で認識された参照画像Ｇ２上の対応点が、直近のステップＳＴ３で設定された基準点Ｓｐ１に対応する対応点として決定される。このステップＳＴ１９の処理が終了されると、図３１のステップＳＴ２１に進む。

図３１のステップＳＴ２１では、制御部３６によって、直近のステップＳＴ３で設定された基準点Ｓｐ１と、直近のステップＳＴ１９（図３０）で決定された対応点とが関連付けられて、記憶部３４に記憶される。

ステップＳＴ２２では、探索基準点設定部３６３によって、ステップＳＴ３において基準画像Ｇ１の全画素が基準点Ｓｐ１として既に設定されたか否かが判定される。ここで、未だに基準画像Ｇ１の全画素が基準点Ｓｐ１として設定されていなければ、図２９のステップＳＴ３に進み、次の基準点Ｓｐ１の設定が行われる。一方、既に基準画像Ｇ１の全画素が基準点Ｓｐ１として設定されていれば、本動作フローが終了される。

＜(4)一実施形態のまとめ＞
以上のように、一実施形態に係る情報処理システム１Ａによれば、複数の画像の間における類似の度合いを示す相関値に基づいて、該複数の画像にそれぞれ対応する解像度の異なる別の複数の画像の間における相関演算の演算量が低減される。このため、複数の画像を対象とした対応点探索処理における精度の維持と速度の向上とが両立する。

ここで言う「別の複数の画像」としては、上述したように、複数の画像の組からそれぞれ解像度を異ならせた複数の画像の組などが挙げられる。しかしながら、これに限られない。「別の複数の画像」としては、例えば、ステレオカメラ２によって、元の複数の画像とは少し異なる時刻に撮影されたステレオ画像であっても良い。

＜(5)変形例＞
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。

＜(5-1)第１変形例＞
例えば、上記一実施形態では、ステレオカメラ２による撮像によって得られる基準画像Ｇ１と参照画像Ｇ２との間における対応点探索動作を挙げて説明したが、これに限られない。例えば、本願発明の技術的思想は、単眼視のカメラ、すなわち１つの視点からの撮像によって時間的に連続して得られる複数の画像の間における対応点探索動作にも適用可能である。以下、具体例を示して説明する。

＜(5-1-1)第１変形例に係る情報処理システムの構成＞
図３２は、第１変形例に係る情報処理システム１Ｂの概略構成を示す図であり、図３３は、情報処理システム１Ｂの要部構成を示すブロック図である。

情報処理システム１Ｂは、上記一実施形態に係る情報処理システム１Ａと比較して、ステレオカメラ２が単眼のカメラ２Ｂに置換されたものであり、その他については同様な構成を有する。

但し、情報処理システム１Ｂでは、カメラ２Ｂによる順次の撮像によって、ｎ個（ｎは３以上の自然数）の撮像時刻の異なる画像ＧＢ１〜ＧＢｎが取得される。そして、このｎ個の画像ＧＢ１〜ＧＢｎの間で対応点探索処理が行われる。このため、制御部３６で実現される各種機能や各種情報処理等が上記一実施形態に係る制御部３６で実行される各種機能や各種情報処理等とは若干異なる。

具体的には、図３３で示されるように、情報処理システム１Ｂでは、上記一実施形態に係るプログラムＰＧａとは異なるプログラムＰＧｂが記憶部３４に記憶されている。そして、このプログラムＰＧｂが制御部３６によって読み込まれて実行されることで、本変形例に係る対応点探索動作の各種機能や各種情報処理が実現される。

カメラ２Ｂは、例えば、地面に対して位置および姿勢が固定され、時間順次のｎ回の撮像を行うことで、同一の視点から同一の被写体ＯＢＢの時間的な変化を捉えたｎ個の画像ＧＢ１〜ＧＢｎを取得する。

例えば、カメラ２Ｂが、いわゆるハイスピードカメラ等で構成されていれば、短時間で多数のフレーム画像を得ることができる。このとき、被写体ＯＢＢが動いていても、時間的に連続して得られたフレーム画像の間においては、同一の被写体ＯＢＢを捉えた部分は少ししかズレない。

なお、このカメラ２Ｂで時間順次に取得されるｎ個の画像ＧＢ１〜ＧＢｎは、いわゆる時系列の画像であり、データ線ＣＢを介して情報処理装置３に送信され、記憶部３４に記憶される。

以下では、カメラ２Ｂで時刻Ｔ１、時刻Ｔ２、時刻Ｔ３、・・・、時刻Ｔｎの撮像によってそれぞれ得られる画像を、「Ｔ１フレーム画像」ＧＢ１、「Ｔ２フレーム画像」ＧＢ２、「Ｔ３フレーム画像」ＧＢ３、・・・、「Ｔｎフレーム画像」ＧＢｎと称する。

図３４は、Ｔ１フレーム画像ＧＢ１の形態を例示する模式図であり、図３５は、Ｔ２フレーム画像ＧＢ２の形態を例示する模式図であり、図３６は、Ｔ３フレーム画像ＧＢ３の形態を例示する模式図である。図３４から図３６では、被写体ＯＢＢを捉えた画像領域（図中で斜線のハッチングが付された領域）が、少しずつ右方にシフトしている様子が示されている。

また、図４で示されるように、Ｔ１〜Ｔｎフレーム画像ＧＢ１〜ＧＢｎは、上記一実施形態に係る第１および第２撮像画像Ｇ１，Ｇ２と同様に、例えば、多数の画素がマトリックス状に配列されて構成される。具体的には、縦方向（Ｙ方向）に第１所定数（ここでは４８０個）の画素が配列されるとともに、横方向（Ｘ方向）に第２所定数（ここでは６４０個）の画素が配列される。

ここで、Ｔ１〜Ｔｎフレーム画像ＧＢ１〜ＧＢｎでは、上記一実施形態に係る第１および第２撮像画像Ｇ１，Ｇ２と同様に、左上の位置が原点とされ、Ｔ１〜Ｔｎフレーム画像ＧＢ１〜ＧＢｎの各画素における横方向の位置がＸ座標で示され、縦方向の位置がＹ座標で示される。つまり、Ｔ１〜Ｔｎフレーム画像ＧＢ１〜ＧＢｎでは、上記一実施形態に係る第１および第２撮像画像Ｇ１，Ｇ２と同様に、各画素の位置がＸＹの座標（ｘ，ｙ）で示され、例えば、右方向（Ｘ方向）に１画素ずれるとＸ座標の値が１つ増加し、下方向（Ｙ方向）に１画素ずれるとＹ座標の値が１つ増加する。

＜(5-1-2)第１変形例に係る対応点探索動作に係る機能的な構成＞
図３７は、本変形例の対応点探索動作を実行するために制御部３６で実現される機能的な構成を示す図である。なお、ここでは、制御部３６の機能的な構成が、プログラムＰＧｂの実行によって実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。

図３７で示されるように、制御部３６は、機能的な構成として、画像取得部３６１Ｂ、探索基準点設定部３６３Ｂ、基準視差設定部３６５Ｂ、ウインドウ設定部３６６Ｂ、周波数解析部３６７Ｂ、周波数成分制限部３６８Ｂ、相関演算部３６９Ｂ、および対応点決定部３７０Ｂを有する。

＜(5-1-2-1)第１変形例に係る画像取得部＞
画像取得部３６１Ｂは、カメラ２Ｂによって時間順次に取得されて記憶部３４に記憶されているＴ１〜Ｔｎフレーム画像ＧＢ１〜ＧＢｎから、対応点の探索処理を行う対象となる画像の組（処理対象画像ペア）を取得する。ここでは、ｍを自然数とすると、Ｔｍフレーム画像ＧＢｍとＴ(ｍ＋１)フレーム画像ＧＢ(ｍ＋１)とからなる処理対象画像ペアについて対応点が認識されると、Ｔ(ｍ＋１)フレーム画像ＧＢ(ｍ＋１)とＴ(ｍ＋２)フレーム画像ＧＢ(ｍ＋２)との組が、次の処理対象画像ペアとして取得される。

例えば、まず、Ｔ１フレーム画像ＧＢ１とＴ２フレーム画像ＧＢ２との組が、処理対象画像ペアとして取得される。次に、Ｔ２フレーム画像ＧＢ２とＴ３フレーム画像ＧＢ３との組が、処理対象画像ペアとして取得される。その次に、Ｔ３フレーム画像ＧＢ３とＴ４フレーム画像ＧＢ４との組が、処理対象画像ペアとして取得される。

なお、以下では、Ｔ(ｍ＋１)フレーム画像ＧＢ(ｍ＋１)とＴ(ｍ＋２)フレーム画像ＧＢ(ｍ＋２)とからなる処理対象画像ペアを対象とした対応点探索処理を基準として、Ｔｍフレーム画像ＧＢｍとＴ(ｍ＋１)フレーム画像ＧＢ(ｍ＋１)とからなる処理対象画像ペアを対象とした対応点探索処理を、前段の対応点探索処理と称する。逆に、Ｔｍフレーム画像ＧＢｍとＴ(ｍ＋１)フレーム画像ＧＢ(ｍ＋１)とからなる処理対象画像ペアを対象とした対応点探索処理を基準として、Ｔ(ｍ＋１)フレーム画像ＧＢ(ｍ＋１)とＴ(ｍ＋２)フレーム画像ＧＢ(ｍ＋２)とからなる処理対象画像ペアを対象とした対応点探索処理を、次段の対応点探索処理と称する。

また、対応点探索動作では、Ｔ１フレーム画像ＧＢ１とＴ２フレーム画像ＧＢ２との間における対応点探索処理が行われる場合には、Ｔ１フレーム画像ＧＢ１が基準となる画像（基準画像）ＧＢ１とされ、Ｔ２フレーム画像ＧＢ２が参照される画像（参照画像）ＧＢ２とされる。また、Ｔ２フレーム画像ＧＢ２とＴ３フレーム画像ＧＢ３との間における対応点探索処理が行われる場合には、Ｔ２フレーム画像ＧＢ２が基準となる画像（基準画像）ＧＢ２とされ、Ｔ３フレーム画像ＧＢ３が参照される画像（参照画像）ＧＢ３とされる。

つまり、Ｔｍフレーム画像ＧＢｍとＴ(ｍ＋１)フレーム画像ＧＢ(ｍ＋１)との間における対応点探索処理が行われる場合には、Ｔｍフレーム画像ＧＢｍが基準となる画像（基準画像）ＧＢｍとされ、Ｔ(ｍ＋１)フレーム画像ＧＢ(ｍ＋１)が参照される画像（参照画像）ＧＢ(ｍ＋１)とされる。

＜(5-1-2-2)第１変形例に係る探索基準点設定部＞
探索基準点設定部３６３Ｂは、上記一実施形態に係る探索基準点設定部３６３と同様に、Ｔ１フレーム画像ＧＢ１に対して、対応点探索の基準となる点（基準点）ＳｐＢ１（図８）を設定する。

例えば、まず、Ｔ１フレーム画像ＧＢ１のうちの左上の画素が基準点ＳｐＢ１として設定される。次に、基準画像ＧＢ１と参照画像ＧＢ２との間、基準画像ＧＢ２と参照画像ＧＢ３との間、基準画像ＧＢ３と参照画像ＧＢ４との間、・・・、基準画像ＧＢ(ｎ−１)と参照画像ＧＢｎとの間における対応点探索処理が順次に行われることで、基準点ＳｐＢ１に対応する対応点が、各Ｔ２〜Ｔｎフレーム画像ＧＢ２〜ＧＢｎからこの順番で検出される。そして、Ｔｎフレーム画像ＧＢｎから対応点が検出される度に、Ｔ１フレーム画像ＧＢ１上に新たな基準点ＳｐＢ１が設定される。

＜(5-1-2-3)第１変形例に係る基準視差設定部＞
基準視差設定部３６５Ｂは、上記一実施形態に係る基準視差設定部３６５と同様に、各処理対象画像ペアに対して、対応点の探索の基準となる視差（基準視差）を仮に設定する。

具体的には、Ｔ１フレーム画像（基準画像）ＧＢ１とＴ２フレーム画像（参照画像）ＧＢ２との組に対し、基準視差の初期値が仮に設定される。基準視差の初期値としては、例えば、ＸおよびＹ方向の所定値（例えばゼロ等）に設定される。

例えば、Ｔ１フレーム画像（基準画像）ＧＢ１に対して基準点ＳｐＢ１（図１３）が設定されるとともに、Ｔ２フレーム画像（参照画像）ＧＢ２に対して処理対象点ＰｐＢ２（図１４）が設定される。ここでは、Ｔ１フレーム画像（基準画像）ＧＢ１における基準点ＳｐＢ１の座標と、Ｔ２フレーム画像（参照画像）ＧＢ２における処理対象点ＰｐＢ２の座標とのズレ量が、基準視差の初期値に相当する。

次に、Ｔ１フレーム画像（基準画像）ＧＢ１とＴ２フレーム画像（参照画像）ＧＢ２の組を処理対象画像ペアとした対応点探索処理によって得られる視差が、次の処理対象画像ペアとしてのＴ２フレーム画像（基準画像）ＧＢ２とＴ３フレーム画像（参照画像）ＧＢ３との組に対し、基準視差として仮に設定される。

例えば、Ｔ２フレーム画像（基準画像）ＧＢ２に対して、前段の対応点探索処理で得られた対応点が、基準点ＳｐＢ２（図１３）として設定されるとともに、Ｔ３フレーム画像（参照画像）ＧＢ３に対して処理対象点ＰｐＢ３（図１４）が設定される。ここでは、Ｔ２フレーム画像（基準画像）ＧＢ２における基準点ＳｐＢ２の座標と、Ｔ３フレーム画像（参照画像）ＧＢ３における処理対象点ＰｐＢ３の座標とのズレ量が、前段の対応点探索処理によって得られる視差に相当する。

そして、Ｔ(ｍ−１)フレーム画像（基準画像）ＧＢ(ｍ−１)とＴｍフレーム画像（参照画像）ＧＢｍの組を処理対象画像ペアとした対応点探索処理によって得られる視差が、次の処理対象画像ペアとしてのＴｍフレーム画像（基準画像）ＧＢｍとＴ(ｍ＋１)フレーム画像（参照画像）ＧＢ(ｍ＋１)との組に対し、基準視差として仮に設定される。

例えば、Ｔｍフレーム画像（基準画像）ＧＢｍに対して、前段の対応点探索処理で得られた対応点が、基準点ＳｐＢｍ（図１３）として設定されるとともに、Ｔ(ｍ＋１)フレーム画像（参照画像）ＧＢ(ｍ＋１)に対して処理対象点ＰｐＢ(ｍ＋１)（図１４）が設定される。ここでは、Ｔｍフレーム画像（基準画像）ＧＢｍにおける基準点ＳｐＢｍの座標と、Ｔ(ｍ＋１)フレーム画像（参照画像）ＧＢ(ｍ＋１)における処理対象点ＰｐＢ(ｍ＋１)の座標とのズレ量が、前段の対応点探索処理によって得られる視差に相当する。

＜(5-1-2-4)第１変形例に係るウインドウ設定部＞
ウインドウ設定部３６６Ｂは、上記一実施形態に係るウインドウ設定部３６６と同様に、Ｔｍフレーム画像（基準画像）ＧＢｍにおいて基準点ＳｐＢｍを中心として包含するウインドウ（基準領域）ＷＢｍを設定するとともに、Ｔ(ｍ＋１)フレーム画像（参照画像）ＧＢ(ｍ＋１)において処理対象点Ｐｐ(ｍ＋１)を中心として包含するウインドウ（比較領域）ＷＢ(ｍ＋１)を設定する。基準領域ＷＢｍおよび比較領域ＷＢ(ｍ＋１)は、同一サイズの正方形の画像領域であり、例えば、縦方向および横方向にそれぞれ３２画素が配列されて構成される。

＜(5-1-2-5)第１変形例に係る周波数解析部＞
周波数解析部３６７Ｂは、上記一実施形態に係る周波数解析部３６７と同様に、画像を正弦波に係る周波数成分を示す情報に変換する処理（変換処理）を実行する。この変換処理は、各基準領域ＷＢｍに対して行われるとともに、各比較領域ＷＢ(ｍ＋１)に対して行われる。なお、周波数解析部３６７Ｂにおける変換処理は、上記一実施形態に係る周波数解析部３６７における変換処理と同様な処理であるため、ここでは説明を省略する。

＜(5-1-2-6)第１変形例に係る周波数成分制限部＞
周波数成分制限部３６８Ｂは、上記一実施形態に係る周波数成分制限部３６８と同様に、周波数解析部３６７Ｂで生成された周波数成分情報を所定の制限ルールに従って制限した上で、相関演算部３６９Ｂに対して出力する。これにより、相関演算部３６９Ｂにおける基準領域ＷＢｍと比較領域ＷＢ(ｍ＋１)との間における相関値を求める相関演算においては、周波数解析部３６７Ｂで生成された周波数成分情報のうちの一部の周波数成分情報については使用されず、残余の一部の周波数成分情報が選択的に使用される。

具体的には、周波数成分制限部３６８Ｂでは、上記一実施形態に係る周波数成分制限部３６８と同様に、周波数解析部３６７Ｂで生成された周波数成分情報が、前段の相関演算で得られるピーク相関値Ｃ_maxに応じた重み付けルールに従って制限される。また、周波数成分制限部３６８Ｂでは、重き付けルールに従った周波数ごとの重み付け係数の決定により、相関演算部３６９Ｂにおける相関演算での使用が制限される周波数成分情報の周波数の範囲（使用制限周波数範囲）が設定される。

なお、周波数成分制限部３６８Ｂにおける詳細な周波数成分の制限方法および該制限方法に従った処理は、上記一実施形態に係る周波数成分制限部３６８における詳細な周波数成分の制限方法および該制限方法に従った処理と同様であるため、ここでは説明を省略する。

＜(5-1-2-7)第１変形例に係る相関演算部＞
相関演算部３６９Ｂは、上記一実施形態に係る相関演算部３６９と同様に、周波数成分制限部３６８Ｂから出力される基準領域ＷＢｍに係る周波数成分情報と比較領域ＷＢ(ｍ＋１)に係る周波数成分情報とに基づいて、基準領域ＷＢｍと比較領域ＷＢ(ｍ＋１)とに係る投票積算値の分布を示す情報を得るとともに、基準領域ＷＢｍと比較領域ＷＢ(ｍ＋１)との間における相関値を算出する。つまり、相関演算部３６９Ｂでは、周波数解析部３６７Ｂで生成された周波数成分情報のうち、周波数成分制限部３６８Ｂにおいて重み付け係数の乗算によって制限されることで得られた一部の周波数成分情報が用いられて、基準領域ＷＢｍと比較領域ＷＢ(ｍ＋１)との間における相関値が算出される。

なお、相関演算部３６９Ｂにおける演算処理は、上記一実施形態に係る相関演算部３６９における演算処理と同様なものであるため、ここでは説明を省略する。

＜(5-1-2-8)第１変形例に係る対応点決定部＞
対応点決定部３７０Ｂは、上記一実施形態に係る対応点決定部３７０と同様に、基準領域ＷＢｍと比較領域ＷＢ(ｍ＋１)との組に対し、相関演算部３６９Ｂで得られた投票積算値の分布を示す情報に基づいて、基準領域ＷＢｍにおける基準点ＳｐＢｍと比較領域ＷＢ(ｍ＋１)における対応点とのズレ量（視差）を導出する。そして、対応点決定部３７０Ｂは、導出した視差に基づいて、Ｔ１フレーム画像ＧＢ１の基準点ＳｐＢ１に対応する対応点を各フレーム画像ＧＢ２〜ＧＢｎからそれぞれ決定する。

なお、対応点決定部３７０Ｂにおける具体的な処理は、上記一実施形態に係る対応点決定部３７０における処理と同様であるため、ここでは説明を省略する。

＜(5-1-3)第１変形例に係る対応点探索動作のフロー＞
図３８から図４０は、情報処理システム１Ｂにおいて実現される対応点探索動作のフローを例示するフローチャートである。例えば、ユーザーによる操作部３１に対する操作に応じて、本動作フローが開始されて、図３８のステップＳＳ１に進む。

ステップＳＳ１では、探索基準点設定部３６３Ｂによって、基準点が設定される際に基準となる数値ｊが１に設定される。

ステップＳＳ２では、画像取得部３６１Ｂによって、処理対象画像ペアが指定される際に基準となる数値ｍが１に設定される。

ステップＳＳ３では、画像取得部３６１Ｂによって、ステップＳＳ２で設定された数値ｍ（＝１）に従い、Ｔ１フレーム画像ＧＢ１とＴ２フレーム画像ＧＢ２とが処理対象画像ペアとして記憶部３４から取得される。このとき、Ｔ１フレーム画像ＧＢ１が基準画像ＧＢ１とされるとともに、Ｔ２フレーム画像ＧＢ２が基準画像ＧＢ２とされる。

ステップＳＳ４では、探索基準点設定部３６３Ｂによって、ステップＳＳ１またはステップＳＳ２３（図４０）で直近に設定された数値ｊに従い、ステップＳＳ３で取得されたＴ１フレーム画像（基準画像）ＧＢ１に対してｊ番目の基準点ＳｐＢ１が設定される。

ステップＳＳ５では、基準視差設定部３６５Ｂによって、ステップＳＳ３で取得されたＴ２フレーム画像（参照画像）ＧＢ２に対して、処理対象点ＰｐＢ２が設定される。すなわち、基準視差が初期値に設定される。

ステップＳＳ６では、ウインドウ設定部３６６Ｂによって、Ｔ１フレーム画像（基準画像）ＧＢ１に対して、基準点ＳｐＢ１を中心として包含する基準領域ＷＢ１が設定されるとともに、Ｔ２フレーム画像（参照画像）ＧＢ２に対して、処理対象点ＰｐＢ２を中心として包含する比較領域ＷＢ２が設定される。

ステップＳＳ７では、周波数解析部３６７Ｂによって、Ｔ１フレーム画像（基準画像）ＧＢ１の基準領域ＷＢ１が周波数成分情報に変換されるとともに、Ｔ２フレーム画像（参照画像）ＧＢ２の比較領域ＷＢ２が周波数成分情報に変換される。

ステップＳＳ８では、相関演算部３６９Ｂによって、ステップＳＳ７で得られた基準領域ＷＢ１に係る周波数成分情報と比較領域ＷＢ２に係る周波数成分情報とに基づく相関演算が行われる。この相関演算によって、投票積算値の分布が得られるとともに、基準領域ＷＢ１と比較領域ＷＢ２との間の相関を示すピーク相関値Ｃ_maxが算出される。

ステップＳＳ９では、対応点決定部３７０Ｂによって、ステップＳＳ８で得られた投票積算値の分布に基づいて、ピーク相関値Ｃ_maxに対応する視差(ｄｘ，ｄｙ)が導出されるとともに、基準点ＳｐＢ１に対応する参照画像ＧＢ２上の対応点が認識される。このステップＳＳ９の処理が終了されると、図３９のステップＳＳ１１に進む。

図３９のステップＳＳ１１では、画像取得部３６１Ｂによって、処理対象画像ペアを指定する際に基準となる数値ｍが１つ増加される。

ステップＳＳ１２では、画像取得部３６１Ｂによって、ステップＳＳ１１で設定された数値ｍに従い、Ｔｍフレーム画像ＧＢｍとＴ(ｍ＋１)フレーム画像ＧＢ(ｍ＋１)とが処理対象画像ペアとして記憶部３４から取得される。このとき、Ｔｍフレーム画像ＧＢｍが基準画像ＧＢｍとされるとともに、Ｔ(ｍ＋１)フレーム画像ＧＢ(ｍ＋１)が基準画像ＧＢ(ｍ＋１)とされる。なお、Ｔｍフレーム画像ＧＢｍについては、前段の相関演算で使用するために既に記憶部３４から取得されているものが、そのまま利用されても良い。

ステップＳＳ１３では、探索基準点設定部３６３Ｂによって、ステップＳＳ９（図３８）またはステップＳＳ１９（図３９）で直近に決定されたＴｍフレーム画像ＧＢｍ上の対応点が、基準点ＳｐＢｍとして設定される。

ステップＳＳ１４では、基準視差設定部３６５Ｂによって、ステップＳＳ１２で取得されたＴ(ｍ＋１)フレーム画像（参照画像）ＧＢ(ｍ＋１)に対して、処理対象点ＰｐＢ(ｍ＋１)が設定される。すなわち、基準視差が設定される。

ステップＳＳ１５では、ウインドウ設定部３６６Ｂによって、Ｔｍフレーム画像（基準画像）ＧＢｍに対して、基準点ＳｐＢｍを中心として包含する基準領域ＷＢｍが設定されるとともに、Ｔ(ｍ＋１)フレーム画像（参照画像）ＧＢ(ｍ＋１)に対して、処理対象点ＰｐＢ(ｍ＋１)を中心として包含する比較領域ＷＢ(ｍ＋１)が設定される。

ステップＳＳ１６では、周波数解析部３６７Ｂによって、Ｔｍフレーム画像（基準画像）ＧＢｍの基準領域ＷＢｍが周波数成分情報に変換されるとともに、Ｔ(ｍ＋１)フレーム画像（参照画像）ＧＢ(ｍ＋１)の比較領域ＷＢ(ｍ＋１)が周波数成分情報に変換される。

ステップＳＳ１７では、周波数成分制限部３６８Ｂによって、直近のステップＳＳ１６で生成された周波数成分情報が、前段の相関演算で得られたピーク相関値Ｃ_maxに応じた重み付けルールに従って制限される。ここでは、前段の相関演算で得られるピーク相関値Ｃ_maxに基づいて、相関演算における周波数成分情報の使用が制限される使用制限周波数範囲（例えば、低周波側制限範囲ＲＬ１や高周波側制限範囲ＲＨ１など）が設定される。そして、この使用制限周波数範囲に応じて、直近のステップＳＳ１６で生成された周波数成分情報が制限された上で、相関演算部３６９Ｂに対して出力される。

ステップＳＳ１８では、相関演算部３６９Ｂによって、ステップＳＳ１７で一部の情報が制限された、基準領域ＷＢｍに係る周波数成分情報と比較領域ＷＢ(ｍ＋１)に係る周波数成分情報とに基づく相関演算が行われる。この相関演算によって、投票積算値の分布が得られるとともに、基準領域ＷＢｍと比較領域ＷＢ(ｍ＋１)との間の相関を示すピーク相関値Ｃ_maxが算出される。

ステップＳＳ１９では、対応点決定部３７０Ｂによって、ステップＳＳ１８で得られた投票積算値の分布に基づいて、ピーク相関値Ｃ_maxに対応する視差(ｄｘ，ｄｙ)が導出されるとともに、基準点ＳｐＢｍに対応する参照画像ＧＢ(ｍ＋１)上の対応点が決定される。

ステップＳＳ２０では、画像取得部３６１Ｂによって、数値(ｍ＋１)が、対応点探索処理の対象となるフレーム画像の数ｎに到達しているか否かが判定される。ここで、数値(ｍ＋１)が、数ｎに到達していなければ、ステップＳＳ１１に進み、数値(ｍ＋１)が、数ｎに到達するまで、ステップＳＳ１１〜ＳＳ２０の処理が繰り返される。これにより、ステップＳＳ４で設定された１つの基準点Ｓｐ１に対応する対応点が、各Ｔ２〜Ｔｎフレーム画像ＧＢ２〜ＧＢｎ上でそれぞれ決定される。一方、数値(ｍ＋１)が、数ｎに到達していれば、図４０のステップＳＳ２１に進む。

図４０のステップＳＳ２１では、制御部３６によって、直近のステップＳＳ４で設定された基準点Ｓｐ１と、ステップＳＳ１９（図３９）で決定された各対応点とが関連付けられて、記憶部３４に記憶される。

ステップＳＳ２２では、探索基準点設定部３６３Ｂによって、ステップＳＳ４においてＴ１フレーム画像（基準画像）ＧＢ１の全画素が基準点ＳｐＢ１として既に設定されたか否かが判定される。ここで、未だにＴ１フレーム画像（基準画像）ＧＢ１の全画素が基準点ＳｐＢ１として設定されていなければ、ステップＳＳ２３に進む。一方、既にＴ１フレーム画像（基準画像）ＧＢ１の全画素が基準点ＳｐＢ１として設定されていれば、本動作フローが終了される。

ステップＳＳ２３では、探索基準点設定部３６３Ｂによって、基準点を設定する際に基準となる数値ｊが１つ増加されて、図３８のステップＳＳ２に進む。これにより、Ｔ１フレーム画像ＧＢ１上に設定される各基準点ＳｐＢ１に対応する対応点が、各Ｔ２〜Ｔｎフレーム画像ＧＢ２〜ＧＢｎ上でそれぞれ決定される。

＜(5-1-4)第１変形例のまとめ＞
以上のように、第１変形例に係る情報処理システム１Ｂによれば、処理対象画像ペアとしてのＴ(ｍ−１)フレーム画像ＧＢ(ｍ−１)とＴｍフレーム画像ＧＢｍとの間における類似の度合いを示す相関値に基づいて、次の処理対象画像ペアとしてのＴｍフレーム画像ＧＢｍとＴ(ｍ＋１)フレーム画像ＧＢ(ｍ＋１)との間における相関演算の演算量が低減される。このため、複数の画像を対象とした対応点探索処理における精度の維持と速度の向上とが両立する。

なお、本変形例では、カメラ２Ｂで時間順次に取得される時系列の画像（具体的には、Ｔ１〜Ｔｎフレーム画像ＧＢ１〜ＧＢｎ）を対象とした対応点探索動作を例示して説明したが、これに限られない。例えば、同種の被写体を捉えた３以上の画像を対象として対応点探索動作が行われても良い。但し、基準視差の設定の容易さなどを考慮すると、時系列の画像を対応点探索動作の対象とする方が、各画像間における類似の度合いが高いため、好ましい。

また、本変形例では、単純に処理対象画像ペアを構成する２つの画像の間における対応点探索処理が行われたが、これに限られない。例えば、時系列の画像（具体的には、Ｔ１〜Ｔｎフレーム画像ＧＢ１〜ＧＢｎ）で捉えられた被写体の動きが大きな場合やその動きが規則的でないような場合には、各処理対象画像ペアについて、上記一実施形態と同様に、解像度を段階的に低下させた画像の組を生成して、低解像度の画像の組から順次に対応点探索処理が行われる方が、対応点探索処理における精度の維持を図る上で好ましい。

＜(5-2)その他の変形例＞
◎また、上記一実施形態では、前段の対応点の探索処理で求められた相関値（例えば、ピーク相関値Ｃ_max）に応じて、周波数ごとの重み付け係数や使用制限周波数範囲が設定されたが、これに限られない。例えば、或る対応点の探索処理を基準として、前段よりも更に１段以上前段（例えば、前々段）の対応点の探索処理で求められる相関値も用いられて、周波数ごとの重み付け係数や使用制限周波数範囲が設定されても良い。

具体例としては、２回以上連続して相関値（例えば、ピーク相関値Ｃ_max）が所定値よりも高い値に維持されれば、対応点探索処理に用いられる処理対象画像ペアについては、処理対象点と対応点とのズレが少ないものと推定される。そこで、このような場合には、自動的に低周波の周波数成分に対する重み付け係数がより低減されて、低周波側制限範囲ＲＬ１が拡大されるような態様が考えられる。

また、例えば、相関演算で使用される周波数成分情報を制限するための前段の相関値は、投票積算値の確率密度であっても良いし、投票積算値の分布において、最大投票値を示す視差（ｄｘ，ｄｙ）の周辺の１以上の視差に係る投票積算値と最大投票値との総和であっても良い。また、基準領域と比較領域との間において求められる相関値の総和に占めるピーク相関値Ｃ_maxの割合が採用されても良い。すなわち、相関演算で使用される周波数成分情報を制限するための前段の相関値として、前段の相関演算で得られる複数の画像間の相関を示す種々の値が採用されても良い。このように、より多くの情報が加味されることで、ノイズ等の影響に拘わらず、対応点探索処理における精度の向上が図られる。

◎また、上記一実施形態では、周波数ｉごとに、低周波重視型ルールの重み付け係数Ｗ_LOWと高周波重視型ルールの重み付け係数Ｗ_HIGHのうち、相対的に低い重み付け係数が採用されたが、これに限られない。例えば、周波数ｉごとに、３種類以上の重み付けルールの重み付け係数から、１つの重み付けルールに係る重み付け係数が選択されても良い。

具体例としては、低周波重視型ルールの重み付け係数Ｗ_LOWと、高周波重視型ルールの重み付け係数Ｗ_HIGHとに加えて、更に、別の重み付けルールに係る重み付け係数Ｗ_eが設定されても良い。この場合、周波数ｉごとに、低周波重視型ルールの重み付け係数Ｗ_LOW、高周波重視型ルールの重み付け係数Ｗ_HIGH、および別の重み付けルールに係る重み付け係数Ｗ_eのうち、相対的に最も低い重み付け係数が採用される態様が考えられる。

例えば、下式(４)の関係を満たす場合には、Ｗ_e(ｉ，Ｃ_max)が重み付け係数として採用され、下式(５)で示されるように、振幅ｆ_iにＷ_e(ｉ，Ｃ_max)が乗ぜられた値が、重み付け後の振幅ｆ_iAFTERとなるような態様が考えられる。

Ｗ_e(ｉ，Ｃ_max)＜Ｗ_LOW(ｉ，Ｃ_max)＜Ｗ_HIGH(ｉ，Ｃ_max) ・・・(４)
ｆ_iAFTER＝Ｗ_e(ｉ，Ｃ_max)×ｆ_i ・・・(５)

また、重み付け係数の採用に係る別の態様として、周波数ｉごとに、低周波重視型ルールの重み付け係数Ｗ_LOWと高周波重視型ルールの重み付け係数Ｗ_HIGHとの積が重み付け係数として採用される態様も考えられる。

◎また、上記一実施形態では、周波数ｉごとに、相関値に応じた使用制限周波数範囲が設定されたが、この使用制限周波数範囲には、相関値の大小に拘わらず、所定の周波数の範囲が含まれるようにしても良い。例えば、極端な低周波や高周波は、対応点探索処理の精度を向上させる上での寄与度が小さい場合が想定される。このような場合には、相関値の大小に拘わらず、所定の周波数の範囲が使用制限周波数範囲に含まれても良い。

例えば、上記一実施形態では、３層目（最下層）の低解像度の画像の組については、前段の相関値が得られていないため、周波数成分情報に対する重み付けおよび制限が行われなかったが、これに限られない。例えば、周波数成分情報のうち、極端な低周波や高周波に係る周波数成分情報については制限されるようにしても良い。つまり、３層目（最下層）の低解像度の画像の組を対象とした相関演算において、極端な低周波や高周波に係る周波数成分情報が使用されないようにしても良い。これにより、対応点探索処理における演算速度の更なる向上が図られる。

◎また、上記一実施形態では、重み付け係数が乗ぜられた振幅に応じた投票値の積算が行われたが、これに限られない。例えば、ゼロ以外の重み付け係数が周波数成分情報に付され、相関演算において、重み付け係数の大きさに応じた投票値が積算されるような構成が採用されても良い。

◎また、上記一実施形態では、２つの画像の間で対応点探索が行われたが、これに限られない。本願発明の技術的思想は、３以上の複数の画像の間における対応点探索に対しても適用可能である。

◎また、上記一実施形態では、相関演算として、ＰＳＡ法が採用された例を示して説明したが、これに限られない。例えば、周波数成分制限部３６８から出力される周波数成分情報を用いた相関演算としては、他の投票方法や位相限定相関法（ＰＯＣ法）などの種々の相関演算が採用されても良い。なお、ＰＯＣ法が採用された場合、相関演算で使用される周波数成分情報を制限するための前段の相関値としては、例えば、前段の相関演算で得られたＰＯＣ値のピーク値等となる。

◎また、上記一実施形態では、基準画像Ｇ１および参照画像Ｇ２から、所定の間引きルールに従って、垂直ラインおよび水平ラインが間引かれることで、第１〜３縮小基準画像Ｇ１１〜Ｇ１３および第１〜３縮小参照画像Ｇ２１〜Ｇ２３がそれぞれ生成されたが、これに限られない。例えば、所定数（例えば、４つ）の隣接画素の塊について画素値の平均値が求められて１画素とされる処理が画像全体にわたって行われることで、第１〜３縮小基準画像Ｇ１１〜Ｇ１３および第１〜３縮小参照画像Ｇ２１〜Ｇ２３がそれぞれ生成される方法も考えられる。すなわち、公知の縮小や倍率の変更等といった種々の方法によって、基準画像Ｇ１および参照画像Ｇ２から所定ルールに従って画素数が低減されることで、第１〜３縮小基準画像Ｇ１１〜Ｇ１３および第１〜３縮小参照画像Ｇ２１〜Ｇ２３が生成されても良い。

◎また、２次元のフーリエ変換については、ｘ方向についての一次元のフーリエ変換の結果と、ｙ方向についてのフーリエ変換の結果とを利用して、２次元のフーリエ変換の結果を得る方法も考えられる。このような方法が採用される場合には、ｘ方向に係る周波数成分とｙ方向に係る周波数成分とが別々に制限されるような構成が採用されても良い。

◎なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。

例えば、時系列のステレオ画像が取得され、各フレームのステレオ画像を構成する基準画像と参照画像とを対象とした対応点探索動作については、上記一実施形態と同様に、解像度が段階的に低減された画像の組が生成されて、低解像度の画像の組から順次に対応点探索処理が行われ、更に、上記第１変形例と同様に、時系列の基準画像（または参照画像）を対象とした対応点探索動作が行われるような構成が考えられる。

１Ａ，１Ｂ 情報処理システム
２ ステレオカメラ
２Ｂ カメラ
３ 情報処理装置
３４ 記憶部
３６ 制御部
３６１，３６１Ｂ 画像取得部
３６２ 解像度変換部
３６３，３６３Ｂ 探索基準点設定部
３６４ 画像指定部
３６５，３６５Ｂ 基準視差設定部
３６６，３６６Ｂ ウインドウ設定部
３６７，３６７Ｂ 周波数解析部
３６８，３６８Ｂ 周波数成分制限部
３６９，３６９Ｂ 相関演算部
３７０，３７０Ｂ 対応点決定部
ＰＧａ，ＰＧｂ プログラム

Claims (10)

1. 第１画像の第１領域を第１周波数成分情報に変換するとともに、第２画像の第２領域を第２周波数成分情報に変換する変換部と、
   前記第１および第２周波数成分情報に基づいて、前記第１領域と前記第２領域との相関を示す第１相関値を算出する相関演算部と、
   前記第１相関値に基づいて、前記相関演算部での演算における周波数成分情報の使用が制限される周波数の使用制限範囲を設定する制限部と、
   を備え、
   前記変換部が、
   前記第１画像に対応する第３画像の第３領域を第３周波数成分情報に変換するとともに、前記第２画像に対応する第４画像の第４領域を第４周波数成分情報に変換し、
   前記相関演算部が、
   前記第３および第４周波数成分情報のうちの前記使用制限範囲外の周波数に係る周波数成分情報に基づいて、前記第３領域と前記第４領域との相関を示す第２相関値を算出することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記第３画像から所定ルールに従って画素数を低減することで前記第１画像を生成するとともに、前記第４画像から前記所定ルールに従って画素数を低減することで前記第２画像を生成する生成部、
   を更に備えることを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置であって、
   前記第３および第４画像が、
   同一の被写体を異なる視点から捉えた複数の画像であることを特徴とする画像処理装置。
4. 第１画像の第１領域を第１周波数成分情報に変換するとともに、第２画像の第２領域を第２周波数成分情報に変換し、前記第２画像の第３領域を第３周波数成分情報に変換するとともに、第３画像の第４領域を第４周波数成分情報に変換する変換部と、
   前記第１および第２周波数成分情報に基づいて、前記第１領域と前記第２領域との相関を示す第１相関値を算出する相関演算部と、
   前記第１相関値に基づいて、前記相関演算部での演算における周波数成分情報の使用が制限される周波数の使用制限範囲を設定する制限部と、
   を備え、
   前記相関演算部が、
   前記第３および第４周波数成分情報のうちの前記使用制限範囲外の周波数に係る周波数成分情報に基づいて、前記第３領域と前記第４領域との相関を示す第２相関値を算出することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記第１から第３画像が、
   同一の視点から同一の被写体の時間的な変化を捉えた複数の画像であることを特徴とする画像処理装置。
6. 請求項１から請求項５の何れか１つの請求項に記載の画像処理装置であって、
   前記制限部が、
   前記第１相関値が大きくなるに従って、前記変換部で得られる各前記周波数成分情報のうちの最も低周波側からより広範囲の周波数に係る周波数成分情報の使用が制限されるように、前記使用制限範囲を設定することを特徴とする画像処理装置。
7. 請求項１から請求項６の何れか１つの請求項に記載の画像処理装置であって、
   前記制限部が、
   前記第１相関値が小さくなるに従って、前記変換部で得られる各前記周波数成分情報のうちの最も高周波側からより広範囲の周波数に係る周波数成分情報の使用が制限されるように、前記使用制限範囲を設定することを特徴とする画像処理装置。
8. 第１画像の第１領域を第１周波数成分情報に変換するとともに、第２画像の第２領域を第２周波数成分情報に変換する第１変換ステップと、
   前記第１および第２周波数成分情報に基づいて、前記第１領域と前記第２領域との相関を示す第１相関値を算出する第１演算ステップと、
   前記第１相関値に基づいて、前記相関演算部での演算における周波数成分情報の使用が制限される周波数の使用制限範囲を設定する設定ステップと、
   前記第１画像に対応する第３画像の第３領域を第３周波数成分情報に変換するとともに、前記第２画像に対応する第４画像の第４領域を第４周波数成分情報に変換する第２変換ステップと、
   前記第３および第４周波数成分情報のうちの前記使用制限範囲外の周波数に係る周波数成分情報に基づいて、前記第３領域と前記第４領域との相関を示す第２相関値を算出する第２演算ステップと、
   を備えることを特徴とする画像処理方法。
9. 第１画像の第１領域を第１周波数成分情報に変換するとともに、第２画像の第２領域を第２周波数成分情報に変換する第１変換ステップと、
   前記第１周波数成分情報と前記第２周波数成分情報とに基づいて、前記第１領域と前記第２領域との相関を示す第１相関値を算出する第１演算ステップと、
   前記第１相関値に基づいて、相関演算における周波数成分情報の使用が制限される周波数の使用制限範囲を設定する設定ステップと、
   前記第２画像の第３領域を第３周波数成分情報に変換するとともに、第３画像の第４領域を第４周波数成分情報に変換する第２変換ステップと、
   前記第３および第４周波数成分情報のうちの前記使用制限範囲外の周波数の周波数成分情報に基づいて、前記第３領域と前記第４領域との相関を示す第２相関値を算出する第２演算ステップと、
   を備えることを特徴とする画像処理方法。
10. 情報処理装置に含まれる制御部において実行されることにより、前記情報処理装置を、請求項１から請求項７の何れか１つの請求項に記載の画像処理装置として機能させるプログラム。

Images