JP4872836B2 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
JP4872836B2
JP4872836B2 JP2007178515A JP2007178515A JP4872836B2 JP 4872836 B2 JP4872836 B2 JP 4872836B2 JP 2007178515 A JP2007178515 A JP 2007178515A JP 2007178515 A JP2007178515 A JP 2007178515A JP 4872836 B2 JP4872836 B2 JP 4872836B2
Authority
JP
Japan
Prior art keywords
image
corresponding point
window
point
correlation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007178515A
Other languages
English (en)
Other versions
JP2009015696A (ja
Inventor
博則 墨友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2007178515A priority Critical patent/JP4872836B2/ja
Priority to US12/167,626 priority patent/US8036454B2/en
Publication of JP2009015696A publication Critical patent/JP2009015696A/ja
Application granted granted Critical
Publication of JP4872836B2 publication Critical patent/JP4872836B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Description

本発明は、ステレオカメラから取得した２つの画像情報から対応点を探索する技術に関する。
ステレオカメラにおいて、異なる視点から撮影した２つの画像上の各座標点を相互に対応付けし、得られた対応関係から三角測量の原理に基づいて、各座標点の３次元位置を算出する方法が知られている。
例えば、一方の画像（基準画像）上に設定されたウィンドウ内の画像と、このウィンドウと同サイズで他方の画像（参照画像）上に複数設定される各ウィンドウ内の画像との類似度（相関値；ＣＯＲ）を求め、類似度が最も高くなる参照画像上のウィンドウ位置を特定することにより、２つの画像間の対応点を探索する方法がある。このような対応点探索方法を用いれば、ステレオカメラで得られた撮像画像において、その画像上の各点に関する３次元位置の取得が可能となる。
上述のような手法に関しては、近年、ロバストかつ高精度な対応付けが可能な位相限定相関法（ＰＯＣ；Phase Only Correlation）による対応点探索が注目を集めている。この手法は、画像の振幅成分を取り除いて、画像の位相成分のみで相関演算を行うので、輝度変動やノイズに影響されにくい手法である。
特許文献１では、ＰＯＣを用いて、画像中の目標物体までの距離を測定できることを開示している。さらに、ＰＯＣを画像間の各座標点の対応付けに利用したものとして、非特許文献１がある。
特開平１０−１３４１９６号公報 Kenji TAKITA, et al., "High-Accuracy Subpixel Image Registration Based on Phase-Only Correlation", IEICE TRANS. FUNDAMENTALS, VOL.E86-A, NO.8 AUGUST 2003
特許文献１に開示された技術では、画像の距離測定対象部分に１つだけウィンドウを設定することを想定しているので、処理時間については問題視されていないが、非特許文献１にあるように、画像間の各座標点の対応付けを行った場合、非常に処理時間が掛かるという問題がある。
このような問題に対して、ステレオカメラをメカ的に略平行に配置する（或いは、画像処理で略平行配置の画像を得る）ことで、基準画像上の座標点に対応する参照画像上での対応位置は、基線長に略平行な方向にあるので、例えばＳＡＤ（Sum of Absolute Differences；差分絶対値和）法等を用いて高速に処理を行うことが可能である。
しかしながら、ステレオカメラ設置当初は略平行に配置されていたとしても、経年変化等で平行配置がずれた場合、精度が大きく低下してしまうという課題がある。
そこで、本発明は上記課題に鑑み、画像間の座標点を高速かつ高精度に対応付ける技術を提供することにある。
上記課題を解決すべく、第１の発明は、異なる視点から撮像し取得された第１画像及び第２画像に関する処理を行う情報処理システムであって、前記第１画像上で指定される指定点に対応する前記第２画像上の第１対応点を、前記第２画像のうちの前記指定点に対応する位置を通り、かつ予め定められた方向に対応する第１基準方向に沿った線上で探索して特定する第１特定手段と、前記第２画像のうちの前記第１対応点を通り、かつ前記第１基準方向に略垂直な第２基準方向に沿った線上で探索して、前記指定点に対応する前記第２画像上の第２対応点を特定する第２特定手段と、前記第２画像のうちの前記第２対応点を通り、かつ前記第１基準方向に沿った線上で探索して、前記指定点に対応する前記第２画像上の第３対応点を特定する第３特定手段とを備え、前記第１ないし第３特定手段は、前記指定点を包含する第１ウィンドウを前記第１画像上に設定する第１ウィンドウ設定手段と、前記第１ウィンドウと略同一サイズの１又は複数の第２ウィンドウを前記第１対応点、前記第２対応点及び前記第３対応点を探索する探索方向に沿って前記第２画像上に設定する第２ウィンドウ設定手段と、前記第１ウィンドウと前記第２ウィンドウとの間の相関値を算出する相関値算出手段とを有し、前記相関値算出手段によって算出された相関値に基づいて前記第１対応点、前記第２対応点及び前記第３対応点を特定し、前記第３特定手段は、前記第２ウィンドウがサブピクセル単位で設定された場合には、前記第２画像の画素データに基づく補間処理により、前記第２ウィンドウ内の画像の画素値を算出する補間手段を更に有する。
第２の発明は、異なる視点から撮像し取得された第１画像及び第２画像に関する処理を行う情報処理システムであって、前記第１画像上で指定される指定点に対応する前記第２画像上の第１対応点を、前記第２画像のうちの前記指定点に対応する位置を通り、かつ予め定められた方向に対応する第１基準方向に沿った線上で探索して特定する第１特定手段と、前記第２画像のうちの前記第１対応点を通り、かつ前記第１基準方向に略垂直な第２基準方向に沿った線上で探索して、前記指定点に対応する前記第２画像上の第２対応点を特定する第２特定手段と、前記第２画像のうちの前記第２対応点を通り、かつ前記第１基準方向に沿った線上で探索して、前記指定点に対応する前記第２画像上の第３対応点を特定する第３特定手段とを備え、前記第１ないし第３特定手段は、前記指定点を包含する第１ウィンドウを前記第１画像上に設定する第１ウィンドウ設定手段と、前記第１ウィンドウと略同一サイズの１又は複数の第２ウィンドウを前記第１対応点、前記第２対応点及び前記第３対応点を探索する探索方向に沿って前記第２画像上に設定する第２ウィンドウ設定手段と、前記第１ウィンドウと前記第２ウィンドウとの間の相関値を算出する相関値算出手段とを有し、前記相関値算出手段によって算出された相関値に基づいて前記第１対応点、前記第２対応点及び前記第３対応点を特定し、前記第１ウィンドウは、前記探索方向に対応する方向に長さをもつ１次元ウィンドウであり、前記第２ウィンドウは、前記探索方向に長さをもち、かつ前記第１ウィンドウと略同一サイズの１次元ウィンドウであり、前記第１画像上に含まれ、前記指定点を包含して前記探索方向に対応する方向に長さをもつ第１の１次元ウィンドウ内の画像と、前記第１の１次元ウィンドウに前記探索方向に略垂直な方向で隣接する１以上の第２の１次元ウィンドウ内の画像とを用いたフィルタ処理により、前記第１ウィンドウ内の画像の画素値を算出する第１画素値算出手段と、前記第２画像上に含まれ、前記探索方向に長さをもち、かつ前記第１ウィンドウと略同一サイズの第３の１次元ウィンドウ内の画像と、前記第３の１次元ウィンドウに前記探索方向に垂直な方向で隣接する１以上の第４の１次元ウィンドウ内の画像とを用いたフィルタ処理により、前記第２ウィンドウ内の画素値を算出する第２画素値算出手段とを更に備える。
第３の発明は、異なる視点から撮像し取得された第１画像及び第２画像に関する処理を行う情報処理システムであって、前記第１画像上で指定される指定点に対応する前記第２画像上の第１対応点を、前記第２画像のうちの前記指定点に対応する位置を通り、かつ予め定められた方向に対応する第１基準方向に沿った線上で探索して特定する第１特定手段と、前記第２画像のうちの前記第１対応点を通り、かつ前記第１基準方向に略垂直な第２基準方向に沿った線上で探索して、前記指定点に対応する前記第２画像上の第２対応点を特定する第２特定手段と、前記第２画像のうちの前記第２対応点を通り、かつ前記第１基準方向に沿った線上で探索して、前記指定点に対応する前記第２画像上の第３対応点を特定する第３特定手段とを備え、前記第１ないし第３特定手段は、前記指定点を包含する第１ウィンドウを前記第１画像上に設定する第１ウィンドウ設定手段と、前記第１ウィンドウと略同一サイズの１又は複数の第２ウィンドウを前記第１対応点、前記第２対応点及び前記第３対応点を探索する探索方向に沿って前記第２画像上に設定する第２ウィンドウ設定手段と、前記第１ウィンドウと前記第２ウィンドウとの間の相関値を算出する相関値算出手段とを有し、前記相関値算出手段によって算出された相関値に基づいて前記第１対応点、前記第２対応点及び前記第３対応点を特定し、前記第１特定手段は、前記相関値算出手段によって算出された相関値の複数の極値のうち最大値を示す座標を第１対応点候補として特定し、前記第２特定手段は、前記第１対応点候補を通り、かつ前記第２基準方向に沿った線上で前記相関値算出手段によって算出された相関値の最大値を示す座標を第２対応点候補として特定し、前記第１対応点候補と前記第２対応点候補との距離が予め定められた距離以上であるか否かを判断する判断手段を更に備え、前記判断手段によって、前記第１対応点候補と前記第２対応点候補との距離が前記予め定められた距離以上であると判断された場合には、前記第１特定手段は、前記複数の極値のうち前記最大値の次に大きい極値を示す座標を前記第１対応点として特定する。
第４の発明は、第１ないし第３の何れか１つの発明であって、前記第２特定手段において前記第３対応点を通り、かつ前記第２基準方向に沿った線上で探索して第４対応点を特定し、前記第３特定手段において前記第４対応点を通り、かつ前記第１基準方向に沿った線上で探索して第５対応点を特定する処理を行わせる処理制御手段を更に備える。
第５の発明は、第１ないし第４の何れか１つの発明であって、前記相関値算出手段は、ウィンドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて対応位置を演算する処理を用いて前記相関値を算出する。
第６の発明は、第５の発明であって、前記ウィンドウ内の周波数分解する処理が、フーリエ変換、離散コサイン変換、離散サイン変換、ウェーブレット変換又はアダマール変換のうちの何れかの演算を含む。
第７の発明は、第５又は第６の発明であって、前記相関値算出手段は、差分絶対値和法を用いて前記相関値を算出する。
第１から第７の何れの発明によっても、第１画像上で指定される指定点に対応する第２画像上の対応点を特定する際に、指定点に対応する位置を通る第１基準方向に沿った線上で探索して第１対応点を特定し、該第１対応点を通り、かつ該第１基準方向に略垂直な第２基準方向に沿った線上で探索して第２対応点を特定し、さらに該第２対応点を通り、かつ該第１基準方向に沿った線上で探索して第３対応点を特定するので、画像間の座標点を高速かつ高精度に対応付けることが可能となる。
本願記載の発明によれば、第３特定手段は、第３対応点をサブピクセル単位で探索して特定するので、画像間の座標点を更に高精度に対応付けることが可能となる。
本願記載の発明によれば、第２特定手段は、第２対応点をサブピクセル単位で探索して特定するので、指定点に対する対応点の元々のズレが第１基準方向に略垂直な方向に１画素未満であるときには、画像間の座標点を更に高精度に対応付けることが可能となる。
第４の発明によれば、第２特定手段において第３対応点を通り、かつ第２基準方向に沿った線上で探索して第４対応点を特定し、第３特定手段において第４対応点を通り、かつ第１基準方向に沿った線上で探索して第５対応点を特定する処理を行わせる処理制御手段を更に備えるので、互いに略垂直な方向で複数回探索して対応点を特定することができ、画像間の座標点の対応付けを高精度に行うことが可能となる。
第１から第７の何れの発明によっても、第１ないし第３特定手段は、指定点を包含して設定される第１ウィンドウと、第２画像上に設定される１又は複数の第２ウィンドウとの間の相関値に基づいて第１対応点、第２対応点及び第３対応点を特定するので、画像間の座標点を高精度に対応付けることが可能となる。
第１の発明によれば、第２ウィンドウがサブピクセル単位で設定された場合には、第２画像の画素データに基づく補間処理により、第２ウィンドウ内の画像の画素値を算出する補間手段を更に有するので、画像間の座標点の対応付けを高精度に行うことが可能となる。
第２の発明によれば、第１ウィンドウは、探索方向に複数画素の長さをもつ１次元ウィンドウであり、第２ウィンドウは、該第１ウィンドウと略同一サイズの１次元ウィンドウであるので、基準画像を撮像した撮像系と参照画像を撮像した撮像系とが平行配置されていることを前提として対応点探索に係る演算量を抑制することができる。そのため、画像間の座標点の対応付けを高精度に行いつつ処理時間を短縮することが可能となる。
第２の発明によれば、指定点を包含して探索方向に対応する方向に長さをもつ第１の１次元ウィンドウ内の画像と、該第１の１次元ウィンドウに探索方向に垂直な方向で隣接する１以上の第２の１次元ウィンドウ内の画像とを用いたフィルタ処理により、第１ウィンドウ内の画像の画素値を算出する第１画素値算出手段と、探索方向に長さをもち、かつ第１ウィンドウと略同一サイズの第３の１次元ウィンドウ内の画像と、該第３の１次元ウィンドウに探索方向に垂直な方向で隣接する１以上の第４の１次元ウィンドウ内の画像とを用いたフィルタ処理により、第２ウィンドウ内の画素値を算出する第２画素値算出手段とを更に備えるので、探索方向に垂直な方向の対応点のズレの影響を少なくでき、ロバスト性を高めることが可能となる。
第３の発明によれば、判断手段によって、第１対応点候補と第２対応点候補との距離が予め定められた距離以上であると判断された場合には、第１特定手段は、複数の極値のうち最大値の次に大きい極値を示す座標を第１対応点として特定するので、異なる視点から撮像する撮像手段の平行配置のズレが大きい場合に生じ得る対応点探索におけるエラーを回避することが可能となる。
第５の発明によれば、相関値算出手段は、ウィンドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて対応位置を演算する処理を用いて相関値を算出するので、画像の振幅成分を除去して位相成分のみで相関演算を行うことが可能となり、輝度変動やノイズの影響を抑制して対応点を精度良く探索することが可能となる。
第６の発明によれば、ウィンドウ内の周波数分解する処理が、フーリエ変換、離散コサイン変換、離散サイン変換、ウェーブレット変換又はアダマール変換のうちの何れかの演算を含むので、演算処理を軽減して処理時間を短縮することが可能となる。
第７の発明によれば、相関値算出手段は、差分絶対値和法を用いて相関値を算出するので、演算処理を軽減して処理時間を短縮することが可能となる。
以下、本発明の実施形態を図面を参照して説明する。
〈第１実施形態〉
〈情報処理システム１０の構成〉
図１は、本発明の第１実施形態に係る情報処理システム１０の概略構成を示す図である。この情報処理システム１０は、異なる視点から撮像した被写体１８の画像について、画像上の座標点を相互に対応付けし、座標点の３次元位置を算出するものである。
ステレオカメラ１１は、それぞれ撮像素子を含む２つの撮像系（カメラ）１１ａ，１１ｂを有している。これらの撮像系１１ａ，１１ｂでは、カメラ正面の被写体１８をタイミングを同期して異なる視点から撮像できるように離隔配置されており、撮像して取得された各画像データは、データ線ＤＣを介して情報処理装置１２に送信される。つまり、ステレオカメラ１１と情報処理装置１２とはデータ伝送可能に接続されている。本実施形態では、撮像系１１ａが基準カメラとして基準画像（第１画像）を情報処理装置１２に送信し、撮像系１１ｂが参照カメラとして参照画像（第２画像）を情報処理装置１２に送信するものとする。
情報処理装置１２は、例えば、ＰＣ（Personal Computer）が適用されて、操作部１３、表示部１４、ＣＰＵ１５、ＲＯＭ１６及びＲＡＭ１７を有している。操作部１３は、マウスやキィボードを含んでおり、ユーザによってこれらが操作されることにより、情報処理装置１２への各種コマンドの実行命令等を受け付ける。表示部１４は、ＬＣＤ等の表示デバイスによって構成された一般的なディスプレイであって、情報処理システム１０を操作するのに必要な画像情報等を表示するほか、３次元位置が算出された被写体１８の画像１９を表示する。
ＣＰＵ１５は、操作部１３からのコマンド実行命令等の入力信号や、該入力信号に基づく入力信号や、該入力信号に基づく演算処理、出力信号の生成、表示部１４への表示内容の制御等を行う。ＲＯＭ１６は、ＣＰＵ１５によって実行されるプログラムや制御に必要なデータを格納し、ＲＡＭ１７は、ＣＰＵ１５による統括制御に必要なデータを一時記憶する。これにより、情報処理装置１２の各種機能が実現される。すなわち、ＣＰＵ１５は、ＲＯＭ１６及びＲＡＭ１７と連携して情報処理装置１２の各構成要素を制御する。
〈情報処理装置１２の機能〉
〈対応点探索処理〉
図２は、情報処理システム１０の機能ブロック図であり、図３（ａ）〜（ｃ）は、対応点探索処理の手順を示す模式図である。情報処理装置１２は、基準ウィンドウ設定部２１と参照ウィンドウ設定部２２とを含むウィンドウ設定部２０と、相関値算出部２３と、第１特定部２４と、第２特定部２５と、第３特定部２６と、３Ｄ座標演算部２７とを備えている。これらは、ＣＰＵ１５がＲＡＭ１７を一時的なワーキングエリアとして使用しつつ、ＲＯＭ１６に格納されているプログラムに従って動作することにより実現される機能ブロックである。
基準ウィンドウ設定部２１は、本発明の第１ウィンドウ設定手段に相当し、第１特定部２４〜第３特定部２６の何れかと連携して、基準画像３Ｂ上の指定点３Ｐを包含する基準ウィンドウ（第１ウィンドウ）３Ｂ１〜３Ｂ３を設定する。参照ウィンドウ設定部２２は、本発明の第２ウィンドウ設定手段に相当し、第１特定部２４〜第３特定部２６の何れかと連携して、参照画像３Ｒ上に基準ウィンドウ３Ｂ１〜３Ｂ３と略同一サイズの参照ウィンドウ（第２ウィンドウ）３Ｒ１〜３Ｒ３を設定する。なお、本実施形態では参照ウィンドウ３Ｒ１〜３Ｒ３はそれぞれ複数設定されるが、図では代表的な１つのみを記載している。また、設定される参照ウィンドウは１つであっても良い。
相関値算出部２３は、基準ウィンドウ３Ｂ１〜３Ｂ３及び複数の参照ウィンドウ３Ｒ１〜３Ｒ３内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて対応位置を演算する処理を用いて相関値を算出する。具体的には、基準ウィンドウ３Ｂ１〜３Ｂ３と複数の参照ウィンドウ３Ｒ１〜３Ｒ３との間の相互相関関数のピーク値をそれぞれ算出する。３Ｄ座標演算部２７は、相関値算出部２３によって算出されたピーク値に基づいて基準画像３Ｂと参照画像３Ｒを対応付け、３次元位置を算出して表示部１４等に出力する。
第１特定部２４は、基準画像３Ｂ上で指定される指定点３Ｐに対応する参照画像３Ｒ上の第１対応点３Ｎ１を、参照画像３Ｒのうちの指定点３Ｐに対応する位置を通り、かつ予め定められた方向に対応する第１基準方向に沿った線上で探索して特定する。具体的には、第１特定部２４は、参照画像３Ｒ上で、基準画像３Ｂ上の指定点３Ｐと同位置にある同位点３ＳＰを通り、かつ離隔配置された撮像系１１ａ，１１ｂの基線長の方向に対応する第１基準方向に沿った線上で探索して特定する。
第２特定部２５は、参照画像３Ｒのうちの第１対応点３Ｎ１を通り、かつ第１基準方向に略垂直な第２基準方向に沿った線上で探索して、指定点３Ｐに対応する参照画像３Ｒ上の第２対応点３Ｎ２を特定する。
また、第３特定部２６は、参照画像３Ｒのうちの第２対応点３Ｎ２を通り、かつ第１基準方向に沿った線上で探索して、指定点３Ｐに対応する参照画像３Ｒ上の第３対応点３Ｎ３を特定する。具体的には、第３特定部２６は、参照画像３Ｒのうちの第２対応点３Ｎ２を通り、かつ第１基準方向に沿った線上をサブピクセル単位で探索して、指定点３Ｐに対応する参照画像３Ｒ上の第３対応点３Ｎ３を特定する。ここで、「サブピクセル単位で検索」とは、単色（例えば、ＲＧＢ）の各画素（各ピクセル）の所定位置（例えば、重心位置）が各画素の座標に対応する位置である場合、隣接する複数画素の該所定位置の間に位置する点を対応点の検索対象の最小単位として検索することを意味する。
なお、第１特定部２４〜第３特定部２６のそれぞれが個別に基準ウィンドウ設定部及び参照ウィンドウ設定部（共に図示省略）を有しても良い。また、第１特定部２４〜第３特定部２６のそれぞれが個別に相関値算出部（図示省略）を有していても良い。
より具体的には、対応点探索処理ではまず、図３（ａ）に示す如く、基準ウィンドウ設定部２１と第１特定部２４とが連携して、基準画像３Ｂ上の指定点３Ｐを包含する基準ウィンドウ３Ｂ１を設定する。また、参照画像３Ｒ上で指定点３Ｐと同位置にある同位点３ＳＰとを結ぶ線分を延長した直線（第１基準方向に沿った線上）を第１探索エリア３Ｓ１として探索し、参照ウィンドウ設定部２２が参照画像３Ｒ上で参照ウィンドウ３Ｒ１を複数設定する。さらに、第１特定部２４と相関値算出部２３とが連携して第１対応点３Ｎ１を特定する。
第１対応点３Ｎ１が特定されると、次に、図３（ｂ）に示す如く、基準ウィンドウ設定部２１と第２特定部２５とが連携して、基準画像３Ｂ上の指定点３Ｐを包含する基準ウィンドウ３Ｂ２を設定する。また、参照ウィンドウ設定部２２と第２特定部２５とが連携して、第１対応点３Ｎ１を通り、かつ第１基準方向（第１探索エリア３Ｓ１の方向）に略垂直な第２基準方向に沿った線上を第２探索エリア３Ｓ２として探索し、参照ウィンドウ設定部２２が参照画像３Ｒ上で参照ウィンドウ３Ｒ２を複数設定する。さらに第２特定部２５と相関値算出部２３とが連携して第２対応点３Ｎ２を特定する。
第２対応点３Ｎ２が特定されると、今度は、図３（ｃ）に示す如く、基準ウィンドウ設定部２１と第３特定部２６とが連携して、基準画像３Ｂ上の指定点３Ｐを包含する基準ウィンドウ３Ｂ３を設定する。また、参照ウィンドウ設定部２２と第３特定部２６とが連携して、第２対応点３Ｎ２を通り、かつ第１基準方向に沿った線上を第３探索エリア３Ｓ３として探索し、参照ウィンドウ設定部２２が参照画像３Ｒ上で参照ウィンドウ３Ｒ３を設定する。さらに第３特定部２６と相関値算出部２３とが連携して第３対応点３Ｎ３をサブピクセル単位で特定する。
なお、第２特定部２５においても、第２対応点３Ｎ２をサブピクセル単位で探索して特定することにより、更に高精度に対応付けることが可能となる。
〈ＰＯＣ法〉
図４は、ＰＯＣ法を用いた対応点探索処理手順を示す図である。ここでは、上述の対応点探索処理で、第１対応点３Ｎ１、第２対応点３Ｎ２及び第３対応点３Ｎ３を探索・特定する手法の１つであるＰＯＣ法について説明する。
ＰＯＣ法では、まず、基準ウィンドウ３Ｂ１内の画像と、参照ウィンドウ３Ｒ１内の画像とが抽出される。これらの画像は、そのサイズをＮ1×Ｎ2として、それぞれ次式のように表されるものとする。すなわち、
ｆ（ｎ1，ｎ2）；
ｇ（ｎ1，ｎ2）；
ただし、
ｎ1＝−Ｍ1，…，Ｍ1；
ｎ2＝−Ｍ2，…，Ｍ2；
Ｎ1＝２Ｍ1＋１；
Ｎ2＝２Ｍ2＋１。
これらに対して、次の数１に示す演算式を用いた２次元フーリエ変換処理Ｐ１ａ，Ｐ１ｂを行って周波数分解する。なお、但書きにおけるＷの添字Ｐには、Ｎ1，Ｎ2が代入され、ｋの添字ｓには、１，２が代入される。ここで、周波数分解の処理は必ずしもフーリエ変換である必要はなく、離散コサイン変換、離散サイン変換、ウェーブレット変換又はアダマール変換の何れかを含んでいても良い。
このような２次元フーリエ変換処理Ｐ１ａ，Ｐ１ｂが施された各画像に対しては、次の数２に示す演算式を用いて、画像の振幅成分を抑制するための規格化処理Ｐ２ａ，Ｐ２ｂが行われる。
規格化処理Ｐ２ａ，Ｐ２ｂが完了すると、次の数３に示す演算式を用いたクロススペクトル処理（合成処理）Ｐ３が行われると共に、数４に示す演算式を用いた２次元逆フーリエ変換処理Ｐ４が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果（ＰＯＣ値）が出力される。
図５は、ＰＯＣ値の例を示す図である。以上のＰＯＣ法を用いた処理を複数設定される参照ウィンドウ（例えば、参照ウィンドウ３Ｒ１）と基準ウィンドウ（例えば、基準ウィンドウ３Ｂ１）とに対して実行することにより、Ｎ1×Ｎ2の大きさをもつウィンドウ（基準ウィンドウ３Ｂ１及び参照ウィンドウ３Ｒ１）内で相関が高い箇所に急峻なピークＳが得られる。したがって、複数設定される参照ウィンドウ３Ｒ１のうち、ＰＯＣ値のピークＳに対応する参照画像３Ｒ上の位置を包含する参照ウィンドウ３Ｒ１が、基準画像３Ｂ上の指定点３Ｐを包含する基準ウィンドウ３Ｂ１に対応していることとなる。すなわち、ＰＯＣ値のピークＳに対応する参照画像３Ｒ上の位置が、第１ないし第３対応点３Ｎ１〜３Ｎ３となる。ここで、設定されるウィンドウ（基準ウィンドウ３Ｂ１及び参照ウィンドウ３Ｒ１）が１次元の場合には、Ｎ1又はＮ2の何れかを１として１次元フーリエ変換処理を行うことでＰＯＣ値を得る。
以上のようなＰＯＣ法を用いた対応点探索処理によれば、ウィンドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて対応位置を演算する処理を用いて相関値を算出するので、輝度変動やノイズの影響を抑制して参照画像３Ｒ上の第３対応点３Ｎ３を精度良く探索することが可能である。なお、ＰＯＣ値は、離散的に求められるため、隣接画素間で補間演算を行い、ピークＳの位置を１画素のサイズよりも細かいサブピクセルのサイズで推定することで、更に細かく対応点の検出を行うこともできる。補間演算の手法としては、離散的に求められたＰＯＣ値の分布から放物線の関数を求める手法等が考えられる。
〈３Ｄ座標演算処理〉
図６は、３Ｄ座標演算処理を説明する図である。ここでは、３Ｄ座標演算部２７が実行する処理の概要について説明する。上述のような手法によって基準画像３Ｂ上の指定点３Ｐと、参照画像３Ｒ上の第３対応点３Ｎ３との位置の差がΔｄであった場合、被写体１８までの距離Ｄは、次式で表される。すなわち、
Ｄ＝ｆＢ／Δｄ；
ただし、
ｆ：撮像系１１ａ，１１ｂのカメラレンズの焦点距離；
Ｂ：撮像系１１ａ，１１ｂの基線長。
これを用いて、基準画像３Ｂ上の注目画素の座標をｘ，ｙとすれば、被写体１８の３次元位置（Ｘ，Ｙ，Ｚ）は、それぞれ、
Ｘ＝ｘＤ／ｆ， Ｙ＝ｙＤ／ｆ， Ｚ＝Ｄ
と表すことができる。
図７は、３Ｄ座標演算部２７によって生成されるレンジデータを示す図である。上述の対応点探索処理及び３Ｄ座標演算処理を基準画像３Ｂの全画素について実行することにより、レンジデータ７０を生成することが可能となる。なお、図７においては、撮像系１１ａ，１１ｂからの距離を濃度の濃淡として画素毎に表現した例を示している。つまり、撮像系１１ａ，１１ｂからの距離が近いほど白く、遠いほど黒くなるように設定されている例を示している。被写体１８の要素７１〜７３のうち、最も撮像系１１ａ，１１ｂに近い要素７１が最も白く表されており、要素７１よりも撮像系１１ａ，１１ｂから離れている要素７２は、要素７１よりも黒く表示されており、撮像系１１ａ，１１ｂから更に離れている要素７３は、要素７２よりも黒く表されている。
〈情報処理システム１０の動作〉
図８は、情報処理システム１０の動作を示すフローチャートである。情報処理システム１０では、まず、撮像系１１ａ，１１ｂからの画像データを取得し、各画像データに基づいて、基準画像３Ｂ及び参照画像３Ｒを設定する。基準画像３Ｂ及び参照画像３Ｒが設定されると、基準ウィンドウ設定部２１と第１特定部２４とが連携して基準ウィンドウ３Ｂ１を設定し、参照ウィンドウ設定部２２と第１特定部２４とが連携して第１基準方向に沿った線上で参照ウィンドウ３Ｒ１を複数設定する。これらのウィンドウが設定されると、相関値算出部２３と第１特定部２４とが連携して、指定点３Ｐに対応する第１対応点３Ｎ１を特定する（ステップＳ８０１〜Ｓ８０３）。
第１対応点３Ｎ１が特定されると、基準ウィンドウ設定部２１と第２特定部２５とが連携して、基準ウィンドウ３Ｂ２を設定し、参照ウィンドウ設定部２２と第２特定部２５とが連携して、第１対応点３Ｎ１を通り、かつ第２基準方向に沿った線上で参照ウィンドウ３Ｒ２を複数設定する。これらのウィンドウが設定されると、相関値算出部２３と第２特定部２５とが連携して、指定点３Ｐに対応する第２対応点３Ｎ２を特定する（ステップＳ８０４，Ｓ８０５）。
第２対応点３Ｎ２が特定されると、基準ウィンドウ設定部２１と第３特定部２６とが連携して基準ウィンドウ３Ｂ２を設定し、参照ウィンドウ設定部２２と第３特定部２６とが連携して、第２対応点３Ｎ２を通り、かつ第１基準方向に沿った線上で参照ウィンドウ３Ｒ３を複数設定する。これらのウィンドウが設定されると、相関値算出部２３と第３特定部２６とが連携して、第３対応点３Ｎ３を特定する（ステップＳ８０６，Ｓ８０７）。
このようにして特定された第３対応点３Ｎ３に基づいて、３Ｄ座標演算部２７が被写体１８の画像について、画像上の座標点を相互に対応付けし、座標点の３次元位置を算出する。
〈第１実施形態の効果〉
以上のように、基準画像３Ｂ上で指定される指定点３Ｐに対応する参照画像３Ｒ上の対応点を特定する際に、指定点３Ｐに対応する位置を通る第１基準方向に沿った線上で探索して第１対応点３Ｎ１を特定し、該第１対応点３Ｎ１を通り、かつ該第１基準方向に略垂直な第２基準方向に沿った線上で探索して第２対応点３Ｎ２を特定し、さらに該第２対応点３Ｎ２を通り、かつ該第１基準方向に沿った線上で探索して第３対応点３Ｎ３を特定するので、画像間の座標点を高速かつ高精度に対応付けることが可能となる。
また、第３特定部２６は、第３対応点３Ｎ３をサブピクセル単位で探索して特定するので、画像間の座標点を更に高精度に対応付けることが可能となる。
また、第２特定部２５は、第２対応点３Ｎ２をサブピクセル単位で探索して特定するので、指定点３Ｐに対する対応点の元々のズレが第２基準方向に１画素未満であるときには、画像間の座標点を更に高精度に対応付けることが可能となる。
さらに、第１特定部２４〜第３特定部２６は、指定点３Ｐを包含して設定される基準ウィンドウ３Ｂ１と、参照画像３Ｒ上に順次設定される１又は複数の参照ウィンドウ３Ｒ１〜３Ｒ３との間の相関値に基づいて、第１対応点３Ｎ１、第２対応点３Ｎ２及び第３対応点３Ｎ３を特定するので、画像間の座標点を高精度に対応付けることが可能となる。
さらにまた、相関値算出部２３は、基準ウィンドウ３Ｂ１〜３Ｂ３及び参照ウィンドウ３Ｒ１〜３Ｒ３内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて対応位置を演算する処理を用いてＰＯＣ値を算出するので、輝度変動やノイズの影響を抑制して第１対応点３Ｎ１〜第３対応点３Ｎ３を精度良く探索することが可能となる。
また、ウィンドウ内の周波数分解する処理が、フーリエ変換、離散コサイン変換、離散サイン変換、ウェーブレット変換又はアダマール変換のうちの何れかの演算を含むので、演算処理を軽減して処理時間を短縮することが可能となる。
〈第２実施形態〉
上述の第１実施形態では、指定点３Ｐを包含する基準ウィンドウ３Ｂ１と参照ウィンドウ３Ｒ１との相互相関を演算しながら、互いに直交する方向に複数回探索して第３対応点３Ｎ３を特定する場合について説明したが、ここでは、本発明の第２実施形態として、参照ウィンドウ３Ｒ３を参照画像３Ｒの画素データから補間した上で相互相関関数を演算する場合について図面を参照しながら説明する。なお、以下の実施形態の説明において、特に断りのない限り、上記第１実施形態と同様の機能を有する要素については同一符号を付してその説明を省略する。
〈情報処理システム９０の構成及び機能〉
図９は、本発明の第２実施形態に係る情報処理システム９０の機能ブロック図であり、図１０は、画素データの補間を説明する図である。情報処理システム９０における情報処理装置９２は、上記第１実施形態の構成に加えて、少なくとも第３特定部２６が、補間部９４を有している。これもまた、ＣＰＵ１５がＲＡＭ１７を一時的なワーキングエリアとして使用しつつ、ＲＯＭ１６に格納されているプログラムに従って動作することにより実現される機能ブロックである。なお、本実施形態では、第１特定部２４及び第２特定部２５もまた補間部９４と連携して動作するものとする。
補間部９４は、参照ウィンドウ３Ｒ３がサブピクセル単位で設定された場合には、参照画像３Ｒの画素データに基づく補間処理により、参照ウィンドウ３Ｒ３内の画素値を算出する。ここで、「ウィンドウがサブピクセル単位で設定され」るとは、ウィンドウが単色（例えば、ＲＧＢ）の複数の画素（ピクセル）によって構成されるように設定されるのではなく、隣接画素間の距離未満だけずらされた位置にウィンドウが設定されることを意味する。よって、ウィンドウがサブピクセル単位で設定されると、ウィンドウの縁部が、複数の画素を縦断又は横断することになる。
具体例を挙げれば、参照画像３Ｒが５行（Ａ行〜Ｅ行）×９列（第１列〜第９列）ピクセルであり、第３対応点３Ｎ３を特定する際に設定される参照ウィンドウ３Ｒ３が、Ｂ行とＣ行とに亘って設定された場合には、補間部９４がＢ行内の画素値とＣ行内の画素値とに基づいて、参照ウィンドウ３Ｒ３内の画素の画素値を算出する。補間部９４によって算出された画素値が、Ｂ行の下側０．５ピクセルとＣ行の上側０．５ピクセルとからなる場合には、
０．５Ｂｎ＋０．５Ｃｎ（ｎ＝１〜９）：
と参照ウィンドウ３Ｒ３の各画素値が算出される。ここで、Ｂｎ，ＣｎはそれぞれＢ行内及びＣ行内の画素である。
相関値算出部９３は、基準ウィンドウ３Ｂ２と参照ウィンドウ３Ｒ３との間の相互相関関数のピーク値を算出する。
又は、参照ウィンドウ３Ｒ３が、Ｄ行の下側０．２５ピクセルとＥ行の上側０．７５ピクセルとからなる場合には、
０．２５Ｄｎ＋０．７５Ｅｎ（ｎ＝１〜９）：
と参照ウィンドウ３Ｒの各画素値が算出される。ここで、Ｄｎ，ＥｎはそれぞれＤ行内及びＥ行内の画素である。また、参照ウィンドウ３Ｒ３の補間処理と同様に第２対応点３Ｎ２を特定する際に設定される参照ウィンドウ３Ｒ２に対して補間処理を行っても良い。何れにしても、第２特定部２５，第３特定部２６の何れかが補間部９４を用いて補間処理を行った場合には、以降の対応点探索処理では必ず補間処理が実行される。
なお、本実施形態においては、設定した参照ウィンドウ３Ｒ３内に存在する画素データのみを用いているが、キュービックコンボリューション等の高次補間を用いても良い。また、図１０においては、１次元ウィンドウを示しているが、２次元でも同様に補間して設定する。なお、図１０に示すように、１次元ウィンドウは、一方向に沿って配列された複数の画素によって構成されるウィンドウである。
〈情報処理システム９０の動作〉
図１１は、情報処理システム９０の動作を示すフローチャートである。情報処理システム９０では、まず、上記第１実施形態のステップＳ８０１〜Ｓ８０５の処理と同様の処理を実行して第２対応点３Ｎ２を特定する（ステップＳ１１０１〜Ｓ１１０５）。
第２対応点３Ｎ２が特定されると、基準ウィンドウ設定部２１と第３特定部２６とが連携して基準ウィンドウ３Ｂ３を設定し、参照ウィンドウ設定部２２と第３特定部２６とが連携して第１基準方向に沿った線上で参照ウィンドウ３Ｒ３を複数設定する。複数設定された参照ウィンドウ３Ｒ３のそれぞれに対して、補間部９４が画像の画素値を算出する。基準ウィンドウ３Ｂ３内の画像と参照ウィンドウ３Ｒ３内の画像とに基づいて、相関値算出部２３と第３特定部２６とが連携して、第３対応点３Ｎ３を特定する（ステップＳ１１０６〜Ｓ１１０８）。
〈第２実施形態の効果〉
以上のように、参照ウィンドウ３Ｒ３がサブピクセル単位で設定された場合には、参照画像３Ｒの画素データに基づく補間処理により、参照ウィンドウ３Ｒ３内の画像の画素値を算出する補間部９４を更に有するので、画像間の座標点の対応付けを高精度に行うことが可能となる。
〈第３実施形態〉
ここでは、本発明の第３実施形態として、基準ウィンドウ３Ｂ１〜３Ｂ３及び参照ウィンドウ３Ｒ１〜３Ｒ３を探索方向に長さをもつ１次元のウィンドウとして設定する場合について図面を参照しながら説明する。
〈情報処理システム１２０の構成及び機能〉
図１２は、本発明の第３実施形態に係る情報処理システム１２０の機能ブロック図であり、図１３（ａ）〜（ｃ）は、対応点探索処理の手順を示す模式図である。本実施形態に係る情報処理装置１２２の基準ウィンドウ設定部１２２１及び参照ウィンドウ設定部１２２２は、それぞれ探索方向に予め定められた複数画素の長さをもつ１次元ウィンドウを基準ウィンドウ１３Ｂ１〜１３Ｂ３及び参照ウィンドウ１３Ｒ１〜１３Ｒ３として設定する。
具体的には、まず、図１３（ａ）に示す如く、基準ウィンドウ設定部１２２１が、基準画像１３Ｂ上の指定点１３Ｐを包含して、第１基準方向に複数画素の長さをもつ１次元の基準ウィンドウ１３Ｂ１を設定する。また、参照画像１３Ｒ上で指定点１３Ｐと同位置にある同位点１３ＳＰとを結ぶ線分を延長した直線（第１基準方向に沿った線上）を第１探索エリア１３Ｓ１として探索し、参照ウィンドウ設定部１２２２が参照画像１３Ｒ上で１次元の参照ウィンドウ１３Ｒ１を複数設定する。さらに、第１特定部２４と相関値算出部２３とが連携して第１対応点１３Ｎ１を特定する。
第１対応点１３Ｎ１が特定されると、次に、図１３（ｂ）に示す如く、基準ウィンドウ設定部１２２１と第２特定部２５とが連携して、基準画像１３Ｂ上の指定点１３Ｐを包含する１次元の基準ウィンドウ１３Ｂ２を設定する。また、参照ウィンドウ設定部１２２２と第２特定部２５とが連携して、第１対応点１３Ｎ１を通り、かつ第２基準方向に沿った線上を第２探索エリア１３Ｓ２として探索し、参照ウィンドウ設定部１２２２が参照画像１３Ｒ上で１次元の参照ウィンドウ１３Ｒ２を複数設定する。さらに第２特定部２５と相関値算出部２３とが連携して、第２対応点１３Ｎ２を特定する。
第２対応点１３Ｎ２が特定されると、今度は、図１３（ｃ）に示す如く、基準ウィンドウ設定部１２２１と第３特定部２６とが連携して、基準画像１３Ｂ上の指定点１３Ｐを包含する基準ウィンドウ１３Ｂ３を設定する。また、参照ウィンドウ設定部１２２２と第３特定部２６とが連携して、再び第１基準方向に沿った線上を第３探索エリア１３Ｓ３として探索し、参照ウィンドウ設定部１２２２が参照画像１３Ｒ上で１次元の参照ウィンドウ１３Ｒ３を複数設定する。さらに第３特定部２６と相関値算出部２３とが連携して、第３対応点１３Ｎ３をサブピクセル単位で特定する。
〈情報処理システム１２０の動作〉
情報処理システム１２０の動作は、上記第１実施形態に係る情報処理システム１０の動作と略同じであり、基準ウィンドウ１３Ｂ１〜１３Ｂ３及び参照ウィンドウ１３Ｒ１〜１３Ｒ３を設定する際に、それぞれのウィンドウが第１対応点１３Ｎ１、第２対応点１３Ｎ２及び第３対応点１３Ｎ３の探索方向に延在する１次元のウィンドウを設定する点のみが異なっている。そこで、フローチャートを用いた動作の説明は省略する。
〈第３実施形態の効果〉
以上のように、基準ウィンドウ１３Ｂ１〜１３Ｂ３は、探索方向に複数画素の長さをもつ１次元ウィンドウであり、参照ウィンドウ１３Ｒ１〜１３Ｒ３は、該基準ウィンドウ１３Ｂ１と略同一サイズの１次元ウィンドウであるので、基準画像１３Ｂ及び参照画像１３Ｒをそれぞれ撮像した撮像系１１ａ，１１ｂが平行配置されていることを前提として対応点探索に係る演算量を抑制することができる。そのため、画像間の座標点の対応付けを高精度に行いつつ、処理時間を短縮することが可能となる。
〈第４実施形態〉
ここでは、本発明の第４実施形態として、ピーク値に基づいて第２特定部及び第３特定部が行う処理を反復させる場合について図面を参照しながら説明する。
〈情報処理システム１４０の構成及び機能〉
図１４は、本発明の第４実施形態に係る情報処理システム１４０の機能ブロック図である。本実施形態に係る情報処理装置１４２の相関値算出部１４３は、基準ウィンドウ３Ｂ１〜３Ｂ３と参照ウィンドウ３Ｒ１〜３Ｒ３（図３参照）との間の相互相関関数のピーク値を算出し、該ピーク値（例えば、ＰＯＣ値）を処理制御部１４４に送出する。
処理制御部１４４は、第２特定部２５において第３対応点を通り、かつ第２基準方向に沿った線上で探索して第４対応点を特定し、第３特定部２６において第４対応点を通り、かつ第１基準方向に沿った線上で探索して第５対応点を特定する処理を行わせる。つまり、処理制御部１４４は、第２特定部２５において第（２ｍ）対応点を特定し、第３特定部２６において第（２ｍ＋１）対応点（ｍ∈自然数）を特定する処理を順次反復させる。ここで、処理制御部１４４が処理を終了させるのは以下の条件の何れかを満たすような場合である。すなわち；
１）相関値算出部１４３から取得するＰＯＣ値が、予め定められた閾値以上となる；
２）相関値算出部１４３から順次取得するＰＯＣ値の増加量が、予め定められた閾値以下となる；
３）相関値算出部１４３から順次取得するＰＯＣ値の増加率が、予め定められた閾値以下となる。
なお、本発明においては、常に第３特定部２６で対応点探索処理が終了しているが、上記条件１ないし３を満たせば第２特定部２５で対応点探索処理を終了しても構わない。
〈情報処理システム１４０の動作〉
図１５は、情報処理システム１４０の動作を示すフローチャートである。なお、ここでは、処理制御部１４４が反復処理を終了させる条件として、上記条件１を満たす場合、すなわち、ＰＯＣ値が予め定められた閾値以上となった場合を例に説明する。
情報処理システム１４０では、まず、撮像系１１ａ，１１ｂからの画像データを取得し、各画像データに基づいて、基準画像３Ｂ及び参照画像３Ｒを設定する。基準画像３Ｂ及び参照画像３Ｒが取得されると、基準ウィンドウ設定部２１と第１特定部２４とが連携して基準ウィンドウ３Ｂ１を設定し、参照ウィンドウ設定部２２と第１特定部２４とが連携して第１基準方向に沿った線上で参照ウィンドウ３Ｒ１を複数設定する。これらのウィンドウが設定されると、相関値算出部１４３と第１特定部２４とが連携して、指定点３Ｐに対応する第１対応点３Ｎ１を特定する（ステップＳ１５０１〜Ｓ１５０３）。
第１対応点３Ｎ１が特定されると、反復処理を開始し、相関値算出部１４３と第２特定部２５とが連携して、直前に特定された対応点（この場合、第１対応点３Ｎ１）を通り、かつ第２基準方向に沿った線上で探索し、第２ｍ対応点（この場合、第２対応点３Ｎ２）を特定する（ステップＳ１５０４〜Ｓ１５０６）。
第２対応点３Ｎ２が特定されると、その特定工程であるステップＳ１５０６が一連の処理の中で２回以上行われた否か、すなわち、ステップＳ１５０６で特定した第２ｍ対応点のｍが２以上の自然数か否かを判断し、ｍ＝１である場合にはＮｏを選択する（ステップＳ１５０７）。そして、第２対応点３Ｎ２に基づいて、相関値算出部１４３と第３特定部２６とが連携して第２対応点３Ｎ２を通り、かつ第１基準方向に沿った線上で探索し、第（２ｍ＋１）対応点（ここでは第３対応点３Ｎ３）を特定する（ステップＳ１５０８，Ｓ１５０９）。
第３対応点３Ｎ３が特定されると、処理制御部１４４が、第３対応点３Ｎ３を特定した際のＰＯＣ値が予め定められた閾値以上であるか否かを判断し（ステップＳ１５１０）、該閾値未満である場合にはＮｏを選択して、ステップＳ１５０４に戻る。
ステップＳ１５０４に戻ると、ステップＳ１５０５，Ｓ１５０６を実行して第４対応点（ｍ＝２）を特定し、ステップＳ１５０７においてＹｅｓを選択する。ステップＳ１５０７においてＹｅｓを選択すると、処理制御部１４４が、第４対応点を特定した際のＰＯＣ値が該閾値以上であるか否かを判断し、Ｎｏである場合にはステップＳ１５０８に進む（ステップＳ１５１１）。
以降、ステップＳ１５１０，Ｓ１５１１の何れかでＹｅｓを選択するまで、すなわち、第（２ｍ）対応点又は第（２ｍ＋１）対応点を特定する際のＰＯＣ値が予め定められた閾値以上になるまで処理を反復し、該閾値以上となったとき処理を終了する（ステップＳ１５１２）。
なお、処理制御部１４４が反復処理を終了させる条件として、上記条件１に上記条件２又は３を加えることにより、ＰＯＣ値が該閾値未満であっても、順次取得するＰＯＣ値の増加量又は増加率が、それぞれ予め定められた閾値以下となった場合には、処理を終了するようにしても良い。これにより、反復処理の回数を抑制することが可能となり、演算処理を軽減して処理時間を短縮することが可能となる。
〈第４実施形態の効果〉
以上のように、第２特定部２５において第３対応点３Ｎ３を通り、かつ第２基準方向に沿った線上で探索して第４対応点を特定し、第３特定部２６において第４対応点を通り、かつ第１基準方向に沿った線上で探索して第５対応点を特定する処理を反復させる処理制御部１４４を更に備えるので、互いに略垂直な方向で複数回探索して対応点を特定することができ、画像間の座標点の対応付けを更に高精度に行うことが可能となる。
〈第５実施形態〉
ここでは、本発明の第５実施形態として、基準ウィンドウ３Ｂ１〜３Ｂ３及び参照ウィンドウ３Ｒ１〜３Ｒ３のピクセル単位に相当するデータを、複数の１次元ウィンドウに基づいて得る場合について図面を参照しながら説明する。
図１６は、１次元ウィンドウを用いた演算によるロバスト性の低下を説明する図である。撮像系１１ａ，１１ｂの平行配置のズレ等により、図１６に示す基準ウィンドウ１６Ｂ１に対して、参照ウィンドウの候補が複数（本実施形態においては、第１参照ウィンドウ候補１６Ｒａ〜第３参照ウィンドウ候補１６Ｒｃ）ある場合、ロバスト性が低下するという問題がある。この問題は、特に最初の対応付けのときに顕著である。そこで、複数の１次元ウィンドウに対するフィルタ処理を実行することでロバスト性の低下を抑制する。
〈情報処理システム１７０の構成及び機能〉
図１７は、本発明の第５実施形態に係る情報処理システム１７０の機能ブロック図であり、図１８は、画素値算出部１７１が行う演算を説明する図である。ここで、画素値算出部１７１は、基準ウィンドウ設定部２１と連携して動作することにより本発明の第１画素値算出手段として機能し、参照ウィンドウ設定部２２と連携して動作することにより本発明の第２画素値算出手段として機能する。本実施形態に係る情報処理装置１７２は、基準ウィンドウ設定部２１及び参照ウィンドウ設定部２２がそれぞれ以下のようにしてピクセル単位に相当する基準ウィンドウ及び参照ウィンドウを得る。すなわち、画素値算出部１７１は、基準ウィンドウ設定部２１と連携して、指定点３Ｐ（図３参照）を包含して探索方向（第１基準方向）に対応する方向に長さをもつ第１の１次元ウィンドウ３Ｌｂ内の画像と該第１の１次元ウィンドウ３Ｌｂに探索方向に略垂直な方向で隣接する１以上の第２の１次元ウィンドウ３Ｌａ，３Ｌｃ内の画像とに基づくフィルタ処理により、基準ウィンドウ３Ｂ１内の画像の画素値を算出する。
また、画素値算出部１７１は、参照ウィンドウ設定部２２と連携して、該探索方向に長さをもち、かつ基準ウィンドウ３Ｂ１と略同一サイズの第３の１次元ウィンドウ３Ｌｐ，３Ｌｑ，３Ｌｒの何れかとそれぞれの第３の１次元ウィンドウ３Ｌｐ，３Ｌｑ，３Ｌｒに該探索方向に垂直な方向（第２基準方向）で隣接する第４の１次元ウィンドウ３Ｌｏ〜３Ｌｓとに基づくフィルタ処理により、参照ウィンドウ３Ｒ１内の画素値を算出する。
具体的に、画素値算出部１７１が行うフィルタ処理とは、例えば、基準ウィンドウを設定する際には基準ウィンドウ設定部２１と連携して、実際に対応点探索処理を行う基準ライン３Ｌｂに、基準ライン３Ｌｂの上下の基準ライン３Ｌａ，３Ｌｃを加えた３ライン分を適宜重み付けして基準ウィンドウ３Ｂ１の画素値を算出する。より具体的には、基準ライン３Ｌａ〜３Ｌｃ内の画像ａ，ｂ，ｃのそれぞれに係数α，β，γ（ただし、α＋β＋γ＝１）を乗じ、それらを足し合わせて得られる画像を基準ウィンドウ３Ｂ１の画像とする。これにより、画像に含まれるランダムなノイズを除去したり、画素毎の濃度値の細かい変化を少なくして画素の内容を滑らかにすることが可能となり、対応点探索処理を高精度に行うことが可能となる。
また、画素値算出部１７１は、参照ウィンドウを設定する際も同様にして、実際に対応点探索処理を行おうとする参照ライン内の画像（参照ライン３Ｌｐ，３Ｌｑ，３Ｌｒ内の画像ｐ〜ｒの何れか）と、それぞれの上下の参照ライン３Ｌｏ〜３Ｌｓ内の画像ｏ〜ｓとを加えた３ライン分にそれぞれ係数α，β，γを乗じ、それらを足し合わせて得られる画像の何れかを対応点探索処理に用いる参照ウィンドウ３Ｒ１の画像とする。具体例を挙げれば、基準ライン３Ｌａに対する参照ライン３Ｌｐ内の画像ｐと、参照ライン３Ｌｐの上下の参照ライン３Ｌｏ，３Ｌｑ内の画像ｏ，ｑとを加えた３ラインに、α，β，γをそれぞれ乗じて足し合わせた（α×ｏ＋β×ｐ＋γ×ｑ）を参照ウィンドウ３Ｒ１の画像とする。
参照ウィンドウ設定部２２及び画素値算出部１７１によって算出された参照ウィンドウ３Ｒａ〜３Ｒｃの画像のうち何れを対応点探索処理に用いる参照ウィンドウ３Ｒ１の画像とするかは、任意である。例えば、基準ウィンドウ３Ｂ１と垂直方向のズレが最も少ないもの（図１８においては、例えば、参照ウィンドウ３Ｒｂ）を参照ウィンドウ３Ｒ１としても良い。又は、上記の処理と同様に、画素値算出部１７１が、参照ウィンドウ３Ｒａ〜３Ｒｃのそれぞれに係数δ，ε，ζ（ただし、δ＋ε＋ζ＝１、図示省略）を乗じ、それらを足し合わせて得られる参照ウィンドウ（図示省略）の画像を参照ウィンドウ３Ｒ１の画像としても良い。
なお、画素値算出部１７１が実行するフィルタ処理は、必ずしも第２基準方向で隣接する１次元ウィンドウに基づくものでなくとも良く、探索方向が第２基準方向である場合には、第１基準方向で隣接する１次元ウィンドウに基づくフィルタ処理を実行するようにしても良い。
また、ウィンドウを設定するライン数は、必ずしも３ラインで固定されている必要はなく、適宜変更可能である。例えば、指定点３Ｐを基準ライン３Ｌｂの下端近傍で包含するように基準ウィンドウ設定部２１が設定されている場合には、基準ライン３Ｌｂ，３Ｌｃの画像に基づくフィルタ処理を実行して基準ウィンドウ３Ｂ１の画像としても良い。ここで、ライン数の変更は、例えば、操作部１３からの入力操作に基づいて変更されても良いし、画素値算出部１７１と上記第４実施形態とを組み合わせて、処理制御部によって制御された対応点探索処理の反復回数を記憶して、予め定められた回数よりも継続的に多い場合には、ライン数を増加させるようにしても良い。
相関値算出部１７３は、基準ウィンドウ設定部２１又は参照ウィンドウ設定部２２と、画素値算出部１７１とによって設定された基準ウィンドウ３Ｂ１内の画像と参照ウィンドウ３Ｒ１内の画像との間の相互相関関数のピーク値を算出する。
〈情報処理システム１７０の動作〉
図１９は、情報処理システム１７０の動作を示すフローチャートである。なお、ここでは、画素値算出部１７１と基準ウィンドウ設定部２１とが連携して、基準ライン３Ｌａ〜３Ｌｃに基づくフィルタ処理により基準ウィンドウ３Ｂ１の画像を算出し、画素値算出部１７１と参照ウィンドウ設定部２２とが連携して、参照ライン３Ｌｐ〜３Ｌｒに基づくフィルタ処理により参照ウィンドウ３Ｒ１の画像を算出する場合を例に説明する。また、第３対応点３Ｎ３を特定する際にはフィルタ処理を行わない場合を例に説明する。
情報処理システム１７０では、まず、撮像系１１ａ，１１ｂから取得した各画像データに基づいて、基準画像３Ｂ及び参照画像３Ｒを設定する。基準画像３Ｂ及び参照画像３Ｒが取得されると、基準ウィンドウ設定部２１と第１特定部２４と画素値算出部１７１とが連携して、第１基準方向に沿った線上で、基準ライン３Ｌｂを設定し、参照ウィンドウ設定部２２と第１特定部２４と画素値算出部１７１とが連携して、第１基準方向に沿った線上で参照ライン３Ｌｑを複数設定する。なお、図に示した参照ライン３Ｌｑは複数の参照ラインの代表である（ステップＳ１９０１，Ｓ１９０２）。
基準ライン３Ｌｂが設定されると、基準ライン３Ｌｂ内の画像と、該基準ライン３Ｌｂに第２基準方向で隣接する複数の基準ライン３Ｌａ，３Ｌｃ内の画像とに基づいて基準ウィンドウ３Ｂ１の画像を算出する。また、参照ライン３Ｌｑが設定されると、参照ライン３Ｌｑ内の画像と、該参照ライン３Ｌｑに第２基準方向で隣接する複数の参照ライン３Ｌｐ，３Ｌｒ内の画像とに基づいて参照ウィンドウ３Ｒ１の画像を複数算出する。これらのウィンドウ内の画像が算出されると、相関値算出部１７３と第１特定部２４とが連携して、指定点３Ｐに対応する第１対応点３Ｎ１を特定する（ステップＳ１９０３〜Ｓ１９０５）。
第１対応点３Ｎ１が特定されると、基準ウィンドウ設定部２１と第２特定部２５と画素値算出部１７１とが連携して、第２基準方向に沿った線上で、基準ライン（図示省略）を設定し、参照ウィンドウ設定部２２と第２特定部２５と画素値算出部１７１とが連携して、第１対応点３Ｎ１を通り、かつ第２基準方向に沿った線上で、参照ライン（図示省略）を複数設定する。基準ライン及び複数の参照ラインが設定されると、それぞれのライン内の画像と、該ラインが第１基準方向で隣接する複数のライン内の画像とに基づいて基準ウィンドウ３Ｂ２及び複数の参照ウィンドウ３Ｒ２の画像を算出する。これらのウィンドウ内の画像が算出されると、相関値算出部１７３と第２特定部２５とが連携して、指定点３Ｐに対応する第２対応点３Ｎ２を特定する（ステップＳ１９０６〜Ｓ１９０９）。
第２対応点３Ｎ２が特定されると、上記実施形態と同様の処理を実行して、第３対応点３Ｎ３を特定する（ステップＳ１９１０）。
〈第５実施形態の効果〉
以上のように、指定点３Ｐを包含して探索方向に対応する方向に長さをもつ基準ライン１８Ｌｂ内の画像と該基準ライン１８Ｌｂに探索方向に垂直な方向で隣接する１以上の基準ライン１８Ｌａ，１８Ｌｃ内の画像とに基づくフィルタ処理により、基準ウィンドウ３Ｂ１内の画像の画素値を算出し、探索方向に長さをもち、かつ基準ウィンドウ３Ｂ１と略同一サイズの参照ライン１８Ｌｑ内の画像と該参照ライン１８Ｌｑに探索方向に垂直な方向で隣接する参照ライン１８Ｌｐ，１８Ｌｒ内の画像とに基づくフィルタ処理により、参照ウィンドウ３Ｒ１内の画像の画素値を算出する画素値算出部１７１を更に備えるので、探索方向に垂直な方向の対応点のズレの影響を少なくでき、ロバスト性を高めることが可能となる。
〈第６実施形態〉
ここでは、本発明の第６実施形態として、第１対応点３Ｎ１と第２対応点３Ｎ２との垂直方向のズレが予め定められた距離以上である場合に、信頼性の高い対応点を探索する場合について図面を参照しながら説明する。
〈情報処理システム２００の構成及び機能〉
図２０は、本発明の第６実施形態に係る情報処理システム２００の機能ブロック図であり、図２１は、第１対応点候補２１Ｎ１ａと第２対応点候補２１Ｎ２ａとの垂直方向のズレが予め定められた距離以上である場合の処理を説明する図である。例えば、第１対応点２１Ｎ１と第２対応点２１Ｎ２との垂直方向のズレが予め定められた画素数分以上である場合には、第１対応点２１Ｎ１の信頼性が低いことが考えられる。例えば、撮像系１１ａ，１１ｂのステレオ配置の最大ズレ量がサブピクセルレベルであれば、１画素以上のズレが生じたときは水平方向の対応位置に誤りが生じている可能性がある。
本実施形態に係る情報処理装置２０１の相関値算出部２０３は、基準画像２１Ｂ上に設定された基準ウィンドウ（図示省略）内の画像と、参照画像２１Ｒ上に設定された参照ウィンドウ（図示省略）内の画像とに基づいて、差分絶対値和法（ＳＡＤ法）を用いて両者の相関値を算出し、該相関値を記憶部２０２に一時格納する。相関値算出部２０３によって算出される相関値は、上記第１〜第５実施形態で示したＰＯＣ法であるか又は本実施形態で示すＳＡＤ法であるかにかかわらず、複数の極値をもつ。なお、ＳＡＤ法については後に詳述する。
第１特定部２０４は、相関値算出部２０３によって算出された複数の極値のうち最大値を示す座標を第１対応点候補２１Ｎ１ａとして特定する。また、第２特定部２０５は、相関値算出部２０３によって算出された複数の極値のうち最大値を示す座標を第２対応点候補２１Ｎ２ａとして特定する。
さらに、情報処理装置２０１は、第１対応点候補２１Ｎ１ａと第２対応点候補２１Ｎ２ａとの距離が予め定められた距離（例えば、１画素分）以上であるか否かを判断する判断部２０８を備えている。判断部２０８によって、第１対応点候補２１Ｎ１ａと第２対応点候補２１Ｎ２ａとの距離が１画素分以上であると判断された場合には、第１特定部２０４は、第１対応点候補２１Ｎ１ａを特定した際の相関値を記憶部２０２から読み出して、該相関値のうち最大値の次に大きい極値を示す座標を第１対応点２１Ｎ１として特定する。一方、第１対応点候補２１Ｎ１ａと第２対応点候補２１Ｎ２ａとの距離が１画素分未満であると判断された場合には、第２特定部２０５は、第２対応点候補２１Ｎ２ａを第２対応点２１Ｎ２として特定する。
なお、判断部２０６は、該相関値のうち最大値の次に大きい極値を示す座標にある第１対応点２１Ｎ１と、第１対応点２１Ｎ１に基づいて特定された第２対応点２１Ｎ２との距離が予め定められた距離以上であるか否かを判断するようにしても良い。第１対応点２１Ｎ１と第２対応点２１Ｎ２ともまた該予め定められた距離以上である場合には、第１特定部２０４が、第１対応点２１Ｎ１を特定した際の相関値を記憶部２０２から読み出して、３番目、４番目、…と順次大きい極値を示す座標を第１対応点（図示省略）として特定するようにしても良いし、対応点の特定不可として予め定められたエラー処理を実行するようにしても良い。ここで、予め定められたエラー処理とは、表示部１４等にエラーメッセージを表示する等してユーザに通知する処理である。
第１対応点２１Ｎ１が特定されると、以降は上記実施形態と同様にして第２対応点（図示省略）を再特定し、第３対応点２１Ｎ３を特定する。
〈ＳＡＤ法〉
図２２（ａ）〜（ｃ）は、ＳＡＤ法を用いた対応点探索処理手順を示す図である。ここでは、上述の対応点探索処理で、第１対応点２１Ｎ１、第２対応点２１Ｎ２及び第３対応点２１Ｎ３を探索・特定する手法の１つであるＳＡＤ法について説明する。
撮像系１１ａ，１１ｂによって同期して取得された２つの画像を、基準画像２１Ｂ及び参照画像２１Ｒとして設定する。そして、指定点２１Ｐを中心点として包含する基準ウィンドウ２１Ｂ１を基準画像２１Ｂ上に設定すると共に、基準ウィンドウ２１Ｂ１と略同サイズの参照ウィンドウ２１Ｒ１を参照画像２１Ｒ上で複数設定する。なお、図２２（ａ）〜（ｃ）においては説明を簡単にするために、設定される複数の参照ウィンドウのうち両端の２つの参照ウィンドウのみ記載している。
ここで、複数の参照ウィンドウ２１Ｒ１は、最大視差０＜ｐ＜ｍａｘ＿ｄｉｓｐの範囲に亘って設定される。例えば、図２２（ａ）に示す如く、参照画像２１Ｒ上の位置（視差ｐ＝０の位置）２１ｔから、最大視差ｍａｘ＿ｄｉｓｐに対応した位置２１ｕまでの範囲に亘って、第１基準方向に１画素ずつずらせた複数の参照ウィンドウ２１Ｒ１が設定される。
次に、各視差ｐ、つまり、参照ウィンドウ２１Ｒ１〜２１Ｒ３の各位置において、基準ウィンドウ２１Ｂ１〜２１Ｂ３内の画像と、参照ウィンドウ２１Ｒ１〜２１Ｒ３内の画像とに関する相関値を演算する。この相関演算では、例えば、基準ウィンドウ２１Ｂ１内の各画素の濃度をＩｍｇ１（ｉ，ｊ）、視差ｐでの参照ウィンドウ２１Ｒ１内の各画素の濃度をＩｍｇ２（ｉ，ｊ＋ｐ）として次式を用いた相関値ＣＯＲｐが算出される。
上式によって各視差ｐに対する相関値ＣＯＲｐが算出されると、図２２（ａ）〜（ｃ）に示すグラフ２１Ｇａ〜２１Ｇｃのように視差ｐと相関値ＣＯＲｐとの関係が明らかになる。このグラフ２１Ｇａにおいて相関値ＣＯＲｐが最大値をとる視差２１Ｍａに対応する参照ウィンドウの中心点が第１対応点２１Ｎ１となる。以上のようなＳＡＤ法を用いた対応点探索処理によれば、ＰＯＣ法のような高精度な対応点探索は難しいものの、演算量が抑制されるので、ＰＯＣ法より高速な対応点探索が可能である。ここで、設定されるウィンドウ（基準ウィンドウ２１Ｂ１〜２１Ｂ３及び参照ウィンドウ２１Ｒ１〜２１Ｒ３）が１次元の場合には、ウィンドウサイズをｗ×１、ｉ＝１とすることで相関値ＣＯＲｐを得る。
〈情報処理システム２００の動作〉
図２３は、情報処理システム２００の動作を示すフローチャートである。情報処理システム２００は、基準画像２１Ｂ及び参照画像２１Ｒを設定すると、基準ウィンドウ設定部２１と第１特定部２０４とが連携して第１基準方向に沿った線上で基準ウィンドウ２１Ｂ１を設定し、参照ウィンドウ設定部２２と第１特定部２０４とが連携して第１基準方向に沿った線上で参照ウィンドウ２１Ｒ１を複数設定する。これらのウィンドウが設定されると、相関値算出部２０３と第１特定部２０４とが連携して、指定点２１Ｐに対応する第１対応点候補２１Ｎ１ａを特定し、相関値算出部２０３が算出した相関値ＣＯＲｐを記憶部２０２に一時記憶する（ステップＳ２３０１〜Ｓ２３０３）。
第１対応点候補２１Ｎ１ａが特定されると、基準ウィンドウ設定部２１と第２特定部２０５とが連携して、基準ウィンドウ２１Ｂ２を設定し、参照ウィンドウ設定部２２と第２特定部２０５とが連携して、第１対応点候補２１Ｎ１ａを通り、かつ第２基準方向に沿った線上で参照ウィンドウ２１Ｒ２を複数設定する。これらのウィンドウが設定されると、相関値算出部２０３と第２特定部２０５とが連携して、指定点２１Ｐに対応する第２対応点候補２１Ｎ２ａを特定する（ステップＳ２３０４，Ｓ２３０５）。
第２対応点候補２１Ｎ２ａが特定されると、判断部２０８が、第１対応点候補２１Ｎ１ａと第２対応点候補２１Ｎ２ａとの距離が１画素分以上か否かを判断する。判断の結果、両者の距離が１画素分以上である場合には、Ｙｅｓを選択して、第１特定部２０４が第１対応点候補２１Ｎ１ａを特定した際の相関値ＣＯＲｐを記憶部２０２から読み出して、相関値ＣＯＲｐに含まれる複数の極値のうち、最大値の次に大きな極値を示す座標を第１対応点２１Ｎ１として特定する。さらに、特定された第１対応点２１Ｎ１に基づいて第２対応点２１Ｎ２を特定する。一方、判断の結果、両者の距離が１画素分未満である場合には、Ｎｏを選択する場合して、第２対応点候補２１Ｎ２ａを第２対応点２１Ｎ２として特定する（ステップＳ２３０６〜Ｓ２３０９）。
第２対応点２１Ｎ２が特定されると、基準ウィンドウ設定部２１と第３特定部２０７とが連携して、第１基準方向に沿った線上で基準ウィンドウ２１Ｂ３を設定し、参照ウィンドウ設定部２２と第３特定部２０７とが連携して、第２対応点２１Ｎ２を通り、かつ第１基準方向にそった線上で、参照ウィンドウ２１Ｒ３を複数設定する。これらのウィンドウが設定されると、相関値算出部２０３と第３特定部２０７とが連携して、指定点２１Ｐに対応する第３対応点２１Ｎ３を特定する（ステップＳ２３１０，Ｓ２３１１）。
〈第６実施形態の効果〉
以上のように、判断部２０８によって、第１対応点候補２１Ｎ１ａと第２対応点候補２１Ｎ２ａとの距離が予め定められた距離以上であると判断された場合には、第１特定部２０４は、複数の極値のうち最大値の次に大きい極値を示す座標を第１対応点２１Ｎ１として特定するので、異なる視点から撮像する撮像手段の平行配置のズレが大きい場合に生じ得る対応点探索におけるエラーを回避することが可能となる。
また、相関値算出部２０３は、ＳＡＤ法を用いて相関値ＣＯＲｐを算出するので、演算処理を軽減して処理時間を短縮することが可能となる。
〈変形例〉
以上、本発明の実施の形態について説明したが、上述の各実施形態を適宜組み合わせたものであっても構わないのは勿論である。また、上記実施形態に以下のような機能を併せても良い。
〈変形例１〉
例えば、第１対応点３Ｎ１，１３Ｎ１，２１Ｎ１を特定する際に、対応点探索処理の信頼度が所定値よりも低い場合は、得られた結果が誤っている可能性が高い。このとき、垂直方向の参照ウィンドウ３Ｒ２，１３Ｒ２，２１Ｒ３〜２１Ｒ４を設定したとしても正しい第２対応点３Ｎ２，１３Ｎ２，２１Ｎ２及び正しい第３対応点３Ｎ３，１３Ｎ３，２１Ｎ３が得られないのは明らかである。そこで、第１対応点３Ｎ１，１３Ｎ１，２１Ｎ１の信頼度が所定値よりも低い場合は、対応不能としてエラー値を返すようにしても良い。これにより、後段の処理（第２対応点３Ｎ２，１３Ｎ２，２１Ｎ２及び第３対応点３Ｎ３，１３Ｎ３，２１Ｎ３の特定処理）を行わずに済むので、演算負荷が低減すると共に、エラー出力を防止することが可能となる。
又は、第１対応点３Ｎ１，１３Ｎ１，２１Ｎ１の信頼度が所定値よりも低い場合は、第１対応点３Ｎ１，１３Ｎ１，２１Ｎ１の位置に２次元ウィンドウを設定して処理するようにしても良い。この２次元ウィンドウを用いた処理を実行することで、相関値が高い対応点が特定された場合には、その結果を用いて第２対応点３Ｎ２，１３Ｎ２，２１Ｎ２及び第３対応点３Ｎ３，１３Ｎ３，２１Ｎ３の特定処理を行う。これにより、１次元ウィンドウで特定されなかったとしても、情報量が多い２次元ウィンドウを用いることで対応付け可能なケースに対応することが可能となる。なお、該２次元ウィンドウは正方である必要はない。
〈変形例２〉
また、上記実施形態では、基準画像３Ｂ，１３Ｂ，２１Ｂの各画素ごとに第１基準方向−第２基準方向−第１基準方向の対応点探索処理を行うことを想定しているが、これに限定されるものではない。例えば、基準画像３Ｂ，１３Ｂ，２１Ｂと参照画像３Ｒ，１３Ｒ，２１Ｒとの第２基準方向のズレが全ての画素において一定である場合には、少なくとも或る１点の画素に対する第１基準方向−第２基準方向の処理を行うことで、第２基準方向のズレを算出しても良い。残りの画素に対して処理を行う際には、該１点の画素に対する処理で得られた第２基準方向のズレを考慮して、第１基準方向の１次元ウィンドウ（参照ウィンドウ３Ｒ３，１３Ｒ３，２１Ｒ５〜２１Ｒ６）を設定することで、処理を高速に行うことが可能となる。
〈変形例３〉
上記変形例２では、第２基準方向のズレが画像全体で一様な場合を想定しているが、画像の中央部と端縁部とで第２基準方向のズレが同じであるとは限らない。しかしながら、隣接画素と比べた場合には、第２基準方向のズレに大きな差はないと想定される。
そこで、或る画素に対する第１基準方向−第２基準方向の処理を行うことで第２基準方向のズレを算出し、次の画素を処理するときは、直前に得られた第２基準方向のズレを考慮して第１基準方向の１次元ウィンドウ（参照ウィンドウ３Ｒ３，１３Ｒ３，２１Ｒ５〜２１Ｒ６）を設定するようにしても良い。これにより、処理を高速に行うことが可能となる。
〈変形例４〉
また、上記第４実施形態で示した反復処理では、「第１基準方向−第２基準方向−第１基準方向」の処理が１セットとなり、交互に行っているが、必ずしも交互に行う必要はない。例えば、基準ウィンドウ３Ｂ１，１３Ｂ１，２１Ｂ１と参照ウィンドウ３Ｒ１，１３Ｒ１，２１Ｒ１との間のＰＯＣ値又は相関値ＣＯＲｐにズレがある場合（すなわち、移動量が大きい場合）は、得られた対応位置に再度同じ方向（例えば、第１基準方向）の参照ウィンドウ３Ｒ３，１３Ｒ３，２１Ｒ３を設定し、より詳細な単位（例えば、最初にピクセル単位で探索した場合にはサブピクセル単位）で特定する。これにより、第１基準方向の対応位置の精度がより高まるので、後段の第２基準方向の対応位置の精度も向上させることが可能となる。
〈変形例５〉
また、上記第６実施形態で示した例では、第１基準方向の対応位置を算出した後、第２基準方向の対応位置を算出するが、得られた第２基準方向の位置が所定画素数以上ずれている場合は、最初に求めた第１基準方向の対応位置の信頼度が低いことが考えられる。そこで、上記変形例１と同様に、対応不能としてエラー値を返すようにしても良いし、その位置に２次元ウィンドウを設定して処理しても良い。
本発明の第１実施形態に係る情報処理システムの概略構成を示す図である。 情報処理システムの機能ブロック図である。 対応点探索処理の手順を示す模式図である。 ＰＯＣ法を用いた対応点探索処理手順を示す図である。 ＰＯＣ値の例を示す図である。 ３Ｄ座標演算処理を説明する図である。 ３Ｄ座標演算部によって生成されるレンジデータを示す図である。 情報処理システムの動作を示すフローチャートである。 本発明の第２実施形態に係る情報処理システムの概略構成を示す図である。 画素データの補間を説明する図である。 情報処理システムの動作を示すフローチャートである。 本発明の第３実施形態に係る情報処理システムの機能ブロック図である。 対応点探索処理の手順を示す模式図である。 本発明の第４実施形態に係る情報処理システムの機能ブロック図である。 情報処理システムの動作を示すフローチャートである。 １次元ウィンドウを用いた演算によるロバスト性の低下を説明する図である。 本発明の第５実施形態に係る情報処理システムの機能ブロック図である。 画素値算出部が行う演算を説明する図である。 情報処理システムの動作を示すフローチャートである。 本発明の第６実施形態に係る情報処理システムの機能ブロック図である。 第１対応点候補と第２対応点候補との垂直方向のズレが予め定められた距離以上である場合の処理を説明する図である。 ＳＡＤ法を用いた対応点探索処理手順を示す図である。 情報処理システムの動作を示すフローチャートである。
符号の説明
１０，９０，１２０，１４０，１７０，２００ 情報処理システム
２１，１２２１ 基準ウィンドウ設定部
２２，１２２２ 参照ウィンドウ設定部
２３，９３，１４３，１７３，２０３ 相関値算出部
２４，２０４ 第１特定部
２５，２０５ 第２特定部
２６，２０６ 第３特定部
３Ｂ，１３Ｂ，２１Ｂ 基準画像
３Ｒ，１３Ｒ，２１Ｒ 参照画像
３Ｐ，１３Ｐ，２１Ｐ 指定点
３Ｂ１〜３Ｂ３，１３Ｂ１〜１３Ｂ３，２１Ｂ１〜２１Ｂ３ 基準ウィンドウ
３Ｎ１，１３Ｎ１，２１Ｎ１ 第１対応点
３Ｎ２，１３Ｎ２，２１Ｎ２ 第２対応点
３Ｎ３，１３Ｎ３，２１Ｎ３ 第３対応点
３Ｒ１〜３Ｒ３，１３Ｒ１〜１３Ｒ３，２１Ｒ１〜２１Ｒ３ 参照ウィンドウ
９４ 補間部
１４４ 処理制御部
１７１ 画素値算出部
２０８ 判断部
２１Ｎ１ａ 第１対応点候補
２１Ｎ２ａ 第２対応点候補

Claims (7)

  1. 異なる視点から撮像し取得された第１画像及び第２画像に関する処理を行う情報処理システムであって、
    前記第１画像上で指定される指定点に対応する前記第２画像上の第１対応点を、前記第２画像のうちの前記指定点に対応する位置を通り、かつ予め定められた方向に対応する第１基準方向に沿った線上で探索して特定する第１特定手段と、
    前記第２画像のうちの前記第１対応点を通り、かつ前記第１基準方向に略垂直な第２基準方向に沿った線上で探索して、前記指定点に対応する前記第２画像上の第２対応点を特定する第２特定手段と、
    前記第２画像のうちの前記第２対応点を通り、かつ前記第１基準方向に沿った線上で探索して、前記指定点に対応する前記第２画像上の第３対応点を特定する第３特定手段と
    を備え、
    前記第１ないし第３特定手段は、
    前記指定点を包含する第１ウィンドウを前記第１画像上に設定する第１ウィンドウ設定手段と、
    前記第１ウィンドウと略同一サイズの１又は複数の第２ウィンドウを前記第１対応点、前記第２対応点及び前記第３対応点を探索する探索方向に沿って前記第２画像上に設定する第２ウィンドウ設定手段と、
    前記第１ウィンドウと前記第２ウィンドウとの間の相関値を算出する相関値算出手段と
    を有し、
    前記相関値算出手段によって算出された相関値に基づいて前記第１対応点、前記第２対応点及び前記第３対応点を特定し、
    前記第３特定手段は、
    前記第２ウィンドウがサブピクセル単位で設定された場合には、前記第２画像の画素データに基づく補間処理により、前記第２ウィンドウ内の画像の画素値を算出する補間手段を更に有する、情報処理システム。
  2. 異なる視点から撮像し取得された第１画像及び第２画像に関する処理を行う情報処理システムであって、
    前記第１画像上で指定される指定点に対応する前記第２画像上の第１対応点を、前記第２画像のうちの前記指定点に対応する位置を通り、かつ予め定められた方向に対応する第１基準方向に沿った線上で探索して特定する第１特定手段と、
    前記第２画像のうちの前記第１対応点を通り、かつ前記第１基準方向に略垂直な第２基準方向に沿った線上で探索して、前記指定点に対応する前記第２画像上の第２対応点を特定する第２特定手段と、
    前記第２画像のうちの前記第２対応点を通り、かつ前記第１基準方向に沿った線上で探索して、前記指定点に対応する前記第２画像上の第３対応点を特定する第３特定手段と
    を備え、
    前記第１ないし第３特定手段は、
    前記指定点を包含する第１ウィンドウを前記第１画像上に設定する第１ウィンドウ設定手段と、
    前記第１ウィンドウと略同一サイズの１又は複数の第２ウィンドウを前記第１対応点、前記第２対応点及び前記第３対応点を探索する探索方向に沿って前記第２画像上に設定する第２ウィンドウ設定手段と、
    前記第１ウィンドウと前記第２ウィンドウとの間の相関値を算出する相関値算出手段と
    を有し、
    前記相関値算出手段によって算出された相関値に基づいて前記第１対応点、前記第２対応点及び前記第３対応点を特定し、
    前記第１ウィンドウは、前記探索方向に対応する方向に長さをもつ１次元ウィンドウであり、
    前記第２ウィンドウは、前記探索方向に長さをもち、かつ前記第１ウィンドウと略同一サイズの１次元ウィンドウであり、
    前記第１画像上に含まれ、前記指定点を包含して前記探索方向に対応する方向に長さをもつ第１の１次元ウィンドウ内の画像と、前記第１の１次元ウィンドウに前記探索方向に略垂直な方向で隣接する１以上の第２の１次元ウィンドウ内の画像とを用いたフィルタ処理により、前記第１ウィンドウ内の画像の画素値を算出する第１画素値算出手段と、
    前記第２画像上に含まれ、前記探索方向に長さをもち、かつ前記第１ウィンドウと略同一サイズの第３の１次元ウィンドウ内の画像と、前記第３の１次元ウィンドウに前記探索方向に垂直な方向で隣接する１以上の第４の１次元ウィンドウ内の画像とを用いたフィルタ処理により、前記第２ウィンドウ内の画素値を算出する第２画素値算出手段と
    を更に備える、情報処理システム。
  3. 異なる視点から撮像し取得された第１画像及び第２画像に関する処理を行う情報処理システムであって、
    前記第１画像上で指定される指定点に対応する前記第２画像上の第１対応点を、前記第２画像のうちの前記指定点に対応する位置を通り、かつ予め定められた方向に対応する第１基準方向に沿った線上で探索して特定する第１特定手段と、
    前記第２画像のうちの前記第１対応点を通り、かつ前記第１基準方向に略垂直な第２基準方向に沿った線上で探索して、前記指定点に対応する前記第２画像上の第２対応点を特定する第２特定手段と、
    前記第２画像のうちの前記第２対応点を通り、かつ前記第１基準方向に沿った線上で探索して、前記指定点に対応する前記第２画像上の第３対応点を特定する第３特定手段と
    を備え、
    前記第１ないし第３特定手段は、
    前記指定点を包含する第１ウィンドウを前記第１画像上に設定する第１ウィンドウ設定手段と、
    前記第１ウィンドウと略同一サイズの１又は複数の第２ウィンドウを前記第１対応点、前記第２対応点及び前記第３対応点を探索する探索方向に沿って前記第２画像上に設定する第２ウィンドウ設定手段と、
    前記第１ウィンドウと前記第２ウィンドウとの間の相関値を算出する相関値算出手段と
    を有し、
    前記相関値算出手段によって算出された相関値に基づいて前記第１対応点、前記第２対応点及び前記第３対応点を特定し、
    前記第１特定手段は、前記相関値算出手段によって算出された相関値の複数の極値のうち最大値を示す座標を第１対応点候補として特定し、
    前記第２特定手段は、前記第１対応点候補を通り、かつ前記第２基準方向に沿った線上で前記相関値算出手段によって算出された相関値の最大値を示す座標を第２対応点候補として特定し、
    前記第１対応点候補と前記第２対応点候補との距離が予め定められた距離以上であるか否かを判断する判断手段を更に備え、
    前記判断手段によって、前記第１対応点候補と前記第２対応点候補との距離が前記予め定められた距離以上であると判断された場合には、前記第１特定手段は、前記複数の極値のうち前記最大値の次に大きい極値を示す座標を前記第１対応点として特定する、情報処理システム。
  4. 請求項１ないし請求項３の何れか１つの請求項に記載の情報処理システムであって、
    前記第２特定手段において前記第３対応点を通り、かつ前記第２基準方向に沿った線上で探索して第４対応点を特定し、前記第３特定手段において前記第４対応点を通り、かつ前記第１基準方向に沿った線上で探索して第５対応点を特定する処理を行わせる処理制御手段を更に備える、情報処理システム。
  5. 請求項１ないし請求項４の何れか１つの請求項に記載の情報処理システムであって、
    前記相関値算出手段は、ウィンドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて対応位置を演算する処理を用いて前記相関値を算出する、情報処理システム。
  6. 請求項５に記載の情報処理システムであって、
    前記ウィンドウ内の周波数分解する処理が、フーリエ変換、離散コサイン変換、離散サイン変換、ウェーブレット変換又はアダマール変換のうちの何れかの演算を含む、情報処理システム。
  7. 請求項５又は請求項６に記載の情報処理システムであって、
    前記相関値算出手段は、差分絶対値和法を用いて前記相関値を算出する、情報処理システム。
JP2007178515A 2007-07-06 2007-07-06 情報処理システム Active JP4872836B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007178515A JP4872836B2 (ja) 2007-07-06 2007-07-06 情報処理システム
US12/167,626 US8036454B2 (en) 2007-07-06 2008-07-03 Information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007178515A JP4872836B2 (ja) 2007-07-06 2007-07-06 情報処理システム

Publications (2)

Publication Number Publication Date
JP2009015696A JP2009015696A (ja) 2009-01-22
JP4872836B2 true JP4872836B2 (ja) 2012-02-08

Family

ID=40221493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007178515A Active JP4872836B2 (ja) 2007-07-06 2007-07-06 情報処理システム

Country Status (2)

Country Link
US (1) US8036454B2 (ja)
JP (1) JP4872836B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
EP2711891B1 (en) * 2011-06-17 2016-03-23 Panasonic Intellectual Property Management Co., Ltd. Stereo image processing device and stereo image processing method
JP5110235B1 (ja) * 2011-06-27 2012-12-26 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
JP5924340B2 (ja) * 2011-06-29 2016-05-25 コニカミノルタ株式会社 対応点探索装置
WO2013088872A1 (ja) * 2011-12-16 2013-06-20 コニカミノルタ株式会社 対応点探索方法、対応点探索装置および対応点探索プログラム
JP5982298B2 (ja) * 2013-02-21 2016-08-31 シャープ株式会社 障害物検出装置および障害物検出方法
JP6423314B2 (ja) * 2015-06-04 2018-11-14 株式会社Ｓｏｋｅｎ 対応点探索方法および距離測定装置
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US11210551B2 (en) * 2019-07-29 2021-12-28 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Iterative multi-directional image search supporting large template matching

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6041140A (en) * 1994-10-04 2000-03-21 Synthonics, Incorporated Apparatus for interactive image correlation for three dimensional image production
JP3364394B2 (ja) * 1996-10-31 2003-01-08 株式会社山武 距離測定装置
JP3912638B2 (ja) * 1998-07-13 2007-05-09 日本ビクター株式会社 ３次元画像処理装置
DE10025922A1 (de) * 2000-05-27 2001-12-13 Robert Massen Automatische photogrammetrische Digitalisierung von Körpern und Objekten
JP4762463B2 (ja) * 2001-09-27 2011-08-31 富士重工業株式会社 画像処理装置および画像処理方法
JP2004236023A (ja) * 2003-01-30 2004-08-19 Matsushita Electric Ind Co Ltd 動きベクトル検出装置および方法
US7773799B2 (en) * 2004-04-02 2010-08-10 The Boeing Company Method for automatic stereo measurement of a point of interest in a scene
JP4160572B2 (ja) * 2005-03-31 2008-10-01 株式会社東芝 画像処理装置及び画像処理方法
JP4556798B2 (ja) * 2005-07-29 2010-10-06 トヨタ自動車株式会社 画像処理装置

Also Published As

Publication number Publication date
US8036454B2 (en) 2011-10-11
JP2009015696A (ja) 2009-01-22
US20090010530A1 (en) 2009-01-08

Similar Documents

Publication Publication Date Title
JP4872836B2 (ja) 情報処理システム
JP4883223B2 (ja) 動きベクトル生成装置および動きベクトル生成方法
JP3944647B2 (ja) 物体計測装置、物体計測方法、およびプログラム
KR100305419B1 (ko) 영상 위치맞춤 방법, 영상 위치맞춤 장치 및 기록 매체
JP4941565B2 (ja) 対応点探索装置および対応点探索方法
TW201514867A (zh) 光流追蹤方法和裝置
JP5166156B2 (ja) 解像度変換装置、方法およびプログラム
EP2887313B1 (en) Image processing apparatus, system, image processing method, and computer-readable recording medium
JP6935786B2 (ja) 幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム
JP4862816B2 (ja) 画像対応点探索装置ならびにそれを用いる測距装置および画像動き検出装置
JP2018173276A (ja) 計測支援装置、計測支援方法及びプログラム
JP6581359B2 (ja) 情報処理装置及びその制御方法及びプログラム及び記憶媒体、並びに、ビデオカメラ
JP5098369B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP2008216127A (ja) 距離画像生成装置、距離画像生成方法及びプログラム
CN104981844A (zh) 移动物体检测
JP6346868B2 (ja) ステレオ画像処理方法およびその装置
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP6634842B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR101285256B1 (ko) 상호상관방식 고속화상처리 기법을 이용한 물체의 진동측정방법 및 측정장치
US10410054B2 (en) Image processing device, method and program to align two images
JP4854042B2 (ja) 画像生成方法、画像生成装置、および画像生成プログラム
JP5457976B2 (ja) ３次元形状取得装置および３次元形状取得プログラム
JP2016192108A (ja) ステレオ画像処理方法およびその装置
Xiong et al. Analysis of Quadratic Surface Fitting for Subpixel Motion Extraction from Video Images
JP2007018269A (ja) 映像中の動き確率計算方法、映像中の動き確率マップ計算方法、変化検出方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111025

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4872836

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350