WO2013088872A1

WO2013088872A1 - 対応点探索方法、対応点探索装置および対応点探索プログラム

Info

Publication number: WO2013088872A1
Application number: PCT/JP2012/079111
Authority: WO
Inventors: 堀田　伸一
Original assignee: コニカミノルタ株式会社
Priority date: 2011-12-16
Filing date: 2012-11-09
Publication date: 2013-06-20

Abstract

　第１画像と第２画像との間で対応点を探索する対応点探索方法が提供される。対応点探索方法は、第１画像に含まれる注目点について、注目点を含むまたは注目点の周辺に、注目点と所定の位置関係にある複数の２次元の第１領域を決定する領域決定ステップ（Ｓ１１２）と、複数の第１領域の各々についての位相情報に基づいて、複数の第１領域とそれぞれ対応する第２画像中の複数の第２領域を探索する探索ステップ（Ｓ１１６）と、複数の第２領域の位置関係に基づいて、注目点に対応する第２画像中の対応点を決定する対応点決定ステップ（Ｓ１２２）とを含む。

Description

対応点探索方法、対応点探索装置および対応点探索プログラム

　本発明は、画像間の対応点を探索する対応点探索方法、対応点探索装置および対応点探索プログラムに関する。

　従来から、例えば、同一の被写体を複数の撮像装置を用いて撮像することで得られる複数の画像に対して、当該被写体のある部分がそれぞれの画像上でいずれの位置に存在するのかといった、画像間の対応点を探索する技術が各種提案されている。このような対応点探索に係る技術は、典型的には、ステレオ画像を用いた立体視表示などの実現に利用される。

　このような画像間の対応点を探索する処理では、各種の方法が採用される。一例として、位相限定相関法（Ｐｈａｓｅ－Ｏｎｌｙ　Ｃｏｒｒｅｌａｔｉｏｎ；以下、「ＰＯＣ法」とも称す。）がよく知られている。このＰＯＣ法は、画像に含まれる周波数空間の位相情報を用いて、画像間の対応点を探索する。このような対応点探索に係る先行技術としては、以下のようなものが知られている。

　非特許文献１は、２枚の画像を平行化した後、１次元ＰＯＣを用いて画像の対応付けを行う技術を開示する。さらに、非特許文献１は、複数の１次元画像信号の組を基準点の近傍から抽出し、それらの相関計算の結果を統合することによってピーク位置（対応点）の推定を行なう方法も開示する。

　また、特開２０１１－０２８６６２号公報（特許文献１）は、第１画像の隣接ブロック（Ａ，Ｂ）と対応する第２画像の対応領域（ａ，ｂ）との位置関係をチェックし、（ａ，ｂ）が重なっていたり、離れていたりする場合には低い尤度を算出し、この算出した尤度と各ブロックの類似度とを合わせて評価値を計算し、さらに動的計画法を用いて対応位置を決定する方法を開示する。

　さらに、特開平０４－２９９４７４号公報（特許文献２）は、２つの画像のブロック同士の画素値の相関を計算し、その対応の相関値による順位付けを行い、順位の和に対して、対応のないブロックの数に応じた一定のペナルティを加えたものが最小になる対応を組み合わせを求めることを開示する。

特開２０１１－０２８６６２号公報特開平０４－２９９４７４号公報

柴原，青木，中島，小林、「１次元位相限定相関法に基づくステレオ画像のサブピクセル対応付け手法」、電子情報通信学会第２１回信号処理シンポジウム、京都、２００６年１１月１５－１７日

　例えば、ＰＯＣ法を用いて、異なる視点から撮像された複数の画像の間で対応点を探索することを考えると、画像間に生じる視差の量に依存して探索窓の大きさを決定する必要がある。すなわち、相対的に大きな視差を生じる部分について対応点を探索する場合、より大きな探索窓を設定する必要がある。しかしながら、単純に大きな探索窓を設定した場合には、より多くの計算量（計算コスト）が必要になってしまう。これに対して、小さな探索窓を設定することで、処理の高速化を図ることもできるが、この場合には、大きい視差を生じる部分についての対応点探索を適切に行なうことができないなど、探索結果の精度を低下させる。

　しかしながら、上述したいずれの先行技術についても、上述のような探索窓の大きさに伴う課題を解決するための教示ないし示唆は存在しない。

　本発明は、かかる問題を解決するためになされたものであり、その目的は、精度を維持しながら計算コストを低減する対応点探索方法、対応点探索装置および対応点探索プログラムを提供することである。

　本発明のある局面に従えば、第１画像と第２画像との間で対応点を探索する対応点探索方法が提供される。対応点探索方法は、第１画像に含まれる注目点について、注目点を含むまたは注目点の周辺に、注目点と所定の位置関係にある複数の２次元の第１領域を決定する領域決定ステップと、複数の第１領域の各々についての位相情報に基づいて、複数の第１領域とそれぞれ対応する第２画像中の複数の第２領域を探索する探索ステップと、注目点と複数の第１領域との位置関係および複数の第２領域の位置関係に基づいて、注目点に対応する第２画像中の対応点を決定する対応点決定ステップとを含む。

　本発明の別の局面に従えば、第１画像と第２画像との間で対応点を探索する対応点探索装置が提供される。対応点探索装置は、第１画像に含まれる注目点について、注目点を含むまたは注目点の周辺に、注目点と所定の位置関係にある複数の２次元の第１領域を決定する領域決定手段と、複数の第１領域の各々についての位相情報に基づいて、複数の第１領域とそれぞれ対応する第２画像中の複数の第２領域を探索する探索手段と、注目点と複数の第１領域との位置関係および複数の第２領域の位置関係に基づいて、注目点に対応する第２画像中の対応点を決定する対応点決定手段とを含む。

　第１画像と第２画像との間で対応点を探索する対応点探索プログラムが提供される。対応点探索プログラムはコンピューターに、第１画像に含まれる注目点について、注目点を含むまたは注目点の周辺に、注目点と所定の位置関係にある複数の２次元の第１領域を決定する領域決定ステップと、複数の第１領域の各々についての位相情報に基づいて、複数の第１領域とそれぞれ対応する第２画像中の複数の第２領域を探索する探索ステップと、注目点と複数の第１領域との位置関係および複数の第２領域の位置関係に基づいて、注目点に対応する第２画像中の対応点を決定する対応点決定ステップとを実行させる。

　本発明によれば、精度を維持しながら計算コストを低減できる。

本発明の実施の形態に従う対応点探索方法の概要を説明するための図である。本発明の実施の形態に従う対応点探索処理をパーソナルコンピューターにより実現した場合の構成を示すブロック図である。本発明の実施の形態に従う対応点探索処理をデジタルカメラ類似の構成により実現した場合の構成を示すブロック図である。本発明の実施の形態に従う対応点探索装置の機能構成を示すブロック図である。本発明の実施の形態に従う対応点探索方法における小領域決定部の処理内容を説明するための図である。本発明の実施の形態に従う対応点探索方法における前処理内容を説明するための図である。本発明の実施の形態に従う対応点探索方法における小領域の設定例を示す図である。対応領域探索部における位相情報の再利用を説明するための図である。対応領域探索方法における小領域の別の設定例を示す図である。対応領域探索方法における探索範囲の制限を説明するための図である。対応領域探索方法における探索範囲の制限を説明するための図である。対応点位置決定に用いられる補間演算の処理内容を説明するための図である。対応点位置決定に用いられる投票演算の処理内容を説明するための図である。対応点位置決定に用いられる平均値／中央値算出の処理内容を説明するための図である。対応点位置決定に用いられる隣接領域間での一貫性を説明するための図である。対応点位置決定に用いられる隣接領域間での一貫性を説明するための図である。対応点位置決定に用いられる小領域の除外処理を説明するための図である。対応点探索方法の全体手順を示すフローチャートである。

　本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

　＜Ａ．概要＞
　本発明の実施の形態は、第１画像と第２画像との間で対応点を探索する対応点探索方法に向けられている。すなわち、対応点の探索対象となる複数の画像は、同一の被写体（の一部）を共通に含み得る画像を意味し、３つ以上の画像であってもよい。このような複数の画像は、典型的には、複数の撮像装置（カメラ）を用いて同一の被写体を異なる視点から撮像することで得られる。より具体的には、所定距離だけ離して配置された複数のカメラによって同一の被写体を撮像することでそれぞれの画像が得られる。

　以下の説明においては、説明の便宜上、第１画像に注目点を設定し、当該設定した注目点に対する第２画像中の対応点を探索するものとする。このような対応点の探索処理において、第１画像を「基準画像」と称し、第２画像を「参照画像」と称する。また、３つ以上の画像間で対応点探索を行なう場合には、いずれか１つの画像を「基準画像」として設定するとともに、それを撮像する撮像装置（カメラ）を「基準画像」の撮像用のカメラとして設定する。一方、それ以外の画像についてはいずれも「参照画像」として設定するとともに、それらを撮像する撮像装置（カメラ）を「参照画像」の撮像用のカメラとして設定する。このような拡張方法によって、本実施の形態に従う対応点探索方法を３つ以上の画像間における対応点の探索にも適用できる。

　また、本実施の形態に従う対応点探索方法は、典型的には、ステレオ撮像された画像間の対応点を探索して立体視画像を生成する処理に向けられるが、これに限られることなく、パノラマ画像の生成処理などにも適用できる。また、本実施の形態に従う対応点探索方法は、時系列に並ぶ複数の画像（動態画像）の間の対応点を探索する場合にも適用できる。

　本実施の形態に従う対応点探索方法によって得られる対応関係を、以下「（基準・参照）対応点組情報」と記す。この（基準・参照）対応点組情報は、典型的には、基準画像中のそれぞれの画素位置（各注目点の座標位置）と、当該それぞれの画素位置に対応する参照画像中の画素位置とを含む。

　図１は、本発明の実施の形態に従う対応点探索方法の概要を説明するための図である。図１を参照して、例えば、被写体ＯＢＪを一対のステレオカメラ（基準画像撮像用カメラ２および参照画像撮像用カメラ４）などで撮像することで、一対の画像（基準画像２２および参照画像２４）を取得する。基準画像２２および参照画像２４に対して、次のような処理が実行されることで、画像間の対応点が探索される。

　まず、注目点３０２を含むまたは注目点３０２の周辺に、注目点と所定の位置関係にある複数の２次元の第１領域（以下、「小領域」とも称す。）が決定される（（１）領域決定）。

　続いて、複数の第１領域の各々についての位相情報に基づいて、当該複数の第１領域とそれぞれに対応する、参照画像２４中の複数の第２領域がそれぞれ探索される（（２）探索）。すなわち、第１領域と同一または類似した位相情報（詳細については後述する。）を有する第２領域が参照画像２４内で探索される。この探索処理は、設定された第１領域の数だけ繰り返し実行される。この結果、図１に示すように、参照画像２４中に複数の第１領域にそれぞれ対応する複数の第２領域が決定される。

　さらに、複数の第２領域の位置関係に基づいて、注目点３０２に対応する参照画像２４中の対応点３０４が決定される（（３）対応点決定）。より具体的には、複数の第２領域についてのそれぞれの位置（座標）に基づいて、対応点の位置（座標）が決定される。すなわち、第１領域と第２領域との対応関係の組（図１に示す例では３種類）を用いて、対応点が決定される。

　このように、本実施の形態に従う対応点探索処理においては、画像において複数の領域を設定し、個々の領域について対応点探索を実施することで、広い探索範囲を保ちながら、より高速な対応点探索を実現する。すなわち、複数の探索結果を用いて対応点を決定するので、探索範囲を維持しながら計算コストを下げることができる。

　以下、対応点探索処理のより詳細な内容について説明する。
　＜Ｂ．システム構成＞
　まず、本発明の実施の形態に従う対応点探索処理を実現する対応点探索装置の実装例について説明する。

　［ｂ１：パーソナルコンピューターによる実現例］
　図２は、本発明の実施の形態に従う対応点探索処理をパーソナルコンピューターにより実現した場合の構成を示すブロック図である。

　図２を参照して、パーソナルコンピューターにより実現される画像処理装置１００は、主として、汎用的なアーキテクチャーを有するコンピューター上に実装される。図２を参照して、画像処理装置１００は、主たるコンポーネントとして、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０４と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０６と、ネットワークインターフェイス（Ｉ／Ｆ）１０８と、補助記憶装置１１０と、表示部１２０と、入力部１２２と、メモリーカードインターフェイス（Ｉ／Ｆ）１２４とを含む。各コンポーネントは、バス１３０を介して、互いに通信可能に接続されている。

　ＣＰＵ１０２は、ＲＯＭ１０６や補助記憶装置１１０などに格納された、オペレーティングシステム（ＯＳ：Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）や対応点探索処理プログラムなどの各種プログラムを実行することで、画像処理装置１００の全体を制御する。ＲＡＭ１０４は、ＣＰＵ１０２でプログラムを実行するためのワーキングメモリとして機能し、　プログラムの実行に必要な各種データを一次的に格納する。ＲＯＭ１０６は、画像処理装置１００において起動時に実行される初期プログラム（ブートプログラム）などを格納する。

　ネットワークインターフェイス１０８は、各種の通信媒体を介して、他の装置（サーバー装置など）とデータを遣り取りする。より具体的には、ネットワークインターフェイス１０８は、イーサネット（登録商標）などの有線回線（ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）など）、および／または、無線ＬＡＮなどの無線回線を介してデータ通信を行なう。

　補助記憶装置１１０は、典型的には、ハードディスクなどの大容量磁気記憶媒体などからなり、本実施の形態に従う各種処理を実現するための対応点探索処理プログラム１１２および処理対象の処理対象画像１１４などを格納する。さらに、補助記憶装置１１０には、オペレーティングシステムなどのプログラムが格納されてもよい。

　処理対象画像１１４は、処理対象の２つの画像を含む。但し、画像処理装置１００本体が被写体を撮像する機能を有していなくともよい。この場合、後述するようなデジタルカメラに類似した機構を用いて、２つの画像を取得し、それらの画像を任意の方法で画像処理装置１００へ入力するようにしてもよい。より具体的には、上述のネットワークインターフェイス１０８やメモリーカードインターフェイス１２４を介して、画像が画像処理装置１００へ入力される。

　表示部１２０は、オペレーティングシステムが提供するＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）画面や対応点探索処理プログラム１１２の実行によって生成される画像などを表示する。好ましくは、表示部１２０は、対応点探索処理プログラム１１２の実行によって得られる（基準・参照）対応点組情報、などから生成される立体視画像を用いて、被写体を立体視表示する。この場合、表示部１２０としては、３次元表示方式に対応した任意の表示デバイスによって構成される。このような３次元表示方式としては、パララックスバリア方式などを採用することができる。このパララックスバリア方式では、液晶表示面にパララックスバリアを設けることで、ユーザーの右眼で右眼用画像を視認させ、ユーザーの左眼で左眼用画像を視認させることができる。あるいは、シャッタメガネ方式を採用してもよい。このシャッタメガネ方式では、左眼用画像および右眼用画像を交互に高速で切り替えて表示するとともに、この画像の切り替えに同期して開閉するシャッターが搭載された専用メガネをユーザーが装着することで、立体視表示を楽しむことができる。

　入力部１２２は、典型的には、キーボード、マウス、タッチパネルなどからなり、ユーザーから受付けた指示の内容をＣＰＵ１０２などへ出力する。

　メモリーカードインターフェイス１２４は、ＳＤ（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）カードやＣＦ（Ｃｏｍｐａｃｔ　Ｆｌａｓｈ（登録商標））カードなどの各種メモリーカード（不揮発性記憶媒体）１２６との間で、データの読み書きを行なう。典型的には、メモリーカードインターフェイス１２４には、何らかの装置で取得した処理対象画像を格納したメモリーカード１２６が装着され、そのメモリーカード１２６から読み出された処理対象画像が補助記憶装置１１０へ格納（コピー）される。

　補助記憶装置１１０に格納される対応点探索処理プログラム１１２は、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置などから配信される。対応点探索処理プログラム１１２は、画像処理装置１００（パーソナルコンピューター）で実行されるオペレーティングシステムの一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するようにしてもよい。この場合、対応点探索処理プログラム１１２自体には、オペレーティングシステムによって提供されるモジュールは含まれず、オペレーティングシステムと協働して画像処理が実現される。また、対応点探索処理プログラム１１２は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、対応点探索処理プログラム１１２自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない対応点探索処理プログラム１１２であっても、本実施の形態に従う画像処理装置１００の趣旨を逸脱するものではない。

　さらに、対応点探索処理プログラム１１２によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。

　［ｂ２：デジタルカメラ類似の構成による実現例］
　図３は、本発明の実施の形態に従う対応点探索処理をデジタルカメラ類似の構成により実現した場合の構成を示すブロック図である。

　図３を参照して、画像処理装置２００は、実際に被写体を撮像することで、２つの処理対象画像を取得し、この取得した処理対象画像に対して、対応点探索処理を実行する。画像処理装置２００は、主たるコンポーネントとして、画像処理エンジン２０２と、入力部２０４と、表示部２０６と、一対のレンズ２１２，２２２と、一対のＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサー２１４，２２４とを含む。

　画像処理エンジン２０２は、本実施の形態に従う対応点探索処理を含む各種のデジタル処理を実行する。画像処理エンジン２０２は、典型的には、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などからなる。

　入力部２０４は、典型的には、各種キーボタン、タッチパネルなどからなり、ユーザーから受付けた指示の内容を画像処理エンジン２０２へ出力する。

　表示部２０６は、被写体の撮像などに関するユーザーインターフェイス画面を表示する。好ましくは、表示部２０６は、画像処理エンジン２０２によって得られる（基準・参照）対応点組情報、などから生成される立体視画像を用いて、被写体を立体視表示する。この場合、表示部２０６としては、上述の表示部１２０（図２）と同様に、３次元表示方式に対応した任意の表示デバイスによって構成される。

　一対のレンズ２１２，２２２は、画像処理装置２００の本体の異なる位置に設けられており、被写体を異なる視点でそれぞれ撮像することできる。すなわち、一対のレンズ２１２，２２２には、被写体からの互いに異なる反射光がそれぞれ入射する。一対のＣＣＤ２１４，２２４は、一対のレンズ２１２，２２２にそれぞれ対応付けられており、レンズ２１２，２２２によって集光された被写体からの光（像）を受光するとともに、その像を示す電気信号を画像処理エンジン２０２へ出力する。

　［ｂ３：その他の構成による実現例］
　上述したパーソナルコンピューターにより実現する例、および、デジタルカメラ類似の構成による実現する例に加えて、携帯電話上に実装してもよい。さらに、少なくとも１つのサーバー装置が本実施の形態に従う処理を実現する、いわゆるクラウドサービスのような形態であってもよい。この場合、ユーザーは、自身の端末（パーソナルコンピューターやスマートフォンなど）を用いて、少なくとも２つの処理対象画像をサーバー装置（クラウド側）へ送信し、当該送信された処理対象画像に対して、サーバー装置側が本実施の形態に従う画像処理を行なうような構成が想定される。さらに、サーバー装置側がすべての機能（処理）を行なう必要はなく、ユーザー側の端末とサーバー装置とが協働して、本実施の形態に従う画像処理を実現するようにしてもよい。

　＜Ｃ．機能構成＞
　次に、本実施の形態に従う対応点探索装置および／または対応点探索プログラムの機能構成について説明する。

　図４は、本発明の実施の形態に従う対応点探索装置の機能構成を示すブロック図である。図４を参照して、本実施の形態に従う対応点探索装置は、その主たる機能構成として、対応点探索部１０を含む。

　対応点探索部１０は、基準画像２２および参照画像２４の入力に対して、両画像間の対応点を探索する。この対応点の探索結果として、（基準・参照）対応点組情報２６を出力する。上述したように、（基準・参照）対応点組情報２６は、典型的には、基準画像２２中のそれぞれの画素位置（各注目点の座標位置）と、当該それぞれの画素位置に対応する参照画像２４中の画素位置とを含む。

　より具体的には、対応点探索部１０は、注目点選択部１１と、小領域決定部１２と、対応領域探索部１３と、対応点位置決定部１４とを含む。これらの機能構成は、図２に示す画像処理装置１００においては、ＣＰＵ１０２が対応点探索処理プログラムを実行することで実現され、図３に示す画像処理装置２００においては、画像処理エンジン２０２によって実現される。

　注目点選択部１１は、基準画像２２に含まれる画素のうち、対応点探索の対象となる注目点を選択する。なお、基本的には、注目点は、画素単位で設定されるため、基準画像２２に含まれる画素のうち１つが「注目点」として順次設定されることになる。しかしながら、本実施の形態に従う対応点探索方法によれば、画素配置とは独立して、注目点を設定することもできる。

　小領域決定部１２は、注目点３０２を含むまたは注目点３０２の周辺に、注目点と所定の位置関係にある複数の２次元の小領域を決定する。この小領域決定部１２における処理の詳細については後述する。

　対応領域探索部１３は、複数の小領域の各々についての位相情報に基づいて、複数の小領域の各々に対応する参照画像２４中の小領域をそれぞれ探索する。この対応領域探索部１３における処理の詳細については後述する。

　対応点位置決定部１４は、対応領域探索部１３により探索された、参照画像２４中の複数の小領域の位置関係に基づいて、注目点に対応する参照画像２４中の対応点を決定する。この対応点位置決定部１４における処理の詳細については後述する。

　＜Ｄ．小領域決定部１２における処理＞
　次に、小領域決定部１２における処理の詳細について説明する。

　図５は、本発明の実施の形態に従う対応点探索方法における小領域決定部１２の処理内容を説明するための図である。図６は、本発明の実施の形態に従う対応点探索方法における前処理内容を説明するための図である。図７は、本発明の実施の形態に従う対応点探索方法における小領域の設定例を示す図である。

　図５を参照して、小領域決定部１２は、注目点選択部１１により注目点が設定されると、注目点の周辺に、複数の対応点探索用の小領域を決定する。図５において、注目点を丸印として表わし、小領域をハッチングした領域として表わす。この対応点探索用の小領域の設定方法としては、注目点の周辺により所定の大きさの探索窓を設定し、その設定した探索窓の中を複数の小領域に分割する方法を採用できる。

　あるいは、予め複数の単位領域を設定しておき、注目点が選択されると、当該選択された注目点の周辺に位置する複数の単位領域を、対応点探索用の小領域として選択する方法を採用してもよい。より具体的には、図６に示すように、基準画像２２において複数の単位領域を格子状に設定する。このように設定された複数の単位領域のうち、いくつかの単位領域を選択することで、注目点に関連付けられた対応点探索用の小領域として決定する。すなわち、小領域決定部１２は、基準画像２２において予め設定された複数の２次元の単位領域のうち、注目点を含むまたは注目点の周辺に存在する単位領域を複数の小領域として選択する。

　図７に示すように、小領域決定部１２により決定される対応点探索用の小領域の配置例としては、各種の方法を採用できる。図７において、注目点をハッチングした領域として表わし、小領域を太枠で囲んだ領域として表わす。

　例えば、図７（Ａ）に示すように、注目点がほぼ中央になるように、ある小領域を決定し、当該決定した小領域に隣接してさらに小領域を決定してもよい。図７（Ａ）の例では、小領域の大きさは、８画素×８画素の正方形である。図６に示すように単位領域が事前設定されているのであれば、これらの事前設定されている単位領域のうち、注目点を含む小領域を選択するとともに、当該選択した小領域に隣接する小領域をさらに選択することで、図７（Ａ）に示すような、対応点探索用の複数の小領域を決定してもよい。この場合、単位領域と注目点との位置関係によっては、注目点が小領域のほぼ中央とならない場合もある。

　また、注目点の周辺に決定される複数の小領域は、基準画像２２および参照画像２４の間に生じる視差方向を考慮して配置されてもよい。すなわち、それぞれの撮像装置（カメラ）による視点が異なることによって発生するオクルージョンによる精度悪化を考慮する場合には、小領域を視差方向に並べることが好ましい。このような配置構成を採用することで、オクルージョン発生を考慮した対応点決定処理を実現できる。図７（Ａ）に示す例は、基準画像撮像用カメラ２および参照画像撮像用カメラ４が紙面横方向に離れて配置されている場合に対応して小領域を配置している。なお、以下の説明においては、このようなオクルージョンを考慮した構成を想定して記載する。

　別の例として、基準画像２２と参照画像２４の間に生じる視差が大きいと想定される場合には、図７（Ｂ）に示すように、生じる視差方向に長い小領域を複数決定してもよい。図７（Ｂ）の例では、小領域の大きさは、紙面横方向（視差方向）に３２画素、紙面縦方向に２画素である。このように視差方向に長い小領域を決定した場合には、小領域を視差方向と交差する方向（紙面縦方向）に並べてもよい。このように決定される複数の小領域から得られる複数の探索結果を用いて、対応点を決定することで、発生する視差が大きい場合であっても、対応点探索の精度を向上させることができる。

　さらに別の例として、基準画像２２と参照画像２４の間に、上下左右のいずれの方向にも視差が発生することが想定される場合には、図７（Ｃ）に示すように、注目点に近い位置に、複数の小領域を格子状に決定してもよい。図７（Ｃ）の例では、小領域の大きさは８画素×８画素の正方形であり、小領域を紙面横方向と紙面縦方向にそれぞれ２つずつ並べている２画素である。

　以上のように、小領域決定部１２は、複数の対応点探索用の小領域を、視差が発生する方向に配列するように決定する。より具体的には、小領域決定部１２は、複数の対応点探索用の小領域を、縦方向、横方向、格子状のいずれかに配列する。

　＜Ｅ．対応領域探索部１３における処理＞
　次に、対応領域探索部１３における処理の詳細について説明する。

　対応領域探索部１３は、基準画像２２上に決定された小領域ごとに、参照画像２４中で対応する小領域を探索する。探索手法は、周波数変換（典型的には、フーリエ変換）によって得られる位相情報を用いる手法を用いる。このような位相情報を用いる手法としては、位相限定相関法（Ｐｈａｓｅ－Ｏｎｌｙ　Ｃｏｒｒｅｌａｔｉｏｎ；ＰＯＣ法）、位相シフト解析法（Ｐｈａｓｅ　Ｓｈｉｆｔ　Ａｎａｌｙｚｉｎｇ；ＰＳＡ法）などを用いることができる。なお、以下の説明においては、ＰＯＣ法を用いる構成を想定して記載する。

　より具体的な一例として、対応領域探索部１３は、参照画像２４において、基準画像２２に決定された対応点探索用の小領域と同じ位置に同様の小領域を決定し、ＰＯＣ法を用いて位置ずれ量を算出する。この際、まず、ＰＯＣ法によって算出されるＰＯＣ値（ピーク値）が所定値よりも小さい場合には、参照画像２４中に現在決定されている小領域に隣接して別の小領域を決定する。そして、この決定した別の小領域についても、上述と同様の判断処理を行なう。この判断処理を繰り返し、そのＰＯＣ値が最大である小領域を決定し、そのＰＯＣ値のピーク位置から位置ずれ量を算出して、その位置ずれ量分だけずらした小領域を、対応領域として決定する。なお、この例では、参照画像２４中で小領域を決定する場合に、現在決定されている小領域に隣接して別の小領域を決定するようにしたが、順次１画素又は所定数の画素ずつずらして次の小領域を決定するようにしても構わない。

　このような対応領域探索に係る処理において、以下のような処理を付加的／代替的に行なってもよい。

　［ｅ１：位相情報の再利用］
　図６を参照して説明したように、基準画像２２において、予め複数の単位領域を格子状に設定した場合には、各単位領域についての位相情報を予め取得しておき、当該予め取得しておいた位相情報を再利用することで、計算量（計算コスト）を低減するようにしてもよい。

　より具体的には、図６に示すように、基準画像２２の全体において、複数の単位領域を設定し、各単位領域について、フーリエ変換後の位相情報を予め算出およびその結果を保持しておく。そして、これらの保持された結果（位相情報）を用いて、ＰＯＣ法による対応領域探索を実行する。

　図８は、対応領域探索部１３における位相情報の再利用を説明するための図である。図８（Ａ）は、一般的なＰＯＣ法の処理を説明するための図であり、図８（Ｂ）は、事前に算出された位相情報を再利用する処理を説明するための図である。

　まず、一般的なＰＯＣ法の処理について、図８（Ａ）を参照して説明する。まず、基準画像２２および参照画像２４においてそれぞれ設定された小領域について、フーリエ変換（典型的には、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍａｔｉｏｎ））を行なうことで、振幅情報および位相情報がそれぞれ算出される。ＰＯＣ法では位相情報を用いるので、それぞれの小領域について算出された位相情報を比較することで、位相差情報が算出される。そして、この算出された位相差情報からＰＯＣ値が算出される。このＰＯＣ値は、小領域の間の類似度を表わす指標である。

　図８（Ａ）に示す小領域についての振幅情報および位相情報の算出処理は、小領域が決定されるたびに繰り返される。

　これに対して、位相情報を再利用する場合には、図８（Ｂ）に示すように、複数の単位領域の位相情報（計算済みのＦＦＴ結果）を用意しておき、基準画像２２および参照画像２４においてそれぞれ小領域が決定されると、対応する位相情報をそれぞれ読み出した上で、位相差情報の算出およびＰＯＣ値の算出が行なわれる。

　すなわち、参照画像２４においても単位領域が設定されると、対応点探索において、ＰＯＣ値を算出される対象の小領域として、単位領域が順次選択されることになる。すなわち、この場合には、対応領域探索部１３は、参照画像２４において予め設定された複数の単位領域の位相情報を用いて、対応する小領域を探索する。このとき、参照画像２４に設定される単位領域についても位相情報が予め算出されるので、これらの位相情報を再利用することで、小領域が決定／変更されるたびにフーリエ変換が逐一実行されることを省略することができる。

　したがって、上述の図６に示す単位領域の設定および位相情報の事前計算については、基準画像２２だけではなく、参照画像２４に対しても同様に行なっておくことが好ましい。このような前処理を行なっておくことで、計算量（計算コスト）をさらに低減し、計算時間を短縮できる。

　このように、位相情報を再利用することで、小領域が決定／変更されるたびにフーリエ変換が逐一実行されることを省略することができる。これによって、計算量（計算コスト）を低減し、計算時間を短縮できる。

　［ｅ２：単位領域の重複設定］
　基準画像２２および／または参照画像２４において予め設定される単位領域については、互いに重複するように決定してもよい。すなわち、基準画像２２および／または参照画像２４を単純に分割して単位領域を設定するのでは、単位領域と単位領域との境界付近にある画素についての探索結果の精度が悪化する可能性がある。そこで、単位領域をまたぐように単位領域を設定し、対応領域探索対象に加えることで、上述したような位置における対応領域探索の精度悪化を回避できる。

　図９は、対応領域探索方法における小領域の別の決定例を示す図である。図９を参照して、第１群の単位領域（実線）が格子状に配置されるとともに、第１群の単位領域とは重ならない位置に第２群の単位領域（破線）が格子状に配置される。第１群および第２群の単位領域は、その群の区別なく、小領域として任意に選択することが可能である。

　［ｅ３：探索範囲の制限］
　上述したような複数の対応点探索用の小領域に対応する参照画像２４中の小領域を順次探索するにあたって、先の探索結果を用いて、その探索範囲を制限することで、より処理を高速化してもよい。以下では、探索済みの小領域の位置に基づいて、探索範囲を制限する処理例について説明する。

　図１０および図１１は、対応領域探索方法における探索範囲の制限を説明するための図である。図１０および図１１では、視差が右方向に発生する例を用いて説明する。

　例えば、図１０（Ａ）に示す例では、基準画像２２上で決定した複数の対応点探索用の小領域のうち左端の小領域については、参照画像２４中での対応する小領域が探索済であるとする。続いて、左端の小領域の右隣に位置する小領域について対応する小領域を探索する際には、図１０（Ｂ）に示すように、左端の小領域に対応する参照画像２４中の小領域と同じ位置か、それよりも右側に存在するものとして、探索範囲を制限する。すなわち、矢印で図示するように、左端の小領域に対応する参照画像２４中の小領域より右側の範囲を探索範囲とし、左側の範囲については探索しない。このように探索範囲を制限することで、探索コストを削減できる。

　図１１（Ａ）に示す例では、図１０（Ａ）と同様に、基準画像２２上で決定した複数の対応点探索用の小領域のうち左端の小領域については、参照画像２４中での対応する小領域が探索済であるとする。この状態に引き続く探索処理の別の例として、図１１（Ｂ）には、左端の小領域の右隣に位置する小領域について対応する小領域を探索する際には、矢印で図示するように、左端の小領域に対応する参照画像２４中の小領域の右隣にある小領域と、その小領域に隣接する小領域のみについて探索を行なってもよい。このように探索範囲を制限することで、探索コストを削減できる。

　図１０および図１１に示す例に限らず、先の探索結果を利用して、任意の規則を用いて後続の探索処理を最適化することができる。以上のように、対応領域探索部１３は、基準画像２２上で決定した複数の対応点探索用の小領域のうち１つの小領域に対応する、参照画像２４中の小領域を探索した後、複数の対応点探索用の小領域のうち別の小領域に対応する小領域を探索する際、先に探索された小領域の間の位置に基づいて、参照画像２４中の小領域の探索範囲を制限してもよい。

　＜Ｆ．対応点位置決定部１４における処理＞
　次に、対応点位置決定部１４における処理の詳細について説明する。

　対応点位置決定部１４は、小領域決定部１２によって基準画像２２上に決定された個々の小領域と注目点との位置関係、および、対応領域探索部１３によって取得された参照画像２４中での対応する小領域の位置関係に基づいて、基準画像２２中の注目点に対応する参照画像２４中の対応点の位置を決定する。

　このような対応点の位置を決定する方法として、各種のロジックを採用できる。典型的には、対応点位置決定部１４は、基準画像２２上に決定された複数の小領域に対応するとして探索された複数の小領域のそれぞれの位置を用いてに、補間演算、投票演算、平均値／中央値算出、隣接領域間での一貫性、加重平均演算、のいずれかに基づいて、参照画像２４中の対応点を決定する。以下、各ロジックの詳細について説明する。

　（ｆ１：補間演算）
　まず、補間演算について説明する。基準画像２２および参照画像２４の間では、小領域の位置と当該小領域に対応する対応小領域の位置との間には、対応関係があるものと考えられる。一方、基準画像２２中の注目点と複数の小領域との位置関係は既知であるから、参照画像２４中の対応小領域と同様の位置関係にある点を推定することで、注目点の位置に対応する対応点の位置を算出できる。

　図１２は、対応点位置決定に用いられる補間演算の処理内容を説明するための図である。図１２において、基準画像２２に決定された小領域と参照画像２４中で探索された小領域との位置関係を黒丸（●）印で表わし、注目点と対応点との位置関係をバツ（×）印で表わす。なお、ここでの小領域の位置とは、例えば、小領域の中心を用いることができる。

　図１２に示すように、例えば、基準画像２２上に決定される小領域の位置と対応する小領域の位置（対応小領域位置）との関係を関数で近似することで、当該近似した関数に基づいて、注目点の位置に対応する参照画像２４中の位置を算出する。そして、この算出結果を対応点の位置として決定する。すなわち、図１２には、４つの小領域（＃１，＃２，＃３，＃４）が探索された場合に、基準画像２２上に決定された小領域の位置と参照画像２４中で探索された小領域の位置とを、２次元の座標上にプロットし、それぞれのプロット位置を用いて近似関数を決定する。この近似関数上で、注目点に対応する対応点位置が決定される。近似関数の例としては、Ｎ次関数などの多項式や、スプライン関数などを用いることができる。なお、図１２では、横軸および縦軸がそれぞれ注目点と小領域の位置および対応点と対応小領域の位置を示しているので、基準画像２２及び参照画像２４中の位置としては２次元（Ｘ－Ｙ空間）のいずれか一方の座標（Ｘ座標またはＹ座標）を示していることになる。したがって、対応点の２次元の座標を求めるには、２次元のもう一方の座標についても同様の処理を行えばよい。一方、対応点が視差方向にしかずれていないことを前提とできるような場合には、視差方向の座標のみを求めればよい。

　（ｆ２：投票演算）
　次に、投票演算について説明する。投票演算の一例として、基準画像２２上に決定された小領域の位置と当該小領域に対応する参照画像２４中で探索された小領域の位置（対応小領域位置）との組み合わせを２つ抽出し、この２つを結ぶ線形式（１次関数）として表現する。この線形式をすべての組み合わせについて求め、傾きおよび切片を座標とする投票空間上で投票する。この投票の結果、最も投票数の多い線形式を決定する。この決定した線形式を採用し、注目点の位置に対応する参照画像２４中の位置を算出する。算出された位置が対応点位置として決定される。

　図１３は、対応点位置決定に用いられる投票演算の処理内容を説明するための図である。図１３において、基準画像２２に決定された小領域と参照画像２４中で探索された対応小領域との位置関係を黒丸（●）又は白丸（○）印で表わし、注目点と対応点との位置関係をバツ（×）印で表わす。

　図１３に示す例においては、４つの小領域と対応小領域との位置関係（＃１，＃２，＃３，＃４）のうち、＃３を除く残りの３つ（＃１，＃２，＃４）のうちの２つから構成される線形式、すなわち、＃１と＃２とを結ぶ直線、＃１と＃４）とを結ぶ直線、および＃２と＃４とを結ぶ直線についての投票数が最も多くなる。そのため、この線形式を採用し、注目点に対応する対応点の位置が決定される。なお、この図１３においても、図１２の場合と同様に、画像における２次元のいずれか一方の座標を示しているので、対応点の２次元の座標を求めるには、２次元のもう一方の座標についても同様の処理を行えばよい。

　（ｆ３：平均値／中央値算出）
　次に、平均値算出および中央値算出について説明する。

　図１４は、対応点位置決定に用いられる平均値／中央値算出の処理内容を説明するための図である。図１４において、基準画像２２に決定された小領域と参照画像２４中で探索された対応小領域との位置関係を黒丸（●）印で表わし、注目点と対応点との位置関係をバツ（×）印で表わす。

　例えば、基準画像２２上に決定される複数の対応点探索用の小領域にそれぞれ対応する参照画像２４中の複数の対応小領域のうち、最も外側に位置する２つの小領域と対応小領域の対（図１４では＃１と＃４）を選択し、これらの選択した対についての平均位置が算出される。この場合の平均位置は、注目点とそれぞれの小領域との距離が同じであれば、対応小領域の間においても中点となる。この平均位置をそのまま対応点の位置として決定してもよいが、より好ましくは、この平均位置に最も近接した対応する小領域の位置（図の例では＃２）を対応点の位置として決定する。

　別の例として、対応する参照画像２４中の複数の小領域における視差量をそれぞれ算出し、それぞれの視差量の間での中央値を算出し、参照画像２４中での注目点と同じ位置に視差量中央値を足し合わせて、これを対応点位置として決定してもよい。

　（ｆ４：隣接領域間での一貫性）
　次に、隣接領域間での一貫性について説明する。

　図１５および図１６は、対応点位置決定に用いられる隣接領域間での一貫性を説明するための図である。

　図１５（Ａ）に示す例では、基準画像２２上に決定された複数の小領域のうち、注目点に隣接する左右の小領域が、参照画像２４中の同じ対応小領域に対応している。これは、例えば、図１５（Ｂ）に示すように、基準画像撮像用カメラ２から得られた基準画像２２上に決定された注目点に対応する被写体上の点が、参照画像２４の撮像条件下においては、壁の横面にあり、参照画像撮像用カメラ４からは見えない位置にある場合に生じ得る。このような場合には、小領域の位置と対応する対応小領域の位置との間の視差量をチェックしたとき、視差量の分布が二分化することになる。

　このような状況で、上述したような投票演算を行なった場合には、投票空間上での投票先が２か所に分かれ、所定の投票数を獲得する線形式が複数存在することになる。この場合には、対応点が参照画像２４中に存在しないものと判断して、対応点を設定しないようにすればよい。

　別の例として、図１６に示すような、ステレオカメラ（基準画像撮像用カメラ２および参照画像撮像用カメラ４）に対して、傾斜している面上の点を観測した場合においても、同様の現象が発生する可能性がある。このような場合には、小領域の位置と対応する対応小領域の位置との間の視差量をチェックしたとき、視差量の分布が連続的に変化することになる。このような状況で、上述したような、投票演算を行なった場合には、投票空間内での投票先は集中せず分散することになる。そこで、所定の投票数以上を獲得する線形式が存在しない場合には、例えば、上述の補間演算の手法を用いて算出した値を用いて対応点を決定すればよい。

　（ｆ５：加重平均演算）
　次に、加重平均演算について説明する。すなわち、対応点位置決定部１４は、基準画像２２上に決定された複数の対応点探索用の小領域に対応するとして探索された複数の小領域のそれぞれの位置についての加重平均演算に基づいて、参照画像２４中の対応点を決定する。このとき、加重平均演算における重み付けは、参照画像２４中の複数の小領域の間で等分に決定される、または、注目点から離れるほど小さくなるように決定される。

　より具体的には、対応点は、以下のような加重平均時の重み付け演算によって算出される。すなわち、注目点の位置をＰ_ｂ、対応点の位置をＰ_ｒ、小領域の位置Ａ_ｂ ^ｉ、対応する対応小領域の位置Ａ_ｒ ^ｉ、対応関係の重みをＷ_ｉとすると、加重平均演算に係る対応点位置の決定式は、以下のようになる。なお、ここではわかりやすさのために、対応小領域の位置Ａ_ｒ ^ｉ、の加重平均演算によって対応点の位置をＰ_ｒの位置が求められるように、注目点の位置Ｐ_ｂにおいて小領域の位置Ａ_ｂ ^ｉを決定したことを前提としている。例えば、基準画像において、注目点について対称な（等距離にある）小領域の対を複数決定するようにすればよい。

　Ｐ_ｒ＝ΣＷ_ｉＡ_ｒ ^ｉ／ΣＷ_ｉ
　この場合、重みＷ_ｉ＝β／（α＋｜Ａ_ｂ ^ｉ－Ｐ_ｂ｜）（但し、α，β：正の定数）、または、重みＷ_ｉ＝ｅｘｐ｛－（Ａ_ｂ ^ｉ－Ｐ_ｂ｜）^２｝といった関数を用いて、注目点と小領域の位置との間の距離に応じた重み付けを行なう。これらの重みＷｉは、注目点から離れるほど小さくなる。すなわち、前記複数の第２領域のそれぞれについて重み付けを行い、その対応する小領域が注目点から離れるほど重み付けが小さくなるように決定される。

　（ｆ６：しきい値）
　上述したいずれかの方法において、対応領域探索時における評価値が所定値以下である小領域については、対応点の決定の対象から除外してもよい。

　図１７は、対応点位置決定に用いられる小領域の除外処理を説明するための図である。図１７に示すように、基準画像２２上に決定された複数の小領域に対応する複数の対応小領域が検索された状態であって、右端の小領域についての対応領域探索時の評価値（典型的には、ＰＯＣ値）が低いものとする（符号３５４）。一方、左側の小領域についての対応領域探索時の評価値が高いものとする（符号３５２）。ここで、算出された評価値が予め定められたしきい値以下である場合には、この小領域についての対応関係の信頼性が低いものであると判断できる。そして、この場合には、信頼性が低い小領域を対象のデータから除外して対応点決定の処理を行なう。このように、信頼性の低い小領域を除くことで、より安定して対応点の位置を決定することができる。すなわち、対応領域探索時の評価値が所定のしきい値以上の小領域のみを、参照画像２４中の対応点の決定に用いる。

　以上のように、対応点位置決定部１４は、探索に係る評価値が所定のしきい値以下である対応小領域を、参照画像２４中の対応点の決定に用いる小領域から除外する。

　＜Ｇ．全体フロー＞
　上述した対応点探索方法の全体手順について総括的に説明する。

　図１８は、対応点探索方法の全体手順を示すフローチャートである。なお、ここでは、図６で説明したように、基準画像２２および／または参照画像２４に予め単位領域を設定し、各単位領域の位相情報を演算しておく場合を中心に説明する。図１８に示す各ステップは、典型的には、ＣＰＵ１０２（図２）が対応点探索処理プログラム１１２を実行するなどして実現される。

　図１８を参照して、ＣＰＵ１０２（対応点探索部１０）は、基準画像２２および参照画像２４を取得する（ステップＳ１００）。典型的には、被写体ＯＢＪを一対のステレオカメラ（基準画像撮像用カメラ２および参照画像撮像用カメラ４）などで撮像することで取得された一対のステレオ画像が入力される。

　続いて、以下の前処理が実行される。この前処理は、計算量（計算コスト）を低減するためのものである。すなわち、ＣＰＵ１０２（対応点探索部１０）は、取得した基準画像２２および／または参照画像２４において、複数の単位領域を設定する（ステップＳ１０２）。続いて、ＣＰＵ１０２（対応点探索部１０）は、設定した各単位領域についての位相情報を算出する（ステップＳ１０４）。ＣＰＵ１０２（対応点探索部１０）は、算出した各単位領域の位相情報を格納する（ステップＳ１０６）。以上で、前処理は完了する。なお、この前処理は、基準画像２２および／または参照画像２４に単位領域を設定しない場合には、行われない。

　ＣＰＵ１０２（注目点選択部１１）は、基準画像２２において、注目点を設定する（ステップＳ１１０）。続いて、ＣＰＵ１０２（小領域決定部１２）は、基準画像２２において、注目点を含むまたは注目点の周辺に複数の小領域を決定する（ステップＳ１１２）。これらの複数の小領域は、Ｓ１０２で決定された単位領域の中から選択することにより、決定される。ＣＰＵ１０２（対応領域探索部１３）は、ステップＳ１１２において決定された複数の小領域のうち１つの小領域を選択し（ステップＳ１１４）、選択した小領域の位相情報に基づいて、参照画像２４中の対応する対応小領域を探索する（ステップＳ１１６）。この探索された参照画像２４中の対応小領域の位置情報（例えば、中央位置）が格納される。なお、図１０で説明したように、先に探索された結果が存在する場合には、探索範囲を制限することが望ましい。

　その後、ＣＰＵ１０２（対応領域探索部１３）は、基準画像２２上に決定された複数の小領域のすべてについての対応小領域の探索が完了したか否かを判断する（ステップＳ１１８）。基準画像２２上に決定された複数の小領域のすべてについての対応領域の探索が完了していない場合（ステップＳ１１８においてＮＯの場合）には、ＣＰＵ１０２（対応領域探索部１３）は、ステップＳ１１２において決定された複数の小領域のうち別の小領域を選択し（ステップＳ１２０）、ステップＳ１１６以下の処理を再度実行する。

　基準画像２２上に決定された複数の小領域のすべてについての対応領域の探索が完了している場合（ステップＳ１１８においてＹＥＳの場合）には、ＣＰＵ１０２（対応点位置決定部１４）は、探索された複数の対応小領域の位置関係および注目点と小領域との位置関係に基づいて、注目点に対応する参照画像２４中の対応点を決定する（ステップＳ１２２）。この基準画像２２上に設定された注目点の画素位置（座標位置）と、参照画像２４中の対応点の画素位置（座標位置）とは、（基準・参照）対応点組情報２６として出力され、メモリ（ＲＡＭ１０４）に格納される。

　続いて、ＣＰＵ１０２（注目点選択部１１）は、基準画像２２において設定すべき注目点のすべてについての探索処理が完了したか否かを判断する（ステップＳ１２４）。

　基準画像２２において設定すべき注目点が残っている場合（ステップＳ１２４においてＮＯの場合）には、ＣＰＵ１０２（注目点選択部１１）は、基準画像２２において、別の注目点を設定し（ステップＳ１２６）、ステップＳ１１２以下の処理を再度実行する。

　基準画像２２において設定すべき注目点のすべてについての探索処理が完了した場合（ステップＳ１２４においてＹＥＳの場合）には、ＣＰＵ１０２（対応点探索部１０）は、メモリ（ＲＡＭ１０４）には全ての注目点についての（基準・参照）対応点組情報２６が格納されており、これを次の処理に向けて出力することが可能となる（ステップＳ１２８）。

　＜Ｈ．利点＞
　本実施の形態によれば、探索結果の精度を維持しつつ、計算量（計算コスト）を低減させることができる。これにより、大きい視差を生じる部分であっても対応点探索を適切に行なうことができる。

　例えば、計算量（計算コスト）の削減としては、以下のように見積もることができる。より具体的には、探索窓の大きさが大きくなることによる、フーリエ変換における計算コストを削減できる根拠は以下のように算出できる。

　探索窓がＮ画素×Ｎ画素である場合の２次元フーリエ変換の計算コストは、２Ｎ^２・ｌｏｇ_２（Ｎ）と算出できる。

　ここで、Ｎ＝２ｋとした場合には、上記の計算コストは、２^２ｋ＋１・ｋと表わすことができる。上記の探索窓（Ｎ画素×Ｎ画素）を、例えば、Ｎ／２画素×Ｎ／２画素の探索窓４つで構成する場合の２次元フーリエ変換の計算コストは、２^２ｋ＋１・（ｋ－１）と算出できる。

　したがって、Ｎ画素×Ｎ画素の探索窓を１つ用いる場合と、Ｎ／２画素×Ｎ／２画素の探索窓を４つ用いる場合との間における、計算コストの削減効果は、
　１－（ｋ－１）／ｋ＝１／ｋ
と表わすことができる。

　すなわち、複数のより小さい探索窓で探索することによる計算コスト削減効果は、例えば、ｋ＝５とした場合には約２０％となり、ｋ＝４とした場合には約２５％となる。

　さらに、前処理において、基準画像２２および参照画像２４において単位領域を設定し、各単位領域についての位相情報を予め計算しておき、それらを再利用するという方法を採用することで、フーリエ変換処理を逐一行なう必要がなくなり、計算コストをさらに削減できる。

　本発明の実施の形態としては、以下のような態様を含む。
　本手法においては、基準画像の注目画素の周辺に複数の小領域を決定し（小領域決定部１２）、個々の小領域について位相情報を用いて参照画像中の対応領域を探索し（対応領域探索部１３）、複数の小領域とそれぞれの対応小領域との位置をもとに、基準画像の注目画素に対応する参照画像中の対応点を決定する（対応点位置決定部１４）。

　これにより、フーリエ変換処理に係る計算コストを削減できるとともに、より広い探索範囲を維持できる。

　好ましくは、基準画像を予め単位領域に分割しておき、注目画素の周辺にある単位領域を組み合わせて、対応点探索を行なう。これにより、単位領域を事前設定することで、フーリエ変換による演算結果を再利用することができ、計算コストをさらに削減できる。

　好ましくは、単位領域について予め位相情報を算出しておき、対応点探索の際に、この位相情報に基づいて計算を行なう。

　また、個々の小領域についての参照画像中の対応小領域探索の際には、ある１つの小領域について対応小領域を探索し、この１つの小領域との位置関係に基づいて、他の小領域に対応する対応小領域の探索時における探索範囲を制限する。このような探索範囲の制限によって、探索すべき範囲を低減でき、これによって計算コストをより削減できる。

　好ましくは、対応小領域の探索時における評価値が所定値以下の場合は、対応点位置の決定時に、これらの小領域に関する対応関係を用いない。このように、低い評価値を有する対応関係を除外することで、より高いロバスト性を維持できる。

　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

　２　基準画像撮像用カメラ、４　参照画像撮像用カメラ、１０　対応点探索部、１１　注目点選択部、１２　小領域決定部、１３　対応領域探索部、１４　対応点位置決定部、２２　基準画像、２４　参照画像、２６　（基準・参照）対応点組情報、１００，２００　画像処理装置、１０２　ＣＰＵ、１０４　ＲＡＭ、１０６　ＲＯＭ、１０８　ネットワークインターフェイス、１１０　補助記憶装置、１１２　対応点探索処理プログラム、１１４　処理対象画像、１２０，２０６　表示部、１２２，２０４　入力部、１２４　メモリーカードインターフェイス、１２６　メモリーカード、１３０　バス、２０２　画像処理エンジン、２１２，２２２　レンズ、２１４，２２４　イメージセンサー、ＯＢＪ　被写体。

Claims

　第１画像と第２画像との間で対応点を探索する対応点探索方法であって、
　前記第１画像に含まれる注目点について、前記注目点を含むまたは前記注目点の周辺に、前記注目点と所定の位置関係にある複数の２次元の第１領域を決定する領域決定ステップと、
　前記複数の第１領域の各々についての位相情報に基づいて、前記複数の第１領域とそれぞれ対応する前記第２画像中の複数の第２領域を探索する探索ステップと、
　前記複数の第２領域の位置関係に基づいて、前記注目点に対応する前記第２画像中の対応点を決定する対応点決定ステップとを備える、対応点探索方法。
　前記領域決定ステップは、前記第１画像において予め設定された複数の２次元の単位領域のうち、前記注目点を含むまたは前記注目点の周辺に存在する前記単位領域を前記複数の第１領域として選択するステップを含む、請求項１に記載の対応点探索方法。
　前記第１画像において予め設定された複数の単位領域の各々についての位相情報を予め算出する位相情報算出ステップをさらに備え、
　前記探索ステップは、前記位相情報算出ステップで算出された前記複数の第１領域の位相情報を用いるステップを含む、請求項２に記載の対応点探索方法。
　前記探索ステップは、前記第２画像において予め設定された複数の単位領域の位相情報を用いて、前記第２領域を探索するステップを含む、請求項２または３に記載の対応点探索方法。
　前記複数の第１領域の一部は、互いに重複するように決定される、請求項１～４のいずれか１項に記載の対応点探索方法。
　前記探索ステップは、前記複数の第１領域のうち１つの第１領域に対応する第２領域を探索した後、前記複数の第１領域のうち別の第１領域に対応する第２領域を探索する際、第１領域の間の位置に基づいて、当該第２領域の探索範囲を制限するステップを含む、請求項１～５のいずれか１項に記載の対応点探索方法。
　前記対応点決定ステップにおいて、前記複数の第２領域のそれぞれについて重み付けを行い、その対応する第１領域が前記注目点から離れるほど重み付けが小さくなるように決定される、請求項１～６のいずれか１項に記載の対応点探索方法。
　前記対応点決定ステップは、探索に係る評価値が所定のしきい値以上の第２領域のみを、前記第２画像上の対応点の決定に用いるステップを含む、請求項１～７のいずれか１項に記載の対応点探索方法。
　前記領域決定ステップは、前記複数の第１領域を、視差が発生する方向に配列するように決定するステップを含む、請求項１～８のいずれか１項に記載の対応点探索方法。
　第１画像と第２画像との間で対応点を探索する対応点探索装置であって、
　前記第１画像に含まれる注目点について、前記注目点を含むまたは前記注目点の周辺に、前記注目点と所定の位置関係にある複数の２次元の第１領域を決定する領域決定手段と、
　前記複数の第１領域の各々についての位相情報に基づいて、前記複数の第１領域とそれぞれ対応する前記第２画像中の複数の第２領域を探索する探索手段と、
　前記複数の第２領域の位置関係に基づいて、前記注目点に対応する前記第２画像中の対応点を決定する対応点決定手段とを備える、対応点探索装置。
　第１画像と第２画像との間で対応点を探索する対応点探索プログラムであって、前記対応点探索プログラムはコンピューターに、
　前記第１画像に含まれる注目点について、前記注目点を含むまたは前記注目点の周辺に、前記注目点と所定の位置関係にある複数の２次元の第１領域を決定する領域決定ステップと、
　前記複数の第１領域の各々についての位相情報に基づいて、前記複数の第１領域とそれぞれ対応する前記第２画像中の複数の第２領域を探索する探索ステップと、
　前記複数の第２領域の位置関係に基づいて、前記注目点に対応する前記第２画像中の対応点を決定する対応点決定ステップとを実行させる、対応点探索プログラム。