JP5776771B2

JP5776771B2 - 対応点探索装置、および距離測定装置

Info

Publication number: JP5776771B2
Application number: JP2013521500A
Authority: JP
Inventors: 藤原　浩次; 浩次藤原
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2011-06-24
Filing date: 2012-05-10
Publication date: 2015-09-09
Anticipated expiration: 2032-05-10
Also published as: JPWO2012176556A1; WO2012176556A1; US20140247344A1; US9279677B2

Description

本発明は、２以上の画像の間における対応点を探索する技術、ならびに撮像装置から被写体までの距離を測定する技術に関する。

２つの撮像装置によって同一対象物（被写体）を異なる視点から撮像することで得られた基準画像と参照画像とについて、両画像間における対応点を探索する技術が知られている。この技術では、例えば、ＳＡＤ（Sum of Absolute Difference）演算法等による相関演算が行われることで、相関度に基づいて同一対象物に対する視差が求められる。

また、例えば、基準画像と参照画像とについて、解像度の異なる複数の画像がそれぞれ生成されて解像度別に階層構造とされ、低解像度の上位層から高解像度の下位層に向かって相関演算が順次に繰り返される処理が知られている。この処理では、低解像度の上位層で得られた視差に基づいて次の階層における探索領域が設定されるため、最高解像度の最下層までの演算処理に要する時間が短縮され得る。

ところで、対応点の探索処理にＰＯＣ（Phase-Only Correlation）演算法が採用されれば、外乱等に拘わらず、高精度な演算結果が得られることが知られている。但し、ＰＯＣ演算法は、フーリエ変換および位相情報の抽出等を含む演算の処理量が大きく、処理時間の長時間化による作業効率の低下等を招き得る。

そこで、各点に係る対応点の探索処理において、ＳＡＤ演算法によって大凡の視差が算出され、この大凡の視差に基づいて、ＰＯＣ演算法を用いた演算処理が開始される解像度の層および探索領域の設定が行われる技術が提案されている（例えば、特許文献１等）。この技術では、対応点の探索処理が高精度かつ高速に行われ得る。

特開２００８−２０９２７５号公報

しかしながら、上記特許文献１の技術では、基準画像と参照画像とについてＳＡＤ演算法を用いて大凡の視差が求められる処理の演算量が比較的大きく、処理時間の長時間化による作業効率の低下等を招き得る。

また、基準画像および参照画像のうちの少なくとも一方が呆けて不鮮明な画像となると、画像の詳細情報が欠落し、対応点の探索精度が低下し得る。このような問題は、被写体中に撮像装置からの距離が短い対象物から長い対象物まで幅広く含まれる場合に、顕著と成り得る。

本発明は、上記課題に鑑みてなされたものであり、複数の画像の間で高精度かつ高速に対応点を探索することが出来る技術、ならびに撮像装置から被写体までの距離を高精度かつ高速に算出することができる技術を提供することを目的とする。

上記課題を解決するために、第１の態様に係る対応点探索装置は、光学系および撮像部のうちの少なくとも一方を含む可動部が移動して被写体に合焦している合焦状態にある第１撮像装置によって該被写体が撮像されて得られる第１画像、前記第１撮像装置とは異なる視点から第２撮像装置によって該被写体が撮像されて得られる第２画像、および前記第１撮像装置が前記合焦状態にある際における前記可動部の位置情報を取得する情報取得部と、前記第１画像および前記第２画像のうちの一方画像と他方画像とについて、前記一方画像内の基準点に対応する対応点を前記他方画像において探索する探索部と、前記第１撮像装置が前記合焦状態にある際に前記撮像部によって得られる合焦画像のデータを用いて、該合焦画像内の１以上の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値を算出する評価値算出部と、前記合焦時の評価値と前記光学系に係る光学伝達関数の情報との関係を示す関係情報から、前記評価値算出部によって算出される前記合焦時の評価値に対応する光学伝達関数の情報を特定する関数情報特定部と、前記他方画像のうちの前記探索部によって前記対応点が探索される探索範囲を、前記位置情報と前記合焦時の評価値とに基づいて決定する探索範囲決定部と、を備え、前記探索部が、前記一方画像のうちの前記基準点を包含する基準領域に係る周波数成分と、前記他方画像のうちの参照領域に係る周波数成分とに基づき、前記対応点を探索する探索処理を行い、該探索処理において、前記関数情報特定部で特定される前記光学伝達関数の情報に応じて、周波数毎に重み付けを施して演算を行い、前記探索範囲が、前記他方画像内の前記参照領域を含む。

第２の態様に係る対応点探索装置は、光学系および撮像部のうちの少なくとも一方を含む可動部が移動して被写体に合焦している合焦状態にある第１撮像装置によって該被写体が撮像されて得られる第１画像、前記第１撮像装置とは異なる視点から第２撮像装置によって該被写体が撮像されて得られる第２画像、および前記第１撮像装置が前記合焦状態にある際における前記可動部の位置情報を取得する情報取得部と、前記第１画像および前記第２画像のうちの一方画像と他方画像とについて、前記一方画像内の基準点に対応する対応点を前記他方画像において探索する探索部と、前記第１撮像装置が前記合焦状態にある際に前記撮像部によって得られる合焦画像のデータを用いて、該合焦画像内の１以上の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値を算出する評価値算出部と、前記合焦時の評価値と前記光学系に係る光学伝達関数の情報との関係を示す関係情報から、前記評価値算出部によって算出される前記合焦時の評価値に対応する光学伝達関数の情報を特定する関数情報特定部と、前記他方画像のうちの前記探索部によって前記対応点が探索される探索範囲を、前記位置情報と前記合焦時の評価値とに基づいて決定する探索範囲決定部と、を備え、前記探索部が、前記一方画像のうちの前記基準点を包含する基準領域に係る周波数成分と、前記他方画像のうちの参照領域に係る周波数成分とに基づき、前記対応点を探索し、前記探索範囲が、前記他方画像のうちの前記参照領域を含み、前記探索範囲決定部が、前記関数情報特定部で特定される前記光学伝達関数の情報に応じて前記基準領域および前記参照領域のサイズを決定する。

第３の態様に係る対応点探索装置は、第１の態様に係る対応点探索装置であって、前記評価値算出部が、前記可動部が複数の位置に順次に配置されている各状態において前記撮像部によってそれぞれ得られる複数の画像のデータを用いて、前記第１撮像装置の前記被写体に対する合焦度合いを示す複数の評価値をそれぞれ算出し、前記複数の評価値に基づいて前記可動部を移動させることで、前記第１撮像装置を前記合焦状態に設定する合焦制御部、を更に備える。

第４の態様に係る対応点探索装置は、第１または第３の態様に係る対応点探索装置であって、前記評価値算出部が、前記合焦画像のデータを用いて、該合焦画像に含まれる複数の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値をそれぞれ算出し、前記関数情報特定部が、前記関係情報から、各前記画像領域について前記評価値算出部によって算出される各前記合焦時の評価値にそれぞれ対応する光学伝達関数の情報を特定し、前記探索部が、前記探索処理において、前記複数の画像領域のうちの前記基準点と所定の位置関係を有する少なくとも１つの画像領域について前記関数情報特定部で特定される光学伝達関数の情報に応じて、周波数毎に前記重み付けを施す。

第５の態様に係る対応点探索装置は、第４の態様に係る対応点探索装置であって、前記所定の位置関係が、前記基準点から所定距離内である位置関係を含み、前記少なくとも１つの画像領域が、２以上の画像領域を含み、前記探索部が、前記探索処理において、前記２以上の画像領域について前記関数情報特定部によってそれぞれ特定される光学伝達関数の情報のうち、最も高周波まで高いコントラストが維持される光学伝達関数の情報に応じて、周波数毎に重み付けを施す。

第６の態様に係る対応点探索装置は、第１または第３の態様に係る対応点探索装置であって、前記評価値算出部が、前記合焦画像のデータを用いて、該合焦画像に含まれる複数の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値をそれぞれ算出し、前記探索範囲決定部が、前記探索範囲を、前記複数の画像領域のうちの前記基準点と所定の位置関係を有する少なくとも１つの画像領域について前記評価値算出部によって算出される前記合焦時の評価値と、前記位置情報とに基づいて決定する。

第７の態様に係る対応点探索装置は、第６の態様に係る対応点探索装置であって、前記所定の位置関係が、前記基準点から所定距離内である位置関係を含み、前記少なくとも１つの画像領域が、２以上の画像領域を含み、前記探索範囲決定部が、前記２以上の画像領域について前記評価値算出部によってそれぞれ算出される各前記合焦時の評価値と前記位置情報とに基づいて、前記一方画像における前記基準点と前記他方画像における前記対応点との間における２以上の視差候補を求め、該２以上の視差候補のうちの最小の視差候補に基づいて、前記探索範囲を決定する。

第８の態様に係る対応点探索装置は、第１または第３の態様に係る対応点探索装置であって、前記評価値算出部が、前記合焦画像のデータを用いて、該合焦画像に含まれる複数の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値をそれぞれ算出し、前記探索範囲決定部が、前記探索範囲を、前記複数の画像領域について前記評価値算出部によって算出される複数の前記合焦時の評価値に係る代表値と、前記位置情報とに基づいて決定する。
第９の態様に係る対応点探索装置は、第１から第８の何れか１つの態様に係る対応点探索装置であって、前記第１撮像装置と、前記第２撮像装置と、を更に備える。

第１０の態様に係る距離測定装置は、第１から第９の何れか１つの態様に係る対応点探索装置と、前記対応点探索装置の内部または外部に配置され、前記一方画像における前記基準点の位置と前記他方画像における前記対応点の位置とのずれ量と、前記第１および第２撮像装置の設定に係るパラメータとに基づいて、前記第１および第２撮像装置から前記被写体のうちの前記基準点で捉えられている部分までの距離を算出する距離算出部と、を備える。

第１および第３から第８の何れの態様に係る対応点探索装置によっても、撮像装置の合焦時における可動部の位置情報に基づいて対応点の探索範囲が決定されるため、複数の画像の間で高精度かつ高速に対応点が探索され得る。また、撮像装置の合焦度合いと合焦時における可動部の位置情報とに基づいて対応点の探索範囲が決定されるため、探索範囲がより適正化され得る。その結果、複数の画像の間で更に高精度かつ高速に対応点が探索され得る。また、Ｓ／Ｎ比の改善による対応点の探索精度の向上ならびに演算量の低減による対応点の探索の高速化が図られ得る。

第３の態様に係る対応点探索装置によれば、汎用のオートフォーカス調節の機能を有する撮像装置が用いられても、複数の画像の間で対応点が高精度かつ高速に探索され得る。従って、例えば、対応点探索装置の製造コストの低減ならびに小型化が図られ得る。

第４の態様に係る対応点探索装置によれば、画一的でなく、基準点が位置する領域毎に、Ｓ／Ｎ比の改善による対応点の探索精度の向上ならびに演算量の低減による対応点の探索の高速化が図られ得る。

第５の態様に係る対応点探索装置によれば、Ｓ／Ｎ比の改善と演算に使用する情報量の低減とのバランスが調整され得る。すなわち、Ｓ／Ｎ比の改善による対応点の探索精度の向上と、演算量の低減による対応点の探索の高速化とがより適正化され得る。

第２の態様に係る対応点探索装置によれば、撮像装置の合焦時における可動部の位置情報に基づいて対応点の探索範囲が決定されるため、複数の画像の間で高精度かつ高速に対応点が探索され得る。また、撮像装置の合焦度合いと合焦時における可動部の位置情報とに基づいて対応点の探索範囲が決定されるため、探索範囲がより適正化され得る。その結果、複数の画像の間で更に高精度かつ高速に対応点が探索され得る。また、情報量の確保によって対応点の探索精度の維持が図られ得る。

第６の態様に係る対応点探索装置によれば、画一的でなく、基準点が位置する領域毎に探索範囲がより適正に決定され得る。その結果、領域毎に情報量の確保による対応点の探索精度の維持が適正に図られ得る。

第７の態様に係る対応点探索装置によれば、対応点から大きく外れた探索範囲が設定され難くなるため、対応点の探索精度が安定する。

第８の態様に係る対応点探索装置によれば、演算量の低減により、複数の画像の間で高速に対応点が探索され得る。

第１０の態様に係る距離測定装置によれば、複数の画像の間で高精度かつ高速に対応点が探索され得る結果、撮像装置から被写体までの距離が高精度かつ高速に算出され得る。

図１は、一実施形態および一変形例に係る距離測定装置の構成例を示す図である。図２は、一実施形態に係る距離測定装置の機能的な構成を例示するブロック図である。図３は、一画像のうちの評価値が算出される領域を例示する図である。図４は、ＭＴＦに係る空間周波数とコントラストとの関係を例示するグラフである。図５は、基準画像に対する基準点の設定態様を例示する図である。図６は、基準画像に対する基準領域の設定態様を例示する図である。図７は、参照画像に対する参照領域の設定態様を例示する図である。図８は、一実施形態に係る対応点の探索処理における演算フローを例示する図である。図９は、ＰＯＣ値の分布を例示する図である。図１０は、一実施形態に係る距離測定動作のフローを例示するフローチャートである。図１１は、合焦動作の動作フローを例示するフローチャートである。図１２は、一変形例に係る距離測定装置の機能的な構成を示すブロック図である。図１３は、基準画像に対する基準領域の設定態様を例示する図である。図１４は、参照画像に対する参照領域の設定態様を例示する図である。図１５は、一変形例に係る距離測定動作のフローを例示するフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。なお、図面においては同様な構成および機能を有する部分については同じ符号が付されており、下記説明では重複説明が省略される。また、図面は模式的に示されたものであり、各図における各種構造のサイズおよび位置関係等は正確に図示されたものではない。

＜（１）距離測定装置の概略構成＞
図１は、一実施形態に係る距離測定装置１００の概略構成を示す図である。距離測定装置１００は、第１カメラ１と第２カメラ２と情報処理装置３とを備えている。

第１カメラ１と第２カメラ２とが、通信回線Ｌ１２を介してデータ伝送可能に接続されている。また、第１カメラ１が通信回線Ｌ１を介して情報処理装置３に対してデータ伝送可能に接続され、第２カメラ２が通信回線Ｌ２を介して情報処理装置３に対してデータ伝送可能に接続されている。通信回線Ｌ１，Ｌ２，Ｌ１２は、有線回線および無線回線の何れであっても良い。

第１および第２カメラ１，２は、被写体を撮像することで画像をそれぞれ取得する撮像装置である。これらの第１および第２カメラ１，２は、一方向に並んで配置されている。ここで、一方向は、例えば、水平方向であれば良い。一方向が水平方向である場合、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸とが水平方向に離隔配置されている。そして、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸との離隔距離が、第１および第２カメラ１，２に係る基線長である。

また、第１および第２カメラ１，２は、例えば、カメラの正面に位置する被写体を、同じタイミングで相互に異なる視点から撮像する。第１および第２カメラ１，２によって同じタイミングで撮像される２つの画像は、いわゆるステレオ画像である。つまり、ステレオ画像は、第１カメラ１の撮像によって取得される画像（第１画像とも言う）と、第２カメラ２の撮像によって取得される画像（第２画像とも言う）とを含む。第１画像に係るデータＭａと第２画像に係るデータＭｂは、第１および第２カメラ１，２から通信回線Ｌ１，Ｌ２を介して情報処理装置３に送信され得る。

情報処理装置３は、例えば、パーソナルコンピュータ（パソコン）であれば良く、操作部３１、表示部３２、インターフェース（Ｉ／Ｆ）部３３、記憶部３４、入出力（Ｉ／Ｏ）部３５、および制御部３６を備えている。

操作部３１は、例えば、マウスおよびキーボードを含む。表示部３２は、例えば、液晶ディスプレイを含む。Ｉ／Ｆ部３３は、例えば、第１および第２カメラ１，２と情報処理装置３との間におけるデータの授受を行う。記憶部３４は、例えば、ハードディスク等を含み、プログラムＰＧおよび各種データを格納する。Ｉ／Ｏ部３５は、例えば、ディスクドライブを備え、光ディスク等の記憶媒体４を受け付けて該記憶媒体４と制御部３６との間におけるデータの授受を行う。制御部３６は、例えば、プロセッサーとして働くＣＰＵ３６ａ、および情報を一時的に記憶するメモリ３６ｂ等を含む。なお、制御部３６は、記憶部３４内のプログラムＰＧを読み込んで実行することで、各種機能および情報処理等を実現する。

なお、本実施形態では、説明を簡素化するために、第１および第２カメラ１，２の収差が良好に補正されており、且つ第１および第２カメラ１，２は、略平行（好ましくは完全に平行）に設定されている。つまり、第１および第２カメラ１，２の光軸が略平行（好ましくは完全に平行）に設定され、第１および第２画像で捉えられた被写体は、第１および第２画像の外縁に対して略同一の角度関係（好ましくは完全に同一の角度関係）を有する。但し、実際の第１および第２カメラ１，２が、このような条件にない場合は、画像処理によって同等の条件で撮像されたものと同視されるステレオ画像に変換されれば良い。

＜（２）距離測定装置の機能的な構成＞
図２は、本実施形態に係る距離測定装置１００の主要部の機能的な構成を示すブロック図である。図２では、第１および第２カメラ１，２から被写体までの距離を測定する動作（距離測定動作とも言う）に係る機能的な構成が示されている。

＜（２−１）第１カメラの機能的な構成＞
第１撮像装置としての第１カメラ１は、光学系１１、駆動部１２、位置検出部１３、撮像部１４、評価値算出部１５、制御演算部１６、およびインターフェース（Ｉ／Ｆ）部１７を備えている。

光学系１１は、例えば、複数の光学レンズを含む。複数の光学レンズは、ガラスまたはプラスチックス等によって形成された光学部材である。また、複数の光学レンズは、第１カメラ１の本体に対して光学系１１の光軸方向に移動可能である可動部としての１以上の光学レンズを含む。そして、可動部としての１以上の光学レンズ（合焦用レンズとも言う）１１ａが、駆動部１２の駆動力によって移動することで、被写体に対して合焦し得る。

駆動部１２は、例えば、圧電素子等を用いたアクチュエーターであれば良い。駆動部１２は、制御演算部１６からの制御信号に応じて駆動力を発生し、合焦用レンズ１１ａを光軸方向に移動させる。第１カメラ１において自動焦点調節（ＡＦ調節とも言う）が行われる際には、駆動部１２によって合焦用レンズ１１ａが合焦用の複数の位置（ＡＦ用位置とも言う）に順次に配置される。これにより、第１カメラ１が被写体に合焦する際の合焦用レンズ１１ａの位置が検出される。複数のＡＦ用位置には、例えば、合焦用レンズ１１ａの可動範囲のうちの初期位置から一方向に向かって該合焦用レンズ１１ａが所定距離ずつ移動した位置が含まれる。ここで、初期位置は、例えば、合焦用レンズ１１ａの可動範囲の一端であれば良く、一方向は、例えば、合焦用レンズ１１ａの可動範囲の一端から他端に向かう方向であれば良い。

位置検出部１３は、例えば、電磁センサー等であれば良い。位置検出部１３は、合焦用レンズ１１ａの可動範囲のうちの該合焦用レンズ１１ａの光軸方向における位置を検出する。位置検出部１３で検出される合焦用レンズ１１ａの位置を示す情報（位置情報とも言う）は、制御演算部１６に送出される。

撮像部１４は、例えば、ＣＣＤ等の撮像素子を含む。該撮像部１４は、光学系１１を介して被写体からの光を受光し、該被写体を撮像することで、該被写体を捉えている第１画像を取得する。

具体的には、撮像部１４は、第１カメラ１においてＡＦ調節が行われる際、駆動部１２によって合焦用レンズ１１ａが複数のＡＦ用位置に順次に配置されている各状態において、該被写体を撮像して、複数のＡＦ調整用の画像（ＡＦ用画像とも言う）を取得する。また、撮像部１４は、第１カメラ１が該被写体に合焦している状態（合焦状態とも言う）において該被写体を撮像することで、該被写体を捉えている画像（第１合焦画像とも言う）を取得する。なお、撮像部１４で取得されたＡＦ用画像および第１合焦画像を含む第１画像のデータは、評価値算出部１５および制御演算部１６に送出される。

評価値算出部１５は、例えば、専用の電子回路で構成されても良いし、ソフトウェアがプロセッサーで実行されることで機能的に実現されても良い。評価値算出部１５は、第１画像のデータを用いて、第１カメラ１が被写体に合焦している度合い（合焦度合いとも言う）を示す評価値を算出する。該評価値は、例えば、コントラストを示す値（コントラスト値とも言う）であれば良い。コントラスト値は、例えば、ハイパスフィルタ、検波回路、および積分回路として機能するデジタルフィルタによって第１画像のデータの高周波成分が抽出され、該高周波成分の信号の正負の成分が同一方向に揃えられて積分されることで算出され得る。

そして、評価値算出部１５では、例えば、図３で示されるように、第１画像Ｇ１に含まれる所定数の複数の領域についてそれぞれ評価値が算出される。ここでは、所定数が９に設定され、第１画像Ｇ１の中央付近の第１〜９画像領域Ａ１〜Ａ９について評価値がそれぞれ算出されるものとする。

具体的には、ＡＦ調節が行われる際、評価値算出部１５は、各ＡＦ用画像のデータに基づいて、各画像領域Ａ１〜Ａ９についての評価値をそれぞれ算出する。このとき、例えば、評価値算出部１５は、各ＡＦ用画像のデータに対し、第１〜９画像領域Ａ１〜Ａ９についての複数の評価値から所定ルールでＡＦ調節用の評価値（ＡＦ用評価値とも言う）をそれぞれ算出する。ここで、所定ルールは、例えば、第１〜９画像領域Ａ１〜Ａ９についての複数の評価値の平均値を算出するルールであれば良い。また、評価値算出部１５は、第１合焦画像のデータを用いて、第１合焦画像に含まれる各画像領域Ａ１〜Ａ９について、評価値（合焦時の評価値とも言う）をそれぞれ算出する。

制御演算部１６は、例えば、専用の電子回路で構成されても良いし、ソフトウェアがプロセッサーで実行されることで機能的に実現されても良い。合焦制御部としての制御演算部１６は、いわゆる山登り方式のＡＦ調節を行う。具体的には、ＡＦ調節が行われる際、制御演算部１６は、評価値算出部１５で算出された複数のＡＦ用評価値に基づいて、合焦用レンズ１１ａを移動させることで、第１カメラ１を合焦状態に設定する。

詳細には、制御演算部１６は、位置検出部１３から合焦用レンズ１１ａの位置情報を取得しつつ、合焦用レンズ１１ａを移動させることで、合焦用レンズ１１ａを複数のＡＦ用位置まで順次に移動させる。このとき、制御演算部１６は、合焦用レンズ１１ａが各ＡＦ用位置まで移動された際に、評価値算出部１５からＡＦ用評価値を取得することで、位置情報毎にＡＦ用評価値を取得する。ここで、制御演算部１６では、例えば、各ＡＦ用評価値がコントラスト値であれば、該コントラスト値のピークに対応する合焦用レンズ１１ａの位置（合焦レンズ位置とも言う）が算出される。そして、制御演算部１６の制御によって、合焦用レンズ１１ａが合焦レンズ位置に移動させられることで、第１カメラ１が合焦状態に設定され得る。

さらに、制御演算部１６は、第１カメラ１が合焦状態に設定されている際に、第１〜９画像領域Ａ１〜Ａ９毎のそれぞれが前ピント状態にあるのか、後ピント状態にあるのかを判定する処理（ピント状態判定処理とも言う）を行う。ここで、前ピント状態とは、第１カメラ１の焦点が被写体よりも近景にある状態を言い、後ピント状態とは、第１カメラ１の焦点が被写体よりも遠景にある状態を言う。制御演算部１６では、例えば、ＡＦ調節が行われる際に、各ＡＦ用位置に合焦用レンズ１１ａが配置されている各状態において取得されたＡＦ用画像の第１〜９画像領域Ａ１〜Ａ９についてそれぞれ算出された評価値に基づき、第１カメラ１が合焦状態にある時の第１〜９画像領域Ａ１〜Ａ９のそれぞれのピント状態判定処理が行われる。

また、制御演算部１６は、評価値算出部１５から第１〜９画像領域Ａ１〜Ａ９に係る合焦時の評価値を示すデータを受け取り、撮像部１４から第１合焦画像のデータを受け取る。そして、制御演算部１６は、第１〜９画像領域Ａ１〜Ａ９に係る合焦時の評価値を示すデータ、ピント状態判定処理の判定結果を示す情報（ピント前後情報とも言う）、および第１合焦画像のデータをＩ／Ｆ部１７を介して情報処理装置３に送出する。また、制御演算部１６は、合焦レンズ位置の情報（合焦位置情報とも言う）を、Ｉ／Ｆ部１７を介して第２カメラ２および情報処理装置３に送出する。

＜（２−２）第２カメラの機能的な構成＞
第２撮像装置としての第２カメラ２は、光学系２１、駆動部２２、位置検出部２３、撮像部２４、制御部２６、およびインターフェース（Ｉ／Ｆ）部２７を備えている。

光学系２１は、例えば、光学系１１と同様な構成を有する。具体的には、光学系２１では、可動部としての１以上の光学レンズ（合焦用レンズ）２１ａが、駆動部２２の駆動力によって移動することで、被写体に対して合焦し得る。

駆動部２２は、例えば、駆動部１２と同様に、圧電素子等を用いたアクチュエーターであれば良い。駆動部２２は、制御部２６からの制御信号に応じて駆動力を発生し、合焦用レンズ２１ａを光軸方向に移動させる。

位置検出部２３は、例えば、位置検出部１３と同様に、電磁センサー等であれば良い。位置検出部２３は、合焦用レンズ２１ａの可動範囲のうちの該合焦用レンズ２１ａの光軸方向における位置を検出する。位置検出部２３で検出される合焦用レンズ２１ａの位置を示す情報（位置情報）は、制御部２６に送出される。

撮像部２４は、撮像部１４と同様に、例えば、ＣＣＤ等の撮像素子を含む。該撮像部２４は、光学系２１を介して被写体からの光を受光し、該被写体を撮像することで、該被写体を捉えている第２画像を取得する。具体的には、撮像部２４は、第２カメラ２が該被写体に合焦している合焦状態において、該被写体を撮像することで、該被写体を捉えている画像（第２合焦画像とも言う）を取得する。なお、撮像部２４で取得された第２合焦画像のデータは、制御部２６に送出される。

制御部２６は、例えば、専用の電子回路で構成されても良いし、ソフトウェアがプロセッサーで実行されることで機能的に実現されても良い。制御部２６は、Ｉ／Ｆ部２７を介して第１カメラ１から合焦位置情報を取得する。そして、制御部２６は、位置検出部２３から得られる位置情報を参照しつつ、駆動部２２を制御して、合焦用レンズ２１ａを、第１カメラ１の合焦位置情報に応じた合焦レンズ位置まで移動させる。これにより、第２カメラ２が合焦状態に設定され得る。

また、制御部２６は、撮像部２４から第２合焦画像のデータを受け取る。そして、制御部２６は、第２合焦画像のデータをＩ／Ｆ部２７を介して情報処理装置３に送出する。

＜（２−３）情報処理装置の機能的な構成＞
上述したように、情報処理装置３は、Ｉ／Ｆ部３３、記憶部３４、および制御部３６を備えている。

図２で示されるように、Ｉ／Ｆ部３３は、第１および第２カメラ１，２から情報を取得する部分（情報取得部とも言う）として働く。例えば、Ｉ／Ｆ部３３は、第１合焦画像のデータ、第１〜９画像領域Ａ１〜Ａ９に係る合焦時の評価値を示すデータ、およびピント前後情報と、合焦位置情報とを第１カメラ１から取得し、第２合焦画像のデータを第２カメラ２から取得する。そして、Ｉ／Ｆ部３３は、第１および第２合焦画像のデータ、第１カメラ１から入力される第１〜９画像領域Ａ１〜Ａ９に係る合焦時の評価値を示すデータ、ピント前後情報、および合焦位置情報を制御部３６に送出する。

記憶部３４は、例えば、視差テーブル３４１、関数テーブル３４２、およびサイズ変換式３４３を格納している。

視差テーブル３４１は、第１カメラ１の合焦に係る合焦情報と、視差との関係が記述されているテーブルである。ここで、合焦情報は、例えば、第１カメラ１についての合焦位置情報と、第１〜９画像領域Ａ１〜Ａ９についての合焦時の評価値を示すデータおよびピント前後情報との組合せを示す情報であれば良い。また、視差は、第１合焦画像と第２合焦画像との間において、被写体の同じ部分を捉えた位置のズレ量に対応する。

視差テーブル３４１は、例えば、第１および第２カメラ１，２の光学的な設計値を用いた光学シミュレーションによって予め求められ得る。該視差テーブル３４１は、例えば、実験によっても予め求められ得る。該実験では、例えば、第１および第２カメラ１，２と被写体との位置関係が既知である場合に、合焦情報が実際に得られることで、視差テーブル３４１の情報が求められ得る。

関数テーブル３４２は、空間伝達関数に含まれるＭＴＦ（Modulation Transfer Function）を示すテーブルである。該ＭＴＦは、レンズ性能を評価する指標のひとつであり、レンズの結像性能を知るために、被写体の持つコントラストをどの程度忠実に再現できるかを空間周波数特性として表現したもので、図４に例示するように、横軸に空間周波数をとり、縦軸にコントラストをとって表す。一般的に、低周波（図４のグラフの左側）のコントラストが高いほどヌケの良いレンズであり、高周波（図４のグラフの右側）のコントラストが高いほど高解像なレンズといえる。

また、関数テーブル３４２には、合焦時の評価値毎に、ＭＴＦを示す情報が記述されている。つまり、関数テーブル３４２には、合焦時の評価値と光学系１１，２１に係る光学伝達関数の情報としてのＭＴＦとの関係を示す情報（関係情報とも言う）が記述されている。そして、関数テーブル３４２は、例えば、第１および第２カメラ１，２の光学的な設計値を用いた光学シミュレーションによって予め求められ得る。

サイズ変換式３４３は、ＭＴＦのカットオフ周波数を、対応点の探索範囲を規定するウインドウ（探索ウインドウとも言う）のサイズに変換するための式である。ここで、ＭＴＦのカットオフ周波数は、図４で示されるようなＭＴＦにおいて、空間周波数が高くなるにつれてコントラストが減少し、所定のコントラストを下回る空間周波数のことを言う。例えば、カットオフ周波数がｆとされ、所定の定数がｋとされ、正方形の探索ウインドウの一辺の長さがＬとされると、サイズ変換式３４３は、Ｌ＝（ｋ／ｆ）を示す。

なお、カットオフ周波数の単位は、（１／画素）である。また、コントラストの最大値（最大コントラスト値とも言う）が１であれば、所定のコントラストは、例えば、最大コントラスト値に所定数を乗じた値であれば良い。所定値は、例えば、０．５、０．６，０．８の何れであっても良い。なお、サイズ変換式３４３は、ＭＴＦのカットオフ周波数と、探索ウインドウのサイズとが関連付けられた情報が記述されているテーブルであっても良い。

制御部３６は、機能的な構成として、視差変換部３６１、初期視差決定部３６２、関数情報特定部３６３、サイズ設定部３６４、基準領域設定部３６５、参照領域設定部３６６、重み付け設定部３６７、探索部３６８、および距離算出部３６９を備えている。

視差変換部３６１は、視差テーブル３４１に従って、合焦情報を視差に変換する。視差変換部３６１では、視差テーブル３４１から、第１カメラ１から得た合焦情報に対応する視差が認識される。

初期視差決定部３６２は、各画像領域Ａ１〜Ａ９について、視差変換部３６１によって認識された視差に基づいて、第１合焦画像Ｇ１と第２合焦画像Ｇ２との間についての対応点の検索処理における視差の初期値（初期視差とも言う）を決定する。

具体的には、まず、第１合焦画像Ｇ１が対応点を探索する際の基準となる一方画像（基準画像とも言う）とされ、図５で示されるように、該基準画像Ｇ１に対応点を探索する際の基準となる画素（基準点とも言う）Ｓｐ１が設定される。なお、基準点Ｓｐ１として、例えば、基準画像Ｇ１の左上の画素が最初に設定され、基準画像Ｇ１に含まれる全画素が順次に設定される態様が考えられる。

次に、基準点Ｓｐ１が、基準画像Ｇ１における第１〜９画像領域Ａ１〜Ａ９に含まれる場合、第１〜９画像領域Ａ１〜Ａ９のうちの基準点Ｓｐ１が含まれる画像領域について視差変換部３６１で得られた視差が基準点Ｓｐ１に係る初期視差として決定される。つまり、第１カメラ１の合焦位置だけでなく、第１〜９画像領域Ａ１〜Ａ９の各々についてのピント前後情報も加味して初期視差が決定される。なお、基準点Ｓｐ１が、第１〜９画像領域Ａ１〜Ａ９の境界近傍に位置する場合、例えば、第１〜９画像領域Ａ１〜Ａ９のうちの該境界に接する複数の画像領域について視差変換部３６１で得られた視差の最小値または最大値が、初期視差として決定されても良い。一方、基準点Ｓｐ１が、第１〜９画像領域Ａ１〜Ａ９に含まれていない場合、例えば、第１〜９画像領域Ａ１〜Ａ９のうちの基準点Ｓｐ１から最も近い画像領域について視差変換部３６１で得られた視差が、基準点Ｓｐ１に係る初期視差として決定される。

関数情報特定部３６３は、関数テーブル３４２から、合焦時の評価値に対応する光学伝達関数の情報としてのＭＴＦを特定する。ここでは、例えば、第１〜９画像領域Ａ１〜Ａ９に係る合焦時の評価値から求まる評価値の代表値に対応するＭＴＦ（代表ＭＴＦとも言う）が特定される。ここで、評価値の代表値は、例えば、第１〜９画像領域Ａ１〜Ａ９に係る合焦時の評価値についての平均値であっても良いし、上位Ｎ個の平均値であっても良い。また、関数情報特定部３６３は、例えば、各第ｎ画像領域Ａｎ（ｎは１〜９の整数）について、合焦時の評価値に対応する第ｎのＭＴＦを特定しても良い。

サイズ設定部３６４は、関数情報特定部３６３で特定されたＭＴＦに応じて、探索ウインドウのサイズを設定する。探索ウインドウには、基準領域設定部３６５で設定される基準領域と、参照領域設定部３６６で設定される参照領域とが含まれる。サイズ設定部３６４では、例えば、代表ＭＴＦのカットオフ周波数とサイズ変換式３４３とに基づいて探索ウインドウのサイズが設定され得る。これにより、ＭＴＦに応じて不足し得る情報量が、ＭＴＦに応じた探索ウインドウのサイズの設定によって確保され、対応点の探索精度の維持が図られ得る。

なお、サイズ設定部３６４では、上述した第ｎのＭＴＦのカットオフ周波数とサイズ変換式３４３とに基づいて、各画像領域Ａｎについて探索ウインドウのサイズが設定されても良い。例えば、基準点Ｓｐ１が第ｎ画像領域Ａｎに含まれる場合、該第ｎ画像領域Ａｎについて特定された第ｎのＭＴＦのカットオフ周波数とサイズ変換式３４３とに基づいて、第ｎ画像領域Ａｎについての探索ウインドウのサイズが設定され得る。また、例えば、基準点Ｓｐ１が第１〜９画像領域Ａ１〜Ａ９の境界近傍に位置する場合、第１〜９画像領域Ａ１〜Ａ９のうちの該境界に接する複数の画像領域について特定されたＭＴＦのカットオフ周波数とサイズ変換式３４３とに基づいて、探索ウインドウのサイズが設定され得る。この場合、例えば、該境界に接する複数の画像領域について特定されたＭＴＦのカットオフ周波数のうちの最小値または最大値とサイズ変換式３４３とに基づいて、探索ウインドウのサイズが設定され得る。また、例えば、基準点Ｓｐ１が、第１〜９画像領域Ａ１〜Ａ９に含まれていない場合、第１〜９画像領域Ａ１〜Ａ９のうちの基準点Ｓｐ１から最も近い第ｎ画像領域Ａｎについて特定されたＭＴＦのカットオフ周波数とサイズ変換式３４３とに基づいて、探索ウインドウのサイズが設定され得る。

基準領域設定部３６５は、基準画像Ｇ１に基準となる探索ウインドウ（基準領域とも言う）を設定する。具体的には、図６で示されるように、基準点Ｓｐ１が基準とされて該基準点Ｓｐ１を包含する基準領域Ｗ１が設定される。ここで、基準領域Ｗ１のサイズは、サイズ設定部３６４で設定されたものであれば良い。また、基準領域Ｗ１は、例えば、基準点Ｓｐ１を中心として設定されれば良い。この場合、基準点Ｓｐ１によって基準領域Ｗ１が規定される。

参照領域設定部３６６は、第２合焦画像Ｇ２を対応点の探索時に参照する他方画像（参照画像とも言う）とし、該参照画像Ｇ２に参照の対象を規定する探索ウインドウ（参照領域とも言う）を設定する。具体的には、図７で示されるように、参照画像Ｇ２に対応点の探索時において参照の基準となる画素（参照点とも言う）Ｐｐ１が設定される。そして、図７で示されるように、参照点Ｐｐ１が基準とされて該参照点Ｐｐ１を包含する参照領域Ｗ２が設定される。

ここで、参照画像Ｇ２における参照点Ｐｐ１の位置と、基準画像Ｇ１における基準点Ｓｐ１の位置とのズレ量は、初期視差決定部３６２によって決定された初期視差に基づいて設定される。例えば、該ズレ量と初期視差とが一致すれば良い。また、参照領域Ｗ２のサイズは、基準領域Ｗ１のサイズと同様にサイズ設定部３６４で設定されたものであれば良い。更に、参照領域Ｗ２は、例えば、参照点Ｐｐ１を中心として設定されれば良い。この場合、参照点Ｐｐ１によって参照領域Ｗ２が規定される。

そして、参照領域Ｗ２は、探索部３６８によって基準点Ｓｐ１に対応する対応点が参照画像Ｇ２において探索される範囲（探索範囲とも言う）となる。このため、該探索範囲が、視差変換部３６１、初期視差決定部３６２、サイズ設定部３６４、および参照領域設定部３６６によって、合焦情報に基づいて決定される。すなわち、視差変換部３６１、初期視差決定部３６２、サイズ設定部３６４、および参照領域設定部３６６が、探索範囲を決定する部分（探索範囲決定部とも言う）３６０として働く。また、初期視差決定部３６２により、各基準点Ｓｐ１の対応点を検索する際の探索範囲が、第１〜９画像領域Ａ１〜Ａ９のうちの各基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域に係る合焦時の評価値と合焦位置情報とに基づいて決定され得る。ここで、所定の位置関係は、例えば、第１〜９画像領域Ａ１〜Ａ９のうちの基準点Ｓｐ１から最も近い位置関係であれば良い。

重み付け設定部３６７は、関数情報特定部３６３で特定されたＭＴＦに応じて、空間周波数毎に重み付け係数を設定する。ここでは、例えば、第１〜９画像領域Ａ１〜Ａ９のうちの各基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域について特定されたＭＴＦに応じて、空間周波数毎に重み付け係数が設定されれば良い。ここで、所定の位置関係は、例えば、第１〜９画像領域Ａ１〜Ａ９のうちの基準点Ｓｐ１が含まれる位置関係か、または最も近い位置関係であれば良い。そして、ここでは、例えば、ＭＴＦにおける各空間周波数のコントラストが、それぞれ対応する空間周波数の重み付け係数として設定され得る。

探索部３６８は、基準画像Ｇ１内の基準点Ｓｐ１に対応する対応点を参照画像Ｇ２において探索する。探索部３６８では、位相限定相関（ＰＯＣ）演算法が用いられて、基準領域Ｗ１に含まれる領域画像に係る周波数成分と、参照領域Ｗ２に係る周波数成分とに基づいて、基準点Ｓｐ１に対応する対応点が探索される。これにより、情報処理装置３が対応点探索装置として働く。なお、探索部３６８では、対応点の探索処理において、重み付け設定部３６７によって設定された周波数毎の重み付け係数により、周波数毎に重み付けが施される。

この重み付けにより、対応点の探索処理において、ＭＴＦにおいてコントラストが低くなる空間周波数に係る演算が探索結果に及ぼす影響が小さくなる。その結果、Ｓ／Ｎ比の改善による対応点の探索精度の向上ならびに演算量の低減による対応点の探索の高速化が図られ得る。また、第１〜９画像領域Ａ１〜Ａ９のうちの各基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域について特定されたＭＴＦに応じて、空間周波数毎に重み付け係数が設定されれば、基準点Ｓｐ１が位置する領域毎に、対応点の探索処理がより適正化される。すなわち、画一的でなく、基準点Ｓｐ１が位置する領域毎に、Ｓ／Ｎ比の改善による対応点の探索精度の向上ならびに演算量の低減による対応点の探索の高速化が図られ得る。

ここで、探索部３６８におけるＰＯＣ演算法が用いられた対応点の探索処理について説明する。この対応点の探索処理では、画像パターンの周波数分解信号のうち、振幅成分を抑制した位相成分の信号を用いて、画像間における相関度（類似度）を示す数値を求める相関演算が行われる。

図８は、ＰＯＣ演算法を用いた対応点の探索処理を説明するための図である。

ここでは、基準領域Ｗ１および参照領域Ｗ２は、それぞれＸ方向に沿って所定数Ｎ_１の画素が配列され、Ｙ方向に沿って所定数Ｎ_２の画素が配列される画像領域として取り扱われる。そして、これらの画像領域については、次の数１で表されるものとする。

ここで、上記の数１におけるｆ(ｎ_１,ｎ_２)は、基準領域Ｗ１に含まれる領域画像（基準領域画像とも言う）を示し、上記の数１におけるｇ(ｎ_１,ｎ_２)は、参照領域Ｗ２に含まれる領域画像（参照領域画像とも言う）を示す。また、Ｎ_１およびＮ_２は、例えば、Ｎ_１＝２Ｍ_１＋１、Ｎ_２＝２Ｍ_２＋１と設定される。

そして、まず、基準領域Ｗ１に含まれる基準領域画像と参照領域Ｗ２に含まれる参照領域画像とに対し、次の数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。

なお、上記の数２の但し書におけるＷの添字Ｐには、Ｎ_１，Ｎ_２が代入され、またｋの添字ｓには、１、２が代入される。なお、（ｋ_１,ｋ_２）は、２次元の空間周波数を示す。

このようなフーリエ変換処理Ｃ１１，Ｃ２１が施された各領域画像に対しては、次の数３で示される演算式を用いて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。

規格化処理Ｃ１２，Ｃ２２が完了すると、次の数４で示される演算式を用いた合成処理Ｃ３が行われる。数４で示されるＷｔ（ｋ_１,ｋ_２）は、重み付け設定部３６７で設定された空間周波数（ｋ_１,ｋ_２）に対応する重み付け係数である。つまり、数４で示される演算式を用いた重み付け処理Ｃ４が行われる。

その後、数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ５が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果（ＰＯＣ値）が出力される。

以上の処理により、基準領域Ｗ１に係る基準領域画像と参照領域Ｗ２に係る参照領域画像との相関を示す演算結果（ＰＯＣ値）が得られ、例えば、図９で示されるような結果（ＰＯＣ値）が得られる。

図９では、Ｘ方向に沿って所定数Ｎ_１の画素が配列され、Ｙ方向に沿って所定数Ｎ_２の画素が配列される矩形の画像領域において相関が高い箇所のＰＯＣ値が大きくなる。そして、参照領域Ｗ２に係る参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する位置が、参照画像Ｇ２において基準点Ｓｐ１に対応した対応点である。

なお、ＰＯＣ値は、離散的に求められる。このため、隣接画素間で補間演算を行い、ピークＪｃの位置が１画素のサイズよりも細かいサブピクセルのサイズで推定されれば、更に細かく対応点の検出が行われ得る。補間演算の手法としては、離散的に求められたＰＯＣ値の分布から放物線の関数が求められる手法等が考えられる。

このようなＰＯＣ演算法を用いた対応点の探索処理により、探索部３６８では、参照画像Ｇ２における対応点の位置、ならびに基準画像Ｇ１における基準点Ｓｐ１の位置と参照画像Ｇ２における対応点の位置とのズレ量（視差とも言う）が検出される。

距離算出部３６９は、探索部３６８による探索結果に基づいて、第１および第２カメラ１，２から被写体のうちの基準点Ｓｐ１で捉えられている部分までの距離を算出する。具体的には、該距離は、基準画像Ｇ１における基準点Ｓｐ１の位置と、参照画像Ｇ２における対応点の位置とのズレ量と、第１および第２カメラ１，２の内部パラメータおよび外部パラメータとに基づいて、三角測量の技術が用いられて算出される。ここで、内部パラメータには、例えば、光学系１１，２１の焦点距離、画像中心、および撮像部１４，２４の傾き等を示すパラメータが含まれる。また、外部パラメータには、例えば、第１カメラ１と第２カメラ２との位置関係および姿勢の関係等を示すパラメータが含まれる。

＜（３）距離測定動作＞
図１０および図１１は、距離測定装置１００における距離測定動作のフローの一例を示すフローチャートである。本フローは、例えば、制御演算部１６、制御部２６、および制御部３６の制御によって実現され得る。

まず、ステップＳ１では、第１カメラ１が被写体に対して合焦する動作（合焦動作とも言う）が行われる。本ステップＳ１では、例えば、図１１で示される動作フローが実行され得る。

図１１で示される動作フローでは、まず、制御演算部１６の制御によって、合焦用レンズ１１ａが初期位置に設定される（ステップＳ１０１）。次に、撮像部１４によって第１画像が取得される（ステップＳ１０２）。次に、ステップＳ１０２で取得された第１画像について評価値算出部１５によって第１〜９画像領域Ａ１〜Ａ９毎の評価値が算出され、それに基づいてＡＦ用評価値が算出される（ステップＳ１０３）。次に、制御演算部１６の制御によって合焦用レンズ１１ａが一方向に所定距離移動する（ステップＳ１０４）。次に、撮像部１４によって第１画像が取得される（ステップＳ１０５）。次に、ステップＳ１０５で取得された第１画像について評価値算出部１５によって第１〜９画像領域Ａ１〜Ａ９毎の評価値が算出され、それに基づいてＡＦ用評価値が算出される（ステップＳ１０６）。

次に、制御演算部１６によって、ステップＳ１０３およびステップＳ１０６で算出されたＡＦ用評価値に基づき、ＡＦ用評価値がピークを越えたか否かが判定される（ステップＳ１０７）。ここでは、ＡＦ用評価値がピークを越えるまで、ステップＳ１０４〜Ｓ１０７の処理が繰り返される。一方、ＡＦ用評価値がピークを越えれば、制御演算部１６によって、該ピークに対応する合焦レンズ位置が算出される。このとき、制御演算部１６から第２カメラ２の制御部２６および情報処理装置３に対して合焦レンズ位置を示す合焦位置情報がそれぞれ伝送される。そして、制御演算部１６の制御によって、合焦用レンズ１１ａが合焦レンズ位置まで移動される（ステップＳ１０９）。これにより、ステップＳ１の合焦動作が完了する。以上が、いわゆる山登り方式のＡＦ調節である。

ステップＳ２では、第２カメラ２の合焦動作が行われる。ここでは、制御部２６の制御によって、合焦用レンズ２１ａが第１カメラ１の合焦位置情報に応じた合焦レンズ位置まで移動される。なお、ステップＳ２は、上述したステップＳ１０９と並行して実行されてもよい。

ステップＳ３では、第１および第２カメラ１，２によって、第１および第２合焦画像Ｇ１，Ｇ２が取得される。

ステップＳ４では、評価値算出部１５によって、ステップＳ３で取得された第１合焦画像Ｇ１の各画像領域Ａ１〜Ａ９について、合焦時の評価値がそれぞれ算出される。

ステップＳ５では、制御演算部１６によって、ピント状態判定処理が行われる。このピント状態判定処理では、例えば、ステップＳ１のステップＳ１０３およびＳ１０６の演算で取得された各ＡＦ用画像の第１〜９画像領域Ａ１〜Ａ９についてそれぞれ算出された評価値に基づいて、第１〜９画像領域Ａ１〜Ａ９のそれぞれが前ピント状態にあるのか後ピント状態にあるのかの判定が実行され得る。

ステップＳ６では、視差変換部３６１によって、視差テーブル３４１に従い、各画像領域Ａ１〜Ａ９についての合焦情報が視差に変換される。

ステップＳ７では、初期視差決定部３６２によって、ステップＳ３で取得された第１合焦画像Ｇ１が基準画像とされ、該基準画像Ｇ１に基準点Ｓｐ１が設定される。

ステップＳ８では、初期視差決定部３６２によって、ステップＳ６で得られた視差に基づいて、ステップＳ７で設定された基準点Ｓｐ１に係る初期視差が決定される。

ステップＳ９では、関数情報特定部３６３によって、関数テーブル３４２から、ステップＳ４で算出された合焦時の評価値に対応するＭＴＦが特定される。

ステップＳ１０では、サイズ設定部３６４によって、ステップＳ９で特定されたＭＴＦに応じて、検索ウインドウのサイズが設定される。

ステップＳ１１では、重み付け設定部３６７によって、ステップＳ９で特定されたＭＴＦに応じて、空間周波数毎に重み付け係数が設定される。

ステップＳ１２では、基準領域設定部３６５によって、ステップＳ７で設定された基準点Ｓｐ１が基準とされ、ステップＳ１０で設定された検索ウインドウのサイズに応じた基準領域Ｗ１が基準画像Ｇ１に設定される。

ステップＳ１３では、参照領域設定部３６６によって、第２合焦画像Ｇ２が参照画像とされ、該参照画像Ｇ２に参照領域Ｗ２が設定される。ここでは、基準画像Ｇ１におけるステップＳ７で設定された基準点Ｓｐ１の位置と、ステップＳ８で決定された初期視差とに基づいて、参照画像Ｇ２に参照点Ｐｐ１が設定される。そして、該参照点Ｐｐ１が基準とされ、ステップＳ１０で設定された検索ウインドウのサイズに応じた参照領域Ｗ２が参照画像Ｇ２に設定される。

ステップＳ１４では、探索部３６８によって、基準画像Ｇ１内の基準点Ｓｐ１に対応する対応点が参照画像Ｇ２において探索される。ここでは、例えば、ステップＳ１１で設定された重み付け係数が用いられたＰＯＣ演算法による対応点の探索が行われる。このステップＳ１４の処理により、参照画像Ｇ２における対応点の位置、ならびに基準画像Ｇ１における基準点Ｓｐ１の位置と参照画像Ｇ２における対応点の位置とのズレ量（視差とも言う）が検出される。

ステップＳ１５では、距離算出部３６９によって、ステップＳ１４における探索結果に基づいて、第１および第２カメラ１，２から被写体のうちの基準点Ｓｐ１で捉えられている部分までの距離が算出される。このとき、この基準点Ｓｐ１に係る距離を示す情報が、記憶部３４に記憶される。

ステップＳ１６では、初期視差決定部３６２によって、基準画像Ｇ１において、第１および第２カメラ１，２から基準点Ｓｐ１で捉えられた被写体までの距離を算出すべき点（被測距点とも言う）が残っているか否かが判定される。ここでは、被測距点が残っていれば、ステップＳ７に戻り、被測距点の残りがなくなるまで、ステップＳ７〜Ｓ１６の処理が繰り返される。そして、被測定点が残っていなければ、本動作フローが終了される。

＜（４）一実施形態のまとめ＞
以上のように、一実施形態に係る対応点探索装置としての情報処理装置３では、第１カメラ１の合焦時における合焦用レンズ１１ａの位置情報（合焦位置情報）に基づいて対応点の探索範囲が決定される。ここでは、ＡＦ調節によって第１カメラ１から被写体までの大凡の距離が分かっていることが利用されて、対応点の探索範囲が絞られる。このため、基準画像Ｇ１と参照画像Ｇ２との間で高精度かつ高速に対応点が探索され得る。そして、距離測定装置１００では、複数の画像の間で高精度かつ高速に対応点が探索され得る結果、第１および第２カメラ１，２から被写体までの距離が高精度かつ高速に算出され得る。

また、第１カメラ１の合焦度合いを示す合焦時の評価値と合焦位置情報とに基づいて対応点の探索範囲が決定されることにより、探索範囲がより適正化され得る。

また、第１カメラ１として、山登り方式のＡＦ調節を行う撮像装置が採用され得る。これにより、汎用のＡＦ調節の機能を有する撮像装置が利用されて、基準画像Ｇ１と参照画像Ｇ２との間で高精度かつ高速に対応点が探索され得る。その結果、情報処理装置３および距離測定装置１００の製造コストの低減ならびに小型化が図られ得る。

また、基準画像Ｇ１の第１〜９画像領域Ａ１〜Ａ９について合焦時の評価値が算出される。そして、第１〜９画像領域Ａ１〜Ａ９のうちの基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域に係る合焦時の評価値およびピント前後情報と、合焦時における合焦用レンズ１１ａの位置情報とに基づいて対応点の探索範囲が決定される。これにより、画一的でなく、基準点が位置する領域毎に探索範囲がより適正に決定され得る。その結果、領域毎に対応点の探索処理の演算に用いられる情報量が確保され、対応点の探索精度の維持が適正に図られ得る。

さらに、対応点の探索処理において、第１カメラ１の合焦情報から特定されるＭＴＦに応じて周波数毎に重み付けが施される。ここでは、合焦情報に基づいて特定されるＭＴＦによって対応点の探索範囲に含まれる周波数成分が大凡分かる。そこで、対応点の探索処理において、ＭＴＦに応じて周波数毎に重み付けが施される。その結果、Ｓ／Ｎ比の改善による対応点の探索精度の向上ならびに演算量の低減による対応点の探索の高速化が図られ得る。つまり、対応点の探索処理におけるロバスト性の向上と高速化とが図られ得る。

＜（５）変形例＞
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。

◎例えば、上記一実施形態では、第１カメラ１に係る合焦情報に、第１カメラ１についての合焦位置情報と、第１〜９画像領域Ａ１〜Ａ９についての合焦時の評価値を示すデータおよびピント前後情報との組合せを示す情報が含まれたが、これに限られない。例えば、第１カメラ１に係る合焦情報に、第１〜９画像領域Ａ１〜Ａ９についての合焦時の評価値およびピント前後情報の少なくとも一方が含まれなくても良い。また、例えば、ＭＴＦに応じた検索ウインドウのサイズの設定、およびＭＴＦに応じた周波数毎の重み付けの少なくとも一方が行われなくても良い。また、例えば、ＰＯＣ演算法を用いた対応点の探索処理の代わりに、ＳＡＤ演算法等の他の演算を用いた対応点の探索処理が行われても良い。

ここで、ＭＴＦに応じた検索ウインドウのサイズの設定、およびＭＴＦに応じた周波数毎の重み付けの双方が行われず、ＳＡＤ演算法を用いた対応点の探索処理が行われる一変形例に係る距離測定装置１００Ａについて説明する。

＜（５−１）一変形例＞
図１２は、一変形例に係る距離測定装置１００Ａの機能的な構成を示すブロック図である。図１２では、第１および第２カメラ１Ａ，２から被写体までの距離を測定する距離測定動作に係る機能的な構成が示されている。

一変形例に係る距離測定装置１００Ａは、上記一実施形態に係る距離測定装置１００のうち、第１カメラ１、記憶部３４に記憶されるプログラムＰＧおよび情報、および制御部３６で実現される機能的な構成が変更されたものである。

具体的には、距離測定装置１００Ａでは、第１カメラ１が、評価値算出部１５および制御演算部１６の代わりに評価値算出部１５Ａおよび制御演算部１６Ａを備える第１カメラ１Ａに置換されている。また、記憶部３４に、プログラムＰＧの代わりにプログラムＰＧＡが記憶され、関数テーブル３４２とサイズ変換式３４３とが記憶されず、視差テーブル３４１の代わりに視差テーブル３４１Ａが記憶されている。また、探索範囲決定部３６０が、視差変換部３６１Ａ、標準視差決定部３６２Ａ、上限視差設定部３７０Ａ、および参照照合範囲設定部３６６Ａを備える探索範囲決定部３６０Ａに変更されている。また、基準領域設定部３６５および探索部３６８が、基準領域設定部３６５Ａおよび探索部３６８Ａに変更されている。

以下、一変形例に係る距離測定装置１００Ａのうち、上記一実施形態に係る距離測定装置１００と異なる部分について主に説明する。

評価値算出部１５Ａは、上記一実施形態に係る評価値算出部１５と比較して、図３で示される第１〜９画像領域Ａ１〜Ａ９からなる画像領域の全体について、被写体に対する第１カメラ１Ａの合焦度合いを示す評価値を算出する点で異なる。

合焦制御部としての制御演算部１６Ａは、上記一実施形態に係る制御演算部１６と同様に、いわゆる山登り方式のＡＦ調節を行う。但し、制御演算部１６Ａは、ピント状態判定処理を行わず、評価値算出部１５Ａから第１〜９画像領域Ａ１〜Ａ９毎の合焦時の評価値を示すデータを受け取らない点で、上記一実施形態に係る制御演算部１６と異なる。このため、制御演算部１６Ａが情報処理装置３に送出する第１カメラ１Ａに係る合焦情報には、第１〜９画像領域Ａ１〜Ａ９についての合焦時の評価値およびピント前後情報が含まれず、合焦位置情報が含まれる。

視差テーブル３４１Ａは、上記一実施形態に係る視差テーブル３４１と同様に、第１カメラ１Ａに係る合焦情報と視差との関係が記述されているテーブルである。但し、視差テーブル３４１Ａの合焦情報は、第１〜９画像領域Ａ１〜Ａ９についての合焦時の評価値およびピント前後情報が含まれず、合焦位置情報が含まれていれば良い点で、上記一実施形態に係る視差テーブル３４１と異なる。なお、視差テーブル３４１Ａは、上記一実施形態に係る視差テーブル３４１と同様に、例えば、第１および第２カメラ１Ａ，２の光学的な設計値を用いた光学シミュレーションまたは実験によって予め求められ得る。

視差変換部３６１Ａは、視差テーブル３４１Ａに従って、第１カメラ１Ａに係る合焦情報としての合焦位置情報を視差に変換する。視差変換部３６１Ａでは、視差テーブル３４１Ａから、第１カメラ１Ａに係る合焦位置情報に対応する視差が認識される。

標準視差決定部３６２Ａは、視差変換部３６１Ａによって得られた視差に基づいて、第１合焦画像Ｇ１と第２合焦画像Ｇ２との間における対応点の検索処理についての標準の視差（標準視差とも言う）を決定する。標準視差決定部３６２Ａでは、例えば、第１合焦画像Ｇ１が基準画像とされ、図１３で示されるように、該基準画像Ｇ１に基準点Ｓｐ１が設定され、視差変換部３６１Ａで認識された視差が、そのまま標準視差として決定されれば良い。

このような構成であれば、上記一実施形態に係る距離測定装置１００のように、第１〜９画像領域Ａ１〜Ａ９毎に合焦時の評価値およびピント前後情報等が得られなくても、標準視差が決定され得る。これにより、汎用のＡＦ調節の機能を有する撮像装置に殆ど別の機能を加えることなく、標準視差が決定され得る。その結果、第１カメラ１Ａおよび距離測定装置１００Ａの製造コストの低減ならびに小型化が図られ得る。

上限視差設定部３７０Ａは、ＳＡＤ演算法を用いた対応点の探索処理における検索ウインドウの走査範囲を規定する視差の上限（上限視差とも言う）を設定する。上限視差は、例えば、標準視差決定部３６２Ａによって設定された標準視差に所定の余地を加えたものであれば良い。所定の余地は、例えば、所定の画素数等の固定の値であっても良いし、標準視差に所定値を乗じることで得られる標準視差に比例して増加する値であっても良い。

基準領域設定部３６５Ａは、基準画像Ｇ１に基準となる探索ウインドウ（基準領域とも言う）Ｗ１Ａを設定する。具体的には、図１３で示されるように、基準点Ｓｐ１が基準とされて該基準点Ｓｐ１を包含する基準領域Ｗ１Ａが設定される。ここで、基準領域Ｗ１Ａは、例えば、Ｘ方向に沿って所定数Ｎ_１の画素が配列され、Ｙ方向に沿って所定数Ｎ_２の画素が配列される画像領域であれば良い。なお、基準領域Ｗ１Ａは、基準点Ｓｐ１によって規定され、例えば、基準点Ｓｐ１を中心として設定されれば良い。

参照照合範囲設定部３６６Ａは、第２合焦画像Ｇ２を参照画像とし、参照画像Ｇ２において、基準領域Ｗ１Ａに含まれる基準領域画像と照合される領域画像の設定範囲を設定する。具体的には、基準領域Ｗ１Ａと同サイズの参照領域Ｗ２Ａのサイズが設定され、参照画像Ｇ２において参照領域Ｗ２Ａを規定する参照点Ｐｐ１が設定される範囲の一端Ｐｓと他端Ｐｅとが設定される。

ここで、参照画像Ｇ２において参照領域Ｗ２Ａが走査される方向は、第１カメラ１Ａの撮像レンズの光軸と第２カメラ２の撮像レンズの光軸とが離隔されている方向に対応する方向であれば良く、例えば、水平方向に対応するＸ方向であれば良い。また、参照画像Ｇ２において参照領域Ｗ２Ａが走査される範囲の一端Ｐｓは、例えば、上限視差に基づいて設定される。具体的には、一端Ｐｓは、例えば、参照画像Ｇ２における一端Ｐｓの位置と、基準画像Ｇ１における基準点Ｓｐ１の位置とのズレ量が、上限視差と一致するように設けられる。また、他端Ｐｅは、例えば、参照画像Ｇ２における他端Ｐｅの位置と、基準画像Ｇ１における基準点Ｓｐ１の位置とが一致する、つまり視差が０（ゼロ）となるように設けられる。

これにより、基準点Ｓｐ１に対応する対応点を参照画像Ｇ２において検索する際に、参照画像Ｇ２において参照領域Ｗ２Ａが設定される範囲が決定される。つまり、参照画像Ｇ２が検索ウインドウである参照領域Ｗ２Ａで走査される範囲が決定される。

このようにして、探索範囲決定部３６０Ａでは、参照画像Ｇ２のうちの探索部３６８Ａによって対応点が探索される探索範囲が、合焦位置情報に基づいて決定される。

探索部３６８Ａは、ＳＡＤ演算法を用いて、基準画像Ｇ１内の基準点Ｓｐ１に対応する対応点を参照画像Ｇ２において探索する。これにより、情報処理装置３が対応点探索装置として働く。探索部３６８Ａでは、探索範囲決定部３６０Ａで決定された探索範囲に基づいて、対応点の探索処理が行われる。

詳細には、探索部３６８Ａでは、一基準点Ｓｐ１が設定されている場合、図１４で示されるように、参照画像Ｇ２において一端Ｐｓから他端Ｐｅにかけて所定画素ずつずらされつつ設定される参照点Ｐｐ１が基準とされて複数の参照領域Ｗ２Ａが順次に設定される。ここで、所定画素は、例えば、１画素であれば良い。そして、基準画像Ｇ１のうちの基準領域Ｗ１Ａに係る領域画像（基準領域画像とも言う）と、参照画像Ｇ２のうちの各参照領域Ｗ２Ａに係る領域画像（参照領域画像とも言う）の相関度がＳＡＤ演算法を用いた相関演算によって算出される。このとき、基準領域Ｗ１Ａに係る基準領域画像に対する相関度が最も高かった参照領域Ｗ２Ａに係る参照領域画像が検出され、該参照領域Ｗ２Ａを規定する参照点Ｐｐ１が基準点Ｓｐ１に対応する対応点として検出される。

ここで、ＳＡＤ演算法を用いた相関演算の具体的手法について説明する。まず、探索部３６８Ａでは、基準領域Ｗ１Ａに係る基準領域画像を構成する各画素の画像データ値（基準画像データ値とも言う）が検出され、参照領域Ｗ２Ａに係る参照領域画像を構成する各画素の画像データ値（参照画像データ値とも言う）が検出される。そして、基準領域画像と参照領域画像との間で、同一位置を占める各画素について、基準画像データ値と参照画像データ値との差の絶対値が算出される。更に、各画素について算出された差の絶対値が全て加算される。このとき、加算後の値が小さければ小さいほど相関度が高く、基準領域画像と参照領域画像とが略同一画像であれば、限りなく０に近づく。

図１５は、距離測定装置１００Ａにおける距離測定動作のフローを示すフローチャートである。本フローは、例えば、制御演算部１６Ａ、制御部２６、および制御部３６の制御によって実現され得る。

まず、第１カメラ１において合焦動作が行われる（ステップＳ２１）。本ステップＳ２１では、例えば、図１１で示される動作フローが実行され得る。このとき、制御演算部１６Ａから第２カメラ２の制御部２６および情報処理装置３に対して合焦レンズ位置を示す合焦位置情報がそれぞれ伝送される。

ステップＳ２２では、第２カメラ２の合焦動作が行われる。ここでは、ステップＳ２１で得られた合焦位置情報に基づいて、制御部２６の制御により合焦用レンズ２１ａが合焦レンズ位置まで移動される。

ステップＳ２３では、第１および第２カメラ１，２によって、第１および第２合焦画像Ｇ１，Ｇ２が取得される。

ステップＳ２４では、視差変換部３６１Ａによって、視差テーブル３４１Ａに従い、ステップＳ２１で得られた合焦情報としての合焦位置情報が視差に変換される。

ステップＳ２５では、標準視差決定部３６２Ａによって、ステップＳ２３で取得された第１合焦画像Ｇ１が基準画像とされ、該基準画像Ｇ１に基準点Ｓｐ１が設定される。

ステップＳ２６では、標準視差決定部３６２Ａによって、ステップＳ２４で得られた視差に基づき、ステップＳ２５で設定された基準点Ｓｐ１に係る標準視差が決定される。

ステップＳ２７では、上限視差設定部３７０Ａによって、ステップＳ２４で得られた視差に基づき、対応点の探索処理における検索ウインドウの走査範囲を規定する上限視差が設定される。

ステップＳ２８では、基準領域設定部３６５Ａによって、ステップＳ２５で設定された基準点Ｓｐ１が基準とされた基準領域Ｗ１Ａが基準画像Ｇ１に設定される。

ステップＳ２９では、参照照合範囲設定部３６６Ａによって、第２合焦画像Ｇ２を参照画像とし、参照画像Ｇ２において、基準領域Ｗ１Ａに含まれる基準領域画像と照合される領域画像の設定範囲が、ステップＳ２７で設定された上限視差と視差が０（ゼロ）の位置とに基づいて設定される。これにより、探索範囲が決定される。

ステップＳ３０では、探索部３６８Ａによって、基準画像Ｇ１内の基準点Ｓｐ１に対応する対応点が参照画像Ｇ２において探索される。ここでは、ステップＳ２９で決定された探索範囲に基づいて、ＳＡＤ演算法による対応点の探索が行われる。このステップＳ３０の処理により、参照画像Ｇ２における対応点の位置、ならびに基準画像Ｇ１における基準点Ｓｐ１の位置と参照画像Ｇ２における対応点の位置とのズレ量（視差とも言う）が検出される。

ステップＳ３１では、距離算出部３６９によって、ステップＳ３０における探索結果に基づいて、第１および第２カメラ１Ａ，２から被写体のうちの基準点Ｓｐ１で捉えられている部分までの距離が算出される。このとき、該基準点Ｓｐ１に係る距離を示す情報が、記憶部３４に記憶される。

ステップＳ３２では、標準視差決定部３６２Ａによって、基準画像Ｇ１において、第１および第２カメラ１Ａ，２から基準点Ｓｐ１で捉えられた被写体までの距離を算出すべき点（被測距点とも言う）が残っているか否かが判定される。ここでは、被測距点が残っていれば、ステップＳ２５に戻り、被測距点の残りがなくなるまで、ステップＳ２５〜Ｓ３２の処理が繰り返される。そして、被測定点が残っていなければ、本動作フローが終了される。

＜（５−２）その他の変形例＞
◎上記一実施形態および一変形例では、合焦用レンズ１１ａが光軸方向に移動可能である可動部としての役割を果たしたが、これに限られない。例えば、合焦用レンズ１１ａの代わりに、撮像部１４が光軸方向に移動可能である可動部としての役割を果たしても良いし、合焦用レンズ１１ａおよび撮像部１４の双方が光軸方向に移動可能である可動部としての役割を果たしても良い。また、合焦用レンズ２１ａの代わりに、撮像部２４が光軸方向に移動可能である可動部としての役割を果たしても良いし、合焦用レンズ２１ａおよび撮像部２４の双方が光軸方向に移動可能である可動部としての役割を果たしても良い。

◎また、上記一実施形態では、視差変換部３６１において、第１〜９画像領域Ａ１〜Ａ９についての合焦時の評価値に係る代表値と合焦位置情報との組合せが視差に変換されても良い。ここで、合焦時の評価値に係る代表値とは、第１〜９画像領域Ａ１〜Ａ９についての合焦時の評価値の平均値であっても良いし、最大値であっても良い。この場合、探索範囲決定部３６０では、各基準点Ｓｐ１にそれぞれ対応する対応点を探索する際における探索範囲が、第１〜９画像領域Ａ１〜Ａ９についての合焦時の評価値に係る代表値と、合焦位置情報とに基づいて決定され得る。

また、合焦時の評価値に係る代表値が、例えば、第１〜９画像領域Ａ１〜Ａ９のうちの基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域についての合焦時の評価値を用いた内挿、外挿、および双一次補間等の演算によって求められても良い。なお、所定の位置関係は、例えば、所定距離以内の位置関係等であれば良い。

このような構成が採用されれば、演算量の低減により、基準画像Ｇ１と参照画像Ｇ２との間で高速に対応点が探索され得る。

◎また、上記一実施形態では、初期視差決定部３６２において、視差変換部３６１で得られた第１〜９画像領域Ａ１〜Ａ９に係る視差の代表値が、基準点Ｓｐ１に係る初期視差として決定されても良い。ここで、視差の代表値とは、第１〜９画像領域Ａ１〜Ａ９に係る視差の平均値であっても良いし、最大値であっても良いし、上位Ｎ個（Ｎは自然数）の平均値であっても良い。

また、初期視差決定部３６２により、基準画像Ｇ１において第１〜９画像領域Ａ１〜Ａ９のうちの基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域について視差変換部３６１で得られた視差の平均値、最大値または最小値が、初期視差とされても良い。また、初期視差が、例えば、第１〜９画像領域Ａ１〜Ａ９のうちの基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域について視差変換部３６１で得られた視差を用いた内挿、外挿、および双一次補間等の演算によって求められても良い。ここで、所定の位置関係は、例えば、所定距離以内の位置関係等であれば良い。

特に、第１〜９画像領域Ａ１〜Ａ９のうちの基準点Ｓｐ１と所定の位置関係を有する１以上の画像領域について視差変換部３６１で得られた視差の最小値が、初期視差とされる場合、次のように探索範囲が決定されていることになる。例えば、第１〜９画像領域Ａ１〜Ａ９のうちのＭ個（Ｍは２以上の整数）の画像領域が基準点Ｓｐ１と所定の位置関係を満たすものとする。この場合、該Ｍ個の画像領域に係る合焦時の評価値と合焦位置情報とに基づいて、基準画像Ｇ１における基準点Ｓｐ１と参照画像Ｇ２における対応点との間におけるＭ個の視差候補が求められる。そして、該Ｍ個の視差候補のうちの最小の視差候補に基づいて、探索範囲が決定される。このような構成が採用されれば、対応点から大きく外れた探索範囲が設定され難くなるため、対応点の探索精度が安定する。

◎また、上記一実施形態では、重み付け設定部３６７において、関数情報特定部３６３で特定された第１〜９画像領域Ａ１〜Ａ９に係るＭＴＦのうち、最も高い空間周波数まで高いコントラストが維持されるＭＴＦに応じて周波数毎に重み付け係数が設定されても良い。更に、第１〜９画像領域Ａ１〜Ａ９のうちの基準点Ｓｐ１と所定の位置関係を有する２以上の画像領域について関数情報特定部３６３で特定されたＭＴＦのうち、最も高い空間周波数まで高いコントラストが維持されるＭＴＦに応じて周波数毎に重み付け係数が設定されても良い。このような構成が採用されれば、Ｓ／Ｎ比の改善と演算に使用する情報量の低減とのバランスが調整され得る。すなわち、Ｓ／Ｎ比の改善による対応点の探索精度の向上と、演算量の低減による対応点の探索の高速化とがより適正化され得る。

◎また、上記一実施形態では、基準画像Ｇ１に９つの第１〜９画像領域Ａ１〜Ａ９が評価値の算出対象として設定されたが、これに限られない。例えば、基準画像Ｇ１における評価値の算出対象としての画像領域は、２以上であれば良い。更に、基準画像Ｇ１における評価値の算出対象としての画像領域は、１つであっても良い。

◎また、上記一実施形態では、視差変換部３６１と初期視差決定部３６２とによって、合焦時の評価値を示すデータ、ピント前後情報、および合焦位置情報に基づき、初期視差が決定された。また、上記一変形例では、視差変換部３６１Ａと標準視差決定部３６２Ａとによって、合焦位置情報に基づき、標準視差が決定された。しかしながら、これに限られない。例えば、合焦時の評価値を示すデータおよび合焦位置情報に基づき、初期視差または標準視差が決定されても良い。この場合、視差テーブル３４１，３４１Ａは、合焦時の評価値および合焦位置情報の組合せと、視差との関係が記述されているテーブルであれば良い。

◎また、上記一実施形態および一変形例では、第１合焦画像Ｇ１が対応点を探索する際の基準となる一方画像としての基準画像とされ、第２合焦画像Ｇ２が対応点を探索する際に参照する他方画像としての参照画像とされたが、これに限られない。例えば、第１合焦画像Ｇ１が対応点を探索する際に参照する他方画像としての参照画像とされ、第２合焦画像Ｇ２が対応点を探索する際の基準となる一方画像としての基準画像とされても良い。この場合、例えば、基準画像Ｇ２に設定される基準点Ｓｐ１が、基準画像Ｇ２のうちの第１〜９画像領域Ａ１〜Ａ９に対応する画像領域に含まれるか、該第１〜９画像領域Ａ１〜Ａ９に対応する画像領域と所定の位置関係を有するか否か等の情報が演算で利用され得る。

◎また、上記一実施形態および一変形例では、第１カメラ１，１ＡにおいてＡＦ調節が行われたが、これに限られない。例えば、第１カメラ１，１Ａにおいて、マニュアル操作によって焦点の調節が行われる合焦動作が実行されても良い。

◎また、上記一実施形態および一変形例では、２つのカメラが設けられたが、これに限られない。例えば、３台目のカメラが追加されても良い。この場合、３台目のカメラで撮像された画像を第２の参照画像とし、基準画像と第２の参照画像とに基づき、上記一実施形態および一変形例と同様に対応点の探索処理が行われても良い。そして、対応点の探索処理によって一基準点Ｓｐ１について求められる２つの視差の平均値に基づいて、３台のカメラから被写体までの距離が算出されても良い。

また、基準画像Ｇ１における基準点Ｓｐ１と参照画像Ｇ２における対応点とのズレ量、および基準画像Ｇ１における基準点Ｓｐ１と第２の参照画像における対応点とのズレ量のうち、初期視差（または標準視差）に近い方のズレ量（視差）が採用されても良い。この場合、採用されたズレ量（視差）に基づいて、３台のカメラから被写体までの距離が算出され得る。ここで、３台目のカメラは、第１カメラ１（１Ａ）と第２カメラ２とが離隔されている方向とは異なる方向に、第１カメラ１（１Ａ）から離隔されて配置されれば、被写体の形状に拘わらず、３台のカメラから被写体までの距離の算出におけるロバスト性が向上し得る。なお、４台目以降のカメラが追加されても良い。すなわち、２台以上のカメラが設けられれば良い。このような構成によれば、複数の画像について高精度かつ高速に対応点が探索され得る。

◎また、上記一実施形態および一変形例では、第１カメラ１（１Ａ）および第２カメラ２の双方において合焦動作が行われたが、これに限られない。例えば、第２カメラ２では、合焦動作が行われずに、焦点が固定である所謂パンフォーカスが採用されても良い。これにより、第１および第２カメラ１（１Ａ），２から被写体までの距離の算出精度が低下するが、構成の簡略化によって、距離測定装置１００，１００Ａの製造コストの低減ならびに小型化が図られ得る。

◎また、上記一実施形態では、対応点の探索処理においてＰＯＣ演算法が用いられたが、これに限られず、例えば、回転不変位相限定相関法（RIPOC：Rotation Invariant POC）が用いられても良い。また、上記一変形例では、対応点の探索処理においてＳＡＤ演算法が用いられたが、これに限られず、例えば、ＳＳＤ（Sum of Squared intensity Difference）演算法および正規化相互相関法等のその他の演算法が用いられても良い。

◎また、上記一実施形態および一変形例では、基準画像Ｇ１と参照画像Ｇ２との一組の画像の間における対応点の探索処理が単純に行われたが、これに限られない。例えば、基準画像Ｇ１と参照画像Ｇ２とについて解像度の異なる複数組の画像が生成されて解像度別に階層構造とされ、低解像度の上位層から高解像度の下位層に向かって各階層の両画像間における相関演算が順次に行われる処理が各基準点Ｓｐ１について実行されても良い。そして、当該処理においては、例えば、最も低解像度の上位層について上記一実施形態および一変形例と同様な対応点の探索処理が行われて得られた視差に基づき、次の階層における探索範囲が設定されるようにすれば良い。

◎また、上記一実施形態および一変形例の距離測定装置１００，１００Ａでは、距離算出部３６９が、対応点探索装置として働く情報処理装置３の内部に配置されていたが、これに限られない。例えば、距離算出部３６９が、対応点探索装置として働く情報処理装置３の外部に配置されていても良い。この場合、距離算出部３６９は、例えば、情報処理装置３とデータ送受信可能に接続される別の情報処理装置において実現されれば良い。

◎また、上記一実施形態および一変形例では、撮像装置の合焦時における可動部からの位置情報に基づいて対応点の探索範囲が決定されるとしたが、それに限られるものではなく、非合焦時の撮像装置からの合焦位置の予測情報に基づいて対応点の探索範囲を決定しても良い。この場合、撮像装置では、いわゆる山登り方式のＡＦ調節ではなく、例えば位相差方式等の合焦位置の予測が可能な方式でのＡＦ調節が行われればよい。

◎なお、上記一実施形態ならびに各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。

１，１Ａ第１カメラ
２第２カメラ
３情報処理装置
１００，１００Ａ距離測定装置
１１，２１光学系
１１ａ，２１ａ合焦用レンズ
１２，２２駆動部
１３，２３位置検出部
１４，２４撮像部
１５，１５Ａ評価値算出部
１６，１６Ａ制御演算部
２６，３６制御部
３４記憶部
３４１，３４１Ａ視差テーブル
３４２関数テーブル
３４３サイズ変換式
３６０，３６０Ａ探索範囲決定部
３６１，３６１Ａ視差変換部
３６２初期視差決定部
３６２Ａ標準視差決定部
３６３関数情報特定部
３６４サイズ設定部
３６５，３６５Ａ基準領域設定部
３６６参照領域設定部
３６６Ａ参照照合範囲設定部
３６７重み付け設定部
３６８，３６８Ａ探索部
３６９距離算出部
３７０Ａ上限視差設定部

Claims

光学系および撮像部のうちの少なくとも一方を含む可動部が移動して被写体に合焦している合焦状態にある第１撮像装置によって該被写体が撮像されて得られる第１画像、前記第１撮像装置とは異なる視点から第２撮像装置によって該被写体が撮像されて得られる第２画像、および前記第１撮像装置が前記合焦状態にある際における前記可動部の位置情報を取得する情報取得部と、
前記第１画像および前記第２画像のうちの一方画像と他方画像とについて、前記一方画像内の基準点に対応する対応点を前記他方画像において探索する探索部と、
前記第１撮像装置が前記合焦状態にある際に前記撮像部によって得られる合焦画像のデータを用いて、該合焦画像内の１以上の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値を算出する評価値算出部と、
前記合焦時の評価値と前記光学系に係る光学伝達関数の情報との関係を示す関係情報から、前記評価値算出部によって算出される前記合焦時の評価値に対応する光学伝達関数の情報を特定する関数情報特定部と、
前記他方画像のうちの前記探索部によって前記対応点が探索される探索範囲を、前記位置情報と前記合焦時の評価値とに基づいて決定する探索範囲決定部と、
を備え、
前記探索部が、
前記一方画像のうちの前記基準点を包含する基準領域に係る周波数成分と、前記他方画像のうちの参照領域に係る周波数成分とに基づき、前記対応点を探索する探索処理を行い、該探索処理において、前記関数情報特定部で特定される前記光学伝達関数の情報に応じて、周波数毎に重み付けを施して演算を行い、
前記探索範囲が、
前記他方画像内の前記参照領域を含むことを特徴とする対応点探索装置。
光学系および撮像部のうちの少なくとも一方を含む可動部が移動して被写体に合焦している合焦状態にある第１撮像装置によって該被写体が撮像されて得られる第１画像、前記第１撮像装置とは異なる視点から第２撮像装置によって該被写体が撮像されて得られる第２画像、および前記第１撮像装置が前記合焦状態にある際における前記可動部の位置情報を取得する情報取得部と、
前記第１画像および前記第２画像のうちの一方画像と他方画像とについて、前記一方画像内の基準点に対応する対応点を前記他方画像において探索する探索部と、
前記第１撮像装置が前記合焦状態にある際に前記撮像部によって得られる合焦画像のデータを用いて、該合焦画像内の１以上の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値を算出する評価値算出部と、
前記合焦時の評価値と前記光学系に係る光学伝達関数の情報との関係を示す関係情報から、前記評価値算出部によって算出される前記合焦時の評価値に対応する光学伝達関数の情報を特定する関数情報特定部と、
前記他方画像のうちの前記探索部によって前記対応点が探索される探索範囲を、前記位置情報と前記合焦時の評価値とに基づいて決定する探索範囲決定部と、
を備え、
前記探索部が、
前記一方画像のうちの前記基準点を包含する基準領域に係る周波数成分と、前記他方画像のうちの参照領域に係る周波数成分とに基づき、前記対応点を探索し、
前記探索範囲が、
前記他方画像のうちの前記参照領域を含み、
前記探索範囲決定部が、
前記関数情報特定部で特定される前記光学伝達関数の情報に応じて前記基準領域および前記参照領域のサイズを決定することを特徴とする対応点探索装置。
請求項１に記載の対応点探索装置であって、
前記評価値算出部が、
前記可動部が複数の位置に順次に配置されている各状態において前記撮像部によってそれぞれ得られる複数の画像のデータを用いて、前記第１撮像装置の前記被写体に対する合焦度合いを示す複数の評価値をそれぞれ算出し、
前記複数の評価値に基づいて前記可動部を移動させることで、前記第１撮像装置を前記合焦状態に設定する合焦制御部、
を更に備えることを特徴とする対応点探索装置。
請求項１または請求項３に記載の対応点探索装置であって、
前記評価値算出部が、
前記合焦画像のデータを用いて、該合焦画像に含まれる複数の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値をそれぞれ算出し、
前記関数情報特定部が、
前記関係情報から、各前記画像領域について前記評価値算出部によって算出される各前記合焦時の評価値にそれぞれ対応する光学伝達関数の情報を特定し、
前記探索部が、
前記探索処理において、前記複数の画像領域のうちの前記基準点と所定の位置関係を有する少なくとも１つの画像領域について前記関数情報特定部で特定される光学伝達関数の情報に応じて、周波数毎に前記重み付けを施すことを特徴とする対応点探索装置。
請求項４に記載の対応点探索装置であって、
前記所定の位置関係が、
前記基準点から所定距離内である位置関係を含み、
前記少なくとも１つの画像領域が、
２以上の画像領域を含み、
前記探索部が、
前記探索処理において、前記２以上の画像領域について前記関数情報特定部によってそれぞれ特定される光学伝達関数の情報のうち、最も高周波まで高いコントラストが維持される光学伝達関数の情報に応じて、周波数毎に重み付けを施すことを特徴とする対応点探索装置。
請求項１または請求項３に記載の対応点探索装置であって、
前記評価値算出部が、
前記合焦画像のデータを用いて、該合焦画像に含まれる複数の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値をそれぞれ算出し、
前記探索範囲決定部が、
前記探索範囲を、前記複数の画像領域のうちの前記基準点と所定の位置関係を有する少なくとも１つの画像領域について前記評価値算出部によって算出される前記合焦時の評価値と、前記位置情報とに基づいて決定することを特徴とする対応点探索装置。
請求項６に記載の対応点探索装置であって、
前記所定の位置関係が、
前記基準点から所定距離内である位置関係を含み、
前記少なくとも１つの画像領域が、
２以上の画像領域を含み、
前記探索範囲決定部が、
前記２以上の画像領域について前記評価値算出部によってそれぞれ算出される各前記合焦時の評価値と前記位置情報とに基づいて、前記一方画像における前記基準点と前記他方画像における前記対応点との間における２以上の視差候補を求め、該２以上の視差候補のうちの最小の視差候補に基づいて、前記探索範囲を決定することを特徴とする対応点探索装置。
請求項１または請求項３に記載の対応点探索装置であって、
前記評価値算出部が、
前記合焦画像のデータを用いて、該合焦画像に含まれる複数の画像領域について、前記第１撮像装置の前記被写体に対する合焦度合いを示す合焦時の評価値をそれぞれ算出し、
前記探索範囲決定部が、
前記探索範囲を、前記複数の画像領域について前記評価値算出部によって算出される複数の前記合焦時の評価値に係る代表値と、前記位置情報とに基づいて決定することを特徴とする対応点探索装置。
請求項１から請求項８の何れか１つの請求項に記載の対応点探索装置であって、
前記第１撮像装置と、
前記第２撮像装置と、
を更に備えることを特徴とする対応点探索装置。
請求項１から請求項９の何れか１つの請求項に記載の対応点探索装置と、
前記対応点探索装置の内部または外部に配置され、前記一方画像における前記基準点の位置と前記他方画像における前記対応点の位置とのずれ量と、前記第１および第２撮像装置の設定に係るパラメータとに基づいて、前記第１および第２撮像装置から前記被写体のうちの前記基準点で捉えられている部分までの距離を算出する距離算出部と、
を備えることを特徴とする距離測定装置。