以下、本発明の一実施形態を図面に基づいて説明する。なお、図面においては同様な構成および機能を有する部分については同じ符号が付されており、下記説明では重複説明が省略される。また、図面は模式的に示されたものであり、各図における各種構造のサイズおよび位置関係等は正確に図示されたものではない。
<(1)距離測定装置の概略構成>
図1は、一実施形態に係る距離測定装置100の概略構成を示す図である。距離測定装置100は、第1カメラ1と第2カメラ2と情報処理装置3とを備えている。
第1カメラ1と第2カメラ2とが、通信回線L12を介してデータ伝送可能に接続されている。また、第1カメラ1が通信回線L1を介して情報処理装置3に対してデータ伝送可能に接続され、第2カメラ2が通信回線L2を介して情報処理装置3に対してデータ伝送可能に接続されている。通信回線L1,L2,L12は、有線回線および無線回線の何れであっても良い。
第1および第2カメラ1,2は、被写体を撮像することで画像をそれぞれ取得する撮像装置である。これらの第1および第2カメラ1,2は、一方向に並んで配置されている。ここで、一方向は、例えば、水平方向であれば良い。一方向が水平方向である場合、第1カメラ1の撮像レンズの光軸と第2カメラ2の撮像レンズの光軸とが水平方向に離隔配置されている。そして、第1カメラ1の撮像レンズの光軸と第2カメラ2の撮像レンズの光軸との離隔距離が、第1および第2カメラ1,2に係る基線長である。
また、第1および第2カメラ1,2は、例えば、カメラの正面に位置する被写体を、同じタイミングで相互に異なる視点から撮像する。第1および第2カメラ1,2によって同じタイミングで撮像される2つの画像は、いわゆるステレオ画像である。つまり、ステレオ画像は、第1カメラ1の撮像によって取得される画像(第1画像とも言う)と、第2カメラ2の撮像によって取得される画像(第2画像とも言う)とを含む。第1画像に係るデータMaと第2画像に係るデータMbは、第1および第2カメラ1,2から通信回線L1,L2を介して情報処理装置3に送信され得る。
情報処理装置3は、例えば、パーソナルコンピュータ(パソコン)であれば良く、操作部31、表示部32、インターフェース(I/F)部33、記憶部34、入出力(I/O)部35、および制御部36を備えている。
操作部31は、例えば、マウスおよびキーボードを含む。表示部32は、例えば、液晶ディスプレイを含む。I/F部33は、例えば、第1および第2カメラ1,2と情報処理装置3との間におけるデータの授受を行う。記憶部34は、例えば、ハードディスク等を含み、プログラムPGおよび各種データを格納する。I/O部35は、例えば、ディスクドライブを備え、光ディスク等の記憶媒体4を受け付けて該記憶媒体4と制御部36との間におけるデータの授受を行う。制御部36は、例えば、プロセッサーとして働くCPU36a、および情報を一時的に記憶するメモリ36b等を含む。なお、制御部36は、記憶部34内のプログラムPGを読み込んで実行することで、各種機能および情報処理等を実現する。
なお、本実施形態では、説明を簡素化するために、第1および第2カメラ1,2の収差が良好に補正されており、且つ第1および第2カメラ1,2は、略平行(好ましくは完全に平行)に設定されている。つまり、第1および第2カメラ1,2の光軸が略平行(好ましくは完全に平行)に設定され、第1および第2画像で捉えられた被写体は、第1および第2画像の外縁に対して略同一の角度関係(好ましくは完全に同一の角度関係)を有する。但し、実際の第1および第2カメラ1,2が、このような条件にない場合は、画像処理によって同等の条件で撮像されたものと同視されるステレオ画像に変換されれば良い。
<(2)距離測定装置の機能的な構成>
図2は、本実施形態に係る距離測定装置100の主要部の機能的な構成を示すブロック図である。図2では、第1および第2カメラ1,2から被写体までの距離を測定する動作(距離測定動作とも言う)に係る機能的な構成が示されている。
<(2−1)第1カメラの機能的な構成>
第1撮像装置としての第1カメラ1は、光学系11、駆動部12、位置検出部13、撮像部14、評価値算出部15、制御演算部16、およびインターフェース(I/F)部17を備えている。
光学系11は、例えば、複数の光学レンズを含む。複数の光学レンズは、ガラスまたはプラスチックス等によって形成された光学部材である。また、複数の光学レンズは、第1カメラ1の本体に対して光学系11の光軸方向に移動可能である可動部としての1以上の光学レンズを含む。そして、可動部としての1以上の光学レンズ(合焦用レンズとも言う)11aが、駆動部12の駆動力によって移動することで、被写体に対して合焦し得る。
駆動部12は、例えば、圧電素子等を用いたアクチュエーターであれば良い。駆動部12は、制御演算部16からの制御信号に応じて駆動力を発生し、合焦用レンズ11aを光軸方向に移動させる。第1カメラ1において自動焦点調節(AF調節とも言う)が行われる際には、駆動部12によって合焦用レンズ11aが合焦用の複数の位置(AF用位置とも言う)に順次に配置される。これにより、第1カメラ1が被写体に合焦する際の合焦用レンズ11aの位置が検出される。複数のAF用位置には、例えば、合焦用レンズ11aの可動範囲のうちの初期位置から一方向に向かって該合焦用レンズ11aが所定距離ずつ移動した位置が含まれる。ここで、初期位置は、例えば、合焦用レンズ11aの可動範囲の一端であれば良く、一方向は、例えば、合焦用レンズ11aの可動範囲の一端から他端に向かう方向であれば良い。
位置検出部13は、例えば、電磁センサー等であれば良い。位置検出部13は、合焦用レンズ11aの可動範囲のうちの該合焦用レンズ11aの光軸方向における位置を検出する。位置検出部13で検出される合焦用レンズ11aの位置を示す情報(位置情報とも言う)は、制御演算部16に送出される。
撮像部14は、例えば、CCD等の撮像素子を含む。該撮像部14は、光学系11を介して被写体からの光を受光し、該被写体を撮像することで、該被写体を捉えている第1画像を取得する。
具体的には、撮像部14は、第1カメラ1においてAF調節が行われる際、駆動部12によって合焦用レンズ11aが複数のAF用位置に順次に配置されている各状態において、該被写体を撮像して、複数のAF調整用の画像(AF用画像とも言う)を取得する。また、撮像部14は、第1カメラ1が該被写体に合焦している状態(合焦状態とも言う)において該被写体を撮像することで、該被写体を捉えている画像(第1合焦画像とも言う)を取得する。なお、撮像部14で取得されたAF用画像および第1合焦画像を含む第1画像のデータは、評価値算出部15および制御演算部16に送出される。
評価値算出部15は、例えば、専用の電子回路で構成されても良いし、ソフトウェアがプロセッサーで実行されることで機能的に実現されても良い。評価値算出部15は、第1画像のデータを用いて、第1カメラ1が被写体に合焦している度合い(合焦度合いとも言う)を示す評価値を算出する。該評価値は、例えば、コントラストを示す値(コントラスト値とも言う)であれば良い。コントラスト値は、例えば、ハイパスフィルタ、検波回路、および積分回路として機能するデジタルフィルタによって第1画像のデータの高周波成分が抽出され、該高周波成分の信号の正負の成分が同一方向に揃えられて積分されることで算出され得る。
そして、評価値算出部15では、例えば、図3で示されるように、第1画像G1に含まれる所定数の複数の領域についてそれぞれ評価値が算出される。ここでは、所定数が9に設定され、第1画像G1の中央付近の第1〜9画像領域A1〜A9について評価値がそれぞれ算出されるものとする。
具体的には、AF調節が行われる際、評価値算出部15は、各AF用画像のデータに基づいて、各画像領域A1〜A9についての評価値をそれぞれ算出する。このとき、例えば、評価値算出部15は、各AF用画像のデータに対し、第1〜9画像領域A1〜A9についての複数の評価値から所定ルールでAF調節用の評価値(AF用評価値とも言う)をそれぞれ算出する。ここで、所定ルールは、例えば、第1〜9画像領域A1〜A9についての複数の評価値の平均値を算出するルールであれば良い。また、評価値算出部15は、第1合焦画像のデータを用いて、第1合焦画像に含まれる各画像領域A1〜A9について、評価値(合焦時の評価値とも言う)をそれぞれ算出する。
制御演算部16は、例えば、専用の電子回路で構成されても良いし、ソフトウェアがプロセッサーで実行されることで機能的に実現されても良い。合焦制御部としての制御演算部16は、いわゆる山登り方式のAF調節を行う。具体的には、AF調節が行われる際、制御演算部16は、評価値算出部15で算出された複数のAF用評価値に基づいて、合焦用レンズ11aを移動させることで、第1カメラ1を合焦状態に設定する。
詳細には、制御演算部16は、位置検出部13から合焦用レンズ11aの位置情報を取得しつつ、合焦用レンズ11aを移動させることで、合焦用レンズ11aを複数のAF用位置まで順次に移動させる。このとき、制御演算部16は、合焦用レンズ11aが各AF用位置まで移動された際に、評価値算出部15からAF用評価値を取得することで、位置情報毎にAF用評価値を取得する。ここで、制御演算部16では、例えば、各AF用評価値がコントラスト値であれば、該コントラスト値のピークに対応する合焦用レンズ11aの位置(合焦レンズ位置とも言う)が算出される。そして、制御演算部16の制御によって、合焦用レンズ11aが合焦レンズ位置に移動させられることで、第1カメラ1が合焦状態に設定され得る。
さらに、制御演算部16は、第1カメラ1が合焦状態に設定されている際に、第1〜9画像領域A1〜A9毎のそれぞれが前ピント状態にあるのか、後ピント状態にあるのかを判定する処理(ピント状態判定処理とも言う)を行う。ここで、前ピント状態とは、第1カメラ1の焦点が被写体よりも近景にある状態を言い、後ピント状態とは、第1カメラ1の焦点が被写体よりも遠景にある状態を言う。制御演算部16では、例えば、AF調節が行われる際に、各AF用位置に合焦用レンズ11aが配置されている各状態において取得されたAF用画像の第1〜9画像領域A1〜A9についてそれぞれ算出された評価値に基づき、第1カメラ1が合焦状態にある時の第1〜9画像領域A1〜A9のそれぞれのピント状態判定処理が行われる。
また、制御演算部16は、評価値算出部15から第1〜9画像領域A1〜A9に係る合焦時の評価値を示すデータを受け取り、撮像部14から第1合焦画像のデータを受け取る。そして、制御演算部16は、第1〜9画像領域A1〜A9に係る合焦時の評価値を示すデータ、ピント状態判定処理の判定結果を示す情報(ピント前後情報とも言う)、および第1合焦画像のデータをI/F部17を介して情報処理装置3に送出する。また、制御演算部16は、合焦レンズ位置の情報(合焦位置情報とも言う)を、I/F部17を介して第2カメラ2および情報処理装置3に送出する。
<(2−2)第2カメラの機能的な構成>
第2撮像装置としての第2カメラ2は、光学系21、駆動部22、位置検出部23、撮像部24、制御部26、およびインターフェース(I/F)部27を備えている。
光学系21は、例えば、光学系11と同様な構成を有する。具体的には、光学系21では、可動部としての1以上の光学レンズ(合焦用レンズ)21aが、駆動部22の駆動力によって移動することで、被写体に対して合焦し得る。
駆動部22は、例えば、駆動部12と同様に、圧電素子等を用いたアクチュエーターであれば良い。駆動部22は、制御部26からの制御信号に応じて駆動力を発生し、合焦用レンズ21aを光軸方向に移動させる。
位置検出部23は、例えば、位置検出部13と同様に、電磁センサー等であれば良い。位置検出部23は、合焦用レンズ21aの可動範囲のうちの該合焦用レンズ21aの光軸方向における位置を検出する。位置検出部23で検出される合焦用レンズ21aの位置を示す情報(位置情報)は、制御部26に送出される。
撮像部24は、撮像部14と同様に、例えば、CCD等の撮像素子を含む。該撮像部24は、光学系21を介して被写体からの光を受光し、該被写体を撮像することで、該被写体を捉えている第2画像を取得する。具体的には、撮像部24は、第2カメラ2が該被写体に合焦している合焦状態において、該被写体を撮像することで、該被写体を捉えている画像(第2合焦画像とも言う)を取得する。なお、撮像部24で取得された第2合焦画像のデータは、制御部26に送出される。
制御部26は、例えば、専用の電子回路で構成されても良いし、ソフトウェアがプロセッサーで実行されることで機能的に実現されても良い。制御部26は、I/F部27を介して第1カメラ1から合焦位置情報を取得する。そして、制御部26は、位置検出部23から得られる位置情報を参照しつつ、駆動部22を制御して、合焦用レンズ21aを、第1カメラ1の合焦位置情報に応じた合焦レンズ位置まで移動させる。これにより、第2カメラ2が合焦状態に設定され得る。
また、制御部26は、撮像部24から第2合焦画像のデータを受け取る。そして、制御部26は、第2合焦画像のデータをI/F部27を介して情報処理装置3に送出する。
<(2−3)情報処理装置の機能的な構成>
上述したように、情報処理装置3は、I/F部33、記憶部34、および制御部36を備えている。
図2で示されるように、I/F部33は、第1および第2カメラ1,2から情報を取得する部分(情報取得部とも言う)として働く。例えば、I/F部33は、第1合焦画像のデータ、第1〜9画像領域A1〜A9に係る合焦時の評価値を示すデータ、およびピント前後情報と、合焦位置情報とを第1カメラ1から取得し、第2合焦画像のデータを第2カメラ2から取得する。そして、I/F部33は、第1および第2合焦画像のデータ、第1カメラ1から入力される第1〜9画像領域A1〜A9に係る合焦時の評価値を示すデータ、ピント前後情報、および合焦位置情報を制御部36に送出する。
記憶部34は、例えば、視差テーブル341、関数テーブル342、およびサイズ変換式343を格納している。
視差テーブル341は、第1カメラ1の合焦に係る合焦情報と、視差との関係が記述されているテーブルである。ここで、合焦情報は、例えば、第1カメラ1についての合焦位置情報と、第1〜9画像領域A1〜A9についての合焦時の評価値を示すデータおよびピント前後情報との組合せを示す情報であれば良い。また、視差は、第1合焦画像と第2合焦画像との間において、被写体の同じ部分を捉えた位置のズレ量に対応する。
視差テーブル341は、例えば、第1および第2カメラ1,2の光学的な設計値を用いた光学シミュレーションによって予め求められ得る。該視差テーブル341は、例えば、実験によっても予め求められ得る。該実験では、例えば、第1および第2カメラ1,2と被写体との位置関係が既知である場合に、合焦情報が実際に得られることで、視差テーブル341の情報が求められ得る。
関数テーブル342は、空間伝達関数に含まれるMTF(Modulation Transfer Function)を示すテーブルである。該MTFは、レンズ性能を評価する指標のひとつであり、レンズの結像性能を知るために、被写体の持つコントラストをどの程度忠実に再現できるかを空間周波数特性として表現したもので、図4に例示するように、横軸に空間周波数をとり、縦軸にコントラストをとって表す。一般的に、低周波(図4のグラフの左側)のコントラストが高いほどヌケの良いレンズであり、高周波(図4のグラフの右側)のコントラストが高いほど高解像なレンズといえる。
また、関数テーブル342には、合焦時の評価値毎に、MTFを示す情報が記述されている。つまり、関数テーブル342には、合焦時の評価値と光学系11,21に係る光学伝達関数の情報としてのMTFとの関係を示す情報(関係情報とも言う)が記述されている。そして、関数テーブル342は、例えば、第1および第2カメラ1,2の光学的な設計値を用いた光学シミュレーションによって予め求められ得る。
サイズ変換式343は、MTFのカットオフ周波数を、対応点の探索範囲を規定するウインドウ(探索ウインドウとも言う)のサイズに変換するための式である。ここで、MTFのカットオフ周波数は、図4で示されるようなMTFにおいて、空間周波数が高くなるにつれてコントラストが減少し、所定のコントラストを下回る空間周波数のことを言う。例えば、カットオフ周波数がfとされ、所定の定数がkとされ、正方形の探索ウインドウの一辺の長さがLとされると、サイズ変換式343は、L=(k/f)を示す。
なお、カットオフ周波数の単位は、(1/画素)である。また、コントラストの最大値(最大コントラスト値とも言う)が1であれば、所定のコントラストは、例えば、最大コントラスト値に所定数を乗じた値であれば良い。所定値は、例えば、0.5、0.6,0.8の何れであっても良い。なお、サイズ変換式343は、MTFのカットオフ周波数と、探索ウインドウのサイズとが関連付けられた情報が記述されているテーブルであっても良い。
制御部36は、機能的な構成として、視差変換部361、初期視差決定部362、関数情報特定部363、サイズ設定部364、基準領域設定部365、参照領域設定部366、重み付け設定部367、探索部368、および距離算出部369を備えている。
視差変換部361は、視差テーブル341に従って、合焦情報を視差に変換する。視差変換部361では、視差テーブル341から、第1カメラ1から得た合焦情報に対応する視差が認識される。
初期視差決定部362は、各画像領域A1〜A9について、視差変換部361によって認識された視差に基づいて、第1合焦画像G1と第2合焦画像G2との間についての対応点の検索処理における視差の初期値(初期視差とも言う)を決定する。
具体的には、まず、第1合焦画像G1が対応点を探索する際の基準となる一方画像(基準画像とも言う)とされ、図5で示されるように、該基準画像G1に対応点を探索する際の基準となる画素(基準点とも言う)Sp1が設定される。なお、基準点Sp1として、例えば、基準画像G1の左上の画素が最初に設定され、基準画像G1に含まれる全画素が順次に設定される態様が考えられる。
次に、基準点Sp1が、基準画像G1における第1〜9画像領域A1〜A9に含まれる場合、第1〜9画像領域A1〜A9のうちの基準点Sp1が含まれる画像領域について視差変換部361で得られた視差が基準点Sp1に係る初期視差として決定される。つまり、第1カメラ1の合焦位置だけでなく、第1〜9画像領域A1〜A9の各々についてのピント前後情報も加味して初期視差が決定される。なお、基準点Sp1が、第1〜9画像領域A1〜A9の境界近傍に位置する場合、例えば、第1〜9画像領域A1〜A9のうちの該境界に接する複数の画像領域について視差変換部361で得られた視差の最小値または最大値が、初期視差として決定されても良い。一方、基準点Sp1が、第1〜9画像領域A1〜A9に含まれていない場合、例えば、第1〜9画像領域A1〜A9のうちの基準点Sp1から最も近い画像領域について視差変換部361で得られた視差が、基準点Sp1に係る初期視差として決定される。
関数情報特定部363は、関数テーブル342から、合焦時の評価値に対応する光学伝達関数の情報としてのMTFを特定する。ここでは、例えば、第1〜9画像領域A1〜A9に係る合焦時の評価値から求まる評価値の代表値に対応するMTF(代表MTFとも言う)が特定される。ここで、評価値の代表値は、例えば、第1〜9画像領域A1〜A9に係る合焦時の評価値についての平均値であっても良いし、上位N個の平均値であっても良い。また、関数情報特定部363は、例えば、各第n画像領域An(nは1〜9の整数)について、合焦時の評価値に対応する第nのMTFを特定しても良い。
サイズ設定部364は、関数情報特定部363で特定されたMTFに応じて、探索ウインドウのサイズを設定する。探索ウインドウには、基準領域設定部365で設定される基準領域と、参照領域設定部366で設定される参照領域とが含まれる。サイズ設定部364では、例えば、代表MTFのカットオフ周波数とサイズ変換式343とに基づいて探索ウインドウのサイズが設定され得る。これにより、MTFに応じて不足し得る情報量が、MTFに応じた探索ウインドウのサイズの設定によって確保され、対応点の探索精度の維持が図られ得る。
なお、サイズ設定部364では、上述した第nのMTFのカットオフ周波数とサイズ変換式343とに基づいて、各画像領域Anについて探索ウインドウのサイズが設定されても良い。例えば、基準点Sp1が第n画像領域Anに含まれる場合、該第n画像領域Anについて特定された第nのMTFのカットオフ周波数とサイズ変換式343とに基づいて、第n画像領域Anについての探索ウインドウのサイズが設定され得る。また、例えば、基準点Sp1が第1〜9画像領域A1〜A9の境界近傍に位置する場合、第1〜9画像領域A1〜A9のうちの該境界に接する複数の画像領域について特定されたMTFのカットオフ周波数とサイズ変換式343とに基づいて、探索ウインドウのサイズが設定され得る。この場合、例えば、該境界に接する複数の画像領域について特定されたMTFのカットオフ周波数のうちの最小値または最大値とサイズ変換式343とに基づいて、探索ウインドウのサイズが設定され得る。また、例えば、基準点Sp1が、第1〜9画像領域A1〜A9に含まれていない場合、第1〜9画像領域A1〜A9のうちの基準点Sp1から最も近い第n画像領域Anについて特定されたMTFのカットオフ周波数とサイズ変換式343とに基づいて、探索ウインドウのサイズが設定され得る。
基準領域設定部365は、基準画像G1に基準となる探索ウインドウ(基準領域とも言う)を設定する。具体的には、図6で示されるように、基準点Sp1が基準とされて該基準点Sp1を包含する基準領域W1が設定される。ここで、基準領域W1のサイズは、サイズ設定部364で設定されたものであれば良い。また、基準領域W1は、例えば、基準点Sp1を中心として設定されれば良い。この場合、基準点Sp1によって基準領域W1が規定される。
参照領域設定部366は、第2合焦画像G2を対応点の探索時に参照する他方画像(参照画像とも言う)とし、該参照画像G2に参照の対象を規定する探索ウインドウ(参照領域とも言う)を設定する。具体的には、図7で示されるように、参照画像G2に対応点の探索時において参照の基準となる画素(参照点とも言う)Pp1が設定される。そして、図7で示されるように、参照点Pp1が基準とされて該参照点Pp1を包含する参照領域W2が設定される。
ここで、参照画像G2における参照点Pp1の位置と、基準画像G1における基準点Sp1の位置とのズレ量は、初期視差決定部362によって決定された初期視差に基づいて設定される。例えば、該ズレ量と初期視差とが一致すれば良い。また、参照領域W2のサイズは、基準領域W1のサイズと同様にサイズ設定部364で設定されたものであれば良い。更に、参照領域W2は、例えば、参照点Pp1を中心として設定されれば良い。この場合、参照点Pp1によって参照領域W2が規定される。
そして、参照領域W2は、探索部368によって基準点Sp1に対応する対応点が参照画像G2において探索される範囲(探索範囲とも言う)となる。このため、該探索範囲が、視差変換部361、初期視差決定部362、サイズ設定部364、および参照領域設定部366によって、合焦情報に基づいて決定される。すなわち、視差変換部361、初期視差決定部362、サイズ設定部364、および参照領域設定部366が、探索範囲を決定する部分(探索範囲決定部とも言う)360として働く。また、初期視差決定部362により、各基準点Sp1の対応点を検索する際の探索範囲が、第1〜9画像領域A1〜A9のうちの各基準点Sp1と所定の位置関係を有する1以上の画像領域に係る合焦時の評価値と合焦位置情報とに基づいて決定され得る。ここで、所定の位置関係は、例えば、第1〜9画像領域A1〜A9のうちの基準点Sp1から最も近い位置関係であれば良い。
重み付け設定部367は、関数情報特定部363で特定されたMTFに応じて、空間周波数毎に重み付け係数を設定する。ここでは、例えば、第1〜9画像領域A1〜A9のうちの各基準点Sp1と所定の位置関係を有する1以上の画像領域について特定されたMTFに応じて、空間周波数毎に重み付け係数が設定されれば良い。ここで、所定の位置関係は、例えば、第1〜9画像領域A1〜A9のうちの基準点Sp1が含まれる位置関係か、または最も近い位置関係であれば良い。そして、ここでは、例えば、MTFにおける各空間周波数のコントラストが、それぞれ対応する空間周波数の重み付け係数として設定され得る。
探索部368は、基準画像G1内の基準点Sp1に対応する対応点を参照画像G2において探索する。探索部368では、位相限定相関(POC)演算法が用いられて、基準領域W1に含まれる領域画像に係る周波数成分と、参照領域W2に係る周波数成分とに基づいて、基準点Sp1に対応する対応点が探索される。これにより、情報処理装置3が対応点探索装置として働く。なお、探索部368では、対応点の探索処理において、重み付け設定部367によって設定された周波数毎の重み付け係数により、周波数毎に重み付けが施される。
この重み付けにより、対応点の探索処理において、MTFにおいてコントラストが低くなる空間周波数に係る演算が探索結果に及ぼす影響が小さくなる。その結果、S/N比の改善による対応点の探索精度の向上ならびに演算量の低減による対応点の探索の高速化が図られ得る。また、第1〜9画像領域A1〜A9のうちの各基準点Sp1と所定の位置関係を有する1以上の画像領域について特定されたMTFに応じて、空間周波数毎に重み付け係数が設定されれば、基準点Sp1が位置する領域毎に、対応点の探索処理がより適正化される。すなわち、画一的でなく、基準点Sp1が位置する領域毎に、S/N比の改善による対応点の探索精度の向上ならびに演算量の低減による対応点の探索の高速化が図られ得る。
ここで、探索部368におけるPOC演算法が用いられた対応点の探索処理について説明する。この対応点の探索処理では、画像パターンの周波数分解信号のうち、振幅成分を抑制した位相成分の信号を用いて、画像間における相関度(類似度)を示す数値を求める相関演算が行われる。
図8は、POC演算法を用いた対応点の探索処理を説明するための図である。
ここでは、基準領域W1および参照領域W2は、それぞれX方向に沿って所定数N1の画素が配列され、Y方向に沿って所定数N2の画素が配列される画像領域として取り扱われる。そして、これらの画像領域については、次の数1で表されるものとする。
ここで、上記の数1におけるf(n1,n2)は、基準領域W1に含まれる領域画像(基準領域画像とも言う)を示し、上記の数1におけるg(n1,n2)は、参照領域W2に含まれる領域画像(参照領域画像とも言う)を示す。また、N1およびN2は、例えば、N1=2M1+1、N2=2M2+1と設定される。
そして、まず、基準領域W1に含まれる基準領域画像と参照領域W2に含まれる参照領域画像とに対し、次の数2で示される演算式を用いた2次元のフーリエ変換処理C11,C21が行われる。
なお、上記の数2の但し書におけるWの添字Pには、N1,N2が代入され、またkの添字sには、1、2が代入される。なお、(k1,k2)は、2次元の空間周波数を示す。
このようなフーリエ変換処理C11,C21が施された各領域画像に対しては、次の数3で示される演算式を用いて、画像の振幅成分を除去するための規格化処理C12,C22が行われる。
規格化処理C12,C22が完了すると、次の数4で示される演算式を用いた合成処理C3が行われる。数4で示されるWt(k1,k2)は、重み付け設定部367で設定された空間周波数(k1,k2)に対応する重み付け係数である。つまり、数4で示される演算式を用いた重み付け処理C4が行われる。
その後、数5で示される演算式を用いた2次元の逆フーリエ変換処理C5が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果(POC値)が出力される。
以上の処理により、基準領域W1に係る基準領域画像と参照領域W2に係る参照領域画像との相関を示す演算結果(POC値)が得られ、例えば、図9で示されるような結果(POC値)が得られる。
図9では、X方向に沿って所定数N1の画素が配列され、Y方向に沿って所定数N2の画素が配列される矩形の画像領域において相関が高い箇所のPOC値が大きくなる。そして、参照領域W2に係る参照領域画像内のうち、POC値のピークJcに対応する位置が、参照画像G2において基準点Sp1に対応した対応点である。
なお、POC値は、離散的に求められる。このため、隣接画素間で補間演算を行い、ピークJcの位置が1画素のサイズよりも細かいサブピクセルのサイズで推定されれば、更に細かく対応点の検出が行われ得る。補間演算の手法としては、離散的に求められたPOC値の分布から放物線の関数が求められる手法等が考えられる。
このようなPOC演算法を用いた対応点の探索処理により、探索部368では、参照画像G2における対応点の位置、ならびに基準画像G1における基準点Sp1の位置と参照画像G2における対応点の位置とのズレ量(視差とも言う)が検出される。
距離算出部369は、探索部368による探索結果に基づいて、第1および第2カメラ1,2から被写体のうちの基準点Sp1で捉えられている部分までの距離を算出する。具体的には、該距離は、基準画像G1における基準点Sp1の位置と、参照画像G2における対応点の位置とのズレ量と、第1および第2カメラ1,2の内部パラメータおよび外部パラメータとに基づいて、三角測量の技術が用いられて算出される。ここで、内部パラメータには、例えば、光学系11,21の焦点距離、画像中心、および撮像部14,24の傾き等を示すパラメータが含まれる。また、外部パラメータには、例えば、第1カメラ1と第2カメラ2との位置関係および姿勢の関係等を示すパラメータが含まれる。
<(3)距離測定動作>
図10および図11は、距離測定装置100における距離測定動作のフローの一例を示すフローチャートである。本フローは、例えば、制御演算部16、制御部26、および制御部36の制御によって実現され得る。
まず、ステップS1では、第1カメラ1が被写体に対して合焦する動作(合焦動作とも言う)が行われる。本ステップS1では、例えば、図11で示される動作フローが実行され得る。
図11で示される動作フローでは、まず、制御演算部16の制御によって、合焦用レンズ11aが初期位置に設定される(ステップS101)。次に、撮像部14によって第1画像が取得される(ステップS102)。次に、ステップS102で取得された第1画像について評価値算出部15によって第1〜9画像領域A1〜A9毎の評価値が算出され、それに基づいてAF用評価値が算出される(ステップS103)。次に、制御演算部16の制御によって合焦用レンズ11aが一方向に所定距離移動する(ステップS104)。次に、撮像部14によって第1画像が取得される(ステップS105)。次に、ステップS105で取得された第1画像について評価値算出部15によって第1〜9画像領域A1〜A9毎の評価値が算出され、それに基づいてAF用評価値が算出される(ステップS106)。
次に、制御演算部16によって、ステップS103およびステップS106で算出されたAF用評価値に基づき、AF用評価値がピークを越えたか否かが判定される(ステップS107)。ここでは、AF用評価値がピークを越えるまで、ステップS104〜S107の処理が繰り返される。一方、AF用評価値がピークを越えれば、制御演算部16によって、該ピークに対応する合焦レンズ位置が算出される。このとき、制御演算部16から第2カメラ2の制御部26および情報処理装置3に対して合焦レンズ位置を示す合焦位置情報がそれぞれ伝送される。そして、制御演算部16の制御によって、合焦用レンズ11aが合焦レンズ位置まで移動される(ステップS109)。これにより、ステップS1の合焦動作が完了する。以上が、いわゆる山登り方式のAF調節である。
ステップS2では、第2カメラ2の合焦動作が行われる。ここでは、制御部26の制御によって、合焦用レンズ21aが第1カメラ1の合焦位置情報に応じた合焦レンズ位置まで移動される。なお、ステップS2は、上述したステップS109と並行して実行されてもよい。
ステップS3では、第1および第2カメラ1,2によって、第1および第2合焦画像G1,G2が取得される。
ステップS4では、評価値算出部15によって、ステップS3で取得された第1合焦画像G1の各画像領域A1〜A9について、合焦時の評価値がそれぞれ算出される。
ステップS5では、制御演算部16によって、ピント状態判定処理が行われる。このピント状態判定処理では、例えば、ステップS1のステップS103およびS106の演算で取得された各AF用画像の第1〜9画像領域A1〜A9についてそれぞれ算出された評価値に基づいて、第1〜9画像領域A1〜A9のそれぞれが前ピント状態にあるのか後ピント状態にあるのかの判定が実行され得る。
ステップS6では、視差変換部361によって、視差テーブル341に従い、各画像領域A1〜A9についての合焦情報が視差に変換される。
ステップS7では、初期視差決定部362によって、ステップS3で取得された第1合焦画像G1が基準画像とされ、該基準画像G1に基準点Sp1が設定される。
ステップS8では、初期視差決定部362によって、ステップS6で得られた視差に基づいて、ステップS7で設定された基準点Sp1に係る初期視差が決定される。
ステップS9では、関数情報特定部363によって、関数テーブル342から、ステップS4で算出された合焦時の評価値に対応するMTFが特定される。
ステップS10では、サイズ設定部364によって、ステップS9で特定されたMTFに応じて、検索ウインドウのサイズが設定される。
ステップS11では、重み付け設定部367によって、ステップS9で特定されたMTFに応じて、空間周波数毎に重み付け係数が設定される。
ステップS12では、基準領域設定部365によって、ステップS7で設定された基準点Sp1が基準とされ、ステップS10で設定された検索ウインドウのサイズに応じた基準領域W1が基準画像G1に設定される。
ステップS13では、参照領域設定部366によって、第2合焦画像G2が参照画像とされ、該参照画像G2に参照領域W2が設定される。ここでは、基準画像G1におけるステップS7で設定された基準点Sp1の位置と、ステップS8で決定された初期視差とに基づいて、参照画像G2に参照点Pp1が設定される。そして、該参照点Pp1が基準とされ、ステップS10で設定された検索ウインドウのサイズに応じた参照領域W2が参照画像G2に設定される。
ステップS14では、探索部368によって、基準画像G1内の基準点Sp1に対応する対応点が参照画像G2において探索される。ここでは、例えば、ステップS11で設定された重み付け係数が用いられたPOC演算法による対応点の探索が行われる。このステップS14の処理により、参照画像G2における対応点の位置、ならびに基準画像G1における基準点Sp1の位置と参照画像G2における対応点の位置とのズレ量(視差とも言う)が検出される。
ステップS15では、距離算出部369によって、ステップS14における探索結果に基づいて、第1および第2カメラ1,2から被写体のうちの基準点Sp1で捉えられている部分までの距離が算出される。このとき、この基準点Sp1に係る距離を示す情報が、記憶部34に記憶される。
ステップS16では、初期視差決定部362によって、基準画像G1において、第1および第2カメラ1,2から基準点Sp1で捉えられた被写体までの距離を算出すべき点(被測距点とも言う)が残っているか否かが判定される。ここでは、被測距点が残っていれば、ステップS7に戻り、被測距点の残りがなくなるまで、ステップS7〜S16の処理が繰り返される。そして、被測定点が残っていなければ、本動作フローが終了される。
<(4)一実施形態のまとめ>
以上のように、一実施形態に係る対応点探索装置としての情報処理装置3では、第1カメラ1の合焦時における合焦用レンズ11aの位置情報(合焦位置情報)に基づいて対応点の探索範囲が決定される。ここでは、AF調節によって第1カメラ1から被写体までの大凡の距離が分かっていることが利用されて、対応点の探索範囲が絞られる。このため、基準画像G1と参照画像G2との間で高精度かつ高速に対応点が探索され得る。そして、距離測定装置100では、複数の画像の間で高精度かつ高速に対応点が探索され得る結果、第1および第2カメラ1,2から被写体までの距離が高精度かつ高速に算出され得る。
また、第1カメラ1の合焦度合いを示す合焦時の評価値と合焦位置情報とに基づいて対応点の探索範囲が決定されることにより、探索範囲がより適正化され得る。
また、第1カメラ1として、山登り方式のAF調節を行う撮像装置が採用され得る。これにより、汎用のAF調節の機能を有する撮像装置が利用されて、基準画像G1と参照画像G2との間で高精度かつ高速に対応点が探索され得る。その結果、情報処理装置3および距離測定装置100の製造コストの低減ならびに小型化が図られ得る。
また、基準画像G1の第1〜9画像領域A1〜A9について合焦時の評価値が算出される。そして、第1〜9画像領域A1〜A9のうちの基準点Sp1と所定の位置関係を有する1以上の画像領域に係る合焦時の評価値およびピント前後情報と、合焦時における合焦用レンズ11aの位置情報とに基づいて対応点の探索範囲が決定される。これにより、画一的でなく、基準点が位置する領域毎に探索範囲がより適正に決定され得る。その結果、領域毎に対応点の探索処理の演算に用いられる情報量が確保され、対応点の探索精度の維持が適正に図られ得る。
さらに、対応点の探索処理において、第1カメラ1の合焦情報から特定されるMTFに応じて周波数毎に重み付けが施される。ここでは、合焦情報に基づいて特定されるMTFによって対応点の探索範囲に含まれる周波数成分が大凡分かる。そこで、対応点の探索処理において、MTFに応じて周波数毎に重み付けが施される。その結果、S/N比の改善による対応点の探索精度の向上ならびに演算量の低減による対応点の探索の高速化が図られ得る。つまり、対応点の探索処理におけるロバスト性の向上と高速化とが図られ得る。
<(5)変形例>
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
◎例えば、上記一実施形態では、第1カメラ1に係る合焦情報に、第1カメラ1についての合焦位置情報と、第1〜9画像領域A1〜A9についての合焦時の評価値を示すデータおよびピント前後情報との組合せを示す情報が含まれたが、これに限られない。例えば、第1カメラ1に係る合焦情報に、第1〜9画像領域A1〜A9についての合焦時の評価値およびピント前後情報の少なくとも一方が含まれなくても良い。また、例えば、MTFに応じた検索ウインドウのサイズの設定、およびMTFに応じた周波数毎の重み付けの少なくとも一方が行われなくても良い。また、例えば、POC演算法を用いた対応点の探索処理の代わりに、SAD演算法等の他の演算を用いた対応点の探索処理が行われても良い。
ここで、MTFに応じた検索ウインドウのサイズの設定、およびMTFに応じた周波数毎の重み付けの双方が行われず、SAD演算法を用いた対応点の探索処理が行われる一変形例に係る距離測定装置100Aについて説明する。
<(5−1)一変形例>
図12は、一変形例に係る距離測定装置100Aの機能的な構成を示すブロック図である。図12では、第1および第2カメラ1A,2から被写体までの距離を測定する距離測定動作に係る機能的な構成が示されている。
一変形例に係る距離測定装置100Aは、上記一実施形態に係る距離測定装置100のうち、第1カメラ1、記憶部34に記憶されるプログラムPGおよび情報、および制御部36で実現される機能的な構成が変更されたものである。
具体的には、距離測定装置100Aでは、第1カメラ1が、評価値算出部15および制御演算部16の代わりに評価値算出部15Aおよび制御演算部16Aを備える第1カメラ1Aに置換されている。また、記憶部34に、プログラムPGの代わりにプログラムPGAが記憶され、関数テーブル342とサイズ変換式343とが記憶されず、視差テーブル341の代わりに視差テーブル341Aが記憶されている。また、探索範囲決定部360が、視差変換部361A、標準視差決定部362A、上限視差設定部370A、および参照照合範囲設定部366Aを備える探索範囲決定部360Aに変更されている。また、基準領域設定部365および探索部368が、基準領域設定部365Aおよび探索部368Aに変更されている。
以下、一変形例に係る距離測定装置100Aのうち、上記一実施形態に係る距離測定装置100と異なる部分について主に説明する。
評価値算出部15Aは、上記一実施形態に係る評価値算出部15と比較して、図3で示される第1〜9画像領域A1〜A9からなる画像領域の全体について、被写体に対する第1カメラ1Aの合焦度合いを示す評価値を算出する点で異なる。
合焦制御部としての制御演算部16Aは、上記一実施形態に係る制御演算部16と同様に、いわゆる山登り方式のAF調節を行う。但し、制御演算部16Aは、ピント状態判定処理を行わず、評価値算出部15Aから第1〜9画像領域A1〜A9毎の合焦時の評価値を示すデータを受け取らない点で、上記一実施形態に係る制御演算部16と異なる。このため、制御演算部16Aが情報処理装置3に送出する第1カメラ1Aに係る合焦情報には、第1〜9画像領域A1〜A9についての合焦時の評価値およびピント前後情報が含まれず、合焦位置情報が含まれる。
視差テーブル341Aは、上記一実施形態に係る視差テーブル341と同様に、第1カメラ1Aに係る合焦情報と視差との関係が記述されているテーブルである。但し、視差テーブル341Aの合焦情報は、第1〜9画像領域A1〜A9についての合焦時の評価値およびピント前後情報が含まれず、合焦位置情報が含まれていれば良い点で、上記一実施形態に係る視差テーブル341と異なる。なお、視差テーブル341Aは、上記一実施形態に係る視差テーブル341と同様に、例えば、第1および第2カメラ1A,2の光学的な設計値を用いた光学シミュレーションまたは実験によって予め求められ得る。
視差変換部361Aは、視差テーブル341Aに従って、第1カメラ1Aに係る合焦情報としての合焦位置情報を視差に変換する。視差変換部361Aでは、視差テーブル341Aから、第1カメラ1Aに係る合焦位置情報に対応する視差が認識される。
標準視差決定部362Aは、視差変換部361Aによって得られた視差に基づいて、第1合焦画像G1と第2合焦画像G2との間における対応点の検索処理についての標準の視差(標準視差とも言う)を決定する。標準視差決定部362Aでは、例えば、第1合焦画像G1が基準画像とされ、図13で示されるように、該基準画像G1に基準点Sp1が設定され、視差変換部361Aで認識された視差が、そのまま標準視差として決定されれば良い。
このような構成であれば、上記一実施形態に係る距離測定装置100のように、第1〜9画像領域A1〜A9毎に合焦時の評価値およびピント前後情報等が得られなくても、標準視差が決定され得る。これにより、汎用のAF調節の機能を有する撮像装置に殆ど別の機能を加えることなく、標準視差が決定され得る。その結果、第1カメラ1Aおよび距離測定装置100Aの製造コストの低減ならびに小型化が図られ得る。
上限視差設定部370Aは、SAD演算法を用いた対応点の探索処理における検索ウインドウの走査範囲を規定する視差の上限(上限視差とも言う)を設定する。上限視差は、例えば、標準視差決定部362Aによって設定された標準視差に所定の余地を加えたものであれば良い。所定の余地は、例えば、所定の画素数等の固定の値であっても良いし、標準視差に所定値を乗じることで得られる標準視差に比例して増加する値であっても良い。
基準領域設定部365Aは、基準画像G1に基準となる探索ウインドウ(基準領域とも言う)W1Aを設定する。具体的には、図13で示されるように、基準点Sp1が基準とされて該基準点Sp1を包含する基準領域W1Aが設定される。ここで、基準領域W1Aは、例えば、X方向に沿って所定数N1の画素が配列され、Y方向に沿って所定数N2の画素が配列される画像領域であれば良い。なお、基準領域W1Aは、基準点Sp1によって規定され、例えば、基準点Sp1を中心として設定されれば良い。
参照照合範囲設定部366Aは、第2合焦画像G2を参照画像とし、参照画像G2において、基準領域W1Aに含まれる基準領域画像と照合される領域画像の設定範囲を設定する。具体的には、基準領域W1Aと同サイズの参照領域W2Aのサイズが設定され、参照画像G2において参照領域W2Aを規定する参照点Pp1が設定される範囲の一端Psと他端Peとが設定される。
ここで、参照画像G2において参照領域W2Aが走査される方向は、第1カメラ1Aの撮像レンズの光軸と第2カメラ2の撮像レンズの光軸とが離隔されている方向に対応する方向であれば良く、例えば、水平方向に対応するX方向であれば良い。また、参照画像G2において参照領域W2Aが走査される範囲の一端Psは、例えば、上限視差に基づいて設定される。具体的には、一端Psは、例えば、参照画像G2における一端Psの位置と、基準画像G1における基準点Sp1の位置とのズレ量が、上限視差と一致するように設けられる。また、他端Peは、例えば、参照画像G2における他端Peの位置と、基準画像G1における基準点Sp1の位置とが一致する、つまり視差が0(ゼロ)となるように設けられる。
これにより、基準点Sp1に対応する対応点を参照画像G2において検索する際に、参照画像G2において参照領域W2Aが設定される範囲が決定される。つまり、参照画像G2が検索ウインドウである参照領域W2Aで走査される範囲が決定される。
このようにして、探索範囲決定部360Aでは、参照画像G2のうちの探索部368Aによって対応点が探索される探索範囲が、合焦位置情報に基づいて決定される。
探索部368Aは、SAD演算法を用いて、基準画像G1内の基準点Sp1に対応する対応点を参照画像G2において探索する。これにより、情報処理装置3が対応点探索装置として働く。探索部368Aでは、探索範囲決定部360Aで決定された探索範囲に基づいて、対応点の探索処理が行われる。
詳細には、探索部368Aでは、一基準点Sp1が設定されている場合、図14で示されるように、参照画像G2において一端Psから他端Peにかけて所定画素ずつずらされつつ設定される参照点Pp1が基準とされて複数の参照領域W2Aが順次に設定される。ここで、所定画素は、例えば、1画素であれば良い。そして、基準画像G1のうちの基準領域W1Aに係る領域画像(基準領域画像とも言う)と、参照画像G2のうちの各参照領域W2Aに係る領域画像(参照領域画像とも言う)の相関度がSAD演算法を用いた相関演算によって算出される。このとき、基準領域W1Aに係る基準領域画像に対する相関度が最も高かった参照領域W2Aに係る参照領域画像が検出され、該参照領域W2Aを規定する参照点Pp1が基準点Sp1に対応する対応点として検出される。
ここで、SAD演算法を用いた相関演算の具体的手法について説明する。まず、探索部368Aでは、基準領域W1Aに係る基準領域画像を構成する各画素の画像データ値(基準画像データ値とも言う)が検出され、参照領域W2Aに係る参照領域画像を構成する各画素の画像データ値(参照画像データ値とも言う)が検出される。そして、基準領域画像と参照領域画像との間で、同一位置を占める各画素について、基準画像データ値と参照画像データ値との差の絶対値が算出される。更に、各画素について算出された差の絶対値が全て加算される。このとき、加算後の値が小さければ小さいほど相関度が高く、基準領域画像と参照領域画像とが略同一画像であれば、限りなく0に近づく。
図15は、距離測定装置100Aにおける距離測定動作のフローを示すフローチャートである。本フローは、例えば、制御演算部16A、制御部26、および制御部36の制御によって実現され得る。
まず、第1カメラ1において合焦動作が行われる(ステップS21)。本ステップS21では、例えば、図11で示される動作フローが実行され得る。このとき、制御演算部16Aから第2カメラ2の制御部26および情報処理装置3に対して合焦レンズ位置を示す合焦位置情報がそれぞれ伝送される。
ステップS22では、第2カメラ2の合焦動作が行われる。ここでは、ステップS21で得られた合焦位置情報に基づいて、制御部26の制御により合焦用レンズ21aが合焦レンズ位置まで移動される。
ステップS23では、第1および第2カメラ1,2によって、第1および第2合焦画像G1,G2が取得される。
ステップS24では、視差変換部361Aによって、視差テーブル341Aに従い、ステップS21で得られた合焦情報としての合焦位置情報が視差に変換される。
ステップS25では、標準視差決定部362Aによって、ステップS23で取得された第1合焦画像G1が基準画像とされ、該基準画像G1に基準点Sp1が設定される。
ステップS26では、標準視差決定部362Aによって、ステップS24で得られた視差に基づき、ステップS25で設定された基準点Sp1に係る標準視差が決定される。
ステップS27では、上限視差設定部370Aによって、ステップS24で得られた視差に基づき、対応点の探索処理における検索ウインドウの走査範囲を規定する上限視差が設定される。
ステップS28では、基準領域設定部365Aによって、ステップS25で設定された基準点Sp1が基準とされた基準領域W1Aが基準画像G1に設定される。
ステップS29では、参照照合範囲設定部366Aによって、第2合焦画像G2を参照画像とし、参照画像G2において、基準領域W1Aに含まれる基準領域画像と照合される領域画像の設定範囲が、ステップS27で設定された上限視差と視差が0(ゼロ)の位置とに基づいて設定される。これにより、探索範囲が決定される。
ステップS30では、探索部368Aによって、基準画像G1内の基準点Sp1に対応する対応点が参照画像G2において探索される。ここでは、ステップS29で決定された探索範囲に基づいて、SAD演算法による対応点の探索が行われる。このステップS30の処理により、参照画像G2における対応点の位置、ならびに基準画像G1における基準点Sp1の位置と参照画像G2における対応点の位置とのズレ量(視差とも言う)が検出される。
ステップS31では、距離算出部369によって、ステップS30における探索結果に基づいて、第1および第2カメラ1A,2から被写体のうちの基準点Sp1で捉えられている部分までの距離が算出される。このとき、該基準点Sp1に係る距離を示す情報が、記憶部34に記憶される。
ステップS32では、標準視差決定部362Aによって、基準画像G1において、第1および第2カメラ1A,2から基準点Sp1で捉えられた被写体までの距離を算出すべき点(被測距点とも言う)が残っているか否かが判定される。ここでは、被測距点が残っていれば、ステップS25に戻り、被測距点の残りがなくなるまで、ステップS25〜S32の処理が繰り返される。そして、被測定点が残っていなければ、本動作フローが終了される。
<(5−2)その他の変形例>
◎上記一実施形態および一変形例では、合焦用レンズ11aが光軸方向に移動可能である可動部としての役割を果たしたが、これに限られない。例えば、合焦用レンズ11aの代わりに、撮像部14が光軸方向に移動可能である可動部としての役割を果たしても良いし、合焦用レンズ11aおよび撮像部14の双方が光軸方向に移動可能である可動部としての役割を果たしても良い。また、合焦用レンズ21aの代わりに、撮像部24が光軸方向に移動可能である可動部としての役割を果たしても良いし、合焦用レンズ21aおよび撮像部24の双方が光軸方向に移動可能である可動部としての役割を果たしても良い。
◎また、上記一実施形態では、視差変換部361において、第1〜9画像領域A1〜A9についての合焦時の評価値に係る代表値と合焦位置情報との組合せが視差に変換されても良い。ここで、合焦時の評価値に係る代表値とは、第1〜9画像領域A1〜A9についての合焦時の評価値の平均値であっても良いし、最大値であっても良い。この場合、探索範囲決定部360では、各基準点Sp1にそれぞれ対応する対応点を探索する際における探索範囲が、第1〜9画像領域A1〜A9についての合焦時の評価値に係る代表値と、合焦位置情報とに基づいて決定され得る。
また、合焦時の評価値に係る代表値が、例えば、第1〜9画像領域A1〜A9のうちの基準点Sp1と所定の位置関係を有する1以上の画像領域についての合焦時の評価値を用いた内挿、外挿、および双一次補間等の演算によって求められても良い。なお、所定の位置関係は、例えば、所定距離以内の位置関係等であれば良い。
このような構成が採用されれば、演算量の低減により、基準画像G1と参照画像G2との間で高速に対応点が探索され得る。
◎また、上記一実施形態では、初期視差決定部362において、視差変換部361で得られた第1〜9画像領域A1〜A9に係る視差の代表値が、基準点Sp1に係る初期視差として決定されても良い。ここで、視差の代表値とは、第1〜9画像領域A1〜A9に係る視差の平均値であっても良いし、最大値であっても良いし、上位N個(Nは自然数)の平均値であっても良い。
また、初期視差決定部362により、基準画像G1において第1〜9画像領域A1〜A9のうちの基準点Sp1と所定の位置関係を有する1以上の画像領域について視差変換部361で得られた視差の平均値、最大値または最小値が、初期視差とされても良い。また、初期視差が、例えば、第1〜9画像領域A1〜A9のうちの基準点Sp1と所定の位置関係を有する1以上の画像領域について視差変換部361で得られた視差を用いた内挿、外挿、および双一次補間等の演算によって求められても良い。ここで、所定の位置関係は、例えば、所定距離以内の位置関係等であれば良い。
特に、第1〜9画像領域A1〜A9のうちの基準点Sp1と所定の位置関係を有する1以上の画像領域について視差変換部361で得られた視差の最小値が、初期視差とされる場合、次のように探索範囲が決定されていることになる。例えば、第1〜9画像領域A1〜A9のうちのM個(Mは2以上の整数)の画像領域が基準点Sp1と所定の位置関係を満たすものとする。この場合、該M個の画像領域に係る合焦時の評価値と合焦位置情報とに基づいて、基準画像G1における基準点Sp1と参照画像G2における対応点との間におけるM個の視差候補が求められる。そして、該M個の視差候補のうちの最小の視差候補に基づいて、探索範囲が決定される。このような構成が採用されれば、対応点から大きく外れた探索範囲が設定され難くなるため、対応点の探索精度が安定する。
◎また、上記一実施形態では、重み付け設定部367において、関数情報特定部363で特定された第1〜9画像領域A1〜A9に係るMTFのうち、最も高い空間周波数まで高いコントラストが維持されるMTFに応じて周波数毎に重み付け係数が設定されても良い。更に、第1〜9画像領域A1〜A9のうちの基準点Sp1と所定の位置関係を有する2以上の画像領域について関数情報特定部363で特定されたMTFのうち、最も高い空間周波数まで高いコントラストが維持されるMTFに応じて周波数毎に重み付け係数が設定されても良い。このような構成が採用されれば、S/N比の改善と演算に使用する情報量の低減とのバランスが調整され得る。すなわち、S/N比の改善による対応点の探索精度の向上と、演算量の低減による対応点の探索の高速化とがより適正化され得る。
◎また、上記一実施形態では、基準画像G1に9つの第1〜9画像領域A1〜A9が評価値の算出対象として設定されたが、これに限られない。例えば、基準画像G1における評価値の算出対象としての画像領域は、2以上であれば良い。更に、基準画像G1における評価値の算出対象としての画像領域は、1つであっても良い。
◎また、上記一実施形態では、視差変換部361と初期視差決定部362とによって、合焦時の評価値を示すデータ、ピント前後情報、および合焦位置情報に基づき、初期視差が決定された。また、上記一変形例では、視差変換部361Aと標準視差決定部362Aとによって、合焦位置情報に基づき、標準視差が決定された。しかしながら、これに限られない。例えば、合焦時の評価値を示すデータおよび合焦位置情報に基づき、初期視差または標準視差が決定されても良い。この場合、視差テーブル341,341Aは、合焦時の評価値および合焦位置情報の組合せと、視差との関係が記述されているテーブルであれば良い。
◎また、上記一実施形態および一変形例では、第1合焦画像G1が対応点を探索する際の基準となる一方画像としての基準画像とされ、第2合焦画像G2が対応点を探索する際に参照する他方画像としての参照画像とされたが、これに限られない。例えば、第1合焦画像G1が対応点を探索する際に参照する他方画像としての参照画像とされ、第2合焦画像G2が対応点を探索する際の基準となる一方画像としての基準画像とされても良い。この場合、例えば、基準画像G2に設定される基準点Sp1が、基準画像G2のうちの第1〜9画像領域A1〜A9に対応する画像領域に含まれるか、該第1〜9画像領域A1〜A9に対応する画像領域と所定の位置関係を有するか否か等の情報が演算で利用され得る。
◎また、上記一実施形態および一変形例では、第1カメラ1,1AにおいてAF調節が行われたが、これに限られない。例えば、第1カメラ1,1Aにおいて、マニュアル操作によって焦点の調節が行われる合焦動作が実行されても良い。
◎また、上記一実施形態および一変形例では、2つのカメラが設けられたが、これに限られない。例えば、3台目のカメラが追加されても良い。この場合、3台目のカメラで撮像された画像を第2の参照画像とし、基準画像と第2の参照画像とに基づき、上記一実施形態および一変形例と同様に対応点の探索処理が行われても良い。そして、対応点の探索処理によって一基準点Sp1について求められる2つの視差の平均値に基づいて、3台のカメラから被写体までの距離が算出されても良い。
また、基準画像G1における基準点Sp1と参照画像G2における対応点とのズレ量、および基準画像G1における基準点Sp1と第2の参照画像における対応点とのズレ量のうち、初期視差(または標準視差)に近い方のズレ量(視差)が採用されても良い。この場合、採用されたズレ量(視差)に基づいて、3台のカメラから被写体までの距離が算出され得る。ここで、3台目のカメラは、第1カメラ1(1A)と第2カメラ2とが離隔されている方向とは異なる方向に、第1カメラ1(1A)から離隔されて配置されれば、被写体の形状に拘わらず、3台のカメラから被写体までの距離の算出におけるロバスト性が向上し得る。なお、4台目以降のカメラが追加されても良い。すなわち、2台以上のカメラが設けられれば良い。このような構成によれば、複数の画像について高精度かつ高速に対応点が探索され得る。
◎また、上記一実施形態および一変形例では、第1カメラ1(1A)および第2カメラ2の双方において合焦動作が行われたが、これに限られない。例えば、第2カメラ2では、合焦動作が行われずに、焦点が固定である所謂パンフォーカスが採用されても良い。これにより、第1および第2カメラ1(1A),2から被写体までの距離の算出精度が低下するが、構成の簡略化によって、距離測定装置100,100Aの製造コストの低減ならびに小型化が図られ得る。
◎また、上記一実施形態では、対応点の探索処理においてPOC演算法が用いられたが、これに限られず、例えば、回転不変位相限定相関法(RIPOC:Rotation Invariant POC)が用いられても良い。また、上記一変形例では、対応点の探索処理においてSAD演算法が用いられたが、これに限られず、例えば、SSD(Sum of Squared intensity Difference)演算法および正規化相互相関法等のその他の演算法が用いられても良い。
◎また、上記一実施形態および一変形例では、基準画像G1と参照画像G2との一組の画像の間における対応点の探索処理が単純に行われたが、これに限られない。例えば、基準画像G1と参照画像G2とについて解像度の異なる複数組の画像が生成されて解像度別に階層構造とされ、低解像度の上位層から高解像度の下位層に向かって各階層の両画像間における相関演算が順次に行われる処理が各基準点Sp1について実行されても良い。そして、当該処理においては、例えば、最も低解像度の上位層について上記一実施形態および一変形例と同様な対応点の探索処理が行われて得られた視差に基づき、次の階層における探索範囲が設定されるようにすれば良い。
◎また、上記一実施形態および一変形例の距離測定装置100,100Aでは、距離算出部369が、対応点探索装置として働く情報処理装置3の内部に配置されていたが、これに限られない。例えば、距離算出部369が、対応点探索装置として働く情報処理装置3の外部に配置されていても良い。この場合、距離算出部369は、例えば、情報処理装置3とデータ送受信可能に接続される別の情報処理装置において実現されれば良い。
◎また、上記一実施形態および一変形例では、撮像装置の合焦時における可動部からの位置情報に基づいて対応点の探索範囲が決定されるとしたが、それに限られるものではなく、非合焦時の撮像装置からの合焦位置の予測情報に基づいて対応点の探索範囲を決定しても良い。この場合、撮像装置では、いわゆる山登り方式のAF調節ではなく、例えば位相差方式等の合焦位置の予測が可能な方式でのAF調節が行われればよい。
◎なお、上記一実施形態ならびに各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。