JP6641470B2 - ステレオカメラ及びステレオカメラの制御方法 - Google Patents

Description

本発明はステレオカメラ及びステレオカメラの制御方法に関し、特にステレオ画像である広角画像とステレオ画像である望遠画像とを同時に撮像することができる技術に関する。

従来、複数（４台）のカメラを搭載した複数のカメラシステム用雲台装置が提案されている（特許文献１）。

特許文献１に記載の複数のカメラシステム用雲台装置は、２台の複眼カメラユニットを搭載し、各複眼カメラユニットをパン方向及びチルト方向に制御可能とする２台の第１の雲台手段（子雲台）と、２台の第１の雲台手段（２台の複眼カメラユニット）を搭載し、２台の複眼カメラユニットをパン方向又はチルト方向に制御可能とする第２の雲台手段（親雲台）と、から成り、２台の複眼カメラユニットを第２の雲台上において離間して搭載している。

各複眼カメラユニットは、広角レンズカメラとズームカメラとを含み、広角レンズカメラの光軸とズームカメラの光軸は、デフォルトで同じ方向を向いている。

ズームレンズカメラは、広角レンズカメラと同じ光軸方向を向いているため、広角レンズの画角内において被写体の詳細をズームアップし、詳細な望遠画像を撮像することができる。更に、複数のカメラシステム用雲台装置は、捕捉された被写体に向けて第２の雲台手段を制御することにより、装置を被写体に正対させることができ、装置が被写体を捕捉し、正対した時点で装置と被写体との間の距離を三角測量法により測定できるようにしている。

一方、光軸が一致する広角光学系及び望遠光学系を有する単一の撮像部により広角画像と望遠画像とを同時に取得し、かつ追尾対象の物体を望遠画像において確実に捉えることができる自動追尾撮像装置が提案されている（特許文献２）。

特許文献２に記載の自動追尾撮像装置は、共通する光軸上に配置された広角光学系である中央光学系と、望遠光学系である環状光学系からなる撮影光学系と、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、パンチルト機構と、指向性センサから取得した広角画像及び望遠画像のうちの少なくとも広角画像に基づいて追尾対象の物体を検出する物体検出部と、物体検出部により検出された物体の画像中における位置情報に基づいてパンチルト機構を制御するパンチルト制御部とから構成されている。

特許文献２に記載の自動追尾撮像装置は、光軸が一致する広角光学系と望遠光学系とを有する単一の撮像部により広角画像と望遠画像とを同時に取得することができるため、装置の小型化、低コスト化を図ることができ、また、広角光学系と望遠光学系の光軸が一致しているため、少なくとも広角画像に基づいて追尾対象の物体を検出し、検出された物体の画像中における位置情報に基づいてパンチルト機構を制御することにより、物体を望遠画像内に入れること（自動追尾すること）ができ、また、物体が高速で移動しても広角画像により物体を捉えることができるため、トラッキング逸脱が発生することがない。

特開２０１１−１０９６３０号公報 特開２０１５−１５４３８６号公報

特許文献１に記載の複数のカメラシステム用雲台装置は、２台の複眼カメラユニット（２台の広角レンズカメラと２台のズームカメラ）を搭載しているため、ステレオ画像である２つの広角画像とステレオ画像である２つの望遠画像とを同時に撮像することができるが、各複眼カメラユニットは、広角レンズカメラとズームカメラとを含むため、大型化するという問題がある。

また、複眼カメラユニットを構成する広角レンズカメラの光軸とズームカメラの光軸は、同じ方向を向いているが、両者の光軸は平行であって、一致していない。したがって、広角レンズカメラが被写体（主要被写体）を光軸上において捕捉しているときに、ズームカメラをズームアップして主要被写体の詳細を撮像する場合、主要被写体は、ズームアップされた望遠画像の中心（ズームカメラの光軸）からずれた位置に撮像され、また、ズームカメラのズーム倍率が高倍率の場合には、ズームカメラの画角から主要被写体が外れ、ズームカメラにより主要被写体を捉えることができなくなるという問題がある。

一方、特許文献２に記載の自動追尾撮像装置は、光軸が一致する広角光学系と望遠光学系とを有する単一の撮像部により広角画像と望遠画像とを同時に取得することができるため、広角画像の中心において追尾対象の物体を捕捉するようにパンチルト機構を制御すると、望遠画像の中心において追尾対象の物体を捕捉することができるが、主要被写体の距離情報等を取得することができず、また、主要被写体の距離情報に基づいてズームカメラを主要被写体に合焦させる自動焦点調節方法を適用することができない。

本発明はこのような事情に鑑みてなされたもので、ステレオ画像である２つの広角画像とステレオ画像である２つの望遠画像とを同時に取得することができ、特に２つの望遠画像を取得する際に２つの望遠光学系の光軸上において主要被写体を確実に捕捉することができるステレオカメラ及びステレオカメラの制御方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係るステレオカメラは、それぞれ光軸が一致し、かつ異なる領域に配置された広角光学系と望遠光学系とを有する第１の撮影光学系と、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を有する第１の指向性センサとを含む第１の撮像部と、第１の撮影光学系と同一構成の第２の撮影光学系と、第１の指向性センサと同一構成の第２の指向性センサとを含む第２の撮像部であって、第１の撮像部に対して基線長だけ離間して配置された第２の撮像部と、第１の指向性センサ及び第２の指向性センサから第１の広角画像及び第２の広角画像と、第１の望遠画像及び第２の望遠画像とを取得する画像取得部と、第１の撮像部及び第２の撮像部をそれぞれ水平方向及び垂直方向に回動させるパンチルト機構と、画像取得部により取得した第１の広角画像及び第２の広角画像に基づいてパンチルト機構を制御し、第１の撮影光学系及び第２の撮影光学系のそれぞれの光軸上で主要被写体を捕捉させるパンチルト制御部と、画像取得部により取得した第１の望遠画像及び第２の望遠画像に基づいて少なくとも主要被写体の距離情報を算出する距離情報算出部と、を備える。

本発明の一の態様によれば、互いに基線長だけ離間して配置された第１の撮像部と第２の撮像部とは、パンチルト機構によりそれぞれ水平方向及び垂直方向に回動することができ、また、第１の撮像部は、それぞれ光軸が一致し、かつ異なる領域に配置された広角光学系と望遠光学系とを有する第１の撮影光学系と、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を有する第１の指向性センサとを含み、第２の撮像部は、第１の撮像部と同様に第２の撮影光学系と第２の指向性センサを含んで構成されている。

そして、第１の撮像部及び第２の撮像部からステレオ画像である第１の広角画像と第２の広角画像、及びステレオ画像である第１の望遠画像と第２の望遠画像を同時に取得することができ、特に第１の撮影光学系を構成する広角光学系と望遠光学系とは光軸が一致し、同様に第２の撮影光学系を構成する広角光学系と望遠光学系とは光軸が一致しているため、第１の広角画像及び第２の広角画像に基づいて第１の撮影光学系及び第２の撮影光学系のそれぞれの光軸上（光軸が交差するクロスポイント）で主要被写体を捕捉するようにパンチルト機構を制御することにより、第１の望遠画像及び第２の望遠画像の中心位置（光軸に対応する位置）に主要被写体を位置させることができる。尚、第１の広角画像及び第２の広角画像に基づいてパンチルト機構を制御するため、主要被写体を見失うことなく確実に捕捉することができる。

また、第１の望遠画像及び第２の望遠画像は、ステレオ画像として撮像されるため、主要被写体の距離情報を算出することができるが、第１の望遠画像及び第２の望遠画像は、第１の広角画像及び第２の広角画像に比べて空間分解能が高いため、精度の高い距離情報を算出することができる。

本発明の他の態様に係るステレオカメラにおいて、距離情報算出部は、第１の望遠画像及び第２の望遠画像に基づいてそれぞれ特徴量が一致する２つの対応点を検出する対応点検出部を備え、対応点検出部により検出した２つの対応点の第１の指向性センサ及び第２の指向性センサにおける視差量と、基線長と、第１の撮影光学系及び第２の撮影光学系のそれぞれの光軸方向と、望遠光学系の焦点距離とに基づいて対応点の距離を算出することが好ましい。

これにより、第１の撮像光学系及び第２の撮像光学系のそれぞれの光軸上の主要被写体の距離情報だけでなく、第１の望遠画像及び第２の望遠画像から対応点が検出された被写体の距離情報も算出することができる。

本発明の更に他の態様に係るステレオカメラにおいて、第１の撮影光学系及び第２の撮影光学系は、それぞれ円形の中央光学系からなる広角光学系と、中央光学系に対して同心円状に配設された環状光学系からなる望遠光学系とにより構成されることが好ましい。円形の中央光学系からなる広角光学系と、中央光学系に対して同心円状に配設された環状光学系からなる望遠光学系とにより撮像される２つの画像間には視差が発生せず、また、それぞれ回転対称の形状であるため、撮影光学系として好ましい。

本発明の更に他の態様に係るステレオカメラにおいて、第１の指向性センサ及び第２の指向性センサは、それぞれ瞳分割手段として機能するマイクロレンズアレイ又は遮光マスクを有するものとすることができる。

本発明の更に他の態様に係るステレオカメラにおいて、第１の撮影光学系及び第２の撮影光学系のそれぞれの望遠光学系の焦点調節を行う第１の焦点調節部を有することが好ましい。望遠光学系は、広角光学系に比べて被写界深度が浅く、ボケやすいため、焦点調節を行うことが好ましい。

本発明の更に他の態様に係るステレオカメラにおいて、第１の焦点調節部は、画像取得部により取得した第１の広角画像及び第２の広角画像にそれぞれ含まれる主要被写体の第１の指向性センサ及び第２の指向性センサにおける視差量と、基線長と、第１の撮影光学系及び第２の撮影光学系のそれぞれの光軸方向と、広角光学系の焦点距離とに基づいて主要被写体の距離情報を取得し、取得した距離情報に基づいて第１の撮影光学系及び第２の撮影光学系のそれぞれの望遠光学系の焦点調節を行うことが好ましい。

ステレオ画像である第１の広角画像と第２の広角画像とにより三角測量法により主要被写体の距離情報を取得することができる。第１の撮影光学系及び第２の撮影光学系のそれぞれの望遠光学系の全体又は一部の光学系の光軸方向の移動位置と、その移動位置により合焦する被写体の距離情報とは一対一に対応するため、主要被写体の距離情報が取得できれば、その主要被写体に合焦するように第１の撮影光学系及び第２の撮影光学系のそれぞれの望遠光学系の焦点調節を行うことができる。

本発明の更に他の態様に係るステレオカメラにおいて、第１の焦点調節部は、パンチルト制御部によりパンチルト機構が制御され、第１の撮影光学系及び第２の撮影光学系のそれぞれの光軸上において主要被写体が捕捉されている場合に、基線長と、第１の撮影光学系及び第２の撮影光学系のそれぞれの光軸方向と、広角光学系の焦点距離とに基づいて主要被写体の距離情報を取得し、取得した距離情報に基づいて第１の撮影光学系及び第２の撮影光学系のそれぞれの望遠光学系の焦点調節を行うことが好ましい。

第１の撮影光学系及び第２の撮影光学系のそれぞれの光軸上において主要被写体が捕捉されている場合、主要被写体の第１の指向性センサ及び第２の指向性センサにおける視差量は０であるため、基線長と、第１の撮影光学系及び第２の撮影光学系のそれぞれの光軸方向と、広角光学系の焦点距離とに基づいて主要被写体の距離情報を三角測量法により算出することができる。また、主要被写体の距離情報が取得できれば、上記と同様にその主要被写体に合焦するように第１の撮影光学系及び第２の撮影光学系のそれぞれの望遠光学系の焦点調節を行うことができる。

本発明の更に他の態様に係るステレオカメラにおいて、第１の撮影光学系及び第２の撮影光学系のそれぞれの望遠光学系の焦点調節を行う第１の焦点調節部と、第１の撮影光学系及び第２の撮影光学系のそれぞれの広角光学系の焦点調節を行う第２の焦点調節部とを有することが好ましい。広角光学系には焦点調節部を設けずに、広角光学系をパンフォーカスとしてもよいが、広角光学系にも焦点調節部（第２の焦点調節部）を設けることが好ましい。

本発明の更に他の態様に係るステレオカメラにおいて、第１の焦点調節部は、第２の焦点調節部による広角光学系の合焦情報に基づいて主要被写体の距離情報を取得し、取得した距離情報に基づいて第１の撮影光学系及び第２の撮影光学系のそれぞれの望遠光学系の焦点調節を行うことが好ましい。広角光学系の焦点調節を行う第２の焦点調節部を有する場合、焦点調節後の広角光学系の合焦情報（例えば、合焦状態にある広角光学系の全体又は一部の光学系の光軸方向の移動位置）に基づいて主要被写体の距離情報を取得することができる。主要被写体の距離情報が取得できれば、上記と同様にその主要被写体に合焦するように第１の撮影光学系及び第２の撮影光学系のそれぞれの望遠光学系の焦点調節を行うことができる。

本発明の更に他の態様に係るステレオカメラにおいて、パンチルト機構は、第１の撮像部を水平方向及び垂直方向に回動させる第１のパンチルト機構と、第１のパンチルト機構とは独立して第２の撮像部を水平方向及び垂直方向に回動させる第２のパンチルト機構とを有し、パンチルト制御部は、第１の広角画像に基づいて第１のパンチルト機構を制御する第１のパンチルト制御部と、第２の広角画像に基づいて第２のパンチルト機構を制御する第２のパンチルト制御部とを有することが好ましい。

これによれば、第１の撮像部と第２の撮像部とをそれぞれ独立してパンチルト動作させることができ、第１の撮影光学系及び第２の撮影光学系のそれぞれの光軸方向を独立して制御することができる。

本発明の更に他の態様に係るステレオカメラにおいて、パンチルト機構は、第１のパンチルト機構と第２のパンチルト機構とを保持する保持部材と、保持部材を水平方向に回動させるパン機構とを有し、パンチルト制御部は、第１の広角画像及び第２の広角画像に基づいてパン機構を制御し、第１の撮像部と第２の撮像部とを主要被写体に正対させることが好ましい。

第１のパンチルト機構と第２のパンチルト機構とを保持する保持部材の全体を、水平方向に回動させることにより、主要被写体に対して第１の撮像部と第２の撮像部との距離を等距離にすることができ、主要被写体等の距離情報をより精度良く算出することができる。

本発明の更に他の態様に係るステレオカメラにおいて、第１の広角画像及び第２の広角画像に基づいてそれぞれ主要被写体を検出する第１の被写体検出部及び第２の被写体検出部を備え、パンチルト制御部は、第１の被写体検出部及び第２の被写体検出部により検出された主要被写体の第１の広角画像内及び第２の広角画像内における各位置情報に基づいてパンチルト機構を制御し、第１の撮影光学系及び第２の撮影光学系のそれぞれの光軸上において主要被写体を捕捉させることが好ましい。主要被写体が第１の広角画像及び第２の広角画像に入るように主要被写体を撮像することは容易である。そして、第１の広角画像及び第２の広角画像に主要被写体が入っている場合、第１の広角画像内及び第２の広角画像内に主要被写体の位置情報（各広角画像の中心（光軸位置）からの変位量を示す位置情報）に基づいて、第１の撮影光学系及び第２の撮影光学系のそれぞれの光軸上において主要被写体が捕捉されるようにパンチルト機構を制御することが可能である。また、主要被写体が高速で動く動体であっても、第１の広角画像及び第２の広角画像により動体を確実に捉えることができるため、トラッキング逸脱が発生しない。

本発明の更に他の態様に係るステレオカメラにおいて、第１の被写体検出部及び第２の被写体検出部は、画像取得部が連続して取得した第１の広角画像及び第２の広角画像に基づいて動体を検出し、検出した動体を主要被写体とすることが好ましい。主要被写体が動体である場合、動体検出により所望の主要被写体を検出することができる。

本発明の更に他の態様に係るステレオカメラにおいて、第１の被写体検出部及び第２の被写体検出部は、第１の広角画像及び第２の広角画像に基づいて特定の被写体を認識し、認識した特定の被写体を主要被写体とすることが好ましい。例えば、特定の被写体が人物である場合には、人物又は人物の顔を認識することにより、主要被写体を検出することできる。

本発明の更に他の態様に係るステレオカメラにおいて、第１の望遠画像及び第２の望遠画像に基づいて主要被写体を検出する第３の被写体検出部及び第４の被写体検出部を更に備え、パンチルト制御部は、第３の被写体検出部及び第４の被写体検出部により検出された主要被写体の第１の望遠画像内及び第２の望遠画像内における位置情報に基づいてパンチルト機構を制御し、第３の被写体検出部及び第４の被写体検出部により主要被写体が検出できない場合は、第１の被写体検出部及び第２の被写体検出部により検出された主要被写体の第１の広角画像内及び第２の広角画像内における位置情報に基づいてパンチルト機構を制御することが好ましい。

第１の望遠画像及び第２の望遠画像に基づいて主要被写体を検出することができる場合には、その検出した主要被写体の第１の望遠画像内及び第２の望遠画像内における位置情報に基づいてパンチルト機構を制御するため、第１の撮影光学系及び第２の撮影光学系のそれぞれの光軸を高精度に制御することができ、一方、第１の望遠画像及び第２の望遠光学系に基づいて主要被写体を検出することができない場合には、第１の広角画像及び第２の広角画像に基づいて検出した主要被写体の第１の広角画像内及び第２の広角画像内における位置情報に基づいてパンチルト機構を制御することにより、主要被写体が高速で動く動体であっても、第１の広角画像及び第２の広角画像により動体を確実に捉えることができるため、トラッキング逸脱が発生しない。

本発明の更に他の態様は、上記のステレオカメラを使用したステレオカメラの制御方法であって、第１の指向性センサ及び第２の指向性センサから第１の広角画像及び第２の広角画像を取得するステップと、取得した第１の広角画像及び第２の広角画像に基づいてパンチルト機構を制御し、第１の撮影光学系及び第２の撮影光学系のそれぞれの光軸上において主要被写体を捕捉させるステップと、第１の撮影光学系及び第２の撮影光学系のそれぞれの光軸上において主要被写体を捕捉している状態において、第１の指向性センサ及び第２の指向性センサから第１の望遠画像及び第２の望遠画像を取得するステップと、取得した第１の望遠画像及び第２の望遠画像に基づいて少なくとも主要被写体の距離情報を算出するステップと、を含む。

本発明によれば、ステレオ画像である第１の広角画像と第２の広角画像、及びステレオ画像である第１の望遠画像と第２の望遠画像を同時に取得することができ、特に第１の撮影光学系を構成する広角光学系と望遠光学系とは光軸が一致し、同様に第２の撮影光学系を構成する広角光学系と望遠光学系とは光軸が一致しているため、第１の広角画像及び第２の広角画像に基づいて第１の撮影光学系及び第２の撮影光学系のそれぞれの光軸上において主要被写体を捕捉するようにパンチルト機構を制御することにより、第１の望遠画像及び第２の望遠画像の中心位置（光軸に対応する位置）に主要被写体を位置させることができる。尚、第１の広角画像及び第２の広角画像に基づいてパンチルト機構を制御するため、主要被写体を見失うことなく確実に捕捉することができる。

また、第１の望遠画像及び第２の望遠画像は、ステレオ画像として撮像されるため、主要被写体の距離情報を算出することができるが、第１の望遠画像及び第２の望遠画像は、第１の広角画像及び第２の広角画像に比べて空間分解能が高いため、精度の高い距離情報を算出することができる。

本発明に係るステレオカメラの外観斜視図 ステレオカメラの第１の撮像部１１_Ｌの第１の実施形態を示す断面図 図２に示したマイクロレンズアレイ及びイメージセンサの要部拡大図 ステレオカメラの内部構成の実施形態を示すブロック図 ステレオカメラにより撮像される広角画像及び望遠画像の一例を示す図 特定の主要被写体（人物の顔）が第１の望遠画像の中心にくるようにパンチルト制御された状態を示す第１の望遠画像を示すイメージ図 主要被写体等の距離情報の算出方法を説明するために用いた図 第１の焦点調節部を示すブロック図 パンチルト制御部６０のブロック図 第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの光軸Ｌ_１、Ｌ_２上において主要被写体を捕捉させるパンチルト制御を示すフローチャート 第１の望遠画像と第２の望遠画像との間で特徴量が一致する対応点の距離情報を取得する処理を示すフローチャート 動体である主要被写体を検出する動体検出方法の一例を説明するために用いた図 動体である主要被写体を検出する動体検出方法の一例を説明するために用いた図 動体である主要被写体を検出する動体検出方法の一例を説明するために用いた図 指向性センサの他の実施形態を示す側面図 ステレオカメラに適用可能な撮像部の他の実施形態を示す断面図

以下、添付図面に従って本発明に係るステレオカメラ及びステレオカメラの制御方法の実施の形態について説明する。

＜ステレオカメラの外観＞
図１は本発明に係るステレオカメラの外観斜視図である。

図１に示すようにステレオカメラ１は、主として左目用の第１のパンチルトカメラ１０_Ｌと、右目用の第２のパンチルトカメラ１０_Ｒと、第１のパンチルトカメラ１０_Ｌと第２のパンチルトカメラ１０_Ｒとを基線長Ｄだけ離間して保持する保持部材３７と、保持部材３７を水平方向に回動させるパン機構を含むパン装置３８と、を有している。

第１のパンチルトカメラ１０_Ｌは、第１の撮像部１１_Ｌ、第１のパンチルト装置３０_Ｌ（図４）、及び第１のカメラ本体２_Ｌから構成され、第２のパンチルトカメラ１０_Ｒは、第２の撮像部１１_Ｒ、第２のパンチルト装置３０_Ｒ（図４）、及び第２のカメラ本体２_Ｒから構成されている。

第１のパンチルト装置３０_Ｌは、台座４_Ｌと、台座４_Ｌに固定されるとともに、第１の撮像部１１_Ｌを回動自在に保持する保持部８_Ｌとを有している。

台座４_Ｌは、第１のカメラ本体２_Ｌの垂直方向Ｚの軸を中心に回転自在に配設され、パン駆動部３４（図４）により垂直方向Ｚの軸を中心にして回転（パン動作）する。

保持部８_Ｌは、水平方向Ｘの軸と同軸上に設けられたギア８Ａを有し、チルト駆動部３６（図４）からギア８Ａを介して駆動力が伝達されることにより、第１の撮像部１１_Ｌを上下方向に回動（チルト動作）させる。

同様に、第２のパンチルト装置３０_Ｒは、台座４_Ｒと、台座４_Ｒに固定されるとともに、第２の撮像部１１_Ｒを回動自在に保持する保持部８_Ｒとを有している。

台座４_Ｒは、第２のカメラ本体２_Ｒの垂直方向Ｚの軸を中心に回転自在に配設され、パン駆動部３４により垂直方向Ｚの軸を中心にして回転（パン動作）する。

保持部８_Ｒは、水平方向Ｘの軸と同軸上に設けられたギア８Ａを有し、チルト駆動部３６からギア８Ａを介して駆動力が伝達されることにより、第２の撮像部１１_Ｒを上下方向にチルト動作させる。

したがって、第１のパンチルトカメラ１０_Ｌは、パン動作及びチルト動作することにより、第１のパンチルトカメラ１０_Ｌの撮影方向（第１の撮影光学系の光軸Ｌ_１の方向）を所望の方向に向けることができ、同様に第２のパンチルトカメラ１０_Ｒは、パン動作及びチルト動作することにより、第１のパンチルトカメラ１０_Ｌとは独立して第２のパンチルトカメラ１０_Ｒの撮影方向（第２の撮影光学系の光軸Ｌ_２の方向）を所望の方向に向けることができる。

［第１の撮像部１１_Ｌの構成］
図２は、ステレオカメラ１の第１の撮像部１１_Ｌの第１の実施形態を示す断面図である。

図２に示すように、第１の撮像部１１_Ｌは、第１の撮影光学系１２_Ｌと第１の指向性センサ１７_Ｌとから構成されている。

＜第１の撮影光学系１２_Ｌ＞
第１の撮影光学系１２_Ｌは、それぞれ同一の光軸上に配置された、円形の中央光学系からなる広角光学系１３と、広角光学系１３に対して同心円状に配設された環状光学系からなる望遠光学系１４とから構成されている。

広角光学系１３は、第１レンズ１３ａ、第２レンズ１３ｂ、第３レンズ１３ｃ、第４レンズ１３ｄ、及び共通レンズ１５から構成された広角レンズであり、第１の指向性センサ１７_Ｌを構成するマイクロレンズアレイ１６上に広角画像を結像させる。

望遠光学系１４は、第１レンズ１４ａ、第２レンズ１４ｂ、反射光学系としての第１反射ミラー１４ｃ、第２反射ミラー１４ｄ、及び共通レンズ１５から構成された望遠レンズであり、第１の指向性センサ１７_Ｌを構成するマイクロレンズアレイ１６上に望遠画像を結像させる。

第１レンズ１４ａ、及び第２レンズ１４ｂを介して入射した光束は、第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより２回反射された後、共通レンズ１５を通過する。第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより光束が折り返されることにより、焦点距離の長い望遠光学系（望遠レンズ）の光軸方向の長さを短くしている。

＜第１の指向性センサ１７_Ｌ＞
第１の指向性センサ１７_Ｌは、マイクロレンズアレイ１６とイメージセンサ１８とから構成されている。

図３は、図２に示したマイクロレンズアレイ１６及びイメージセンサ１８の要部拡大図である。

マイクロレンズアレイ１６は、複数のマイクロレンズ（瞳結像レンズ）１６ａが２次元状に配列されて構成されており、各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ１８の光電変換素子である受光セル１８ａの３つ分の間隔に対応している。即ち、マイクロレンズアレイ１６の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、２つ置きの受光セルの位置に対応して形成されたものが使用される。

また、マイクロレンズアレイ１６の各マイクロレンズ１６ａは、第１の撮影光学系１２_Ｌの広角光学系１３及び望遠光学系１４に対応する、円形の中央瞳像（第１の瞳像）１７ａ及び環状瞳像（第２の瞳像）１７ｂを、イメージセンサ１８の対応する受光領域の受光セル１８ａ上に結像させる。

図３に示すマイクロレンズアレイ１６及びイメージセンサ１８によれば、マイクロレンズアレイ１６の１マイクロレンズ１６ａ当たりに付き、格子状（正方格子状）の３×３個の受光セル１８ａが割り付けられている。以下、１つのマイクロレンズ１６ａ及び１つのマイクロレンズ１６ａに対応する受光セル群（３×３個の受光セル１８ａ）を単位ブロックという。

中央瞳像１７ａは、単位ブロックの中央の受光セル１８ａのみに結像し、環状瞳像１７ｂは、単位ブロックの周囲の８個の受光セル１８ａに結像する。

上記構成の第１の撮像部１１_Ｌによれば、後述するように広角光学系１３に対応する第１の広角画像と、望遠光学系１４に対応する第１の望遠画像とを同時に撮像することができる。

ステレオカメラ１の第２の撮像部１１_Ｒは、図２及び図３に示した第１の撮像部１１_Ｌと同様に構成されており、広角光学系と望遠光学系とを有する第２の撮影光学系と、第２の指向性センサとを有し、広角光学系に対応する第２の広角画像と、望遠光学系に対応する第２の望遠画像とを同時に撮像することができる。

＜ステレオカメラ１の内部構成＞
図４は、ステレオカメラ１の内部構成の実施形態を示すブロック図である。ステレオカメラ１の制御に関して、第１の画像取得部２２_Ｌ、第２の画像取得部２２_R、第１の被写体検出部５０_Ｌ、第２の被写体検出部５０_Ｒ、第１のパンチルト制御部６０_Ｌ、第２のパンチルト制御部６０_Ｒ、距離画像算出部７４、視差量検出部７２、及びデジタル信号処理部４０等は、汎用的なＣＰＵにより構成されもよいし、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路や、これらの組み合わせにより構成されてもよい。なお、図８における焦点制御部１９０等についても同様である。尚、図１で説明したようにステレオカメラ１は、左目用の第１のパンチルトカメラ１０_Ｌと、右目用の第２のパンチルトカメラ１０_Ｒとを備えているが、両カメラの構成は同じであるため、図４では、主として第１のパンチルトカメラ１０_Ｌについて説明し、第２のパンチルトカメラ１０_Ｒの詳細な説明は省略する。

図４に示すようにステレオカメラ１を構成する左目用の第１のパンチルトカメラ１０_Ｌは、図２で説明した広角光学系１３及び望遠光学系１４を有する第１の撮影光学系１２_Ｌと、図３で説明したマイクロレンズアレイ１６及びイメージセンサ１８を有する第１の指向性センサ１７_Ｌとからなる第１の撮像部１１_Ｌを備えている。

この第１の撮像部１１_Ｌは、少なくとも望遠光学系１４の焦点調節を自動的に行う第１の焦点調節部（焦点調節機構１９を含む）を備えることが好ましい。焦点調節機構１９は、例えば、望遠光学系１４の全体又は一部の光学系を光軸方向に移動させるボイスコイルモータ等により構成することができる。また、第１の焦点調節部は、後述する焦点制御部１９０が主要被写体の距離情報を取得し、取得した距離情報に基づいて焦点調節機構１９を駆動することにより、望遠光学系１４の第１の焦点調節を行うことができる。

また、広角光学系１３については、別途、広角光学系１３の焦点調節を自動的に行う第２の焦点調節部を設けるようにしてよいし、パンフォーカスとしてもよい。広角光学系１３に適用される第２の焦点調節部としては、コントラストＡＦ（Autofocus）方式、あるいは像面位相差ＡＦ方式のものが考えられる。コントラストＡＦ方式は、第１の広角画像及び第２の広角画像のＡＦ領域のコントラストが最大になるように広角光学系１３の全体又は一部の光学系を光軸方向に移動させて焦点調節を行う方式であり、像面位相差ＡＦ方式は、第１の広角画像及び第２の広角画像のＡＦ領域の像面位相差が０になるように広角光学系１３の全体又は一部の光学系を光軸方向に移動させることにより広角光学系１３の焦点調節を行う方式である。

第１のパンチルト装置３０_Ｌは、図１に示したように第１の撮像部１１_Ｌを第１のカメラ本体２_Ｌに対して水平方向（パン方向）に回転させるパン機構及び垂直方向（チルト方向）に回動させるチルト機構（以下、「パンチルト機構」と称す）３２、パン駆動部３４、及びチルト駆動部３６等を備えている。

パンチルト機構３２は、パン方向の回転角（パン角度）の基準位置を検出するホームポジションセンサ、チルト方向の傾き角（チルト角度）の基準位置を検出するホームポジションセンサを有している。

パン駆動部３４及びチルト駆動部３６は、それぞれステッピングモータ及びモータドライバを有し、パンチルト機構３２に駆動力を出力し、パンチルト機構３２を駆動する。

第１の撮像部１１_Ｌは、第１の撮影光学系１２_Ｌ及び第１の指向性センサ１７_Ｌを介して時系列の第１の広角画像及び第１の望遠画像を撮像するものであり、第１の撮影光学系１２_Ｌを介して第１の指向性センサ１７_Ｌ（イメージセンサ１８）の各受光セル（光電変換素子）の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（又は電荷）に変換される。

イメージセンサ１８に蓄積された信号電圧（又は電荷）は、受光セルそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（又は電荷）は、Ｘ−Ｙアドレス方式を用いたＭＯＳ（Metal Oxide Semiconductor）型撮像素子（いわゆるComplementary Metal Oxide Semiconductor）ＣＭＯＳセンサ）の手法を用いて、受光セル位置の選択とともに読み出される。

これにより、イメージセンサ１８から広角光学系１３に対応する中央の受光セルのグループの第１の広角画像を示す画像信号と、望遠光学系１４に対応する周囲８個の受光セルのグループの第１の望遠画像を示す画像信号とを読み出すことができる。尚、イメージセンサ１８からは、所定のフレームレート（例えば、１秒当たりのフレーム数２４ｐ，３０ｐ，又は６０ｐ）で、第１の広角画像及び第１の望遠画像を示す画像信号が連続して読み出されるが、図示しないシャッターボタンが操作されると、それぞれ１枚の静止画となる第１の広角画像及び第１の望遠画像を示す画像信号が読み出される。

イメージセンサ１８から読み出された画像信号（電圧信号）は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、受光セル毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理）により受光セル毎の画像信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ（Analog/Digital）変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画像信号をデジタル信号に変換して画像取得部２２に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１８から直接デジタル信号が出力される。

第１の画像取得部２２_Ｌは、イメージセンサ１８の受光セル位置を選択して画像信号を読み出すことにより、第１の広角画像を示す画像信号と第１の望遠画像を示す画像信号とを同時に、又は選択的に取得することができる。

即ち、イメージセンサ１８の中央瞳像１７ａが入射する受光セルの画像信号を選択的に読み出すことにより、１マイクロレンズ当たり１個の受光セル（３×３の受光セルの中央の受光セル）の第１の広角画像を示す画像信号（ベイヤ配列のモザイク画像を示す画像信号）を取得することができ、一方、イメージセンサ１８の環状瞳像１７ｂが入射する受光セルの画像信号を選択的に読み出すことにより、１マイクロレンズ当たり８個の受光セル（３×３の受光セルの周囲の受光セル）の第１の望遠画像を示す画像信号を取得することができる。

尚、イメージセンサ１８から全ての画像信号を読み出してバッファメモリに一時的に記憶させ、バッファメモリに記憶させた画像信号から、第１の広角画像と第１の望遠画像の２つ画像の画像信号のグループ分けを行ってもよい。

第１の画像取得部２２_Ｌにより取得された第１の広角画像及び第１の望遠画像を示す画像信号は、それぞれデジタル信号処理部４０及び第１の被写体検出部５０_Ｌに出力される。

第１の被写体検出部５０_Ｌは、第１の画像取得部２２_Ｌが取得した第１の広角画像を示す画像信号に基づいて主要被写体を検出し、検出した主要被写体の画像内における位置情報を第１のパンチルト制御部６０_Ｌに出力する。

第１の被写体検出部５０_Ｌにおける主要被写体の検出方法としては、人物の顔認識を行う技術に代表される物体認識技術により特定の物体（主要被写体）を検出する方法、又は動体を主要被写体として検出する動体検出方法がある。

物体認識による物体の検出方法は、特定の物体の見え方の特徴を物体辞書として予め登録しておき、撮影された画像から位置や大きさを変えながら切り出した画像と、物体辞書とを比較しながら物体を認識する方法である。

図５は、撮像された第１の広角画像及び第１の望遠画像の一例を示す図である。尚、第１の広角画像中の破線により示した領域は、第１の望遠画像の撮影範囲を示している。

いま、図６に示す第１の広角画像及び第１の望遠画像が撮像され、かつ人物の「顔」を主要被写体とし、顔認識技術により人物の「顔」を検出する場合、第１の被写体検出部５０_Ｌは、第１の広角画像内の「顔」を検出することができる。尚、第１の被写体検出部５０_Ｌが、第１の望遠画像から人物の「顔」を検出する場合、図５に示す第１の望遠画像には、人物の顔の一部しか入っていないため、第１の望遠画像からは「顔」を検出することができない。特に、望遠光学系１４の撮影倍率が高倍率の場合（画角が非常に小さい場合）、第１の望遠画像内に所望の主要被写体が入っていない確率が高くなる。

第１の被写体検出部５０_Ｌにより検出された主要被写体（本例では、人物の「顔」）の、第１の広角画像内の位置情報は、第１のパンチルト制御部６０_Ｌに出力される。

第１のパンチルト制御部６０_Ｌは、第１の被写体検出部５０_Ｌから入力する第１の広角画像内の主要被写体の位置情報に基づいて第１のパンチルト装置３０_Ｌを制御する部分であり、主要被写体の第１の広角画像内の位置情報（例えば、主要被写体が人物の「顔」の場合には、顔領域の重心位置）が、第１の広角画像の中心位置（光軸Ｌ_１上の位置）に移動するように、パン駆動部３４、チルト駆動部３６を介してパンチルト機構３２（即ち、第１の撮像部１１_Ｌの撮影方向）を制御する。

そして、第１の撮影光学系１２_Ｌの光軸Ｌ_１上において主要被写体が捕捉されるように（主要被写体が第１の広角画像の中心位置に入るように）、上記のパンチルト機構３２を制御すると、第１の望遠画像の中心位置に主要被写体が入るようになる。第１の撮影光学系１２_Ｌを構成する広角光学系１３及び望遠光学系１４のそれぞれの光軸Ｌ_１は、一致しているからである（図２参照）。

図６は、特定の主要被写体（本例では、人物の「顔」）が第１の広角画像の中心にくるように、パンチルト制御された状態を示す第１の望遠画像を示すイメージ図である。

一方、ステレオカメラ１を構成する右目用の第２のパンチルトカメラ１０_Ｒは、左目用の第１のパンチルトカメラ１０_Ｌと同様に、第２の撮影光学系１２_Ｒ及び第２の指向性センサ１７_Ｒ（図示せず）を有する第２の撮像部１１_Ｒと、第２のパンチルト装置３０_Ｒとを備えている。

第２の撮像部１１_Ｒは、第２の撮影光学系１２_Ｒ及び第２の指向性センサ１７_Ｒを介して時系列の第２の広角画像及び第２の望遠画像を撮像し、第２の指向性センサ１７_Ｒからは、第２の広角画像を示す画像信号と、第２の望遠画像を示す画像信号とが同時に出力可能になっている。

第２の画像取得部２２_Ｒは、第２の撮像部１１_Ｒから第２の広角画像を示す画像信号と第２の望遠画像を示す画像信号とを同時に、又は選択的に取得する。

第２の画像取得部２２_Ｒにより取得された第２の広角画像及び第２の望遠画像を示す画像信号は、それぞれデジタル信号処理部４０及び第２の被写体検出部５０_Ｒに出力される。

第２の被写体検出部５０_Ｒは、第２の画像取得部２２_Ｒが取得した第２の広角画像を示す画像信号に基づいて主要被写体を検出し、検出した主要被写体の画像内における位置情報を第２のパンチルト制御部６０_Ｒに出力する。

第２のパンチルト制御部６０_Ｒは、第２の被写体検出部５０_Ｒから入力する第２の広角画像内の主要被写体の位置情報に基づいて第２のパンチルト装置３０_Ｒを制御する部分であり、主要被写体の第２の広角画像内の位置情報が、第２の広角画像の中心位置（光軸Ｌ_２上の位置）に移動するように、パン駆動部３４、チルト駆動部３６を介してパンチルト機構３２（即ち、第２の撮像部１１_Ｒの撮影方向）を制御する。

そして、第２の撮影光学系１２_Ｒの光軸Ｌ_２上において主要被写体が捕捉されるように（主要被写体が第２の広角画像の中心位置に入るように）、上記のパンチルト機構３２を制御すると、第２の望遠画像の中心位置に主要被写体が入るようになる。第２の撮影光学系１２_Ｒを構成する広角光学系１３及び望遠光学系１４のそれぞれの光軸Ｌ_２は、一致しているからである（図２参照）。

デジタル信号処理部４０には、第１の画像取得部２２_Ｌから第１の広角画像及び第１の望遠画像を示すデジタルの画像信号が入力し、また、第２の画像取得部２２_Ｒから第２の広角画像及び第２の望遠画像を示すデジタルの画像信号が入力しており、デジタル信号処理部４０は、入力する各画像信号に対して、オフセット処理、ガンマ補正処理等の所定の信号処理を行う。

また、デジタル信号処理部４０は、表示部４２が立体表示する機能を有する場合、ステレオ画像である第１の広角画像及び第２の広角画像を示す画像信号から立体広角画像表示用の画像信号を生成し、又はステレオ画像である第１の望遠画像及び第２の望遠画像の画像信号から立体望遠画像の表示用データを生成し、生成した表示用データを表示部４２に出力することで、立体広角画像又は立体望遠画像を表示部４２に表示させる。

また、デジタル信号処理部４０は、表示部４２が立体表示する機能を有しない場合、例えば、第１の広角画像又は第１の望遠画像を示す画像信号から広角画像又は望遠画像の表示用データを生成し、生成した表示用データを表示部４２に出力することにより、広角画像又は望遠画像を表示部４２に表示させる。

更に、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの光軸Ｌ_１、Ｌ_２上において主要被写体が捕捉されている場合、デジタル信号処理部４０は、ステレオ画像である第１の広角画像及び第２の広角画像を示す画像信号から記録用データを生成し、又はステレオ画像である第１の望遠画像及び第２の望遠画像を示す画像信号から記録用データを生成し、生成した記録用データを記録部４４に出力することにより、記録用データを記録媒体（ハードディスク、メモリカード等）に記録させる。尚、記録部４４は、第１の望遠画像及び第２の望遠画像のみを記録するようにしてもよい。また、表示部４２は、記録部４４に記録された記録用データに基づいて必要な画像を再生することもできる。

＜距離情報算出部７０＞
次に、距離情報算出部７０につて説明する。

距離情報算出部７０は、視差量検出部７２と、距離画像算出部７４とを備えている。

視差量検出部７２には、第１の画像取得部２２_Ｌにより取得された第１の望遠画像を示す画像信号と、第２の画像取得部２２_Ｒより取得された第２の望遠画像を示す画像信号とが加えられており、視差量検出部７２は、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの光軸Ｌ_１、Ｌ_２上において主要被写体が捕捉されている場合（光軸Ｌ_１、Ｌ_２が交差し、かつ交差しているクロスポイントに主要被写体が位置している場合）に、第１の望遠画像及び第２の望遠画像を示す画像信号を入力する。

視差量検出部７２は、入力した第１の望遠画像及び第２の望遠画像を示す画像信号に基づいて第１の望遠画像と第２の望遠画像との間で、特徴量が一致する対応点を検出する対応点検出部７２ａを有し、対応点検出部７２ａにより検出した２つの対応点の第１の指向性センサ１７_Ｌ及び第２の指向性センサ１７_Ｒにおける視差量を検出する。

対応点検出部７２ａによる対応点の検出は、第１の望遠画像の対象画素を基準とする所定のブロックサイズの画像と第２の望遠画像とのブロックマッチングにより、相関が最も高い対象画素に対応する第２の望遠画像上の画素位置を検出することにより行うことができる。

視差量検出部７２により検出された、第１の望遠画像及び第２の望遠画像の２つの対応点の第１の指向性センサ１７_Ｌ及び第２の指向性センサ１７_Ｒにおける視差量を示す情報は、距離画像算出部７４に出力される。

距離画像算出部７４の他の入力には、第１のパンチルト制御部６０_Ｌ及び第２のパンチルト制御部６０_Ｒから第１のパンチルト機構を含む第１のパンチルト装置３０_Ｌ及び第２のパンチルト機構を含む第２のパンチルト装置３０_Ｒのそれぞれのパン角度及びチルト角度を示す角度情報（第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの光軸Ｌ_１、Ｌ_２の方向を示す情報）が入力されており、距離画像算出部７４は、これらの入力情報に基づいて対応点の距離情報を含む３次元空間情報を算出する。

次に、図７を用いて主要被写体等の距離情報の算出方法について説明する。

図７は、第１の撮像部１１_Ｌ(第１の撮影光学系１２_Ｌ)及び第２の撮像部１１_Ｒ(第２の撮影光学系１２_Ｒ)のパン角度及びチルト角度が制御され、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの光軸Ｌ_１、Ｌ_２が交差するクロスポイントＡに主要被写体が位置している場合に関して示している。尚、説明を簡単にするために、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの光軸Ｌ_１、Ｌ_２は水平とする。

図７に示す各記号の意味は、下記の通りである。

Ａ：光軸Ｌ_１、Ｌ_２が交差するクロスポイント（主要被写体の位置）
Ｂ：第１の望遠画像及び第２の望遠画像における任意の対応点
α_１：第１の撮影光学系１２_Ｌのパン角度
α_２：第２の撮影光学系１２_Ｒのパン角度
Ｄ：基線長
Δｘ_１：対応点Ｂの第１の指向性センサ１７_Ｌにおける視差量
Δｘ_２：対応点Ｂの第２の指向性センサ１７_Ｒにおける視差量
δ_１：対応点Ｂの光軸Ｌ_１に対する水平方向の角度
δ_２：対応点Ｂの光軸Ｌ_２に対する水平方向の角度
ｆ：第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒに含まれる望遠光学系１４の焦点距離
図７において、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒの各位置と、クロスポイントＡ（主要被写体）とからなる三角形を考えると、三角形の底辺の長さは、基線長Ｄであり、既知である。

三角形の底角をそれぞれβ_１、β_２とすると、底角β_１、β_２は、それぞれパン角度α_１及びパン角度α_２に基づいて算出することができる。

従って、既知の底辺（基線長Ｄ）と２つの底角β_１、β_２から、測定点である三角形の頂点のクロスポイントＡ（主要被写体）の距離情報を算出することができる。

一方、対応点Ｂの光軸Ｌ_１に対する水平方向の角度δ_１及び光軸Ｌ_２に対する水平方向の角度δ_２は、対応点Ｂの第１の指向性センサ１７_Ｌ及び第２の指向性センサ１７_Ｒにおける視差量Δｘ_１、Δｘ_２と、望遠光学系１４の焦点距離ｆとに基づいて、次式により算出することができる。

［数１］
δ_１＝arctan(Δｘ_１/ｆ）
δ_２＝arctan(Δｘ_２/ｆ）
対応点Ｂの第１の指向性センサ１７_Ｌ及び第２の指向性センサ１７_Ｒにおける視差量Δｘ_１、Δｘ_２は、第１の指向性センサ１７_Ｌ及び第２の指向性センサ１７_Ｒの中心位置(光軸Ｌ_１、Ｌ_２に対応する位置)からの、対応点Ｂが結像した画素の画素位置をｎ_１，ｎ_２、第１の指向性センサ１７_Ｌ及び第２の指向性センサ１７_Ｒの画素ピッチをｐとすると、次式により算出することができる。

［数２］
Δｘ_１＝ｎ_１×ｐ
Δｘ_２＝ｎ_２×ｐ
第１の指向性センサ１７_Ｌ及び第２の指向性センサ１７_Ｒの画素ピッチｐは既知であるため、視差量Δｘ_１、Δｘ_２は、対応点Ｂの第１の指向性センサ１７_Ｌ及び第２の指向性センサ１７_Ｒ上の位置を検出することにより、［数２］式により算出することができる。

図７において、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒの各位置と、任意の対応点Ｂとからなる三角形を考えると、上記と同様に三角形の底辺の長さ（基線長Ｄ）と、２つの底角γ_１、γ_２とにより、三角形の頂点である対応点Ｂの距離情報を算出することができる。

尚、２つの底角γ_１、γ_２は、それぞれパン角度α_１、α_２と、［数１］式により算出される角度δ_１、角度δ_２とにより求めることができる。

図４に戻って、距離画像算出部７４は、第１の望遠画像と第２の望遠画像の対応点毎に距離情報を算出することより、距離画像を算出することができる。

ここで、距離画像とは、ステレオカメラ１によって得られる被写体までの距離値（距離情報）の２次元分布画像のことであり、距離画像の各画素は距離情報を有する。また、クロスポイントＡ（主要被写体）の距離情報は、視差量Δｘ_１、Δｘ_２が０となる特異点の距離情報である。

距離画像算出部７４により算出された距離画像は、距離画像記録部７６に記録される。距離画像算出部７４により距離画像の算出により、例えば、構造物を被写体とする場合、その構造物の三次元情報を取得することができ、取得した三次元情報を距離画像記録部７６に記録することにより、三次元情報を適宜活用することができる。

＜第１の焦点調節部＞
次に、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒに含まれる望遠光学系１４の焦点調節を自動的に行う第１の焦点調節部について説明する。

図８は、第１の焦点調節部を示すブロック図である。

図８に示す第１の焦点調節部は、第１の撮像部１１_Ｌ及び第２の撮像部１１_Ｒにそれぞれ設けられ、望遠光学系１４の全体又は一部の光学系を光軸方向に移動させる焦点調節機構１９と、焦点調節機構１９を制御する焦点制御部１９０とから構成されている。

焦点制御部１９０は、視差量検出部１９２、距離情報算出部１９４、及び合焦位置算出部１９６等を備えている。

視差量検出部１９２には、第１の被写体検出部５０_Ｌ及び第２の被写体検出部５０_Ｒからそれぞれ第１の広角画像内及び第２の広角画像内における主要被写体の位置情報が入力しており、視差量検出部１９２は、入力した主要被写体の位置情報に基づいて、第１の指向性センサ１７_Ｌ及び第２の指向性センサ１７_Ｒにおける主要被写体の視差量を検出する。

尚、前述したように第１の被写体検出部５０_Ｌ及び第２の被写体検出部５０_Ｒにより検出された主要被写体の第１の広角画像内及び第２の広角画像内の位置情報は、第１のパンチルト制御部６０_Ｌ及び第２のパンチルト制御部６０_Ｒにおいて、第１のパンチルト装置３０_Ｌ及び第２のパンチルト装置３０_Ｒを制御するために使用されるが、焦点制御部１９０では、視差量検出のために使用される。また、本例の焦点制御部１９０は、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの光軸Ｌ_１、Ｌ_２上において主要被写体が捕捉される前であっても、望遠光学系１４の焦点調節を行うが、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの光軸Ｌ_１、Ｌ_２上において主要被写体が捕捉されている状態で望遠光学系１４の焦点調節を行う場合には、視差量検出部１９２は不要になる。第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの光軸Ｌ_１、Ｌ_２上において主要被写体が捕捉されている場合、視差量は０だからである。

視差量検出部１９２により検出された視差量は、距離情報算出部１９４に出力される。距離情報算出部１９４の他の入力には、第１のパンチルト制御部６０_Ｌから第１のパンチルト装置３０_Ｌのパン角度及びチルト角度を示す角度情報（第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの光軸Ｌ_１、Ｌ_２の方向を示す情報）が入力されており、距離情報算出部１９４は、これらの入力情報に基づいて主要被写体の距離情報を算出する。尚、距離情報算出部１９４により主要被写体の距離情報の算出は、図４に示した距離情報算出部７０による対応点の距離情報の算出と同様に行われるが、前述した［数１］式に示した視差量Δｘ_１、Δｘ_２は、第１の指向性センサ１７_Ｌ及び第２の指向性センサ１７_Ｒにおける第１の広角画像及び第２の広角画像における主要被写体の視差量であり、かつ焦点距離ｆは、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒに含まれる広角光学系１３の焦点距離である点で相違する。

距離情報算出部１９４により算出された主要被写体の距離情報は、合焦位置算出部１９６に出力される。合焦位置算出部１９６は、距離情報算出部１９４から入力する主要被写体の距離情報に基づいて、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの望遠光学系１４の全体又は一部の光学系の光軸方向の移動位置であって、主要被写体に合焦する合焦位置を算出する。尚、望遠光学系１４の全体又は一部の光学系の光軸方向の移動位置と、その移動位置により合焦する被写体の距離情報とは一対一に対応するため、合焦位置算出部１９６は、主要被写体の距離情報が取得できれば、その主要被写体に合焦する合焦位置を算出することができる。

焦点制御部１９０は、合焦位置算出部１９６により算出された合焦位置に基づいて焦点調節機構１９を制御し、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの望遠光学系１４の全体又は一部の光学系を光軸方向の合焦位置に移動させ、望遠光学系１４の焦点調節（第１の焦点調節）を行う。

尚、本例の焦点制御部１９０は、第１の広角画像及び第２の広角画像にそれぞれ含まれる主要被写体の第１の指向性センサ１７_Ｌ及び第２の指向性センサ１７_Ｒにおける主要被写体の視差量等に基づいて主要被写体の距離情報を取得し、取得した距離情報に基づいて第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの望遠光学系１４の焦点調節を行うようにしたが、これに限らず、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの広角光学系１３の焦点調節を行うコントラストＡＦ、像面位相差ＡＦ等の焦点調節部（第２の焦点調節部）が設けられている場合、第２の焦点調節部による広角光学系１３の合焦情報（例えば、合焦状態にある広角光学系１３の全体又は一部の光学系の光軸方向の移動位置）に基づいて主要被写体の距離情報を取得し、取得した距離情報に基づいて第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの望遠光学系１４の焦点調節を行うようにしてもよい。

図９はパンチルト制御部６０のブロック図である。このパンチルト制御部６０は、図４に示した第１のパンチルト制御部６０_Ｌ及び第２のパンチルト制御部６０_Ｒに加えて、図１に示したパン装置３８を制御するパン制御部６２を備えている。

パン制御部６２は、第１の広角画像及び第２の広角画像に基づいてパン機構を含むパン装置３８を制御し、第１の撮像部１１_Ｌと第２の撮像部１１_Ｒとを主要被写体に正対させる。

第１のパンチルト制御部６０_Ｌ及び第２のパンチルト制御部６０_Ｒは、それぞれ第１の被写体検出部５０_Ｌ及び第２の被写体検出部５０_Ｒが検出した主要被写体の、第１の広角画像内及び第２の広角画像内の主要被写体の位置情報に基づいて第１のパンチルト装置３０_Ｌ及び第２のパンチルト装置３０_Ｒを制御するが、パン制御部６２は、第１のパンチルト制御部６０_Ｌ及び第２のパンチルト制御部６０_Ｒから第１のパンチルト装置３０_Ｌ及び第２のパンチルト装置３０_Ｒのそれぞれのパン角度α_１及びパン角度α_２（図７参照）を示す角度情報を取得する。

図７において、パン角度α_１及びパン角度α_２は、時計回り方向を正とすると、パン制御部６２は、パン角度α_１及びパン角度α_２を示す角度情報に基づいて、パン角度α_１が正、パン角度α_２が負になり、かつパン角度α_１とパン角度α_２の絶対値が等しくなるように、パン装置３８（第１のパンチルト装置３０_Ｌ及びと第２のパンチルト装置３０_Ｒを保持する保持部材３７）を水平方向に回動させる。即ち、パン制御部６２によりパン装置３８が回動させられると、第１のパンチルト装置３０_Ｌ及び第２のパンチルト装置３０_Ｒは、それぞれ主要被写体を光軸Ｌ_１、Ｌ_２上で捕捉すべくパン方向に駆動制御されるため、パン装置３８の回動位置を制御することにより、パン角度α_１が正、パン角度α_２が負になり、かつパン角度α_１とパン角度α_２の絶対値を等しくすることができる。

このように第１のパンチルト装置３０_Ｌ及びと第２のパンチルト装置３０_Ｒを保持する保持部材３７（ステレオカメラ１全体）を水平方向に回動させることにより、主要被写体に対して第１の撮像部１１_Ｌと第２の撮像部１１_Ｒとの距離を等距離にすることができ、主要被写体等の距離情報をより精度良く算出することができる。

［ステレオカメラの制御方法］
次に、本発明に係るステレオカメラの制御方法について説明する。

図１０は、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの光軸Ｌ_１、Ｌ_２上において主要被写体を捕捉させるパンチルト制御を示すフローチャートである。

図１０に示すように、第１の撮像部１１_Ｌ及び第１の画像取得部２２_Ｌを介して第１の広角画像を取得するとともに、第２の撮像部１１_Ｒ及び第２の画像取得部２２_Ｒを介して第２の広角画像を取得する（ステップＳ１０）。

続いて、第１の被写体検出部５０_Ｌ及び第２の被写体検出部５０_Ｒにより、取得した第１の広角画像内及び第２の広角画像内の主要被写体を検出し（ステップＳ１２）、検出した主要被写体の第１の広角画像内及び第２の広角画像内のそれぞれの位置情報（第１、第２の位置情報）を算出する（ステップＳ１４）。

ステップＳ１４において算出した主要被写体の第１の広角画像内及び第２の広角画像内のそれぞれの第１の位置情報及び第２の位置情報に基づいて第１のパンチルト装置３０Ｌ及び第２のパンチルト装置３０Ｒを制御する（ステップＳ１６）。

次に、主要被写体の追尾が終了したか否かを判別する（ステップＳ１８）。即ち、主要被写体が移動し、ステレオ画像である第１の広角画像と第２の広角画像、及びステレオ画像である第１の望遠画像と第２の望遠画像を動画として取得する場合には、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの光軸Ｌ_１、Ｌ_２上において常に主要被写体を捕捉（主要被写体を追尾）する必要がある。

従って、主要被写体の自動追尾が終了したか否かを判別し（ステップＳ１８）、終了していないと判別すると、ステップＳ１０に遷移させる。これにより、上記ステップＳ１０からステップＳ１８の処理が繰り返され、主要被写体を自動追尾した撮像が行われる。

一方、主要被写体の追尾が終了したと判別されると、主要被写体を追尾させるパンチルト制御を終了させる。尚、主要被写体の自動追尾が終了したか否かを判別は、電源のオン／オフにより行ってもよいし、パンチルト動作を終了させるスイッチ入力等により行ってもよい。また、主要被写体を静止画として撮影する場合、静止画の撮影の終了時点を主要被写体の自動追尾の終了とすることができる。

図１１は、第１の望遠画像と第２の望遠画像との間で特徴量が一致する対応点の距離情報を取得する処理を示すフローチャートである。

図１１において、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの光軸Ｌ_１、Ｌ_２上において主要被写体が捕捉されている場合に、第１の撮像部１１_Ｌ及び第１の画像取得部２２_Ｌを介して第１の望遠画像を取得するとともに、第２の撮像部１１_Ｒ及び第２の画像取得部２２_Ｒを介して第２の望遠画像を取得する（ステップＳ２０）。

続いて、視差量検出部７２の対応点検出部７２ａにより、取得した第１の望遠画像及び第２の望遠画像との間で、特徴量が一致する対応点を検出し（ステップＳ２２）、検出した２つの対応点の第１の指向性センサ１７_Ｌ及び第２の指向性センサ１７_Ｒにおける視差量を検出する（ステップＳ２４）。

次に、距離画像算出部７４は、図７で説明したようにステップＳ２６により算出された対応点の視差量と、第１のパンチルト装置３０_Ｌ及び第２のパンチルト装置３０_Ｒのそれぞれのパン角度及びチルト角度を示す角度情報（第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒのそれぞれの光軸Ｌ_１、Ｌ_２の方向を示す情報）と、第１のパンチルトカメラ１０_Ｌと第２のパンチルトカメラ１０_Ｒとの基線長とに基づいて対応点の距離情報を算出する（ステップＳ２６）。

尚、距離画像算出部７４は、第１の望遠画像と第２の望遠画像の対応点毎に距離情報を算出することより、距離画像を算出することができる。また、主要被写体の光軸Ｌ_１、Ｌ_２上の点も対応点であるため、主要被写体の距離情報も算出されるが、この場合の光軸Ｌ_１、Ｌ_２上の点の視差量は０である。

ステップＳ２６により算出された距離情報（距離画像）は、距離画像記録部７６に出力されて記録され、あるいは外部機器に出力される（ステップＳ２８）。

＜動体検出方法＞
次に、主要被写体が動体の場合、その主要被写体（動体）を検出する動体検出方法の一例について、図１２から図１４を用いて説明する。尚、第１の被写体検出部５０_Ｌ及び第２の被写体検出部５０_Ｒは、それぞれ動体検出部として同様の機能を持つため、動体検出部として機能し得る第１の被写体検出部５０_Ｌについてのみ説明する。

動体検出部として機能する場合の第１の被写体検出部５０_Ｌは、図１２及び図１３に示すように時系列の２枚の第１の広角画像（前回取得した第１の広角画像（図１２）と、今回取得した第１の広角画像（図１３））とを取得し、時系列の２枚の第１の広角画像の差分をとった差分画像（図１４）を検出する。

図１２及び図１３に示す例では、物体Ａ，Ｂのうちの物体Ａが移動し、物体Ｂは停止しており、物体Ａが主要被写体（動体）である。

従って、図１４に示すように差分画像Ａ_１，Ａ_２は、物体Ａの移動により生じた画像である。

ここで、差分画像Ａ_１，Ａ_２の重心位置を算出し、それぞれ位置Ｐ_１，Ｐ_２とし、これらの位置Ｐ_１，Ｐ_２を結ぶ線分の中点を、位置Ｇとする。そして、この位置Ｇを物体Ａ（動体である主要被写体）の第１の広角画像内の位置とする。

このようして算出した第１の広角画像内の物体Ａの位置Ｇが、第１の広角画像の中心位置（光軸Ｌ_１上の位置）に移動するように、パンチルト機構３２（即ち、第１の撮像部１１_Ｌによる撮影方向）を繰り返し制御することにより、物体Ａが第１の広角画像（第１の望遠画像）の中心位置に移動（収束）する。

尚、第１の撮像部１１_Ｌが移動（パンチルト機構３２により移動、又はステレオカメラ１を車載することにより移動）する場合、時系列の画像間の背景も移動することになるが、この場合には、時系列の画像間の背景が一致するように画像をシフトさせ、シフト後の画像間の差分画像をとることにより、第１の撮像部１１_Ｌの移動にかかわらず、実空間内を移動する物体Ａを検出することができる。更に、動体検出方法は、上記の実施形態に限らない。

＜指向性センサの他の実施形態＞
図１５は、指向性センサの他の実施形態を示す側面図である。

図１５に示す指向性センサ１１７は、第１の指向性センサ１７_Ｌ及び第２の指向性センサ１７_Ｒに代えて使用可能なものである。

この指向性センサ１１７は、瞳分割手段としてのマイクロレンズアレイ１１８及び遮光マスクとして機能する遮光部材１２０と、遮光部材１２０により受光セル１１６ａ、１１６ｂの一部が遮光されたイメージセンサ１１６とから構成されている。尚、遮光部材１２０により一部が遮光された受光セル１１６ａと受光セル１１６ｂとは、イメージセンサ１１６の左右方向及び上下方向に交互（チェッカーフラグ状）に設けられている。

マイクロレンズアレイ１１８は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂと一対一に対応するマイクロレンズ１１８ａを有している。

遮光部材１２０は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂの開口を規制するものであり、図２に示した第１の撮影光学系１２_Ｌの広角光学系１３及び望遠光学系１４に対応する開口形状を有している。

受光セル１１６ａは、遮光部材１２０の遮光部１２０ａによりその開口の周辺部が遮光され、一方、受光セル１１６ｂは、遮光部材１２０の遮光部１２０ｂによりその開口の中心部が遮光されている。これにより、第１の撮影光学系１２_Ｌの広角光学系１３を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ａにより瞳分割されて受光セル１１６ａに入射し、一方、第１の撮影光学系１２_Ｌの望遠光学系１４を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ｂにより瞳分割されて受光セル１１６ｂに入射する。

これにより、イメージセンサ１１６の各受光セル１１６ａから第１の広角画像の画像信号を読み出すことができ、イメージセンサ１１６の各受光セル１１６ｂから第１の望遠画像の画像信号を読み出すことができる。

＜撮像部の他の実施形態＞
次に、本発明に係るステレオカメラに適用される撮像部の他の実施形態について説明する。

図１６は、ステレオカメラ１に適用可能な撮像部（第１の撮像部１１_Ｌ、第２の撮像部１１_Ｒ）の他の実施形態を示す断面図である。

この撮像部は、撮影光学系１１２と、指向性センサ１７とから構成されている。尚、指向性センサ１７は、図２及び図３に示したものと同一であるため、以下、撮影光学系１１２について説明する。

この撮影光学系１１２は、それぞれ同一の光軸上に配置された中央部の中央光学系１１３とその周辺部の環状光学系１１４とから構成されている。

中央光学系１１３は、第１レンズ１１３ａ、第２レンズ１１３ｂ、及び共通レンズ１１５から構成された望遠光学系であり、画角θを有している。

環状光学系１１４は、レンズ１１４ａ及び共通レンズ１１５から構成された広角光学系であり、画角φ（φ＞θ）を有し、中央光学系１１３よりも広角である。

この撮影光学系１１２は、図２に示した第１の撮影光学系１２_Ｌと比較すると、反射ミラーを使用しておらず、また、中央光学系１１３が望遠光学系であり、環状光学系１１４が広角光学系である点において相違する。

［その他］
本実施形態のステレオカメラは、第１の撮像部１１_Ｌ、第２の撮像部１１_Ｒをパン方向及びチルト方向に回動させるパンチルト機構３２が第１のカメラ本体２_Ｌ及び第２のカメラ本体２_Ｒに設けられているが、これに限らず、第１の撮像部１１_Ｌ、第２の撮像部１１_Ｒをそれぞれ２台の電動雲台（パンチルト装置）に搭載したものでもよい。

また、第１の広角画像及び第２の広角画像から主要被写体を検出する第１の被写体検出部及び第２の被写体検出部に加え、第１の望遠画像及び第２の望遠画像から主要被写体を検出する第３の被写体検出部及び第４の被写体検出部を設け、第１の望遠画像内及び第２の望遠画像内に主要被写体が入っている場合には、第３の被写体検出部及び第４の被写体検出部により第１の望遠画像内及び第２の望遠画像内における主要被写体の位置情報を検出し、パンチルト制御部（第１、第２のパンチルト制御部）は、検出された主要被写体の第１の望遠画像内及び第２の望遠画像内における位置情報に基づいてパンチルト機構を制御し、第３の被写体検出部及び第４の被写体検出部により主要被写体が検出できない場合は、第１の被写体検出部及び第２の被写体検出部により検出された主要被写体の第１の広角画像内及び第２の広角画像内における位置情報に基づいてパンチルト機構を制御するようにしてもよい。

更に、主要被写体は、表示部４２に表示された広角画像からタッチパネル等を使用して操作者が最初に設定するようにしてもよい。

更にまた、第１の撮影光学系１２_Ｌ及び第２の撮影光学系１２_Ｒの望遠光学系１４を構成する反射ミラーは、凹面鏡や凸面鏡に限らず、平面鏡でもよく、また、反射ミラーの枚数も２枚に限らず、３枚以上設けるようにしてもよい。

また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１ ステレオカメラ
２_Ｌ 第１のカメラ本体
２_Ｒ 第２のカメラ本体
４_Ｌ、４Ｒ 台座
８Ａ ギア
８_Ｌ、８_Ｒ 保持部
１０_Ｌ 第１のパンチルトカメラ
１０_Ｒ 第２のパンチルトカメラ
１１_Ｌ 第１の撮像部
１１_Ｒ 第２の撮像部
１２_Ｌ 第１の撮影光学系
１２_Ｒ 第２の撮影光学系
１３ 広角光学系
１３ａ 第１レンズ
１３ｂ 第２レンズ
１３ｃ 第３レンズ
１３ｄ 第４レンズ
１４ 望遠光学系
１４ａ 第１レンズ
１４ｂ 第２レンズ
１４ｃ 第１反射ミラー
１４ｄ 第２反射ミラー
１５ 共通レンズ
１６ マイクロレンズアレイ
１６ａ マイクロレンズ
１７ 指向性センサ
１７_Ｌ 第１の指向性センサ
１７_Ｒ 第２の指向性センサ
１７ａ 中央瞳像
１７ｂ 環状瞳像
１８ イメージセンサ
１８ａ 受光セル
１９ 焦点調節機構
２０ Ａ／Ｄ変換器
２２ 画像取得部
２２_Ｌ 第１の画像取得部
２２_Ｒ 第２の画像取得部
２４ｐ フレーム数
３０_Ｌ 第１のパンチルト装置
３０_Ｒ 第２のパンチルト装置
３０ｐ フレーム数
３２ パンチルト機構
３４ パン駆動部
３６ チルト駆動部
３７ 保持部材
３８ パン装置
４０ デジタル信号処理部
４２ 表示部
４４ 記録部
５０_Ｌ 第１の被写体検出部
５０_Ｒ 第２の被写体検出部
６０ パンチルト制御部
６０_Ｌ 第１のパンチルト制御部
６０_Ｒ 第２のパンチルト制御部
６２ パン制御部
７０ 距離情報算出部
７２ 視差量検出部
７２ａ 対応点検出部
７４ 距離画像算出部
７６ 距離画像記録部
１１２ 撮影光学系
１１３ 中央光学系
１１３ａ 第１レンズ
１１３ｂ 第２レンズ
１１４ 環状光学系
１１４ａ レンズ
１１５ 共通レンズ
１１６ イメージセンサ
１１６ａ 受光セル
１１６ｂ 受光セル
１１７ 指向性センサ
１１８ マイクロレンズアレイ
１１８ａ マイクロレンズ
１２０ 遮光部材
１２０ａ 遮光部
１２０ｂ 遮光部
１９０ 焦点制御部
１９２ 視差量検出部
１９４ 距離情報算出部
１９６ 合焦位置算出部
Ｄ 基線長
Ｌ_１ 光軸
Ｌ_２ 光軸
Ｓ１０〜Ｓ２８ ステップ
ｆ 焦点距離Δｘ_１、Δｘ_２ 視差量α_１、α_２ パン角度β_１、β_２、γ_１、γ２ 底角

Claims (16)

1. それぞれ光軸が一致し、かつ異なる領域に配置された広角光学系と望遠光学系とを有する第１の撮影光学系と、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を有する第１の指向性センサとを含む第１の撮像部と、
   前記第１の撮影光学系と同一構成の第２の撮影光学系と、前記第１の指向性センサと同一構成の第２の指向性センサとを含む第２の撮像部であって、前記第１の撮像部に対して基線長だけ離間して配置された前記第２の撮像部と、
   前記第１の指向性センサ及び前記第２の指向性センサから第１の広角画像及び第２の広角画像と、第１の望遠画像及び第２の望遠画像とを取得する画像取得部と、
   前記第１の撮像部及び前記第２の撮像部をそれぞれ水平方向及び垂直方向に回動させるパンチルト機構と、
   前記画像取得部により取得した前記第１の広角画像及び前記第２の広角画像に基づいて前記パンチルト機構を制御し、前記第１の撮影光学系及び前記第２の撮影光学系のそれぞれの光軸上において主要被写体を捕捉させるパンチルト制御部と、
   前記画像取得部により取得した前記第１の望遠画像及び前記第２の望遠画像に基づいて少なくとも前記主要被写体の距離情報を算出する距離情報算出部と、
   を備えたステレオカメラ。
2. 前記距離情報算出部は、前記第１の望遠画像及び前記第２の望遠画像に基づいてそれぞれ特徴量が一致する２つの対応点を検出する対応点検出部を備え、前記対応点検出部により検出した前記２つの対応点の前記第１の指向性センサ及び前記第２の指向性センサにおける視差量と、前記基線長と、前記第１の撮影光学系及び前記第２の撮影光学系のそれぞれの光軸方向と、前記望遠光学系の焦点距離とに基づいて前記対応点の距離を算出する請求項１に記載のステレオカメラ。
3. 前記第１の撮影光学系及び前記第２の撮影光学系は、それぞれ円形の中央光学系からなる前記広角光学系と、前記中央光学系に対して同心円状に配設された環状光学系からなる前記望遠光学系とにより構成された請求項１又は２に記載のステレオカメラ。
4. 前記第１の指向性センサ及び前記第２の指向性センサは、それぞれ瞳分割手段として機能するマイクロレンズアレイ又は遮光マスクを有する請求項１から３のいずれか１項に記載のステレオカメラ。
5. 前記第１の撮影光学系及び前記第２の撮影光学系のそれぞれの前記望遠光学系の焦点調節を行う第１の焦点調節部を有する請求項１から４のいずれか１項に記載のステレオカメラ。
6. 前記第１の焦点調節部は、前記画像取得部により取得した前記第１の広角画像及び前記第２の広角画像にそれぞれ含まれる前記主要被写体の前記第１の指向性センサ及び前記第２の指向性センサにおける視差量と、前記基線長と、前記第１の撮影光学系及び前記第２の撮影光学系のそれぞれの光軸方向と、前記広角光学系の焦点距離とに基づいて前記主要被写体の距離情報を取得し、前記取得した距離情報に基づいて前記第１の撮影光学系及び前記第２の撮影光学系のそれぞれの前記望遠光学系の焦点調節を行う請求項５に記載のステレオカメラ。
7. 前記第１の焦点調節部は、前記パンチルト制御部により前記パンチルト機構が制御され、前記第１の撮影光学系及び前記第２の撮影光学系のそれぞれの光軸上において前記主要被写体が捕捉されている場合に、前記基線長と、前記第１の撮影光学系及び前記第２の撮影光学系のそれぞれの光軸方向と、前記広角光学系の焦点距離とに基づいて前記主要被写体の距離情報を取得し、前記取得した距離情報に基づいて前記第１の撮影光学系及び前記第２の撮影光学系のそれぞれの前記望遠光学系の焦点調節を行う請求項５に記載のステレオカメラ。
8. 前記第１の撮影光学系及び前記第２の撮影光学系のそれぞれの前記望遠光学系の焦点調節を行う第１の焦点調節部と、前記第１の撮影光学系及び前記第２の撮影光学系のそれぞれの前記広角光学系の焦点調節を行う第２の焦点調節部とを有する請求項１から４のいずれか１項に記載のステレオカメラ。
9. 前記第１の焦点調節部は、前記第２の焦点調節部による前記広角光学系の合焦情報に基づいて前記主要被写体の距離情報を取得し、前記取得した距離情報に基づいて前記第１の撮影光学系及び前記第２の撮影光学系のそれぞれの前記望遠光学系の焦点調節を行う請求項８に記載のステレオカメラ。
10. 前記パンチルト機構は、前記第１の撮像部を水平方向及び垂直方向に回動させる第１のパンチルト機構と、前記第１のパンチルト機構とは独立して前記第２の撮像部を水平方向及び垂直方向に回動させる第２のパンチルト機構とを有し、
    前記パンチルト制御部は、前記第１の広角画像に基づいて前記第１のパンチルト機構を制御する第１のパンチルト制御部と、前記第２の広角画像に基づいて前記第２のパンチルト機構を制御する第２のパンチルト制御部とを有する請求項１から９のいずれか１項に記載のステレオカメラ。
11. 前記パンチルト機構は、前記第１のパンチルト機構と前記第２のパンチルト機構とを保持する保持部材と、前記保持部材を水平方向に回動させるパン機構とを有し、
    前記パンチルト制御部は、前記第１の広角画像及び前記第２の広角画像に基づいて前記パン機構を制御し、前記第１の撮像部と前記第２の撮像部とを前記主要被写体に正対させる請求項１０に記載のステレオカメラ。
12. 前記第１の広角画像及び前記第２の広角画像に基づいてそれぞれ前記主要被写体を検出する第１の被写体検出部及び第２の被写体検出部を備え、
    前記パンチルト制御部は、前記第１の被写体検出部及び前記第２の被写体検出部により検出された前記主要被写体の前記第１の広角画像内及び前記第２の広角画像内における各位置情報に基づいて前記パンチルト機構を制御し、前記第１の撮影光学系及び前記第２の撮影光学系のそれぞれの光軸上において前記主要被写体を捕捉させる請求項１から１１のいずれか１項に記載のステレオカメラ。
13. 前記第１の被写体検出部及び前記第２の被写体検出部は、前記画像取得部が連続して取得した前記第１の広角画像及び前記第２の広角画像に基づいて動体を検出し、前記検出した動体を前記主要被写体とする請求項１２に記載のステレオカメラ。
14. 前記第１の被写体検出部及び前記第２の被写体検出部は、前記第１の広角画像及び前記第２の広角画像に基づいて特定の被写体を認識し、前記認識した特定の被写体を前記主要被写体とする請求項１２に記載のステレオカメラ。
15. 前記第１の望遠画像及び前記第２の望遠画像に基づいて前記主要被写体を検出する第３の被写体検出部及び第４の被写体検出部を更に備え、
    前記パンチルト制御部は、前記第３の被写体検出部及び前記第４の被写体検出部により検出された前記主要被写体の前記第１の望遠画像内及び前記第２の望遠画像内における位置情報に基づいて前記パンチルト機構を制御し、前記第３の被写体検出部及び前記第４の被写体検出部により前記主要被写体が検出できない場合は、前記第１の被写体検出部及び前記第２の被写体検出部により検出された前記主要被写体の前記第１の広角画像内及び前記第２の広角画像内における位置情報に基づいて前記パンチルト機構を制御する請求項１２から１４のいずれか１項に記載のステレオカメラ。
16. 請求項１から１２のいずれか１項に記載のステレオカメラを使用したステレオカメラの制御方法であって、
    前記第１の指向性センサ及び前記第２の指向性センサから第１の広角画像及び第２の広角画像を取得するステップと、
    前記取得した前記第１の広角画像及び前記第２の広角画像に基づいて前記パンチルト機構を制御し、前記第１の撮影光学系及び前記第２の撮影光学系のそれぞれの光軸上において主要被写体を捕捉させるステップと、
    前記第１の撮影光学系及び前記第２の撮影光学系のそれぞれの光軸上において前記主要被写体を捕捉している状態において、前記第１の指向性センサ及び前記第２の指向性センサから第１の望遠画像及び第２の望遠画像を取得するステップと、
    前記取得した前記第１の望遠画像及び前記第２の望遠画像に基づいて少なくとも前記主要被写体の距離情報を算出するステップと、
    を含むステレオカメラの制御方法。