JP6648916B2 - 撮像装置 - Google Patents

Description

本発明は、主撮像系と副撮像系とを有する撮像装置に関する。

ビデオカメラやデジタルカメラ等の撮像装置において、通常の撮像画像を取得するための主撮像系とは別に副撮像系を備えたものが提案されている。

特許文献１には、ズームレンズを備えた主撮像系とは別に、広画角の単焦点レンズを備えた副撮像系を有する撮像装置が開示されている。この撮像装置では、副撮像系によって主撮像系よりも広い画角の撮像画像を取得することで、移動する被写体の追尾を行い易くしている。また、特許文献１には、主撮像系により取得した撮像画像と副撮像系により取得した撮像画像とを用いて被写体距離の情報を取得することが開示されている。

さらに、特許文献２には、ズームレンズを備えた主撮像系とは別に、互いに異なる焦点距離を有する複数のステレオカメラを副撮像系として有する撮像装置が開示されている。この撮像装置では、ステレオカメラによって得られた視差情報から被写体距離情報を取得し、その被写体距離情報を用いて主撮像系のＡＦ（オートフォーカス）制御を行う。

特開２０１２−４９６５１号公報 特開２０１３−６１５６０号公報

しかしながら、特許文献１，２にて開示された撮像装置では、主撮像系と副撮像系との視点位置の違いによって、副撮像系により取得した撮像画像に、主撮像系により取得された撮像画像には含まれていない被写体領域（オクルージョン領域）が生じる。一般に、オクルージョン領域では視差情報を算出することが難しい。このため、主撮像系の撮像画角の一部に、副撮像系を利用した視差情報を用いて被写体距離情報を取得することができない領域が生じることになる。

本発明は、主撮像系の撮像画角の全域において、副撮像系でのオクルージョン領域の発生により被写体距離情報の取得が不能となる等の問題を回避することができるようにした撮像装置を提供する。

本発明の他の一側面としての撮像装置は、変倍が可能な主光学系により形成された被写体像を撮像する主撮像系と、複数の副光学系のそれぞれにより形成された複数の被写体像をそれぞれ撮像する複数の副撮像系とを有する。複数の副光学系は、主光学系の光軸を含む断面を挟んだ両側の領域に配置されている。そして、主撮像系を介して撮像により生成された主画像と複数の副撮像系のそれぞれを介した撮像により生成された複数の副画像とを用いて主撮像系の撮像画角内での被写体距離情報の取得を行う処理手段を有し、複数の副光学系のうち少なくとも１つの副光学系と主光学系との光軸間距離が、他の副光学系と主光学系との光軸間距離に対して異なることを特徴とする。

本発明によれば、主撮像系の撮像画角の全域において、副撮像系でのオクルージョン領域の発生による不都合を回避することができる。すなわち、主撮像系の撮像画角の全域で精度良く被写体距離情報を取得したり、主撮像系および複数の副撮像系により取得した複数の画像を良好に合成したりすることが可能な撮像装置を実現することができる。

本発明の実施例１である撮像装置の正面図。 実施例１の撮像装置の構成を示すブロック図。 実施例１の撮像装置により取得される撮像画像を説明する図。 実施例１における撮像／画像合成処理を示すフローチャート。 対応領域抽出手法を説明する図。 実施例１におけるトリミング／拡大処理を説明する図。 実施例１における被写体距離算出処理を示すフローチャート。 実施例１における望遠側画像の使用を説明する図。 本発明の実施例２である撮像装置の正面図。 実施例２の撮像装置で取得された撮像画像を説明する図。 本発明の実施例３である撮像装置の正面図。 本発明の実施例４である撮像装置の正面図。 異なる視点からの撮像を説明する図。 オクルージョン領域を説明する図。 ２視点撮影方式のモデルを示す図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先立って、各実施例に共通する事項について説明する。各実施例は、変倍が可能な主光学系により形成された被写体像を撮像する主撮像系と、複数の副光学系のそれぞれにより形成された複数の被写体像をそれぞれ撮像する複数の副撮像系とを有する。主撮像系から撮像画像としての主画像が得られ、複数の副撮像系のそれぞれから撮像画像としての副画像が複数得られる。そして、これら主画像と複数の副画像を用いることで、主撮像系の撮像画角の全域において副撮像系の視点位置が主光学系の視点位置と異なることによるオクルージョン領域の発生によって被写体距離情報が得られなくなるという問題を回避する。すなわち、主撮像系の撮像画角内の全域において正確な被写体距離情報が得られるようにする。

ここで、視点位置の違いによるオクルージョン領域の発生について、図１３および図１４（ａ），（ｂ）を用いて説明する。図１３は、ある基線長だけ離されて配置された撮像装置Ｃ１，Ｃ２により、該撮像装置Ｃ１，Ｃ２から距離Ｌａだけ離れた被写体Ａと距離Ｌｂ（＞Ｌａ）だけ離れた被写体Ｂとを撮像している様子を示している。図１４（ａ），（ｂ）には、撮像装置Ｃ１，Ｃ２のそれぞれから得られる撮像画像を示している。これらの図から分かるように、基線長と被写体距離に応じた幾何学的な関係により、撮像画像内において被写体Ａ，Ｂのうち写っている領域が異なる。例えば、図１４（ａ）に示す撮像装置Ｃ１から得られる撮像画像では、被写体Ａの面Ａ３と被写体Ｂの面Ｂ３が写っているが、図１４（ｂ）に示す撮像装置Ｃ２から得られる撮像画像にはこれらの面Ａ３，Ｂ３は写っていない。一方、図１４（ｂ）の撮像画像には、図１４（ａ）の撮像画像には写っていない被写体Ｂの面Ｂ４が写っている。このように、視点位置の違いによって一方の撮像画像に写るが他方の撮像画像には写らない領域をオクルージョン領域という。

次に、互いに異なる視点位置からの撮像により得られた視差画像を用いた被写体距離の算出の原理について、図１５を用いて説明する。図１５には、２視点撮像方式のモデルを示している。座標は、左右のカメラＬ＿ｃａｍｅｒａ，Ｒ＿ｃａｍｅｒａの中心を原点とし、水平方向をｘ軸で表し、奥行き方向をｙ軸で表す。高さ方向については記載を省略している。

ここでは、左右のカメラＬ＿ｃａｍｅｒａ，Ｒ＿ｃａｍｅｒａの結像光学系の主点をそれぞれ、（−Ｗｃ，０）と（Ｗｃ，０）とし、各カメラの結像光学系の焦点距離をｆとする。ｙ軸上の座標（０，ｙ１）に位置する被写体Ａを左右のカメラＬ＿ｃａｍｅｒａ，Ｒ＿ｃａｍｅｒａで撮像する。このとき、左右カメラＬ＿ｃａｍｅｒａ，Ｒ＿ｃａｍｅｒａのイメージセンサ（撮像素子）のそれぞれの中心から被写体Ａの光学像（被写体像）のずれ量（視差ともいう）Ｐｌｃ，Ｐｒｃは、以下の式（１），（２）で表すことができる。

つまり、同一の被写体を異なる視点位置から撮像することで、視点ずれ方向（基線方向）に上記式（１），（２）で示すずれ量（視差量）Ｐｌｃ，Ｐｒｃを有する左右の視差画像を取得することができる。これらのずれ量Ｐｌｃ，Ｐｒｃから被写体Ａまでの距離ｙ１は、以下の式（３）により算出することができる。

このように視差画像を用いて被写体距離を算出するためには、視差画像間で対応する被写体領域を特定する必要がある。２つの画像間での同一被写体領域の特定方法としては、後述するブロックマッチング法等の対応点抽出手法を用いることができる。

ここで、図１３に示す撮像装置Ｃ１を主撮像系とし、撮像装置Ｃ２を副撮像系とする。前述したように、主撮像系Ｃ１から得られる撮像画像（図１４（ａ））には、被写体Ａの面Ａ３と被写体Ｂの面Ｂ３が写っているが、副撮像系Ｃ２から得られる撮像画像（図１４（ｂ））にはこれらの面Ａ３，Ｂ３が写っていない。つまり、主撮像系Ｃ１から得られる撮像画像内の被写体Ａの面Ａ３と被写体Ｂの面Ｂ３に対応する領域が副撮像系Ｃ２から得られる撮像画像内には存在しない。このため、上述した被写体像のずれ量を算出することは不可能である。つまり、主撮像系Ｃ１から得られる撮像画像内の被写体Ａの面Ａ３と被写体Ｂの面Ｂ３の領域の被写体距離が算出できないという問題が生じる。

副撮像系Ｃ２から得られる撮像画像内に被写体距離の算出ができない領域が存在しても大きな問題はない。しかし、最終出力画像を取得するための主撮像系Ｃ１から得られる撮像画像内に被写体距離の算出ができない領域が存在すると、その領域に対して被写体距離の情報を用いたＡＦ制御を行うことができない等の問題となる。

各実施例では、この問題を解消するために、主撮像系が有する変倍可能な主光学系に対して、複数の副撮像系が有する複数の副光学系を適切に配置する。

図１には、本発明の実施例１である撮像装置１を被写体側から見て示している。変倍可能な結像光学系である主光学系１００は、３５ｍｍ換算で２４ｍｍ〜３００ｍｍの可変焦点距離を有する。主撮像素子２００は、主光学系１００に対応する矩形の撮像領域を有し、主光学系１００により形成された被写体像を撮像（光電変換）する。主光学系１００および主撮像素子２００により主撮像系が構成される。

また、４つの副光学系１１０ａ，１１０ｂ，１２０ａ，１２０ｂはいずれも固定焦点距離（単焦点）の結像光学系である。図示しない４つの副撮像素子は、副光学系１１０ａ，１１０ｂ，１２０ａ，１２０ｂのそれぞれによって形成された被写体像を撮像（光電変換）する。各副光学系およびこれに対応する副撮像素子により副撮像系が構成される。すなわち、本実施例の撮像装置１は、４つの副撮像系を有する。そして、４つの副撮像系のうち、副光学系１１０ａ，１１０ｂおよびこれらに対応する副撮像素子により２つの第１の副撮像系が構成され、副光学系１２０ａ，１２０ｂおよびこれらに対応する副撮像素子により２つの第２の副撮像系が構成される。

主光学系１００および４つの副光学系１１０ａ，１１０ｂ，１２０ａ，１２０ｂは、それらの光軸が互いに平行になるように配置されている。副光学系（以下、第１の副光学系という）１１０ａ，１１０ｂは、主光学系１００の３５ｍｍ換算における広角端での焦点距離２４ｍｍと同じ焦点距離（つまりは同じ画角）を有する単焦点光学系である。一方、副光学系（以下、第２の副光学系という）１２０ａ，１２０ｂは、主光学系１００の広角端と望遠端との間の中間ズーム位置での焦点距離（つまりは広角端での画角より狭く、望遠端での画角以上の画角）を有する単焦点光学系である。例として、第２の副光学系１２０ａ，１２０ｂは、３５ｍｍ換算における１５０ｍｍの焦点距離を有する。

第１の副光学系１１０ａ，１１０ｂは、主光学系１００の光軸１００ａを含む断面（直線）３０１を挟んだ両側であって、該断面３０１に直交する水平方向における主光学系１００より外側（２本の線３０３より外側）の領域に配置されている。断面３０１は、主撮像素子２００の矩形の撮像領域の２つの長辺の中点と主光学系１００の光軸１００ａを通る断面である。第１の副光学系１１０ａ，１１０ｂをこのように配置することで、主光学系１００により取得される撮像画像の水平方向での全域（主撮像系の水平方向の撮像画角の全域）においてオクルージョン領域の発生を回避することができる。

また、第２の副光学系１２０ａ，１２０ｂは、主光学系１００の光軸１００ａを含む断面（直線）３０２を挟んだ両側であって、該断面３０２に直交する垂直方向における主光学系１００より外側（２本の線３０４より外側）の領域に配置されている。断面３０２は、主撮像素子２００の矩形の撮像領域の２つの短辺の中点と主光学系１００の光軸１００ａを通る断面である。第２の副光学系１２０ａ，１２０ｂをこのように配置することで、主光学系１００により取得される撮像画像の垂直方向全域（主撮像系の垂直方向の撮像画角の全域）においてオクルージョン領域の発生を回避することができる。

このようにオクルージョン領域の発生を回避できることで、後述するように主撮像系の撮像画角内において画像合成処理や被写体距離算出処理を良好に行うことができる。

各撮像系から得られる撮像画像を用いて、主撮像系の撮像画角の全域においてオクルージョン領域をなくすることができる原理について説明する。図３（ｂ）は、図１３に示した被写体Ａ，Ｂを主撮像系によって広角端の撮像画角で撮像することで得られた撮像画像（以下、主画像という）を示している。図３（ａ），（ｃ）は、被写体Ａ，Ｂを一方の第１の副撮像系（副光学系１１０ｂ）と他方の第１の副撮像系（副光学系１１０ａ）によって撮像することで得られた２つの撮像画像（以下、副画像という）を示している。これら主画像および副画像には、図１４（ａ），（ｂ）での説明と同様に、視点位置が異なることに起因して同一の被写体において写っている（含まれている）部分と写っていない（含まれていない）部分とが生じている。

しかし、図３（ｂ）の主画像を基準とすると、主画像に含まれる面Ａ１，Ｂ１は図３（ａ），（ｃ）に示す２つの副画像の両方に含まれている。また、主画像に含まれる面Ａ２，Ｂ２は図３（ｃ）の副画像に含まれており、主画像に含まれる面Ａ３，Ｂ３は図３（ａ）の副画像に含まれている。つまり、主画像に含まれる被写体面は全て２つの副画像のうち少なくとも一方に必ず含まれる。

このように、第１の副光学系１１０ａ，１１０ｂを断面３０１を挟んだ両側（さらには水平方向において主光学系１００より外側）の領域に配置することで、主撮像系の水平方向の撮像画角全域におけるオクルージョン領域をなくすることができる。同様に、第２の副光学系１２０ａ，１２０ｂを断面３０２を挟んだ両側（さらには垂直方向において主光学系１００より外側）の領域に配置することで、主撮像系の垂直方向の撮像画角全域におけるオクルージョン領域をなくすることができる。

なお、図１では、主光学系１００と副光学系１１０ａ，１１０ｂ，１２０ａ，１２０ｂの最も典型的な配置例を示しており、第１の副光学系１１０ａ，１１０ｂのそれぞれの光軸と主光学系１００の光軸は同一直線上（直線３０２上）に位置している。また、第２の副光学系１２０ａ，１２０ｂのそれぞれの光軸と主光学系１００の光軸は同一直線上（直線３０１上）に位置している。しかし、主および副光学系の同一直線上の配置は必ずしも必要ではなく、主光学系１００の光軸を含む断面を挟んだ両側の領域に副光学系が配置されて主撮像系の撮像画角全域でオクルージョン領域をなくせれば、主／副光学系は同一直線上に配置されなくてもよい。

図２には、本実施例の撮像装置１の電気的構成を示している。撮像装置１は、１つの主撮像系と４つの副撮像系を含む撮像系１０と、Ａ／Ｄ変換器１１と、画像処理部１２と、画像合成部１３とを有する。また、撮像装置１は、情報入力部１４と、撮像制御部１５と、画像記録媒体１６と、システムコントローラ１７と、表示部１８と、距離情報算出部１９とを有する。

Ａ／Ｄ変換器１１は、主撮像素子２００および不図示の４つの副撮像素子から出力されるアナログ撮像信号をデジタル撮像信号に変換して画像処理部１２に供給する。画像処理部１２は、Ａ／Ｄ変換器１１からのデジタル撮像信号に対して画素補間処理、色変換処理およびデジタルズーム処理等を行って撮像画像（主画像および４つの副画像）を生成する。また、画像処理部１２は、撮像画像を用いて各種演算処理を行い、それらの演算結果をシステムコントローラ１７に送信する。

画像処理部１２は、画像合成部１３をさらに有する。画像合成部１３は、基準視点となる主撮像系により取得された主画像を合成用の基準画像として設定し、該基準画像に対して４つの副撮像系により取得された副画像のうち少なくとも２つを合成する。画像の合成には、後述するブロックマッチング法等が用いられる。

情報入力部１４は、ユーザが所望の撮像条件（絞り値や露出時間等）を選択して入力する情報を検知してシステムコントローラ１７にそれらのデータを供給する。撮像制御部１５は、システムコントローラ１７からの命令に応じて、各光学系に含まれるフォーカスレンズを移動させたり、各光学系の絞り値を制御したり、各撮像系の撮像素子の露出時間を制御したりする。

画像記録媒体１６は、画像処理部１２により生成された撮像画像を格納したり、撮像画像を格納する画像ファイルを構成する場合のファイルヘッダを記録したりする。表示部１８は、撮像時のプレビュー画像や記録済みの撮像画像を表示したり、それぞれ選択可能なメニュー項目、焦点距離範囲（画角範囲）等を表示したりする。表示部１８は、液晶表示素子等により構成される。

距離情報算出部１９は、基準画像選択部２０と、対応点抽出部２１と、視差量算出部２２とを有する。基準画像選択部２０は、主撮像系によって得られた主画像を距離情報算出用の基準画像として選択する。対応点抽出部２１は、主画像および複数の副画像のうち一対の視差画像における互いに対応する画素（以下、対応点という）を抽出する。視差量算出部２２は、対応点抽出部２１により抽出された全ての対応点の視差量を算出する。距離情報算出部１９は、算出された視差量から主画像（つまりは主撮像系の撮像画角）の全域における被写体距離を算出する。

次に、本実施例におけるシステムコントローラ１７および画像処理部１２（画像合成部１３）が行う撮像／画像合成処理について、図４のフローチャートを用いて説明する。それぞれコンピュータにより構成されるシステムコントローラ１７および画像処理部１２は、撮像／画像合成処理をコンピュータプログラムである撮像／画像合成処理プログラムに従って実行する。「Ｓ」はステップ（工程）の略である。また、システムコントローラ１７は選択手段として、画像処理部１２は処理手段として機能する。

まず、システムコントローラ１７は、Ｓ１００において、情報入力部１４からユーザにより入力された撮像条件等の情報を取得する。そして、ユーザによって操作された不図示の撮像開始スイッチから撮像指示信号が入力されると、撮像制御部１５に撮像条件等の情報を転送する。撮像条件とは、主撮像系の撮像画角、絞り値およびシャッタースピード等である。撮像制御部１５は、入力された撮像条件に基づいて、主撮像系の撮像画角（ズーム状態）や主撮像系および副撮像系の絞り値、シャッタースピード等を制御する。

次に、Ｓ１０１では、システムコントローラ１７は、入力された撮像条件に応じて、第１および第２の副撮像系のうち撮像に使用する第１または第２の副撮像系を選択する。副撮像系の選択には、主撮像系に対して設定された撮像画角（以下、主撮像画角という）の情報を用いる。ここでは、主撮像系により得られる主画像の全体に対して画像合成を行うため、主撮像系の設定画角に対して同一またはより広い撮像画角（以下、副撮像画角という）を有する副撮像系を選択するものとする。

次に、Ｓ１０２では、システムコントローラ１７は、撮像制御部１５を介して、主撮像系とＳ１０１で選択した第１または第２の副撮像系による撮像（主および副撮像素子の露光）を行うとともに、画像処理部１２に撮像画像を生成させる。これにより、１つの主画像と２つの副画像とが、互いに視差を有する視差画像として取得される。この際、画像処理部１２において、各画像の輝度レベルやホワイトバランスの補正を行うことで、後段での画像合成により生成される合成画像における輝度むらや色むらを低減することができる。

次に、Ｓ１０３では、システムコントローラ１７は、主撮像画角が選択された副撮像系の副撮像画角と同一であるか否かを判定する。主撮像画角が副撮像画角と同一である場合はシステムコントローラ１７はＳ１０４に移行し、異なる場合はＳ１０５に移行する。

Ｓ１０４では、システムコントローラ１７は、画像処理部１２に、合成用の基準画像である主画像に対して、これと同一の撮像画角に対応する副画像を合成させる。

画像処理部１２による主画像と副画像の合成方法について説明する。ここでは代表例として、主撮像系の撮像画角が広角端に設定された場合について説明する。本実施例では、主画像（図３（ｂ））を基準画像とし、該基準画像に写っている被写体領域に対応する被写体領域を、第１の副撮像系（第１の副光学系１１０ａ，１１０ｂ）により得られた副画像（図３（ａ））から抽出して合成する。

まず、副画像（参照画像）から主画像（基準画像）に写っている被写体領域に対応する被写体領域の抽出方法について、図５を用いて説明する。図５の左側には図３（ｂ）に示した主画像である基準画像５０１を、右側には該基準画像５０１に合成される図３（ａ）に示した（副光学系１１０ｂを通して取得された）副画像である参照画像５０２を示している。ここでは、画像上の水平方向および垂直方向での位置を示す画像座標（Ｘ，Ｙ）を用いる。画像座標（Ｘ，Ｙ）は、図５に示す各画像の左上を原点として定義する。また、基準画像５０１における画像座標（Ｘ，Ｙ）の輝度をＦ１（Ｘ，Ｙ）とし、参照画像５０２における画像座標（Ｘ，Ｙ）の輝度をＦ２（Ｘ，Ｙ）とする。

基準画像５０１における任意の座標（Ｘ，Ｙ）の画素（ハッチングして示す）に対応する参照画像５０２中の画素（ハッチングして示す）は、参照画像５０２のうち基準画像５０１中の輝度Ｆ１（Ｘ，Ｙ）と最も類似した輝度を有する画素を探すことで求められる。ただし、任意の画素の輝度と最も類似する輝度を有する画素を単純に探すことは難しいため、画像座標（Ｘ，Ｙ）の近傍の画素も用いたブロックマッチング法にて輝度が類似した画素を探索する。

例えば、ブロックサイズが３である場合のブロックマッチング処理について説明する。基準画像５０１中の任意の座標（Ｘ，Ｙ）の画素と、その前後（Ｘ−１，Ｙ），（Ｘ＋１，Ｙ）の２つの画素の計３つの画素の輝度値はそれぞれ、
Ｆ１（Ｘ，Ｙ），Ｆ１（Ｘ−１，Ｙ），Ｆ１（Ｘ＋１，Ｙ）
となる。

これに対し、座標（Ｘ，Ｙ），（Ｘ−１，Ｙ），（Ｘ＋１，Ｙ）からＸ方向にｋだけずれた参照画像５０２中の画素の輝度値はそれぞれ、
Ｆ２（Ｘ＋ｋ，Ｙ），Ｆ２（Ｘ＋ｋ−１，Ｙ），Ｆ２（Ｘ＋ｋ＋１，Ｙ）
となる。

このとき、基準画像５０１中の座標（Ｘ，Ｙ）の画素との類似度Ｅを以下の式（４）で定義する。

この式（４）において逐次ｋの値を変えて類似度Ｅの値を計算し、最も小さい類似度Ｅを与える（Ｘ＋ｋ，Ｙ）が、参照画像５０２のうち基準画像５０１中の座標（Ｘ，Ｙ）に対応する画素（対応点）である。ここでは、水平方向に視差を有する画像間での対応点抽出方法について説明したが、同様にして垂直方向や斜め方向に視差を有する場合の対応点を抽出することもできる。

このようにして得られた対応点としての被写体領域を画素単位で基準画像に合成することで、基準画像内のノイズレベルを低減させることができ、出力される合成画像の画質を向上させることができる。

図３（ｃ）に示す副光学系１１０ａを通して得られる副画像には、図３（ｂ）に示す主画像における面Ａ３と面Ｂ３に対応する被写体領域が存在しないため、副光学系１１０ａを通して得られる副画像からこれら面Ａ３と面Ｂ３は合成されない。また、図３（ａ）に示す副光学系１１０ｂを通して得られる副画像には、図３（ｂ）に示す主画像における面Ａ２と面Ｂ２に対応する被写体領域が存在しないため、副光学系１１０ｂを通して得られる副画像からこれら面Ａ２と面Ｂ２は合成されない。

このように、オクルージョン領域は合成することができないが、その他の大部分については、基準画像の視点位置とは異なる視点位置からの撮像により得られた副画像を基準画像に合成することができる。このため、合成画像全体としてのノイズレベルを低減することができる。

なお、そのままではブロックマッチング法では対応できないほど視差が大きく基準画像と参照画像間で被写体領域の形状が大きく異なる場合には、参照画像に対してアフィン変換等の幾何変換を行った後に、ブロックマッチング法を用いて合成処理を行ってもよい。

以上説明した画像合成方法と同様にして、第２の副撮像系（副光学系１２０ａ，１２０ｂ）により得られる副画像を基準画像に合成することもできる。

副撮像画角が主撮像画角と異なるためにＳ１０３からＳ１０５に進んだシステムコントローラ１７は、画像処理部１２に、副画像（参照画像）の一部の画像領域を主撮像画角に対応した画像となるようにトリミングして拡大処理する。ここでは、主撮像画角が３５ｍｍ換算で５０ｍｍ相当の画角であるとする。

図６（ａ），（ｂ）はそれぞれ、図１３に示した被写体Ａ，Ｂを第１の副撮像系（第１の副光学系１１０ｂ，１１０ａ）により撮像して得られた副画像を示している。また、図６（ｃ）は、被写体Ａ，Ｂを主撮像系（主光学系１００）により撮像して得られる主画像を示している。さらに、図６（ｄ）は、図６（ｂ）に示した副画像のうち被写体Ａ，Ｂが写った画像領域を主撮像画角に対応するようにトリミングして拡大した画像（以下、拡大画像という）を示している。なお、図示はしないが、図６（ａ）に示した副画像についても主撮像画角に対応するようにその一部（被写体Ａ，Ｂが写った画像領域）をトリミングして拡大する。

次にＳ１０６では、システムコントローラ１７は、画像処理部１２に、Ｓ１０５でのトリミングおよび拡大処理により取得された拡大画像を主画像（基準画像）に対して合成させる。

ここで、基準画像とは撮像画角が異なる参照画像の基準画像への合成方法について説明する。基準画像（主画像）より広い撮像画角で取得された参照画像（副画像）においては、図６（ａ），（ｂ），（ｃ）に示すように画像上での被写体Ａ，Ｂのサイズが基準画像のそれとは異なっている。このため、まずＳ１０５において、図６（ｂ）の副画像のうち被写体Ａ，Ｂを含む領域を、該領域が主撮像画角と同一の撮像画角に対応した画像となるようにトリミングして拡大することで、図６（ｄ）に示す拡大画像を生成する。トリミングおよび拡大処理によって拡大画像の解像度は元の副画像のそれよりも劣化するが、拡大画像上での被写体Ａ，Ｂのサイズを主画像のそれと同じにすることができる。この後はＳ１０４と同様にして、拡大画像を新たな参照画像として基準画像に合成することで、合成画像を生成することができる。

本実施例では、前述したように、第１の副光学系１１０ａ，１１０ｂが断面３０１を挟んだ両側の領域に配置されている。これにより、図６（ａ）〜（ｃ）に示すように、主撮像系によって得られる主画像に写っている被写体領域は、第１の副光学系１１０ａ，１１０ｂを含む２つの第１の副撮像系によって得られる２つの副画像に全て写る。すなわち、基準画像としての主画像に写っているにもかかわらずいずれの副画像にも写っていないオクルージョン領域は発生しない。このため、基準画像に写っている全ての被写体領域をいずれかの副画像から合成することができる。

これと同様の効果は、第２の副光学系１２０ａ，１２０ｂが断面３０２を挟んだ両側の領域に配置されていることでも得られる。すなわち、主撮像系によって得られる主画像に写っている被写体領域は、第２の副光学系１２０ａ，１２０ｂを含む２つの第２の副撮像系によって得られる２つの副画像に全て写る。このため、基準画像に写っている全ての被写体領域をいずれかの副画像から合成することができる。

こうしてＳ１０４またはＳ１０６にて合成画像が生成されると、Ｓ１０７においてシステムコントローラ１７は、合成画像を画像記録媒体１６に保存する。そして、本処理を終了する。

次に、システムコントローラ１７および距離情報算出部１９が行う撮像／被写体距離算出処理について、図７のフローチャートを用いて説明する。ここでは、まず主撮像系と第１の副撮像系により得られる視差画像を用いる場合の処理について説明する。それぞれコンピュータにより構成されるシステムコントローラ１７および距離情報算出部１９は、撮像／被写体距離算出処理をコンピュータプログラムである撮像／被写体距離算出処理プログラムに従って実行する。「Ｓ」はステップ（工程）の略である。

Ｓ２００からＳ２０２までの処理は、図４に示したＳ１００からＳ１０２までの撮像および視差画像の生成に関する処理と同じであるため、ここでの説明は省略する。また、Ｓ２０３およびＳ２０４の処理についても、図４のＳ１０３およびＳ１０５のトリミングおよび拡大処理と同じであるため、ここでの説明は省略する。

Ｓ２０３またはＳ２０４からＳ２０５に進んだシステムコントローラ１７は、基準画像選択部２０に主画像を被写体距離算出用の基準画像として選択させる。さらに、システムコントローラ１７は、対応点抽出部２１に、基準画像と副画像または拡大画像としての参照画像との間で対応点を抽出させる。対応点は、例えば、２つの視差画像である基準画像と参照画像がいずれも図１３に示した被写体Ａを含む場合に該２つの視差画像のそれぞれにおける被写体Ａの画像部分の同じ箇所を構成する画素である。対応点抽出方法は、先の画像合成処理にて説明した方法をそのまま用いることができるので、ここでの説明は省略する。

次に、Ｓ２０６では、システムコントローラ１７は、視差量算出部２２に、Ｓ２０５で抽出された各対応点についての視差量を算出する。視差量は、上述したブロックマッチング法で得られた基準画像の各画素（基準画素）と該基準画素に対応する参照画像上の画素（対応画素）との画素位置の差分として算出される
次に、Ｓ２０７では、システムコントローラ１７は、距離情報算出部１９に、主画像に含まれる各被写体の被写体距離を算出させる。距離情報算出部１９は、Ｓ２０６で算出された視差量と、既知の情報である主光学系１００の焦点距離および副光学系１１０ａ，１１０ｂの基線長の情報とから、各被写体までの距離を式（３）を用いて算出する。

次に、Ｓ２０８では、システムコントローラ１７は、Ｓ２０７で算出された被写体距離の情報を、Ｓ２０２で取得した視差画像のデータとともに画像記録媒体１６に記録して、本処理を終了する。

ここでは第１の副光学系１１０ａ，１１０ｂを用いた場合の被写体距離の算出について説明したが、同様の処理によって第２の副光学系１２０ａ，１２０ｂを用いても被写体距離を算出することが可能である。

ここで、主光学系１００の広角端と望遠端の焦点距離の中間の焦点距離を有する第２の副光学系１２０ａ，１２０ｂを用いた被写体距離算出の利点について説明する。図７のＳ２００で情報入力部１４を通じて主光学系１００の焦点距離が１５０ｍｍに設定された場合には、Ｓ２０１では主光学系１００と同一画角（同一焦点距離）を有する第２の副光学系１２０ａ，１２０ｂを有する第２の副撮像系が選択される。このとき、Ｓ２０１では主撮像系よりも広い画角を有する第１の副撮像系を選択してもよいが、後述するデメリットが存在するため、主撮像系の撮像画角に最も近く、主撮像系と同一の撮像画角（またはより広い撮像画角）を有する第２の副撮像系を選択する。

図８（ａ），（ｂ），（ｃ）はそれぞれ、Ｓ２０２にて、図１３に示した被写体Ａ，Ｂを２つの第２の副撮像系（第２の副光学系１２０ａ，１２０ｂ）および主撮像系（主光学系１００）による撮像で得られる２つの副画像および主画像を示している。また、図８（ｄ）は、仮に２つの第１の副撮像系が選択された場合に一方の第１の副撮像系（第１の副光学系１１０ａ）による撮像で得られる副画像を示している。

図８（ａ），（ｂ），（ｃ）に示すように第２の副撮像系の撮像画角が主撮像系の撮像画角と同一であるため、図７のＳ２０３から対応点を抽出する処理（Ｓ２０５）に移行する。前述したように２つの第２の副光学系１２０ａ，１２０ｂは断面３０２を挟んだ両側の領域に配置されているため、図８ａ），（ｂ），（ｃ）に示すように、主画像に写っている被写体Ａ，Ｂは、２つの副画像に全て写り、オクルージョン領域は発生しない。また、このとき第２の副撮像系により得られる副画像における被写体Ａ，Ｂの領域をトリミングして拡大する必要がないため、解像度の劣化が生じず、良好な対応点抽出の結果が得られ、Ｓ２０６での良好な視差量の算出結果が得られる。

しかし、仮に第１の副撮像系が選択された場合には、図８（ｄ）に示すように第１の副撮像系により得られる副画像内の被写体Ａ，Ｂのサイズが主画像内のそれと大きく異なり、副画像内の被写体Ａ，Ｂの領域に対して６倍以上の拡大処理を行う必要がある。このため、拡大画像の解像度が大きく低下し、Ｓ２０５，Ｓ２０６における対応点抽出および視差量算出において大きな誤差が生じる可能性が高い。この結果、デメリットとして、被写体距離が誤算出されてＡＦの精度低下等が発生し易い。

つまり、本実施例のように、主撮像系の広角端と望遠端の中間の撮像画角と同一またはこれより広い撮像画角を有する副撮像系を有することで、主撮像系の撮像画角の全域においてより高精度に被写体距離を算出することができる。

以上説明したように、本実施例では、主光学系１００の光軸１００ａを含む断面（３０１，３０２）を挟んだ両側の領域に、単焦点光学系により構成された副光学系（１１０ａ，１１０ｂ，１２０ａ，１２０ｂ）を配置している。この構成により、主撮像系の撮像画角全域でオクルージョン領域の発生を回避し、良好な画像合成処理や被写体距離算出処理（被写体距離情報の取得処理）を行うことが可能な撮像装置を実現することができる。

さらに、副光学系が、主光学系の広角端と望遠端での焦点距離（画角）の中間の焦点距離（画角）を有することで、主撮像系の撮像画角の全域で高精度に被写体距離を算出することができる。

さらに、本実施例の構成を利用して様々な撮像モードを実現することもができる。例えば、ハイダイナミックレンジモードでは、複数の副撮像系のそれぞれで露出条件を異ならせて撮像を行い、得られた複数の副画像を主撮像系により得られる主画像に合成することで、ダイナミックレンジが広い合成画像が得られる。また、ぼけ付加モードでは、上述したように算出した被写体距離に基づいて背景にぼけを付加することで、主要な被写体を強調する画像を得ることもできる。また、背景除去モードでは、上記のように算出した被写体距離に基づいて主要な被写体以外の背景を除去した画像を得ることができる。さらに、立体撮像モードでは、水平方向に配列された主および副撮像系で左右の視差画像を取得し、一方の狭い画角の視差画像とそれに対応する他方の広い画角の画像の一部とを用いて立体視可能な画像を生成することができる。

また、本実施例では、副光学系を単焦点光学系とした場合について説明したが、変倍可能な光学系としてもよい。

次に、本発明の実施例２について説明する。図９には、本実施例の撮像装置２を被写体側から見て示している。実施例１と同じく、変倍可能な結像光学系である主光学系１００は、３５ｍｍ換算で２４ｍｍ〜３００ｍｍの可変焦点距離を有する。主撮像素子２００は、主光学系１００に対応する矩形の撮像領域を有し、主光学系１００により形成された被写体像を撮像する。主光学系１００および主撮像素子２００により主撮像系が構成される。

また、４つの副光学系１３０ａ，１３０ｂ，１４０ａ，１４０ｂはいずれも固定焦点距離（単焦点）の結像光学系である。図示しない４つの副撮像素子は、副光学系１３０ａ，１３０ｂ，１４０ａ，１４０ｂのそれぞれによって形成された被写体像を撮像する。各副光学系およびこれに対応する副撮像素子により副撮像系が構成される。すなわち、本実施例の撮像装置２は、４つの副撮像系を有する。そして、４つの副撮像系のうち、副光学系１１０ａ，１１０ｂおよびこれらに対応する副撮像素子により２つの第１の副撮像系が構成され、副光学系１２０ａ，１２０ｂおよびこれらに対応する副撮像素子により２つの第２の副撮像系が構成される。

主光学系１００および４つの副光学系１３０ａ，１３０ｂ，１４０ａ，１４０ｂは、それらの光軸が互いに平行になるように配置されている。副光学系（以下、第１の副光学系という）１３０ａ，１３０ｂは、主光学系１００の３５ｍｍ換算における広角端での焦点距離２４ｍｍと同じ焦点距離（つまりは同じ画角）を有する単焦点光学系である。一方、副光学系（以下、第２の副光学系という）１４０ａ，１４０ｂは、主光学系１００の広角端と望遠端との間の中間ズーム位置での焦点距離（つまりは広角端での画角より狭く、望遠端での画角以上の画角）を有する単焦点光学系である。例として、第２の副光学系１４０ａ，１４０ｂは、３５ｍｍ換算で１００ｍｍの焦点距離を有する。

第１の副光学系１３０ａ，１３０ｂは、主光学系１００の光軸１００ａを含む断面（直線）３０１を挟んだ両側であって、該断面３０１に直交する水平方向における主光学系１００より外側（２本の線３０３より外側）の領域に配置されている。断面３０１は、主撮像素子２００の矩形の撮像領域の２つの長辺の中点と主光学系１００の光軸１００ａを通る断面である。第１の副光学系１３０ａ，１３０ｂをこのように配置することで、主光学系１００により取得される撮像画像の水平方向での全域（主撮像系の水平方向の撮像画角の全域）においてオクルージョン領域の発生を回避することができる。

また、第２の副光学系１４０ａ，１４０ｂは、主光学系１００の光軸１００ａを含む断面（直線）３０２を挟んだ両側であって、該断面３０２に直交する垂直方向における主光学系１００より外側（２本の線３０４より外側）の領域に配置されている。断面３０２は、主撮像素子２００の矩形の撮像領域の２つの短辺の中点と主光学系１００の光軸１００ａを通る断面である。第２の副光学系１４０ａ，１４０ｂをこのように配置することで、主光学系１００により取得される撮像画像の垂直方向全域（主撮像系の垂直方向の撮像画角全域）においてオクルージョン領域の発生を回避することができる。

本実施例でも、上記のようにオクルージョン領域の発生を回避できることで、主撮像系の垂直方向の撮像画角全域において被写体距離算出処理や画像合成処理を良好に行うことができる。

なお、図９において、第１の副光学系１３０ａ，１３０ｂのそれぞれの光軸と主光学系１００の光軸は同一直線上（直線３０２上）に位置している。また、第２の副光学系１４０ａ，１４０ｂのそれぞれの光軸と主光学系１００の光軸は同一直線上（直線３０１上）に位置している。

ここまでの構成は実施例１と同様である。ただし、本実施例では、第１の副光学系１３０ａ，１３０ｂのそれぞれの光軸と主光学系１００の光軸１００ａとの距離である光軸間距離（基線長）が互いに異なる。また、第２の副光学系１４０ａ，１４０ｂのそれぞれの光軸と主光学系１００の光軸１００ａとの距離である光軸間距離（基線長）も互いに異なる。

より具体的は、第１の副光学系１３０ａおよび第２の副光学系１４０ａは主光学系１００の近傍に配置される一方、第１の副光学系１３０ｂおよび第２の副光学系１４０ｂは主光学系１００から離れた位置に配置されている。

このような副光学系の異なる光軸間距離での配置の効果について、図１０を用いて説明する。図１０（ｂ）は、図１３に示した被写体Ａ，Ｂを主光学系１００の画角を広角端に設定した主撮像系により撮像することで得られた主画像を示している。また、図１０（ａ），（ｃ）はそれぞれ、被写体Ａ，Ｂを第１の副光学系１３０ｂを有する第１の副撮像系および第１の副光学系１３０ａを有する第１の副撮像系により撮像することで得られた副画像を示している。

被写体Ａ，Ｂまでの距離である被写体距離が短い（近い）場合に主光学系１００および第１の副光学系１３０ｂ間の基線長が長いと、図１０（ａ）に示すように視差量が大きくなり過ぎて、被写体Ａが撮像画角からはみ出す。被写体Ａが副撮像系により得られる副画像（参照画像）に含まれないと、前述した対応点抽出処理を行うことができずに被写体距離の算出が不可能となる。

しかし、本実施例では、主光学系１００との基線長が短い第１の副光学系１３０ａを有し、基線長が短いことで被写体距離が短い場合でも視差量を小さくすることができる。このため、図１０（ｃ）に示すように、第１の副光学系１３０ａを含む第１の副撮像系により得られる副画像に被写体Ａ，Ｂの全部を含ませることができる。したがって、近距離被写体を撮像する場合においては、主撮像系により得られた主画像と第１の副光学系１３０ａを含む第１の副撮像系により得られる副画像とを用いて、主撮像系の撮像画角の全域で被写体距離を算出することが可能となる。

反対に、被写体距離が長い（遠い）場合は主光学系１００との基線長が短い第１の副光学系１３０ａを含む第１の副撮像系により得られる副画像では視差量が小さくなりすぎるため、被写体距離の算出精度が低下する。

しかし、本実施例では、主光学系１００との基線長が長い第１の副光学系１３０ｂを有し、基線長が長いことで被写体距離が長い場合でも視差量を大きくすることができる。このため、遠距離被写体を撮像する場合においては、主撮像系により得られた主画像と第１の副光学系１３０ｂを含む第１の副撮像系により得られる副画像とを用いて、被写体距離を精度良く算出することが可能となる。

以上説明したように、本実施例では、複数の副光学系１３０ａ，１３０ｂ，１４ａ，１４０ｂのうち少なくとも１つの副光学系と主光学系１００との間の光軸間距離を他の少なくとも１つの副光学系と主光学系１００との光軸間距離が異なるように配置した。これにより、広い被写体距離の範囲において高精度に被写体距離情報を取得することができる。

次に、本発明の実施例３について説明する。図１１には、本実施例の撮像装置３を被写体側から見て示している。実施例１，２と同じく、変倍可能な結像光学系である主光学系１００は、３５ｍｍ換算で２４ｍｍ〜３００ｍｍの可変焦点距離を有する。主撮像素子２００は、主光学系１００に対応する矩形の撮像領域を有し、主光学系１００により形成された被写体像を撮像する。主光学系１００および主撮像素子２００により主撮像系が構成される。

また、２つの副光学系１５０ａ，１５０ｂはいずれも固定焦点距離（単焦点）の結像光学系である。図示しない２つの副撮像素子は、副光学系１５０ａ，１５０ｂのそれぞれによって形成された被写体像を撮像する。各副光学系およびこれに対応する副撮像素子により副撮像系が構成される。すなわち、本実施例の撮像装置３は、２つの副撮像系を有する。

主光学系１００および２つの副光学系１５０ａ，１５０ｂは、それらの光軸が互いに平行になるように配置されている。副光学系１５０ａは、主光学系１００の３５ｍｍ換算における広角端での焦点距離２４ｍｍよりも短い２０ｍｍの焦点距離（つまりはより広い画角）を有する単焦点光学系である。一方、副光学系１５０ｂは、主光学系１００の広角端と望遠端との間の中間ズーム位置での焦点距離（つまりは広角端での画角より狭く、望遠端での画角以上の画角：例えば１００ｍｍ）を有する単焦点光学系である。

副光学系１５０ａ，１５０ｂは、主光学系１００の光軸１００ａを含む断面（直線）３０１を挟んだ両側であって、該断面３０１に直交する水平方向における主光学系１００より外側（２本の線３０３より外側）の領域に配置されている。断面３０１は、主撮像素子２００の矩形の撮像領域の２つの長辺の中点と主光学系１００の光軸１００ａを通る断面である。副光学系１５０ａ，１５０ｂをこのように配置することで、主光学系１００により取得される撮像画像の水平方向での全域（主撮像系の水平方向の撮像画角の全域）においてオクルージョン領域の発生を回避することができる。

なお、図１１において、副光学系１５０ａ，１５０ｂのそれぞれの光軸と主光学系１００の光軸は同一直線上（直線３０２上）に位置している。

本実施例では、実施例１，２と異なり、副撮像系の一部が主撮像系の広角端の撮像画角よりも広い撮像画角を有する。このため、主撮像系よりも広い被写体側の範囲を副撮像系を通じて観察することができ、移動する被写体を追尾したり主撮像系の撮像画角を適切に設定したりするための判定に利用することができる。

また、本実施例では、２つの副撮像系の焦点距離（撮像画角）が互いに異なるように配置されている。このため、主撮像系の撮像画角の全域でオクルージョン領域の発生をなくすことができるのが、主光学系１００の画角が副光学系１５０ｂの画角（焦点距離１００ｍｍ）よりも狭く設定されたときのみとなる。具体的には、副光学系１５０ａを含む副撮像系から得られる副画像の一部の画像領域をトリミングして拡大する処理を行うことで、副光学系１５０ｂを含む副撮像系から得られる副画像と同じ被写体のサイズが得られるように拡大する。こりにより、その後の処理を実施例１と同様に行うことができる。

ただし、実施例１と同様に主光学系１００の広角端と望遠端の中間の焦点距離を有する副光学系１５０ｂを有することで、副撮像系の総数を減らしても主撮像系の望遠側の撮像画角を用いることで高精度に被写体距離を算出することができる。

次に、本発明の実施例４について説明する。図１２には、本実施例の撮像装置４を被写体側から見て示している。実施例１〜３と同じく、変倍可能な結像光学系である主光学系１００は、３５ｍｍ換算で２４ｍｍ〜３００ｍｍの可変焦点距離を有する。主撮像素子２００は、主光学系１００に対応する矩形の撮像領域を有し、主光学系１００により形成された被写体像を撮像する。主光学系１００および主撮像素子２００により主撮像系が構成される。

また、６つの副光学系１６０ａ，１６０ｂ，１７０ａ，１７０ｂ，１８０ａ，１８０ｂはいずれも固定焦点距離（単焦点）の結像光学系である。図示しない６つの副撮像素子は、副光学系１６０ａ，１６０ｂ，１７０ａ，１７０ｂ，１８０ａ，１８０ｂのそれぞれによって形成された被写体像を撮像する。各副光学系およびこれに対応する副撮像素子により副撮像系が構成される。すなわち、本実施例の撮像装置４は、６つの副撮像系を有する。そして、６つの副撮像系のうち、副光学系１６０ａ，１６０ｂおよびこれらに対応する副撮像素子により２つの第１の副撮像系が構成され、副光学系１７０ａ，１７０ｂ，１８０ａ，１８０ｂおよびこれらに対応する副撮像素子により４つの第２の副撮像系が構成される。なお、以下の説明では、副光学系１７０ａ，１７０ｂを含む２つの副撮像系を第２の副撮像系といい、副光学系１８０ａ，１８０ｂを含む２つの副撮像系を第３の副撮像系という。

主光学系１００および６つの副光学系１６０ａ，１６０ｂ，１７０ａ，１７０ｂ，１８０ａ，１８０ｂは、それらの光軸が互いに平行になるように配置されている。副光学系（以下、第１の副光学系という）１６０ａ，１６０ｂは、主光学系１００の３５ｍｍ換算における広角端での焦点距離２４ｍｍと同じ焦点距離（つまりは同じ画角）を有する単焦点光学系である。また、副光学系（以下、第２の副光学系という）１７０ａ，１７０ｂは、主光学系１００の広角端と望遠端との間の広角側中間ズーム位置での焦点距離（つまりは広角端での画角より狭く、望遠端での画角以上の画角）を有する単焦点光学系である。例として、第２の副光学系１７０ａ，１７０ｂは、３５ｍｍ換算で１００ｍｍの焦点距離を有する。さらに、副光学系（以下、第３の副光学系という）１８０ａ，１８０ｂは、主光学系１００の広角端と望遠端との間の望遠側中間ズーム位置での焦点距離（広角端での画角より狭く、望遠端での画角以上の画角）を有する単焦点光学系である。例として、第３の副光学系１８０ａ，１８０ｂは、３５ｍｍ換算で２００ｍｍの焦点距離を有する。

第１の副光学系１６０ａ，１６０ｂは、主光学系１００の光軸１００ａを含む断面３０１を挟んだ両側であって、該断面３０１に直交する水平方向における主光学系１００より外側（２本の線３０３より外側）の領域に配置されている。断面３０１は、主撮像素子２００の矩形の撮像領域の２つの長辺の中点と主光学系１００の光軸１００ａを通る断面である。第１の副光学系１６０ａ，１６０ｂをこのように配置することで、主光学系１００により取得される撮像画像の水平方向での全域（主撮像系の水平方向の撮像画角の全域）においてオクルージョン領域の発生を回避することができる。

第２および第３の副光学系１７０ａ，１７０ｂ，１８０ａ，１８０ｂは、主光学系１００の光軸１００ａを含む断面３０２を挟んだ両側であって、該断面３０２に直交する垂直方向での主光学系１００より外側（２本の線３０４より外側）の領域に配置されている。断面３０２は、主撮像素子２００の矩形の撮像領域の２つの短辺の中点と主光学系１００の光軸１００ａを通る断面である。第２および第３の副光学系１７０ａ，１７０ｂ，１８０ａ，１８０ｂをこのように配置することで、主光学系１００により取得される撮像画像の垂直方向全域（主撮像系の垂直方向の撮像画角全域）においてオクルージョン領域の発生を回避することができる。

なお、図１２において、第１の副光学系１６０ａ，１６０ｂのそれぞれの光軸と主光学系１００の光軸は同一直線上（直線３０２上）に位置している。また、第３の副光学系１８０ａ，１８０ｂのそれぞれの光軸と主光学系１００の光軸は同一直線上（直線３０１上）に位置している。

一方、第２の副光学系１７０ａ，１７０ｂのそれぞれの光軸は、直線３０１，３０２上にはないが、主光学系１００の光軸を通り、直線３０１，３０２に対して傾いた直線３０５上に位置している。

本実施例では、主撮像系の広角端と望遠端との間の２つの撮像画角を有する副撮像系（以下、２種類の副撮像系という）が設けられている。このように２種類の副撮像系を有することで、いずれかの副撮像系により取得される副画像の一部の画像領域をトリミングして拡大する処理を行うときの拡大率を低減することができる。このため、拡大画像の解像度の低下を抑えることができ、さらに高精度に被写体距離情報を取得することができる。

なお、上記各実施例では、主撮像系と複数の副撮像系のそれぞれに別々の撮像素子（主撮像素子および複数の副撮像素子）を設ける場合について説明した。しかし、１つの撮像素子に主撮像系で用いる主撮像領域と複数の副撮像系で用いる複数の副撮像領域を設けてもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１，２，３，４ 撮像装置
１００ 主光学系
１１０ａ，１１０ｂ，１２０ａ，１２０ｂ，１３０ａ，１３０ｂ，１４０ａ，
１４０ｂ，１５０ａ，１５０ｂ，１６０ａ，１６０ｂ，１７０ａ，１７０ｂ，
１８０ａ，１８０ｂ 副光学系

Claims (9)

1. 変倍が可能な主光学系により形成された被写体像を撮像する主撮像系と、
   複数の副光学系のそれぞれにより形成された複数の被写体像をそれぞれ撮像する複数の副撮像系とを有し、
   前記複数の副光学系は、前記主光学系の光軸を含む断面を挟んだ両側の領域に配置されており、
   前記主撮像系を介した撮像により生成された主画像と前記複数の副撮像系のそれぞれを介した撮像により生成された複数の副画像とを用いて前記主撮像系の撮像画角内での被写体距離情報の取得を行う処理手段を有し、
   前記複数の副光学系のうち少なくとも１つの副光学系と前記主光学系との光軸間距離が、他の副光学系と前記主光学系との光軸間距離に対して異なることを特徴とする撮像装置。
2. 前記複数の副光学系は、前記主光学系の光軸を含む断面を挟んだ両側であって、前記断面に直交する方向における前記主光学系より外側の領域に配置されていることを特徴とする請求項１に記載の撮像装置。
3. 前記複数の副光学系はそれぞれ、単焦点光学系であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記複数の副光学系のうち少なくとも１つの副光学系は、前記主光学系の広角端での画角以上の画角を有する単焦点光学系であることを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記複数の副光学系のうち少なくとも１つの副光学系は、前記主光学系の広角端での画角より狭く、かつ望遠端での画角以上の画角を有する単焦点光学系であることを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記複数の副光学系は、
   前記主光学系の広角端での画角以上の画角を有する単焦点光学系である少なくとも２つの第１の副光学系と、
   前記主光学系の広角端での画角より狭く、望遠端での画角以上の画角を有する単焦点光学系である少なくとも２つの第２の副光学系とを含むことを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
7. 前記複数の副光学系のうち少なくとも２つの副光学系の光軸と前記主光学系の光軸とが同一直線上に位置していることを特徴とする請求項１乃至６のいずれか一項に記載の撮像装置。
8. 前記主光学系において設定された画角に応じて、前記複数の副撮像系のうち前記被写体距離情報を取得するために用いる前記副撮像系を選択する選択手段を有することを特徴とする請求項１に記載の撮像装置。
9. 前記処理手段は、前記被写体距離情報を取得する際に、前記主撮像系の撮像画角と前記選択手段により選択された前記副撮像系の撮像画角とが異なる場合は、該選択された副撮像系により生成された前記副画像から前記主撮像系の撮像画角に対応する画像領域をトリミングして拡大することで得られた拡大画像を用いて前記被写体距離情報を取得することを特徴とする請求項８に記載の撮像装置。