JP6552315B2 - 撮像装置 - Google Patents

Description

本発明は、主撮像系と副撮像系とを有する撮像装置に関する。

ビデオカメラやデジタルカメラ等の撮像装置において、通常の撮像画像を取得するための主撮像系とは別に副撮像系を備えたものが提案されている。

特許文献１には、ズームレンズを備えた主撮像系とは別に、広画角の単焦点レンズを備えた副撮像系を有する撮像装置が開示されている。この撮像装置では、副撮像系によって主撮像系よりも広い画角の撮像画像を取得することで、移動する被写体の追尾を行い易くしている。特許文献１には、主撮像系により取得した撮像画像と副撮像系により取得した撮像画像とを用いて被写体距離の情報を取得することが開示されている。

また、特許文献２には、ズームレンズを備えた主撮像系とは別に、互いに異なる焦点距離を有する複数のステレオカメラを副撮像系として有する撮像装置が開示されている。この撮像装置では、ステレオカメラによって得られた視差情報から被写体距離情報を取得し、その被写体距離情報を用いて主撮像系のＡＦ（オートフォーカス）制御を行う。

特開２０１２−４９６５１号公報 特開２０１３−６１５６０号公報

撮像装置を小型化しつつ高ズーム比を得るために、非撮像時には撮像装置の本体に対して格納され、撮像時に本体に対して繰り出される、いわゆる沈胴タイプのレンズ鏡筒がある。そして、この沈胴タイプのレンズ鏡筒は、特許文献１，２に開示された撮像装置の主撮像系のズームレンズにも用いることができる。

しかしながら、主撮像系の沈胴タイプのレンズ鏡筒と副撮像系のレンズとの距離が近いと、副撮像系の画角が繰り出されたレンズ鏡筒によってけられるおそれがある。副撮像系のレンズを主撮像系のレンズ鏡筒から離すことでレンズ鏡筒による副撮像系の画角のけられをなくすることも可能であるが、これでは撮像装置が大型化する。

さらに、特許文献２にて開示された撮像装置では、主撮像系の望遠端での画角に近い画角を有する副撮像系を有しており、この副撮像系が主撮像系から大きく離れた位置に配置されている。このため、近距離の被写体を撮像する際に、主撮像系と副撮像系とで共通に撮像可能な画角範囲が減少し、被写体距離情報を取得可能な被写体距離範囲が狭くなる。このことは、主撮像系のズームレンズのズーム比が高くなるほど顕著になる。

特許文献１，２では、主撮像系に沈胴タイプのレンズ鏡筒を用いた場合の副撮像系の配置条件が考慮されていない。

本発明は、高ズーム比の主撮像系を有しつつ、主撮像系と副撮像系を用いて広い被写体距離範囲で精度良く被写体距離情報を取得できるようにした小型の撮像装置を提供する。

本発明の一側面としての撮像装置は、変倍可能な主光学系により形成された被写体像を撮像する主撮像系と、主光学系の広角端での画角以上の画角を有する第１の副光学系により形成された被写体像を撮像する第１の副撮像系と、主光学系の広角端での画角より狭く、望遠端の画角以上の画角を有する第２の副光学系により形成された被写体像を撮像する第２の副撮像系とを有する。主光学系を保持する光学鏡筒が該撮像装置の本体に対して繰り出し可能であって、第１および第２の副光学系が本体に設けられている。主光学系の光軸に対して第１の副光学系の光軸および第２の副光学系の光軸が離間する方向をそれぞれ、第ｉを第１または第２として、第ｉの光軸離間方向とし、主光学系の望遠端での第２の光軸離間方向での半画角をΩ_ｔとし、主光学系の望遠端での焦点距離をｆ_ｔとし、第２の副光学系と主光学系の光軸間距離をＮとし、第１および第２の副光学系のうち、第ｉの副光学系の第ｉの光軸離間方向での半画角をω_ｉとし、第ｉの副光学系の光軸と光学鏡筒のうち本体側から数えてｊ段目の鏡筒部の外周面までの第ｉの光軸離間方向での距離をＬ_ｉｊとし、第１および第２の副光学系における最も被写体側の光学面に対するｊ段目の鏡筒部の繰り出し量をＭ_ｊとする。このとき、

なる条件を満足することを特徴とする。

本発明によれば、式（１），（２）の条件を満足することで、高ズーム比の主撮像系を有しつつも、主撮像系と副撮像系を用いて広い被写体距離範囲で精度良く被写体距離情報を取得することが可能な小型の撮像装置を実現することができる。

本発明の実施例１である撮像装置の底面図。 実施例１の撮像装置の正面図。 実施例１の撮像装置の電気的構成を示すブロック図。 実施例１と式（１）の条件との関係を説明する図。 実施例１と式（２）の条件との関係を説明する図。 実施例１における広角での撮像画像を説明する図。 実施例１における望遠での撮像画像を説明する図。 実施例１における撮像／画像合成処理を示すフローチャート。 対応領域抽出手法を説明する図。 実施例１における被写体距離算出処理を示すフローチャート。 本発明の実施例２である撮像装置の正面図。 実施例２における条件式（１）を説明する図。 実施例２における条件式（２）を説明する図。 本発明の実施例３である撮像装置の正面図。 実施例３における条件式（１）を説明する図。 実施例３における条件式（２）を説明する図。 ２視点撮像方式のモデルを示す図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先立って、各実施例に共通する事項について説明する。各実施例は、変倍が可能な主光学系により形成された被写体像を撮像する主撮像系と、それぞれ第１の副光学系および第２の副光学系により形成された被写体像を撮像する第１の副撮像系および第２の撮像系とを有する。第１の副光学系は、主光学系の広角端での画角以上の画角を有する。また、第１の副光学系は、主光学系の広角端での画角より狭く、望遠端の画角以上の画角を有する。主撮像系から撮像画像としての主画像が得られ、第１および第２の副撮像系のそれぞれから撮像画像としての副画像が得られる。そして、これら主画像と副画像を用いて被写体距離情報を取得したり合成画像を生成したりする。

被写体距離情報は、それぞれ視点位置が異なる主撮像系と第１または第２の副撮像系とにより生成された視差画像を用いて得られる。視差画像を用いた被写体距離の算出の原理について、図１７を用いて説明する。図１７には、２視点撮像方式のモデルを示している。座標は、左右のカメラＬ＿ｃａｍｅｒａ，Ｒ＿ｃａｍｅｒａの中心を原点とし、水平方向をｘ軸で表し、奥行き方向をｙ軸で表す。高さ方向については記載を省略している。

ここでは、左右のカメラＬ＿ｃａｍｅｒａ，Ｒ＿ｃａｍｅｒａの結像光学系の主点をそれぞれ、（−Ｗｃ，０）と（Ｗｃ，０）とし、各カメラの結像光学系の焦点距離をｆとする。ｙ軸上の座標（０，ｙ１）に位置する被写体Ａを左右のカメラＬ＿ｃａｍｅｒａ，Ｒ＿ｃａｍｅｒａで撮像する。このとき、左右カメラＬ＿ｃａｍｅｒａ，Ｒ＿ｃａｍｅｒａのイメージセンサ（撮像素子）のそれぞれの中心から被写体Ａの光学像（被写体像）のずれ量（視差ともいう）Ｐｌｃ，Ｐｒｃは、以下の式（１１），（１２）で表すことができる。

つまり、同一の被写体を異なる視点位置から撮像することで、視点ずれ方向（基線方向）に上記式（１１），（１２）で示すずれ量（視差量）Ｐｌｃ，Ｐｒｃを有する左右の視差画像を取得することができる。これらのずれ量Ｐｌｃ，Ｐｒｃから被写体Ａまでの距離ｙ１は、以下の式（１３）により算出することができる。

このように視差画像を用いて被写体距離を算出するためには、視差画像間で対応する被写体領域を特定する必要がある。２つの画像間での同一被写体領域の特定方法としては、後述するブロックマッチング法等の対応点抽出手法を用いることができる。

次に、各実施例の撮像装置において、主撮像系の変倍可能な光学系（ズームレンズ）を沈胴タイプのレンズ鏡筒により保持した場合に生じる問題として、視差画像間にて互いに対応する被写体領域を特定できない状態の発生について説明する。

沈胴タイプのレンズ鏡筒は、撮像時において、撮像装置の前面（被写体側の面）に対して被写体側に繰り出す。このため、主撮像系にこの沈胴タイプのレンズ鏡筒が用いられる場合に、該レンズ鏡筒の近くに副撮像系を配置すると、副撮像系の画角が繰り出されたレンズ鏡筒によってけられ、副撮像系により得られる副画像に欠けが生じる。この結果、主撮像系により得られる主画像に含まれる被写体が副画像に写っていない場合が生じる。レンズ鏡筒による画角のけられをなくするために主撮像系のレンズ鏡筒から大きく離れた位置に副撮像系を配置すると、撮像装置が大型化するだけでなく、主および副撮像系間の基線長が大きくなり、視差画像間のずれ量（視差量）が大きくなり過ぎる。

特に、近距離被写体を撮像する際に、主および副撮像系間の基線長が大きすぎると、これらにより共通に撮像可能な画角範囲（以下、共通撮像画角範囲という）が減少して、主画像に含まれる被写体の一部が副画像に写らなくなる。同じ被写体が視差画像の双方に写っていないと、視差画像間で互いに対応する被写体領域を特定することができないため、被写体距離を算出することもできない。

このため、各実施例では、撮像装置の前面に第１および第２の副光学系が配置され、主光学系を保持する光学鏡筒してのレンズ鏡筒が撮像装置の本体（前面）に対して繰り出し可能であるとする。

そして、主光学系の光軸に対して第１の副光学系の光軸および第２の副光学系の光軸が離間する方向をそれぞれ、第ｉを第１または第２として、第ｉの光軸離間方向とする。また、主光学系の望遠端での第２の光軸離間方向での半画角をΩ_ｔとし、主光学系の望遠端での焦点距離をｆ_ｔとし、第２の副光学系と主光学系の光軸間距離をＮとし、第１および第２の副光学系のうち第ｉの副光学系の第ｉの光軸離間方向での半画角をω_ｉとする。さらに、第ｉの副光学系の光軸と光学鏡筒のうち本体側からｊ段目の鏡筒部の外周面までの第ｉの光軸離間方向での距離をＬ_ｉｊとし、第１および第２の副光学系における最も被写体側の光学面に対するｊ段目の鏡筒部の繰り出し量をＭ_ｊとする。このとき、各実施例の撮像装置は、以下の式（１），（２）により表される条件を満足する。

式（１）の条件は、変倍可能な主光学系を保持するレンズ鏡筒の繰り出し量と、第１および第２の副光学系の配置位置と、これらの画角に関する条件である。この条件を満足することで、主撮像系のレンズ鏡筒によって副撮像系の撮像画角がけられることを防止するとともに、撮像装置の大型化を回避することができる。また、式（２）の条件は、主光学系の望遠端での半画角と、主光学系の焦点距離と、主光学系と第２の副撮像系との光軸間距離に関する条件である。この条件を満足することで、近距離被写体を撮像する際に主撮像系と第２の副撮像系との共通撮像画角範囲を十分に確保することができる。したがって、式（１），（２）の条件の双方を満足することで、主撮像系と第１および第２の副撮像系を備えた撮像装置において、撮像装置を小型化しつつ、広い被写体距離範囲において精度良く被写体距離情報を取得することが可能となる。

式（１）の値がその下限値を下回ると、主撮像系のレンズ鏡筒によって副撮像系の撮像画角がけられ、主画像に含まれる被写体の一部が副画像に写らないため、主画像において被写体距離情報を取得できない領域が生じて、好ましくない。一方、式（１）の値がその上限値を超えると、主撮像系のレンズ鏡筒によって副撮像系の撮像画角はけられないが、副光学系を主光学系から大きく離して配置することとなり、撮像装置が大型化するので、好ましくない。

また、式（２）の値がその上限を超えると、主撮像系と第２の副撮像系のそれぞれにより得られる主画像と副画像間で共通して写っている被写体領域がかなり減少するため、主画像において被写体距離情報を取得できない領域が大きくなり、好ましくない。

なお、式（１），（２）の数値範囲を以下の式（１ａ），（２ａ）のようにすると、より好ましい。

また、式（１），（２）の数値範囲を以下の式（１ｂ），（２ｂ）のようにすると、さらに好ましい。

以下、具体的な実施例について説明する。

図１には、本発明の実施例１である撮像装置１を下側から見て示している。図１には、レンズ鏡筒が繰り出した状態の撮像装置１を示している。また、図２には、本実施例の撮像装置１を被写体側から見て示している。撮像装置１の本体（筐体）１ａの被写体側の面である前面の中央には、主光学系１００を保持する２段沈胴タイプのレンズ鏡筒２００が本体１ａに対して格納および繰り出し可能に設けられている。また、本体１ａの前面には、第１の副光学系１１０および第２の副光学系１２０が、レンズ鏡筒２００を挟んだ水平方向両側に位置するように配置されている。

主光学系１００は、３５ｍｍ換算で２４ｍｍ〜３００ｍｍの可変焦点距離を有する結像光学系である。不図示の主撮像素子（ＣＣＤセンサまたはＣＭＯＳセンサ）は、主光学系１００に対応する矩形の撮像領域（光電変換領域）を有し、主光学系１００により形成された被写体像を撮像（光電変換）する。主撮像素子の撮像領域は、アスペクト比４：３と対角長７．７５ｍｍとを有する。主光学系１００および主撮像素子により主撮像系が構成される。

繰り出し状態のレンズ鏡筒２００は、本体側（前面側）から順に、第１の鏡筒部２０１と第２の鏡筒部２０２とを有する。第２の鏡筒部２０２は、第１の鏡筒部２０１よりも外径が小さい。

第１および第２の副光学系１１０，１２０はそれぞれ、固定焦点距離（単焦点）の結像光学系である。不図示の２つの副撮像素子（ＣＣＤセンサまたはＣＭＯＳセンサ）は、第１および第２の副光学系１１０，１２０に対応する矩形の撮像領域を有し、第１および第２の副光学系１１０，１２０のそれぞれにより形成された被写体像を撮像（光電変換）する。各副撮像素子の撮像領域は、アスペクト比４：３と、主撮像素子の撮像領域の対角長より短い対角長とを有する。第１の副光学系１１０およびこれに対応する副撮像素子により第１の副撮像系が構成され、第２の副光学系１２０およびこれに対応する副撮像素子により第２の副撮像系が構成される。

主光学系１００および第１および第２の副光学系１１０，１２０は、それらの光軸が互いに平行になるように配置されている。第１の副光学系１１０は、主光学系１００の３５ｍｍ換算における広角端での焦点距離２４ｍｍと同じ焦点距離（つまりは同じ画角）を有する単焦点光学系である。一方、第２の副光学系１２０は、主光学系１００の広角端と望遠端との間の中間ズーム位置での焦点距離（つまりは広角端での画角より狭く、望遠端での画角以上の画角）を有する単焦点光学系である。例として、第２の副光学系１２０は、３５ｍｍ換算における１５０ｍｍの焦点距離を有する。

ここで、図４および図５を用いて、本実施例の撮像装置１の構成と式（１），（２）の条件との関係について説明する。図４には、式（１）の条件に関する定義を示している。図中のＭ_１は第１および第２の副光学系１１０，１２０における最も被写体側の光学面（以下、前端レンズ面という）を基準としたときの第１の鏡筒部２０１の前端面（図では上端面）の繰り出し量である。すなわち、上記基準から第１の鏡筒部２０１の前端面までの光軸方向での距離である。本実施例では、Ｍ_１＝１０ｍｍである。また、Ｍ_２は第１および第２の副光学系１１０，１２０の前端レンズ面を基準としたときの第２の鏡筒部２０２の前端面の繰り出し量である。本実施例では、Ｍ_２＝２０ｍｍである。

なお、実際の第１および第２の副光学系１１０，１２０の光軸方向における前端レンズ面の位置が厳密には同じでない場合もあり得るが、その場合はより大きいＭ_１，Ｍ_２またはより小さいＭ_１，Ｍ_２のうち一方を選択すればよい。また、第１および第２の副光学系１１０，１２０の前側レンズ面に代えて、これらとほぼ同じ位置にある本体１ａの前面を基準としてもよい。このことは、後述する他の実施例でも同じである。

Ｌ_１１は第１の副光学系１１０の光軸１１０ａと第１の鏡筒部２０１の外周面との間の水平方向（第１の光軸離間方向）での距離である。本実施例では、Ｌ_１１＝２２．７ｍｍである。Ｌ_１２は第１の副光学系１１０の光軸１１０ａと第２の鏡筒部２０２の外周面との間の水平方向での距離である。本実施例では、Ｌ_１２＝３１．２ｍｍである。Ｌ_２１は第２の副光学系１２０の光軸１２０ａと第１の鏡筒部２０１の外周面との間の水平方向（第２の光軸離間方向）での距離である。本実施例では、Ｌ_２１＝７．８ｍｍである。Ｌ_２２は第２の副光学系１２０の光軸１２０ａと第２の鏡筒部２０２の外周面との水平方向での距離である。本実施例では、Ｌ_２２＝１６．９ｍｍである。

ω_１は第１の副光学系１１０の水平方向（第１の光軸離間方向）での半画角である。具体的には、ω_１は第１の副光学系１１０に対応する副撮像素子の矩形の撮像領域の長辺の長さによって決まる画角の半値である。本実施例では、ω_１＝３５．８度である。ω_２は第２の副光学系１２０の水平方向（第２の光軸離間方向）での半画角である。具体的には、ω_２は第２の副光学系１２０に対応する副撮像素子の矩形の撮像領域の長辺の長さによって決まる画角の半値である。本実施例では、ω_２＝６．６度である。

図５は、式（２）の条件に関する定義を示している。図中のΩ_ｔは主光学系１００の望遠端での水平方向（第２の光軸離間方向）での半画角である。本実施例では、Ω_ｔ＝４．１２度である。また、主光学系１００の望遠端での焦点距離はｆｔ＝５３．７ｍｍである。Ｎは主光学系１００と第２の副光学系１２０との光軸間距離（光軸１００ａ，１２０ａ間の距離）である。本実施例では、Ｎ＝２８．６ｍｍである。

本実施例における上記値を表１にまとめて示す。また、本実施例における式（１），（２）の値を表２にまとめて示す。表２から分かるように、本実施例は式（１），（２）条件を満足している。式（１），（２）の条件を満足することで、撮像装置１を小型化しつつ、広い被写体距離範囲において精度良く被写体距離情報を取得することができる。

なお、本実施例では、主光学系１００の光軸１００ａと第１の副光学系１１０の光軸１１０ａとが離間する第１の光軸離間方向が主光学系１００の光軸１００ａと第２の副光学系１２０の光軸１２０ａとが離間する第２の光軸離間方向と同じである。しかし、第１の光軸離間方向と第２の光軸離間方向は必ずしも同じである必要はなく、互いに異なっていてもよい。

図６および図７を用いて、本実施例における撮像装置１によって取得される画像について説明する。図６（ａ）には、主光学系１００が広角端に設定された場合に主撮像系により生成される主画像の例を示している。図６（ｂ）には、主光学系１００が広角端に設定された場合に第１の副撮像系によって生成される副画像の例を示している。図６（ａ），（ｂ）に示すように、主撮像系および第１の副撮像系により得られる主画像および副画像には、基線方向（第１の光軸離間方向）にわずかに位置がずれた同じ被写体が含まれている。また、式（１）を満足することで、第１の副撮像系により得られる副画像には、主撮像系のレンズ鏡筒２００による画角のけられは生じていない。

図６（ｃ）には、式（１）の下限値を下回った構成を有する撮像装置の第１の副撮像系によって得られる副画像の例を示す。図６（ｃ）に示す副画像において左側に黒く示す大きな領域は、主撮像系のレンズ鏡筒２００によってけられた画角に相当する領域である。図６（ａ）の主画像に写っている左端の被写体（山の一部）が図６（ｃ）の副画像には写っていない。このため、主画像における左端の被写体に対する被写体距離情報を取得することができない。

図７（ａ）には、主光学系１００が３５ｍｍ換算での１５０ｍｍの焦点距離に設定された場合に取得される主画像の例を示している。図７（ｂ）には、主光学系１００が広角端に設定された場合に第２の副撮像系により得られる副画像の例を示している。図７（ａ），（ｂ）に示すように、主撮像系および第２の副撮像系により得られる主画像および副画像には、基線方向（第２の光軸離間方向）にわずかに位置がずれた同じ被写体が含まれている。また、式（２）の条件を満足することで、第２の副撮像系により得られる副画像には、主撮像系との共通撮像画角範囲を広く確保できている。

図７（ｃ）には、式（２）の上限値を超えた構成を有する撮像装置の第２の副撮像系によって得られる副画像の例を示す。図７（ｃ）に示す副画像では図７（ａ）の主画像に対して被写体が右側に大きくずれており、主撮像系との共通撮像画角範囲が半分以下となっている。このため、図７（ａ）に含まれている被写体のうち右半分の部分が図７（ｃ）の副画像には写っておらず、この部分の被写体距離情報を取得することができない。

図３には、本実施例の撮像装置１の電気的構成を示している。撮像装置１は、主撮像系と第１および第２の副撮像系を含む撮像系１０と、Ａ／Ｄ変換器１１と、画像処理部１２と、画像合成部（画像合成手段）１３とを有する。また、撮像装置１は、情報入力部１４と、撮像制御部１５と、画像記録媒体１６と、システムコントローラ１７と、表示部１８と、距離情報算出部（距離取得手段）１９とを有する。

Ａ／Ｄ変換器１１は、主撮像素子および２つの副撮像素子から出力されるアナログ撮像信号をデジタル撮像信号に変換して画像処理部１２に供給する。画像処理部１２は、Ａ／Ｄ変換器１１からのデジタル撮像信号に対して画素補間処理、色変換処理およびデジタルズーム処理等を行って撮像画像（主画像および２つの副画像）を生成する。また、画像処理部１２は、撮像画像を用いて各種演算処理を行い、それらの演算結果をシステムコントローラ１７に送信する。

画像処理部１２は、画像合成部１３をさらに有する。画像合成部１３は、基準視点となる主撮像系により取得された主画像を合成用の基準画像として設定し、該基準画像に対して２つの副撮像系により取得された副画像のうち少なくとも１つを合成する。画像の合成には、後述するブロックマッチング法等が用いられる。

情報入力部１４は、ユーザが所望の撮像条件（絞り値や露出時間等）を選択して入力する情報を検知してシステムコントローラ１７にそれらのデータを供給する。撮像制御部１５は、システムコントローラ１７からの命令に応じて、各光学系に含まれるフォーカスレンズを移動させたり、各光学系の絞り値を制御したり、各撮像系の撮像素子の露出時間を制御したりする。

画像記録媒体１６は、画像処理部１２により生成された撮像画像を格納したり、撮像画像を格納する画像ファイルを構成する場合のファイルヘッダを記録したりする。表示部１８は、撮像時のプレビュー画像や記録済みの撮像画像を表示したり、それぞれ選択可能なメニュー項目、焦点距離範囲（画角範囲）等を表示したりする。表示部１８は、液晶表示素子等により構成される。

距離情報算出部１９は、基準画像選択部２０と、対応点抽出部２１と、視差量算出部２２とを有する。基準画像選択部２０は、主撮像系によって得られた主画像を距離情報算出用の基準画像として選択する。対応点抽出部２１は、主画像および複数の副画像のうち一対の視差画像における互いに対応する画素（以下、対応点という）を抽出する。視差量算出部２２は、対応点抽出部２１により抽出された全ての対応点の視差量を算出する。距離情報算出部１９は、算出された視差量から主画像（つまりは主撮像系の撮像画角内）の全域における被写体距離を算出（被写体距離情報を取得）する。

次に、本実施例におけるシステムコントローラ１７および画像処理部１２（画像合成部１３）が行う撮像／画像合成処理について、図８のフローチャートを用いて説明する。それぞれコンピュータにより構成されるシステムコントローラ１７および画像処理部１２は、撮像／画像合成処理をコンピュータプログラムである撮像／画像合成処理プログラムに従って実行する。「Ｓ」はステップ（工程）の略である。

まず、システムコントローラ１７は、Ｓ１００において、情報入力部１４からユーザにより入力された撮像条件等の情報を取得する。そして、ユーザによって操作された不図示の撮像開始スイッチから撮像指示信号が入力されると、撮像制御部１５に撮像条件等の情報を転送する。撮像条件とは、主撮像系の撮像画角、絞り値およびシャッタースピード等である。撮像制御部１５は、入力された撮像条件に基づいて、主撮像系の撮像画角（ズーム状態）や主撮像系および副撮像系の絞り値、シャッタースピード等を制御する。

次に、Ｓ１０１では、システムコントローラ１７は、入力された撮像条件に応じて、第１および第２の副撮像系のうち撮像に使用する第１または第２の副撮像系を選択する。副撮像系の選択には、主撮像系において設定された撮像画角（以下、主撮像画角という）の情報を用いる。ここでは、主撮像系により得られる主画像の全体に対して画像合成を行うため、主撮像系の設定画角に対して同一またはより広い撮像画角（以下、副撮像画角という）を有する副撮像系を選択するものとする。

次に、Ｓ１０２では、システムコントローラ１７は、撮像制御部１５を介して、主撮像系とＳ１０１で選択した第１または第２の副撮像系による撮像（主および副撮像素子の露光）を行うとともに、画像処理部１２に撮像画像を生成させる。これにより、１つの主画像と２つの副画像とが、互いに視差を有する視差画像として取得される。この際、画像処理部１２において、各画像の輝度レベルやホワイトバランスの補正を行うことで、後段での画像合成により生成される合成画像における輝度むらや色むらを低減することができる。

次に、Ｓ１０３では、システムコントローラ１７は、主撮像画角が選択された副撮像系の副撮像画角と同一であるか否かを判定する。主撮像画角が副撮像画角と同一である場合はシステムコントローラ１７はＳ１０４に移行し、異なる場合はＳ１０５に移行する。

Ｓ１０４では、システムコントローラ１７は、画像処理部１２に、合成用の基準画像である主画像に対して、これと同一の撮像画角に対応する副画像を合成させる。

画像処理部１２による主画像と副画像の合成方法について説明する。ここでは代表例として、主撮像系の撮像画角が広角端に設定された場合について説明する。本実施例では、主画像（図６（ａ））を基準画像とし、該基準画像に写っている被写体領域に対応する被写体領域を、第１の副撮像系（第１の副光学系１１０）により得られた副画像から抽出して合成する。

まず、副画像（参照画像）から主画像（基準画像）に写っている被写体領域に対応する被写体領域の抽出方法について説明する。図９の左側には図６（ａ）に示した主画像である基準画像５０１を、右側には該基準画像５０１に合成される図６（ｂ）に示した（第１の副光学系１１０を通して取得された）副画像である参照画像５０２を示している。ここでは、画像上の水平方向および垂直方向での位置を示す画像座標（Ｘ，Ｙ）を用いる。画像座標（Ｘ，Ｙ）は、図９に示す各画像の左上を原点として定義する。また、基準画像５０１における画像座標（Ｘ，Ｙ）の輝度をＦ１（Ｘ，Ｙ）とし、参照画像５０２における画像座標（Ｘ，Ｙ）の輝度をＦ２（Ｘ，Ｙ）とする。

基準画像５０１における任意の座標（Ｘ，Ｙ）の画素（ハッチングして示す）に対応する参照画像５０２中の画素（ハッチングして示す）は、参照画像５０２のうち基準画像５０１中の輝度Ｆ１（Ｘ，Ｙ）と最も類似した輝度を有する画素を探すことで求められる。ただし、任意の画素の輝度と最も類似する輝度を有する画素を単純に探すことは難しいため、画像座標（Ｘ，Ｙ）の近傍の画素も用いたブロックマッチング法にて輝度が類似した画素を探索する。

例えば、ブロックサイズが３である場合のブロックマッチング処理について説明する。基準画像５０１中の任意の座標（Ｘ，Ｙ）の画素と、その前後（Ｘ−１，Ｙ），（Ｘ＋１，Ｙ）の２つの画素の計３つの画素の輝度値はそれぞれ、
Ｆ１（Ｘ，Ｙ），Ｆ１（Ｘ−１，Ｙ），Ｆ１（Ｘ＋１，Ｙ）
となる。

これに対し、座標（Ｘ，Ｙ），（Ｘ−１，Ｙ），（Ｘ＋１，Ｙ）からＸ方向にｋだけずれた参照画像５０２中の画素の輝度値はそれぞれ、
Ｆ２（Ｘ＋ｋ，Ｙ），Ｆ２（Ｘ＋ｋ−１，Ｙ），Ｆ２（Ｘ＋ｋ＋１，Ｙ）
となる。

このとき、基準画像５０１中の座標（Ｘ，Ｙ）の画素との類似度Ｅを以下の式（１４）で定義する。

この式（１４）において逐次ｋの値を変えて類似度Ｅの値を計算し、最も小さい類似度Ｅを与える（Ｘ＋ｋ，Ｙ）が、参照画像５０２のうち基準画像５０１中の座標（Ｘ，Ｙ）に対応する画素（対応点）である。ここでは、水平方向に視差を有する画像間での対応点抽出方法について説明したが、同様にして垂直方向や斜め方向に視差を有する場合の対応点を抽出することもできる。

このようにして得られた対応点としての被写体領域を画素単位で基準画像に合成することで、基準画像内のノイズレベルを低減させることができ、出力される合成画像の画質を向上させることができる。

なお、そのままではブロックマッチング法では対応できないほど視差が大きく基準画像と参照画像間で被写体領域の形状が大きく異なる場合には、参照画像に対してアフィン変換等の幾何変換を行った後に、ブロックマッチング法を用いて合成処理を行ってもよい。

副撮像画角が主撮像画角と異なるためにＳ１０３からＳ１０５に進んだシステムコントローラ１７は、画像処理部１２に、副画像（参照画像）の一部の画像領域を主撮像画角に対応した画像となるようにトリミングして拡大処理する。ここでは、主撮像画角が３５ｍｍ換算で５０ｍｍ相当の画角であるとする。

次にＳ１０６では、システムコントローラ１７は、画像処理部１２に、Ｓ１０５でのトリミングおよび拡大処理により取得された拡大画像を主画像（基準画像）に対して合成させる。

ここで、基準画像とは撮像画角が異なる参照画像の基準画像への合成方法について説明する。基準画像（主画像）より広い撮像画角で取得された参照画像（副画像）においては、画像上での被写体のサイズが基準画像のそれとは異なっている。このため、まずＳ１０５において、副画像のうち被写体を含む領域を、該領域が主撮像画角と同一の撮像画角に対応した画像となるようにトリミングして拡大して拡大画像を生成する。トリミングおよび拡大処理によって拡大画像の解像度は元の副画像のそれよりも劣化するが、拡大画像上での被写体のサイズを主画像のそれと同じにすることができる。この後はＳ１０４と同様にして、拡大画像を新たな参照画像として基準画像に合成することで、合成画像を生成することができる。

こうしてＳ１０４またはＳ１０６にて合成画像が生成されると、Ｓ１０７においてシステムコントローラ１７は、合成画像を画像記録媒体１６に保存する。そして、本処理を終了する。

次に、システムコントローラ１７および距離情報算出部１９が行う撮像／被写体距離算出処理について、図１０のフローチャートを用いて説明する。ここでは、まず主撮像系と第２の副撮像系により得られる視差画像を用いる場合の処理について説明する。それぞれコンピュータにより構成されるシステムコントローラ１７および距離情報算出部１９は、撮像／被写体距離算出処理をコンピュータプログラムである撮像／被写体距離算出処理プログラムに従って実行する。「Ｓ」はステップ（工程）の略である。

Ｓ２００からＳ２０２までの処理は、図８に示したＳ１００からＳ１０２までの撮像および視差画像の生成に関する処理と同じであるため、ここでの説明は省略する。また、Ｓ２０３およびＳ２０４の処理についても、図８のＳ１０３およびＳ１０５のトリミングおよび拡大に関する処理と同じてあるため、ここでの説明は省略する。

Ｓ２０３またはＳ２０４からＳ２０５に進んだシステムコントローラ１７は、基準画像選択部２０に主画像を被写体距離算出用の基準画像として選択させる。さらに、システムコントローラ１７は、対応点抽出部２１に、基準画像と副画像または拡大画像としての参照画像との間で対応点を抽出させる。対応点は、２つの視差画像である基準画像と参照画像がいずれも同じ被写体を含む場合に該２つの視差画像のそれぞれにおける該被写体の画像部分の同じ箇所を構成する画素である。対応点抽出方法は、先の画像合成処理にて説明した方法をそのまま用いることができるので、ここでの説明は省略する。

次に、Ｓ２０６では、システムコントローラ１７は、視差量算出部２２に、Ｓ２０５で抽出された各対応点についての視差量を算出する。視差量は、上述したブロックマッチング法で得られた基準画像の各画素（基準画素）と該基準画素に対応する参照画像上の画素（対応画素）との画素位置の差分として算出される
次に、Ｓ２０７では、システムコントローラ１７は、距離情報算出部１９に、主画像に含まれる各被写体の被写体距離を算出させる。距離情報算出部１９は、Ｓ２０６で算出された視差量と、既知の情報である主光学系１００の焦点距離および副光学系１１０ａ，１１０ｂの基線長の情報とから、各被写体までの距離を式（１３）を用いて算出する。

次に、Ｓ２０８では、システムコントローラ１７は、Ｓ２０７で算出された被写体距離の情報を、Ｓ２０２で取得した視差画像のデータとともに画像記録媒体１６に記録して、本処理を終了する。

ここでは第１の副光学系１１０を用いた場合の被写体距離の算出について説明したが、同様の処理によって第２の副光学系１２０を用いても被写体距離を算出することが可能である。

ここで、主光学系１００の広角端と望遠端の焦点距離の中間の焦点距離を有する第２の副光学系１２０を用いた被写体距離算出の利点について説明する。図１０のＳ２００で情報入力部１４を通じて主光学系１００の焦点距離が１５０ｍｍに設定された場合には、Ｓ２０１では主光学系１００と同一画角（同一焦点距離）を有する第２の副光学系１２０を有する第２の副撮像系が選択される。このとき、Ｓ２０１では主撮像系よりも広い画角を有する第１の副撮像系を選択してもよいが、後述するデメリットが存在するため、主撮像系の撮像画角に最も近く、主撮像系と同一の撮像画角（またはより広い撮像画角）を有する第２の副撮像系を選択する。

第２の副撮像系の撮像画角が主撮像系の撮像画角と同一であるため、図１０のＳ２０３から対応点を抽出する処理（Ｓ２０５）に移行する。このとき第２の副撮像系により得られる副画像における被写体領域をトリミングして拡大する必要がないため、解像度の劣化が生じず、良好な対応点抽出の結果が得られ、Ｓ２０６での良好な視差量の算出結果が得られる。

しかし、仮に第１の副撮像系が選択された場合には、該第１の副撮像系により得られる副画像内の被写体のサイズが主画像内のそれと大きく異なり、副画像内の被写体領域に対して６倍以上の拡大処理を行う必要がある。このため、拡大画像の解像度が大きく低下し、Ｓ２０５，Ｓ２０６における対応点抽出および視差量算出において大きな誤差が生じる可能性が高い。この結果、デメリットとして、被写体距離が誤算出されてＡＦの精度低下等が発生し易い。

つまり、本実施例のように、主撮像系の広角端と望遠端の中間の撮像画角と同一またはこれより広い撮像画角を有する副撮像系を用いることで、主撮像系の撮像画角内の全域においてより高精度に被写体距離を算出することができる。

なお、本実施例では、主撮像系により得られた基準画像としての主画像と第２の副撮像系により得られた副画像を用いて被写体距離情報を取得する場合について説明した。しかし、第１および第２の副撮像系により得られる副画像を用いる場合でも、第１および第２の副撮像系の共通画角撮像範囲において被写体距離情報を取得することができる。第１および第２の副撮像系間では基線長を大きく確保することができるため、遠距離被写体を撮像する場合に被写体距離情報の精度を向上させることができる。

また、本実施例では、第１の副光学系１１０と主光学系１００との光軸間距離（基線長）および第２の副光学系１２０と主光学系１００との光軸間距離が互いに異なる。具体的には、第２の副光学系１２０は主光学系１００の近傍に配置され、一方、第１の副光学系１１０は主光学系１００から離れた位置に配置されている。

このような第１および第２の副光学系１１０，１２０の異なる光軸間距離での配置の効果について説明する。被写体距離が同じである場合に、一対の視差画像間における被写体のずれ量は式（１２），（１３）から、該一対の視差画像を取得した撮像系における光学系の焦点距離と基線長とによって決まることが分かる。つまり、同じの基線長で同じ被写体距離の被写体を撮像する場合には、焦点距離が短い（画角が広い）第１の副撮像系によって取得される副画像における被写体のずれ量が少なくなる。被写体のずれ量が少ないと、そのずれ量を検出することが困難となるおそれがある。このため、広い画角を有する第１の副光学系１１０を第２の副光学系１２０に比べて主光学系１００から遠ざけて配置することで、第１の副撮像系により取得される副画像における被写体のずれ量を大きくする。この結果、主撮像系を広角端に設定して撮像した場合においても、被写体距離の算出精度を高くすることができる。

以上説明したように、本実施例では、式（１），（２）の条件を満足するように第１および第２の副撮像系を配置することにより、撮像装置１を小型化しつつ、広い被写体距離範囲で高精度な被写体距離情報を取得することができる。また、第２の副撮像系が主撮像系の広角端と望遠端の中間の撮像画角を有することで、主撮像系の撮像画角内の全域で高精度に被写体距離情報を取得することができる。

さらに、本実施例の構成を利用して様々な撮像モードを実現することもができる。例えば、ハイダイナミックレンジモードでは、第１および第２の副撮像系のそれぞれで露出条件を異ならせて撮像を行い、得られた複数の副画像を主撮像系により得られる主画像に合成することで、ダイナミックレンジが広い合成画像が得られる。また、ぼけ付加モードでは、上述したように算出した被写体距離に基づいて背景にぼけを付加することで、主要な被写体を強調する画像を得ることもできる。また、背景除去モードでは、上記のように算出した被写体距離に基づいて主要な被写体以外の背景を除去した画像を得ることができる。さらに、立体撮像モードでは、水平方向に配列された主および副撮像系で左右の視差画像を取得し、一方の狭い画角の視差画像とそれに対応する他方の広い画角の画像の一部とを用いて立体視可能な画像を生成することができる。

また、本実施例では、第１および第２の副光学系を単焦点光学系とした場合について説明したが、変倍可能な光学系としてもよい。

また、本実施例では、レンズ鏡筒２００が本体１ａに設けられたレンズ一体型撮像装置について説明したが、撮像装置は、レンズ鏡筒が交換レンズとして撮像装置の本体に対して着脱（交換）可能なレンズ交換型撮像装置であってもよい。このことは、後述する他の実施例でも同じである。

次に、図１１を用いて、本発明の実施例２である撮像装置２について説明する。図１１には、本実施例の撮像装置２を被写体側から見て示している。

撮像装置２の本体（筐体）２ａにおける前面の中央には、主光学系１００を保持する２段沈胴タイプのレンズ鏡筒２００が本体２ａに対して格納および繰り出し可能に設けられている。また、本体２ａの前面には、第１の副光学系１３０および第２の副光学系１４０が、レンズ鏡筒２００を挟んだ水平方向両側に位置するように配置されている。主光学系１００はおよびこれに対応する不図示の主撮像素子は、実施例１における主光学系１００および主撮像素子と同じものである。主光学系１００および主撮像素子により主撮像系が構成される。

繰り出し状態のレンズ鏡筒２００は、実施例１のレンズ鏡筒２００と同じく、本体側（前面側）から順に、第１の鏡筒部２０１と第２の鏡筒部２０２とを有する。第２の鏡筒部２０２は、第１の鏡筒部２０１よりも外径が小さい。

第１および第２の副光学系１３０，１４０はそれぞれ、固定焦点距離（単焦点）の結像光学系である。不図示の２つの副撮像素子は、第１および第２の副光学系１３０，１４０に対応する矩形の撮像領域を有し、第１および第２の副光学系１３０，１４０のそれぞれにより形成された被写体像を撮像（光電変換）する。副撮像素子は、実施例１における副撮像素子と同じものである。第１の副光学系１３０およびこれに対応する副撮像素子により第１の副撮像系が構成され、第２の副光学系１４０およびこれに対応する副撮像素子により第２の副撮像系が構成される。

主光学系１００および第１および第２の副光学系１３０，１４０は、それらの光軸が互いに平行になるように配置されている。第１の副光学系１３０は、主光学系１００の３５ｍｍ換算における広角端での焦点距離２４ｍｍと同じ焦点距離（同じ画角）を有する単焦点光学系である。一方、第２の副光学系１４０は、主光学系１００の広角端と望遠端との間の中間ズーム位置での焦点距離（広角端での画角より狭く、望遠端での画角以上の画角）を有する単焦点光学系である。例として、第２の副光学系１４０は、３５ｍｍ換算における１００ｍｍの焦点距離を有する。

図１２および図１３を用いて、本実施例の撮像装置２の構成と式（１），（２）の条件との関係について説明する。図１２には、式（１）の条件に関する定義を示している。図中のＭ_１は第１および第２の副光学系１３０，１４０における前端レンズ面を基準としたときの第１の鏡筒部２０１の前端面の繰り出し量である。本実施例では、Ｍ_１＝１０ｍｍである。Ｍ_２は第１および第２の副光学系１３０，１４０の前端レンズ面を基準としたときの第２の鏡筒部２０２の前端面の繰り出し量である。本実施例では、Ｍ_２＝２０ｍｍである。

Ｌ_１１は第１の副光学系１３０の光軸１３０ａと第１の鏡筒部２０１の外周面との間の水平方向（第１の光軸離間方向）での距離である。本実施例では、Ｌ_１１＝７．７９ｍｍである。Ｌ_１２は第１の副光学系１３０の光軸１３０ａと第２の鏡筒部２０２の外周面との間の水平方向での距離である。本実施例では、Ｌ_１２＝１６．０ｍｍである。Ｌ_２１は第２の副光学系１４０の光軸１４０ａと第１の鏡筒部２０１の外周面との間の水平方向（第２の光軸離間方向）での距離である。本実施例では、Ｌ_２１＝１７．０ｍｍである。Ｌ_２２は第２の副光学系１４０の光軸１４０ａと第２の鏡筒部２０２の外周面との水平方向での距離である。本実施例では、Ｌ_２２＝２２．５ｍｍである。

ω_１は第１の副光学系１３０の水平方向（第１の光軸離間方向）での半画角である。具体的には、ω_１は第１の副光学系１３０に対応する副撮像素子の矩形の撮像領域の長辺の長さによって決まる画角の半値である。本実施例では、ω_１＝３５．８度である。ω_２は第２の副光学系１４０の水平方向（第２の光軸離間方向）での半画角である。具体的には、ω_２は第２の副光学系１４０に対応する副撮像素子の矩形の撮像領域の長辺の長さによって決まる画角の半値である。本実施例では、ω_２＝９．８度である。

図１３は、式（２）の条件に関する定義を示している。図中のΩ_ｔは主光学系１００の望遠端での水平方向（第２の光軸離間方向）での半画角である。本実施例では、Ω_ｔ＝４．１２度である。また、主光学系１００の望遠端での焦点距離はｆｔ＝５３．７ｍｍである。Ｎは主光学系１００と第２の副光学系１４０との光軸間距離（光軸１００ａ，１４０ａ間の距離）である。本実施例では、Ｎ＝２８．６ｍｍである。

本実施例における上記値を表１にまとめて示す。また、本実施例における式（１），（２）の値を表２にまとめて示す。表２から分かるように、本実施例は式（１），（２）条件を満足している。式（１），（２）の条件を満足することで、撮像装置２を小型化しつつ、広い被写体距離範囲において精度良く被写体距離情報を取得することができる。

次に、図１４を用いて、本発明の実施例３である撮像装置３について説明する。図１４には、本実施例の撮像装置３を被写体側から見て示している。

撮像装置３の本体（筐体）３ａにおける前面の中央には、主光学系１００を保持する２段沈胴タイプのレンズ鏡筒２００が本体３ａに対して格納および繰り出し可能に設けられている。また、本体３ａの前面には、第１の副光学系１５０および第２の副光学系１６０が、レンズ鏡筒２００を挟んだ水平方向両側に位置するように配置されている。主光学系１００はおよびこれに対応する不図示の主撮像素子は、実施例１における主光学系１００および主撮像素子と同じものである。主光学系１００および主撮像素子により主撮像系が構成される。

繰り出し状態のレンズ鏡筒２００は、実施例１のレンズ鏡筒２００と同じく、本体側（前面側）から順に、第１の鏡筒部２０１と第２の鏡筒部２０２とを有する。第２の鏡筒部２０２は、第１の鏡筒部２０１よりも外径が小さい。

第１および第２の副光学系１５０，１６０はそれぞれ、固定焦点距離（単焦点）の結像光学系である。不図示の２つの副撮像素子は、第１および第２の副光学系１５０，１６０に対応する矩形の撮像領域を有し、第１および第２の副光学系１５０，１６０のそれぞれにより形成された被写体像を撮像（光電変換）する。副撮像素子は、実施例１における副撮像素子と同じものである。第１の副光学系１５０およびこれに対応する副撮像素子により第１の副撮像系が構成され、第２の副光学系１６０およびこれに対応する副撮像素子により第２の副撮像系が構成される。

主光学系１００および第１および第２の副光学系１５０，１６０は、それらの光軸が互いに平行になるように配置されている。第１の副光学系１５０は、主光学系１００の３５ｍｍ換算における広角端での焦点距離２４ｍｍと同じ焦点距離（同じ画角）を有する単焦点光学系である。一方、第２の副光学系１６０は、主光学系１００の広角端と望遠端との間の中間ズーム位置での焦点距離（広角端での画角より狭く、望遠端での画角以上の画角）を有する単焦点光学系である。例として、第２の副光学系１４０は、３５ｍｍ換算における５０ｍｍの焦点距離を有する。

図１５および図１６を用いて、本実施例の撮像装置３の構成と式（１），（２）の条件との関係について説明する。図１５には、式（１）の条件に関する定義を示している。図中のＭ_１は第１および第２の副光学系１５０，１６０における前端レンズ面を基準としたときの第１の鏡筒部２０１の前端面の繰り出し量である。本実施例では、Ｍ_１＝１０ｍｍである。Ｍ_２は第１および第２の副光学系１５０，１６０の前端レンズ面を基準としたときの第２の鏡筒部２０２の前端面の繰り出し量である。本実施例では、Ｍ_２＝２０ｍｍである。

Ｌ_１１は第１の副光学系１５０の光軸１５０ａと第１の鏡筒部２０１の外周面との間の水平方向（第１の光軸離間方向）での距離である。本実施例では、Ｌ_１１＝７．７９ｍｍである。Ｌ_１２は第１の副光学系１５０の光軸１５０ａと第２の鏡筒部２０２の外周面との間の水平方向での距離である。本実施例では、Ｌ_１２＝１６．０ｍｍである。Ｌ_２１は第２の副光学系１６０の光軸１６０ａと第１の鏡筒部２０１の外周面との間の水平方向（第２の光軸離間方向）での距離である。本実施例では、Ｌ_２１＝４８．０ｍｍである。Ｌ_２２は第２の副光学系１６０の光軸１６０ａと第２の鏡筒部２０２の外周面との水平方向での距離である。本実施例では、Ｌ_２２＝５７．１ｍｍである。

ω_１は第１の副光学系１５０の水平方向（第１の光軸離間方向）での半画角である。具体的には、ω_１は第１の副光学系１５０に対応する副撮像素子の矩形の撮像領域の長辺の長さによって決まる画角の半値である。本実施例では、ω_１＝３５．８度である。ω_２は第２の副光学系１６０の水平方向（第２の光軸離間方向）での半画角である。具体的には、ω_２は第２の副光学系１６０に対応する副撮像素子の矩形の撮像領域の長辺の長さによって決まる画角の半値である。本実施例では、ω_２＝１９．１度である。

図１６は、式（２）の条件に関する定義を示している。図中のΩ_ｔは主光学系１００の望遠端での水平方向（第２の光軸離間方向）での半画角である。本実施例では、Ω_ｔ＝４．１２度である。また、主光学系１００の望遠端での焦点距離はｆｔ＝５３．７ｍｍである。Ｎは主光学系１００と第２の副光学系１６０との光軸間距離（光軸１００ａ，１６０ａ間の距離）である。本実施例では、Ｎ＝７０．０ｍｍである。

本実施例における上記値を表１にまとめて示す。また、本実施例における式（１），（２）の値を表２にまとめて示す。表２から分かるように、本実施例は式（１），（２）条件を満足している。式（１），（２）の条件を満足することで、撮像装置３を小型化しつつ、広い被写体距離範囲において精度良く被写体距離情報を取得することができる。

なお、上記各実施例では、主撮像系と第１および第２の副撮像系のそれぞれに別々の撮像素子（主撮像素子および２つの副撮像素子）を設ける場合について説明した。しかし、１つの撮像素子に主撮像系で用いる主撮像領域と第１および第２の副撮像系で用いる２つの副撮像領域を設けてもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１，２，３ 撮像装置
１００ 主光学系
１１０，１３０，１５０ 第１の副光学系
１２０，１４０，１６０ 第２の副光学系

Claims (8)

1. 変倍可能な主光学系により形成された被写体像を撮像する主撮像系と、
   前記主光学系の広角端での画角以上の画角を有する第１の副光学系により形成された被写体像を撮像する第１の副撮像系と、
   前記主光学系の広角端での画角より狭く、望遠端の画角以上の画角を有する第２の副光学系により形成された被写体像を撮像する第２の副撮像系とを有する撮像装置であって、前記主光学系を保持する光学鏡筒が該撮像装置の本体に対して繰り出し可能であって、前記第１および第２の副光学系が前記本体に設けられており、
   前記主光学系の光軸に対して前記第１の副光学系の光軸および前記第２の副光学系の光軸が離間する方向をそれぞれ、第ｉを第１または第２として、第ｉの光軸離間方向とし、前記主光学系の望遠端での第２の光軸離間方向での半画角をΩ_ｔとし、
   前記主光学系の望遠端での焦点距離をｆ_ｔとし、
   前記第２の副光学系と前記主光学系の光軸間距離をＮとし、
   前記第１および第２の副光学系のうち、第ｉの副光学系の前記第ｉの光軸離間方向での半画角をω_ｉとし、
   前記第ｉの副光学系の光軸と前記光学鏡筒のうち前記本体側から数えてｊ段目の鏡筒部の外周面までの前記第ｉの光軸離間方向での距離をＬ_ｉｊとし、
   前記第１および第２の副光学系における最も被写体側の光学面に対する前記ｊ段目の鏡筒部の繰り出し量をＭ_ｊとするとき、
   
   
   なる条件を満足することを特徴とする撮像装置。
2. 前記第１および第２の副光学系が単焦点光学系であることを特徴とする請求項１に記載の撮像装置。
3. 前記主撮像系において前記被写体像を光電変換する主撮像素子と、
   前記第１および第２の副撮像系のそれぞれにおいて前記被写体像を光電変換する副撮像素子とを有し、
   前記主撮像素子の撮像領域よりも前記副撮像素子の撮像領域が狭いことを特徴とする請求項１または２に記載の撮像装置。
4. 前記第１の副光学系と前記主光学系との光軸間距離が、
   前記第２の副光学系と前記主光学系との光軸間距離と異なることを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
5. 前記主撮像系により生成される主画像および前記第１および第２の副撮像系のそれぞれにより生成される副画像を用いて、前記主撮像系の撮像画角内での被写体距離情報を取得する距離取得手段を有することを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
6. 前記主光学系において設定された画角に応じて、前記第１および第２の副撮像系のうち前記被写体距離情報を取得するために用いる副撮像系を選択する選択手段を有することを特徴とする請求項５に記載の撮像装置。
7. 前記距離取得手段は、前記被写体距離情報を取得する際に、前記主撮像系の撮像画角と前記選択手段により選択された副撮像系の撮像画角とが異なる場合は、該選択された副撮像系により生成された前記副画像から前記主撮像系の撮像画角に対応する画像領域をトリミングして拡大することで得られた拡大画像を用いて前記被写体距離情報を取得することを特徴とする請求項６に記載の撮像装置。
8. 前記主撮像系により生成される主画像および前記第１および第２の副撮像系のそれぞれにより生成される副画像を合成して合成画像を生成する画像合成手段を有することを特徴とする請求項１から４のいずれか一項に記載の撮像装置。