JP6566765B2 - 撮像装置 - Google Patents

Description

本発明は、主撮像系と副撮像系とを有する撮像装置に関する。

ビデオカメラやデジタルカメラ等の撮像装置において、通常の撮像画像を取得するための主撮像系とは別に副撮像系を備えたものが提案されている。

特許文献１には、ズームレンズを備えた主撮像系とは別に、互いに異なる焦点距離を有する複数のステレオカメラを副撮像系として有する撮像装置が開示されている。この撮像装置では、ステレオカメラによって得られた視差情報から被写体距離情報を取得し、その被写体距離情報を用いて主撮像系のＡＦ（オートフォーカス）制御を行う。

また、特許文献２には、等距離射影特性を持ったレンズを有するステレオ測距システムが開示されている。この測距システムは、広い視野角と視野中心での高い解像度とを両立させて良好な距離計測を行う。

特開２０１３−６１５６０号公報 特開２０１２−１９８０７７号公報

しかしながら、特許文献１にて開示された撮像装置は、多数のステレオカメラを副撮像系として備えているために大型化する。また、特許文献２にて開示された測距システムでは、撮像により取得される画像の周辺部の解像度が低く、変倍によっても撮像により取得される画像の解像度を向上させることができない。

本発明は、主撮像系の変倍による副撮像系の解像度の相対的な劣化を低減することができるようにした小型の撮像装置を提供する。

本発明の一側面としての撮像装置は、変倍可能な主光学系により形成された被写体像を撮像する主撮像系と、副光学系により形成された被写体像を撮像する副撮像系と、被写体距離を算出する距離算出部とを有する。主光学系の画角が副光学系の画角に相当する画角に設定された特定変倍状態において、主光学系の結像倍率のうち、該主光学系の中心画角での結像倍率に対する中心画角と周辺画角との間の所定の中間画角での結像倍率の比率を第１の結像倍率比とし、副光学系の結像倍率のうち、該副光学系の中心画角での結像倍率に対する上記所定の中間画角での結像倍率の比率を第２の結像倍率比とする。このとき、第２の結像倍率比が第１の結像倍率比よりも小さく、距離算出部は、主撮像系を介して得られた画像と副撮像系を介して得られた画像から算出された主撮像系と副撮像系の視差量に基づいて、被写体距離を算出することを特徴とする。

本発明によれば、主光学系の第１の結像倍率比よりも副光学系の第２の結像倍率比を小さくすることで、小型の撮像装置において、主光学系（主撮像系）の変倍による副撮像系の解像度の相対的な劣化を低減することができる。この結果、主撮像系と副画像系により得られる画像を用いて高解像度かつ高精度な被写体距離情報を取得することが可能となる。

中心射影方式と正射影方式のモデルを説明する図。 本発明の実施例１である撮像装置の正面図。 実施例１の撮像装置の電気的構成を示すブロック図。 実施例１における主光学系、第１の副光学系および第２の副光学系の結像倍率を示す図。 実施例１における第１の副光学系の主光学系（（Ａ）広角端、（Ｂ）ｆ＝６０ｍｍ）に対する結像倍率比を示す図。 実施例１における第２の副光学系の主光学系（（Ａ）ｆ＝６０ｍｍ、（Ｂ）ｆ＝１８０ｍｍ）に対する結像倍率比を示す図。 実施例１における被写体距離算出処理を示すフローチャート。 対応領域抽出手法を説明する図。 本発明の実施例２における主光学系、第１の副光学系および第２の副光学系の結像倍率を示す図。 実施例２における第１の副光学系の主光学系（（Ａ）広角端、（Ｂ）ｆ＝４２ｍｍ）に対する結像倍率比を示す図。 実施例２における第２の副光学系の主光学系（（Ａ）ｆ＝４２ｍｍ、（Ｂ）ｆ＝１２６ｍｍ）に対する結像倍率比を示す図。 本発明の実施例３である撮像装置の正面図。 実施例３における主光学系、第１の副光学系および第２の副光学系の結像倍率を示す図。 実施例３における第１の副光学系の主光学系（（Ａ）広角端、（Ｂ）ｆ＝５２ｍｍ）に対する結像倍率比を示す図。 ２視点撮像方式のモデルを説明する図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先立って、各実施例に共通する事項について説明する。各実施例の撮像装置は、変倍可能な主光学系により形成された被写体像を主撮像領域(主撮像素子)で撮像する主撮像系と、副光学系により形成された被写体像を副撮像領域(副撮像素子)で撮像する副撮像系とを有する。主撮像系と副撮像系はそれぞれ主画像と副画像を生成する。主光学系と副光学系とは互いに視点位置が異なるので、主画像および副画像は互いに視差を有する視差画像となる。各実施例の撮像装置は、これら視差画像を用いて主撮像系の撮像画角内での被写体距離情報を取得する。そして、各実施例の撮像装置は、小型でありながらも、主光学系(主撮像系)の変倍によって副撮像系により得られる副画像の解像度（以下、単に副画像の解像度ともいう）の相対的な劣化を低減する。

視差画像を用いた被写体距離算出の原理について説明する。被写体距離情報は、それぞれ視点位置が異なる主撮像系と第１および第２の撮像系により生成された視差画像を用いて得られる。視差画像を用いた被写体距離の算出の原理について、図１５を用いて説明する。図１５には、２視点撮像方式のモデルを示している。座標は、左右のカメラＬ＿ｃａｍｅｒａ，Ｒ＿ｃａｍｅｒａの中心を原点とし、水平方向をｘ軸で表し、奥行き方向をｙ軸で表す。高さ方向については記載を省略している。

ここでは、左右のカメラＬ＿ｃａｍｅｒａ，Ｒ＿ｃａｍｅｒａの結像光学系の主点をそれぞれ、（−Ｗｃ，０）と（Ｗｃ，０）とし、各カメラの結像光学系の焦点距離をｆとする。ｙ軸上の座標（０，ｙ１）に位置する被写体Ａを左右のカメラＬ＿ｃａｍｅｒａ，Ｒ＿ｃａｍｅｒａで撮像する。このとき、左右カメラＬ＿ｃａｍｅｒａ，Ｒ＿ｃａｍｅｒａのイメージセンサ（撮像素子）のそれぞれの中心から被写体Ａの光学像（被写体像）のずれ量（視差ともいう）Ｐｌｃ，Ｐｒｃは、以下の式（ａ），（ｂ）で表すことができる。

つまり、同一の被写体を異なる視点位置から撮像することで、視点ずれ方向（基線方向）に上記式（ａ），（ｂ）で示すずれ量（視差量）Ｐｌｃ，Ｐｒｃを有する左右の視差画像を取得することができる。これらのずれ量Ｐｌｃ，Ｐｒｃから被写体Ａまでの距離ｙ１は、以下の式（ｃ）により算出することができる。

このように視差画像を用いて被写体距離を算出するためには、視差画像間で対応する被写体領域を特定する必要がある。２つの画像間での同一被写体領域の特定方法としては、後述するブロックマッチング法等の対応点抽出手法を用いることができる。

次に、主撮像系の変倍による副撮像系の解像度の劣化について説明する。ここでは、例として、前述した図１５に示した撮像装置Ｃ１を主撮像系とし、撮像装置Ｃ２を副撮像系とする。撮像装置Ｃ１,Ｃ２は互いに同じ光学系および撮像素子を用いているものとする。

この例では、主および副撮像系により生成される視差画像はともに同じ解像度を有する。このため、これら視差画像から取得することができる被写体の解像度、つまりは被写体距離情報の精度は、主および副撮像系の焦点距離、基線長（主および副撮像系の光軸間距離）および撮像素子の画素ピッチで決まる。ここから主撮像系の結像倍率のみを大きくすると、主撮像系の撮像画角は狭くなるが、得られる主画像における被写体の解像度は向上する。このとき、撮像画角が一定のままである副撮像系から得られる副画像と主画像とから被写体距離情報を取得するためには、副画像の一部をトリミングして拡大して用いることになる。この拡大によって副画像の解像度は相対的に主画像の解像度よりも低くなり、この結果、得られる被写体距離情報の空間解像度が主画像の解像度と比較して劣化する。この被写体距離情報の空間解像度の劣化によって、式（ｃ）におけるＰｒｃの精度が低下し、結果的に、被写体距離情報の精度が低下する。このように、副画像の解像度が主画像の解像度を下回る場合に、副撮像系の主撮像系に対する相対的な解像度と被写体距離情報の精度とは比例関係にある。

ここで、結像倍率とは、任意の有限距離に位置する被写体を光学系を通して撮像した際の該光学系のメリジオナル方向の結像倍率を意味する。以下の説明でも、特に断りがない限り、結像倍率はメリジオナル方向の結像倍率を意味する。

各実施例では、主撮像系と副撮像系の射影方式（言い換えれば、主光学系１００の結像倍率に対する副光学系の結像倍率の比率）を適切に設定する。これにより、主撮像系の変倍による副撮像系の解像度の相対的な劣化、つまりは被写体距離情報の解像度および精度の低下を抑制する。

射影方式は、光学系に入射する光線の画角とその光線の像面上での結像位置との関係を規定する。例として、互いに異なる２つの射影方式のモデル図を図１（Ａ），（Ｂ）に示す。図１（Ａ）は中心射影方式を、図１（Ｂ）は正射影方式を示す。各図中の同心円は、ある画角の光線が像面上で結像する位置を示す。

これらの図から分かるように、それぞれの射影方式で画角と像面上の位置との対応関係が異なる。これは各光学系において、画角(像高)ごとの結像倍率が異なることを示す。各実施例は、以下のように、主撮像系と副撮像系とで結像倍率の画角特性(像高特性)を適切に設定する。

各実施例の撮像装置において、主光学系の画角が副光学系の画角に相当する画角に設定された状態を特定変倍状態という。そして、この特定変倍状態において、主光学系の結像倍率のうち、該主光学系の中心画角での結像倍率に対する中心画角と周辺画角との間の所定の中間画角での結像倍率の比率を第１の結像倍率比とする。また、副光学系の結像倍率のうち、該副光学系の中心画角での結像倍率に対する所定の中間画角での結像倍率の比率を第２の結像倍率比とする。このとき、第２の結像倍率比を第１の結像倍率比よりも小さくする。

言い換えれば、上記特定変倍状態において、副光学系の半画角とこれに相当する主光学系の半画角のそれぞれをθｍａｘとし、半画角θでの主光学系の結像倍率をβｍ（θ）とするとともに副光学系の結像倍率をβｓ（θ）とする。中心画角を０とし、上記所定の中間画角をθｍａｘ／２とする。このとき、第１の結像倍率比であるβｍ（θｍａｘ／２）／βｍ（０）と第２の結像倍率比であるβｓ（θｍａｘ／２）／βｓ（０）とが、以下の式（１）の条件を満足する。

βｓ（θｍａｘ／２）／βｓ（０）＜βｍ（θｍａｘ／２）／βｍ（０） （１）
ここで、半画角θは、各光学系に入射する主光線がその光学系の光軸となす角度である。また、半画角θｍａｘは、ある変倍状態において撮像できる半画角θの最大値である。また、「相当する画角」とは、同じ画角または同じとみなせる程度の差（例えば、５度や１０度）のみを有する画角を意味する。さらに、副光学系の画角と同じ画角が主光学系の変倍範囲内にない場合や、主光学系の変倍が段階的な画角の選択により行われる場合には、副光学系の画角に最も近い画角を意味する。なお、主光学系の半画角が副光学系の半画角に相当し、主光学系および副光学系の半画角のうち一方の半画角が他方の半画角より小さい場合は、上記一方の半画角をθｍａｘとすればよい。

式（１）の条件は、主光学系および副光学系の射影方式に関する条件であり、主光学系と副光学系における中間像高（中間画角）での結像倍率の光軸上（中心画角）での結像倍率に対する比が、主光学系よりも副光学系の方が小さくなることを示す。

なお、θｍａｘ／２は中間画角を示す典型的な例であり、他の中間画角θｍａｘ／ｎ（例えばｎ＝１．５や２．５）において式（１）と同様な条件を満足するようにしてもよい。

一般に、主光学系の結像倍率は用途によって要求される値で決まる。主光学系に式（１）の条件を満足する副光学系を組み合わせることで、主撮像系（主光学系）の変倍が行われたときの副撮像系の解像度の相対的劣化（被写体距離情報の精度低下）が少ない撮像装置を実現することができる。また、この構成によれば、ある変倍比を持つ主光学系に対して、従来よりも少ない数の副光学系を設ければ済む。従来と同数の副光学系を設ける場合には、主光学系のより大きな変倍比に対応することができる。これにより、小型の撮像装置でありながらも、従来より高解像度かつ高精度の被写体距離情報を取得することができる。これは、副光学系が固定焦点距離（単焦点）の光学系であっても変倍可能な光学系であっても成り立つ。ただし、副光学系が単焦点光学系であると、該副光学系の変倍機構を設けずに済むので、撮像装置のより小型化が可能となる。

また、上記特定変倍状態において、中心画角０からθｍａｘまでの任意の半画角θ１およびθ２がθ１＜θ２であるとき、
βｓ（θ２）／βｍ（θ２）≦βｓ（θ１）／βｍ（θ１） （２）
なる条件を満足することが好ましい。

この式（２）の条件は、主光学系および副光学系の射影方式に関する条件であり、像高が高いほど主光学系の結像倍率に対する副光学系の結像倍率の比率が小さくなることを示している。この条件を満足することで、主撮像系（主光学系）の変倍による副撮像系の解像度の相対的な劣化を抑制することができ、より高解像度かつ高精度の被写体距離情報を取得することができる。

また、上記特定変倍状態において、副光学系の半画角をθｓｍａｘとするとき、
０．１≦（βｓ（０）−βｓ（θｓｍａｘ））／βｓ（０） （３）
なる条件を満足することが好ましい。

この式（３）の条件は、副光学系の射影方式に関する条件であり、光軸上よりも高い像高において副光学系の結像倍率が小さくなることを示している。式（３）の値がその下限値を下回ると、光軸上での副光学系の結像倍率が小さすぎて、主光学系の変倍が行われることで副光学系の解像度が相対的に低下するので、好ましくない。

式（３）の下限値を以下のように設定すると、より好ましい。
０．２≦（βｓ（０）−βｓ（θｓｍａｘ））／βｓ（０） （３ａ）
式（３）の下限値を以下のように設定すると、さらに好ましい。
０．３≦（βｓ（０）−βｓ（θｓｍａｘ））／βｓ（０） （３ｂ）
また、上記特定変倍状態において、
０．１≦βｍ（θｍａｘ）／βｍ（０）−βｓ（θｍａｘ）／βｓ（０） （４）
なる条件を満足することが好ましい。

この式（４）の条件は、主光学系と副光学系の射影方式に関するものであり、副光学系の歪曲量を主光学系の歪曲量との差分で表したときにその差分に関する条件である。式（４）の値がその下限値を下回ると、副光学系の負の歪曲が小さすぎて、主光学系の変倍が行われることで副光学系の解像度が相対的に低下するので、好ましくない。

式（４）の下限値を以下のように設定すると、より好ましい。
０．２≦βｍ（θｍａｘ）／βｍ（０）−βｓ（θｍａｘ）／βｓ（０） （４ａ）
式（４）の下限値を以下のように設定すると、さらに好ましい。
０．３≦βｍ（θｍａｘ）／βｍ（０）−βｓ（θｍａｘ）／βｓ（０） （４ｂ）
また、副撮像系は１つのみ設けてもよいし、複数設けてもよい。そして、少なくとも１つの副撮像系（副光学系）は主撮像系（主光学系）の広角端の画角と同じ画角またはこれよりも広い画角を有することが好ましい。これにより、主撮像系の変倍によって得られる画角の全域において被写体距離情報を取得できない画角域（変倍域）の発生を回避することができる。

また、少なくとも１つの副撮像系（副光学系）は主撮像系の広角端での画角より狭く、望遠端での画角と同じ画角またはこれよりも広い画角を有することが好ましい。これにより、主撮像系の広角端側から望遠端側への変倍が行われた際に、被写体距離情報をより高解像度かつ高精度に取得することができる。

また、特定変倍状態において、主光学系の半画角をθｍｍａｘとするとき、
｜（βｍ（０）−βｍ（θｍｍａｘ））／βｍ（０）｜≦０．１ （５）
なる条件を満足することが好ましい。

この式（５）の条件は、主光学系の歪曲量に関する条件である。式（５）の値がその上限値を上回ると、高像高において被写体の高解像度の画像を得ることができないので、好ましくない。

さらに、副撮像系を複数有する場合において、該複数の副撮像系のうち第ｉの副撮像系に含まれる副光学系の半画角θでの結像倍率をβｓｉ（θ）とし、主光学系の変倍により得られるβｍ（θ）の最大値をβｍｍａｘ（θ）とする。また、主撮像系および第ｉの副撮像系における撮像領域での最大像高をそれぞれ、Ｙｍ，Ｙｓｉとし、ｍａｘ（ｘ）を該複数の副撮像系に対する最大のｘとする。このとき、
θ＜ｍａｘ（θｍａｘ）に対して、
０．３≦ｍａｘ（βｓｉ（θ）／Ｙｓｉ）／（βｍｍａｘ（θ）／Ｙｍ） （６）
この式（６）の条件は、副光学系と主光学系の結像倍率比に関する条件である。式（６）の値がその下限値を下回ると、主光学系に対する副光学系の相対的な解像度が低くなりすぎて、取得できる被写体距離情報の精度が低下するので好ましくない。主光学系が高変倍比を有する場合は、式（６）の条件を満足するように複数の副光学系を有する構成とすることが好ましい。

式（６）の下限値を以下のように設定すると、より好ましい。
０．４≦ｍａｘ（βｓｉ（θ）／Ｙｓｉ）／（βｍｍａｘ（θ／Ｙｍ）） （６ａ）
以下、具体的な実施例について説明する。

図２には、本発明の実施例１である撮像装置１を被写体側から見て示している。主光学系１００は、３５ｍｍ換算で２０ｍｍ〜１８０ｍｍの焦点距離を有する中心射影方式の変倍可能な結像光学系である。なお、以下の説明では、特に断りがないかぎり、焦点距離は全て３５ｍｍ換算値を記載する。中心射影方式とは、半画角θの光線とその光線が結像する像高ｙとが、
ｙ＝ｆ・ｔａｎθ
の関係を有する射影方式である。前述したように、半画角θは、光学系に入射する主光線がその光学系の光軸となす角度である。また、像高ｙは、撮像素子２００の撮像領域上での中心（光軸との交点）から結像位置までの距離である。

撮像素子（以下、主撮像素子という）２００は、主光学系１００に対応する矩形の撮像領域（光電変換領域）を有するＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子であり、主光学系１００により形成された被写体像を撮像（光電変換）する。

第１の副光学系１１０および第２の副光学系１２０は、主光学系１００を挟んだ水平方向（主撮像素子２００の長辺が延びる方向）の両側に配置されている。これら第１の副光学系１１０および第２の副光学系１２０はそれぞれ、不図示の副撮像素子とともに第１の副撮像系および第２の副撮像系を構成する。第１および第２の副光学系１１０，１２０は、後述する互いに異なる固定焦点距離の結像光学系（単焦点光学系）である。第１および第２の副撮像系に含まれる副撮像素子はそれぞれ、第１および第２の副光学系１１０，１２０に対応する矩形の撮像領域を有し、第１および第２の副光学系１１０，１２０により形成された被写体像を撮像（光電変換）する。

主光学系１００、第１および第２の副光学系１１０，１２０は、それらの光軸が互いに平行になるように配置されている。第１の副光学系１１０は、主光学系１００の広角端（焦点距離２０ｍｍ）での半画角に相当する４７．２度の半画角を有する単焦点光学系である。本実施例では、第１の副光学系１１０は、
ｙ＝ｆ・ｓｉｎθ
で表される正射影方式の光学系である。

一方、第２の副光学系１２０は、主光学系１００の広角端と望遠端との間の中間ズーム位置での焦点距離（つまりは広角端での画角より狭く、望遠端での画角以上の画角）を有する単焦点光学系である。第２の副光学系１２０は、主光学系１００の焦点距離６０ｍｍでの半画角に相当する半画角である１９．８度の半画角を有する。本実施例では、第２の副光学系１２０は、
ｙ＝ｆ・ｓｉｎ（３．５×θ）／３．５
で表される射影方式の光学系である。また、本実施例では、主撮像素子２００と各副撮像素子とが同じ大きさの撮像領域を有する。

図４（Ａ），（Ｂ），（Ｃ）にはそれぞれ、主光学系１００、第１および第２の副光学系１１０，１２０の撮像領域上での結像倍率を示している。横軸は半画角に対応する像高を示しており、縦軸は各光学系の半画角θでの結像倍率を中心画角０での結像倍率で規格化した値（βｍ（θ）／βｍ（０），βｓ（θ）／βｓ（０））を示している。

図４（Ａ）には、主光学系１００の結像倍率が像高によらず同じ（一定）であることを示している。主光学系１００はその全変倍域で中心射影方式に従うため、結像倍率は変倍状態によらず同じである。

図４（Ｂ），（Ｃ）にはそれぞれ、第１および第２の副光学系１１０，１２０の結像倍率が像高によって変化することを示している。像高が高いほど結像倍率は低下する。

このような第１および第２の副光学系１１０，１２０を設けることで、撮像装置１を小型としつつ、主光学系１００の変倍がなされたときの副撮像系により得られる副画像の解像度の相対的な劣化を抑制することができる。この結果、高解像度かつ精度良く被写体距離情報を取得することができる。その原理について以下に説明する。

まず、主撮像系（主光学系１００）と副撮像系（副光学系１１０または１２０）とが同一の画角であり、かつ同一の射影方式である場合を考える。ここで、主撮像系の結像倍率のみを大きくすると、主撮像系と副撮像系において共通する被写体を撮像可能な画角範囲（以下、共通撮像画角範囲という）が狭くなる。そこで、主撮像系と副撮像系との視差を用いて被写体距離情報を取得するためには、副撮像系により得られる副画像の一部を切り出して（トリミングして）拡大することにより主撮像系により得られる主画像と対応させる必要がある。主撮像系の結像倍率がｋ倍になると、この主撮像系に対する副撮像系の結像倍率の比率は１／ｋとなり、副撮像系により得られる副画像の解像度が相対的に劣化する。これにより、被写体距離情報を精度良く取得することができなくなる。

そこで本実施例では、主光学系１００が副光学系（１１０，１２０）に相当する画角に設定された特定変倍状態において、画角（像高）ごとの主光学系１００の結像倍率に対する副光学系の結像倍率の比率を適切に設定している。具体的には、光軸上における主光学系１００の結像倍率に対する副光学系の結像倍率の比率が、高画角（周辺画角）における主光学系１００の結像倍率に対する副光学系の結像倍率の比率よりも大きくなるようにしている。さらに言えば、副光学系はその像面の中心部において、周辺部よりも被写体像の解像度が高くなるように結像倍率が設定されている。

このような構成によれば、主光学系１００の望遠側への変倍が行われても、副撮像系により得られる副画像からトリミングされて拡大された被写体距離情報取得用の拡大画像の劣化度合いを低減させることができる。

このことを、図５（Ａ），（Ｂ）を用いて説明する。図５（Ａ）は、広角端に設定された主光学系１００の結像倍率（βｍ（θ））に対する第１の副光学系１１０の結像倍率（βｓ（θ））の比率を示している。この図から分かるように、第１の副光学系１１０は像面の中心部で主光学系１００よりも結像倍率が大きく、周辺部で主光学系１００よりも結像倍率が小さい。

図５（Ｂ）は、広角端から望遠側への変倍により結像倍率が３倍にされた主光学系１００の結像倍率に対する第１の副光学系１１０の結像倍率の比率を示している。仮に主光学系１００と第１の副光学系１１０の射影方式が同じであれば、像高によらず上記結像倍率の比率は０．３３（＝１／３）となる。しかし、本実施例では、主光学系１００と第１の副光学系１１０の射影方式をそれぞれ適切に設定することで、図５（Ｂ）に示すように、主光学系１００の変倍が行われても上記結像倍率の比率は、中心部で０．５程度、周辺部で０．４程度までしか低下していない。つまり、第１の副撮像系の解像度の劣化が低減されている。

本実施例では、主光学系１００の変倍比が９倍と大きいので、撮像装置１はさらに第２の副光学系１２０を有する。図６（Ａ）には、焦点距離６０ｍｍに設定された主光学系１００の結像倍率（βｍ（θ））に対する第２の副光学系１２０の結像倍率（βｓ（θ））の比率を示している。図６（Ｂ）は、望遠端（焦点距離１８０ｍｍ）に設定された主光学系１００の結像倍率に対する第２の副光学系１２０の結像倍率の比率を示している。第１の副光学系１１０と同様に、第２の副光学系１２０においても、主光学系１００の望遠側への変倍による像面上での主光学系１００の結像倍率に対する結像倍率の比率の低下が抑えられている。このため、第２の副撮像系の解像度の劣化も低減されている。

本実施例では、図５（Ａ）および図６（Ａ）のそれぞれから分かるように、第１および第２副光学系１１０，１２０はともに式（１），（２）の条件を満足している。

本実施例では、主光学系１００の結像倍率に対する第１および第２の副光学系１１０，１２０の結像倍率の比率が主光学系１００の全変倍域で０．４０以上となっている。仮に主光学系１００と副光学系の射影方式を同じである場合に上記結像倍率の比率を全変倍域で０．４０以上とするには、１つの副光学系で主光学系１００の２．５（＝１／０．４）倍の変倍比までしか対応できない。つまり、２つの副光学系を合わせても、６．２５倍の変倍比までしか対応できない。

これに対して、本実施例では、第１および第１の副光学系１１０，１２０の像高に対する結像倍率の変化を主光学系１００に対して適切に設定することで、これら第１および第１の副光学系１１０，１２０によって主光学系１００の９倍の変倍比に対応している。

実際に被写体距離情報を取得する際には、第１および第２の副撮像系のうち最も解像度が高い副撮像系により得られた副画像を用いるとよい。本実施例では、主撮像系（主光学系１００）の焦点距離が２０ｍｍ〜６０ｍｍの範囲では第１の副撮像系からの副画像を用い、主撮像系の焦点距離が６０ｍｍ〜１８０ｍｍの範囲では第２の副撮像系からの副画像を用いるとよい。

図３には、本実施例の撮像装置１の電気的構成を示している。撮像装置１は、主撮像系と第１および第２の副撮像系を含む撮像系１０と、Ａ／Ｄ変換器１１と、画像処理部１２と、画像合成部（画像合成手段）１３とを有する。また、撮像装置１は、情報入力部１４と、撮像制御部１５と、画像記録媒体１６と、システムコントローラ１７と、表示部１８と、距離情報算出部（距離取得手段）１９とを有する。

Ａ／Ｄ変換器１１は、主撮像素子および２つの副撮像素子から出力されるアナログ撮像信号をデジタル撮像信号に変換して画像処理部１２に供給する。画像処理部１２は、Ａ／Ｄ変換器１１からのデジタル撮像信号に対して画素補間処理、色変換処理およびデジタルズーム処理等を行って撮像画像（主画像および２つの副画像）を生成する。また、画像処理部１２は、撮像画像を用いて各種演算処理を行い、それらの演算結果をシステムコントローラ１７に送信する。

画像処理部１２は、画像合成部１３をさらに有する。画像合成部１３は、基準視点となる主撮像系により取得された主画像を合成用の基準画像として設定し、該基準画像に対して２つの副撮像系により取得された副画像のうち少なくとも１つを合成する。画像の合成には、後述するブロックマッチング法等が用いられる。

情報入力部１４は、ユーザが所望の撮像条件（絞り値や露出時間等）を選択して入力する情報を検知してシステムコントローラ１７にそれらのデータを供給する。撮像制御部１５は、システムコントローラ１７からの命令に応じて、各光学系に含まれるフォーカスレンズを移動させたり、各光学系の絞り値を制御したり、各撮像系の撮像素子の露出時間を制御したりする。

画像記録媒体１６は、画像処理部１２により生成された撮像画像を格納したり、撮像画像を格納する画像ファイルを構成する場合のファイルヘッダを記録したりする。表示部１８は、撮像時のプレビュー画像や記録済みの撮像画像を表示したり、それぞれ選択可能なメニュー項目、焦点距離範囲（画角範囲）等を表示したりする。表示部１８は、液晶表示素子等により構成される。

距離情報算出部１９は、基準画像選択部２０と、対応点抽出部２１と、視差量算出部２２とを有する。基準画像選択部２０は、主撮像系によって得られた主画像を距離情報算出用の基準画像として選択する。対応点抽出部２１は、主画像および複数の副画像のうち一対の視差画像における互いに対応する画素（以下、対応点という）を抽出する。視差量算出部２２は、対応点抽出部２１により抽出された全ての対応点の視差量を算出する。距離情報算出部１９は、算出された視差量から主画像（つまりは主撮像系の撮像画角内）の全域における被写体距離を算出（被写体距離情報を取得）する。

次に、システムコントローラ１７、画像処理部１２および距離情報算出部１９が行う撮像／被写体距離算出処理について、図７のフローチャートを用いて説明する。ここでは、まず主撮像系と第１の副撮像系により得られる視差画像を用いる場合の処理について説明する。それぞれコンピュータにより構成されるシステムコントローラ１７、画像処理部１２および距離情報算出部１９は、撮像／被写体距離算出処理をコンピュータプログラムである撮像／被写体距離算出処理プログラムに従って実行する。「Ｓ」はステップ（工程）の略である。

まず、システムコントローラ１７は、Ｓ１００において、情報入力部１４からユーザにより入力された撮像条件等の情報を取得する。そして、ユーザによって操作された不図示の撮像開始スイッチから撮像指示信号が入力されると、撮像制御部１５に撮像条件等の情報を転送する。撮像条件とは、主撮像系の撮像画角、絞り値およびシャッタースピード等である。撮像制御部１５は、入力された撮像条件に基づいて、主撮像系の撮像画角（ズーム状態）や主撮像系および副撮像系の絞り値、シャッタースピード等を制御する。

次に、Ｓ１０１では、システムコントローラ１７は、入力された撮像条件に応じて、第１および第２の副撮像系のうち撮像に使用する第１または第２の副撮像系を選択する。副撮像系の選択には、主撮像系において設定された撮像画角（以下、主撮像画角という）の情報を用いる。ここでは、主撮像系により得られる主画像の全体に対して画像合成を行うため、主撮像系の設定画角に対して同一またはより広い撮像画角（以下、副撮像画角という）を有する副撮像系を選択するものとする。

次に、Ｓ１０２では、システムコントローラ１７は、撮像制御部１５を介して、主撮像系とＳ１０１で選択した第１または第２の副撮像系による撮像（主および副撮像素子の露光）を行うとともに、画像処理部１２に撮像画像を生成させる。これにより、１つの主画像と２つの副画像とが、互いに視差を有する視差画像として取得される。この際、主撮像系と副撮像系の焦点面は、被写体距離情報を精度良く取得するために、同一平面上にあることが好ましい。また、後に画像処理部１２において主画像と副画像の画像合成を行う場合は、各画像の輝度レベルやホワイトバランスの補正を行って、合成画像における輝度むらや色むらを低減するようにしてもよい。

次に、Ｓ１０３では、システムコントローラ１７は、画像処理部１２に、選択した副撮像系により得られる副画像と主撮像系により得られる主画像とが同じ射影方式で得られる画像となるように画像変換を行わせる。例えば、選択された副撮像系により得られた副画像を主撮像系により中心射影方式で得られる画像に変換する。異なる射影方式間での画像変換は、変換対象画像の各画素を座標変換することで行える。この際、一般的な歪曲収差補正処理等と同様に適宜、補間処理を行う。

次に、Ｓ１０４では、システムコントローラ１７は、主撮像画角が選択された副撮像系の副撮像画角と同一であるか否かを判定する。主撮像画角が副撮像画角と同一である場合はシステムコントローラ１７はＳ１０６に移行し、異なる場合はＳ１０５に移行する。

Ｓ１０５では、システムコントローラ１７は、画像処理部１２に、副画像の一部の画像領域を主撮像画角に対応した画像となるようにトリミングして拡大処理する。このトリミングおよび拡大処理によって得られる拡大画像はもとの副画像に対して解像度は劣化するが、主撮像画角に相当する撮像画角に対応する画像となる。これにより、主画像と拡大画像上の被写体サイズを互いに同じにすることができる。この後、ステップＳ１０６に進む。

Ｓ１０６では、システムコントローラ１７は、基準画像選択部２０に主画像を被写体距離算出用の基準画像として選択させる。さらに、システムコントローラ１７は、対応点抽出部２１に、基準画像と副画像または拡大画像としての参照画像との間で対応点を抽出させる。対応点は、２つの視差画像である基準画像と参照画像がいずれも同じ被写体を含む場合に該２つの視差画像のそれぞれにおける該被写体の画像部分（以下、被写体領域という）の同じ箇所を構成する画素である。

対応点の抽出方法について説明する。図８の左側には主撮像系により得られた主画像である基準画像５０１を、右側には第１の副撮像系により得られた副画像（または拡大画像）である参照画像５０２を示している。ここでは、画像上の水平方向および垂直方向での位置を示す画像座標（Ｘ，Ｙ）を用いる。画像座標（Ｘ，Ｙ）は、図８に示す各画像の左上を原点として定義する。また、基準画像５０１における画像座標（Ｘ，Ｙ）の輝度をＦ１（Ｘ，Ｙ）とし、参照画像５０２における画像座標（Ｘ，Ｙ）の輝度をＦ２（Ｘ，Ｙ）とする。

基準画像５０１における任意の座標（Ｘ，Ｙ）の画素（ハッチングして示す）に対応する参照画像５０２中の画素（ハッチングして示す）は、参照画像５０２のうち基準画像５０１中の輝度Ｆ１（Ｘ，Ｙ）と最も類似した輝度を有する画素を探すことで求められる。ただし、任意の画素の輝度と最も類似する輝度を有する画素を単純に探すことは難しいため、画像座標（Ｘ，Ｙ）の近傍の画素も用いたブロックマッチング法にて輝度が類似した画素を探索する。

例えば、ブロックサイズが３である場合のブロックマッチング処理について説明する。基準画像５０１中の任意の座標（Ｘ，Ｙ）の画素と、その前後（Ｘ−１，Ｙ），（Ｘ＋１，Ｙ）の２つの画素の計３つの画素の輝度値はそれぞれ、
Ｆ１（Ｘ，Ｙ），Ｆ１（Ｘ−１，Ｙ），Ｆ１（Ｘ＋１，Ｙ）
となる。

これに対し、座標（Ｘ，Ｙ），（Ｘ−１，Ｙ），（Ｘ＋１，Ｙ）からＸ方向にｋだけずれた参照画像５０２中の画素の輝度値はそれぞれ、
Ｆ２（Ｘ＋ｋ，Ｙ），Ｆ２（Ｘ＋ｋ−１，Ｙ），Ｆ２（Ｘ＋ｋ＋１，Ｙ）
となる。

このとき、基準画像５０１中の座標（Ｘ，Ｙ）の画素との類似度Ｅを以下の式（ｄ）で定義する。

この式（ｄ）において逐次ｋの値を変えて類似度Ｅの値を計算し、最も小さい類似度Ｅを与える（Ｘ＋ｋ，Ｙ）が、参照画像５０２のうち基準画像５０１中の座標（Ｘ，Ｙ）に対応する画素（対応点）である。ここでは、水平方向に視差を有する画像間での対応点抽出方法について説明したが、同様にして垂直方向や斜め方向に視差を有する場合の対応点を抽出することもできる。

なお、そのままではブロックマッチング法で対応できないほど視差が大きく基準画像と参照画像間で被写体領域の形状が大きく異なる場合は、参照画像に対してアフィン変換等の幾何変換を行った後に、ブロックマッチング法を用いて対応点抽出処理を行ってもよい。

次に、Ｓ１０７において、システムコントローラ１７は、視差量算出部２２に、Ｓ１０６で抽出された各対応点についての視差量を算出する。視差量は、上述したブロックマッチング法で得られた基準画像の各画素（基準画素）と該基準画素に対応する参照画像上の画素（対応画素）との画素位置の差分として算出される
次に、Ｓ１０８では、システムコントローラ１７は、距離情報算出部１９に、主画像に含まれる各被写体の被写体距離を算出させる。距離情報算出部１９は、Ｓ１０７で算出された視差量と、既知の情報である主光学系１００の焦点距離および主光学系１００と第１の副光学系１１０との間の基線長の情報とから、各被写体までの距離を式（ｃ）を用いて算出する。

次に、Ｓ１０９では、システムコントローラ１７は、Ｓ１０８で算出された被写体距離の情報を、Ｓ１０２で取得した視差画像のデータとともに画像記録媒体１６に記録して、本処理を終了する。

ここでは第１の副光学系１１０を用いた場合の被写体距離の算出について説明したが、同様の処理によって第２の副光学系１２０を用いても被写体距離を算出することが可能である。

また、本実施例では視差画像から被写体距離情報を取得する場合について説明したが、画像合成部１３にて、主画像としての基準画像に対して副画像（または拡大画像）のうち基準画像に互いに対応する被写体領域を画素単位で合成して合成画像を生成してもよい。これにより、基準画像内のノイズレベルを低減させ、画質が向上した合成画像を得ることができる。視差画像を被写体距離情報の取得にのみ使用する場合は、画像合成部１３での合成処理は行わずに視差画像を出力してもよい。

次に、本発明の実施例２である撮像装置について説明する。本実施例の撮像装置の基本的な構成は実施例１の撮像装置１と同じであるため、ここでの説明は省略する。本実施例の撮像装置は、実施例１の撮像装置１と主光学系、第１および第２の副光学系が異なる。ただし、本実施例においても、主光学系、第１および第２の副光学系には実施例１と同符号を付す。

主光学系１００は、１４ｍｍ〜１２６ｍｍの焦点距離を有する中心射影方式の変倍可能な結像光学系である。

また、第１の副光学系１１０は、主光学系１００の広角端（焦点距離１４ｍｍ）での半画角に相当する５７．１度の半画角を有する単焦点光学系である。本実施例では、第１の副光学系１１０は、
ｙ＝２ｆ・ｓｉｎ（θ／２）
で表される等立体角射影方式の光学系である。

一方、第２の副光学系１２０は、主光学系１００の広角端と望遠端との間の中間ズーム位置での焦点距離（広角端での画角より狭く、望遠端での画角以上の画角）を有する単焦点光学系である。第２の副光学系１２０は、主光学系１００の焦点距離４２ｍｍでの半画角に相当する画角である２７．３度の半画角を有する。本実施例では、第２の副光学系１２０は、
ｙ＝ｆ・ｓｉｎ（２．５×θ）／２．５
で表される射影方式の光学系である。また、本実施例では、主撮像素子２００と各副撮像素子とが同じ大きさの撮像領域を有する。

図９（Ａ），（Ｂ），（Ｃ）にはそれぞれ、本実施例における主光学系１００、第１および第２の副光学系１１０，１２０の撮像領域上での結像倍率を示している。横軸は半画角に対応する像高を示しており、縦軸は各光学系の半画角θでの結像倍率を中心画角０での結像倍率で規格化した値（βｍ（θ）／βｍ（０），βｓ（θ）／βｓ（０））を示している。

図９（Ａ）には、主光学系１００の結像倍率が像高によらず同じ（一定）であることを示している。実施例１と同様に、主光学系１００はその全変倍域で中心射影方式に従うため、結像倍率は変倍状態によらず同じである。

図９（Ｂ），（Ｃ）にはそれぞれ、第１および第２の副光学系１１０，１２０の結像倍率が像高によって変化することを示している。像高が高いほど結像倍率は低下する。

このような第１および第２の副光学系１１０，１２０を設けることで、撮像装置を小型としつつ、主光学系１００の変倍がなされたときの副撮像系により得られる副画像の解像度の相対的な劣化を抑制することができる。この結果、精度良く被写体距離情報を取得することができる。

図１０（Ａ）には、広角端に設定された主光学系１００の結像倍率（βｍ（θ））に対する第１の副光学系１１０の結像倍率（βｓ（θ））の比率を示している。この図から分かるように、第１の副光学系１１０は像面の中心部で主光学系１００よりも結像倍率が大きく、周辺部で主光学系１００よりも結像倍率が小さい。

図１０（Ｂ）は、広角端から望遠側への変倍により結像倍率が３倍にされた主光学系１００の結像倍率に対する第１の副光学系１１０の結像倍率の比率を示している。実施例１でも説明したように、仮に主光学系１００と第１の副光学系１１０の射影方式が同じであれば、像高によらず上記結像倍率の比率は０．３３（＝１／３）となる。しかし、本実施例では、主光学系１００と第１の副光学系１１０の射影方式をそれぞれ適切に設定することで、図１０（Ｂ）に示すように、主光学系１００の変倍が行われても上記結像倍率の比率は０．４程度にまでしか低下していない。つまり、第１の副撮像系の解像度の劣化が低減されている。

図１１（Ａ）は、焦点距離４２ｍｍに設定された主光学系１００の結像倍率に対する第２の副光学系１２０の結像倍率の比率を示している。図１１（Ｂ）は、望遠端（焦点距離１２６ｍｍ）に設定された主光学系１００の結像倍率に対する第２の副光学系１２０の結像倍率の比率を示している。第１の副光学系１１０と同様に、第２の副光学系１２０においても、主光学系１００の望遠側への変倍による像面上での主光学系１００の結像倍率に対する結像倍率の比率の低下が抑えられている。このため、第２の副撮像系の解像度の劣化も低減されている。

図１０（Ａ）および図１１（Ａ）のそれぞれから分かるように、本実施例における第１および第２副光学系１１０，１２０もともに式（１），（２）の条件を満足している。

また、本実施例でも、第１および第１の副光学系１１０，１２０の像高に対する結像倍率の変化を主光学系１００に対して適切に設定している。これにより、図１０（Ｂ）および図１１（Ｂ）から分かるように、主光学系１００の９倍の変倍比に対しても被写体距離情報を取得するために用いる副画像の解像度の劣化を低減している。本実施例でも、主光学系１００の結像倍率に対する第１および第２の副光学系１１０，１２０の結像倍率の比率が主光学系１００の全変倍域で０．４０以上となっている。

実際に被写体距離情報を取得する際には、第１および第２の副撮像系のうち最も解像度が高い副撮像系により得られた副画像を用いるとよい。本実施例では、主撮像系（主光学系１００）の焦点距離が１４ｍｍ〜４２ｍｍの範囲では第１の副撮像系からの副画像を用い、主撮像系の焦点距離が４２ｍｍ〜１２６ｍｍの範囲では第２の副撮像系からの副画像を用いるとよい。

次に、本発明の実施例３である撮像装置について説明する。図１２には、本実施例の撮像装置３を被写体側から見て示している。撮像装置３の基本的な構成は、実施例１，２と同じであるため、その説明は省略する。本実施例の撮像装置３は、副光学系が１つである点で実施例１，２と異なる。本実施例では、主光学系に符号１００を付すとともに、副光学系に符号１１０を付す。

主光学系１００は、２６ｍｍ〜５２ｍｍの焦点距離を有する中心射影方式の変倍可能な結像光学系である。

また、副光学系１１０は、主光学系１００の広角端（焦点距離２６ｍｍ）での半画角に相当する３９．８度の半画角を有する単焦点光学系である。本実施例では、第１の副光学系１１０は、
ｙ＝２ｆ・ｔａｎ（θ／２）
で表される立体射影方式の光学系である。また、本実施例では、主撮像素子２００と、副光学系１１０とともに副撮像系を構成する副撮像素子とが同じ大きさの撮像領域を有する。

図１３（Ａ），（Ｂ）にはそれぞれ、本実施例における主光学系１００および副光学系１１０の撮像領域上での結像倍率を示している。横軸は半画角に対応する像高を示しており、縦軸は各光学系の半画角θでの結像倍率を中心画角０での結像倍率で規格化した値（βｍ（θ）／βｍ（０），βｓ（θ）／βｓ（０））を示している。

図１３（Ａ）には、主光学系１００の結像倍率が像高によらず同じ（一定）であることを示している。実施例１と同様に、主光学系１００はその全変倍域で中心射影方式に従うため、結像倍率は変倍状態によらず同じである。

図１３（Ｂ）には、副光学系１１０の結像倍率が像高によって変化することを示している。像高が高いほど結像倍率は低下する。

このような副光学系１１０を設けることで、撮像装置を小型としつつ、主光学系１００の変倍がなされたときの副撮像系により得られる副画像の解像度の相対的な劣化を抑制することができる。この結果、精度良く被写体距離情報を取得することができる。

図１４（Ａ）には、広角端に設定された主光学系１００の結像倍率（βｍ（θ））に対する副光学系１１０の結像倍率（βｓ（θ））の比率を示している。この図から分かるように、副光学系１１０は像面の中心部で主光学系１００よりも結像倍率が大きく、周辺部で主光学系１００よりも結像倍率が小さい。

図１４（Ｂ）は、広角端から望遠側への変倍により結像倍率が２倍にされた主光学系１００の結像倍率に対する副光学系１１０の結像倍率の比率を示している。実施例１でも説明したように、仮に主光学系１００と第１の副光学系１１０の射影方式が同じであれば、像高によらず上記結像倍率の比率は０．５（＝１／２）となる。この点、本実施例でも、周辺部では上記結像倍率の比率は０．５程度まで低下する。しかし、主光学系１００と副光学系１１０との結像倍率の比率を図１４（Ａ）のように適切に設定することで、中心部の解像度の劣化度合いを低減している。

本実施例でも、図１４（Ａ）から分かるように、副光学系１１０は式（１），（２）の条件を満足している。

表１には、実施例１〜３の式（３）〜（６）の値をまとめて示している。

なお、各実施例では、主撮像系の撮像領域と副撮像系の撮像領域とが同じ大きさを有する場合について説明したが、これらを互いに異なる大きさとしてもよい。また、各実施例において、画角が一定となるように実焦点距離と撮像領域の大きさを定数倍しても同等の効果が得られる。

さらに、各実施例では。副光学系を全て単焦点光学系とした場合について説明したが、副光学系を変倍可能な光学系としてもよい。この場合、副光学系に関する式（１）〜（６）の条件は、副光学系の全変倍域の全てで満足してもよいし一部で満足してもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１，３ 撮像装置
１００ 主光学系
１１０，１２０ 副光学系

Claims (12)

1. 変倍可能な主光学系により形成された被写体像を撮像する主撮像系と、
   副光学系により形成された被写体像を撮像する副撮像系と、
   被写体距離を算出する距離算出部とを有し、
   前記主光学系の画角が前記副光学系の画角に相当する画角に設定された特定変倍状態において、
   前記主光学系の結像倍率のうち、該主光学系の中心画角での結像倍率に対する前記中心画角と周辺画角との間の所定の中間画角での結像倍率の比率を第１の結像倍率比とし、
   前記副光学系の結像倍率のうち、該副光学系の中心画角での結像倍率に対する前記所定の中間画角での結像倍率の比率を第２の結像倍率比とするとき、
   前記第２の結像倍率比が前記第１の結像倍率比よりも小さく、
   前記距離算出部は、前記主撮像系を介して得られた画像と前記副撮像系を介して得られた画像から算出された前記主撮像系と前記副撮像系の視差量に基づいて、前記被写体距離を算出することを特徴とする撮像装置。
2. 前記副光学系は、単焦点光学系であることを特徴とする請求項１に記載の撮像装置。
3. 前記特定変倍状態において、
   前記副光学系の半画角とこれに相当する前記主光学系の半画角のそれぞれをθｍａｘとし、半画角θでの前記主光学系の結像倍率をβｍ（θ）とするとともに前記副光学系の結像倍率をβｓ（θ）とし、前記中心画角のときθ＝０とし、前記所定の中間画角のときθ＝θｍａｘ／２であるとし、
   前記第１の結像倍率比であるβｍ（θｍａｘ／２）／βｍ（０）と前記第２の結像倍率比であるβｓ（θｍａｘ／２）／βｓ（０）とが、
   βｓ（θｍａｘ／２）／βｓ（０）＜βｍ（θｍａｘ／２）／βｍ（０）
   なる条件を満足することを特徴とする請求項１または２に記載の撮像装置。
4. 前記副撮像系を複数有しており、
   前記複数の副撮像系のうち第ｉの副撮像系に含まれる前記副光学系の半画角θでの結像倍率をβｓｉ（θ）とし、
   前記主光学系の変倍により得られるβｍ（θ）の最大値をβｍｍａｘ（θ）とし、
   前記主撮像系および前記第ｉの副撮像系における前記撮像領域での最大像高をそれぞれ、Ｙｍ，Ｙｓｉとし、
   ｍａｘ（ｘ）を前記複数の副撮像系に対する最大のｘとするとき、θ＜ｍａｘ（θｍａｘ）に対して、
   ０．３≦ｍａｘ（βｓｉ（θ）／Ｙｓｉ）／（βｍｍａｘ（θ）／Ｙｍ）
   なる条件を満足することを特徴とする請求項３に記載の撮像装置。
5. 変倍可能な主光学系により形成された被写体像を撮像する主撮像系と、
   副光学系により形成された被写体像を撮像する複数の副撮像系とを有し、
   前記複数の副撮像系のそれぞれは、前記主光学系の画角が前記副光学系の画角に相当する画角に設定された特定変倍状態において、
   前記副光学系の半画角とこれに相当する前記主光学系の半画角のそれぞれをθｍａｘとし、半画角θでの前記主光学系の結像倍率をβｍ（θ）とするとともに前記副光学系の結像倍率をβｓ（θ）としたとき、
   βｓ（θｍａｘ／２）／βｓ（０）＜βｍ（θｍａｘ／２）／βｍ（０）
   なる条件を満足し、
   前記複数の副撮像系のうち第ｉの副撮像系に含まれる前記副光学系の半画角θでの結像倍率をβｓｉ（θ）とし、
   前記主光学系の変倍により得られるβｍ（θ）の最大値をβｍｍａｘ（θ）とし、
   前記主撮像系および前記第ｉの副撮像系における前記撮像領域での最大像高をそれぞれ、Ｙｍ，Ｙｓｉとし、
   ｍａｘ（ｘ）を前記複数の副撮像系に対する最大のｘとするとき、θ＜ｍａｘ（θｍａｘ）に対して、
   ０．３≦ｍａｘ（βｓｉ（θ）／Ｙｓｉ）／（βｍｍａｘ（θ）／Ｙｍ）
   なる条件を満足することを特徴とする撮像装置。
6. 前記主光学系の半画角が前記副光学系の半画角に相当し、前記主光学系および前記副光学系の半画角のうち一方の半画角が他方の半画角より小さい場合は、該一方の半画角をθｍａｘとすることを特徴とする請求項３乃至５のいずれか一項に記載の撮像装置。
7. 前記特定変倍状態において、
   前記中心画角０からθｍａｘまでの半画角θ１およびθ２がθ１＜θ２であるとき、
   βｓ（θ２）／βｍ（θ２）≦βｓ（θ１）／βｍ（θ１）
   なる条件を満足することを特徴とする請求項３乃至６のいずれか一項に記載の撮像装置。
8. 前記特定変倍状態において、
   前記副光学系の半画角をθｓｍａｘとするとき、
   ０．１≦（βｓ（０）−βｓ（θｓｍａｘ））／βｓ（０）
   なる条件を満足することを特徴とする請求項３乃至７のいずれか一項に記載の撮像装置。
9. 前記特定変倍状態において、
   ０．１≦βｍ（θｍａｘ）／βｍ（０）−βｓ（θｍａｘ）／βｓ（０）
   なる条件を満足することを特徴とする請求項３乃至８のいずれか一項に記載の撮像装置。
10. 前記特定変倍状態において、
    前記主光学系の半画角をθｍｍａｘとするとき、
    ｜（βｍ（０）−βｍ（θｍｍａｘ））／βｍ（０）｜≦０．１
    なる条件を満足することを特徴とする請求項３乃至８のいずれか一項に記載の撮像装置。
11. 前記副光学系は、前記主光学系の広角端での画角と同じまたはこれより広い画角を有することを特徴とする請求項１乃至１０のいずれか一項に記載の撮像装置。
12. 前記副光学系は、前記主光学系の広角端での画角より狭く、望遠端での画角と同じまたはこれより広い画角を有することを特徴とする請求項１乃至１１のいずれか一項に記載の撮像装置。