JP6278668B2 - 複眼撮像装置 - Google Patents

Description

本発明は、複数の結像光学系を有し、結像光学系ごとに撮像（光電変換）を行う撮像領域を有する複眼撮像装置に関する。

複眼撮像装置は、通常の撮像装置が有する１つの結像光学系（レンズ）を複数に分割することによって、個々のレンズの小型化を実現する。特許文献１には、互いに画角（焦点距離）が異なる２種類のレンズを有し、同じ被写体を異なる画角で撮像する複眼撮像装置が開示されている。この複眼撮像装置では、画角が広い短焦点レンズに対して設けられた撮像素子により得られるワイド画像の一部領域に、画角が狭い長焦点レンズに対して設けられた撮像素子により得られるズームアップ画像を合成する。これにより、上記一部領域の解像度が高く、その他の領域の解像度は低いが、全体として広い画角の画像を得ることができる。

ただし、特許文献１にて開示された複眼撮像装置では、短焦点レンズと長焦点レンズとがそれらの光軸に直交する方向に離間して配置されている。このため、短焦点レンズにより得られるワイド画像と長焦点レンズによって得られるズームアップ画像との間には視差があり、合成画像内で被写体の位置にずれが生じる。

特許文献２には、複数の視点からの撮像により得られる画像を合成する際の被写体位置ずれを低減させることができるようにした複眼撮像装置が開示されている。この複眼撮像装置では、第１レンズの光軸位置（または複数の第１レンズの光軸の重心位置）を中心として、第１レンズとはＦ値等の光学特性が異なる複数の第２レンズを同心円上に配置している。そして、複数の第２レンズを通した撮像によって得られた複数の画像を、これらに含まれる同一の被写体領域が重なり合うように互いにずらして合成し、さらにこの合成画像の被写体領域に第１レンズを通した撮像により得られた画像の被写体領域を合成する。

なお、複数の視点から得られる画像を切り替えて表示する際に、滑らかで違和感のない中間視点画像を生成することができる画像生成装置が特許文献３にて開示されている。この画像生成装置は、複数の視点から撮像された複数の画像からそれら画像に含まれる同一の被写体の床面上での位置を取得するとともに、それらの位置の中間点を決定し、その中間点に被写体が存在する中間視点画像を生成する。

特開２００５−３０３６９４号公報 特開２０１２−４４４５９号公報 特開２００８−２１７２４３号公報

特許文献２にて開示された複眼撮像装置が採用しているレンズの配置および画像合成方法は、平面的な被写体に対しては被写体位置ずれを低減しつつ良好な被写体領域の画質を得ることは可能である。しかしながら、立体的な被写体に対しては、第１および第２レンズのそれぞれの視点からは被写体が幾何的に変形したように撮像されるため、それらの撮像により得られた画像を単純に合成することはできない。しかも、特許文献２には、第１および第２レンズが同一画角を有する場合のレンズ配置と画像合成方法については詳しく説明されているが、第１および第２レンズが異なる画角を有する場合のレンズ配置や画像合成方法について明確に説明されていない。第１および第２レンズが異なる画角を有する場合に、特許文献２にて説明されているような単純な方法では画像合成を行うことができない。

さらに、特許文献３にて開示された画像生成装置では、被写体の位置の基準となる床面が存在していることが前提であるが、一般的な撮像環境には床面が存在しない場合も多く、この場合には該画像生成装置によって中間視点画像を生成することができない。

本発明は、異なる画角の結像光学系で異なる視点から立体的な被写体を撮像する場合に、画角の切り替え時に生ずる被写体位置ずれを容易に低減することが可能な複眼撮像装置を提供する。

本発明の一側面としての複眼撮像装置は、それぞれの光軸に直交する方向に互いに離間して配置された複数の結像光学系と、該複数の結像光学系のそれぞれを通した被写体の撮像を行うための撮像領域が該結像光学系ごとに設けられた撮像手段を有する。複数の結像光学系は、それぞれ第１の画角を有する複数の第１の結像光学系と、第１の画角よりも広い第２の画角を有する少なくとも１つの第２の結像光学系とを含む。そして、光軸方向視において、前記複数の第１の結像光学系のそれぞれの光軸の位置を結ぶ線によって囲まれた第１の領域内に上記少なくとも１つの第２の結像光学系の光軸が配置されており、第１の領域内に光軸が配置された第２の結像光学系を通した撮像により得られた画像またはその一部を基準画像として、第１および第２の結像光学系のそれぞれを通した撮像により得られた画像を合成する画像合成手段を有し、複数の結像光学系が有する互いに異なる画角のうち、第２の結像光学系が有する第２の画角は最も広画角であることを特徴とする。

本発明によれば、異なる画角を有する第１および第２の結像光学系を有するため、変倍用の光学素子を光軸方向に移動させるようなズーム機構を備えることなくズーミングが可能な小型（薄型）の撮像装置を実現することができる。しかも、複数の第１の結像光学系のそれぞれの光軸の位置を結ぶ線によって囲まれた第１の領域内に第２の結像光学系の光軸を配置している。このため、複数の第１の結像光学系を通して得られた画像のそれぞれの視点位置を、第２の結像光学系を通して得られる画像を基準として精度良く変更することが可能となる。このため、立体的な被写体を撮像する場合でも、画角の切り替え時に生ずる被写体位置ずれを低減することができる。

本発明の実施例１である複眼撮像装置の結像光学部を光軸方向から見た図。 実施例１の複眼撮像装置の構成を示すブロック図。 実施例１の複眼撮像装置による撮像によって得られた画像を示す図。 実施例１の複眼撮像装置で行われる画像合成処理の流れを示すフローチャート。 実施例１の複眼撮像装置での広画角側画像合成に用いる画像を示す図。 実施例１の複眼撮像装置で用いられる対応領域抽出手法を説明する図。 実施例１の複眼撮像装置での望遠側画像合成に用いる画像を示す図。 実施例１の複眼撮像装置で行われる中間画角画像生成処理の流れを示すフローチャート。 実施例１の複眼撮像装置における距離情報算出処理を示すフローチャート。 本発明の実施例２である複眼撮像装置の結像光学部を光軸方向から見た図。 本発明の実施例３である複眼撮像装置の結像光学部を光軸方向から見た図。 本発明の実施例４である複眼撮像装置の結像光学部を光軸方向から見た図。 異なる視点からの撮像を説明する図。 画像内の被写体位置ずれを説明する図。

以下、本発明の実施例について図面を参照しながら説明する。

本発明の実施例である複眼撮像装置は、互いに画角（焦点距離）が異なる複数の単焦点結像光学系を有することで、変倍用の光学素子を光軸方向に移動させるズーム機構を設ける必要をなくし、高いズーム比を確保しつつも装置の薄型化を図っている。そして、本実施例の複眼撮像装置は、離散的に画角が異なる複数の結像光学系を通した撮像により得られた（以下、単に結像光学系を通して得られたという）の画像を用いて、連続的に画角が変化する画像を生成することが可能である。ある画角の結像光学系を通して得られた画像の一部をトリミングし、このトリミングした範囲を所定のサイズに拡大することによって擬似的なズーミング効果を得られるデジタルズームは一般の撮像装置にも搭載されている。本実施例の複眼撮像装置は、複数の結像光学系が有する離散的な画角間をデジタルズーム処理によって補間することにより連続ズーミングを可能とする。本実施例では、このデジタルズーム処理を、中間画角画像生成処理ともいう。

また、本実施例の複眼撮像装置は、デジタルズームにより得られる画像の一部に、望遠レンズに相当する結像光学系を通して得られる望遠画像を合成する。これにより、該望遠画像の部分は解像度が高く、かつ他の部分の解像度は低いが広い画角を有する合成画像を生成することができる。本実施例では、この画像合成を、異画角画像合成処理という。

これら中間画角画像生成処理や異画角画像合成処理では、得たい画角の画像の合成に用いる画像をその画角に近い画角を有する結像光学系を通して取得する。このため、一つの画角の結像光学系を通して得られた画像から単純にデジタルズームのみによって画角を変化させる場合に比べて高いズーム比を得つつも高画質の画像を生成することができる。

ただし、実施例の複眼撮像装置に設けられている複数の結像光学系は、それぞれの光軸に直交する方向に互いに離間して配置され、これら結像光学系のそれぞれを通した被写体の撮像を行うための撮像領域（光電変換領域）が結像光学系ごとに設けられている。このため、画角が異なる結像光学系を通して得られる画像間には視差がある。そして、この視差によって、画角の変更に伴い画像内での被写体の位置が大きく移動してしまう。その原因と原理について図１３および図１４を用いて説明する。

図１３には、撮像装置Ｃ１，Ｃ２，Ｃ３がそれぞれある距離（基線長）だけ離間して配置され、各撮像装置から被写体距離Ｌａだけ離れた被写体Ａと、被写体距離Ｌｂだけ離れた被写体Ｂとを撮像している様子を示している。図１４には、撮像装置Ｃ１，Ｃ２，Ｃ３での撮像によりそれぞれ得られる画像を示している。これらの図から分かるように、基線長と被写体距離とに応じた幾何学的な関係により、画像内での被写体Ａおよび被写体Ｂの位置がそれぞれ異なる量ずつずれる。つまり、視点に応じて画像上の被写体の位置が移動する。

このため、本実施例の複眼撮像装置は、画角と視点が異なる結像光学系を用いて画像内での被写体位置のずれを低減した画角の変更を行えるように、以下の構成を有する。すなわち、本実施例では、複数の結像光学系として、それぞれ第１の画角を有する複数の第１の結像光学系と、第１の画角よりも広い第２の画角を有する少なくとも１つの第２の結像光学系とを設ける。そして、光軸方向視において、複数の第１の結像光学系のそれぞれの光軸の位置を結ぶ線によって囲まれた第１の領域内に第２の結像光学系の光軸を配置している。このような構成によれば、第１の領域内に光軸が配置された第２の結像光学系を通して得られた画像を基準として、複数の第１の結像光学系を通して得られた画像のそれぞれの視点位置を精度良く変更することができる。そのため、画角の変更に伴う被写体位置ずれを容易に低減することができる。

また、本実施例においては、複数の結像光学系の互いに異なる画角（第１および第２の画角だけでなく、これらの間の第３の画角や第４の画角も含む）のうち、いずれかの画角Ｗと該画角Ｗの次に狭い画角Ｗｎとが、以下の式（１）の条件を満足することが望ましい。
１．１≦Ｗ／Ｗｎ≦３ ．．．（１）
Ｗ／Ｗｎの値が式（１）の下限値を下回ると、複眼撮像装置の高ズーム比を達成するために非常に多くの結像光学系が必要となるため、装置が大型化してしまうので好ましくない。また、Ｗ／Ｗｎの値が式（１）の上限値を上回ると、後述する画素ずらし合成画像を生成しても高解像度を保つことが困難となり、ズーム後の画質が劣化するので好ましくない。

以下、本実施例の具体的な構成例を実施例１〜４として示す。

図１には、本発明の実施例１である複眼撮像装置の結像光学部１００を光軸方向から見て（つまりは光軸方向視にて）示している。結像光学部１００は、複数の結像光学系１１０ａ，１１０ｂ，１１０ｃ，１１０ｄ，１２０ａ，１２０ｂ，１２０ｃ，１２０ｄを有する。これら複数の結像光学系１１０ａ〜１１０ｄ，１２０ａ〜１２０ｄは、それぞれの光軸に直交する２次元方向に互いに離間して配置されている。また、これら結像光学系１１０ａ〜１１０ｄ，１２０ａ〜１２０ｄの光軸は互いに平行に延びている。

結像光学系１１０ａ〜１１０ｄは、第１の画角（焦点距離）θを有する第１の結像光学系であり、以下、これら第１の結像光学系１１０ａ〜１１０ｄをまとめて第１の結像光学系群ともいう。第１の画角θは、本実施例の複眼撮像装置において最も狭い画角である望遠端画角に相当する。また、結像光学系１２０ａ〜１２０ｄは、第１の画角θよりも広い第２の画角（本実施例では第１の画角θの２倍である２θ）を有する第２の結像光学系であり、以下、これら第２の結像光学系１２０ａ〜１２０ｄをまとめて第２の結像光学系群ともいう。第２の画角２θは、本実施例の複眼撮像装置において最も広い画角である広角端画角に相当する。本実施例では、垂直方向に並んだ２つの第１の結像光学系と垂直方向に並んだ２つの第２の結像光学系とが、水平方向に（図１中の左から右に）交互に配置されている。

図２には、本実施例の複眼撮像装置１の全体構成を示している。複眼撮像装置１は、上述した結像光学部１００と、撮像素子部（撮像手段）１０と、Ａ／Ｄ変換器１１と、画像処理部１２と、情報入力部１６と、撮像制御部１７と、画像記録媒体１８と、システムコントローラ１９と、表示部（表示手段）２０とを有する。さらに、複眼撮像装置１は、距離情報算出部（距離算出手段）２１も有する。

複眼撮像装置１は、結像光学部１００が一体に設けられた結像光学系一体型の撮像装置であってもよいし、結像光学部１００が撮像装置本体に対して着脱（交換）が可能な結像光学系交換型の撮像装置であってもよい。本実施例では、結像光学系一体型である場合について説明する。

撮像素子部１０は、上述した８つの結像光学系１１０ａ〜１１０ｄ，１２０ａ〜１２０ｄのそれぞれに対応する（すなわち、結像光学系ごとに設けられた）撮像領域を構成する８つの撮像素子１０ａ〜１０ｈを有する。各撮像素子は、対応する結像光学系により形成された被写体像（光学像）を光電変換してアナログ撮像信号を出力する。アナログ撮像信号は、Ａ／Ｄ変換器１１によってデジタル撮像信号に変換され、該デジタル撮像信号は画像処理部１２に入力される。画像処理部１２は、デジタル撮像信号に対して画素補間処理や色変換処理等の各種画像処理を行って画像を生成する。これにより、８つの結像光学系１１０ａ〜１１０ｄ，１２０ａ〜１２０ｄのそれぞれを通した撮像により(それぞれを通して)８つの画像を生成することができる。画像処理部１２は、生成した画像に対するデジタルズーム処理等も行う。画像処理部１２にて処理された画像は、システムコントローラ１９に送られる。

画像処理部１２には、画像合成部（画像合成手段）１３と、中間画角画像生成部（画像生成手段）１４と、プレビュー画像生成部１５とが設けられている。

画像合成部１３は、第１の結像光学系１１０ａ〜１１０ｄのそれぞれを通して得られた４つの画像を互いの画素をずらして合成し、図３に示す第１の合成画像（画素ずらし合成画像）１１０を生成する。また、画像合成部１３は、第２の結像光学系１２０ａ〜１２０ｄのそれぞれを通して得られた４つの画像を互いの画素をずらして合成し、図３に示す第１の合成画像１１０よりも広い撮像画角の第２の合成画像（画素ずらし合成画像）１２０を生成する。

ここで、図１には、第１の結像光学系１１０ａ〜１１０ｄの光軸の位置を垂直方向と水平方向に延びる実線（直線）で結んでおり、この実線で囲まれた領域を第１の領域とする。また、第２の結像光学系１２０ａ〜１２０ｄの光軸の位置を垂直方向と水平方向に延びる破線（直線）で結んでおり、この破線で囲まれた領域を第２の領域とする。なお、図１では、実線と破線が見やすいように、破線を第２の結像光学系１２０ａ〜１２０ｄの光軸の位置から若干ずらして示している。

この図から分かるように、本実施例では、第１の領域内に複数の第２の結像光学系１２０ａ〜１２０ｄのうち１つの第２の結像光学系１２０ｃの光軸が配置されている。以下、この第２の結像光学系１２０ｃからの視点を基準視点ＲＰとし、第２の結像光学系１２０ｃを基準光学系ともいう。このような配置関係を持つことにより、第１の結像光学系１１０ａ〜１１０ｄを通して得られた４つの画像を合成して第１の合成画像を生成する際に、基準視点ＲＰとなる基準光学系１２０ｃを通して得られた画像を合成の基準（基準画像）として使用することができる。

画像合成部１３は、この基準画像を用いた後述するブロックマッチング法等の対応点探索手法を用いて、同一画角を有する結像光学系を通して得られた画像同士または互いに異なる画角を有する結像光学系を通して得られた画像同士を合成する。これにより、全ての撮像画角に対応する合成画像を仮想的に基準視点ＲＰからの撮像により得られた画像として生成することができる。この結果、第２の結像光学系群を通した第２の合成画像１２０の撮像状態から第１の結像光学系群を通した第１の合成画像１１０への撮像状態へと撮像画角の変更（ズーミング）を行った際の合成画像１１０，１２０間での被写体位置ずれを低減することができる。

中間画角画像生成部１４は、第１および第２の結像光学系群が離散的に有する異なる画角の間の画角（中間画角）を補間するための中間画角画像を生成する。中間画角画像の生成方法としては、複数画像を用いた高解像度化処理を行う超解像処理を用いることができる。超解像処理には、ＭＬ(Maximum-Likelihood)法、ＭＡＰ(Maximum A Posterior)法、ＰＯＣＳ(Projection Onto Convex Set)法、ＩＢＰ(Iterative Back Projection)法、ＬＲ(Lucy-Richardson)法等を用いることができる。さらに本実施例では、デジタルズームによって得られる画像の一部領域に望遠レンズに相当する第１の結像光学系群を通して得られる望遠画像を合成する（嵌め込む）。これにより、該一部領域の解像度が高く、かつその他の領域の解像度は低いが中間画角の画像を得ることができる異画角画像合成を行う。

プレビュー画像生成部１５は、基準光学系１２０ｃを通して得られた基準画像からプレビュー画像を生成する。ユーザから画角の変更が指示された場合、基準視点ＲＰとなる基準光学系１２０ｃを通して得られた画像をトリミングして表示部２０に拡大表示することで、常に同一視点からの画像をプレビュー画像として表示することができる。

情報入力部１６は、ユーザが所望の撮像条件（絞り値や露出時間等）を選択して入力する情報を検知してシステムコントローラ１９にそのデータを供給する。撮像制御部１７は、システムコントローラからの情報に基づいて、各結像光学系に含まれるフォーカスレンズ(図示せず)を光軸方向に移動させ、また各結像光学系の絞り値を制御し、さらに撮像素子部１０での露出時間を制御することで必要な画像を取得する。

画像記録媒体１８は、複数の静止画や動画を格納したり、画像ファイルを構成する場合にはファイルヘッダを格納したりする。

表示部２０は、前述したようにプレビュー画像を表示したり、撮像により得られた画像や、メニュー画面や、現在選択されている画角（焦点距離）の情報等を表示したりする。表示部２０は、液晶パネル等の表示素子を含む。

距離情報算出部２１は、基準画像選択部２２と、対応点抽出部２３と、視差量算出部２４とを含む。

基準画像選択部２２は、複数の結像光学系を通して得られた互いに視差を有する複数の画像（視差画像）の中から被写体距離算出用の基準画像を選択する。

対応点抽出部２３は、被写体距離算出用の基準画像と他の視差画像(参照画像)との間において互いに対応する対応画素(対応点)を抽出する。

視差量算出部２４は、対応点抽出部２３で抽出された全ての対応画素の視差量をそれぞれ算出する。距離情報算出部２１は、その算出された視差量から画像内の被写体までの距離(被写体距離情報)を算出する。

次に、主としてシステムコントローラ１９および画像合成部１３がコンピュータプログラムとしての第１の画像処理プログラムに従って実行する撮像画角切り替えのための画像合成処理を、図４のフローチャートを用いて説明する。

まず、ステップＳ１００では、システムコントローラ１９は、情報入力部１６によりユーザからの撮像条件および撮像の準備を指示する信号（撮像準備信号）が入力されると、撮像制御部１７に対して撮像条件の情報および撮像準備信号を転送する。撮像制御部１７は、入力された撮像条件に基づいて、第１および第２の結像光学系群の絞り値や撮像素子部１０での露光時間（シャッタスピード）等を設定する。なお、このステップでは、ユーザが第１の結像光学系群の画角か第２の結像光学系群の画角のいずれかの画角を入力するのとする。

次に、ステップＳ１０１では、システムコントローラ１９は、情報入力部１６によりユーザからの撮像の開始を指示する信号（撮像開始信号）が入力されると、撮像制御部１７に、撮像素子部１０（撮像素子１０ａ〜１０ｈ）の露光を開始させる。撮像素子１０ａ〜１０ｈからそれぞれ出力されるアナログ撮像信号は、Ａ／Ｄ変換器１１によりデジタル撮像信号に変換された後、画像処理部１２に送られる。画像処理部１２は、該デジタル撮像信号から撮像素子１０ａ〜１０ｈ上にそれぞれ形成された被写体像に対応する画像を生成する。この際、画像処理部１２において、それぞれの画像の輝度レベルやホワイトバランスを互いに一致させる処理を行うことが好ましい。この処理により、後段で行う画像合成処理における輝度むらや色むらといった弊害を低減することができる。

次に、ステップＳ１０２では、システムコントローラ１９は、ユーザが入力した画角が基準光学系１２０ｃを含む第２の結像光学系群の画角（基準画角）と同一か否かを判定する。基準画角としては、複眼撮像装置１が有する複数の結像光学系群の画角のうち最も広い画角であることが好ましい。図３から分かるように、狭い画角の画像（１１０）には広い画角の画像（１２０）の周辺領域の情報が存在しない。このため、狭い画角の結像光学系群によって得られる画像を基準として広い画角の結像光学系群を通して得られる複数の画像の位置合わせを行うことは困難だからである。ユーザ入力画角が基準画角と同じである場合はＳ１０３に移行し、そうでない場合はＳ１０４に移行する。

ステップＳ１０３では、画像合成部１３は、基準光学系１２０ｃを通して得られる基準画像に対して他の第２の結像光学系１２０ａ，１２０ｂ，１２０ｄを通して得られた画像を合成する。

ここで、基準光学系１２０ｃと同一画角を有する第２の結像光学系１２０ａ，１２０ｂ，１２０ｄを通して得られる画像の合成方法について説明する。図５（ａ），（ｂ）にはそれぞれ、図１３にも示した被写体Ａ，Ｂを、複眼撮像装置１を用いて撮像した場合に第２の結像光学系１２０ｃ，１２０ｄを通して得られる画像を示している。第２の結像光学系１２０ｃ，１２０ｄから得られる画像上では、第２の結像光学系１２０ｃ，１２０ｄ間の光軸間の距離である基線長と被写体Ａ，Ｂまでの距離である被写体距離とに応じた幾何学的な関係により被写体Ａ，Ｂの位置がそれぞれ異なる量ずれる。また、両視差画像の視点が異なることに起因して、同一の被写体においても画像上に写る部分とそうでない部分とが生じる。例えば、第２の結像光学系１２０ｃを通して得られる画像（図５（ａ））では、被写体Ａの面Ａ３と被写体Ｂの面Ｂ３が写っているが、第２の結像光学系１２０ｄを通して得られる画像（図５（ｂ））にはこれらの面が写っていない。逆に、第２の結像光学系１２０ｄを通して得られる画像（図５（ｂ））には、第２の結像光学系１２０ｃを通して得られる画像（図５（ａ））には写っていない被写体Ｂの面Ｂ４が写っている。このように、視点の違いによって一方の画像には写っている被写体領域が他方の画像には写っていないことを、オクルージョンと称する。

本実施例における画像合成処理では、基準光学系１２０ｃを通して得られる画像（図５（ａ））を基準画像とする。そして、基準光学系１２０ｃではない第２の結像光学系を通して得られる画像のうち基準画像に写っている被写体領域に対応する被写体領域（対応点）を抽出して、これを基準画像上の被写体領域に合成する。

対応点の抽出手法について、図６を用いて説明する。図６の左側には図５（ａ）に示した基準画像５０１を、右側には該基準画像に合成される図５（ｂ）に示した画像としての参照画像５０２を示している。ここでは、画像上の水平方向および垂直方向での位置を示す画像座標（Ｘ，Ｙ）を用いる。画像座標（Ｘ，Ｙ）は、図６に示す各画像の左上を原点として定義する。また、基準画像５０１における画像座標（Ｘ，Ｙ）の輝度をＦ１（Ｘ，Ｙ）とし、参照画像５０２における画像座標（Ｘ，Ｙ）の輝度をＦ２（Ｘ，Ｙ）とする。

基準画像５０１における任意の座標（Ｘ，Ｙ）の画素（ハッチングして示す）に対応する参照画像５０２中の画素（ハッチングして示す）は、参照画像５０２のうち基準画像５０１中の輝度Ｆ１（Ｘ，Ｙ）と最も類似した輝度を有する画素を探すことで求められる。ただし、任意の画素の輝度と最も類似する輝度を有する画素を単純に探すことは難しいため、画像座標（Ｘ，Ｙ）の近傍の画素も用いたブロックマッチング法にて輝度が類似した画素を探索する。

例えば、ブロックサイズが３である場合のブロックマッチング処理について説明する。基準画像５０１中の任意の座標（Ｘ，Ｙ）の画素と、その前後（Ｘ−１，Ｙ），（Ｘ＋１，Ｙ）の２つの画素の計３つの画素の輝度値はそれぞれ、
Ｆ１（Ｘ，Ｙ），Ｆ１（Ｘ−１，Ｙ），Ｆ１（Ｘ＋１，Ｙ）
となる。

これに対し、座標（Ｘ，Ｙ），（Ｘ−１，Ｙ），（Ｘ＋１，Ｙ）からＸ方向にｋだけずれた参照画像５０２中の画素の輝度値はそれぞれ、
Ｆ２（Ｘ＋ｋ，Ｙ），Ｆ２（Ｘ＋ｋ−１，Ｙ），Ｆ２（Ｘ＋ｋ＋１，Ｙ）
となる。

このとき、基準画像５０１中の座標（Ｘ，Ｙ）の画素との類似度Ｅを以下の式（２）で定義する。

この式（２）において逐次ｋの値を変えて類似度Ｅの値を計算し、最も小さい類似度Ｅを与える（Ｘ＋ｋ、Ｙ）が、参照画像５０２のうち基準画像５０１中の座標（Ｘ，Ｙ）に対応する画素（対応点）である。ここでは、水平方向に視差を有する画像間での対応点抽出方法について説明したが、同様にして垂直方向や斜め方向に視差を有する場合の対応点を抽出することもできる。

このようにして得られた対応点としての被写体領域を画素単位で基準画像に合成することで、基準画像内のノイズレベルを低減させることができ、出力される合成画像の画質を向上させることができる。

図５（ａ）に示した被写体Ａの面Ａ３と被写体Ｂの面Ｂ３は、図５（ｂ）においてはオクルージョン領域として対応する被写体領域が存在しないため、第２の結像光学系１２０ｄを通して得られる画像からは合成されない。また、図５（ｂ）にのみ写っている被写体Ｂの面Ｂ４も基準画像上には写っていないため、合成には使用されない。このように、オクルージョン領域は合成することができないが、その他の大部分については、基準視点ＲＰとは異なる視点からの撮像により得られた画像を基準画像に合成することができるため、合成画像全体としてのノイズレベルを低減することができる。

なお、そのままではブロックマッチング法では対応できないほど視差が大きく基準画像と参照画像間で被写体領域の形状が大きく異なる場合には、参照画像に対してアフィン変換等の幾何変換を行った後に、ブロックマッチング法を用いて合成処理を行ってもよい。以上説明した画像合成方法と同様にして、他の第２の結像光学系１２０ａ，１２０ｂを通して得られた画像も基準画像に合成することができる。

一方、ステップＳ１０４およびステップＳ１０５において、システムコントローラ１９は、ユーザ入力画角が基準画角と異なる場合の画像合成処理である異画角画像合成処理を行う。

ここで、異画角画像合成処理について、図７を用いて説明する。図７（ａ），（ｂ）にはそれぞれ、図１３にも示した被写体Ａ，Ｂを、複眼撮像装置１を用いて撮像した場合に第１の結像光学系１１０ｃ，１１０ｄを通して得られる画像を示している。また、図７（ｃ）には、図１３と同様の被写体Ａ，Ｂを複眼撮像装置１を用いて撮像した場合の基準光学系１２０ｃを通して得られる基準画像を示している。

第１の結像光学系１１０ｃ，１１０ｄを通して得られる画像は、基準光学系１２０ｃを通して得られる基準画像よりも画角が狭い。このため、画像上での被写体Ａ，Ｂのサイズが異なり、このままではこれらの画像を合成することができない。このため、まずステップＳ１０４において、画像合成部１３は、基準光学系１２０ｃを通して得られる基準画像をユーザ入力画角（ここでは、第１の結像光学系群の画角）に合わせるために、基準画像の一部のトリミングと拡大処理を行う。図７（ｄ）には、図７（ｃ）に示した基準画像の一部（中心領域）をトリミングし、そのトリミングした部分が第１の結像光学画系１１０ｃ，１１０ｄの画角に対応する画角の画像となるように拡大処理した画像を示している。トリミングおよび拡大処理によって画像の解像度は劣化するが、第１の結像光学系１１０ｃ，１１０ｄを通して得られる画像上での被写体と同等のサイズの被写体が写った新たな基準画像（以下、拡大基準画像という）を得ることができる。

そして、ステップＳ１０５では、画像合成部１３は、ステップＳ１０４で得られた拡大基準画像を用いて、第１の結像光学系１１０ａ〜１１０ｄを通して得られた画像を合成する。ここでの画像合成方法は、ステップＳ１０３にて説明した画像合成方法と同様に、図７（ｄ）に示す拡大基準画像に対して、第１の結像光学系１１０ａ〜１１０ｄを通して得られた画像中の被写体領域を画素単位で合成することも可能である。また、上述したように拡大処理によって図７（ｄ）に示す基準画像の解像度が劣化している。このため、拡大基準画像を用いて第１の結像光学系１１０ａ〜１１０ｄを通して得られた画像における相互に対応する被写体領域を決定し、これらの位置を合わせるようにして、拡大基準画像以外の画像同士を合成する（拡大基準画像は合成しない）ようにしてもよい。

ここで、本実施例では、基準光学系１２０ｃが図１に示した第１の結像光学系群の光軸が含まれる第１の領域内に配置されている。しかも、これらの結像光学系は、それぞれの光軸が平行になるように２次元的に配置されている。これにより、図７に示すように、基準視点ＲＰに配置された基準光学系１２０ｃを通して得られる画像に写っている被写体領域のすべてが、第１の結像光学系群を通して得られる複数の画像のうちいずれかに写る。すなわち、基準画像中の被写体領域についてはオクルージョンが生じない。

例えば、図７（ｄ）に示す拡大基準画像に写っている面Ａ１〜Ａ３および面Ｂ１〜Ｂ３は、図７（ａ）示す画像においては面Ａ１，Ａ３，Ｂ１，Ｂ３が写っており、図７（ｂ）に示す画像には面Ａ２，Ｂ２が写っている。このため、拡大基準画像に写っている全ての被写体領域は、図７（ａ），（ｂ）の画像のいずれかから得られる。また、拡大基準画像は、トリミングおよび拡大処理後の画像ではあるが、基準視点ＲＰからの被写体位置情報が明確に判定できるため、ブロックマッチング法による位置合わせ精度も向上させることができる。さらに、距離情報を用いた視点補間処理等を行う必要がないため、演算処理の負荷を大幅に低減することができる。また、上記のように異なる画角の画像の合成においても、常に基準視点ＲＰとしての基準光学系１２０ｃを通して得られる画像を基準として合成が行われるため、撮像画角を切り替えた際の被写体位置ずれを少なくすることができる。

ステップＳ１０３およびステップＳ１０５からステップＳ１０６に移行すると、システムコントローラ１９は、合成された画像を記録媒体１８に保存して、画像合成処理を終了する。

次に、主としてシステムコントローラ１９、画像合成部１３および中間画角画像生成部１４によって行われる連続ズーミングを実現するための中間画角画像生成処理を、図８のフローチャートを用いて説明する。この中間画角画像生成処理は、コンピュータプログラムとしての第２の画像処理プログラムに従って実行される。

まず、ステップＳ２００では、システムコントローラ１９は、情報入力部１６からユーザにより指定された撮像条件や画角が入力されると、撮像制御部１７に対してこれら撮像条件や画角の情報を転送する。ここでは、ユーザによって第１の結像光学系群の画角と第２の結像光学系群の画角との間の中間画角が入力されたものとする。

次に、ステップＳ２０１では、撮像制御部１７は、ユーザにより入力された画角に応じて撮像を行う結像光学系を選択する。ここでは、中間画角が入力されたので、第１の結像光学系群と第２の結像光学系群の全てを撮像に用いる結像光学系として選択する。

次に、ステップＳ２０２では、撮像制御部１７は、撮像素子部１０のうち選択した結像光学系に対応する撮像素子の露光を開始する。そして、画像処理部１２は、該撮像素子からＡ／Ｄ変換器１１を介して入力されたデジタル撮像信号から画像を生成する。これにより、第１の結像光学系群を通して得られる同一画角の画像群と、第２の結像光学系群を通して得られる同一画角の画像群とが生成される。

この際、画像処理部１２において、それぞれの画像の輝度レベルやホワイトバランスを互いに一致させる処理を行うことが好ましい。この処理により、後段で行う画像合成処理における輝度むらや色むらといった弊害を低減することができる。

次に、ステップＳ２０３では、画像合成部１３は、第１の結像光学系群を通して得られた画像群に対して画像合成処理を行って第１の合成画像を生成し、また第２の結像光学系群を通して得られた画像群に対しても画像合成処理を行って第２の合成画像を生成する。画像合成処理は、図４のステップＳ１０３およびステップＳ１０４，Ｓ１０５で行った処理である。この時点で、互いに画角が異なる第１および第２の合成画像はいずれも、基準視点ＲＰから撮像された画像に相当する同一視点画像となる。

次に、ステップＳ２０４では、中間画角画像生成部１４は、第２の結像光学系群を通して得られた広角合成画像である第２の合成画像からユーザ入力画角に応じた領域をトリミングし、該領域を拡大処理する。さらに、中間画角画像生成部１４は、第１の結像光学系群を通して得られた望遠合成画像である第１の合成画像を、ユーザ入力画角に応じて縮小処理する。

次に、ステップＳ２０５では、中間画角画像生成部１４は、上述した異画角画像合成処理によって、第２の合成画像からトリミングおよび拡大処理により得られた拡大画像と第１の合成画像の縮小処理により得られた縮小画像とを合成して中間画角画像を生成する。そして、本処理を終了する。

このような中間画角画像生成処理によれば、基準視点ＲＰからの撮像により得られた画像に相当する中間画角画像が生成される。このため、連続ズームによって中間画角が選択された場合でも被写体位置ずれが少ない中間画角画像を生成することができる。

さらに、プレビュー画像生成部１５は、基準視点ＲＰとなる基準光学系１２０ｃを通して得られた基準画像からプレビュー画像を生成して表示部２０に表示する。このため、ユーザが画角変更（ズーミング）を指示した場合も、基準画像をトリミングして拡大表示することで、常に同一視点からの画像としてのプレビュー画像を生成および表示することができる。これにより、プレビュー画像から画角変更時の最終画角画像までが全て同一の基準視点ＲＰからの撮像により得られる画像として生成されるため、ユーザは被写体位置ずれによる違和感の少ない画像を見ることができる。

次に、主としてシステムコントローラ１９および距離情報算出部２１によって行われる被写体距離情報記録処理を、図９のフローチャートを用いて説明する。この被写体距離情報記録処理は、コンピュータプログラムとしての第３の画像処理プログラムに従って実行される。ここでは、まず、最も広い被写体空間を撮像する第２の結像光学系群（第２の結像光学系１２０ｃ，１２０ｄ）によって得られる視差画像を用いた被写体距離情報記録処理について説明する。

まず、ステップＳ３００では、システムコントローラ１９は、情報入力部１６からユーザにより入力された撮像準備信号を受ける。これに応じて、撮像素子部１０のうち第２の結像光学系１２０ｃ，１２０ｄに対応する撮像素子からの撮像信号をＡ／Ｄ変換器１１を介して画像処理部１２に転送する。画像処理部１２は、該撮像信号から、第２の結像光学系１２０ｃ，１２０ｄを通して得られる２つの視差画像を生成する。

次に、ステップＳ３０１では、基準画像選択部２２は、生成された２つの視差画像のうち一方を視差量算出（つまりは被写体距離算出）のための基準画像として選択する。本実施例では、第２の結像光学系１２０ｃによって得られる画像を基準画像として選択する。

次に、ステップＳ３０２では、対応点抽出部２３は、第２の結像光学系１２０ｄを通して得られる画像を参照画像として、上記基準画像と参照画像との対応画素（対応点）を検出する。対応画素とは、例えば、被写体Ａを撮像して得られた２つの視差画像において、該被写体Ａの同一点が写っている画素同士である。対応画素の検出方法は、先の画像合成処理で説明した対応点抽出方法を用いることができる。

次に、ステップＳ３０３では、視差量算出部２４は、抽出された対応点間での視差量を算出する。具体的には、視差量を、基準画像と参照画像の対応画素間での画素位置の差分として算出する。

次に、ステップＳ３０４では、距離情報算出部２１は、ステップＳ３０３で算出された視差量と、既知の情報である第２の結像光学系１２０ｃ，１２０ｄの焦点距離および基線長とから、被写体距離を算出する。なお、ここでは、第２の結像光学系１２０ｃ，１２０ｄを用いた場合の被写体距離の算出について説明しているが、同様の原理によって、他の結像光学系の対（例えば、第２の結像光学系１２０ａ，１２０ｂの対）を用いても被写体距離を算出することが可能である。また、画角が異なる視差画像に対して上記手法を用いる場合は、広い画角の視差画像から、狭い画角の視差画像に対応する部分を切り出して、その切り出した部分から対応画素を抽出することが望ましい。

以上説明したように、本実施例によれば、複眼撮像装置を薄型化し、高ズーム比を得つつも、ズーミングに伴う画像上での被写体位置ずれを低減することができる。

また、本実施例によれば、様々な撮像モードを実現することができる。例えば、ハイダイナミックレンジモードでは、複眼を構成するそれぞれの結像光学系およびこれに対応する撮像素子の露出条件を変えながら複数回の撮像を行う。そして、複数回の撮像によって得られた複数の画像を合成することによって、ダイナミックレンジの広い画像を取得することができる。また、ぼけ付加モードでは、算出した被写体距離の情報に基づいて背景にぼけを付加することにより、主たる被写体を強調する画像を得ることができる。また、背景除去モードでは、上記のように算出した被写体距離に基づいて主たる被写体以外の背景を除去した画像を得ることができる。さらに、立体撮像モードでは、水平方向に配列された複眼を構成するそれぞれの結像光学系および対応する撮像素子によって左右の視差画像を取得する。そして、狭い画角の画像とそれに対応する他方の広い画角の画像の一部とを用いて立体画像として画像を保存することができる。

図１０には、本発明の実施例２である複眼撮像装置の結像光学部２００を光軸方向から見て示している。結像光学部２００には、第１の結像光学系２１０ａ，２１０ｂ，２１０ｃ，２１０ｄと、第２の結像光学系２２０ａ，２２０ｂ，２２０ｃ，２２０ｄとが設けられている。さらに、結像光学部２００には、第３の結像光学系２３０ａ，２３０ｂ，２３０ｃ，２３０ｄと、第４の結像光学系２４０ａ，２４０ｂ，２４０ｃ，２４０ｄとが設けられている。これら複数の結像光学系２１０ａ〜２１０ｄ，２２０ａ〜２２０ｄ，２３０ａ〜２３０ｄ，２４０ａ〜２４０ｄは、それぞれの光軸に直交する２次元方向に互いに離間して配置されている。また、これら結像光学系２１０ａ〜２１０ｄ，２２０ａ〜２２０ｄ，２３０ａ〜２３０ｄ，２４０ａ〜２４０ｄの光軸は互いに平行に延びている。

第１の結像光学系（以下、まとめて第１の結像光学系群ともいう）２１０ａ〜２１０ｄは、第１の画角（焦点距離）θを有する。第１の画角θは、本実施例の複眼撮像装置において最も狭い画角である望遠端画角に相当する。また、第２の結像光学系（以下、まとめて第２の結像光学系群ともいう）２２０ａ〜２２０ｄは、第１の画角θよりも広い第２の画角（本実施例では第１の画角θの８倍である８θ）を有する。第２の画角は、本実施例の複眼撮像装置において最も広い画角である広角端画角に相当する。第３の結像光学系（以下、まとめて第３の結像光学系群ともいう）２３０ａ〜２３０ｄは、第３の画角（本実施例では第２の画角８θの１／２倍である４θ）を有する。第４の結像光学系（以下、まとめて第４の結像光学系群ともいう）２４０ａ〜２４０ｄは、第４の画角（本実施例では第２の画角８θの１／４倍である２θ）を有する。

本実施例では、これら第１〜第４の結像光学系群が水平方向と垂直方向に４×４で配置されている。具体的には、垂直方向における第１列と第３列には、第１の結像光学系、第２の結像光学系、第１の結像光学系および第２の結像光学系がこの順で水平方向に（図１０中の左から右に、以下同じ）配置されている。また、第２列と第４列には、第３の結像光学系、第４の結像光学系、第３の結像光学系および第４の結像光学系がこの順で水平方向に配置されている。

なお、図示はしないが、本実施例の複眼撮像装置の撮像素子部は、上述した１６の結像光学系２１０ａ〜２１０ｄ，２２０ａ〜２２０ｄ，２３０ａ〜２３０ｄ，２４０ａ〜２４０ｄのそれぞれに対応する撮像領域を構成する１６の撮像素子を有する。

図１０には、第１の結像光学系２１０ａ〜２１０ｄの光軸の位置を垂直方向と水平方向に延びる実線（直線）で結んでおり、この実線で囲まれた領域を第１の領域とする。また、第２の結像光学系２２０ａ〜２２０ｄの光軸の位置を垂直方向と水平方向に延びる破線（直線）で結んでおり、この破線で囲まれた領域を第２の領域とする。さらに、第３の結像光学系２３０ａ〜２３０ｄの光軸の位置を垂直方向と水平方向に延びる一点鎖線（直線）で結んでおり、この一点鎖線で囲まれた領域を第３の領域とする。また、第４の結像光学系２４０ａ〜２４０ｄの光軸の位置を垂直方向と水平方向に延びる二点鎖線で結んでおり、この二点鎖線で囲まれた領域を第４の領域とする。なお、図１０では、実線、破線、一点鎖線および二点鎖線が見やすいように、各線を対応する結像光学系の光軸の位置から若干ずらして示している。

第１〜第４の結像光学系群は、第１〜第４の領域の全てが重なる領域（結像光学部２００の中央にて第１〜第４の結像光学系２１０ｄ，２２０ｃ，２３０ｂ，２４０ａの光軸が位置する領域）が存在するように配置されている。本実施例では、この第１〜第４の領域の全てが重なる領域に配置された第１〜第４の結像光学系２１０ｄ，２２０ｃ，２３０ｂ，２４０ａのうち最も広画角である第２の結像光学系２２０ｃを基準光学系とし、その配置位置を基準視点ＲＰとする。本実施例の複眼撮像装置の他の構成は、実施例１と同じであり、その説明は省略する。

本実施例でも、実施例１と同様にして、基準視点ＲＰとなる基準光学系２２０ｃを通して得られる画像を基準画像として画像合成処理および中間画角画像生成処理を行う（これら処理の流れの説明は省略する）。これにより、第２の結像光学群の画角から第１、第３および第４の結像光学系群の画角へと撮像画角の切り替えを行った場合に、それぞれの結像光学系群を通して得られる合成画像上での被写体位置ずれを少なくすることができる。また、第１〜第４の領域が全て重なる領域内に基準視点ＲＰとなる基準光学系２２０ｃの光軸を配置しているため、基準光学系２２０ｃを通して得られる基準画像に写っている被写体領域は、他の結像光学系を通して得られる画像のいずれかに必ず含まれている。このため、基準画像を用いた画像合成におけるオクルージョンの影響をなくすることができる。

本実施例も、実施例１と同様に、変倍用の光学素子を光軸方向に移動させるようなズーム機構を設けることなく、連続ズーミングを可能とする。さらに、本実施例では、実施例１に比べて互いに画角が異なる結像光学系群の数が多いため、より高いズーム比を容易に得ることができる。

なお、本実施例では、離散的に異なる第１〜第４の画角において、広角側の画角Ｗとその次に狭い画角Ｗｎとの比が２となる場合について説明したが、これは例に過ぎず、他の比の値となるようにしてもよい。ただし、上述した式（１）の条件を満足することが望ましい。このことは、後述する他の実施例でも同じである。

図１１には、本発明の実施例３である複眼撮像装置の結像光学部３００を光軸方向から見て示している。結像光学部３００には、第１の結像光学系３１０ａ，３１０ｂ，３１０ｃ，３１０ｄと、第２の結像光学系３２０ａ，３２０ｂ，３２０ｃ，３２０ｄとが設けられている。さらに、結像光学部３００には、第３の結像光学系３３０ａ，３３０ｂ，３３０ｃ，３３０ｄと、第４の結像光学系３４０ａ，３４０ｂ，３４０ｃ，３４０ｄとが設けられている。これら複数の結像光学系３１０ａ〜３１０ｄ，３２０ａ〜３２０ｄ，３３０ａ〜３３０ｄ，３４０ａ〜３４０ｄは、それぞれの光軸に直交する２次元方向に互いに離間して配置されている。また、これら結像光学系３１０ａ〜３１０ｄ，３２０ａ〜３２０ｄ，３３０ａ〜３３０ｄ，３４０ａ〜３４０ｄの光軸は互いに平行に延びている。

第１の結像光学系（以下、まとめて第１の結像光学系群ともいう）３１０ａ〜３１０ｄは、第１の画角（焦点距離）θを有する。第１の画角θは、本実施例の複眼撮像装置において最も狭い画角である望遠端画角に相当する。また、第２の結像光学系（以下、まとめて第２の結像光学系群ともいう）３２０ａ〜３２０ｄは、第１の画角θよりも広い第２の画角（本実施例では第１の画角θの８倍である８θ）を有する。第２の画角は、本実施例の複眼撮像装置において最も広い画角である広角端画角に相当する。第３の結像光学系（以下、まとめて第３の結像光学系群ともいう）３３０ａ〜３３０ｄは、第１の画角より広く第２の画角より狭い第３の画角（本実施例では第２の画角８θの１／２倍である４θ）を有する。第４の結像光学系（以下、まとめて第４の結像光学系群ともいう）３４０ａ〜３４０ｄは、第１の画角より広く第３の画角より狭い第４の画角（本実施例では第２の画角８θの１／４倍である２θ）を有する。なお、第４の結像光学系３４０ａ〜３４０ｄも、第１の画角より広く第２の画角より狭い画角を有するため、第３の結像光学系３３０ａ〜３３０ｄとは別の第３の結像光学系ということもできる。

本実施例では、これら第１〜第４の結像光学系群が水平方向と垂直方向に４×４で配置されている。具体的には、垂直方向における第１列には、第１の結像光学系、第３の結像光学系、第４の結像光学系および第１の結像光学系がこの順で水平方向に（図１１中の左から右に、以下同じ）配置されている。また、第２列には、第４の結像光学系、第２の結像光学系、第２の結像光学系および第３の結像光学系がこの順で水平方向に配置されている。また、第３列には、第３の結像光学系、第２の結像光学系、第２の結像光学系および第４の結像光学系がこの順で水平方向に配置されている。また、第４列には、第１の結像光学系、第４の結像光学系、第３の結像光学系および第４の結像光学系がこの順で水平方向に配置されている。

なお、図示はしないが、本実施例の複眼撮像装置の撮像素子部は、上述した１６の結像光学系３１０ａ〜３１０ｄ，３２０ａ〜３２０ｄ，３３０ａ〜３３０ｄ，３４０ａ〜３４０ｄのそれぞれに対応する撮像領域を構成する１６の撮像素子を有する。

図１１には、第１の結像光学系３１０ａ〜３１０ｄの光軸の位置を垂直方向と水平方向に延びる実線（直線）で結んでおり、この実線で囲まれた領域を第１の領域とする。また、第２の結像光学系３２０ａ〜３２０ｄの光軸の位置を垂直方向と水平方向に延びる破線（直線）で結んでおり、この破線で囲まれた領域を第２の領域とする。さらに、第３の結像光学系３３０ａ〜３３０ｄの光軸の位置を斜め方向に延びる一点鎖線（直線）で結んでおり、この一点鎖線で囲まれた領域を第３の領域とする。また、第４の結像光学系３４０ａ〜３４０ｄの光軸の位置を斜め方向に延びる二点鎖線（直線）で結んでおり、この二点鎖線で囲まれた領域を第４の領域とする。なお、図１１では、実線、破線、一点鎖線および二点鎖線のそれぞれが見やすいように、実線を第１の結像光学系群の光軸の位置から若干ずらして示している。

第１〜第４の結像光学系群は、第１〜第４の領域の全てが重なる領域（結像光学部３００の中央にて第２の結像光学系３２０ａ〜３２０ｄの光軸が位置する領域）が存在するように配置されている。本実施例では、第１〜第４の結像光学系群のうち、この第１〜第４の領域の全てが重なる領域に配置された最も広画角である第２の結像光学系群の１つである第２の結像光学系３２０ｃを基準光学系とし、その配置位置を基準視点ＲＰとする。本実施例の複眼撮像装置の他の構成は、実施例１と同じであり、その説明は省略する。

本実施例でも、実施例１と同様にして、基準視点ＲＰとなる基準光学系３２０ｃを通して得られる画像を基準画像として画像合成処理および中間画角画像生成処理を行う（これら処理の流れの説明は省略する）。これにより、第２の結像光学群の画角から第１、第３および第４の結像光学系群の画角へと撮像画角の切り替えを行った場合に、それぞれの結像光学系群を通して得られる合成画像上での被写体位置ずれを少なくすることができる。また、第１〜第４の領域が全て重なる領域内に基準視点ＲＰとなる基準光学系３２０ｃの光軸を配置しているため、基準光学系３２０ｃを通して得られる基準画像に写っている被写体領域は、他の結像光学系を通して得られる画像のいずれかに必ず含まれている。このため、基準画像を用いた画像合成におけるオクルージョンの影響をなくすることができる。

本実施例も、実施例１と同様に、変倍用の光学素子を光軸方向に移動させるようなズーム機構を設けることなく、連続ズーミングを可能とする。さらに、本実施例では、実施例１に比べて互いに画角が異なる結像光学系群の数が多いため、より高いズーム比を容易に得ることができる。

図１２には、本発明の実施例４である複眼撮像装置の結像光学部４００を光軸方向から見て示している。結像光学部４００には、第１の結像光学系４１０ａ，４１０ｂ，４１０ｃと、第２の結像光学系４２０ａ，４２０ｂ，４２０ｃ，４２０ｄとが設けられている。さらに、結像光学部３００には、第３の結像光学系４３０ａ，４３０ｂ，４３０ｃが設けられている。これら複数の結像光学系４１０ａ〜４１０ｃ，４２０ａ〜４２０ｄ，４３０ａ〜４３０ｃは、それぞれの光軸に直交する２次元方向に互いに離間して配置されている。また、これら結像光学系４１０ａ〜４１０ｃ，４２０ａ〜４２０ｄ，４３０ａ〜４３０ｃの光軸は互いに平行に延びている。

第１の結像光学系（以下、まとめて第１の結像光学系群ともいう）４１０ａ〜４１０ｃは、第１の画角（焦点距離）θを有する。第１の画角θは、本実施例の複眼撮像装置において最も狭い画角である望遠端画角に相当する。また、第２の結像光学系（以下、まとめて第２の結像光学系群ともいう）４２０ａ〜４２０ｄは、第１の画角θよりも広い第２の画角（本実施例では第１の画角θの４倍である４θ）を有する。第２の画角は、本実施例の複眼撮像装置において最も広い画角である広角端画角に相当する。第３の結像光学系（以下、まとめて第３の結像光学系群ともいう）４３０ａ〜４３０ｃは、第１の画角より広く第２の画角より狭い第３の画角（本実施例では第２の画角４θの１／２倍である２θ）を有する。

本実施例では、これら第１〜第３の結像光学系群が、１つの第２の結像光学系４２０ｃを中心として、それ以外の結像光学系が同心円上に並ぶように配置されている。具体的には、第２の結像光学系４２０ｃ以外の結像光学系は、反時計回り方向に、第１の結像光学系、第２の結像光学系および第３の結像光学系がこの順で繰り返すように配置されている。

なお、図示はしないが、本実施例の複眼撮像装置の撮像素子部は、上述した１０の結像光学系４１０ａ〜４１０ｃ，４２０ａ〜４２０ｄ，４３０ａ〜４３０ｃのそれぞれに対応する撮像領域を構成する１０の撮像素子を有する。

図１２には、第１の結像光学系４１０ａ〜４１０ｃの光軸の位置を実線（直線）で結んでおり、この実線で囲まれた領域を第１の領域とする。また、第２の結像光学系４２０ｃ以外の第２の結像光学系４２０ａ，４２０ｂ，４２０ｄの光軸の位置を破線（直線）で結んでおり、この破線で囲まれた領域を第２の領域とする。さらに、第３の結像光学系４３０ａ〜４３０ｃの光軸の位置を一点鎖線（直線）で結んでおり、この一点鎖線で囲まれた領域を第３の領域とする。

第１〜第３の結像光学系群は、第１〜第３の領域の全てが重なる領域が存在するように配置されている。本実施例では、第１〜第３の結像光学系群のうち最も広画角である第２の結像光学系群の１つである第２の結像光学系４２０ｃを、第１〜第３の領域の全てが重なる領域内に配置している。第２の結像光学系４２０ｃを基準光学系とし、その配置位置を基準視点ＲＰとする。

なお、基準光学系４２０ｃは、第１〜第３の領域の全てが重なる領域内であって、他の全ての結像光学系の光軸の位置の重心となる位置（または他の全ての結像光学系の光軸の位置から等距離の位置）に配置されることが好ましい。このような位置に基準光学系４２０ｃを配置することで、基準光学系４２０ｃに対する他の結像光学系の視差量が大きくなり過ぎることを防ぐことができる。視差量が大きくなりすぎると、結像光学系群ごとに得られる画像の被写体位置ずれ量や被写体の変形量が大きくなるため、画像合成を行うことが難しくなる。本実施例の複眼撮像装置の他の構成は、実施例１と同じであり、その説明は省略する。

本実施例でも、実施例１と同様にして、基準視点ＲＰとなる基準光学系４２０ｃを通して得られる画像を基準画像として画像合成処理および中間画角画像生成処理を行う（これら処理の流れの説明は省略する）。これにより、第２の結像光学群の画角から第１、第３および第４の結像光学系群の画角へと撮像画角の切り替えを行った場合に、それぞれの結像光学系群を通して得られる合成画像上での被写体位置ずれを少なくすることができる。また、第１〜第３の領域が全て重なる領域内に基準視点ＲＰとなる基準光学系４２０ｃの光軸を配置しているため、基準光学系４２０ｃを通して得られる基準画像に写っている被写体領域は、他の結像光学系を通して得られる画像のいずれかに必ず含まれている。このため、基準画像を用いた画像合成におけるオクルージョンの影響をなくすることができる。

本実施例も、実施例１と同様に、変倍用の光学素子を光軸方向に移動させるようなズーム機構を設けることなく、連続ズーミングを可能とする。さらに、本実施例では、実施例１に比べて互いに画角が異なる結像光学系群の数が多いため、より高いズーム比を容易に得ることができる。

なお、上記各実施例では、最も広画角の第２の結像光学系を複数設けた場合について説明したが、第２の結像光学系は少なくとも１つ設けられ、これが基準光学系とされればよい。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

小型で良好な画像が得られる複眼撮像装置を提供できる。

１ 複眼撮像装置
１１０ａ〜１１０ｄ，２１０ａ〜２１０ｄ，３１０ａ〜３１０ｄ，４１０ａ〜４１０ｃ 第１の結像光学系
１２０ａ〜１２０ｄ，２２０ａ〜２２０ｄ，３２０ａ〜３２０ｄ，４２０ａ〜４２０ｄ 第２の結像光学系
１０ 撮像素子部

Claims (8)

1. それぞれの光軸に直交する方向に互いに離間して配置された複数の結像光学系と、
   前記複数の結像光学系のそれぞれを通した被写体の撮像を行うための撮像領域が該結像光学系ごとに設けられた撮像手段を有し、
   前記複数の結像光学系は、それぞれ第１の画角を有する複数の第１の結像光学系と、前記第１の画角よりも広い第２の画角を有する少なくとも１つの第２の結像光学系とを含み、
   光軸方向視において、前記複数の第１の結像光学系のそれぞれの光軸の位置を結ぶ線によって囲まれた第１の領域内に前記少なくとも１つの第２の結像光学系の光軸が配置されており、
   前記第１の領域内に光軸が配置された前記第２の結像光学系を通した撮像により得られた画像またはその一部を基準画像として、前記第１および第２の結像光学系のそれぞれを通した撮像により得られた画像を合成する画像合成手段を有し、
   前記複数の結像光学系が有する互いに異なる画角のうち、前記第２の結像光学系が有する第２の画角は最も広画角であることを特徴とする複眼撮像装置。
2. 複数の前記第２の結像光学系を有し、
   光軸方向視において、前記第１の領域と前記複数の第２の結像光学系のそれぞれの光軸の位置を結ぶ線によって囲まれた第２の領域とが重なる領域内に、前記複数の第２の結像光学系のうち前記少なくとも１つの第２の結像光学系の光軸が配置されていることを特徴とする請求項１に記載の複眼撮像装置。
3. 前記複数の結像光学系は、前記第１の画角よりも広く前記第２の画角よりも狭い第３の画角を有する複数の第３の結像光学系を含み、
   光軸方向視において、前記第１の領域と前記第２の領域と前記複数の第３の結像光学系のそれぞれの光軸の位置を結ぶ線によって囲まれた第３の領域とが重なる領域内に、前記複数の第２の結像光学系のうち前記少なくとも１つの第２の結像光学系の光軸が配置されていることを特徴とする請求項２に記載の複眼撮像装置。
4. 前記画像合成手段は、前記第１の領域と前記第２の領域と前記第３の領域とが重なる領域内に光軸が配置された前記第２の結像光学系を通した撮像により得られた画像またはその一部を基準画像として、前記第１、第２および第３の結像光学系のそれぞれを通した撮像により得られた画像を合成することを特徴とする請求項３に記載の複眼撮像装置。
5. 前記複数の結像光学系のうち互いに異なる画角を有する２つの結像光学系を通した撮像により得られる２つの画像に基づいて、該２つの結像光学系の画角の間の画角に対応する画像を生成する画像生成手段を有することを特徴とする請求項１から４のいずれか一項に記載の複眼撮像装置。
6. 前記第１の領域内に光軸が配置された前記第２の結像光学系を通した撮像により得られた画像またはその一部をプレビュー画像として表示手段に表示することを特徴とする請求項１から５のいずれか一項に記載の複眼撮像装置。
7. 前記複数の結像光学系を通した撮像により得られる互いに視差を有する複数の画像から前記被写体までの距離を算出する距離算出手段を有することを特徴とする請求項１から６のいずれか一項に記載の複眼撮像装置。
8. 前記複数の結像光学系が有する互いに異なる画角のうち、いずれかの画角Ｗと該画角Ｗの次に狭い画角Ｗｎとが、
   １．１≦Ｗ／Ｗｎ≦３
   なる条件を満足することを特徴とする請求項１から７のいずれか一項に記載の複眼撮像装置。