JP6151632B2 - 撮像モジュール及び撮像装置 - Google Patents

Description

本発明は撮像モジュール及び撮像装置に関し、特に特性の異なる複数の画像を同時に撮像することができる撮像モジュール及び撮像装置に関する。

従来、図２０に示すように同一の光軸上に配置された中央部の中央光学系（広角レンズ）１ａと、その周辺部の環状光学系（望遠レンズ）１ｂであって、中央光学系１ａとは特性の異なる環状光学系１ｂとからなる撮影光学系１と、イメージセンサ３と、イメージセンサ３の入射面側に配設された複数のマイクロレンズ（瞳結像レンズ）から構成されたアレイレンズ２であって、各マイクロレンズにより撮影光学系の瞳像をイメージセンサ３上に結像させるアレイレンズ２と、を備えた撮像装置が提案されている（特許文献１）。

上記撮影光学系１の像面はアレイレンズ２上にあり、アレイレンズ２が撮影光学系１の瞳像をイメージセンサ３上に結像させる。

図２１は、イメージセンサ３上の１つの受光セル３ａと、アレイレンズ２の１つのマイクロレンズがイメージセンサ３上に結像させる撮影光学系１の瞳像とを示している。この瞳像は、中央光学系１ａに対応する中央瞳像（広角レンズ成分）と、環状光学系１ｂに対応する環状瞳像（望遠レンズ成分）とを有している。

図２２（ａ）は、１つのマイクロレンズ当たりに、イメージセンサ３の５×５の受光セル３ａを割り付けた一例を示す。

図２２（ａ）に示すように、５×５の２５個の受光セル群毎に、その中央部の受光セルに中央瞳像（広角レンズ成分）が受光し、その周辺部の受光セルに環状瞳像（望遠レンズ成分）が受光する。

２５個の受光セル群毎に、広角レンズ成分を受光する受光セルから広角画像の１画素分の画像信号が生成され、同様に望遠レンズ成分を受光する受光セルから望遠画像の１画素分の画像信号が生成され、これにより図２２（ｂ）及び（ｃ）に示すように広角レンズに対応する広角画像と、望遠レンズに対応する望遠画像とが得られる。

図２２に示す例では、イメージセンサ３の受光セル数と、イメージセンサ３から得られる広角画像及び望遠画像の画素数との関係は、受光セル数：画素数（×画像数）＝２５：１（×２）となる。

図２２に示すように１つのマイクロレンズ当たりにイメージセンサ３の５×５の受光セル３ａを割り付けると、イメージセンサ３の受光セル数に比べてイメージセンサ３から得られる特性の異なる画像（上記の例では、広角画像と望遠画像）の画素数が大幅に低下するという問題がある。

イメージセンサ３から得られる特性の異なる画像の画素数の低下を抑える最もシンプルな方法は、１つのマイクロレンズ当たりに割り付ける受光セルの数（割付数）を減らすことである。割付数を減らした分だけ、取り出すことができる特性の異なる画像の画素数を増やすことができる。

図２３（ａ）及び（ｂ）は、それぞれ１つのマイクロレンズ当たりにイメージセンサ３の５×５の受光セル３ａを割り付けた例と、３×３の受光セル３ａを割り付けた例とを示している。

即ち、撮影光学系を同心円分割にした場合、アレイレンズの１マイクロレンズ当たりに割り付けることができる受光セルの割付数は、３×３が限界となっており、この場合のイメージセンサ３の受光セル数と、イメージセンサ３から得られる広角画像又は望遠画像の画素数との関係は、受光セル数：画素数＝９：１となる。

ところで、特許文献１には、カラー画像を撮像すべく、予め定められたパターンで受光素子にカラーフィルタが配列されている旨の記載があるが、具体的なカラーフィルタ配列に関する記載はない。

一方、特許文献２、３には、一般的な撮像レンズと、イメージセンサの入射面側に配設されたアレイレンズ（マイクロレンズアレイ）とを使用し、撮像レンズの通過光線を、レンズアレイによって複数の視点からの光線に分離しつつ、イメージセンサの各受光セルに入射させ、受光量に基づく画素信号を取得する撮像装置が記載されている。

特許文献２、３には、１つのマイクロレンズを通過した光線が、３×３個の受光セルに受光される記載があり、更にイメージセンサ上には、ベイヤ配列のカラーフィルタが設けられ、受光セル毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかのカラーフィルタが設けられている記載がある。

各マイクロレンズに対応する３×３個の受光セルから同一位置の受光セルの出力信号を抽出して画像を再構成することにより、９つの視点画像を生成することができるが、このようにして生成された視点画像もベイヤ配列のカラー画像（モザイク画像）になる（特許文献２の図１１参照）。

特開２０１２−２５３６７０号公報 特開２０１３−９００５９号公報 特開２０１３−１１５５３２号公報

いま、特許文献１に記載の撮像装置において、図２４（ａ）に示すように特許文献２、３に記載のような一般的なベイヤ配列を有するイメージセンサを適用し、かつ３×３の受光セルを１つのマイクロレンズに割り付けた構成の撮像装置について考察する。尚、この構成を有する撮像装置は公知のものではない。

図２４（ａ）に示したイメージセンサ及びアレイレンズは、格子状の６×６の受光セル（２×２のアレイレンズ）を基本ブロックとし、この基本ブロックが水平方向及び垂直方向に繰り返し配置されて構成されている。

図２４（ｂ）は基本ブロックを示しており、基本ブロックは、１つのマイクロレンズと、その１つのマイクロレンズ当たり３×３の受光セルとを単位ブロックとして、４つの単位ブロックから構成されている。

図２４（ｃ１）及び（ｃ２）は、それぞれ単位ブロック（３×３）の中央の受光セル（図２０に示した中央光学系１ａを通過した光束が入射する受光セル）のグループと、周囲の８個の受光セル（図２０に示した環状光学系１ｂを通過した光束が入射する受光セル）のグループとを示す。

図２４（ｃ１）に示すように中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。これにより、ベイヤ配列のモザイク画像をデモザイク処理（同時化処理ともいう）することにより、問題なくカラー画像を得ることができる。

一方、図２４（ｃ２）に示すように周囲の８個の受光セルのグループは、ＲＧＢの全ての受光セルを含む８個の受光セルと、Ｒの受光セルが無い８個の受光セルと、Ｂの受光セルが無い８個の受光セルとが混在し、ＲＧＢの受光セルの配置としてバランスを欠いたものとなる。

具体的には、中央の受光セルがＧの受光セルである３×３の受光セルの周囲の８個の受光セルは、２個のＲの受光セル、４個のＧの受光セル、２個のＢの受光セルを有し、ＲＧＢのすべての色情報がある。

一方、中央の受光セルがＲである３×３の受光セルの周囲の８個の受光セルは、４個のＧの受光セル、４個のＢの受光セルを有し、Ｒの受光セルが無く、同様に中央の受光セルがＢである３×３の受光セルの周囲の８個の受光セルは、４個のＲの受光セル、４個のＧの受光セルを有し、Ｂの受光セルが無い。

従って、Ｒの受光セル、又はＢの受光セルがない３×３の受光セルの周囲の８個の受光セルは、隣接する単位ブロックで獲得されるＲの受光セル、又はＢの受光セルを使って補完するなどの処理が必要となり、手間がかかる上に、周囲８個の受光セルのグループにより生成される画像の解像性能が低下するという問題が生じる。

また、前述したように撮影光学系を同心円分割にした場合、アレイレンズの１マイクロレンズ当たりに割り付けることができる受光セルの割付数は、３×３が限界となっており、同時に撮像される特性の異なる画像の画素数が低減するという問題がある。

本発明はこのような事情に鑑みてなされたもので、同時に撮像される特性の異なる複数の画像の画質及び解像度の向上を図ることができる撮像モジュール及び撮像装置を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る撮像モジュールは、特性が異なるＸ（Ｘは２以上の整数）個の被写体像を同時に撮像し、Ｘ個の被写体像の少なくとも１つの被写体像に対し、複数の波長域の画素信号を出力する撮像モジュールであって、被写体光が入射するＸ個の領域を有し、Ｘ個の領域毎に特性が異なる被写体像を同じ像面で重ねて結像させる多様レンズと、多様レンズの瞳像をＸ個の領域毎に分割する瞳分割手段と、瞳分割手段によって分割されたＸ個の瞳像をそれぞれ受光するＸ個の受光領域に対応して配設されたＹ（Ｘ＋１以上の整数）個の光電変換器と、を備え、Ｘ個の受光領域のうちの少なくとも１つの受光領域には、複数の光電変換器が配設され、１つの受光領域に配設された複数の光電変換器は、複数の波長域の画素信号を出力する。

本発明の一の態様によれば、Ｘ個の領域毎に特性が異なる多様レンズの瞳像であって、瞳分割手段によって分割されたＸ個の瞳像を、Ｘ個の受光領域に対応して配設されたＹ（Ｘ＋１以上の整数）個の光電変換器に入射させるようにしている。そして、Ｘ個の受光領域のうちの少なくとも１つの受光領域には複数の光電変換器を配設し、複数の光電変換器は複数の波長域の画素信号を出力するため、同時に撮像される特性の異なるＸ枚の画像のうちの少なくとも１つの画像については、１つの瞳像に対応する複数の光電変換器から複数の波長域の画素信号を取得することができ、１画素当たりの解像度を向上させることができる。

本発明の他の態様に係る撮像モジュールにおいて、１つの受光領域に配設された複数の光電変換器は、複数の波長域の情報からなる画像を構成する画素を生成するために必要な全ての波長域の画素信号を出力することが好ましい。

１つの受光領域に配設された複数の光電変換器は、複数の波長域の情報からなる画像を構成する画素を生成するために必要な全ての波長域の画素信号を出力するため、Ｘ個の画像のうちの少なくとも１つの画像については、１つの受光領域に配設された複数の光電変換器からの画素信号のみを使用して、デモザイク処理された１画素の画像信号を得ることができる。

逆に、１つの受光領域に配設された複数の光電変換器から出力される複数の画素信号内に、複数の波長域の情報からなる画像を構成する画素を生成するために必要な全ての波長域の画素信号が含まれていない場合（特定の波長域の画素信号が欠落している場合）には、周囲のＹ個の光電変換器から出力される画素信号（特定の波長域の画素信号）を補間して特定の波長域の画素信号を生成する必要があり、この場合には、出力画像の解像度（実質的な画素数）が低下するという問題が生じるが、本発明の他の態様によれば、このような問題を解消することができる。

本発明の更に他の態様に係る撮像モジュールにおいて、瞳分割手段は、２次元状に配列されたマイクロレンズから構成されたアレイレンズであって、光電変換器の入射面側に配設され、各マイクロレンズにより多様レンズの瞳像をＹ個の光電変換器に入射させるアレイレンズであることが好ましい。

本発明の他の態様に係る撮像モジュールにおいて、瞳分割手段及びＹ個の光電変換器を単位ブロックとすると、１つの受光領域に配設された複数の光電変換器は、同じ波長域の画素信号を出力する２以上の光電変換器を含み、２以上の光電変換器は、単位ブロックの中心に対して対称位置に配置されていることが好ましい。

本発明の更に他の態様に係る撮像モジュールにおいて、１つの受光領域に配設された複数の光電変換器は、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の波長域毎の画素信号を出力する。これにより、１つの受光領域に配設された複数の光電変換器から全ての色情報を取得することができ、高精細なカラー画像を生成することができる。

本発明の更に他の態様に係る撮像モジュールにおいて、多様レンズは、中央の第１の光学系と、第１の光学系の周辺部に設けられ、第１の光学系とは特性が異なる第２の光学系とからなるものが好ましい。中央の第１の光学系と第１の光学系の周辺部に設けられた第２の光学系とにより構成された多様レンズは、例えば、上下に分割した光学系からなる撮影光学系に比べてレンズ性能が優れたものになる。

本発明の更に他の態様に係る撮像モジュールにおいて、多様レンズは、第１の光学系及び第２の光学系のうちの一方が広角光学系であり、他方が望遠光学系である。これにより、１回の撮像により広角画像と、望遠画像とを同時に取得することができる。

本発明の更に他の態様に係る撮像モジュールにおいて、多様レンズの第１の光学系は円形の中央光学系であり、第２の光学系は中央光学系に対して同心円状に配設された環状光学系であることが好ましい。

本発明の更に他の態様に係る撮像モジュールにおいて、多様レンズの第１の光学系は円形の中央光学系であり、第２の光学系は中央光学系に対して同心円状に配設された環状光学系であり、瞳分割手段及びＹ個の光電変換器を単位ブロックとすると、単位ブロックは、格子状に配列された３×３個の光電変換器を有し、中央光学系に対応する中央瞳像は、単位ブロックの中央の光電変換器に入射し、環状光学系に対応する環状瞳像は、単位ブロックの周囲の８個の光電変換器に入射することが好ましい。

本発明の更に他の態様に係る撮像モジュールにおいて、単位ブロックの中央の光電変換器は、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の波長域の画素信号のうちのいずれか１つの画素信号を出力し、かつ複数の単位ブロックの中央の光電変換器は、Ｒ、Ｇ及びＢの波長域の画素信号を出力する光電変換器が周期的に配列されていることが好ましい。これにより、３×３個の光電変換器の中央の光電変換器から出力される画素信号は、Ｒ、Ｇ及びＢの波長域の画素信号を含み、１つの画像を生成するために必要な全ての波長域の画素信号を得ることができる。

本発明の更に他の態様に係る撮像モジュールにおいて、単位ブロックの周囲の８個の光電変換器は、Ｇの波長域の画素信号を出力する４個の光電変換器と、Ｒの波長域の画素信号を出力する２個の光電変換器と、Ｂの波長域の画素信号を出力する２個の光電変換器とからなることが好ましい。これにより、ＲＧＢの画素信号の個数の比率は、１：２：１になり、輝度信号を得るために最も寄与するＧの光電変換器を多く配置することができる。

本発明の更に他の態様に係る撮像モジュールにおいて、格子状に配列された６×６個の光電変換器を基本ブロックとし、基本ブロックが水平方向及び垂直方向に繰り返し配置されてイメージセンサが構成されていることが好ましい。６×６個の光電変換器の基本ブロックが水平方向及び垂直方向に繰り返されているため、後段でのデモザイク処理等の画像処理を行う際に、繰り返しパターンにしたがって処理を行うことができる。

本発明の更に他の態様に係る撮像モジュールにおいて、アレイレンズは、各マイクロレンズにより光電変換器上にそれぞれ入射させる瞳像のうち、互いに隣り合う瞳像の一部同士を光電変換器上で重複させることが好ましい。

アレイレンズの１マイクロレンズ当たりに割り付ける光電変換器の割付数を、３×３よりも少ない割り付けにすると、隣接するマイクロレンズの瞳像同士が重なり始める（クロストークが発生する）。一般にクロストークが発生している光電変換器からは、光線空間（ライトフィールド）を取り出すことができず、特許文献２、３のように各瞳像から同じ視点位置に対応する画素信号を１つずつ取り出し、画像を再構成する場合には、正しい画像が生成できなくなる。

しかしながら、本発明の場合、同時に撮像される特性の異なるＸ枚の画像の画素信号を取得することができればよいため、少なくともＸ個の受光領域（異なる受光領域）に対応する瞳像同士が重ならなければよい。即ち、互いに隣り合う瞳像の一部同士が光電変換器上で重複しても、同じ特性の瞳像の近傍の像が重なるだけであり、多少の特性変化はあるが、画像として破綻することはない。

このように、アレイレンズは、互いに隣り合う瞳像の一部同士が光電変換器上で重複させるため、アレイレンズの１マイクロレンズ当たりに実質的に割り付けられる光電変換器の割付数を３×３よりも少なくすることができ、その結果、同時に撮像される特性の異なる画像の画素数を増加させることができる。

本発明の更に他の態様に係る撮像モジュールにおいて、多様レンズは、中央の第１の光学系と、第１の光学系の周辺部に設けられ、第１の光学系とは特性が異なる第２の光学系とからなり、瞳分割手段及びＹ個の光電変換器を単位ブロックとすると、単位ブロックは、格子状に配列された３×３個の光電変換器を有し、多様レンズの第１の光学系は円形の中央光学系であり、第２の光学系は中央光学系に対して同心円状に配設された環状光学系であり、第１の光学系に対応する中央瞳像は、単位ブロックの中央の光電変換器に入射し、第２の光学系に対応する環状瞳像は、単位ブロックの周囲の８個の光電変換器に入射し、格子状に配列された４×４個の光電変換器を基本ブロックとし、基本ブロックが水平方向及び垂直方向に繰り返し配置されてイメージセンサが構成されていることが好ましい。

本発明の更に他の態様に係る撮像モジュールにおいて、多様レンズは、中央の第１の光学系と、第１の光学系の周辺部に設けられ、第１の光学系とは特性が異なる第２の光学系とからなり、多様レンズの第１の光学系は円形の中央光学系であり、第２の光学系は中央光学系に対して同心円状に配設された環状光学系であり、アレイレンズは、各マイクロレンズによりＹ個の光電変換器にそれぞれ結像させる瞳像のうち、互いに隣り合う環状光学系に対応する環状瞳像の一部同士をＹ個の光電変換器上で重複させるとともに、互いに隣り合う中央光学系に対応する中央瞳像と第２の光学系に対応する環状瞳像の一部とを重複させ、環状光学系は、中央光学系に対応する中央瞳像と重複する環状瞳像の一部に対応する部分が遮光され、又は中央光学系に対応する中央瞳像と重複する環状瞳像の一部に対応する部分が欠落して形成されていることが好ましい。

本発明の更に他の態様によれば、環状光学系は、一部が遮光され、又は一部が欠落して形成され、中央瞳像と環状瞳像とが光電変換器上で重複しないようにしている。これにより、アレイレンズの１マイクロレンズ当たりの実質的な光電変換器の割当数を更に減少させることが可能になる。

本発明の更に他の態様に係る撮像モジュールにおいて、多様レンズは、中央の第１の光学系と、第１の光学系の周辺部に設けられ、第１の光学系とは特性が異なる第２の光学系とからなり、多様レンズの第１の光学系は円形の中央光学系であり、第２の光学系は中央光学系に対して同心円状に配設された環状光学系であって、特性が異なる第３の光学系と第４の光学系とが交互に配置されてなる環状光学系であり、アレイレンズは、各マイクロレンズによりＹ個の光電変換器にそれぞれ結像させる瞳像のうち、互いに隣り合う環状光学系の第３の光学系に対応する第１の環状瞳像同士をＹ個の光電変換器上で重複させるとともに、互いに隣り合う環状光学系の第４の光学系に対応する第２の環状瞳像同士をＹ個の光電変換器上で重複させることが好ましい。これにより、１回の撮像により３種類の特性の異なる画像を同時に取得することができる。

本発明の更に他の態様に係る撮像モジュールにおいて、光電変換器が六方格子状に配列され、瞳分割手段及びＹ個の光電変換器を単位ブロックとすると、単位ブロックは、１個の中央の光電変換器と周囲の６個の光電変換器とからなり、中央光学系に対応する中央瞳像は、中央の光電変換器に入射し、環状光学系の第３の光学系に対応する第１の環状瞳像は、周囲の６個の光電変換器のうちの中央の光電変換器から１２０度３方向の３個の光電変換器に入射し、環状光学系の第４の光学系に対応する第２の環状瞳像は、周囲の６個の光電変換器のうちの中央の光電変換器から１２０度３方向の他の３個の光電変換器に入射することが好ましい。

本発明の更に他の態様に係る撮像モジュールにおいて、多様レンズの中央光学系は広角光学系であり、環状光学系の第３の光学系及び第４の光学系はそれぞれ焦点距離の異なる望遠光学系であることが好ましい。これにより、１回の撮像により広角画像と、それぞれ撮影倍率の異なる２枚の望遠画像とを同時に取得することができる。

本発明の更に他の態様に係る撮像モジュールにおいて、多様レンズの中央光学系は広角光学系であり、環状光学系の第３の光学系及び第４の光学系はそれぞれ撮影距離の異なる望遠光学系であることが好ましい。これにより、１回の撮像により広角画像と、撮影距離の異なる被写体に対して合焦した２枚の望遠画像とを同時に取得することができる。

本発明の更に他の態様に係る撮像モジュールにおいて、環状光学系は、光束を２回以上反射させる反射光学系を有することが好ましい。これにより、環状光学系の光軸方向の寸法を短くすることができ、装置をコンパクトにすることができる。

本発明の更に他の態様に係る撮像装置は、上記のいずれかの撮像モジュールと、瞳分割手段及びＹ個の光電変換器を単位ブロックとすると、１つの単位ブロック内の光電変換器から出力される画素信号に基づいて、複数の波長域の情報からなる少なくとも１つの画像を構成する１画素分の画像信号を生成する画像生成部と、を備えている。

本発明の他の態様によれば、同時に撮像されるＸ枚の画像のうちの少なくとも１つの画像については、単位ブロック内の画素信号を使用して１画素分のデモザイク処理された画像信号を生成することができ、画像の画質及び解像度の向上を図ることができる。

本発明によれば、同時に撮像される特性の異なる複数の画像のうちの少なくとも１つの画像の画質及び解像度の向上を図ることができる。また、アレイレンズは、互いに隣り合う多様レンズの瞳像の一部同士を光電変換器上で重複させるため、アレイレンズの１マイクロレンズ当たりに実質的に割り付けられる光電変換器の割付数を少なくすることができ、その結果、同時に撮像可能な特性の異なる画像の画素数を増加させることができる。

本発明に係る撮像モジュールを含む撮像装置の外観斜視図 図１に示した撮像装置の内部構成の実施形態を示すブロック図 図１に示した撮像装置に適用された撮影光学系の第１の実施形態を示す断面図 本発明に係る撮像装置の第１の実施形態を説明するために用いたアレイレンズ及びイメージセンサの要部拡大図 本発明に係る撮像装置に適用されるイメージセンサに配設されたカラーフィルタの第１の実施形態のカラーフィルタ配列等を示す図 本発明に係る撮像装置に適用されるイメージセンサに配設されたカラーフィルタの第２の実施形態のカラーフィルタ配列等を示す図 イメージセンサにおける好適なカラーフィルタ配列を説明するために用いた図 イメージセンサにおける好適なカラーフィルタ配列を説明するために用いた他の図 本発明に係る撮像装置の第２の実施形態を説明するために用いたアレイレンズ及びイメージセンサの要部拡大図 本発明に係る撮像装置の第２の実施形態におけるイメージセンサのカラーフィルタ配列等を示す図 第２の実施形態におけるイメージセンサのカラーフィルタ配列の第１の変形例を示す図 第２の実施形態におけるイメージセンサのカラーフィルタ配列の第２の変形例を示す図 第２の実施形態におけるイメージセンサのカラーフィルタ配列の第３の変形例を示す図 本発明に係る撮像装置の第３の実施形態を説明するために用いた撮影光学系、アレイレンズ及びイメージセンサ等を示す図 本発明に係る撮像装置の第４の実施形態を説明するために用いた撮影光学系、アレイレンズ及びイメージセンサ等を示す図 第４の実施形態におけるイメージセンサのカラーフィルタ配列を示す図 図１に示した撮像装置に適用可能な撮影光学系の第２の実施形態を示す断面図 撮像装置の他の実施形態であるスマートフォンの外観図 スマートフォンの要部構成を示すブロック図 中央光学系及び環状光学系を有する撮影光学系、アレイレンズ及びイメージセンサを備えた従来の撮像装置を示す図 １つの受光セルと瞳像との関係を示す図 従来のイメージセンサ上に結像される各瞳像の一例を示す図 従来のイメージセンサ上に結像される各瞳像の他の例を示す図 発明が解決しようとする課題を説明するために用いた図

以下、添付図面に従って本発明に係る撮像モジュール及び撮像装置の実施の形態について説明する。

＜撮像装置の外観＞
図１は本発明に係る撮像モジュールを含む撮像装置の外観斜視図である。図１に示すように、撮像装置１０の前面には、多様レンズ（撮影光学系）１２、フラッシュ発光部１９等が配置され、上面にはシャッタボタン３８−１が設けられている。Ｌ１は多様レンズ１２の光軸を表す。

図２は撮像装置１０の内部構成の実施形態を示すブロック図である。

この撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、主として多様レンズ１２、アレイレンズ１６、及びイメージセンサ１８等を含む撮像モジュール１１に特徴がある。

［撮影光学系］
図３は、撮像装置１０（撮像モジュール１１）に適用された多様レンズの第１の実施形態を示す断面図である。

図３に示すように多様レンズ１２は、それぞれ同一の光軸上に配置された中央部の中央光学系（第１の光学系）１３とその周辺部の環状光学系（第２の光学系）１４とから構成されている。

中央光学系１３は、第１レンズ１３ａ、第２レンズ１３ｂ、第３レンズ１３ｃ、第４レンズ１３ｄ、及び共通レンズ１５から構成された広角光学系（広角レンズ）であり、アレイレンズ１６上に広角画像を結像させる。

環状光学系１４は、第１レンズ１４ａ、第２レンズ１４ｂ、第１反射ミラー１４ｃ（反射光学系）、第２反射ミラー１４ｄ（反射光学系）、及び共通レンズ１５から構成された望遠光学系（望遠レンズ）であり、アレイレンズ１６上に望遠画像を結像させる。第１レンズ１４ａ、及び第２レンズ１４ｂを介して入射した光束は、第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより２回反射された後、共通レンズ１５を通過する。第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより光束が折り返されることにより、焦点距離の長い望遠光学系（望遠レンズ）の光軸方向の長さを短くしている。

［本発明に係る撮像装置の第１の実施形態］
次に、本発明に係る撮像装置の第１の実施形態について説明する。

図４は、図２及び図３に示したアレイレンズ１６及びイメージセンサ１８の要部拡大図である。

アレイレンズ１６は、複数のマイクロレンズ（瞳結像レンズ）１６ａが２次元状に配列されて構成されており、各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ１８の受光セル（光電変換器）１８ａの３つ分の間隔に対応している。即ち、アレイレンズ１６の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、２つ置きの受光セルの位置に対応して形成されたものが使用される。

また、アレイレンズ１６の各マイクロレンズ１６ａは、多様レンズ１２の中央光学系１３及び環状光学系１４に対応する、円形の中央瞳像（第１の瞳像）１７ａ及び環状瞳像（第２の瞳像）１７ｂを、イメージセンサ１８の対応する受光領域の受光セル１８ａ上に結像させる。

図４に示す第１の実施形態のアレイレンズ１６及びイメージセンサ１８によれば、アレイレンズ１６の１マイクロレンズ１６ａ当たりに付き、格子状（正方格子状）の３×３個の受光セル１８ａが割り付けられている。以下、１つのマイクロレンズ１６ａ及び１つのマイクロレンズ１６ａに対応する受光セル群（３×３個の受光セル１８ａ）を単位ブロックという。

中央瞳像１７ａは、単位ブロックの中央の受光セル１８ａのみに結像し、環状瞳像１７ｂは、単位ブロックの周囲の８個の受光セル１８ａに結像する。

本発明に係る撮像装置１０（撮像モジュール１１）によれば、後述するように中央光学系１３に対応する広角画像と、環状光学系１４に対応する望遠画像とを同時に撮像することができる。

［イメージセンサの第１の実施形態］
図５は本発明に係る撮像装置１０（撮像モジュール１１）に適用されるイメージセンサ１８を示す図であり、特にイメージセンサ１８に配設されたカラーフィルタの第１の実施形態のカラーフィルタ配列等を示す図である。尚、図５上で、アレイレンズ１６は省略されているが、円形で示した領域は、アレイレンズ１６の各マイクロレンズ１６ａにより瞳像が結像される３×３個の受光セルを含む単位ブロックを示している。

図５（ａ）に示すようにイメージセンサ１８の撮像面上には、各受光セル上に配設されたカラーフィルタにより構成されるカラーフィルタ配列が設けられる。

このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各波長域の光を透過させる３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）により構成されている。そして、各受光セル上には、ＲＧＢフィルタのいずれかが配置される。以下、Ｒフィルタが配置された受光セルを「Ｒ受光セル」、Ｇフィルタが配置された受光セルを「Ｇ受光セル」、Ｂフィルタが配置された受光セルを「Ｂ受光セル」という。

図５（ａ）に示すカラーフィルタ配列は、６×６個の受光セルを基本ブロックＢ（図５（ａ）の太枠で示したブロック、及び図５（ｂ）参照）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。

図５（ｂ）に示すように基本ブロックＢは、４個の単位ブロックＢ１〜Ｂ４により構成されている。

図５（ｃ１）及び（ｃ２）は、それぞれ４個の単位ブロックＢ１〜Ｂ４の中央の受光セル（図３に示した中央光学系１３を通過した光束が入射する受光セル）のグループと、周囲の８個の受光セル（図３に示した環状光学系１４を通過した光速が入射する受光セル）のグループとを示す。

図５（ｃ１）に示すように中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。これにより、ベイヤ配列のモザイク画像をデモザイク処理することにより、問題なくカラー画像を得ることができる。

一方、図５（ｃ２）に示すように、単位ブロックＢ１〜Ｂ４の各中央の受光セルの周囲の８個の受光セルのグループは、８個の受光セル内にＲＧＢの全ての受光セル（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）を含み、かつ単位ブロックＢ１〜Ｂ４にかかわらず、ＲＧＢの受光セルが同じパターンで配置されている。

具体的には、各単位ブロックＢ１〜Ｂ４の４隅の４つの受光セルは、Ｇ受光セルが配置され、中央の受光セルを挟んで上下の２個の受光セルは、Ｒ受光セルが配置され、中央の受光セルを挟んで左右の２個の受光セルは、Ｂ受光セルが配置されている。

また、Ｒ受光セル、Ｇ受光セル、及びＢ受光セルは、それぞれ単位ブロックの中央の受光セル（中心）に対して対称位置に配置されている。これにより、単位ブロック内のＲＧＢの受光セルの出力信号を使用して、その単位ブロック毎のデモザイク処理（同時化処理）後の、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。

即ち、単位ブロック内の４個のＧ受光セルの出力信号（画素値）の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置におけるＧ画素の画素値を取得することができ、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置におけるＲ画素及びＢ画素の画素値を取得することができる。

これにより、単位ブロックの周囲の８個の受光セルのグループにより生成される、環状光学系１４（望遠光学系）に対応する望遠画像については、単位ブロック内のＲＧＢの受光セルの画素値を使用してデモザイク処理を行うことができ、周囲の単位ブロックの受光セルの画素値を補間して特定の波長域の画素の画素値を生成する必要がなく、出力画像の解像度（実質的な画素数）を低下させることがない。

また、単位ブロックＢ１〜Ｂ４の周囲の８個の受光セルは、２個のＲ受光セル、４個のＧ受光セル、２個のＢ受光セルを有し、ＲＧＢの受光セルの比率は、１：２：１になり、輝度信号を得るために最も寄与するＧ受光セルが多く配置されている。

図２に戻って、撮像装置１０（撮像モジュール１１）は、図３で説明した中央光学系１３及び環状光学系１４を有する多様レンズ１２と、図４及び図５で説明した第１の実施形態のアレイレンズ１６及びイメージセンサ１８とを備えている。装置全体の動作は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）５６に格納されたカメラ制御プログラムに基づいて、中央処理装置（ＣＰＵ）４０によって統括制御される。尚、ＥＥＰＲＯＭ５６には、カメラ制御プログラムの他に、イメージセンサ１４の画素の欠陥情報、画像処理等に使用する各種のパラメータやテーブル等が記憶されている。

撮像装置１０には、シャッタボタン３８−１、モードダイヤル（モード切替装置）、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ（ＬＣＤ）３０の表示制御などを行う。

シャッタボタン３８−１（図１）は、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。

モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードを切り替える選択手段である。また、モードダイヤルは、撮影モード時に、中央光学系１３を介して結像される広角画像（第１の画像）を取得する第１の撮影モード、環状光学系１４を介して結像される望遠画像（第２の画像）を取得する第２の撮影モード、広角画像及び望遠画像を同時に取得するハイブリッド撮影モード等を切り替える選択手段として機能する。

再生ボタンは、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせるときなどに使用される。

撮影モード時において、被写体光は、多様レンズ１２及びアレイレンズ１６を介してイメージセンサ１８の受光面に結像される。

イメージセンサ１８の各受光セル（光電変換器）の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。

イメージセンサ１８に蓄積された信号電圧（または電荷）は、受光セルそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（または電荷）は、センサ制御部３２により、Ｘ−Ｙアドレス方式を用いたＭＯＳ型撮像素子（いわゆるＣＭＯＳセンサ）の手法を用いて、受光セル位置の選択とともに読み出される。

これにより、イメージセンサ１８から中央光学系１３に対応する中央の受光セルのグループの広角画像を示す画素信号と、環状光学系１４に対応する周囲８個の受光セルのグループの望遠画像を示す画素信号とを読み出すことができる。

イメージセンサ１８から読み出された画素信号（電圧信号）は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、受光セル毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理）により受光セル毎の画素信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画素信号をデジタル信号に変換して画像入力コントローラ２２に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１８から直接デジタル信号が出力される。

イメージセンサ１８の受光セル位置を選択して画素信号を読み出すことにより、広角画像を示す画素信号と望遠画像を示す画素信号とを選択的に読み出すことができる。

即ち、イメージセンサ１８の中央瞳像１７ａが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり１個の受光セル（３×３の受光セルの中央の受光セル）の広角画像を示す画素信号（ベイヤ配列のモザイク画像を示す画素信号）を取得することができ、一方、イメージセンサ１８の環状瞳像１７ｂが入射する、８個の受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり８個の画素信号を取得することができる。

尚、イメージセンサ１８から全ての画素信号を読み出してメモリ(SDRAM)４８に一時的に記憶させ、デジタル信号処理部（画像生成部）２４がメモリ４８に記憶させた画素信号に基づいて上記と同様に広角画像と望遠画像の２つ画像の画素信号のグループ分けを行ってもよい。

また、デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画素信号（ＲＧＢの点順次のＲ信号、Ｇ信号、Ｂ信号）に対して、オフセット処理、ガンマ補正処理、及びＲＧＢのモザイク画像の信号に対するデモザイク処理等の所定の信号処理を行う。ここで、デモザイク処理とは、単板式のイメージセンサ１８のカラーフィルタ配列に対応したＲＧＢのモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなるイメージセンサ１８の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。

即ち、デジタル信号処理部２４に含まれるデモザイク処理部は、広角画像（ベイヤ配列のモザイク画像）のＧ受光セルの位置には、Ｒ受光セル、Ｂ受光セルが無いため、そのＧ受光セルの周囲のＲ受光セル、Ｂ受光セルのＲ信号、Ｂ信号をそれぞれ補間して、Ｇ受光セルの位置におけるＲ信号、Ｂ信号を生成する。同様に、モザイク画像のＲ受光セルの位置には、Ｇ受光セル、Ｂ受光セルが無いため、そのＲ受光セルの周囲のＧ受光セル、Ｂ受光セルのＧ信号、Ｂ信号をそれぞれ補間してＲ受光セルの位置におけるＧ信号、Ｂ信号を生成し、また、モザイク画像のＢ受光セルの位置には、Ｇ受光セル、Ｒ受光セルが無いため、そのＢ受光セルの周囲のＧ受光セル、Ｒ受光セルのＧ信号、Ｒ信号をそれぞれ補間してＢ受光セルの位置におけるＧ信号、Ｒ信号を生成する。

一方、望遠画像は、１マイクロレンズ１６ａ当たり８個（３×３の単位ブロックの周囲８個）のモザイク画像からなり、かつ８個の受光セル内には、ＲＧＢの全ての色情報（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）が含まれているため、デモザイク処理部は、単位ブロック内の８個の受光セルの出力信号を使用して単位ブロック毎にデモザイク処理した、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。

具体的には、望遠画像のモザイク画像をデモザイク処理するデモザイク処理部（画像生成部）は、単位ブロック内の４個のＧ受光セルの画素値の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置における画素のＧの画素値を算出し、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置における画素のＲの画素値及びＢの画素値を算出する。

上記デモザイク処理部により生成される広角画像及び望遠画像の２つのデモザイク画像のうちの望遠画像のデモザイク画像は、単位ブロック内の８個の受光セルの出力信号を使用してデモザイク処理が行われるため、周囲の単位ブロックの受光セルの出力信号を使用（補間）してデモザイク処理が行われる広角画像のデモザイク画像よりも解像度が実質的に高いものとなる。

また、デジタル信号処理部２４は、デモザイク処理部によりデモザイク処理されたＲＧＢの色情報（Ｒ信号、Ｇ信号、Ｂ信号）から輝度信号Ｙと色差信号Ｃｂ，Ｃｒを生成するＲＧＢ／ＹＣ変換等を行う。

デジタル信号処理部２４で処理され画像信号は、ＶＲＡＭ(Video Random Access Memory)５０に入力される。ＶＲＡＭ５０から読み出された画像信号はビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０の表示画面上に表示される。

操作部３８のシャッタボタン３８−１の第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＥ動作を開始させ、Ａ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＡＥ検出部４４では、画面全体の画像信号を積算し、又は画面中央部と周辺部とで異なる重みづけをした画像信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り（図示せず）の絞り値及びイメージセンサ１８の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞りを制御すると共に、決定したシャッタスピードに基づいてセンサ制御部３２を介してイメージセンサ１８での電荷蓄積時間を制御する。

ＡＥ動作が終了し、シャッタボタン３８−１の第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される画像データが画像入力コントローラ２２からメモリ(SDRAM: Synchronous Dynamic RAM)４８に入力され、一時的に記憶される。メモリ４８に一時的に記憶された画像信号は、デジタル信号処理部２４により適宜読み出され、ここで所定の信号処理が行われて再びメモリ４８に記憶される。

メモリ４８に記憶された画像信号は、それぞれ圧縮伸張処理部２６に出力され、JPEG(Joint Photographic Experts Group)などの所定の圧縮処理が実行されたのち、メディア・コントローラ５２を介してメモリカード５４に記録される。

そして、モードダイヤルにより第１の撮影モード又は第２の撮影モードが選択されると、広角画像又は望遠画像を選択的に取得することができ、モードダイヤルによりハイブリッド撮影モードが選択されると、広角画像と望遠画像とを同時に取得することができる。これにより、広角光学系と望遠光学系のメカ的な切り替えや、ズームレンズのズーム操作なしに、広角画像と望遠画像とを取得することができる。

［イメージセンサの第２の実施形態］
図６は本発明に係る撮像装置１０（撮像モジュール１１）に適用されるイメージセンサ１８の他の実施形態を示す図であり、特にイメージセンサ１８に配設されたカラーフィルタの第２の実施形態のカラーフィルタ配列等を示す図である。

図６（ａ）に示すようにイメージセンサ１８の他の実施形態のカラーフィルタ配列は、図５（ａ）に示したカラーフィルタ配列と同様に、６×６個の受光セルを基本ブロックＢ（図６（ａ）の太枠で示したブロック、及び図６（ｂ）参照）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。

図６（ｂ）に示すように基本ブロックＢは、４個の単位ブロックＢ１〜Ｂ４により構成されている。

図６（ｃ１）及び（ｃ２）は、それぞれ４個の単位ブロックＢ１〜Ｂ４の中央の受光セルのグループと、周囲の８個の受光セルのグループとを示す。

図６（ｃ１）に示すように中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。これにより、ベイヤ配列のモザイク画像をデモザイク処理することにより、問題なくカラー画像を得ることができる。

一方、図６（ｃ２）に示すように、単位ブロックＢ１〜Ｂ４の各中央の受光セルの周囲の８個の受光セルのグループは、８個の受光セル内にＲＧＢの全ての受光セル（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）を含み、かつ単位ブロックＢ１〜Ｂ４にかかわらず、ＲＧＢの受光セルが同じパターンで配置されている。

具体的には、各単位ブロックＢ１〜Ｂ４の中央の受光セルを挟んで上下左右の４個の受光セルは、Ｇ受光セルが配置され、単位ブロックの左上及び右下の２個の受光セルは、Ｒ受光セルが配置され、単位ブロックの右上及び左下の２個の受光セルは、Ｂ受光セルが配置されている。

また、Ｒ受光セル、Ｇ受光セル、及びＢ受光セルは、それぞれ単位ブロックの中央の受光セル（中心）に対して対称位置に配置されている。これにより、単位ブロック内のＲＧＢの受光セルの出力信号を使用して、その単位ブロック毎のデモザイク処理後の、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。

即ち、単位ブロック内の４個のＧ受光セルの画素値の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置におけるＧ受光セルの画素値を取得することができ、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置における画素のＲの画素値及びＢの画素値を取得することができる。

また、単位ブロックＢ１〜Ｂ４の周囲の８個の受光セルは、２個のＲ受光セル、４個のＧ受光セル、２個のＢ受光セルを有し、ＲＧＢの受光セルの比率は、１：２：１になり、輝度信号を得るために最も寄与するＧ受光セルが多く配置されている。

尚、上記の実施形態では、単位ブロックＢ１〜Ｂ４の中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像になるように各中央の受光セルにカラーフィルタが一定のパターンで周期的に配置されているが、これに限らず、各中央の受光セルに配置されるカラーフィルタは、ＧストライプＲ／Ｇ完全市松、X-Trans（登録商標）配列等のカラーフィルタを配置してもよく、要は全ての波長域の画素信号を得ることができるようにカラーフィルタが配列されていればよい。

［より好適な周囲８画素のフィルタ配置（１）］
３×３個の受光セルを有する単位ブロックの周囲の８個の受光セルに対するカラーフィルタ配置は、図５及び図６に示した第１、第２の実施形態以外にも種々の配置が考えられる。

図７（ａ）及び（ｂ）は、それぞれ図５（ａ）に示したカラーフィルタの第１の実施形態を示し、特に多様レンズ１２のうちの環状光学系１４を透過してくる光束が、マイクロレンズ１６ａの指向性により入射する、３×３個の単位ブロックの周囲の８個の受光セルにおける入射領域を示している。

図７（ａ）に示すように画像中心（イメージセンサ１８の光軸近くの単位ブロック）では、環状光学系１４を透過してくる光束の入射領域は、きれいな円環状となるので、周囲の８個の受光セルにおけるＲＧＢのフィルタ配置の差は生じない。

一方、光学レンズの一般的な性質として、光軸から離れた画像周辺になるほど「けられ」が生じることが知られている。本例の環状光学系１４のように円環瞳を持つ光学レンズの場合には、センサ面への入射光パターンは、「けられ」によって円形から三日月状になる（図７（ｂ）〜（ｅ））。

即ち、イメージセンサ１８の周辺では、単位ブロックの周囲８個の受光セルのうち、偏った受光セルでしか光を検出できなくなりがちである。このようなときにも、全色の情報を獲得するためには、各波長域の画素信号を出力するＲＧＢの受光セルを、満遍なく８個の受光セルに割り付けておくことが好ましい。

図７（ｂ）に示すカラーフィルタ配列（第１の実施形態）の場合、イメージセンサ１８の４隅周辺の単位ブロックであっても、周囲８個のＲＧＢの受光セルに三日月状の光束が満遍なく入射し、三日月状の光束が入射するＲＧＢの各受光セルの面積比は、ほぼ等しくなる（Ｇ≒Ｒ＝Ｂ）。

また、図７（ｃ）に示すカラーフィルタ配列（図６（ａ）に示した第２の実施形態）の場合も、周囲８個のＲＧＢの受光セルに三日月状の光束が満遍なく入射し、三日月状の光束が入射するＲＧＢの各受光セルの面積比は、ほぼ等しくなる（Ｇ≒Ｒ≒Ｂ）。

一方、図７（ｄ）に示すカラーフィルタ配列の場合、周囲８個のＲＧＢの受光セルが、周囲の方向に関して満遍なく配置されておらず、三日月状の光束が入射するＲＧＢの各受光セルの面積比は、不均一になる（Ｇ≫Ｒ＞Ｂ）。同様に図７（ｅ）に示すカラーフィルタ配列の場合も、周囲８個のＲＧＢの受光セルが、周囲の方向に関して満遍なく配置されておらず、三日月状の光束が入射するＲＧＢの各受光セルの面積比は、不均一になる（Ｇ＞Ｒ＝Ｂ）。

上記のように、３×３個の受光セルを有する単位ブロックの周囲８個の受光セルのフィルタ配置としては、図５（ａ）及び図６（ｂ）に示した第１、第２の実施形態のように、ＲＧＢの受光セルが周囲の方位に関して満遍なく（重心が単位ブロックの中心に来るように）配置することがより好ましい。

［より好適な周囲８画素のフィルタ配置（２）］
次に、カラーフィルタの製造工程及び混信（クロストーク）を低減する観点から、より好適な周囲８個の受光セルのフィルタ配置について説明する。

図８（ａ）及び（ｂ）は、それぞれ図５（ａ）及び図６（ｂ）に示した第１、第２の実施形態のカラーフィルタ配列に関して示している。

図８（ａ）に示すように、３×３個の受光セルを有する単位ブロックを並べたときに、隣接する単位ブロックと接する画素同士の波長フィルタ（カラーフィルタ）は、同種になるように配置するのがより好適である。

その理由は、以下の通りである。

（１）同種であれば、フィルタ部を繋げてしまうことができるので、波長フィルタを形成する製造工程が、シンプルになる。

（２）同種（同色）であれば、隣接する単位ブロックからの信号の混信（クロストーク）があった場合でも、空間解像度の低下だけで済む。もし、混信信号が異なる色の成分であった場合には、空間解像度の低下に加えて、色信号の誤差が生じて画像品質が低下する。

従って、隣接する単位ブロックと接する画素同士の波長フィルタは、同種になるように配置するのがより好ましい。

図８（ａ）に示す第１の実施形態のカラーフィルタ配列の場合、３×３個の受光セルを有する単位ブロックを並べたときの周囲８個の受光セルのうちのＧ受光セルは、２×２個の４個のＧ受光セルが隣接し、また、周囲８個の受光セルのうちのＲ受光セルは、垂直方向に２個隣接し、Ｂ受光セルは、水平方向に２個隣接する。

一方、図８（ｂ）に示す第２の実施形態のカラーフィルタ配列の場合、３×３個の受光セルを有する単位ブロックを並べたときの周囲８個の受光セルのうちのＧ受光セルは、２個隣接するが、周囲８個の受光セルのうちのＲ受光セル及びＢ受光セルは、隣接する全ての方向の受光セルと波長フィルタが異なる。

従って、図８（ａ）及び（ｂ）に示す第１、第２の実施形態のカラーフィルタ配列のうち、第１の実施形態のカラーフィルタ配列の方が、カラーフィルタの製造工程がシンプルになり、かつ混信を低減することができるため、より好適なカラーフィルタ配列と言える。

＜画素の高密度化＞
次に、イメージセンサの受光セル数を変えずに、アレイレンズの１マイクロレンズ当たりに割り付ける受光セルの割付数を大幅に低減し、同時に撮像される特性の異なる複数の画像の画素数を増加させる、画素の高密度化を図った実施形態について説明する。

［本発明に係る撮像装置の第２の実施形態］
図９は、本発明に係る撮像装置（撮像モジュール）の第２の実施形態を説明するために用いたアレイレンズ１１６及びイメージセンサ１１８の要部拡大図である。尚、第２の実施形態の撮像装置は、図１から図３に示した第１の実施形態の撮像装置１０とは、主としてアレイレンズ１１６及びイメージセンサ１１８が相違するため、以下、その相違点について説明する。

図９において、アレイレンズ１１６は、複数のマイクロレンズ１１６ａが２次元状に配列されて構成されており、各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ１１８の受光セル１１８ａの２つ分の間隔に対応している。即ち、アレイレンズ１１６の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、１つ置きの受光セルの位置に対応して形成されたものが使用される。

また、アレイレンズ１１６の各マイクロレンズ１１６ａは、多様レンズ１２の中央光学系１３及び環状光学系１４に対応する、円形の中央瞳像１１７ａ及び環状瞳像１１７ｂをイメージセンサ１１８上に結像させる。

ここで、互いに隣り合う環状瞳像１１７ｂは、その一部同士がイメージセンサ１１８上で重なっている。即ち、アレイレンズ１１６は、イメージセンサ１１８の入射面側の適宜の位置に配置されており、各マイクロレンズ１１６ａによりイメージセンサ１１８上にそれぞれ結像させる中央瞳像１１７ａ及び環状瞳像１１７ｂのうち、互いに隣り合う環状瞳像１１７ｂの一部同士がイメージセンサ１１８上で重複するように構成されている。

図９に示す第２の実施形態のアレイレンズ１１６及びイメージセンサ１１８によれば、中央瞳像１１７ａは、イメージセンサ１１８上の１つの受光セル１１８ａ（３×３個の中央の受光セル）のみに結像し、環状瞳像１１７ｂは、中央瞳像１１７ａが結像する受光セル１１８ａの周囲の８個の受光セル１１８ａに結像する。そして、８個の受光セル１１８ａに結像する中央瞳像１１７ａは、水平方向及び垂直方向（上下左右方向）に隣接する中央瞳像１１７ａと１つの受光セル分の範囲で重複している。

本発明に係る撮像装置は、中央光学系１３に対応する広角画像と、環状光学系１４に対応する望遠画像とを撮像することができればよいため、中央瞳像１１７ａと環状瞳像１１７ｂとが重ならなければよい。即ち、互いに隣り合う環状瞳像１１７ｂの一部同士がイメージセンサ１１８上で重複しても画像として破綻することはない。

図１０（ａ）及び（ｂ）は、イメージセンサ１１８に配設されたカラーフィルタ配列等を示す図である。

図１０（ａ）に示すようにイメージセンサ１１８に配設されたカラーフィルタ配列は、４×４個の受光セルを基本ブロックＢ（図１０（ａ）の太枠で示したブロック）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。

また、図１０（ｂ）に示すようにイメージセンサ１１８は、１マイクロレンズ１６ａ当たり３×３個の受光セルが割り付けられた単位ブロック（４種類の単位ブロックＢ１〜Ｂ４）を有しており、隣接する単位ブロックは、互いに１個の受光セル分の範囲で重複している。

図１０（ｂ）に示す４つの単位ブロックＢ１〜Ｂ４は、図５（ｂ）に示した４つの単位ブロックＢ１〜Ｂ４と同じカラーフィルタ配列になり、単位ブロックＢ１〜Ｂ４の各中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。

また、単位ブロックＢ１〜Ｂ４の各中央の受光セルの周囲の８個の受光セルのうち、各単位ブロックＢ１〜Ｂ４の４隅の４個の受光セルは、Ｇ受光セルが配置され、中央の受光セルを挟んで上下の２個の受光セルは、Ｒ受光セルが配置され、中央の受光セルを挟んで左右の２個の受光セルは、Ｂ受光セルが配置されており、周囲８個の受光セルのＲＧＢの受光セルが、周囲の方向に関して満遍なく配置されている。

上記のように本発明に係る撮像装置の第２の実施形態によれば、イメージセンサ１１８の受光セル数をＭとし、イメージセンサから得られる広角画像及び望遠画像の画素数をそれぞれＮとすると、受光セル数Ｍと画素数Ｎの比は、Ｍ：Ｎ＝４：１となり、第１の実施形態の場合の比（Ｍ：Ｎ＝９：１）よりも大きくすることができる。即ち、広角画像及び望遠画像の画素の高密度化を図ることができ、解像度を向上させることができる。

［本発明に係る撮像装置の第２の実施形態の第１の変形例］
図１１（ａ）及び（ｂ）は、それぞれ第２の実施形態の第１の変形例を示す図であり、特に第２の実施形態の第１の変形例は、イメージセンサのカラーフィルタ配列が第２の実施形態と相違する。

図１１（ａ）に示すイメージセンサ２１８は、４×４個の受光セルを基本ブロックＢ（図１１（ａ）の太枠で示したブロック）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。

第２の実施形態の第１の変形例は、図１１（ａ）に示すように基本ブロックＢ内に２×２個のＧ受光セルが２組存在しており、Ｇのカラーフィルタの製造工程がシンプルになり、かつ混信を低減することができる。

また、図１１（ｂ）に示すようにイメージセンサ２１８は、１マイクロレンズ１６ａ当たり３×３個の受光セルが割り付けられた単位ブロック（４種類の単位ブロックＢ１〜Ｂ４）を有しており、隣接する単位ブロックは、互いに１個の受光セル分の範囲で重複している。

図１１（ｂ）に示すように４つの単位ブロックＢ１〜Ｂ４の周囲８個の受光セルは、いずれも２個のＲ受光セル、４個のＧ受光セル、及び２個のＢ受光セルを有している。また、中心がＧ受光セルの単位ブロックＢ１、Ｂ４は、Ｒ受光セル、Ｂ受光セルの配置が異なる２パターンある。

［本発明に係る撮像装置の第２の実施形態の第２の変形例］
図１２（ａ）及び（ｂ）は、それぞれ第２の実施形態の第２の変形例を示す図であり、特に第２の実施形態の第２の変形例は、イメージセンサのカラーフィルタ配列が前述の実施形態と相違する。

図１２（ａ）に示すイメージセンサ３１８は、４×４個の受光セルを基本ブロックＢ（図１２（ａ）の太枠で示したブロック）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。

第２の実施形態の第２の変形例は、図１２（ａ）に示すように基本ブロックＢ内に２×２個のＲ受光セルが１組、２×２個のＧ受光セルが２組、及び２×２個のＢ受光セルが１組存在しており、ＲＧＢのカラーフィルタの製造工程が最もシンプルになり、かつ混信を最も低減することができる。

また、図１２（ｂ）に示すようにイメージセンサ３１８は、１マイクロレンズ１６ａ当たり３×３個の受光セルが割り付けられた単位ブロック（４種類の単位ブロックＢ１〜Ｂ４）を有しており、隣接する単位ブロックは、互いに１個の受光セル分の範囲で重複している。

図１２（ｂ）に示すように４つの単位ブロックＢ１〜Ｂ４のうちの中心がＧ受光セルの単位ブロックＢ１、Ｂ４の周囲８個の受光セルは、２個のＲ受光セル、４個のＧ受光セル、及び２個のＢ受光セルを有し、中心がＲ受光セルの単位ブロックＢ２の周囲８個の受光セルは、３個のＲ受光セル、４個のＧ受光セル、及び１個のＢ受光セルを有し、中心がＢ受光セルの単位ブロックＢ３の周囲８個の受光セルは、１個のＲ受光セル、４個のＧ受光セル、及び３個のＢ受光セルを有し、ＲＧＢの受光セルの色バランスは、第２実施形態の第１の変形例よりも低い。

［本発明に係る撮像装置の第２の実施形態の第３の変形例］
図１３（ａ）及び（ｂ）は、それぞれ第２の実施形態の第３の変形例を示す図であり、特に第２の実施形態の第３の変形例は、イメージセンサのカラーフィルタ配列が前述の実施形態と相違する。

図１３（ａ）に示すイメージセンサ４１８は、正方格子状の４×４個の受光セルを基本ブロックＢ（図１３（ａ）の太枠で示したブロック）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。

第２の実施形態の第３の変形例は、図１３（ａ）に示すように基本ブロックＢ内に２×２個のＧ受光セルが１組存在しており、Ｇのカラーフィルタの製造工程がシンプルになり、かつ混信を低減することができる。

また、図１３（ｂ）に示すようにイメージセンサ４１８は、１マイクロレンズ１６ａ当たり３×３個の受光セルが割り付けられた単位ブロック（４種類の単位ブロックＢ１〜Ｂ４）を有しており、隣接する単位ブロックは、互いに１個の受光セル分の範囲で重複している。

図１３（ｂ）に示すように４つの単位ブロックＢ１〜Ｂ４のうちの中心がＧ受光セルの単位ブロックＢ１、Ｂ４の周囲８個の受光セルは、２個のＲ受光セル、４個のＧ受光セル、及び２個のＢ受光セルを有し、中心がＲ受光セルの単位ブロックＢ２の周囲８個の受光セルは、１個のＲ受光セル、４個のＧ受光セル、及び３個のＢ受光セルを有し、中心がＢ受光セルの単位ブロックＢ３の周囲８個の受光セルは、３個のＲ受光セル、４個のＧ受光セル、及び１個のＢ受光セルを有し、ＲＧＢの受光セルの色バランスは、第２実施形態の第１の変形例よりも低い。

［本発明に係る撮像装置の第３の実施形態］
次に、本発明に係る撮像装置の第３の実施形態について、図１４を用いて説明する。尚、第３の実施形態の撮像装置は、第１、２の実施形態とは、主として多様レンズ、アレイレンズ及びイメージセンサが相違するため、以下、その相違点について説明する。

まず、多様レンズとして、図１４（ａ）に示す中央瞳像１７ａ及び環状瞳像１７ｂが得られる前述した多様レンズ１２の代わりに、図１４（ｂ）に示す中央瞳像５１７ａ及び環状瞳像５１７ｂが得られるものを使用する。図１４（ｂ）に示す中央瞳像５１７ａ及び環状瞳像５１７ｂが得られる多様レンズとしては、図３に示した多様レンズ１２のうちの環状光学系１４の一部を遮光することにより構成することができる。

即ち、環状瞳像５１７ｂに対応する環状光学系は、上下左右の四方のみに部分的な開口部を形成し、他の部分を遮光することにより構成することができる。これにより、部分的に欠落した環状瞳像５１７ｂが得られるようにする。

尚、環状光学系に対して部分的な開口部及び遮光部を形成する代わりに、中央光学系の上下左右の周辺部（環状光学系の部分的な開口部に対応する位置）のみに、環状光学系と同じ特性の４つの光学系を配置してもよい。

一方、アレイレンズの各マイクロレンズは、図１４（ｃ）に示すようにイメージセンサ５１８の格子状に配列された各受光セル５１８ａに対して、千鳥配置されたものとする。また、このアレイレンズの各マイクロレンズによりイメージセンサ上に結像される瞳像は、３×３個の受光セルに入射するようにする。

この環状瞳像５１７ｂは、隣接する中央瞳像５１７ａと重なる部分が欠落しているため、中央瞳像５１７ａと環状瞳像５１７ｂとがイメージセンサ５１８上で重なることがない。

その一方、アレイレンズの各マイクロレンズは、千鳥状に密に配置することができ、アレイレンズの１マイクロレンズ当たりに割り付けるイメージセンサの受光セルの割付数を、第２の実施形態よりも少なくすることができる。即ち、イメージセンサの受光セル数をＭとし、イメージセンサから得られる広角画像及び望遠画像の画素数をそれぞれＮとすると、受光セル数Ｍと画素数Ｎの比は、Ｍ：Ｎ＝２：１となる。

図１４（ｄ）は、イメージセンサ５１８に配設されたカラーフィルタ配列を示す図である。

図１４（ｄ）に示すようにイメージセンサ５１８に配設されたカラーフィルタ配列は、４×４個の受光セルを基本ブロックＢ（図１４（ｄ）の太枠で示したブロック）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。

また、同図において、太枠で示した受光セルが、１マイクロレンズに対応する３×３個の受光セルの中央の受光セルに対応する。

千鳥配置されたアレイレンズの各マイクロレンズに対応する３×３個の受光セルの中央の受光セルのグループの画像は、ＲＧＢの受光セルが千鳥配置されたモザイク画像となる。本例の場合、ＲＧＢの受光セルが千鳥配置されるモザイク画像は、水平方向にＧ受光セルが連続するＧラインと、Ｂ受光セルとＲ受光セルとが交互に配置されたＢＲラインとが交互に配列される。

一方、３×３個の受光セルの中央の受光セルを挟む上下左右の４個の受光セルは、ＲＧＢの受光セルを含む。即ち、中央のＧ受光セルを挟む上下の受光セルは、Ｇ受光セルであり、中央のＧ受光セルを挟む左右の受光セルは、Ｒ受光セルとＢ受光セルである。また、Ｒ又はＢの中央の受光セルを挟む上下の受光セルは、Ｒ受光セルとＢ受光セルであり、中央のＲ又はＢ受光セルを挟む左右の受光セルは、Ｇ受光セルである。

即ち、上下左右の四方のみに部分的な開口部が形成された環状瞳像５１７ｂ（図１４（ｂ））に対応する４個の受光セルは、ＲＧＢの受光セルが満遍なく割り付けられ、１個のＲ受光セル、２個のＧ受光セル、１個のＢ受光セルを有している。

これにより、望遠画像を生成する場合に、１マイクロレンズに対応する５個の受光セルのうちの中央の受光セルを挟む上下左右の４個の受光セルから、全ての波長域の画素信号を得ることができる。

［本発明に係る撮像装置の第４の実施形態］
次に、本発明に係る撮像装置の第４の実施形態について、図１５及び図１６を用いて説明する。尚、第４の実施形態の撮像装置は、第１、２、３の実施形態とは、主として多様レンズ、アレイレンズ及びイメージセンサが相違するため、以下、その相違点について説明する。

まず、多様レンズとして、図１５（ａ）に示す中央瞳像１７ａ及び環状瞳像１７ｂが得られる多様レンズ１２の代わりに、図１５（ｂ）に示す中央瞳像６１７ａ及び環状瞳像６１７ｂ、６１７ｃが得られるものを使用する。

この場合、同心円状に分割された中央光学系及び環状光学系からなる多様レンズのうちの環状光学系は、中央瞳像６１７ａに対応する中央光学系を中心に、６０度ずつ方向が異なる六方のみに部分的な開口部が形成され、かつ１２０度三方の環状瞳像６１７ｂ及び環状瞳像６１７ｃに対応する開口部に配置された２組の光学系（第３の光学系、第４の光学系）により構成されている。

第４の実施形態では、中央瞳像６１７ａに対応する中央光学系は広角光学系であり、環状瞳像６１７ｂ及び環状瞳像６１７ｃに対応する第３の光学系及び第４の光学系は、それぞれ焦点距離が異なる２種類の望遠光学系である。

また、イメージセンサ６１８は、図１５（ｃ）に示すように受光セル６１８ａが六方格子状に配列されている。

一方、アレイレンズの各マイクロレンズは、図１５（ｃ）に示すようにイメージセンサ６１８の六方格子状に配列された各受光セル６１８ａに対して、千鳥配置されたものであり、水平方向に１つ置きに配置され、垂直方向に２つ置きに配置されているものとする。

そして、アレイレンズの各マイクロレンズによりイメージセンサ６１８上にそれぞれ結像される中央瞳像６１７ａは、各マイクロレンズの中心位置に対応する１つの受光セルに入射し、環状瞳像６１７ｂ（第１の環状瞳像）及び環状瞳像６１７ｃ（第２の環状瞳像）は、それぞれ各マイクロレンズの中心位置に対応する１つの受光セルの周囲の６個の受光セル（１２０度三方に位置する３個×２の受光セル）に入射する。

図１５（ｃ）に示すように環状瞳像６１７ｂ及び環状瞳像６１７ｃは、それぞれ隣接する環状瞳像６１７ｂ及び環状瞳像６１７ｃとイメージセンサ６１８上で重なるが、環状瞳像６１７ｂと環状瞳像６１７ｃとが重なることはない。

イメージセンサ６１８の受光セル数をＭとし、イメージセンサ６１８から得られる広角画像、焦点距離が異なる２つの望遠画像の画素数をそれぞれＮとすると、受光セル数Ｍと画素数Ｎの比は、Ｍ：Ｎ＝３：１となる。

尚、第４の実施形態では、環状瞳像６１７ｂ及び環状瞳像６１７ｃに対応する第３の光学系及び第４の光学系は、それぞれ焦点距離が異なる２種類の望遠光学系であるが、これに限らず、例えば、撮影距離（ピント位置）が異なる２つの望遠光学系であってもよい。

図１６（ａ）〜（ｆ）は、それぞれイメージセンサ６１８に配設されるカラーフィルタ配列を示す図である。

図１６（ａ）に示すカラーフィルタ配列は、左上に示した９個の受光セルを基本ブロックとし、基本ブロックが水平方向及び垂直方向に繰り返し配置されて構成されている。

また、同図において、太枠で示した受光セルが、１マイクロレンズに対応する７個の受光セル（１つの中央の受光セルと周囲の６個の受光セル）のうちの中央の受光セルに対応する。

千鳥配置されたアレイレンズの各マイクロレンズに対応する７個の受光セルの中央の受光セルのグループの画像は、ＲＧＢの受光セルが千鳥配置されたモザイク画像となり、水平方向の各ライン上にＲＧＢの受光セルを含んでいる。

一方、中央の受光セルの周囲６個の受光セルのうちの、１２０度三方の環状瞳像６１７ｂに対応する１２０度三方に位置する３個の受光セルには、それぞれＲＧＢの受光セルが１個ずつ割り付けられ、同様に１２０度三方の環状瞳像６１７ｃに対応する１２０度三方に位置する３個の受光セルも、それぞれＲＧＢの受光セルが１個ずつ割り付けられている。

これにより、２つの望遠画像をそれぞれ生成する場合に、１マイクロレンズに対応する７個の受光セルのうちの周囲６個の受光セルから、全ての波長域の画素信号を得ることができる。

尚、図１６（ｂ）〜（ｆ）に示すカラーフィルタ配列も、それぞれ上記図１６（ａ）に示したカラーフィルタ配列と同様に、１マイクロレンズに対応する７個の受光セルのうちの周囲６個の受光セルから、全ての波長域の画素信号を２組得ることができる。

［撮影光学系の第２の実施形態］
図１７は、撮像装置１０（撮像モジュール１１）に適用可能な多様レンズの第２の実施形態を示す断面図である。

この多様レンズ１１２は、それぞれ同一の光軸上に配置された中央部の中央光学系１１３とその周辺部の環状光学系１１４とから構成されている。

中央光学系１１３は、第１レンズ１１３ａ、第２レンズ１１３ｂ、及び共通レンズ１１５から構成された望遠光学系であり、画角αを有している。

環状光学系１１４は、レンズ１１４ａ及び共通レンズ１１５から構成された広角光学系であり、画角β（β＞α）を有し、中央光学系１１３よりも広角である。

この多様レンズ１１２は、図３に示した多様レンズ１２と比較すると、反射ミラーを使用しておらず、また、中央光学系１１３が望遠光学系であり、環状光学系１１４が広角光学系である点で相違する。

撮像装置１０の他の実施形態としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

＜スマートフォンの構成＞
図１８は、撮像装置１０の他の実施形態であるスマートフォン５００の外観を示すものである。図１８に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１９は、図１８に示したスマートフォン５００の構成を示すブロック図である。図１９に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。

操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図１８に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１８に示すように、例えば、スピーカ５３１及びマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部５４１に前述した撮像装置１０（又は撮像モジュール１１）を適用することができる。メカ的な切り替え機構等を必要とせずに、広角画像と望遠画像とを撮影することができ、スマートフォン５００のように薄型の携帯端末に組み込むカメラ部として好適である。

また、カメラ部５４１は、主制御部５０１の制御により、撮影によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１８に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

［その他］
本実施形態では、同時に撮像される特性の異なる複数の画像のうちの少なくとも１つの画像を生成するための波長域別の画素として、ＲＧＢの３色の受光セルを１マイクロレンズ毎に割り付けるようにしたが、複数波長から１出力を得るカラーイメージセンサには、３色（ＲＧＢなど）のカラーイメージセンサの他に２色のカラーイメージセンサもあるため、２色の受光セルを１マイクロレンズ毎に割り付けるようにしてもよい。

３色よりも識別数は少なくなるが、構成が簡便になるため、用途によっては２色で十分なケースもあり、この場合、２つの波長域別の色信号（色情報)から１種の画像出力を得ることになる。

よって、本発明の最小の構成は、Ｙ個（Ｙ＝３）の画素に対して、１つのマイクロレンズを割り付け、更に１つ目のグループにＸ個（Ｘ＝２）のセンシングする波長域の異なる受光セルを割り付けて２種の波長を検出（２色センシング）し、２つ目のグループに１個の受光セルを割り付けて１種の波長を検出する構成になる。これにより、１つ目のグループ（２色センシング）の実効的なデータサンプリング数をマイクロレンズの数と等しくすることができ、２つ目のグループのサンプリング数もマイクロレンズの数と等しくすることができる。

また、１つの画像を生成するための波長域別の画素信号を出力する受光セルとして、ＲＧＢの受光セルの何れかの受光セルの代わりに、又はＲＧＢの受光セルに加えて、透明（ホワイト）、エメラルド色等の他の色に対応する色フィルタを有する受光セルを割り付けるようにしてもよい。更に、可視光をカットして赤外光のみを透過させるフィルタを有する受光セルを割り付けるようにしてもよく、これによれば、赤外画像を取得することができる。

また、本実施形態の多様レンズは、中央光学系及び環状光学系のうちの一方を広角光学系、他方を望遠光学系としたが、これに限らず、例えば、合焦距離が異なる２種類の光学系、空間周波数特性（ボケ味）が異なる２種類の光学系等、種々の光学系の適用が考えられる。

更に、本実施形態では、多様レンズとして、複数の特性が異なる光学系が同心円分割されたものを使用したが、これに限らず、上下４分割、あるいは上下左右の４分割された撮像光学系でもよい。

また、図３に示した多様レンズ１２の反射ミラー型のレンズ構成のうちの反射ミラーは、凹面鏡や凸面鏡に限らず、平面鏡でもよく、また、反射ミラーの枚数も２枚に限らず、３枚以上設けるようにしてもよい。

更にまた、中央光学系及び環状光学系の共通レンズ、又はイメージセンサを光軸方向に移動させる移動機構を設け、これにより焦点調節を行うようにしてもよい。

また、本実施形態では、瞳分割手段としてアレイレンズ１６を使用したが、これに限らず、アレイレンズ１６の各マイクロレンズ１６ａの位置にピンホールを設け、各ピンホールにより多様レンズの瞳像を複数の受光セルに入射させるもの、受光セル毎に設けたマイクロレンズと遮光マスクとにより、多様レンズの特性の異なる各領域を通過した光束を、異なる受光セルに入射させるもの（例えば、特開２０１２−２５３６７０）を適用することができる。

更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１１…撮像モジュール、１２、１１２…多様レンズ（撮影光学系）、１３、１１３…中央光学系、１４、１１４…環状光学系、１６、１１６…アレイレンズ、１６ａ、１１６ａ…マイクロレンズ、１８，１１８、２１８、３１８、４１８、５１８、６１８…イメージセンサ、１８ａ、１１８ａ、５１８ａ、６１８ａ…受光セル、２４…デジタル信号処理部、４０…中央処理装置（ＣＰＵ）、Ｂ…基本ブロック、Ｂ１〜Ｂ４…単位ブロック

Claims (12)

1. 特性が異なるＸ（Ｘは２以上の整数）個の被写体像を同時に撮像し、前記Ｘ個の被写体像の少なくとも１つの被写体像に対し、複数の波長域の画素信号を出力する撮像モジュールであって、
   被写体光が入射するＸ個の領域を有し、Ｘ個の領域毎に特性が異なる被写体像を同じ像面で重ねて結像させる多様レンズと、
   前記多様レンズの瞳像を前記Ｘ個の領域毎に分割する瞳分割手段と、
   前記瞳分割手段によって分割されたＸ個の瞳像をそれぞれ受光するＸ個の受光領域に対応して配設されたＹ（ＹはＸ＋１以上の整数）個の光電変換器と、を備え、
   前記Ｘ個の受光領域のうちの少なくとも１つの受光領域には、複数の光電変換器が配設され、
   前記１つの受光領域に配設された複数の光電変換器は、前記複数の波長域の画素信号を出力し、
   前記瞳分割手段は、２次元状に配列されたマイクロレンズから構成されたアレイレンズであって、前記光電変換器の入射面側に配設され、各マイクロレンズにより前記多様レンズの瞳像を前記Ｙ個の光電変換器に入射させるアレイレンズであり、
   前記アレイレンズは、各マイクロレンズにより前記光電変換器上にそれぞれ入射させる瞳像のうち、互いに隣り合う前記瞳像の一部同士を前記光電変換器上で重複させる撮像モジュール。
2. 前記多様レンズは、中央の第１の光学系と、前記第１の光学系の周辺部に設けられ、該第１の光学系とは特性が異なる第２の光学系とからなる請求項１に記載の撮像モジュール。
3. 前記多様レンズは、前記第１の光学系及び第２の光学系のうちの一方が広角光学系であり、他方が望遠光学系である請求項２に記載の撮像モジュール。
4. 前記多様レンズの第１の光学系は円形の中央光学系であり、前記第２の光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項２又は３に記載の撮像モジュール。
5. 前記多様レンズは、中央の第１の光学系と、前記第１の光学系の周辺部に設けられ、該第１の光学系とは特性が異なる第２の光学系とからなり、
   前記瞳分割手段及び前記Ｙ個の光電変換器を単位ブロックとすると、前記単位ブロックは、格子状に配列された３×３個の光電変換器を有し、
   前記多様レンズの第１の光学系は円形の中央光学系であり、前記第２の光学系は前記中央光学系に対して同心円状に配設された環状光学系であり、
   前記第１の光学系に対応する中央瞳像は、前記単位ブロックの中央の光電変換器に入射し、
   前記第２の光学系に対応する環状瞳像は、前記単位ブロックの周囲の８個の光電変換器に入射し、
   格子状に配列された４×４個の光電変換器を基本ブロックとし、該基本ブロックが水平方向及び垂直方向に繰り返し配置されてイメージセンサが構成されている請求項１に記載の撮像モジュール。
6. 特性が異なるＸ（Ｘは２以上の整数）個の被写体像を同時に撮像し、前記Ｘ個の被写体像の少なくとも１つの被写体像に対し、複数の波長域の画素信号を出力する撮像モジュールであって、
   被写体光が入射するＸ個の領域を有し、Ｘ個の領域毎に特性が異なる被写体像を同じ像面で重ねて結像させる多様レンズと、
   前記多様レンズの瞳像を前記Ｘ個の領域毎に分割する瞳分割手段と、
   前記瞳分割手段によって分割されたＸ個の瞳像をそれぞれ受光するＸ個の受光領域に対応して配設されたＹ（ＹはＸ＋１以上の整数）個の光電変換器と、を備え、
   前記Ｘ個の受光領域のうちの少なくとも１つの受光領域には、複数の光電変換器が配設され、
   前記１つの受光領域に配設された複数の光電変換器は、前記複数の波長域の画素信号を出力し、
   前記瞳分割手段は、２次元状に配列されたマイクロレンズから構成されたアレイレンズであって、前記光電変換器の入射面側に配設され、各マイクロレンズにより前記多様レンズの瞳像を前記Ｙ個の光電変換器に入射させるアレイレンズであり、
   前記多様レンズは、中央の第１の光学系と、前記第１の光学系の周辺部に設けられ、該第１の光学系とは特性が異なる第２の光学系とからなり、
   前記多様レンズの第１の光学系は円形の中央光学系であり、前記第２の光学系は前記中央光学系に対して同心円状に配設された環状光学系であり、
   前記アレイレンズは、各マイクロレンズにより前記Ｙ個の光電変換器にそれぞれ結像させる瞳像のうち、互いに隣り合う前記環状光学系に対応する環状瞳像の一部同士を前記Ｙ個の光電変換器上で重複させるとともに、互いに隣り合う前記中央光学系に対応する中央瞳像と前記第２の光学系に対応する環状瞳像の一部とを重複させ、
   前記環状光学系は、前記中央光学系に対応する中央瞳像と重複する環状瞳像の一部に対応する部分が遮光され、又は前記中央光学系に対応する中央瞳像と重複する環状瞳像の一部に対応する部分が欠落して形成されている撮像モジュール。
7. 特性が異なるＸ（Ｘは２以上の整数）個の被写体像を同時に撮像し、前記Ｘ個の被写体像の少なくとも１つの被写体像に対し、複数の波長域の画素信号を出力する撮像モジュールであって、
   被写体光が入射するＸ個の領域を有し、Ｘ個の領域毎に特性が異なる被写体像を同じ像面で重ねて結像させる多様レンズと、
   前記多様レンズの瞳像を前記Ｘ個の領域毎に分割する瞳分割手段と、
   前記瞳分割手段によって分割されたＸ個の瞳像をそれぞれ受光するＸ個の受光領域に対応して配設されたＹ（ＹはＸ＋１以上の整数）個の光電変換器と、を備え、
   前記Ｘ個の受光領域のうちの少なくとも１つの受光領域には、複数の光電変換器が配設され、
   前記１つの受光領域に配設された複数の光電変換器は、前記複数の波長域の画素信号を出力し、
   前記瞳分割手段は、２次元状に配列されたマイクロレンズから構成されたアレイレンズであって、前記光電変換器の入射面側に配設され、各マイクロレンズにより前記多様レンズの瞳像を前記Ｙ個の光電変換器に入射させるアレイレンズであり、
   前記多様レンズは、中央の第１の光学系と、前記第１の光学系の周辺部に設けられ、該第１の光学系とは特性が異なる第２の光学系とからなり、
   前記多様レンズの第１の光学系は円形の中央光学系であり、前記第２の光学系は前記中央光学系に対して同心円状に配設された環状光学系であって、特性が異なる第３の光学系と第４の光学系とが交互に配置されてなる環状光学系であり、
   前記アレイレンズは、各マイクロレンズにより前記Ｙ個の光電変換器にそれぞれ結像させる瞳像のうち、互いに隣り合う前記環状光学系の第３の光学系に対応する第１の環状瞳像同士を前記Ｙ個の光電変換器上で重複させるとともに、互いに隣り合う前記環状光学系の第４の光学系に対応する第２の環状瞳像同士を前記Ｙ個の光電変換器上で重複させる撮像モジュール。
8. 前記光電変換器が六方格子状に配列され、
   前記瞳分割手段及び前記Ｙ個の光電変換器を単位ブロックとすると、前記単位ブロックは、１個の中央の光電変換器と周囲の６個の光電変換器とからなり、
   前記中央光学系に対応する中央瞳像は、前記中央の光電変換器に入射し、前記環状光学系の第３の光学系に対応する第１の環状瞳像は、前記周囲の６個の光電変換器のうちの前記中央の光電変換器から１２０度３方向の３個の光電変換器に入射し、前記環状光学系の第４の光学系に対応する第２の環状瞳像は、前記周囲の６個の光電変換器のうちの前記中央の光電変換器から１２０度３方向の他の３個の光電変換器に入射する請求項７に記載の撮像モジュール。
9. 前記多様レンズの中央光学系は広角光学系であり、前記環状光学系の第３の光学系及び第４の光学系はそれぞれ焦点距離の異なる望遠光学系である請求項７又は８に記載の撮像モジュール。
10. 前記多様レンズの中央光学系は広角光学系であり、前記環状光学系の第３の光学系及び第４の光学系はそれぞれ撮影距離の異なる望遠光学系である請求項７又は８に記載の撮像モジュール。
11. 前記環状光学系は、光束を２回以上反射させる反射光学系を有する請求項４から１０のいずれか１項に記載の撮像モジュール。
12. 請求項１から１１のいずれか１項に記載の撮像モジュールと、
    前記瞳分割手段及び前記Ｙ個の光電変換器を単位ブロックとすると、前記１つの単位ブロック内の光電変換器から出力される画素信号に基づいて、前記複数の波長域の情報からなる少なくとも１つの画像を構成する１画素分の画像信号を生成する画像生成部と、
    を備えた撮像装置。

Images