JP6046912B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、静止画像や動画像を撮像、記録、再生する撮像装置及びその制御方法に係わり、特に撮像装置の構成要素である撮像素子前面にマイクロレンズアレイを有する撮像装置及びその制御方法に関するものである。

従来、固体メモリ素子を有するメモリカードを記録媒体として、ＣＣＤ、ＣＭＯＳ等の固体撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の撮像装置は多く存在する。

これらの撮像装置に関する技術の一例として、固体撮像素子の前面に複数画素に対し１つの割合で並ぶマイクロレンズアレイを配置することで、撮像素子に入射する光線の入射方向の情報をも得られるような構成の撮像装置が提案されている。（例えば、非特許文献１参照）。

このような撮像装置では、各画素からの出力信号を元に通常の撮影画像を生成する以外に、撮影された画像に対して所定の画像処理を施すことで、任意の焦点距離に焦点を合わせた画像を再構築すること（リフォーカス）なども可能である。

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

しかしながら、前述のようなマイクロレンズアレイを有する撮像装置においては、以下のような問題があった。まず、撮影レンズのＦナンバーがマイクロレンズのＦナンバーよりも小さい場合、撮影レンズの焦点が合った距離にある被写体像に関しては、あるマイクロレンズを通過した像と、別のマイクロレンズを通過した像が撮像素子面でオーバーラップしてしまう。この場合、画像の再構築が叶わなくなる。逆に、撮影レンズのＦナンバーがマイクロレンズのＦナンバーよりも大きい場合、マイクロレンズを通過した、リフォーカスに有効な信号光が入射されない無駄な画素が発生してしまう。そのため、撮影レンズのＦナンバーと、マイクロレンズのＦナンバーが一致するようにマイクロレンズアレイを配置することが、最も効率的な配置となる。

しかしながら、この最も効率的な配置においては、撮影レンズや絞り等で構成される撮像光学系の開口形状が円形である場合、撮影レンズの焦点が合った距離にある被写体からの入射光に関して、次のような特徴を有する。即ち、あるマイクロレンズを通過した光線と、その隣のマイクロレンズを通過した光線が、撮像素子面では、それぞれ互いに外接する円の内側に到達することとなる。

この場合、どのマイクロレンズを通過した光線も到達しにくい領域が、撮像素子面上にできてしまうことになる。撮像素子が、画素を単純に２次元配列で並べた構成である場合、上記のような領域周辺にある画素は、その出力信号は後のリフォーカスに有効とは言えないため、いわば無駄な画素となってしまっている。

また、前述のようなマイクロレンズアレイを有する撮像装置に限らず、撮像装置には、更に以下のような問題があった。即ち、一般的な撮像装置においては、測光を行って撮像装置の絞り値やシャッター秒時を決定するためのＡＥセンサや、焦点調節を行うためのＡＦセンサを、撮像用センサとは別に有することが多い。しかしながらこれらのセンサを撮像装置内に配置することは、撮像装置にとってサイズアップ及びコストアップとなるため、近年では撮像用センサに、ＡＥセンサおよびＡＦセンサの機能を持たせることが望まれている。

しかしながら、撮像用センサの画素の一部をＡＥセンサやＡＦセンサとして撮像以外の用途に使用する場合、ＡＥセンサやＡＦセンサとして用いる画素の出力をそのまま画像用の信号として流用できればよいのであるが、画像用の信号としてそのまま使用できない。これは、実際にはＡＥセンサやＡＦセンサとして用いる画素の構成、例えば、カラーフィルタの色やマイクロレンズの形状等を、ＡＥセンサやＡＦセンサ用に最適化しなければならないからで、画像用の信号の欠落が発生してしまうことになる。

本発明は上記問題点を鑑みてなされたものであり、複数の光電変換部毎に１つのマイクロレンズが配置されたマイクロレンズアレイを有する撮像装置において、新たな構成要素を増やすことなく、撮像と撮像以外の機能とを同時に実行できるようにすることを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部を、予め決められた数ずつまとめた複数の単位領域と、前記撮影レンズと前記複数の光電変換部との間にあり、前記単位領域それぞれについて１つの第１のマイクロレンズを配置したマイクロレンズアレイとを有する撮像手段と、前記単位領域それぞれを構成する前記複数の光電変換部のうち、第１の光電変換部から出力された電気信号から、静止画像を生成する生成手段と、前記単位領域それぞれを構成する前記複数の光電変換部のうち、第２の光電変換部から出力された電気信号に基づいて、静止画像生成以外の処理を行う処理手段とを有し、前記第１の光電変換部は、前記第１のマイクロレンズにより集光された光を受光して電気信号を出力し、前記第２の光電変換部は、前記第１のマイクロレンズにより集光されていない光を受光して電気信号を出力し、前記処理手段は、前記第２の光電変換部から出力された電気信号から、表示手段に表示するライブビュー画像を生成することを特徴とする撮像装置。

本発明によれば、複数の光電変換部毎に１つのマイクロレンズが配置されたマイクロレンズアレイを有する撮像装置において、新たな構成要素を増やすことなく、撮像と撮像以外の機能とを同時に実行することができる。

本発明の実施形態にかかる撮像装置の概略構成を示すブロック図。 実施形態における撮像装置の光学系周辺の構成を示すブロック図。 第１の実施形態における撮像素子の概略構成を示す図。 第１の実施形態における撮像素子の画素配列を示す図。 実施形態の撮像装置における被写体からの光線軌跡図。 実施形態の撮像装置における異なる位置の被写体からの光線軌跡図。 実施形態の撮像装置における光線軌跡を２次元的に表した図。 第１の実施形態における駆動シーケンスを説明するフローチャート。 第２の実施形態における撮像素子の概略構成を示す図。 第２の実施形態における駆動シーケンスを説明するフローチャート。 第３の実施形態における駆動シーケンスを説明するフローチャート。 第４の実施形態における撮像素子の画素配列を示す図。 第４の実施形態における駆動シーケンスを説明するフローチャート。 第５の実施形態における駆動シーケンスを説明するフローチャート。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

＜第１の実施形態＞
図１は、本第１の実施形態における撮像装置の概略構成を示すブロック図である。図１において、１０１は撮影レンズや絞りなどの光学系、１０２はメカニカルシャッタである。撮像素子１０３は、入射光を電気信号に変換する光電変換部１０４と電気信号を増幅させる増幅回路１０５とを含み、入射光を電気信号に変換する。アナログ信号処理回路１０６は、撮像素子１０３から出力される画像信号に対してアナログ信号処理を行う。アナログ信号処理回路１０６は、相関二重サンプリングを行うＣＤＳ回路１０７、アナログ信号を増幅させる信号増幅器１０８、水平ＯＢクランプを行うクランプ回路１０９、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器１１０を含む。

タイミング信号発生回路１１１は、撮像素子１０３及びアナログ信号処理回路１０６を動作させる信号を発生する。駆動回路１１２は、光学系１０１及びメカニカルシャッタ１０２を駆動する。デジタル信号処理回路１１３は、画像データに対して必要な補正処理を行う画像補正回路１１４、画像補正回路１１４により補正処理されたデジタル信号を増幅させる信号増幅回路１１５、画像データに対し、必要な画像処理を行う画像処理回路１１６を含む。これらの構成により、デジタル信号処理回路１１３は撮影した画像データに必要なデジタル信号処理を行う。

１１７は処理された画像データを記憶する画像メモリ、１１８は撮像装置から取り外し可能な記録媒体、１１９は信号処理された画像データを記録媒体１１８に記録する記録回路である。１２０は信号処理された画像データを表示する画像表示装置、１２１は画像表示装置１２０に画像を表示する表示回路である。

システム制御部１２２は撮像装置全体を制御する。不揮発性メモリ（ＲＯＭ）１２３はシステム制御部１２２で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及び、キズアドレス等の補正データを記憶する。揮発性メモリ（ＲＡＭ）１２４は不揮発性メモリ１２３に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部１２２が撮像装置を制御する際に使用される。

ここで、上記構成を有する撮像装置における撮影動作について説明する。なお、撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１２２の動作開始時において、不揮発性メモリ１２３から必要なプログラム、制御データ及び補正データを揮発性メモリ１２４に転送して記憶しておく。これらのプログラムやデータは、システム制御部１２２が撮像装置を制御する際に使用される。また、必要に応じて、追加のプログラムやデータを不揮発性メモリ１２３から揮発性メモリ１２４に転送したり、システム制御部１２２が直接不揮発性メモリ１２３内のデータを読み出して使用したりするものとする。

まず、光学系１０１は、システム制御部１２２からの制御信号により、レンズ等の光学系１０１を駆動して、適切な明るさになるように制御された被写体像を撮像素子１０３上に結像させる。次に、メカニカルシャッタ１０２は、静止画像撮影時においては、システム制御部１２２からの制御信号により、必要な露光時間となるように撮像素子１０３の動作に合わせて撮像素子１０３を遮光するように駆動される。この時、撮像素子１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と併用して、必要な露光時間を確保してもよい。また、メカニカルシャッタ１０２は、動画像撮影時及びライブビュー駆動時においては、システム制御部１２２からの制御信号により、撮影中は常に撮像素子１０３が露光されるように、開放状態で維持される。

撮像素子１０３は、システム制御部１２２により制御されるタイミング信号発生回路１１１が発生する動作パルスを基にした駆動パルスで駆動される。光電変換部１０４において被写体像を光電変換により電気信号に変換し、増幅回路１０５において入射光量に応じて設定された増幅率のゲインを電気信号にかけ、アナログ画像信号として出力する。

撮像素子１０３から出力されたアナログの画像信号は、システム制御部１２２により制御されるタイミング信号発生回路１１１が発生する動作パルスにより、アナログ信号処理回路１０６のＣＤＳ回路１０７でクロック同期性ノイズを除去する。更に、信号増幅器１０８で入射光量に応じて設定された増幅率のゲインをかけ、クランプ回路１０９で水平ＯＢ領域の信号出力を基準電圧としてクランプし、Ａ／Ｄ変換器１１０でデジタル画像信号に変換される。

次に、アナログ信号処理回路１０６から出力されたデジタル画像信号に対して、システム制御部１２２により制御されるデジタル信号処理回路１１３において、処理を行う。まず、デジタル信号に変換された画像信号に対し、画像補正回路１１４でキズ補正、ダークシェーディング補正などの各種画像補正処理を施す。

その後、信号増幅回路１１５で入射光量に応じて設定された増幅率のゲインをかけ、画像処理回路１１６で色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等の各種画像処理を行う。また、この画像処理回路１１６では、例えば、上述した非特許文献１に開示されている方法を用いて、リフォーカス処理（撮像素子１０３から出力された電気信号を元にして、任意の距離に合焦した複数の画像を生成する処理）を行うことができる。この時、画像メモリ１１７は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。

デジタル信号処理回路１１３で信号処理された画像データや画像メモリ１１７に記憶されている画像データは、記録回路１１９において記録媒体１１８に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換され、記録媒体１１８に記録される。あるいは、デジタル信号処理回路１１３で解像度変換処理された画像データは、表示回路１２１において画像表示装置１２０に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて、画像表示装置１２０に表示されたりする。

ここで、デジタル信号処理回路１１３においては、システム制御部１２２からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ１１７や記録回路１１９に出力してもよい。また、デジタル信号処理回路１１３は、システム制御部１２２から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１２２に出力する。画像データの情報としては、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報を含む。さらに、記録回路１１９は、システム制御部１２２から要求があった場合に、記録媒体１１８の種類や空き容量等の情報をシステム制御部１２２に出力する。

次に、記録媒体１１８に画像データが記録されている場合の再生動作について説明する。システム制御部１２２からの制御信号により、記録回路１１９は記録媒体１１８から画像データを読み出す。そして、同じくシステム制御部１２２からの制御信号によりデジタル信号処理回路１１３は、読み出した画像データが圧縮画像であった場合には画像伸長処理を行い、画像メモリ１１７に記憶する。更に、画像メモリ１１７に記憶された画像データは、デジタル信号処理回路１１３で解像度変換処理を実施された後、表示回路１２１において画像表示装置１２０に適した信号に変換されて画像表示装置１２０に表示される。

図２は、本発明にかかる撮像装置の実施形態における、光学系周辺の構成を説明するブロック図である。

図２において、撮影レンズ２０１及び絞り２０４は光学系１０１を構成する。マイクロレンズアレイ２０２及びセンサアレイ２０３は、撮像素子１０３の構成要素である。また、２０５は被写体である。図２に記載されているその他の構成要素は、図１で説明したものと同じものであるため、ここでの説明は割愛する。

駆動回路１１２によりメカニカルシャッタ１０２及び絞り２０４が開いている状態において、被写体２０５の像は、撮影レンズ２０１によって撮像素子１０３上に結像される。撮像素子１０３に入射した光信号は、マイクロレンズアレイ２０２の各マイクロレンズによって更に集光され、センサアレイ２０３の各画素に入射する。なお、マイクロレンズアレイ２０２及びセンサアレイ２０３の構成については、後に図４を用いて説明する。センサアレイ２０３に入射した光信号は、各画素において光電変換され、電気信号として出力される。その後の処理については図１を用いて説明した通りである。

図３は、本実施形態における撮像装置の撮像素子１０３の概略構成を示す図である。図３（ａ）に示すように、撮像素子１０３は、複数の単位画素３０１が行列状に２次元に配置されている画素領域３０２と、周辺回路とを有している。周辺回路は垂直シフトレジスタ３０３と、読み出し回路３０４と、水平シフトレジスタ３０５と、出力アンプ３０６と、駆動信号線３０７と、垂直出力線３０８等からなる。垂直シフトレジスタ３０３からは、各行の画素毎に駆動信号線３０７を通して、駆動パルスが送出される。なお、駆動信号線３０７は、簡略化のため、各行毎に１本ずつ図示してあるが、実際には各行毎に複数の駆動信号線が接続される。また、同じ列の画素は同一の垂直出力線３０８に接続される。垂直シフトレジスタ３０３によって選択された行の画素信号は、垂直出力線３０８を通して読み出し回路３０４に出力され、水平シフトレジスタ３０５によって選択された列の画素信号から順次、出力アンプ３０６を通して出力される。なお、図３（ａ）においては、８行８列の単位画素３０１をもって画素領域３０２とする構成としたが、実際には数千行、数千列という単位で形成される。

図３（ｂ）は、図３（ａ）の単位画素３０１の構成を示す回路図である。図３（ｂ）に示すように、単位画素３０１は、フォトダイオード４０１、フローティングディフュージョン部４０２、増幅部４０３、転送スイッチ４０４、リセットスイッチ４０５、選択スイッチ４０６を含んで構成される。

フォトダイオード４０１は、単位画素３０１へ入射した光を受光し、その受光量に応じた信号電荷を生成する光電変換部として機能する。フローティングディフュージョン部４０２は、フォトダイオード４０１で生成され、転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。転送スイッチ４０４は、転送パルス信号ＰＴＸによって駆動され、フォトダイオード４０１で生成された信号電荷をフローティングディフュージョン部４０２に転送する。リセットスイッチ４０５は、リセットパルス信号ＰＲＥＳによって駆動され、フローティングディフュージョン部４０２の電位を基準電位ＶＤＤにリセットする。増幅部４０３は、ソースフォロワＭＯＳトランジスタであり、フローティングディフュージョン部４０２に保持された電荷に基づく電圧信号を増幅して、画素信号として出力する。選択スイッチ４０６は、垂直選択パルス信号ＰＳＥＬによって駆動され、増幅部４０３で増幅された画素信号を垂直出力線３０８に出力する。

図４は本実施形態における撮像素子１０３を構成するセンサアレイ２０３の画素とマイクロレンズアレイ２０２との相対的な配置を示す図であり、撮像素子１０３を被写体側から見た様子を示している。図４（ａ）において、５０１は、再構築後の画像の１画素に相当する記録画素領域（単位領域）、５０２は、記録画素領域５０１を８行８列に分割した光電変換部ごとの分割画素であり、図３で説明した単位画素３０１に相当する。

５０３は、記録画素領域５０１毎に１つずつ配置される第１のマイクロレンズ、５０４は、４つの記録画素領域５０１を跨いで配置される第２のマイクロレンズである。図４（ａ）に示すように、第２のマイクロレンズは、２行２列に配置された隣接する４つの第１のマイクロレンズから、等距離の位置に配置される。なお、第１のマイクロレンズ５０３と、第２のマイクロレンズ５０４は、それぞれセンサアレイ２０３のフォトダイオードに集光するように、それぞれの形状が定められているため、高さや曲率などは異なったものとなっている。このように異なった形状を有する第１のマイクロレンズと第２のマイクロレンズとから、マイクロレンズアレイ２０２が構成されている。

本実施形態の説明においては、図４に示すように、８ｘ８の分割画素５０２からなる記録画素領域５０１を４行４列並べたセンサアレイ２０３を用いて説明する。図４（ｂ）は１つの記録画素領域５０１を拡大した図である。後の説明のために、本実施形態では、６４個の分割画素５０２に対し、図４（ｂ）のように、それぞれａ００〜ａ７７とラベルする。

また、本第１の実施形態においては、各分割画素５０２は特定の波長域の光を通すカラーフィルタでそれぞれ覆われているが、一例として、ベイヤー配列のカラーフィルタにより覆われている。具体的には、分割画素ａ００はレッド、分割画素ａ０１はグリーン、分割画素ａ１０はグリーン、分割画素ａ１１はブルーのカラーフィルタを前面に配している。その他の画素も分割画素ａ００、ａ０１、ａ１０、ａ１１の４つの分割画素５０２の並びと同じ色の配列で、繰り返し配置されている。

図５は、本実施形態の撮像装置に様々な距離の被写体から入射する光線の軌跡を示す図である。

図５において、被写体７０１ａは、撮影レンズ２０１によってその像がマイクロレンズアレイ２０２を含む面Ａに結像される位置に配置されている被写体である。被写体７０１ａからの光線のうち、撮影レンズ２０１の最外周を通り、光軸上のマイクロレンズを介してセンサアレイ２０３に入射する光線を、実線で記す。

被写体７０１ｂは、撮影レンズ２０１から見て、被写体７０１ａよりも遠方にある被写体である。撮影レンズ２０１によって結像された被写体７０１ｂの像は、マイクロレンズアレイ２０２を含む面Ａよりも撮影レンズ２０１に近い面Ｂに結像される。被写体７０１ｂからの光線のうち、撮影レンズ２０１の最外周を通り、光軸上のマイクロレンズを介してセンサアレイ２０３に入射する光線を、破線で記す。

被写体７０１ｃは、撮影レンズ２０１から見て、被写体７０１ａよりも近方にある被写体である。撮影レンズ２０１によって結像された被写体７０１ｃの像は、マイクロレンズアレイ２０２を含む面Ａよりも撮影レンズ２０１から遠い面Ｃに結像される。被写体７０１ｃからの光線のうち、撮影レンズの最外周を通り、光軸上のマイクロレンズを介してセンサアレイ２０３に入射する光線を、一点鎖線で記す。

図５で示す各光線の軌跡が示す通り、撮影レンズ２０１から被写体７０１までの距離に応じて、センサアレイ２０３中において入射する分割画素が異なる。このことを用いて、本構成の撮像装置は、撮影後の画像信号を再構築することにより、様々な距離の被写体に焦点を合わせた画像（リフォーカス画像）を生成することを可能としている。

図６は、本実施形態の撮像装置に、異なる位置の被写体から入射する光線の軌跡を示す図である。

図６において、被写体８０１ａは、撮影レンズ２０１によってその像がマイクロレンズアレイ２０２を含む面Ａ上のマイクロレンズ８０２ａに結像される位置に配置されている被写体である。被写体８０１ａからの光線のうち、撮影レンズ２０１の最外周を通り、マイクロレンズ８０２ａを介してセンサアレイ２０３に入射する光線を、実線で記す。この光線は、センサアレイ２０３上の記録画素領域８０３ａに到達する。

被写体８０１ｂは、撮影レンズ２０１から見て、被写体８０１ａと同一距離にあり、撮影レンズ２０１によってその像がマイクロレンズアレイ２０２を含む面Ａ上のマイクロレンズ８０２ｂに結像される位置に配置されている被写体である。被写体８０１ｂからの光線のうち、撮影レンズ２０１の最外周を通りマイクロレンズ８０２ｂを介してセンサアレイ２０３に入射する光線を、破線で記す。この光線は、センサアレイ２０３上の記録画素領域８０３ｂに到達する。

本発明にかかる撮像装置の実施形態においては、センサアレイ２０３の画素を最も効率的に使用するために、レンズ特性である、撮影レンズ２０１のＦナンバーと、マイクロレンズのＦナンバーが一致するようにマイクロレンズアレイ２０２を配置している。このとき、撮影レンズ２０１の開口径をＤ、撮影レンズ２０１からマイクロレンズアレイ２０２までの距離をＦ、記録画素領域５０１の１辺の長さをｄ、マイクロレンズアレイ２０２からセンサアレイ２０３までの距離をｆとすると、以下の関係となる。
Ｄ／Ｆ＝ｄ／ｆ

このような配置の場合、被写体８０１ａからの光線のうち、撮影レンズ２０１の最外周を通りマイクロレンズ８０２ａを介してセンサアレイ２０３の記録画素領域８０３ａに入射する光線は、図６の実線が示す通り、記録画素領域８０３ａの中心からｄ／２の距離の位置に到達する。同様に、被写体８０１ｂからの光線のうち、撮影レンズ２０１の最外周を通りマイクロレンズ８０２ｂを介してセンサアレイ２０３の記録画素領域８０３ｂに入射する光線は、図６の破線が示す通り、記録画素領域８０３ｂの中心からｄ／２の距離の位置に到達する。この時、いずれの光線も各マイクロレンズに対応する記録画素領域からはみ出すことはないため、センサアレイ上で光信号がオーバーラップすることによって画像の再構築（リフォーカス）が叶わなくなることはない。

図７は、本実施形態の撮像装置において、入射光線の軌跡を２次元的に記す図である。図７において、９０２はマイクロレンズアレイ２０２中の第１のマイクロレンズ、９０３はセンサアレイ面である。

絞り２０４の中心ｐ０を通過する光線は、センサアレイ面９０３と光軸が交わる点ｐ０’に入射する。また、撮影レンズ２０１によってその像がマイクロレンズアレイ２０２を含む面に結像される位置に配置された被写体からの光線で、絞り２０４の開口部の外周辺上の点ｐ１を通過する光線は、センサアレイ面９０３上のｐ１’に入射する。同様に絞り２０４の開口部の外周辺上の別の点ｐ２、点ｐ３を通過する光線は、それぞれ、センサアレイ面９０３上の点ｐ２’、点ｐ３’に入射する。

以上のように、撮影レンズ２０１によってその像がマイクロレンズアレイ２０２を含む面に結像される位置に配置された被写体からの光線で、絞り２０４及びマイクロレンズ９０２を通過する光線は、理論上は、全て、センサアレイ面９０３上の円９０４の内側に入射し、円９０４の外側には到達しない。よって、センサアレイ面９０３上の分割画素ａ００、ａ０７、ａ７０、ａ７７には、少量の迷光やゴースト光を除くと、第１のマイクロレンズ９０２を通った光線は到達しない。

また、撮影レンズ２０１によってその像がマイクロレンズアレイ２０２を含む面に結像される位置以外の位置に配置された被写体からの光線に関しても以下のことが言える。即ち、センサアレイ面９０３上の分割画素ａ００、ａ０７、ａ７０、ａ７７が受光する、リフォーカス画像生成に有効な光線は、マイクロレンズ光軸周辺の画素と比べて少なく、後のリフォーカス処理に及ぼす影響は少ない。

つまり、記録画素領域５０１の四隅に位置する分割画素ａ００、ａ０７、ａ７０、ａ７７は、撮影レンズ２０１及びマイクロレンズアレイ２０２を含む光学系と撮像素子１０３の特性（上述したＤ、Ｆ、ｄ、ｆなど）に起因して、相対的に受光量が少ない。従ってリフォーカス処理に有効でない画素といえる。そのため、本発明においては、リフォーカス画像生成以外（即ち、静止画像生成以外）の用途に使用する。

図７において、リフォーカス画像生成以外の用途で使用する分割画素（第２の光電変換部）は灰色に表示し、有効画素として使用する分割画素（第１の光電変換部）は白色のままで表示している。

次に、図８を用いて、本発明の第１の実施形態における、リフォーカス画像生成に使用しない画素を、ライブビュー画像生成もしくは、動画像生成に用いる場合の駆動について詳細に説明する。

図８は、本発明の第１の実施形態における駆動シーケンスを説明するフローチャートである。まずライブビュー駆動スイッチが「ＯＮ」になっているかを判定する（Ｓ１０１）。「ＯＮ」になっていない場合には、ライブビュー駆動スイッチの確認を繰り返す。ライブビュー駆動スイッチが「ＯＮ」であると判定された場合には、ライブビュー駆動時の読み出し設定である、記録画素領域５０１の四隅に位置する分割画素ａ００、ａ０７、ａ７０、ａ７７のみを読み出す（Ｓ１０２）。そして、読み出した画像信号を元に、ライブビュー画像もしくは動画像を生成する（Ｓ１０３）。

その状態で、次に、レリーズスイッチ等の静止画撮影スイッチが「ＯＮ」にされたかを判定する（Ｓ１０４）。静止画撮影スイッチが「ＯＮ」にされたと判定した場合は、全ての分割画素５０２を読み出し（Ｓ１０５）、読み出した画像信号を元に、静止画像を生成し、記録する（Ｓ１０６）。この際に、任意の距離に合焦した画像を生成するリフォーカス処理を行ってもよく、その場合、記録画素領域５０１の四隅に位置する分割画素ａ００、ａ０７、ａ７０、ａ７７から読み出した画像信号は、静止画像生成に用いない。または、リフォーカス処理を行わずに、読み出した画像信号を静止画像としてそのまま記録しても良い。静止画撮影が完了したら、再びライブビュー駆動時の読み出しに戻り（Ｓ１０２）、ライブビュー撮影を再開する。

なお、上述した例では、Ｓ１０５において全ての分割画素５０２を読み出すものとして説明した。しかしながら、本発明はこれに限るものではない。例えば、Ｓ１０６においてリフォーカス処理を行って画像を生成する場合には、分割画素ａ００、ａ０７、ａ７０、ａ７７を除く分割画素から読み出しを行っても良い。

静止画撮影スイッチが「ＯＮ」にされていないと判定した場合は、続けて、ライブビュー駆動スイッチが「ＯＦＦ」になっているかを判定する（Ｓ１０７）。ライブビュー駆動スイッチが「ＯＦＦ」になっていないと判定された場合は、ライブビュー撮影を継続し（Ｓ１０２）、「ＯＦＦ」になったと判定された場合は、一連の動作を終了する。

上記の通り本第１の実施形態によれば、リフォーカス可能な静止画像と、リフォーカスを行わないライブビュー画像及び動画像を、1つの撮像素子で同時に信号蓄積し、生成することが可能になる。

＜第２の実施形態＞
次に、本発明にかかる第２の実施形態について説明する。本第２の実施形態は、リフォーカス画像生成に使用しない画素を、ライブビュー画像生成もしくは、動画像生成に用いる場合に、より高速にライブビュー画像もしくは動画像を読み出し可能とするものである。なお、本第２の実施形態における撮像装置は、撮像素子１０３の構成を除いて、上述した第１の実施形態で説明したものと同様であるため、第１の実施形態と異なる構成について以下に説明する。

図９は、本第２の実施形態における、撮像素子１０３の概略構成を示す回路図であり、第１の実施形態で図３（ａ）を参照して説明した構成の代わりに用いられる。なお、各単位画素３０１（図４に示す分割画素５０２に相当する）の構成は、図３（ｂ）で説明したものと同様である。

図９に示すように、撮像素子１０３は、複数の単位画素３０１が行列状に配置されている画素領域３０２と、周辺回路とを有している。なお、図９において、図３（ａ）の構成要素と同一の構成要素には同じ参照番号を付し、説明を省略する。スイッチ１３０１は、垂直出力線３０８ａと３０８ｃとを短絡させるスイッチ、スイッチ１３０２は、垂直出力線３０８ｂと３０８ｄとを短絡させるスイッチである。

図９においては、記録画素領域５０１が２ｘ２の４領域分、配列されている場合を示している。本第２の実施形態においては、静止画像生成のために全画素から読み出す場合においては、スイッチ１３０１及びスイッチ１３０２を開状態とすることで、全画素の信号出力を、それぞれ独立に読み出す。

一方、ライブビュー画像もしくは動画像生成のために、図７で説明した、各記録画素領域５０１の四隅に位置する分割画素ａ００、ａ０７、ａ７０、ａ７７のみを読み出す場合においては、スイッチ１３０１及びスイッチ１３０２を閉状態とする。これにより、水平方向に隣接する記録画素領域５０１の分割画素ａ００同士やａ０７同士を、読み出し回路により読み出す前に加算して読み出すことができる。そのため、分割画素ａ００、ａ０７、ａ７０、ａ７７をそれぞれ独立に読み出す場合よりも高速に読み出すことを可能としている。

なお、図９においては、水平に並ぶ２つの記録画素領域５０１における分割画素５０２を加算して読み出す構成としたが、本発明はこれに限定されず、より多くの記録画素領域５０１の分割画素５０２をまとめて加算する構成としても構わない。

また、加算する画素の組み合わせとして、垂直方向に並ぶ２つの記録画素領域５０１における分割画素５０２を読み出し回路３０４内で加算する構成を組み合わせても構わない。

図１０は、本発明の第２の実施形態における駆動シーケンスを説明するフローチャートである。まずライブビュー駆動スイッチが「ＯＮ」になっているかを判定する（Ｓ２０１）。「ＯＮ」になっていない場合には、ライブビュー駆動スイッチの確認を繰り返す。ライブビュー駆動スイッチが「ＯＮ」であると判定された場合には、ライブビュー駆動時の読み出し設定である、記録画素領域５０１の四隅に位置する分割画素ａ００、ａ０７、ａ７０、ａ７７を加算した後（Ｓ２０２）、加算した信号を読み出す（Ｓ２０３）。そして、読み出した画像信号を元に、ライブビュー画像もしくは動画像を生成する（Ｓ２０４）。

その状態で、次に、レリーズスイッチ等の静止画撮影スイッチが「ＯＮ」にされたかを判定する（Ｓ２０５）。静止画撮影スイッチが「ＯＮ」にされたと判定した場合は、全ての分割画素５０２を加算せずに読み出し（Ｓ２０６）、読み出した画像信号を元に、静止画像を生成し、記録する（Ｓ２０７）。この際に、任意の距離に合焦した画像を生成するリフォーカス処理を行ってもよく、その場合、記録画素領域５０１の四隅に位置する分割画素ａ００、ａ０７、ａ７０、ａ７７から読み出した画像信号は、静止画像生成に用いない。または、リフォーカス処理を行わずに、読み出した画像信号を静止画像としてそのまま記録しても良い。静止画撮影が完了したら、再びライブビュー駆動時の読み出しに戻り（Ｓ２０２）、ライブビュー撮影を再開する。

なお、上述した例では、Ｓ２０６において全ての分割画素５０２を読み出すものとして説明した。しかしながら、本発明はこれに限るものではない。例えば、Ｓ２０７においてリフォーカス処理を行って画像を生成する場合には、分割画素ａ００、ａ０７、ａ７０、ａ７７を除く分割画素から読み出しを行っても良い。

静止画撮影スイッチが「ＯＮ」にされていないと判定した場合は、続けて、ライブビュー駆動スイッチが「ＯＦＦ」になっているかを判定する（Ｓ２０８）。ライブビュー駆動スイッチが「ＯＦＦ」になっていないと判定された場合は、ライブビュー撮影を継続し（Ｓ２０２）、「ＯＦＦ」になったと判定された場合は、一連の動作を終了する。

上記の通り本第２の実施形態によれば、リフォーカス可能な静止画像と、リフォーカスを行わないライブビュー画像及び動画像を、１つの撮像素子で同時に信号蓄積し、生成するとともに、ライブビュー画像及び動画像を高速で読み出すことが可能になる。

＜第３の実施形態＞
次に、本発明にかかる第３の実施形態について説明する。本第３の実施形態は、リフォーカス画像生成に使用しない画素を、サムネイル画像生成に用いるものである。なお、本第３の実施形態における撮像装置は、図１〜図９を用いて説明した第１の実施形態のものと同様であるため、ここでは説明を省略する。

図１１は、本発明の第３の実施形態における駆動シーケンスを説明するフローチャートである。図１１に示す処理は、レリーズスイッチ等の静止画撮影スイッチが「ＯＮ」にされると実行される。本第３の実施形態では、まず、分割画素５０２を全て読み出す（Ｓ３０１）。続けて、デジタル信号処理回路１１３において、読み出した画素信号のうち、記録画素領域５０１の四隅に位置する分割画素ａ００、ａ０７、ａ７０、ａ７７からの出力信号を用いて、サムネイル画像を生成する（Ｓ３０２）。生成されたサムネイル画像は、画像表示装置１２１に表示し、画像記録媒体１１８に記録する（Ｓ３０３）。

次に、図４のS１０６と同様の処理により、Ｓ３０１で読み出した全ての分割画素５０２の画像信号を元に静止画像を生成して記録し（Ｓ３０５）、一連の動作を終了する。

以上の通り本第３の実施形態によれば、リフォーカス可能な静止画像と、リフォーカスを行わないサムネイル画像を、１つの撮像素子で同時に信号蓄積し、生成することが可能となる。

なお、本第３の実施形態の撮像装置の構成は、上述した構成に限定されるものではなく、例えば、第２の実施形態で説明した構成と同様に、サムネイル画像生成用の画素からの信号を、撮像素子内で加算してから出力するような構成でも構わない。

また、通常の撮像画像用の画素信号と、サムネイル画像用の画素信号を同時に読み出す構成としたが、本発明はこれに限定されず、通常画像を先に読み出した後にサムネイル画像を読み出すシーケンスとしても構わないし、その逆でも構わない。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。本第４の実施形態は、リフォーカス画像生成に使用しない画素を、ＡＥセンサとして用いるものである。なお、本第４の実施形態における撮像装置は、撮像素子１０３の構成を除いて、上述した第１の実施形態で説明したものと同様であるため、第１の実施形態と異なる構成について以下に説明する。

図１２は、本第４の実施形態における記録画素領域５０１におけるカラーフィルターの配置図であり、図４（ｂ）の代わりに用いられる。図４（ｂ）に示す配列との違いは、分割画素５０２のうち、記録画素領域５０１の四隅にある４つの分割画素ａ００、ａ０７、ａ７０、ａ７７の前面に配されたカラーフィルタを透明としていることである。これは、これらの分割画素ａ００、ａ０７、ａ７０、ａ７７をリフォーカス画像生成には用いず、被写体の輝度を求める、いわゆるＡＥセンサとして用いるためである。

図１３は、本第４の実施形態における駆動シーケンスを説明するフローチャートである。本第４の実施形態においては、まず、静止画撮影の準備を開始する静止画撮影準備スイッチＳＷ１が「ＯＮ」になっているかを判定する（Ｓ４０１）。「ＯＮ」になっていない場合には、静止画撮影準備スイッチＳＷ１の確認を繰り返す。静止画撮影準備スイッチＳＷ１が「ＯＮ」であると判定された場合には、記録画素領域５０１の四隅に位置する分割画素ａ００、ａ０７、ａ７０、ａ７７のみを読み出す（Ｓ４０２）。続けて、読み出した出力信号を元に被写体の輝度を測定する、測光を行う（Ｓ４０３）。この測光の結果をもとに、シャッター秒時や絞り値など、露光量を制御する撮影条件を決定する（Ｓ４０４）。

その状態で、次に、レリーズスイッチ等の静止画撮影スイッチＳＷ２が「ＯＮ」にされたかを判定する（Ｓ４０５）。静止画撮影スイッチＳＷ２が「ＯＮ」にされていないと判定した場合は、静止画撮影準備スイッチＳＷ１が「ＯＮ」になっているかの判定に戻る（Ｓ４０１）。

静止画撮影スイッチＳＷ２が「ＯＮ」にされたと判定した場合は、全ての分割画素５０２を読み出し（Ｓ４０６）、読み出した画像信号を元に、静止画像を生成し、記録する（Ｓ４０７）。この際に、任意の距離に合焦した画像を生成するリフォーカス処理を行ってもよく、その場合、記録画素領域５０１の四隅に位置する分割画素ａ００、ａ０７、ａ７０、ａ７７から読み出した画像信号は、静止画像生成に用いない。または、リフォーカス処理を行わずに、読み出した画像信号を静止画像としてそのまま記録しても良い。静止画撮影が完了したら、一連の動作を終了する。

上記の通り本第４の実施形態によれば、リフォーカス可能な静止画像と、被写体の輝度を検出するＡＥ信号を、１つの撮像素子で同時に信号蓄積し、生成することが可能となる。

なお、本第４の実施形態の撮像装置の構成は、上述した構成に限定されるものではなく、例えば、第２の実施形態で説明した構成と同様に、ＡＥ用の画素からの信号を、撮像素子内で加算して出力するような構成でも構わない。

また、本第４の実施形態においては、図１２を用いて説明したように、ＡＥ用画素のカラーフィルタは、透明のフィルタであるものとして説明したが、本発明はこれに限定されるものではなく、図４（ｂ）の構成と同様に色が付いていても構わない。このような構成においては、被写体の色温度を検出する光源検知も可能となる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。本第５の実施形態は、リフォーカス画像生成に使用しない画素を、ＡＦセンサとして用いるものである。なお、本第５の実施形態においては、第４の実施形態で図１２を参照して説明した記録画素領域５０２と同様に、記録画素領域５０１の四隅に位置する４つの分割画素ａ００、ａ０７、ａ７０、ａ７７のカラーフィルタを透明とする。

図１４は、本第５の実施形態における駆動シーケンスを説明するフローチャートである。本第５の実施形態においては、まず、静止画撮影の準備を開始する静止画撮影準備スイッチＳＷ１が「ＯＮ」になっているかを判定する（Ｓ５０１）。「ＯＮ」になっていない場合には、静止画撮影準備スイッチＳＷ１の確認を繰り返す。静止画撮影準備スイッチＳＷ１が「ＯＮ」であると判定された場合には、記録画素領域５０１の四隅に位置する分割画素ａ００、ａ０７、ａ７０、ａ７７のみを読み出す（Ｓ５０２）。続けて、読み出した出力信号を元に被写体までの距離を測定する、いわゆる「測距」（または、焦点状態の検出）を行う（Ｓ５０３）。具体的には、１つの第２のマイクロレンズ５０４の下にある分割画素ａ００、ａ０７、ａ７０、ａ７７は、撮影レンズに対して互いに異なる瞳領域を通過した光を受光している。そのため、これらの情報を用いると、被写体までの距離の算出（または、焦点状態の検出）を行うことが可能である。この測距（または焦点状態の検出）の結果をもとに、撮影レンズのフォーカス位置を決定する焦点調節を行う（Ｓ５０４）。

その状態で、次に、レリーズスイッチ等の静止画撮影スイッチＳＷ２が「ＯＮ」にされたかを判定する（Ｓ５０５）。静止画撮影スイッチＳＷ２が「ＯＮ」にされていないと判定した場合は、静止画撮影準備スイッチＳＷ１が「ＯＮ」になっているかの判定に戻る（Ｓ５０１）。

静止画撮影スイッチＳＷ２が「ＯＮ」にされたと判定した場合は、全ての分割画素５０２を読み出し（Ｓ５０６）、読み出した画像信号を元に、静止画像を生成し、記録する（Ｓ５０７）。この際に、任意の距離に合焦した画像を生成するリフォーカス処理を行ってもよく、その場合、記録画素領域５０１の四隅に位置する分割画素ａ００、ａ０７、ａ７０、ａ７７から読み出した画像信号は、静止画像生成に用いない。または、リフォーカス処理を行わずに、読み出した画像信号を静止画像としてそのまま記録しても良い。静止画撮影が完了したら、一連の動作を終了する。

上記の通り本第５の実施形態によれば、リフォーカス可能な静止画像と、被写体までの距離を検出するＡＦ信号を、１つの撮像素子で同時に信号蓄積し、生成することが可能となる。

以上説明したように、本発明にかかる第１から第５の実施形態によれば、記録画素領域内に静止画像生成以外（リフォーカス画像生成以外）の用途に用いる画素を配置する。これにより、新たな構成要素を増やすことなく、主となる撮像以外の様々な機能を同時に実行できる撮像装置を実現することが可能となる。

なお、図１〜図１４を用いて本発明の実施形態にかかる撮像装置の実施形態について説明してきたが、本発明はこれに限定されることはなく、様々な形態をとることが可能である。

例えば、本発明にかかる撮像装置の実施形態の画素構成においては、画素の構造をわかりやすく説明するため、１つの記録画素領域として、分割画素を８ｘ８画素並べた構成とした。しかしながら、本発明はこれに限定されるものではなく、様々な数及び形状の分割画素を有する構成としても構わない。

また、上述した第１から第５の実施形態においては、第２のマイクロレンズ５０４を有するものとしたが、第２のマイクロレンズ５０４を有さない撮像素子を用いた撮像装置にも、本発明を適用することが可能である。

また、本発明にかかる撮像装置の実施形態の画素構成においては、絞り２０４及び第１のマイクロレンズ９０２を通過し、後のリフォーカス処理に利用する光線の受光量が小さい画素をリフォーカス画像生成用途以外の用途に使用する画素とするとした。しかしながら、本発明はこれに限定されず、リフォーカス処理に利用可能だが、その光線の受光量が小さい画素及びその周辺の画素といったように、画像信号以外の特殊用途に使用する分割画素を増やすような構成としても構わない。

また、図１を用いて説明した、本発明の実施形態においては、画像の再構築などの画像処理を、撮像装置の構成要素の一つであるデジタル信号処理回路１１３で行うものとして説明した。しかしながら、必ずしもこの画像処理の実施が撮像装置の内部で行われる必要はない。具体的には、画像処理手段を、撮像装置とは別の装置、例えばＰＣ（パーソナルコンピュータ）などに設けておき、撮像装置で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにすることも可能である。

Claims (24)

1. 撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部を、予め決められた数ずつまとめた複数の単位領域と、
   前記撮影レンズと前記複数の光電変換部との間にあり、前記単位領域それぞれについて１つの第１のマイクロレンズを配置したマイクロレンズアレイと
   を有する撮像手段と、
   前記単位領域それぞれを構成する前記複数の光電変換部のうち、第１の光電変換部から出力された電気信号から、静止画像を生成する生成手段と、
   前記単位領域それぞれを構成する前記複数の光電変換部のうち、第２の光電変換部から出力された電気信号に基づいて、静止画像生成以外の処理を行う処理手段とを有し、
   前記第１の光電変換部は、前記第１のマイクロレンズにより集光された光を受光して電気信号を出力し、前記第２の光電変換部は、前記第１のマイクロレンズにより集光されていない光を受光して電気信号を出力し、
   前記処理手段は、前記第２の光電変換部から出力された電気信号から、表示手段に表示するライブビュー画像を生成することを特徴とする撮像装置。
2. 撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部を、予め決められた数ずつまとめた複数の単位領域と、
   前記撮影レンズと前記複数の光電変換部との間にあり、前記単位領域それぞれについて１つの第１のマイクロレンズを配置したマイクロレンズアレイと
   を有する撮像手段と、
   前記単位領域それぞれを構成する前記複数の光電変換部のうち、第１の光電変換部から出力された電気信号から、静止画像を生成する生成手段と、
   前記単位領域それぞれを構成する前記複数の光電変換部のうち、第２の光電変換部から出力された電気信号に基づいて、静止画像生成以外の処理を行う処理手段とを有し、
   前記第１の光電変換部は、前記第１のマイクロレンズにより集光された光を受光して電気信号を出力し、前記第２の光電変換部は、前記第１のマイクロレンズにより集光されていない光を受光して電気信号を出力し、
   前記処理手段は、前記第２の光電変換部から出力された電気信号から、動画像を生成することを特徴とする撮像装置。
3. 撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部を、予め決められた数ずつまとめた複数の単位領域と、
   前記撮影レンズと前記複数の光電変換部との間にあり、前記単位領域それぞれについて１つの第１のマイクロレンズを配置したマイクロレンズアレイと
   を有する撮像手段と、
   前記単位領域それぞれを構成する前記複数の光電変換部のうち、第１の光電変換部から出力された電気信号から、静止画像を生成する生成手段と、
   前記単位領域それぞれを構成する前記複数の光電変換部のうち、第２の光電変換部から出力された電気信号に基づいて、静止画像生成以外の処理を行う処理手段とを有し、
   前記第１の光電変換部は、前記第１のマイクロレンズにより集光された光を受光して電気信号を出力し、前記第２の光電変換部は、前記第１のマイクロレンズにより集光されていない光を受光して電気信号を出力し、
   前記処理手段は、前記第２の光電変換部から出力された電気信号から、サムネイル画像を生成することを特徴とする撮像装置。
4. 撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部を、予め決められた数ずつまとめた複数の単位領域と、
   前記撮影レンズと前記複数の光電変換部との間にあり、前記単位領域それぞれについて１つの第１のマイクロレンズを配置したマイクロレンズアレイと
   を有する撮像手段と、
   前記単位領域それぞれを構成する前記複数の光電変換部のうち、第１の光電変換部から出力された電気信号から、静止画像を生成する生成手段と、
   前記単位領域それぞれを構成する前記複数の光電変換部のうち、第２の光電変換部から出力された電気信号に基づいて、静止画像生成以外の処理を行う処理手段とを有し、
   前記第１の光電変換部は、前記第１のマイクロレンズにより集光された光を受光して電気信号を出力し、前記第２の光電変換部は、前記第１のマイクロレンズにより集光されていない光を受光して電気信号を出力し、
   前記処理手段は、前記第２の光電変換部からの電気信号に基づいて、測光を行うことを特徴とする撮像装置。
5. 撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部を、予め決められた数ずつまとめた複数の単位領域と、
   前記撮影レンズと前記複数の光電変換部との間にあり、前記単位領域それぞれについて１つの第１のマイクロレンズを配置したマイクロレンズアレイと
   を有する撮像手段と、
   前記単位領域それぞれを構成する前記複数の光電変換部のうち、第１の光電変換部から出力された電気信号から、静止画像を生成する生成手段と、
   前記単位領域それぞれを構成する前記複数の光電変換部のうち、第２の光電変換部から出力された電気信号に基づいて、静止画像生成以外の処理を行う処理手段とを有し、
   前記第１の光電変換部は、前記第１のマイクロレンズにより集光された光を受光して電気信号を出力し、前記第２の光電変換部は、前記第１のマイクロレンズにより集光されていない光を受光して電気信号を出力し、
   前記処理手段は、前記第２の光電変換部からの電気信号に基づいて、焦点調節を行うことを特徴とする撮像装置。
6. 前記第１の光電変換部を、特定の波長域の光を通すカラーフィルタでそれぞれ覆い、
   前記第２の光電変換部を、透明のフィルタで覆ったことを特徴とする請求項４または５に記載の撮像装置。
7. 隣接する複数の前記単位領域において同じ位置にある前記第２の光電変換部からの電気信号を加算して出力することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部を、予め決められた数ずつまとめた複数の単位領域と、
   前記撮影レンズと前記複数の光電変換部との間にあり、前記単位領域それぞれについて１つの第１のマイクロレンズを配置したマイクロレンズアレイと
   を有する撮像手段と、
   前記単位領域それぞれを構成する前記複数の光電変換部のうち、第１の光電変換部から出力された電気信号から、静止画像を生成する生成手段と、
   前記単位領域それぞれを構成する前記複数の光電変換部のうち、第２の光電変換部から出力された電気信号に基づいて、静止画像生成以外の処理を行う処理手段とを有し、
   前記第１の光電変換部は、前記第１のマイクロレンズにより集光された光を受光して電気信号を出力し、前記第２の光電変換部は、前記第１のマイクロレンズにより集光されていない光を受光して電気信号を出力し、
   隣接する複数の前記単位領域において同じ位置にある前記第２の光電変換部からの電気信号を加算して出力することを特徴とする撮像装置。
9. 前記第２の光電変換部は、前記単位領域において周辺の位置にあることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記単位領域の四隅にある光電変換部のうち少なくとも１つの光電変換部を、前記第２の光電変換部として用いることを特徴とする請求項９に記載の撮像装置。
11. 前記単位領域は、前記複数の光電変換部を行列状に配列して形成されていることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記マイクロレンズアレイは、前記入射した光を前記第２の光電変換部に集光するように、複数の前記第１のマイクロレンズの間にそれぞれ形成された、複数の第２のマイクロレンズを更に有することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記第２のマイクロレンズは、該第２のマイクロレンズに隣接する複数の前記第１のマイクロレンズから等距離の位置に配置されることを特徴とする請求項１２に記載の撮像装置。
14. 前記第２のマイクロレンズは、２行２列に配置された４つの前記第１のマイクロレンズから等距離の位置に配置されることを特徴とする請求項１３に記載の撮像装置。
15. 前記第１のマイクロレンズと前記第２のマイクロレンズは、互いに形状が異なることを特徴とする請求項１２乃至１４のいずれか１項に記載の撮像装置。
16. 前記第１のマイクロレンズと前記第２のマイクロレンズは、互いに高さが異なることを特徴とする請求項１５に記載の撮像装置。
17. 前記第１のマイクロレンズと前記第２のマイクロレンズは、互いに曲率が異なることを特徴とする請求項１５に記載の撮像装置。
18. 第１の光電変換部から出力された電気信号を用いて、任意の距離に合焦した静止画像を生成するリフォーカス処理を行うリフォーカス画像生成手段を更に有することを特徴とする請求項１乃至１７のいずれか１項に記載の撮像装置。
19. 撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部を、予め決められた数ずつまとめた複数の単位領域と、前記撮影レンズと前記複数の光電変換部との間にあり、前記単位領域それぞれについて１つのマイクロレンズを配置したマイクロレンズアレイとを含む撮像手段を有する撮像装置の制御方法であって、
    生成手段が、前記単位領域それぞれを構成する前記複数の光電変換部のうち、第１の光電変換部から出力された電気信号から、静止画像を生成する生成工程と、
    処理手段が、前記単位領域それぞれを構成する前記複数の光電変換部のうち、第２の光電変換部から出力された電気信号に基づいて、ライブビュー画像の生成、動画像の生成、サムネイル画像の生成、測光、焦点調節の少なくともいずれかを行う処理工程とを有し、
    前記第１の光電変換部は、前記マイクロレンズにより集光された光を受光して電気信号を出力し、前記第２の光電変換部は、前記マイクロレンズにより集光されていない光を受光して電気信号を出力し、
    前記処理工程では、前記第２の光電変換部から出力された電気信号から、表示手段に表示するライブビュー画像を生成することを特徴とする撮像装置の制御方法。
20. 撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部を、予め決められた数ずつまとめた複数の単位領域と、前記撮影レンズと前記複数の光電変換部との間にあり、前記単位領域それぞれについて１つのマイクロレンズを配置したマイクロレンズアレイとを含む撮像手段を有する撮像装置の制御方法であって、
    生成手段が、前記単位領域それぞれを構成する前記複数の光電変換部のうち、第１の光電変換部から出力された電気信号から、静止画像を生成する生成工程と、
    処理手段が、前記単位領域それぞれを構成する前記複数の光電変換部のうち、第２の光電変換部から出力された電気信号に基づいて、ライブビュー画像の生成、動画像の生成、サムネイル画像の生成、測光、焦点調節の少なくともいずれかを行う処理工程とを有し、
    前記第１の光電変換部は、前記マイクロレンズにより集光された光を受光して電気信号を出力し、前記第２の光電変換部は、前記マイクロレンズにより集光されていない光を受光して電気信号を出力し、
    前記処理工程では、前記第２の光電変換部から出力された電気信号から、動画像を生成することを特徴とする撮像装置の制御方法。
21. 撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部を、予め決められた数ずつまとめた複数の単位領域と、前記撮影レンズと前記複数の光電変換部との間にあり、前記単位領域それぞれについて１つのマイクロレンズを配置したマイクロレンズアレイとを含む撮像手段を有する撮像装置の制御方法であって、
    生成手段が、前記単位領域それぞれを構成する前記複数の光電変換部のうち、第１の光電変換部から出力された電気信号から、静止画像を生成する生成工程と、
    処理手段が、前記単位領域それぞれを構成する前記複数の光電変換部のうち、第２の光電変換部から出力された電気信号に基づいて、ライブビュー画像の生成、動画像の生成、サムネイル画像の生成、測光、焦点調節の少なくともいずれかを行う処理工程とを有し、
    前記第１の光電変換部は、前記マイクロレンズにより集光された光を受光して電気信号を出力し、前記第２の光電変換部は、前記マイクロレンズにより集光されていない光を受光して電気信号を出力し、
    前記処理工程では、前記第２の光電変換部から出力された電気信号から、サムネイル画像を生成することを特徴とする撮像装置の制御方法。
22. 撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部を、予め決められた数ずつまとめた複数の単位領域と、前記撮影レンズと前記複数の光電変換部との間にあり、前記単位領域それぞれについて１つのマイクロレンズを配置したマイクロレンズアレイとを含む撮像手段を有する撮像装置の制御方法であって、
    生成手段が、前記単位領域それぞれを構成する前記複数の光電変換部のうち、第１の光電変換部から出力された電気信号から、静止画像を生成する生成工程と、
    処理手段が、前記単位領域それぞれを構成する前記複数の光電変換部のうち、第２の光電変換部から出力された電気信号に基づいて、ライブビュー画像の生成、動画像の生成、サムネイル画像の生成、測光、焦点調節の少なくともいずれかを行う処理工程とを有し、
    前記第１の光電変換部は、前記マイクロレンズにより集光された光を受光して電気信号を出力し、前記第２の光電変換部は、前記マイクロレンズにより集光されていない光を受光して電気信号を出力し、
    前記処理工程では、前記第２の光電変換部からの電気信号に基づいて、測光を行うことを特徴とする撮像装置の制御方法。
23. 撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部を、予め決められた数ずつまとめた複数の単位領域と、前記撮影レンズと前記複数の光電変換部との間にあり、前記単位領域それぞれについて１つのマイクロレンズを配置したマイクロレンズアレイとを含む撮像手段を有する撮像装置の制御方法であって、
    生成手段が、前記単位領域それぞれを構成する前記複数の光電変換部のうち、第１の光電変換部から出力された電気信号から、静止画像を生成する生成工程と、
    処理手段が、前記単位領域それぞれを構成する前記複数の光電変換部のうち、第２の光電変換部から出力された電気信号に基づいて、ライブビュー画像の生成、動画像の生成、サムネイル画像の生成、測光、焦点調節の少なくともいずれかを行う処理工程とを有し、
    前記第１の光電変換部は、前記マイクロレンズにより集光された光を受光して電気信号を出力し、前記第２の光電変換部は、前記マイクロレンズにより集光されていない光を受光して電気信号を出力し、
    前記処理工程では、前記第２の光電変換部からの電気信号に基づいて、焦点調節を行うことを特徴とする撮像装置の制御方法。
24. 撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部を、予め決められた数ずつまとめた複数の単位領域と、前記撮影レンズと前記複数の光電変換部との間にあり、前記単位領域それぞれについて１つのマイクロレンズを配置したマイクロレンズアレイとを含む撮像手段を有する撮像装置の制御方法であって、
    生成手段が、前記単位領域それぞれを構成する前記複数の光電変換部のうち、第１の光電変換部から出力された電気信号から、静止画像を生成する生成工程と、
    処理手段が、前記単位領域それぞれを構成する前記複数の光電変換部のうち、第２の光電変換部から出力された電気信号に基づいて、ライブビュー画像の生成、動画像の生成、サムネイル画像の生成、測光、焦点調節の少なくともいずれかを行う処理工程とを有し、
    前記第１の光電変換部は、前記マイクロレンズにより集光された光を受光して電気信号を出力し、前記第２の光電変換部は、前記マイクロレンズにより集光されていない光を受光して電気信号を出力し、
    隣接する複数の前記単位領域において同じ位置にある前記第２の光電変換部からの電気信号を加算して出力することを特徴とする撮像装置の制御方法。

Images