JP5871625B2 - 撮像装置、その制御方法および撮像システム - Google Patents

Description

本発明は、静止画像や動画像を撮像、記録、再生する撮像装置、その制御方法及び撮像装置を含む撮像システムに係わり、特に撮像装置の構成要素である撮像素子前面にマイクロレンズアレイを有する撮像装置、その制御方法および当該撮像装置を含む撮像システムに関する。

従来、固体メモリ素子を有するメモリカードを記録媒体として、CCD、CMOS等の固体撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の撮像装置は多く存在する。

これらの撮像装置に関する技術の一例として、固体撮像素子の前面に複数の画素（光電変換手段）に対し１つの割合で並ぶマイクロレンズアレイを配置した構成の撮像装置が、非特許文献１などにおいて提案されている。このような構成にすることで、撮像素子に入射する光線の入射方向の情報をも得ることができる。

このような撮像装置を使用すれば、各画素からの出力信号をもとに通常の撮影画像を生成する以外に、撮影された画像に対して所定の画像処理を施して任意の焦点距離に焦点を合わせた画像を再構築することなども可能である。

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

しかしながら、前述のようなマイクロレンズアレイを有する撮像装置における撮影においては、以下のような問題があった。
近年のデジタルカメラなどの撮像装置には、撮影する被写体画像をTFT（Thin Film Transistor：薄膜トランジスタ）などの表示装置にリアルタイムに表示するライブビュー（ＬＶ）機能を有しているものがほとんどである。このＬＶ機能の目的は主に、これから撮影する画像に被写体が正しく配置されているかを確認する「構図の確認」及び、これから撮影する主被写体に焦点が合っているかを確認する「ピントの確認」である。

ところで、先に述べた先行技術の撮像装置では、撮影後に画像処理によるリフォーカスを行うことで、正しく被写体にピントが合った画像の生成が可能である。従って、ＬＶ機能による確認は、被写体のピントの確認を主な目的とせず、デフォーカス量が後にリフォーカス可能な範囲に収まっているか程度の確認で構わない。

一方、構図の確認は必要である。その際、より広い距離範囲の被写体にピントが合うようにするために、ＬＶ駆動時には被写界深度は深い方が望ましい。
しかしこれは、先行技術に係る撮像装置の、後にリフォーカス可能なカメラという目的に相反する。
この問題の対策として、メカ絞りを用いて、通常撮影時とＬＶ駆動時で、絞り系を切り替えるという方法も考えられる。しかし、メカ絞りを配置することは、部材増によるコストアップ及びサイズアップにつながるため、好ましくはない。

また、前述のようなマイクロレンズアレイを有する撮像装置における撮影においては、更に以下のような問題があった。
撮像装置が生成する画像における画素単位は、１マイクロレンズあたり１画素となる。通常の撮像素子においては１マイクロレンズあたり１画素の構成のため、生成する画像のデータ数と略同数の画素信号（光電変換信号）を読み出せばよい。しかし、本先行技術に係る撮像装置においては、１マイクロレンズあたり数十の画素(光電変換素子)を有する構成である。このため、通常の撮像装置に対して数十倍もの画素信号を読み出して加算などの処理をしてＬＶ画像の画素信号を生成しなければならない。これは、特に高スピードレートを要するＬＶ駆動においては、非常に大きな問題となる。

本発明の一観点によれば、撮影レンズで結像された光学像を電気信号へ変換する複数の光電変換手段の２次元配列を有する撮像素子と、前記撮像素子上に配設されたマイクロレンズアレイとを備え、前記マイクロレンズアレイの各々のマイクロレンズが、前記複数の光電変換手段の２次元配列を所定数の前記光電変換手段の画素ブロックで分割したときの各々の画素ブロックに対応付けられている撮像装置であって、第１のモードと、前記電気信号が読み出される前記光電変換手段が前記第１のモードとは異なる第２のモードとを選択的に設定可能なモード設定手段と、前記光電変換手段からの前記電気信号を読み出す信号読み出し手段と、前記モード設定手段によって設定されたモードに従って前記信号読み出し手段を制御し、各々の画素ブロックに含まれる前記光電変換手段のうち、前記信号読み出し手段による前記電気信号の読み出しにおいて読み出される前記光電変換手段を変更する制御手段とを備え、前記信号読み出し手段は、前記撮影レンズの中央を通る光線が到達する位置の近傍に位置する前記光電変換手段からの前記電気信号を読み出す読み出し線であって、前記撮影レンズの前記中央を通る前記光線が到達する前記位置の前記近傍に位置する前記光電変換手段からの前記電気信号のうちの少なくとも一部を混合して読み出す読み出し線を有し、前記第２のモードが設定されている場合には、前記制御手段は、前記信号読み出し手段を制御することによって、各々の画素ブロックにおいて、前記読み出し線を介して前記光電変換手段からの前記電気信号のうちの少なくとも一部を混合して読み出すことを特徴とする撮像装置が提供される。

本発明によれば、マイクロレンズアレイを有する撮像装置において、通常撮影時は被写界深度が浅くかつリフォーカス可能な画像を取得することが可能となり、ライブビュー駆動時はフレームレートが高くかつ撮影画像の構図確認が可能な被写界深度の深い画像の表示が可能となる。

本発明の第一の実施例に係る撮像装置のブロック図である。 本発明の第一の実施例に係わる撮像装置の光学系を含む撮像系を概念的に示す図である。 本発明の第一の実施形に係わる撮像装置における撮像素子の画素配列を示す図である。 図３に示す画素配列における記録画素の拡大図である。 図２の撮像系における被写体からの光線軌跡を概念的に示す図である。 本発明の第一の実施例に係わる撮像装置による通常撮影時に使用する画素の配置を示す図である。 本発明の第一の実施例に係わる撮像装置による通常撮影時の合焦範囲を概念的に示す図である。 本発明の第一の実施例に係わる撮像装置によるＬＶ時に使用する画素の配置を示す図である。 本発明の第一の実施例に係わる撮像装置によるＬＶ時の合焦範囲を概念的に示す図である。 本発明の第一の実施例に係わる撮像装置での駆動切り替え動作のフローチャートを示す図である。 本発明の第一の実施例に係わる撮像装置における撮像素子の画素読み出しの構成を模式的に示す図である。 図１１の読み出し構成を有する撮像素子の画素回路の構成を示す図である。 図１２に示す撮像素子の駆動タイミングチャートを示す図である。 本発明の第二の実施例に係わる撮像装置における撮像素子の画素読み出し構成を模式的に示す図である。 図１４の読み出し構成を有する撮像素子の画素回路の構成を示す図である。 本発明の第三の実施例に係わる撮像素子の画素回路の構成を示す図である。 図１６に示す撮像素子の駆動タイミングチャートを示す図である。 本発明の第四の実施例に係わる撮像装置における撮像素子の画素読み出し構成を模式的に示す図である。 図１８の読み出し構成を有する撮像素子の画素回路の構成を示す図である。 図１８に示す撮像素子の駆動タイミングチャートを示す図である。 図１８に示す撮像素子の駆動タイミングチャートを示す図である。 本発明の第五の実施例に係わる撮像装置における撮像素子の画素読み出し構成を模式的に示す図である。 図２２の読み出し構成を有する撮像素子の画素回路の構成を示す図である。 図２３に示す撮像素子の駆動タイミングチャートを示す図である。 図２３に示す撮像素子の駆動タイミングチャートを示す図である。

以下、図面を参照して本発明の好適な実施の形態を詳細に説明する。

図１は、本発明の第一の実施例に係わる撮像装置の構成を示すブロック図である。
図１において、１０１はレンズなどの光学系、１０２はメカニカルシャッタ（メカシャッタと図示する）、１０３は光学像を光電変換した電気信号を出力する撮像素子、１０４は撮像素子１０３において実際に入射光を電気信号に変換する光電変換部である。光電変換部１０４は光電変換手段である画素を複数二次元に配列したセンサアレイを有する。
また、１０５は撮像素子１０３において電気信号を増幅させる信号増幅回路、１０６は撮像素子１０３から出力される画像信号に対してアナログ信号処理を行うアナログ信号処理回路、１０７はアナログ信号処理回路１０６において相関二重サンプリングを行うＣＤＳ回路である。
また、１０８はアナログ信号処理回路１０６においてアナログ信号を増幅させる信号増幅器、１０９はアナログ信号処理回路１０６において水平ＯＢクランプを行うクランプ回路、１１０はアナログ信号処理回路１０６においてアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。

また、１１１は撮像素子１０３およびアナログ信号処理回路１０６を動作させる信号を発生するタイミング信号発生回路、１１２は光学系１０１、メカニカルシャッタ１０２の駆動回路、１１３は撮影した画像データに必要なデジタル信号処理を行うデジタル信号処理回路である。デジタル信号処理回路１１３において、１１４は画像データに対し必要な補正処理を行う画像補正回路、１１５はデジタル信号を増幅させる信号増幅回路、１１６は画像データに対し必要な画像処理を行う画像処理回路である。
また、１１７は信号処理された画像データを記憶する画像メモリ、１１８は撮像装置から取り外し可能な画像記録媒体（記録媒体と図示する）、１１９は信号処理された画像データを画像記録媒体１１８に記録する記録回路である。１２０は信号処理された画像データを表示する画像表示装置、１２１は画像表示装置１２０に画像を表示する表示回路である。

また、１２２は撮像装置全体を制御するシステム制御部である。１２３はシステム制御部１２２で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、および、キズアドレス等の補正データを記憶しておく不揮発性メモリ（ＲＯＭ）である。１２４は不揮発性メモリ１２３に記憶されたプログラム、制御データおよび補正データを転送して記憶しておき、システム制御部１２２が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）である。
また、１２５が、ＩＳＯ感度設定などの撮影条件設定や、静止画撮影（第一の撮影モード）とライブビュー駆動(第二の撮影モード)の切り替えなどを行う、撮影モード設定手段である。

以下、上述のように構成された撮像装置の撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１２２の動作開始時において、不揮発性メモリ１２３から必要なプログラム、制御データおよび補正データを揮発性メモリ１２４に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部１２２が撮像装置を制御する際に使用する。また、必要に応じて、追加のプログラムやデータを不揮発性メモリ１２３から揮発性メモリ１２４に転送したり、システム制御部１２２が直接不揮発性メモリ１２３内のデータを読み出して使用したりするものとする。

まず、光学系１０１は、システム制御部１２２からの制御信号により、レンズ等の光学系１０１を駆動して、適切な明るさに設定された被写体像を撮像素子１０３上に結像させる。次に、メカニカルシャッタ１０２は、静止画像撮影時においては、システム制御部１２２からの制御信号により、必要な露光時間となるように撮像素子１０３の動作に合わせて撮像素子１０３を遮光するように駆動される。この時、撮像素子１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と併用して、必要な露光時間を確保してもよい。またメカニカルシャッタ１０２は、動画像撮影時及びＬＶ駆動時においては、システム制御部１２２からの制御信号により、撮影中は常に撮像素子１０３が露光されているように、開放状態で維持される。

なお、本発明にかかる撮像装置においては、後述するように、ＬＶ駆動時には使用する画素数を少なくする。このため、通常撮影時とＬＶ駆動時では、適正露光量とするための光学系の設定条件は異なるように設定される。もしくは、撮像素子１０３内の増幅回路１０５、アナログ信号処理回路１０６内のＰＧＡ回路１０８、デジタル信号処理回路内１１３の信号増幅回路１１５等で画像信号にゲインをかけることで、適切な信号量とするものとする。即ち、ＬＶ駆動時に使用する画素の数に応じてゲインを変更して切り替える。

撮像素子１０３は、システム制御部１２２により制御されるタイミング信号発生回路１１１が発生する動作パルスをもとにした駆動パルスで駆動される。この駆動制御により、光電変換部１０４から光電変換信号が読み出される。これらは、撮像素子の信号読み出し手段を構成する。光電変換部１０４は被写体像を光電変換により電気信号に変換し、信号増幅回路１０５は入射光量に応じて設定された増幅率のゲインを光電変換部１０４からの電気信号にかけ、アナログ画像信号として出力する。

撮像素子１０３から出力されたアナログの画像信号は、システム制御部１２２により制御されるタイミング信号発生回路１１１が発生する動作パルスにより、アナログ信号処理回路１０６による信号処理を受ける。まず、ＣＤＳ回路１０７でクロック同期性ノイズが除去され、PGA回路１０８で入射光量に応じて設定された増幅率のゲインをかけられ、クランプ回路１０９で水平ＯＢ領域の信号出力を基準電圧としてクランプされ、Ａ／Ｄ変換器１１０でデジタル画像信号に変換される。

次に、アナログ信号処理回路１０６から出力されたデジタル画像信号に対して、システム制御部１２２により制御されるデジタル信号処理回路１１３が、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。まず画像補正回路１１４でキズ補正、ダークシェーディング補正などの各種画像補正処理を施す。次いで、信号増幅回路１１５で入射光量に応じて設定された増幅率のゲインをかけ、画像処理回路１１６で色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等の各種画像処理を行う。先に述べたリフォーカス処理も、この画像処理回路１１６で行う。

画像メモリ１１７は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。デジタル信号処理回路１１３で信号処理された画像データや画像メモリ１１７に記憶されている画像データは、記録回路１１９において画像記録媒体１１８に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換されて画像記録媒体１１８に記録される。あるいは、デジタル信号処理回路１１３で解像度変換処理を実施された後、表示回路１２１において画像表示装置１２０に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置１２０に表示される。

ここで、デジタル信号処理回路１１３においては、システム制御部１２２からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ１１７や記録回路１１９に出力してもよい。また、デジタル信号処理回路１１３は、システム制御部１２２から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１２２に出力する。例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報がシステム制御部１２２に出力される。さらに、記録回路１１９は、システム制御部１２２から要求があった場合に、画像記録媒体１１８の種類や空き容量等の情報をシステム制御部１２２に出力する。

さらに、画像記録媒体１１８に画像データが記録されている場合の再生動作について説明する。

システム制御部１２２からの制御信号により記録回路１１９は、画像記録媒体１１８から画像データを読み出す。同じくシステム制御部１２２からの制御信号によりデジタル信号処理回路１１３は、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ１１７に記憶する。画像メモリ１１７に記憶されている画像データは、デジタル信号処理回路１１３で解像度変換処理を実施された後、表示回路１２１において画像表示装置１２０に適した信号に変換されて画像表示装置１２０に表示される。

図２は、本発明にかかる撮像装置の実施形態における、光学系周辺を説明するブロック図である。
図２において、２０１は撮影レンズ、２０２は撮像素子１０３と撮影レンズ２０１との間に配設されたマイクロレンズアレイ、２０３は同じく撮像素子１０３の構成要素であるセンサアレイであり、上述した画素(光電変換手段)の二次元配列である。２０４は被写体である。図２に記載されているその他の構成要素は、図１で説明したものと同じものであるため、説明は割愛する。

以下、本発明にかかる撮像装置の実施例における撮像動作について、図２を用いて説明する。

駆動回路１１２によりメカシャッタ１０２が開いている状態において、被写体２０４の光学像は、撮影レンズ２０１によって撮像素子１０３に結像される。撮像素子１０３に入射された光信号は、マイクロレンズアレイ２０２の各マイクロレンズによって更に集光され、センサアレイ２０３の各画素に入射される。なお、マイクロレンズアレイ２０２及びセンサアレイ２０３の構成については、後に図３を用いて説明する。センサアレイ２０３に入射された光信号は、各画素において光電変換され、電気信号として出力される。その後の処理については図１を用いて説明した通りである。

図３は本発明の実施形態における撮像素子の画素配列を説明する配置図である。
図３は、撮像素子１０３を被写体側から見た図である。３０１は、再構築後の画像の１画素に相当する単位画素である記録画素であり、本実施例では記録画素３０１は６行６列の光電変換手段を含むものとする。この場合、各光電変換手段を分割画素３０２と呼ぶ。３０３は記録画素３０１毎に１つずつ配置されるマイクロレンズである。即ち、記録画素を、光電変換手段の二次元配列である画素ブロックとすると、マイクロレンズアレイの各マイクロレンズは一つの画素ブロックの複数の光電変換手段と対応付けられている。

本実施例の説明においては、便宜的に、図３に示す６ｘ６（所定数）の分割画素からなる記録画素（画素ブロック）を５行５列並べたセンサアレイ２０３を用いて撮像装置の動作を説明する。

図４は記録画素３０１を拡大した図である。

図３で説明した通り、記録画素(画素ブロック)３０１は分割画素３０２の６ｘ６の二次元に並べた画素配列て構成されている。後の説明のために、本実施例では、３６個の分割画素に対し、それぞれ図４のように、ａ１１〜ａ６６と名付けることとする。

図５は、本実施例に係わる撮像装置の撮像系に様々な距離の被写体から入射する光線の軌跡を概念的に示す図である。

被写体５０１ａは、撮影レンズ１０１によってその像がマイクロレンズアレイ２０２を含む面Ａに結像される位置に配置された被写体である。被写体５０１aからの光線のうち、撮影レンズの最外周を通り光軸上のマイクロレンズを介してセンサアレイ２０３に入射する光線を実線で示す。

被写体５０１ｂは、撮影レンズ１０１から見て、被写体５０１ａよりも遠方にある被写体である。被写体５０１ｂの撮影レンズ１０１によって結像された像は、マイクロレンズアレイ２０２を含む面Ａよりも撮影レンズに近い面Ｂに結像される。被写体５０１ｂからの光線のうち、撮影レンズの最外周を通り光軸上のマイクロレンズを介してセンサアレイ２０３に入射する光線を破線で示記す。

被写体５０１ｃは、撮影レンズ１０１から見て、被写体５０１ａよりも近方にある被写体である。被写体５０１ｃの撮影レンズ１０１によって結像された像は、マイクロレンズアレイ２０２を含む面Ａよりも撮影レンズから遠い面Cに結像される。被写体５０１ｃからの光線のうち、撮影レンズの最外周を通り光軸上のマイクロレンズを介してセンサアレイ２０３に入射する光線を一点鎖線で示記す。

図５で示す各光線の軌跡が示す通り、撮影レンズ１０１から被写体５０１までの距離に応じて、センサアレイ２０３中において入射する分割画素が異なる。このことを用いて、本実施例の撮像装置は、撮影後の画像信号から像を再構築することにより、様々な距離の被写体に焦点を合わせた画像を生成することを可能としている。

次に、図６〜図１０を用いて、本発明にかかる撮像装置の実施形態における、通常撮影時とＬＶ駆動時の動作の違いについて説明する。

図６は、本実施例に係わる撮像装置における、通常撮影時に使用する画素の配置を示す図である。図６（a）は、図３を用いて説明したセンサアレイ２０３のレイアウト図であり、図６（ｂ）は、センサアレイ２０３の構成要素である記録画素３０１内の分割画素３０２の配置を示す図である。

図６において、通常撮影に使用する分割画素は無色のままとし、使用しない分割画素は灰色で表示することにする。但し、通常撮影においては、読み出した後に様々な焦点距離の画像に再構築可能とするために、全ての分割画素の信号が独立に読みだされ、記録されていなければならない。よって、図６に示す通常撮影時に使用する画素を示す画素配置図においては、全ての分割画素を白色のままに表示している。

図７は、本実施例に係わる撮像装置における、通常撮影時の合焦範囲を概念的に示す図である。
図７において、７０１は被写体であり、７０２は実際には存在しない絞りを疑似的に記したものである。本実施例に係わる撮像装置においては、撮影レンズのＦナンバーとマイクロレンズのＦナンバーが同じとして配置してある。この際、通常撮影時においては、６ｘ６個の分割画素全てを使用するため、撮影レンズ２０１の開口径のほぼ全域を使用することとなる。よって、疑似絞り７０２が開放状態にあるのと等価となる。

また、被写界深度ｄは、以下の（式１）、（式２）、（式３）で算出される。

ここで、ｄｆは前方被写界深度、ｄｒは後方被写界深度、δは許容錯乱円径、Ｆｎｏは絞り値、Ｌは被写体距離、ｆは撮影レンズの焦点距離である。これより、絞り値Ｆｎｏが小さいほど、被写界深度ｄは小さく（浅く）なり、絞り値Ｆｎｏが大きいほど、被写界深度ｄは大きく（深く）なる。

図８は、本実施例に係わる撮像装置における、ＬＶ駆動時（ライブビューモード）に使用する画素の配置を示す図である。図８（a）は、図３を用いて説明したセンサアレイ２０３のレイアウト図であり、図８（ｂ）は、センサアレイ２０３の構成要素である記録画素３０１に含まれる分割画素３０２の配置を示す図である。図８においても、図６と同様に、使用する分割画素は白色のままとし、使用しない分割画素は灰色に表示す。

ＬＶ撮影においては、現状の被写体の構図を明確に表示するために、被写界深度の深い画像が望ましい。また、動いている被写体にも的確に追従可能なフレームレートを達成するために、画素信号の読み出し速度が速いほうが望ましい。以上の２つの理由より、本発明では、ＬＶ駆動時には、各記録画素３０１(画素ブロック)を構成する複数の分割画素３０２のうち画素ブロック３０１のいくつかの分割画素、例えば中央付近の画素のみを読み出す駆動を行なう。

よって、ＬＶ駆動時に使用する画素の配置を示す図８においては、記録画素３０１の中央付近の２ｘ２の分割画素のみを白色に表示し、その他の分割画素は灰色に表示している。

なお、本実施例では、ＬＶ駆動時に選択する分割画素の範囲を、記録画素３０１の中央付近としたが、本発明はこれに限定されない。例えば、光シェーディング対策等により、マイクロレンズ３０３を撮影レンズの光軸と垂直方向にシフトした構成の場合には、必ずしも記録画素の中央付近が適切な選択範囲ではなくなる場合もありうる。この場合は、例えば、撮影レンズ２０１の中心及び、マイクロレンズ３０３の中心を通る光線が到達するセンサアレイ上の位置を中心に、複数の分割画素を選択するような構成としてもよい。

図９は、本実施例に係わる撮像装置におけるＬＶ撮影時の合焦範囲を概念的に示す図である。

ＬＶ撮影時においては、６ｘ６個の分割画素のうち、記録画素３０１の中央付近の２ｘ２画素を使用する。すなわち、撮影レンズ２０１を通る光線のうち、光軸中心付近の一部を通過する光線のみを使用することとなる。よって、ＬＶ駆動時は、図９に示すように、疑似絞り７０２が絞られている状態にあるのと等価となる。このＬＶ駆動時の状態は、図７を用いて説明した通常撮影時と比較して、（式２）および（式３）の絞り値Ｆｎｏが大きい状態となっている。これより、ライブビュー駆動時は、通常撮影時と比べ被写界深度が深い状態となっており、より広い範囲の被写体を合焦状態でリアルタイムで確認することを可能としている。

図１０は本実施例に係わる撮像装置における駆動切り替え動作のフローチャートである。

本撮像装置においては、まずＬＶ駆動スイッチが「ＯＮ」になっているかを判定する（Ｓ１００１）。「ＯＮ」になっていない場合には、ＬＶ駆動スイッチの確認を繰り返す。ＬＶ駆動スイッチが「ＯＮ」であると判定された場合には、各記録画素３０１の中央付近の２ｘ２の分割画素（ａ３３，ａ３４，ａ４３，ａ４４）のみをＬＶ駆動時の読み出し画素として設定した後（Ｓ１００２）、ＬＶ撮影を実行する（Ｓ１００３）。

その状態で次に、レリーズスイッチ等の静止画撮影スイッチが「ＯＮ」にされたかを判定する（Ｓ１００４）。静止画撮影スイッチが「ＯＮ」にされたと判定した場合は、各マイクロレンズ下の全ての分割画素を、静止画撮影時の読み出し画素として設定した後（Ｓ１００５）、静止画撮影を実行する（Ｓ１００６）。 静止画撮影が完了したら、再びＬＶ駆動時の読出し設定に戻し（Ｓ１００２）、ＬＶ撮影を再開する（Ｓ１００３）。

静止画撮影スイッチが「ＯＮ」にされていないと判定した場合は、続けて、ＬＶ駆動スイッチが「ＯＦＦ」になっているかを判定する（Ｓ１００１）。ＬＶ駆動スイッチが「ＯＦＦ」になっていないと判定された場合は、ＬＶ撮影を継続し（Ｓ１００３）、「ＯＦＦ」になったと判定された場合は、一連の動作を終了する。

次に、本実施例で設定された画素を選択的に読み出すための画素の配列構成を図１１〜図１３を用いて説明する。即ち、本実施例に係わる撮像装置における撮像素子の信号読み出し部の構成と読み出し方法について説明する。

図１１は本実施例における撮像素子の画素配列構成を模式的に示す図である。
図１１において、１１０１は分割画素（光電変換手段）３０２で光電変換された電荷を電圧に変換し出力する信号蓄積読み出し部、１１０２は信号蓄積読み出し部１１０１より出力された電気信号を出力する経路である垂直出力線である。この信号読み出し線には、隣接する列の分割画素が列方向に交互に共通に接続されている。

図１１において説明する本実施例の撮像素子は、１つの分割画素３０２に対し、１つの信号蓄積読み出し部１１０１が接続される構成とする。具体的には、分割画素３０２に入射された光信号が光電変換された電気信号は、それぞれの分割画素に対応する信号蓄積読み出し部１１０１に転送され蓄積された後、垂直出力線１１０２に読み出される。

本実施例の撮像装置においては、通常撮影時とＬＶ駆動時のどちらの駆動においても、各分割画素３０２からの信号を、それぞれ順次独立に蓄積して読み出す。

図１２は例の図１１に示す各画素を有するＣＭＯＳ撮像素子の回路構成を示す図である。
図１２に示す本実施例のＣＭＯＳ撮像素子の画素回路では、１つの分割画素３０２に１つの浮遊拡散層ＦＤ１２０６が接続される構成とする。
図１２において、撮像素子１０３の画素領域は、分割画素３０２と、１つの分割画素毎に１つづつ配置される蓄積読出部１１０１により構成されている。
分割画素３０２は、光電変換素子であるフォトダイオード１２０１、フォトダイオード１２０１の光電変換によって生成された電荷をパルスＰＴＸによって転送する転送スイッチ１２０２で構成されている。

信号蓄積読み出し部１１０１は、各分割画素３０２の各転送スイッチ１２０２によって転送された電荷を蓄積する浮遊拡散層ＦＤ１２０６、画素アンプ１２０５のゲートと接続された浮遊拡散層ＦＤ１２０６をリセットパルスＰＲＥＳによって電位ＳＶＤＤのレベルにリセットするリセットスイッチ１２０３を含む。また、浮遊拡散層ＦＤ１２０６に蓄積された電荷をソースフォロワとして増幅する画素アンプ１２０５、不図示の垂直走査回路により選択される行方向の画素を選択パルスＰＳＥＬにより選択する行選択スイッチ１２０４によって構成されている。

なお、図１２に示す画素回路の構成においては、フォトダイオード１２０１ａ，１２０１ｂ，１２０１ｃ，１２０１ｄで光電変換された電荷は、転送スイッチ１２０２ａ，１２０２ｂ，１２０２ｃ，１２０２ｄを制御することによって、それぞれ浮遊拡散層ＦＤ１２０６ａ，１２０６ｂ，１２０６ｃ，１２０６ｄに転送される構成としている。

行選択スイッチ１２０４によって選択された各行の画素の電荷は、負荷電流源１２０８にソースフォロワにより垂直出力線１２０７に出力される。そして、信号出力パルスＰＴＳにより転送ゲート１２１０がＯＮとなって転送容量ＣＴＳ１２１２に蓄積され、ノイズ出力パルスＰＴＮにより転送ゲート１２０９がＯＮとなって転送容量ＣＴＮ１２１１に蓄積される。続けてノイズ成分は、不図示の水平走査回路からの制御信号ＰＨＳ，ＰＨＮにより転送スイッチ１２１３，１２１４を介して容量ＣＨＮ１２１５に、信号成分は容量ＣＨＳ１２１６に蓄えられ、両者の差分が差動増幅器１２１７を介して画素信号として出力される。

図１３は本実施例に係わる撮像素子の駆動タイミングを示すタイミングチャートである。なお、タイミングチャートに示す各信号は、システム制御部１２２の制御に従ってタイミング信号発回路１１１などが生成して供給する。

図１３において説明する駆動タイミングは、図１２に示す画素回路において分割画素３０２それぞれの出力信号を独立に読み出す駆動タイミングである。この駆動タイミングによる信号読み出しによれば、通常撮影では、分割画素の出力信号をデジタル信号処理回路１１３において、様々な焦点距離の画像へ再構築可能な信号として利用することが可能となる。また、ＬＶ撮影では、読み出した分割画素の出力信号をデジタル信号処理回路１１３において加算することにより、構図の確認に適したなＬＶ表示用信号として利用することが可能となる。

図１３のタイミングチャートに示す駆動においては、例えば分割画素ａ３３，ａ３４，ａ４３，ａ４４の順に読み出す構成としている。

まず、ＨＢＬＫａ＋ＨＳＲａの期間に、分割画素ａ３３の信号の読出しを行う。１水平走査期間の開始を示す信号ＨＤの立下りに伴い、不図示の回路により垂直出力線１２０７は定電位にリセットされる。その後、ＰＲＥＳ信号でＭＯＳトランジスタ１２０３ａがＯＮされることにより、Ｔ１ａの期間にＭＯＳトランジスタ１２０５ａのゲートに設けられたフローティングの容量１２０６ａに蓄積された電荷が定電位ＳＶＤＤになるようにリセットされる。

続いてＰＲＥＳ信号をハイレベルとしＭＯＳトランジスタ１２０３ａをＯＦＦとした後、ＰＳＥＬ信号をハイレベルにする。これにより、ＭＯＳトランジスタ１２０５ａと負荷電流源１２０８ａで構成されたソースフォロワ回路が動作状態になり、垂直出力線１２０７ａ上にＭＯＳトランジスタ１２０５ａのフローティングゲートリセット電位に応じたノイズ出力がなされる。このＰＳＥＬがハイレベルの期間にＰＴＮａ信号をハイレベルにすることで、ノイズ成分を蓄積する蓄積容量ＣＴＮ１２１１ａが垂直出力線１２０７ａと接続され、この蓄積容量ＣＴＮ１２１１ａはノイズ成分の信号を保持することになる。

続いて行われるのは、光電変換素子で発生した光電荷とノイズ成分の混合信号の蓄積である。まず垂直出力線１２０７は、不図示の回路により、定電位にリセットされる。そののちＰＴＸａ信号がハイレベルにされ、光電変換素子１２０１ａに蓄積された光電荷がＴ３ａの期間に転送ＭＯＳトランジスタ１２０２ａのＯＮにより、ＭＯＳトランジスタ１２０５ａのフローティングゲートに転送される。その際、ＰＳＥＬ信号はハイレベルのままであるために、ソースフォロワ回路が動作状態となり、垂直出力線１２０７ａ上にＭＯＳトランジスタ１２０５ａのフローティングゲートの電位に応じた「光信号＋ノイズ信号」の出力がなされる。このＴ３ａの期間を内包する期間Ｔ４ａの間にＰＴＳａ信号をハイレベルにすることで蓄積容量ＣＴＳ１２１２ａが垂直出力線１２０７ａと接続され、この蓄積容量ＣＴＳ１２１２ａに光電荷成分＋ノイズ成分の信号が保持される。

上述のように、１行分のノイズ成分と、フォトダイオードで発生した光信号＋ノイズ成分が、それぞれＣＴＮ１２１１ａ，ＣＴＳ１２１２ａに蓄積される。

次に、ＨＳＲａの期間に、これら２信号の並びを不図示の水平シフトレジスタにより制御される制御パルスＰＨＳａ，ＰＨＮａによってそれぞれ容量ＣＨＮ１２１５，ＣＨＳ１２１６に転送する。そして容量ＣＨＮ１２１５，ＣＨＳ１２１６に蓄積されたノイズ成分と光信号＋ノイズ成分は、差動アンプ１２１７によって、（光信号＋ノイズ成分）とノイズ成分との差分、すなわち光信号となって出力される。

続けて、ＨＢＬＫｂ＋ＨＳＲｂの期間に制御信号ＰＴＸｂ、ＰＲＥＳ，ＰＳＥＬを制御し、分割画素ａ３４の信号の読出しを行う。分割画素ａ３４の信号読出しタイミングは、先に説明した分割画素ａ３３の信号読出しタイミングと同様のため、説明は割愛する。

同様に、ＨＢＬＫｃ＋ＨＳＲｃの期間に制御信号ＰＴＸｃ、ＰＲＥＳ，ＰＳＥＬを制御して分割画素ａ４３の信号の読出しを行い、ＨＢＬＫｄ＋ＨＳＲｄの期間に制御信号ＰＴＸｄ、ＰＲＥＳ，ＰＳＥＬを制御して分割画素ａ４４の信号の読出しを行う。以上により、記録画素３０１の中央付近に並ぶ２ｘ２配列の４つの分割画素ａ３３、ａ３４、ａ４３、ａ４４、の信号読出しを完了する。なお、読み出された４つの分割画素の信号は、画像処理回路１１６で加算されてＬＶ表示画像の画素信号となる。

なお、図１３を用いて説明した本実施例の画素回路の駆動タイミングでは、４つの分割画素からの出力信号を、それぞれ順番に読み出すものとして説明したが、本発明はこれに限定されない。例えば、容量ＣＴＮ１２１１、ＣＴＳ１２１２への各信号の転送(図１３の期間ＨＢＬＫａ〜ｄ)までは順次行い、４つの分割画素の信号が容量ＣＴＮ１２１１、ＣＴＳ１２１２揃った後に、あわせて水平転送を行う（図１３の期間ＨＳＲａ〜ｄ）駆動タイミングとしても構わない。

上述した本発明の第一の実施例によれば、複数のマイクロレンズのそれぞれが撮像素子の複数の光電変換手段に対応するように配された撮像装置において、ＬＶ動作において高いフレームレートでかつ被写界深度の深い画像の表示を行える。

次に、本発明の第二の実施例について説明する。なお、本発明の第二の実施例は、撮像素子の画素構成及び各分割画素の読み出し方法にその特徴があり、撮像装置の構成等は、図１〜図１０を用いて説明した第一の実施例と同様であるため、ここでの説明は割愛する。

図１４は本発明の第二の実施例に係わる撮像素子における画素の配置構成を模式的に示す図である。図１４に示す本発明の第二の実施例に係わる撮像素子の画素構成は、図１１を用いて説明した第一の実施例における撮像素子の画素構成に対して次の点で相違する。即ち、本実施例では、上下に隣接する２つの分割画素３０２ごとに垂直出力線１１０２を共有することで、垂直出力線１１０２及び垂直出力線に繋がる列方向の画素回路の数を半減させている。

図１５は本実施例におけるＣＭＯＳ撮像素子の回路構成を示す図である。
図１５に示す本実施例のＣＭＯＳ撮像素子の画素回路も、１つの分割画素３０２に対し１つの浮遊拡散層ＦＤ１２０６が接続される構成とする。また、分割画素３０２及び蓄積読出部１１０１までの構成は、図１２に示す本発明の第一の実施例に係わる撮像素子の画素回路構成と同様である。

本実施例では、分割画素ａ３３からの信号と分割画素ａ４３からの信号が共に垂直出力線１２０７ａに出力され、その後に列回路に転送される。また、分割画素ａ３４からの信号と分割画素ａ４４からの信号は共に垂直出力線１２０７ｂに出力され、後段の列回路に転送される。

なお、本実施例における撮像装置の駆動タイミングは、図１３に示す本発明の第一の実施例に係わる撮像装置の駆動タイミングと同様であるため、ここでの説明は割愛する。

次に、本発明の第三の実施例を図１６，１７を用いて説明する。なお、本発明の第三の実施例に係わる撮像素子の画素回路構成は、図１２に示す第一の実施例に係わる撮像素子の画素回路構成と同様である。

図１６は本実施例に係わるＣＭＯＳ撮像素子の回路構成を示す図である。同図に示す本実施例の撮像素子の画素回路構成は、図１２に示す第二の実施例の撮像素子の画素回路構成と次の点で相違する。即ち、各列回路の容量ＣＴＮ１２１１を接続するスイッチ１２１８及び各列回路の容量ＣＴＳ１２１２を接続するスイッチ１２１９が本実施例では追加されている。これらのスイッチ１２１８及びスイッチ１２１９は、ＰＡＤＤ信号をハイレベルにすることでオンとなり、上記接続を達成する。

図１７は、本実施例に係わる撮像素子のＬＶ駆動時の駆動タイミングを示すタイミングチャートである。なお、本実施例に係わる撮像素子の通常撮影時の駆動タイミングは、図１３に示す本発明の第一の実施例に係わる撮像装置の駆動タイミングと同様のため、ここでの説明は割愛する。

図１７に示す駆動タイミングは、図１２に示す分割画素３０２それぞれの信号の一部を画素出力信号として一括で読み出す、ＬＶ駆動時の駆動タイミングである。この駆動タイミングによる信号読み出しを行う場合には、様々な焦点距離の画像への再構築ができなくなる代わりに、高速に読み出すことが可能となる。

図１７に示す駆動タイミングにおいて、４つの分割画素毎に順番に、蓄積容量ＣＴＮ１２１１ａ−ｄ、蓄積容量ＣＴＳ１２１２ａ−ｄにそれぞれ、ノイズ成分及び、光電荷成分＋ノイズ成分の信号を保持するところまでは（図１７の期間ＨＢＬＫａ〜ｄ）、図１３に示す通常撮影時の駆動タイミングと同様である。

続いて行われるのは、蓄積容量ＣＴＮ１２１１及び蓄積容量ＣＴＳ１２１２に蓄積された信号の加算処理平均である。ＨＡＤＤの期間に信号ＰＡＤＤａ−ｃをハイレベルにすることで、スイッチ１２１８ａ−ｃ及びスイッチ１２１９ａ−ｃが全てＯＮとなる。これにより、容量ＣＴＮａ、ＣＴＮｂ、ＣＴＮｃ，ＣＴＮｄに蓄積された信号が、加算平均される。また同時に、容量ＣＴＳａ、ＣＴＳｂ、ＣＴＳｃ、ＣＴＳｄに蓄積された信号も、加算平均される。その後信号ＰＡＤＤをローレベルにすることで、スイッチ１２１８及びスイッチ１２１９が全てＯＦＦとなる。これにより、各容量ＣＴＮ間の接続及び各容量ＣＴＳ間の接続が解除される。

次に、ＨＳＲの期間に、これら２信号の並びを不図示の水平シフトレジスタにより制御される制御パルスＰＨＳ，ＰＨＮによってそれぞれ容量ＣＨＮ１２１５，ＣＨＳ１２１６に転送する。そして容量ＣＨＮ１２１５，ＣＨＳ１２１６に蓄積されたノイズ成分と光信号＋ノイズ成分は、差動アンプ１２１７によって、（光信号＋ノイズ成分）とノイズ成分の差分、すなわち光信号となって出力される。これにより、２ｘ２に並ぶ４つの分割画素ａ３３、ａ３４、ａ４３、ａ４４の信号を加算平均した信号の読出しを完了する。

次に、本発明の第四の実施形態について説明する。

図１８は本発明の第四の実施例に係わる撮像素子の画素回路の構成を示す図である。図１８の示す本実施例に係わる撮像素子の画素回路の構成は、図１４に示す第二の実施例に係わる撮像素子の画素回路の構成と次の点で相違する。即ち、本実施例では、上下に隣接する２つの分割画素３０２の各組が信号蓄積読み出し部１１０１を共有している。

図１８に示す本実施例に係わる撮像装置においては、通常撮影時には、信号蓄積読み出し部部１１０１を共有する２つの分割画素３０２からの信号を、それぞれ独立に蓄積して読み出す。一方、ＬＶ駆動時には、信号蓄積読み出し部１１０１を共有する２つの分割画素３０２からの信号を、同時に蓄積読み出し部１１０１に転送することで加算蓄積して一度に読み出すことで、読み出しの高速化を行う。

図１９は、本実施例に係わるＣＭＯＳ撮像素子の回路構成を示す図である。
図１９に示す本実施例のＣＭＯＳ撮像素子は、２つの分割画素３０２に対し１つの浮遊拡散層ＦＤ１２０６が接続される構成を有する。また、個々の分割画素３０２及び信号蓄積読み出し部１１０１の構成は、図１２に示す第一の実施例の撮像素子の回路構成と同様である。

本実施例では、分割画素ａ３３からの信号と分割画素ａ４３からの信号が共に垂直出力線１２０７ａに出力され、後段の列回路に転送される。また、分割画素ａ３４からの信号と分割画素ａ４４からの信号は共に垂直出力線１２０７ｂに出力され、後段の列回路に転送される。

垂直出力線１２０７に出力された信号は、信号出力パルスＰＴＳにより転送ゲート１２１０をＯＮすることで転送容量ＣＴＳ１２１２に蓄積し、ノイズ出力パルスＰＴＮにより転送ゲート１２０９をＯＮして転送容量ＣＴＮ１２１１に蓄積する。続けて不図示の水平走査回路からの制御信号ＰＨＳ，ＰＨＮにより転送スイッチ１２１３，１２１４を介してノイズ成分は容量ＣＨＮ１２１５に、信号成分は容量ＣＨＳ１２１６に蓄えられ、両者の差分を差動増幅器１２１７によって画素信号として出力する。

なお、図１９に示す本実施例のＣＭＯＳ撮像素子においては、図１２に示す第三の実施例のＣＭＯＳ撮像素子と同様に、各列回路の容量ＣＴＮ１２１１を接続するスイッチ１２１８及び各列回路の容量ＣＴＳ１２１２を接続するスイッチ１２１９が追加されている。スイッチ１２１８及びスイッチ１２１９は、ＰＡＤＤ信号をハイレベルにすることでオンとなり、上記接続を達成する。

図２０は本実施例に係わる第一の駆動タイミングを示すタイミングチャートである。
図２０に示す第一の駆動タイミングは、図１８に示す分割画素それぞれの分割画素出力信号を独立に読み出す、通常撮影時の駆動タイミングである。この第一の駆動タイミングによる信号読み出しを行う場合には、分割画素の出力信号をデジタル信号処理回路１１３において様々な焦点距離の画像へ再構築可能な信号として利用することが可能となる。

なお、本実施例に係わる撮像装置の第１の駆動タイミングは、図１３に示す第一の実施例に係わる撮像装置の駆動タイミングにおいて次の変形を行なったものである。即ち、図１３で信号ＰＴＳａと信号ＰＴＳｃ、信号ＰＴＳｂと信号ＰＴＳｄ、信号ＰＴＮａと信号ＰＴＮｃ、信号ＰＴＮｂと信号ＰＴＮｄ、信号ＰＨＳａ，ＰＨＮａと信号ＰＨＳｃ，ＰＨＮｃ、信号ＰＨＳｂ，ＰＨＮｂと信号ＰＨＳｄ，ＰＨＮｄが共通信号としたものである。それぞれの信号の状態遷移のタイミングは、図１３に示す第一の実施例に係わる撮像装置の駆動タイミングと同様なため、ここでの説明は割愛する。

図２１は本実施例に係わる第二の駆動タイミングを示すタイミングチャートである。
図２１に示す第二の駆動タイミングは、図１８に示す分割画素それぞれの信号を撮像画素出力信号として一括で読み出す、ＬＶ駆動時の駆動タイミングである。この第二の駆動タイミングによる信号読み出しを行う場合には、様々な焦点距離の画像への再構築ができなくなる代わりに、高速に読み出すことが可能となる。

なお、本実施例に係わる撮像装置の第二の駆動タイミングは、図１７に示す第三の実施例に係わる撮像装置の駆動タイミングにおいて次の変形を行なったものである。即ち、図１７で信号ＰＴＳａと信号ＰＴＳｃ、信号ＰＴＳｂと信号ＰＴＳｄ、信号ＰＴＮａと信号ＰＴＮｃ、信号ＰＴＮｂと信号ＰＴＮｄ、信号ＰＨＳａ，ＰＨＮａと信号ＰＨＳｃ，ＰＨＮｃ、信号ＰＨＳｂ，ＰＨＮｂと信号ＰＨＳｄ，ＰＨＮｄが共通信号としたものである。それぞれの信号の状態遷移のタイミングは、図１７に示す第三の実施例に係わる撮像装置の駆動タイミングと同様なため、ここでの説明は割愛する。

次に、本発明の第五の実施例について説明する。なお、本発明の第五の実施例は、撮像素子の画素構成及び各分割画素からの読み出し方法にその特徴があり、撮像装置の構成及び動作シーケンス等は、図１〜図１０を用いて説明した第一の実施例と同様であるため、ここでの説明は割愛する。

図２２は本実施例に係わる撮像素子の回路構成を示す図である。
図２２において、１１０１は分割画素３０２で光電変換された電荷を電圧に変換し出力する信号蓄積読み出し部信号蓄積読み出し部１１０２は信号蓄積読み出し部１１０１より出力された電気信号を出力する経路である垂直出力線である。

図２２に示す本実施例の撮像素子は、４つの分割画素３０２に対し、１つの信号蓄積読み出し部１１０１が接続される構成とする。具体的には、分割画素ａ１１、ａ１２、ａ２１、ａ２２に入射された光信号により光電変換された電気信号は、信号蓄積読み出し部ｒ１１に転送され蓄積された後、垂直出力線１１０２に出力される。同様に分割画素ａ３３、ａ３４、ａ４３、ａ４４に入射された光信号により光電変換された電気信号は、信号蓄積読み出し部ｒ２２に転送され蓄積された後、垂直出力線１１０２に出力される。

本実施例に係わる撮像装置においては、通常撮影時には、信号蓄積読み出し部１１０１を共有する４つの分割画素３０２からの信号を、それぞれ独立に蓄積して読み出す。一方、ＬＶ駆動時には、信号蓄積読み出し部１１０１を共有する４つの分割画素３０２からの信号を、同時に信号蓄積読み出し部１１０１に転送することで加算蓄積し、一度に読み出すことで、読出しの高速化を行う。

図２３は本実施例に係わるＣＭＯＳ撮像素子の回路構成を示す図である。
図２３に示す本実施例のＣＭＯＳ撮像素子は、４つの分割画素３０２に対し、１つの浮遊拡散層ＦＤ１２０６が接続される構成とする。
図２３において、撮像素子１０３の画素領域は、１記録画素毎に配置される複数の分割画素３０２と、４つの分割画素毎に配置される画素共通部１１０１により構成されている。

分割画素３０２は、光電変換素子であるフォトダイオード１２０１、フォトダイオード１２０１の光電変換によって生成された電荷をパルスＰＴＸによって転送する転送スイッチ１２０２で構成されている。

画素共通部１１０１は、各分割画素３０２の各転送スイッチ１２０２によって転送された電荷を蓄積する浮遊拡散層ＦＤ１２０６、画素アンプ１２０５のゲートと接続された浮遊拡散層ＦＤ１２０６をリセットパルスＰＲＥＳによって電位ＳＶＤＤのレベルにリセットするリセットスイッチ１２０３を有する。さらに、浮遊拡散層ＦＤ１２０６に蓄積された電荷をソースフォロワとして増幅する画素アンプ１２０５、不図示の垂直走査回路により選択される行画素を選択パルスＰＳＥＬにより選択する行選択スイッチ１２０４を有する。

なお、図２３に示す撮像素子の画素部の構成では、フォトダイオード１２０１ａ，１２０１ｂ，１２０１ｃ，１２０１ｄで光電変換された電荷は、転送スイッチ１２０２ａ，１２０２ｂ，１２０２ｃ，１２０２ｄを制御することでいずれも浮遊拡散層ＦＤ１２０６に転送されている。

行選択スイッチ１２０４によって選択された行方向の画素の電荷は、負荷電流源１２０８にソースフォロワにより垂直出力線１２０７に出力される。次いで、信号出力パルスＰＴＳにより転送ゲート１２１０がＯＮとなり転送容量ＣＴＳ１２１２に蓄積され、ノイズ出力パルスＰＴＮにより転送ゲート１２０９がＯＮされて転送容量ＣＴＮ１２１１に蓄積される。続けて不図示の水平走査回路からの制御信号ＰＨＳ，ＰＨＮにより転送スイッチ１２１３，１２１４がオンされ、ノイズ成分は容量ＣＨＮ１２１５に、信号成分は容量ＣＨＳ１２１６に蓄えられ、両者の差分が差動増幅器１２１７によって画素信号として出力される。

図２４は本実施例に係わる第一の駆動タイミングを示すタイミングチャートである。
図２４に示す第一の駆動タイミングは、図２２に示す分割画素それぞれの分割画素出力信号を独立に読み出す、通常撮影時の駆動タイミングである。この第一の駆動タイミングによる信号読み出しを行う場合には、分割画素出力信号をデジタル信号処理回路１１３において様々な焦点距離の画像へ再構築可能な信号として利用することが可能となる。

図２４のタイミングチャートによる駆動においては、例えば分割画素ａ３３，ａ３４，ａ４３，ａ４４の順に読み出す構成としている。

まず、ＨＢＬＫａ＋ＨＳＲａの期間に、分割画素ａ３３の信号の読出しを行う。１水平走査期間の開始を示す信号ＨＤの立下りに伴い、不図示の回路により垂直出力線１２０７は定電位にリセットされる。その後、ＰＲＥＳ信号でＭＯＳトランジスタ１２０３がＯＮされることにより、Ｔ１ａの期間にＭＯＳトランジスタ１２０５のゲートに設けられたフローティングの容量１２０６に蓄積された電荷が定電位ＳＶＤＤになるようにリセットされる。

続いてＰＲＥＳ信号をハイレベルとしＭＯＳトランジスタ１２０３をＯＦＦとした後、ＰＳＥＬ信号をハイレベルにすることで、ＭＯＳトランジスタ１２０５と負荷電流源１２０８で構成されたソースフォロワ回路が動作状態になる。これにより、垂直出力線１２０７上にＭＯＳトランジスタ１２０５のフローティングゲートリセット電位に応じたノイズ出力がされる。このＰＳＥＬがハイレベルの期間にＰＴＮ信号をハイレベルにすることで、ノイズ成分を蓄積する蓄積容量ＣＴＮ１２１１が垂直出力線１２０７と接続され、この蓄積容量ＣＴＮ１２１１はノイズ成分の信号を保持するようになる。

続いて行われるのは、光電変換素子で発生した光電荷とノイズ成分の混合信号の蓄積である。まず垂直出力線１２０７は、不図示の回路により定電位にリセットされる。そののちＰＴＸａ信号がハイレベルにされ、光電変換素子１２０１ａに蓄積された光電荷がＴ３ａの期間に転送ＭＯＳトランジスタ１２０２ａのＯＮにより、ＭＯＳトランジスタ１２０５のフローティングゲートに転送される。その際、ＰＳＥＬ信号はハイレベルのままであるために、ソースフォロワ回路が動作状態となり、垂直出力線１２０７上にＭＯＳトランジスタ１２０５のフローティングゲートの電位に応じた「光信号＋ノイズ信号」の出力がなされる。このＴ３ａの期間を内包する期間Ｔ４ａにおいてＰＴＳ信号をハイレベルにすることで、「光電荷成分＋ノイズ成分」を蓄積する蓄積容量ＣＴＳ１２１２を垂直出力線１２０７に接続する。これにより、蓄積容量ＣＴＳ１２１２は光電荷成分＋ノイズ成分の信号を保持するようになる。

上述のように、１行分のノイズ成分と、フォトダイオードで発生した光信号＋ノイズ成分が、それぞれＣＴＮ１２１１，ＣＴＳ１２１２に蓄積される。

次に、ＨＳＲａの期間に、これら２信号の並びを不図示の水平シフトレジスタにより制御される制御パルスＰＨＳ，ＰＨＮによってそれぞれ容量ＣＨＮ１２１５，ＣＨＳ１２１６に転送する。そして容量ＣＨＮ１２１５，ＣＨＳ１２１６に蓄積されたノイズ成分と光信号＋ノイズ成分は、差動アンプ１２１７によって、（光信号＋ノイズ成分）とノイズ成分の差分、すなわち光信号となって出力される。

続けて、ＨＢＬＫｂ＋ＨＳＲｂの期間に制御信号ＰＴＸｂ、ＰＲＥＳ，ＰＳＥＬを制御し、分割画素ａ３４の信号の読出しを行う。分割画素ａ３４の信号読出しタイミングは、先に説明した分割画素ａ３３の信号読出しタイミングと同様のため、ここでの説明は割愛する。

同様に、ＨＢＬＫｃ＋ＨＳＲｃの期間に制御信号ＰＴＸｃ、ＰＲＥＳ，ＰＳＥＬを制御し、分割画素ａ４３の信号の読出しを行い、ＨＢＬＫｄ＋ＨＳＲｄの期間に制御信号ＰＴＸｄ、ＰＲＥＳ，ＰＳＥＬを制御し分割画素ａ４４の信号の読出しを行う。これにより、２ｘ２に並ぶ４つの分割画素ａ３３、ａ３４、ａ４３、ａ４４、の信号読出しを完了する。

図２５は本実施例に係わる第二の駆動タイミングを示すタイミングチャートである。
図２５に示す第二の駆動タイミングは、図１２に示す分割画素それぞれの信号を画素出力信号として一括で読み出す、ＬＶ駆動時の駆動タイミングである。この第二の駆動タイミングによる信号読み出しを行う場合には、様々な焦点距離の画像への再構築ができなくなる代わりに、高速に読み出すことが可能となる。

図２５における駆動タイミングにおいて、ＰＳＥＬ信号がハイレベルの期間にＰＴＮ信号をハイレベルにすることで、蓄積容量ＣＴＮ１２１１にノイズ成分の信号を保持するようにするところまでは、図２４に示す第一の駆動タイミングと同じである。

続いて行われるのは、光電変換素子で発生した光電荷とノイズ成分の混合信号の蓄積である。まず垂直出力線１２０７は、不図示の回路により、定電位にリセットされる。そののちＰＴＸａ、ＰＴＸｂ、ＰＴＸｃ、ＰＴＸｄ信号が同時に期間Ｔ３だけハイレベルにされ、転送ＭＯＳトランジスタ１２０２がＯＮされる。これにより、光電変換部１２０１ａ、１２０１ｂ、１２０１ｃ、１２０１ｄに蓄積された光電荷が期間Ｔ３の間にＭＯＳトランジスタ１２０５のフローティングゲートに転送される。その際、ＰＳＥＬ信号はハイレベルのままであるために、ソースフォロワ回路が動作状態となり、垂直出力線１２０７にＭＯＳトランジスタ１２０４のフローティングゲートの電位に応じた「光信号＋ノイズ信号」の出力がなされる。この期間Ｔ３を内包する期間Ｔ４においてＰＴＳ信号をハイレベルにすることで、「光電荷成分＋ノイズ成分」を蓄積する蓄積容量ＣＴＳ１２１２が垂直出力線４２２と接続され、蓄積容量ＣＴＳ１２１２は光電荷成分＋ノイズ成分の信号を保持するようになる。

上述のように、１行分のノイズ成分と、フォトダイオードで発生した光信号＋ノイズ成分が、それぞれＣＴＮ１２１１，ＣＴＳ１２１２に蓄積される。

次に、ＨＳＲの期間に、これら２信号の並びを不図示の水平シフトレジスタにより制御される制御パルスＰＨＳ，ＰＨＮによってそれぞれ容量ＣＨＮ１２１５，ＣＨＳ１２１６に転送する。そして容量ＣＨＮ１２１５，ＣＨＳ１２１６に蓄積されたノイズ成分と光信号＋ノイズ成分は、差動アンプ１２１７によって、（光信号＋ノイズ成分）とノイズ成分の差分、すなわち光信号となって出力される。これにより、２ｘ２に並ぶ４つの分割画素ａ３３、ａ３４、ａ４３、ａ４４の信号を加算した信号の読出しを完了する。

以上、図１〜図２５を用いて本発明の実施形態にかかる撮像装置の実施形態について説明してきたが、本発明はこれに限定されることはなく、様々な形態をとることが可能である。

例えば、本発明の実施形態の画素構成においては、画素の構造をわかりやすく説明するため、同一マイクロレンズ下の分割画素を６ｘ６分割の構成としたが、本発明はこれに限定されず、様々な数及び形状の分割画素を有する構成としても構わない。

また、図１を用いて説明した、本発明の実施形態においては、画像の再構築などの画像処理を、撮像装置の構成要素の一つであるデジタル信号処理回路１１３でおこなうものとして説明したが、必ずしもこの画像処理の実施が撮像装置の内部で行われる必要はない。具体的には、画像処理手段を、撮像装置とは別の装置、例えばＰＣ（Personal Computer：パーソナルコンピュータ）などに設けておき、撮像装置で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにすることも可能である。

前述した本発明の実施形態に係わる撮像装置を構成する各手段、並び制御方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

Claims (13)

1. 撮影レンズで結像された光学像を電気信号へ変換する複数の光電変換手段の２次元配列を有する撮像素子と、前記撮像素子上に配設されたマイクロレンズアレイとを備え、前記マイクロレンズアレイの各々のマイクロレンズが、前記複数の光電変換手段の２次元配列を所定数の前記光電変換手段の画素ブロックで分割したときの各々の画素ブロックに対応付けられている撮像装置であって、
   第１のモードと、前記電気信号が読み出される前記光電変換手段が前記第１のモードとは異なる第２のモードとを選択的に設定可能なモード設定手段と、
   前記光電変換手段からの前記電気信号を読み出す信号読み出し手段と、
   前記モード設定手段によって設定されたモードに従って前記信号読み出し手段を制御し、各々の画素ブロックに含まれる前記光電変換手段のうち、前記信号読み出し手段による前記電気信号の読み出しにおいて読み出される前記光電変換手段を変更する制御手段とを備え、
   前記信号読み出し手段は、前記撮影レンズの中央を通る光線が到達する位置の近傍に位置する前記光電変換手段からの前記電気信号を読み出す読み出し線であって、前記撮影レンズの前記中央を通る前記光線が到達する前記位置の前記近傍に位置する前記光電変換手段からの前記電気信号のうちの少なくとも一部を混合して読み出す読み出し線を有し、
   前記第２のモードが設定されている場合には、前記制御手段は、前記信号読み出し手段を制御することによって、各々の画素ブロックにおいて、前記読み出し線を介して前記光電変換手段からの前記電気信号のうちの少なくとも一部を混合して読み出すことを特徴とする撮像装置。
2. 前記信号読み出し手段によって読み出された前記電気信号を処理する信号処理手段をさらに備え、
   前記信号処理手段は、前記信号読み出し手段による前記電気信号の読み出しにおいて読み出される前記光電変換手段の数に応じてゲインを変更することを特徴とする請求項１に記載の撮像装置。
3. 前記読み出し線は、前記２次元配列の列方向の前記光電変換手段からの前記電気信号を読み出し、
   同じ列の各々の前記光電変換手段は、信号蓄積読み出し手段を介して共通の前記読み出し線に接続されていることを特徴とする請求項１または２に記載の撮像装置。
4. 前記読み出し線は、前記２次元配列の列方向の前記光電変換手段からの前記電気信号を読み出し、
   同じ列の各々の前記光電変換手段は、交互に異なる共通の前記読み出し線に信号蓄積読み出し手段を介して接続されていることを特徴とする請求項１または２に記載の撮像装置。
5. 前記読み出し線は、前記２次元配列の列方向の前記光電変換手段からの前記電気信号を読み出し、
   同じ列の互いに隣接する前記光電変換手段は、共通の信号蓄積読み出し手段を介して共通の前記読み出し線に接続されていることを特徴とする請求項１または２に記載の撮像装置。
6. 前記読み出し線は、前記２次元配列の列方向の前記光電変換手段からの前記電気信号を読み出し、
   隣接する列の前記光電変換手段のうちの隣接する行に配された前記光電変換手段は、共通の信号蓄積読み出し手段を介して共通の前記読み出し線に接続されていることを特徴とする請求項１または２に記載の撮像装置。
7. 撮影した画像を表示する画像表示手段と、撮影した画像を記録する画像記録手段をさらに備え、
   前記第１のモードは、撮影した画像を前記画像記録手段に記録するモードであり、
   前記第２のモードは、撮影した画像を前記画像表示手段にリアルタイムに表示するライブビューモードであることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記制御手段は、前記第２のモードが設定されている際には、各々の画素ブロックにおいて前記電気信号が読み出される前記光電変換手段の数を、前記第１のモードが設定されている際よりも少なくすることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 撮影レンズで結像された光学像を電気信号へ変換する光電変換手段の２次元配列を有する撮像素子と、前記撮像素子上に配設されたマイクロレンズアレイとを備え、前記マイクロレンズアレイの各々のマイクロレンズが、前記複数の光電変換手段の２次元配列を所定数の前記光電変換手段の画素ブロックで分割したときの各々の画素ブロックに対応付けられている撮像装置の制御方法であって、
   第１のモードと、前記電気信号が読み出される前記光電変換手段が前記第１のモードとは異なる第２のモードとを選択的に設定するモード設定ステップと、 前記モード設定ステップにおいて設定されたモードに従って、前記光電変換手段からの前記電気信号を読み出す信号読み出しステップとを備え、
   前記モード設定ステップにおいて前記第２のモードに設定された場合には、前記信号読み出しステップでは、前記撮影レンズの中央を通る光線が到達する位置の近傍に位置する前記光電変換手段からの前記電気信号を読み出す読み出し線であって、前記撮影レンズの前記中央を通る前記光線が到達する前記位置の前記近傍に位置する前記光電変換手段からの前記電気信号のうちの少なくとも一部を混合して読み出す読み出し線を介して、各々の画素ブロックにおいて、前記光電変換手段からの前記電気信号のうちの少なくとも一部を混合して読み出す
   ことを特徴とする制御方法。
10. 撮影レンズで結像された光学像を電気信号へ変換する複数の光電変換手段の２次元配列を有する撮像素子と、前記撮像素子上に配設されたマイクロレンズアレイとを備え、前記マイクロレンズアレイの各々のマイクロレンズが、前記複数の光電変換手段の２次元配列を所定数の前記光電変換手段の画素ブロックで分割したときの各々の画素ブロックに対応付けられている撮像装置を制御するためのプログラムであって、
    コンピュータを、
    第１のモードと、前記電気信号が読み出される前記光電変換手段が前記第１のモードの場合とは異なる第２のモードとを選択的に設定可能なモード設定手段、
    前記光電変換手段からの前記電気信号を読み出す信号読み出し手段、
    前記モード設定手段によって設定されたモードに従って前記信号読み出し手段を制御し、各々の画素ブロックに含まれる前記光電変換手段のうち、前記信号読み出し手段による前記電気信号の読み出しにおいて読み出される前記光電変換手段を変更する制御手段として機能させ、
    前記信号読み出し手段は、前記撮影レンズの中央を通る光線が到達する位置の近傍に位置する前記光電変換手段からの前記電気信号を読み出す読み出し線であって、前記撮影レンズの前記中央を通る前記光線が到達する前記位置の前記近傍に位置する前記光電変換手段からの前記電気信号のうちの少なくとも一部を混合して読み出す読み出し線を有し、
    前記第２のモードが設定されている場合には、前記制御手段は、前記信号読み出し手段を制御することによって、各々の画素ブロックにおいて、前記読み出し線を介して前記光電変換手段からの前記電気信号のうちの少なくとも一部を混合して読み出す、プログラム。
11. 請求項１０に記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
12. コンピュータを、請求項１乃至８のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
13. コンピュータを、請求項１乃至８のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを格納した記憶媒体。

Images