JP6355459B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明はＣＭＯＳ撮像素子などを用いた撮像装置及びその制御方法に関し、特に、撮像装置における撮像データのノイズ補正の技術に関する。

近年、ＣＭＯＳ撮像素子などを用いた撮像装置において、様々なニーズに対応するべく多機能化が進んでいる。例えば、通常の撮影において、用途に応じて高速読み出しや高分解能といったニーズに対応した撮像装置が提供されている。

また、従来、列毎にＡＤ変換回路を搭載し、デジタル信号を出力するＣＭＯＳ撮像素子がある。列毎にＡＤ変換回路を導入することで、各列から読み出した信号の水平転送をデジタルで行うことが可能となる。また、デジタル信号の転送技術の発展に伴い、水平転送の高速化、すなわち高速読み出しが実現されている。

特許文献１では、列アナログデジタル（ＡＤ）変換方式として、シングルスロープ方式が採用されている。シングルスロープ方式では比較器とカウンタを用い、比較器の一方の入力にアナログの画素信号を入力した状態で、他方の入力に参照信号として、時刻とともに傾きをもって変動する電圧であるスロープ電圧を入力する。そして、画素信号と参照信号の大小関係が反転したとする時刻をもって比較器の出力が反転する。カウンタは、時間とともにデジタルのカウントを進め、比較器の出力が反転するとカウントの進行を止める。このように、カウンタの出力がアナログの画素信号を示すデジタル値となることで、ＡＤ変換を行う方式である。

シングルスロープ方式の場合、信号出力の高ビット分解能を実現するためにはカウンタを回す時間を多く必要とする。例えば、１２ビットから１４ビットに向上させるには、カウンタの動作クロックが一定である場合、ＡＤ変換期間として４倍の時間を要する。そこで、高速読み出しモードの場合にはビット分解能を低くして高速に読み出し、高分解能モードの場合には読み出し時間は長くなるため低速読み出しになるがビット分解能を高くして読み出す、といった駆動を切り替えて使用する方法がある。

一方、更なる多機能化として、撮像素子から得られた信号により焦点検出が可能な機能を持つ撮像素子も開示されている。特許文献２では、１つのマイクロレンズに対応する２つのＰＤを配置することによって、各ＰＤが撮像レンズの異なる瞳面の光を受光するように構成されている。そして、２つのＰＤの出力を比較することによって、焦点検出を行っている。また、そのような撮像素子の出力を、焦点検出だけでなく、画像信号に用いることも可能である。

特許文献３では、このような撮像素子の信号読み出し方法として、第１の動作で瞳分割された２画素のうちの片方から第１画素信号を読み出し、第２の動作でリセットせずに他方の画素からの第２画素信号を加算して読み出す技術が開示されている。加算信号は画像信号として用いられ、第２画素信号は加算信号から第１画素信号を減算して求める。これにより、焦点検出用の信号と画像信号をとともに得ることができる（焦点検出モード）。なお、焦点検出の必要が無い場合には、第２の動作のみで加算信号のみを読み出すことも可能であり、その場合、読み出し時間を短縮することができる（通常撮影モード）。

特開２００５−２７８１３５号公報 特許第３７７４５９７号明細書 特開２０１３−１０６１９４号公報

ところで、ＰＤが受光して得た電荷に対応した信号（光信号）を読み出す前に、リセットレベル信号を読み出しておき、読み出された光信号からリセットレベル信号を減算して、撮像素子固有のノイズを除去して撮像信号とすることが一般的に行われている。しかし、リセットレベル信号を読み出してから、撮像信号を読み出すまでの時間が長いほど、容量及びスイッチによるリーク電流の影響を受けやすくなり、ノイズ除去の精度が悪くなるという問題がある。

例えば、高ビット分解能モードでは低ビット分解能モードと比較して、リセットレベル信号を読み出してから、撮像信号の読み出しまでの期間が長くなる。また、特許文献３のような焦点検出可能な撮像素子の場合、通常撮影モードよりも焦点検出モードにおける撮像信号の読み出し時の方が、リセットレベル信号を読み出してから、撮像信号を読み出すまでの時間は長くなる。

ここで、リーク電流が多い画素に関しては、欠陥画素として撮像画像において欠陥画素補正を行う方法がある。この場合、予め撮像素子の出荷検査等の撮像装置の製造過程において欠陥画素を検出してアドレスや欠陥レベル等の欠陥情報をＲＯＭ等に記憶しておくことが行われている。しかしながら、前述の通り、撮像装置の様々な駆動モードに応じて欠陥画素検出を行い、欠陥情報をＲＯＭに記憶させることは、工程時間の観点においても、メモリ容量の観点においても好ましくない。

また、リーク電流が比較的少ない画素においても、リセットレベル信号を読み出してから、撮像信号の読み出しまでの期間が長くなると、ノイズによる画質への影響が問題となる。

本発明は上記問題点を鑑みてなされたものであり、撮像装置のメモリ容量を増やすことなく、様々な駆動モードに応じて適切なノイズ補正を行えるようにすることを目的とする。

上記目的を達成するために、撮像素子と、該撮像素子から読み出された信号を処理して画像を生成する画像処理手段とを有する本発明の撮像装置は、前記撮像素子が、複数のマイクロレンズと、前記複数のマイクロレンズそれぞれに、少なくとも１つの光電変換部が対応するように構成された複数の光電変換部と、前記複数の光電変換部から撮像信号を読み出す読み出し手段と、読み出された撮像信号を保持するメモリとを有し、前記撮像素子は、前記読み出し手段が前記複数の光電変換部に蓄積された撮像信号を読み出して前記メモリに保持するまでの信号読み出し期間が異なる、少なくとも２つ以上の駆動方法により駆動され、前記画像処理手段は、前記読み出された撮像信号のノイズを低減するノイズ低減処理を行うノイズ低減手段を備え、該ノイズ低減手段は、前記読み出された撮像信号のうち、前記ノイズ低減処理を行う撮像信号を判定して前記ノイズ低減処理を行い、該判定を行う際に、前記信号読み出し期間の異なる２つ以上の駆動方法において該判定のレベルを調整する。

本発明によれば、撮像装置のメモリ容量を増やすことなく、様々な駆動モードに応じて適切なノイズ補正を行うことができる。

本発明の実施形態に係る撮像装置の全体構成を示すブロック図。 実施形態に係る撮像素子の構成を示すブロック図。 第１の実施形態に係る撮像素子の単位画素及び列回路の回路構成の一例を示す図。 第１の実施形態に係る撮像素子の信号読み出し動作の一例を示すタイミングチャート。 実施形態に係る撮像装置のメモリに格納されたキズ補正用データの一例を示す図。 実施形態に係る撮像装置のメモリに格納されたキズ補正用データの一例を示す図。 第１の実施形態に係る補正対象となる画素を決定する処理を示すフローチャート。 変形例におけるＳ信号読み出し期間の長さＴ１、Ｔ２における画像のヒストグラムの一例を示す図。 第２の実施形態に係る撮像素子の構成を説明する図。 撮像レンズの射出瞳から出た光束が単位画素に入射する概念を示す図。 第２の実施形態に係る撮像素子の単位画素及び列回路の回路構成の一例を示す図。 第２の実施形態に係る撮像素子の通常撮影モードにおける信号読み出し動作を示すタイミングチャート。 第２の実施形態に係る撮像素子の撮像面位相差ＡＦモードにおける信号読み出し動作を示すタイミングチャート。 第３の実施形態に係る撮像素子の行選択的撮像面位相差ＡＦモードの読み出し例を示す概念図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の実施形態に係る撮像装置１００の全体構成を示すブロック図である。図１において、撮影レンズ１０１及び絞り１０２を通過した光は、撮影レンズ１０１の焦点位置近傍に結像する。撮像素子１０３はＣＭＯＳセンサであり、撮影レンズ１０１により結像された被写体像を光量に応じて電気信号に変換する。信号処理回路１０４は、撮像素子１０３から出力される画像信号に対して信号増幅、基準レベル調整等の各種の補正や、データの並べ替えなどを行う。タイミング発生回路１０５は撮像素子１０３や信号処理回路１０４等に駆動タイミング信号を出力する。

全体制御・演算回路１０６は撮像素子１０３や信号処理回路１０４等、撮像装置１００全体の統括的な駆動及び制御を行う。また、信号処理回路１０４から出力された画像信号に対して、後述するＡ像、Ｂ像間の相関演算や焦点検出、また所定の画像処理や欠陥補正等を施す。メモリ回路１０７及び記録回路１０８は、全体制御・演算回路１０６から出力された画像信号等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。操作回路１０９は撮像装置１００に備え付けられた操作部材からの信号を受け付け、全体制御・演算回路１０６に対してユーザーの命令を反映する。表示回路１１０は撮影後の画像やライブビュー画像、各種設定画面等を表示する。

次に、撮像素子１０３の構成について、図２及び図３を用いて説明する。図２は、第１の実施形態における撮像素子１０３の構成例を示すブロック図である。

撮像素子１０３には、複数の単位画素２００が行列状に配置されている。図２では、単位画素２００を４行４列の計１６個を配置した場合を図示しているが、実際は数百万、数千万の単位画素２００で構成される。単位画素２００には赤（R）、緑（G）、青（B）のベイヤー配列のカラーフィルタが設けられる。なお、図２において単位画素２００それぞれに記載されている文字及び数字は画素の色とアドレスを示している。例えば、Ｇ０１は、０行１列目のＧ（緑）画素を示す。各単位画素２００は、垂直出力線２０１に画素信号を出力し、各垂直出力線２０１には電流源２０２が接続されている。

列回路２０３には、垂直出力線２０１上の画素信号が入力され、アナログデジタル変換（ＡＤ変換）を行う。スロープ電圧発生回路２０４は、列回路２０３で行うＡＤ変換に使用するスロープ電圧を生成する。列回路２０３でＡＤ変換された信号は水平走査回路２０５の駆動により、水平出力線２１６及び２１７、デジタル出力処理回路２０７を介して撮像素子１０３の外部に順次出力される。垂直走査回路２０８は、行毎に接続される信号線２０９を介して、行の選択、駆動を行う。なお、図２において、信号線２０９は０行目に対してのみ記載しているが、実際には各行に配線されている。

図３は、第１の実施形態にかかる撮像素子１０３の単位画素２００及び列回路の回路構成の一例を示す図である。単位画素２００において、フォトダイオード（ＰＤ）３０１（光電変換部）は、撮影レンズ１０１によって結像された光学像を受けて電荷を発生し、発生した電荷を蓄積する。ＰＤ３０１で蓄積された電荷は、転送ＭＯＳトランジスタ（転送スイッチ）３０２を介してフローティングデフュージョン部（ＦＤ）３０４に転送される。ＦＤ３０４に転送された電荷は、選択スイッチ３０６がオンされると、ソースフォロワアンプを形成する増幅ＭＯＳトランジスタ（ＳＦ）３０５を介して電荷に対応した電圧として垂直出力線２０１に出力される。なお、選択スイッチ３０６は行単位で制御され、選択された行の画素信号が一括して垂直出力線２０１に出力される。リセットＭＯＳトランジスタ（リセットスイッチ）３０３は、ＦＤ３０４の電位、及び転送スイッチ３０２を介してＰＤ３０１の電位をＶＤＤにリセットする。転送スイッチ３０２、リセットスイッチ３０３、選択スイッチ３０６は、それぞれ垂直走査回路２０８に接続されている信号線を介して制御信号ＰＴＸ、ＰＲＥＳ、ＰＳＥＬにより制御される。

次に、列回路２０３の回路構成について説明する。アンプ３１０は、垂直出力線２０１に現れた信号を増幅し、容量３１２は信号電圧を保持するために用いられる。容量３１２への書き込みは、制御信号ＰＳＨによりオン、オフされるスイッチ３１１により制御される。比較器３１３の一方の入力には、図２のスロープ電圧発生回路２０４から供給された参照電圧であるＶｓｌｏｐｅが入力され、他方の入力には、容量３１２に書き込まれたアンプ３１０の出力が入力される。比較器３１３はアンプ３１０の出力と参照電圧Ｖｓｌｏｐｅを比較し、その大小関係によってローレベル、ハイレベルの２値のいずれかを出力する。具体的には、参照電圧Ｖｓｌｏｐｅがアンプ３１０の出力に対して小さい時にはローレベル、大きい時にはハイレベルを出力する。参照電圧Ｖｓｌｏｐｅの遷移開始と同時にＣＬＫが動き出し、カウンタ３１４は比較器３１３の出力がハイレベルの時にＣＬＫに対応してカウントアップし、比較器３１３の出力がローレベルに反転すると同時にカウントを停止する。

メモリ３１５には、ＦＤ３０４のリセットレベルの信号（以下、「Ｎ信号」）をＡＤ変換したデジタル信号が保持され、メモリ３１６には、ＰＤ３０１の信号をＦＤ３０４のＮ信号に重畳した信号（以下「Ｓ信号」）をＡＤ変換したデジタル信号が保持される。メモリ３１５、３１６に保持された信号は、水平走査回路２０５からの制御信号によって、水平出力線２１６、２１７を介してデジタル出力処理回路２０７へ出力される。そして、デジタル出力処理回路２０７にてＳ信号とＮ信号の差分が算出されて、ノイズの要因となるＦＤ３０４のリセットノイズ成分が除去された信号が出力される。

図４は、図３に示す回路構成を有する撮像素子１０３の１行分の単位画素２００からの電荷読み出し動作の一例を示すタイミングチャートであり、各駆動パルスのタイミング、参照電圧Ｖｓｌｏｐｅ、ＣＬＫ、水平走査信号を模式的に示している。また、各タイミングにおける、垂直出力線の電位Ｖｌもあわせて示している。

ＰＤ３０１からの信号の読み出しに先立って、リセットスイッチ３０３の制御信号ＰＲＥＳがＨｉとなる（ｔ４００）。これによって、ＳＦ３０５のゲートがリセット電源電圧にリセットされる。時刻ｔ４０１で制御信号ＰＳＥＬをＨｉとし、ＳＦ３０５を動作状態とする。そして、時刻ｔ４０２で制御信号ＰＲＥＳをＬｏとすることでＦＤ３０４のリセットを解除する。このときのＦＤ３０４の電位を垂直出力線２０１にリセット信号レベル（Ｎ信号）として読み出し、列回路２０３に入力する。時刻ｔ４０３、ｔ４０４で制御信号ＰＳＨをそれぞれＨｉ、Ｌｏとしてスイッチ３１１を順次オン、オフすることで、垂直出力線２０１に読み出されたＮ信号はアンプ３１０で所望のゲインで増幅されたのち容量３１２に保持される。容量３１２に保持されたＮ信号の電位は比較器３１３の一方に入力される。時刻ｔ４０４でスイッチ３１１がオフされた後、時刻ｔ４０５からｔ４０７まで、スロープ電圧発生回路２０４により、参照電圧Ｖｓｌｏｐｅを時刻と共に初期値から減少させていく。参照電圧Ｖｓｌｏｐｅの遷移開始と共に、ＣＬＫをカウンタ３１４に供給する。ＣＬＫの数に応じてカウンタ３１４の値は増加していく。そして、比較器３１３に入力した参照電圧ＶｓｌｏｐｅがＮ信号と同じレベルになると、比較器３１３の出力ＣＯＭＰはローレベルとなり、同時にカウンタ３１４の動作も停止する（時刻ｔ４０６）。この、カウンタ３１４の動作が停止した時の値が、Ｎ信号がＡＤ変換された値となり、Ｎ信号用メモリ３１５に保持される。

次に、デジタル化されたＮ信号をＮ信号用メモリ３１５に保持した後の時刻ｔ４０７、ｔ４０８で制御信号ＰＴＸを順次Ｈｉ、Ｌｏとして、ＰＤ３０１に蓄積された光電荷をＦＤ３０４に転送する。すると、電荷量に応じたＦＤ３０４の電位変動が垂直出力線２０１にＳ信号レベル（光成分＋リセットノイズ成分（Ｎ信号））として読み出され、列回路２０３に入力される。Ｓ信号はアンプ３１０で所望のゲインで増幅された後、時刻ｔ４０９、ｔ４１０で制御信号ＰＳＨを順次Ｈｉ、Ｌｏとしてスイッチ３１１がオン、オフされるタイミングで容量３１２に保持される。容量３１２に保持された電位は比較器３１３の一方に入力される。時刻ｔ４１０でスイッチ３１１がオフされた後、時刻ｔ４１１からｔ４１３まで、スロープ電圧発生回路２０４により、参照電圧Ｖｓｌｏｐｅを時刻と共に初期値から減少させていく。参照電圧Ｖｓｌｏｐｅの遷移開始と共に、ＣＬＫをカウンタ３１４に供給する。ＣＬＫの数に応じてカウンタ３１４の値は増加していく。そして、比較器３１３に入力した参照電圧ＶｓｌｏｐｅがＳ信号と同じレベルになると、比較器３１３の出力ＣＯＭＰはローレベルとなり、同時にカウンタ３１４の動作も停止する（時刻ｔ４１２）。この、カウンタ３１４の動作が停止した時の値が、Ｓ信号がＡＤ変換された値となり、Ｓ信号用メモリ３１６に保持される。

続いて、メモリ３１５、３１６に保持された信号を水平走査回路２０５により読み出す。時刻ｔ４１３より、列回路２０３ごとに順次動作させることでメモリ３１５、３１６に保持された信号は水平出力線２１６、２１７を通り、デジタル出力処理回路２０７に送られ、そこで差動信号レベル（光成分）が求められる。

なお、Ｎ信号読み出しやＳ信号読み出しに係る時間は、ＡＤ変換するときの分解能（ビット数）に依存する。例えば、１２ビットであれば最大４０９６カウント必要であり、１４ビットであれば最大１６３８４カウント必要となる。このように、カウンタのクロックが一定である場合、１４ビットのＡＤ変換期間は１２ビットのＡＤ変換期間の４倍の長さが必要となる。

例えば、撮像装置が画質優先の高ビット分解能モードと読み出し速度優先の低ビット分解能モードを有している場合、高ビット分解能モードでは１４ビットでＡＤ変換し、低ビット分解能モードでは１２ビットでＡＤ変換する。これに応じて、Ｎ信号読み出し時の分解能も変更する必要がある。ただし、Ｎ信号は光信号に比べて微量であるため、Ｓ信号読み出し時より少ないカウント値で駆動することができ、Ｎ信号読み出し期間を短縮することが可能である。例えば、Ｓ信号の分解能が１４ビットの時はＮ信号の分解能を１１ビット、Ｓ信号の分解能が１２ビットの時はＮ信号の分解能を９ビットといったように駆動することが望ましい。

Ｎ信号が容量３１２に保持されてから、Ｓ信号が容量３１２に保持されるまでの期間をＳ信号読み出し期間とすると、このＳ信号読み出し期間は、高ビット分解能モードの方がＮ信号のＡＤ変換期間が長くなる分、Ｓ信号読み出し期間は長くなる。すなわちＮ信号（リセット信号）が決定された時刻からＳ信号が決定されるまでの期間が長くなる。

ところで、図４に示すように、垂直出力線Ｖｌの電位は、画素によってはＦＤ容量やスイッチなどによるリーク電流の影響を受けて、時刻とともに下がっていく。通常、Ｓ信号からＮ信号を差分することで、ノイズの要因となるＦＤ３０４のリセットノイズ成分の除去を行っているが、Ｎ信号を読み出した時刻からＳ信号を読み出すまでの期間が長いほど、リーク電流の影響により電位のずれ生じてしまう。その結果、実際のＳ信号−Ｎ信号によるノイズ除去が精度良くできなくなり、図４の例で言えば、光信号レベルより出力値が高くなって読み出され（垂直出力線Ｖｌの破線）、ノイズとなって画像へ影響が出てしまう。なお、リーク電流の量は画素によって異なり、またリークの場所によっては電位が上昇する場合もあるため、各画素個別に補正する必要がある。

そこで、第１の実施形態では、リーク電流の量が大きく、精度良くＳ信号−Ｎ信号によるノイズ除去を行うことのできないキズ画素を判別して、判別したキズ画素の信号を補正する。

撮像素子１０３からは、例えば、その出荷時に所定の駆動、所定の電荷蓄積時間、所定の環境温度にて得られた画像データに基づいて、各種のキズ画素（欠陥画素）が抽出される。主な欠陥は温度や蓄積時間に依存する暗電流に起因するものであるが、それ以外にリーク電流に起因する欠陥もある。これらのキズ画素の抽出を低ビット分解能モードで行い、図５に示すような、アドレス、キズレベル、キズの種別からなるキズ画素データ（欠陥情報）を作成して、撮像装置１００内のメモリに格納しておく。なお、キズ画素抽出処理は、撮像装置１００の外部で行っても良いし、撮像装置１００での撮影時に、撮影した画像データより行っても良い。すなわち、撮像素子１０３が単体の状態で行っても良いし、撮像素子１０３が撮像装置に組み込まれた状態で行っても良い。

各種キズのうち、白キズに関しては、電荷蓄積時間や温度、また設定されたＩＳＯ感度によって変わるため、撮影条件に応じて補正レベルを変更するのが望ましい。これは公知のキズ画素補正方法で実施可能である。

一方、リークキズは上述したようにリーク電流に起因したキズである。ここで、補正対象となるリークキズを有するリークキズ画素を決定する処理について、図７のフローチャートに沿って説明する。なお、この補正対象となるリークキズ画素を決定する処理は全体制御・演算回路１０６で行い、その結果に応じて全体制御・演算回路１０６が補正対象のリークキズ画素を補正する。

まず、Ｓ１１において、撮影時に設定されたビット分解能モードを取得し、Ｓ１２において、撮影時の感度を取得する。次に、Ｓ１３において、図５に示すキズ画素データから、キズの種類が「リーク」であるリークキズ画素のデータを１つ抽出する。図５のキズ画素データの例では、Ｎｏ．３、４、５がリークキズを有する画素である。

そして、Ｓ１４において、Ｓ１１で取得したビット分解能モードが低ビット分解能モードであるかどうかを判別する。低ビット分解能モードであればＳ１６に進み、図６のテーブルに従って、Ｓ１３で抽出したキズレベルが、Ｓ１２で取得した感度における補正レベル以上（閾値以上）であるかどうかを判断する。図６の補正レベル以上の場合、Ｓ１７において抽出したリークキズ画素は補正対象であると決定して、当該情報を信号処理回路１０４に渡し、Ｓ１８に進む。

一方、補正レベル未満（閾値未満）の場合は、直接Ｓ１８に進んで、全てのリークキズ画素のデータに対して決定処理を行ったかを判断し、決定処理を行っていないリークキズ画素があれば、Ｓ１３に戻って次のリークキズ画素のデータを１つ抽出する。全てのリークキズ画素のデータに対して決定処理が終了していれば、処理を終了する。

例えば、ＩＳＯ４００での撮影の場合、キズレベルの絶対値が３２ｍＶ以上のキズ画素を補正する。即ち、図５のキズ画素データにおいては、Ｎｏ．３とＮｏ．４のリークキズ画素は補正対象となり、Ｎｏ．５のリークキズ画素は補正対処とならない。

Ｓ１４において高ビット分解能モードであればＳ１５に進み、Ｓ１３で抽出したキズレベルをＳ信号読み出し期間に応じて調整する。ここで、低ビット分解能モードでのＳ信号読み出し期間をＴ１、高ビット分解能モードでのＳ信号読み出し期間をＴ２とし（Ｔ１＜Ｔ２）、低ビット分解能モードで抽出されたリークキズのキズレベルをＬ1とする。この場合、高ビット分解能モードでのリークキズのキズレベルＬ２は、
Ｌ２＝Ｔ２／Ｔ１×Ｌ１×α …（１）
となる（αはＴ２／Ｔ１×α＞１を満たす任意の係数）。このように、式（１）で算出されたキズレベルＬ２が、高ビット分解能モードでのリークキズのキズレベルとなる。キズレベルＬ２の算出後、Ｓ１６において、図６のテーブルに従って、算出されたキズレベルＬ２が、Ｓ１２で取得した感度における補正レベル以上であるかどうかを判断する。以降、上述したＳ１７及びＳ１８の処理を行う。

このように、Ｓ信号読み出し期間の長さに応じてキズレベルを換算して、リークキズ補正を行うかどうかを決定することで、過不足なくリークキズ画素の補正を行うことができる。また、それぞれのビット分解能モードに対応したキズ画素情報をメモリに格納する必要もないので、キズ画素の抽出時間の短縮、及び、撮像装置のメモリ削減も可能となる。

なお、全体制御・演算回路１０６におけるキズ画素の補正に関しては、公知の補間方法を用いて実施可能である。

以上のように、Ｓ信号読み出し期間の長さに応じて、キズ補正やノイズ低減処理のレベルを変えることで、精度良く適切なノイズ低減処理を実施することが可能となる。なお、本第１の実施形態で示したＳ信号読み出し期間の異なる駆動は一例であり、本発明はこれに限定されるものではない。

＜変形例＞
画像のキズ、及びノイズ補正としては、撮影された画像からキズ画素を検出して補正を行う、リアルタイムキズ補正方法がある。リアルタイムキズ補正も公知の技術であり、様々な手法が開示されているが、基本的には得られた画素の出力が周辺画素の信号に対して予め設定した閾値以上のレベル差があれば欠陥画素と判定し、キズ補正を実施するものである。

図８はＳ信号読み出し期間Ｔ１、Ｔ２におけるダーク画像のヒストグラムであり、横軸が画素信号の出力、縦軸が累積頻度である。Ｓ信号読み出し期間Ｔ２のモードの方が、Ｓ信号読み出し期間Ｔ１のモードに比べてヒストグラムの分布が横に広がっており、画像としてノイズの多い状態となっている。これは、前述の通り、Ｓ信号−Ｎ信号処理の誤差がＳ信号読み出し期間Ｔ２の方で大きくなるためである。

そこで、このノイズの差を考慮して、キズ判定閾値を、読み出しモード、すなわちＳ信号読み出し期間の長さに応じてレベルを変えて、リアルタイムキズ検出及び補正を行う。例えば、Ｓ信号読み出し期間Ｔ２となる高ビット分解能モードでのキズ判定に用いる閾値を、Ｓ信号読み出し期間Ｔ１となる低ビット分解能モードでのキズ判定に用いる閾値より低めに設定することで、補正後のノイズ量を同等とすることができる。

また、リアルタイムキズ補正だけでなく、その他のノイズ低減処理に関しても、処理の強さをＳ信号読み出し期間の長さに応じて変えることが望ましい。

また、本発明はＦＨＤなどの動画モードにおいて、画像の画素数を低画素化して読み出すモードに対しても好適である。低画素化方法には３画素中１画素読み出す間引き方法や、３画素中２画素加算したり、３画素中３画素加算する加算方法がある。その際は、ノイズ低減処理のレベルは、同じ加算数の処理を行った場合において、Ｓ信号読み出し期間の長さに応じて変えることが好適である。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。撮像装置１００の全体的な構成は、図１を参照して説明したものと同様であるが、撮像素子１０３の構成が第１の実施形態において説明したものと異なる。以下、図９を参照して、本発明の第２の実施形態における撮像素子１０３の構成について説明する。

第２の実施形態では、図９に示すように、マイクロレンズアレイを形成する個々のマイクロレンズ８０４に対応する構成を１つの画素と定義し、これを単位画素８００とする。また、１つのマイクロレンズ８０４に対して複数のフォトダイオード（ＰＤ）が対応するように配置されている。なお、第２の実施形態では、単位画素８００にはＸ軸方向に２つのＰＤ８０１Ａ及びＰＤ８０１Ｂ（光電変換部）が配置されている場合について説明する。これに対応して、第２の実施形態における列回路１００９は、３つのメモリを有する。このような単位画素８００及び列回路１００９が、図２に示す撮像素子１０３の構成において、単位画素２００と列回路２０３の代わりに用いられる。

図１０は、撮影レンズ９０３から出射された光が１つのマイクロレンズ８０４を通過してＰＤ８０１Ａ、８０１Ｂで受光される様子を、光軸Ｚに対して垂直方向（Ｙ軸方向）から観察した図である。レンズ絞り９０４により制限され、射出瞳９０１、９０２を通過した光は、光軸Ｚを中心として単位画素８００に入射する。図１０に示すように射出瞳９０１を通過する光束はマイクロレンズ８０４を通して、ＰＤ８０１Ａで受光され、射出瞳９０２を通過する光束はマイクロレンズ８０４を通して、ＰＤ８０１Ｂで受光される。したがって、ＰＤ８０１ＡとＰＤ８０１Ｂはそれぞれ撮影レンズ９０３の射出瞳の異なる領域の光を受光している。

このように瞳分割されたＰＤ８０１Ａから得られる信号をＸ軸方向に並ぶ複数の単位画素８００から取得し、これらの出力信号群で構成した被写体像をＡ像とする。同様に瞳分割されたＰＤ８０１Ｂの信号をＸ軸方向に並ぶ複数の単位画素８００から取得し、これらの出力信号群で構成した被写体像をＢ像とする。Ａ像とＢ像に対して相関演算を実施し、像のずれ量（瞳分割位相差）を検出し、さらに像のずれ量に対して撮影レンズ９０３の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。ここで算出された焦点位置情報に基づいて、撮影レンズ９０３のフォーカスを制御することで、撮像面位相差ＡＦが可能となる。

また、Ａ像信号とＢ像信号とを足し合わせて得られたＡ＋Ｂ像信号を、通常の撮影画像に用いることができる。

図１１は、第２の実施形態における撮像素子１０３の単位画素８００の画素回路及び列回路１００９の一例を示す図である。単位画素８００において、ＰＤ８０１Ａには転送スイッチ１００２Ａが接続され、ＰＤ８０１Ｂには転送スイッチ１００２Ｂが接続される。ＰＤ８０１Ａ、８０１Ｂで発生した電荷は、それぞれ転送スイッチ１００２Ａ、１００２Ｂを介して共通のＦＤ１００４に転送され、一時的に保持される。ＦＤ３０４に転送された電荷は、選択スイッチ１００６がオンされると、ソースフォロワアンプを形成する増幅ＭＯＳトランジスタ（ＳＦ）１００５を介して電荷に対応した電圧として垂直出力線２０１に出力される。なお、選択スイッチ１００６は行単位で制御され、選択された行の画素信号が一括して垂直出力線２０１に出力される。リセットスイッチ１００３は、ＦＤ１００４の電位、及び転送スイッチ１００２Ａ、及び１００２Ｂを介してＰＤ８０１Ａ、８０１Ｂの電位をＶＤＤにリセットする。転送スイッチ１００２Ａ、１００２Ｂ、リセットスイッチ１００３、選択スイッチ１００６は、それぞれ垂直走査回路２０８に接続されている信号線を介して制御信号ＰＴＸＡ、ＰＴＸＢ、ＰＲＥＳ、ＰＳＥＬにより制御される。

次に、列回路１００９の回路構成について説明する。なお、列回路１００９は、第１の実施形態で説明した列回路２０３とほぼ同様の構成であるため、ここでは差異のみ説明する。上述したように、単位画素８００は２つのＰＤ８０１Ａ、８０１Ｂを有し、後述する撮像面位相差ＡＦを行うモード（撮像面位相差ＡＦモード）においては、Ａ像信号とＡ＋Ｂ像信号をそれぞれ読み出す。そのため、第２の実施形態における列回路１００９は、ＡＤ変換されたデジタル信号を保持するメモリを３つ備える。メモリ１０１５には、ＦＤ１００４のリセット信号（以下、「Ｎ信号」）をＡＤ変換したデジタル信号が保持される。メモリ１０１６には、ＰＤ８０１Ａの信号をＦＤ１００４のＮ信号に重畳した信号（以下、「Ｓ（Ａ）信号」）をＡＤ変換したデジタル信号が保持される。そして、メモリ１０１７にはＰＤ８０１Ａ及びＰＤ８０１Ｂの信号をＦＤ１００４のＮ信号に重畳した信号（以下「Ｓ（Ａ＋Ｂ）信号」）をＡＤ変換したデジタル信号が保持される。メモリ１０１５に保持されたＮ信号は水平走査回路２０５からの制御信号によって、水平出力線２１６を介してデジタル出力処理回路２０７へ出力される。また、メモリ１０１６、１０１７に保持されたＳ（Ａ）信号及びＳ（Ａ＋Ｂ）信号は、水平走査回路２０５からの信号によって、水平出力線２１７を介してデジタル出力処理回路２０７へ出力される。そして、デジタル出力処理回路２０７において、Ｓ（Ａ）信号及びＳ（Ａ＋Ｂ）信号からＮ信号の差分が算出されて、ノイズの要因となるＦＤ３０４のリセットノイズ成分が除去された信号が出力される。

図１２及び図１３は、図１１に示す回路構成を有する撮像素子１０３の１行分の単位画素８００からの電荷読み出し動作の一例を示すタイミングチャートである。第２の実施形態における撮像素子１０３は、通常撮影モード（第１の駆動）と撮像面位相差ＡＦモード（第２の駆動）を有し、図１２が通常撮影モードのタイミングチャート、図１３が撮像面位相差ＡＦモードのタイミングチャートである。各駆動パルスのタイミング、参照電圧Ｖｓｌｏｐｅ、ＣＬＫ、水平走査信号を模式的に示している。また、各タイミングにおける、垂直出力線の電位Ｖｌもあわせて示している。

まず、図１２を参照しながら、通常撮影モードにおける電荷読み出し動作について説明する。なお、時刻ｔ１１０７でＡＤ変換されたＮ信号がメモリ１０１５に保持されるまでは、第１の実施形態で説明した図４の時刻ｔ４０７までの駆動と同様なので、説明を省略する。

Ｎ信号読み出し期間が終了した後の時刻ｔ１１０７、ｔ１１０８で制御信号ＰＴＸＡ及びＰＴＸＢを順次Ｈｉ、ＬｏとしてＰＤ８０１Ａ及びＰＤ８０１Ｂに蓄積された光電荷をＦＤ１００４に転送する。すると、電荷量に応じたＦＤ１００４の電位変動が垂直出力線２０１にＳ（Ａ＋Ｂ）信号レベル（光成分＋リセットノイズ成分（Ｎ信号））として読み出され、列回路１００９に入力される。Ｓ（Ａ＋Ｂ）信号はアンプ１０１０で所望のゲインで増幅された後、時刻ｔ１１０９、ｔ１１１０で制御信号ＰＳＨを順次Ｈｉ、Ｌｏとしてスイッチ１０１１がオン、オフされるタイミングで容量１０１２に保持される。容量１０１２に保持された電位は比較器１０１３の一方に入力される。時刻ｔ１１１０でスイッチ１０１１がオフされた後、時刻ｔ１１１１からｔ１１１３まで、スロープ電圧発生回路２０４により、参照電圧Ｖｓｌｏｐｅを時刻と共に初期値から減少させていく。参照電圧Ｖｓｌｏｐｅの遷移開始と共に、ＣＬＫをカウンタ１０１４に供給する。ＣＬＫの数に応じてカウンタ１０１４の値は増加していく。そして、比較器１０１３に入力した参照電圧ＶｓｌｏｐｅがＳ（Ａ＋Ｂ）信号と同じレベルになると、比較器１０１３の出力ＣＯＭＰはローレベルとなり、同時にカウンタ１０１４の動作も停止する（時刻ｔ１１１２）。この、カウンタ１０１４の動作が停止した時の値が、Ｓ（Ａ＋Ｂ）信号がＡＤ変換された値となり、Ｓ（Ａ＋Ｂ）信号用メモリ１０１７に保持される。ここで、時刻ｔ１１０４からｔ１１１０までの期間Ｔ３がＳ（Ａ＋Ｂ）信号読み出し期間となる。

続いて、メモリ１０１５、１０１７に保持された信号を水平走査回路２０５により読み出す。時刻ｔ１１１３より、列回路１００９ごとに順次動作させることでメモリ１０１５、１０１７に保持された信号は水平出力線２１６、２１７を通り、デジタル出力処理回路２０７に送られ、そこで差動信号レベル（光成分）が算出される。

このように、制御信号ＰＴＸＡとＰＴＸＢを同時にオンすることにより、ＰＤ８０１Ａ、８０１Ｂに蓄積された電荷を同時にＦＤ１００４に転送して撮像信号を読み出すことができる。

続いて、図１３を参照しながら、撮像面位相差ＡＦモードにおける電荷読み出しについて説明する。撮像面位相差ＡＦモードでは、ＡＦ用の情報と撮像用の情報の両方を取得することができる。

撮像面位相差ＡＦモードにおいても、時刻ｔ１２０７でＡＤ変換されたＮ信号がメモリ１０１５に保持されるまでは、第１の実施形態で説明した図４の時刻ｔ４０７までの駆動と同様なので、説明を省略する。

Ｎ信号読み出し期間が終了した後の時刻ｔ１２０７、ｔ１２０８で制御信号ＰＴＸＡを順次Ｈｉ、ＬｏとしてＰＤ８０１Ａに蓄積された光電荷をＦＤ１００４に転送する。すると、電荷量に応じたＦＤ１００４の電位変動が垂直出力線２０１にＳ（Ａ）信号レベル（光成分＋リセットノイズ成分（Ｎ信号））として読み出され、列回路１００９に入力される。Ｓ（Ａ）信号はアンプ１０１０で所望のゲインで増幅されたのち、時刻ｔ１２０９、ｔ１２１０で制御信号ＰＳＨを順次Ｈｉ、Ｌｏとしてスイッチ１０１１がオン、オフされるタイミングで容量１０１２に保持される。容量１０１２に保持された電位は比較器１０１３の一方に入力される。時刻ｔ１２１０でスイッチ１０１１がオフされた後、時刻ｔ１２１１からｔ１２１３まで、スロープ電圧発生回路２０４により、参照電圧Ｖｓｌｏｐｅを時刻と共に初期値から減少させていく。参照電圧Ｖｓｌｏｐｅの遷移開始と共に、ＣＬＫをカウンタ１０１４に供給する。ＣＬＫの数に応じてカウンタ１０１４の値は増加していく。そして、比較器１０１３に入力した参照電圧ＶｓｌｏｐｅがＳ（Ａ）信号と同じレベルになると、比較器１０１３の出力撮像面位相差ＡＦはローレベルとなり、同時にカウンタ１０１４の動作も停止する（時刻ｔ１２１２）。この、カウンタ１０１４の動作が停止した時の値が、Ｓ（Ａ）信号がＡＤ変換された値となり、Ｓ（Ａ）信号用メモリ１0１６に保持される。

続いて、時刻ｔ１２１３、ｔ１２１４で制御信号ＰＴＸＡ、ＰＴＸＢを順次Ｈｉ、ＬｏとしてＰＤ８０１Ａ及びＰＤ８０１Ｂに蓄積された光電荷をＦＤ１００４に転送する。すると、電荷量に応じたＦＤ１００４の電位変動が垂直出力線２０１にＳ（Ａ＋Ｂ）信号レベル（光成分＋リセットノイズ成分（Ｎ信号））として読み出され、列回路１００９に入力される。Ｓ（Ａ＋Ｂ）信号はアンプ１０１０で所望のゲインで増幅された後、時刻ｔ１２１５、ｔ１２１６で制御信号ＰＳＨを順次Ｈｉ、Ｌｏとしてスイッチ１０１１をオン、オフされるタイミングで容量１０１２に保持される。容量１０１２に保持された電位は比較器１０１３の一方に入力される。時刻ｔ１２１６でスイッチ１０１１がオフされた後、時刻ｔ１２１７からｔ１２１９まで、スロープ電圧発生回路２０４により、参照電圧Ｖｓｌｏｐｅを時刻と共に初期値から減少させていく。参照電圧Ｖｓｌｏｐｅの遷移開始と共に、ＣＬＫをカウンタ１０１４に供給する。ＣＬＫの数に応じてカウンタ１０１４の値は増加していく。そして、比較器１０１３に入力した参照電圧ＶｓｌｏｐｅがＳ（Ａ）信号と同じレベルになると、比較器１０１３の出力ＣＯＭＰはローレベルとなり、同時にカウンタ１０１４の動作も停止する（時刻ｔ１２１８）。この、カウンタ１０１４の動作が停止した時の値が、Ｓ（Ａ＋Ｂ）信号がＡＤ変換された値となり、Ｓ（Ａ＋Ｂ）信号用メモリ１0１７に保持される。ここで、時刻ｔ１２０４からｔ１２１６までが、Ｎ信号が容量１０１２に保持されてから、Ｓ（Ａ＋Ｂ）信号が容量１０１２に保持される時間であり、Ｓ（Ａ＋Ｂ）信号読み出し期間となる。

続いて、メモリ１０１５、１０１６、１０１７に保持された信号を水平走査回路２０５により読み出す工程について説明する。Ｓ（Ａ）信号が読み出された後の時刻ｔ１２１３より、列回路１００９ごとに順次動作させることでメモリ１０１５、１０１６に保持された信号は水平出力線２１６、２１７を通り、デジタル出力処理回路２０７に送られる。そして、差動信号レベル（Ａ像の光成分）が算出される。また、Ｓ（Ａ＋Ｂ）信号が読み出された後の時刻ｔ１２１９より、列回路１００９ごとに順次動作させることでメモリ１０１５、１０１７に保持された信号は水平出力線２１６、２１７を通り、デジタル出力処理回路２０７に送られる。そして、そこで差動信号レベル（撮像画像の光成分）が算出される。

このように、最初に制御信号ＰＴＸＡのみオンしてＡ像信号を読み出し、その後、制御信号ＰＴＸＡとＰＴＸＢを同時にオンして撮像信号（Ａ＋Ｂ像信号）を読み出すことにより、ＡＦ用の情報と撮像用の情報の両方を取得することができる。なお、ＡＦ用のＢ像信号はＡ＋Ｂ像信号からＡ像信号を減算することにより算出することができる。この処理は、信号処理回路１０４で行っても良いし、全体制御・演算回路１０６で行っても良い。

撮像装置１００は、シーンや用途に応じて通常撮影モードと撮像面位相差ＡＦモードを使い分けることができる。この時、Ｎ信号（リセット信号）を読み出した時刻から撮像用信号（Ａ＋Ｂ像信号）が読み出されるまでの時間は、通常撮影モード（Ｔ３）と撮像面位相差ＡＦモード（Ｔ４）とで異なる。Ｔ４の方が、Ａ像信号読み出しを行っている分長くなる。ここで課題となってくるのが、第１の実施形態で説明したようにリーク電流の影響によるノイズ差である。

そこで、第１の実施形態と同様に、撮像用信号が読み出されるまでの時間に応じて補正対象とするキズ補正のレベルや、ノイズ低減処理の強さを変えることで解決することができる。例えば、図７を参照して説明した処理において、Ｓ１１でビット分可能モードを取得する代わりに撮影モードを取得し、Ｓ１４において取得した撮影モードが通常撮影モードであるか否かを判断する。そして、撮像面位相差ＡＦモードの場合に、以下の式（２）によりキズレベルを調整することで、補正対象の画素であるか否かを決定することができる。通常撮影モードで抽出されたリークキズのレベルをＬ３とすると、撮像面位相差ＡＦモードでのリークキズレベルＬ４を、
Ｌ４＝Ｔ４／Ｔ３×Ｌ３×α …（２）
により求める（αはＴ４／Ｔ３×α＞１を満たす任意の係数）。

また、リアルタイムキズ補正やその他のノイズ低減処理に関しても、処理の強さをＳ信号読み出し期間の長さに応じて変えることで、低ノイズの撮影画像を得ることができる。

以上のように、焦点検出が行える構成の撮像素子を備えた撮像装置においても、Ｓ信号読み出し期間の長さに応じて、キズ補正やノイズ低減処理のレベルを変えることで、精度良く適切なノイズ低減処理を実施することが可能となる。

なお、上述した例では、全ての画素が図９に示す構成を有するものとして説明したが、本発明はこれに限るものではなく、少なくとも一部の画素を図９に示す構成とすることで、撮像面位相差ＡＦを行うことが可能である。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第２の実施形態において、図１１に示す撮像素子１０３の駆動方法について２つのモードを説明した。撮像面位相差ＡＦモードにおいては、ＡＦ用の情報と撮像用の情報の両方を取得可能であるが、Ａ像信号を読み出してから、Ａ＋Ｂ像信号を読み出すため、通常撮影モードに比べて１枚の画像取得に必要な読み出し時間が長くなりフレームレートが下がってしまう。

そこで、１フレームにおいて、撮像面位相差ＡＦモードで読み出す行と通常撮影モードで読み出す行を混在させれば、フレームレートを大きく落とすことなくＡＦ用情報を得ることが可能である。以下、このモードを行選択的撮像面位相差ＡＦモードと呼ぶ。

図１４は、撮像素子１０３の画素領域における、行選択的撮像面位相差ＡＦモードでの読み出し方の一例を示す図である。各行における読み出しモードを示しており、ここでは４行のうち１行をＡＦ用情報を取得するために撮像面位相差ＡＦモードで読み出す駆動とし、その他の３行を通常撮影モードで読み出す駆動としている。このように、行単位で所定の割合で、撮像面位相差ＡＦモードと通常撮影モードとによる読み出しを交互に行う。

通常読み出しモード、撮像面位相差ＡＦモードそれぞれの駆動は、第２の実施形態で説明した図１２、図１３のタイミングチャートと同様に駆動することで実施可能である。

図１４に示したような行選択的撮像面位相差ＡＦモードの場合、１フレーム内で行によってＳ信号読み出し期間の長さが異なることになる。すなわち、リーク電流の影響により、行によってノイズ差が出てしまい、ノイズ差が大きい場合は、横縞ノイズとなって画質劣化の要因となってしまう。

そこで、第３の実施形態においては、１フレーム内の通常撮影モード行と撮像面位相差ＡＦモード行とで、キズ補正のレベルや、ノイズ低減処理の強さを変える。撮影時に予め、どの行がどのモードで信号読み出しを行うかを記憶しておき、その情報に応じてキズ補正のレベルやノイズ低減処理の強さを変えることで実施可能である。

以上のように、１フレーム内で行によってＳ信号読み出し期間が異なる駆動となる行選択的撮像面位相差ＡＦモード駆動において、Ｓ信号読み出し期間の長さに応じて、キズ補正やノイズ低減処理のレベルを変えることで、精度良く適切なノイズ低減処理を実施することが可能となる。

１００：撮像装置、１０１：撮像レンズ、１０３：撮像素子、１０４：信号処理回路、１０５：タイミング発生回路、１０６：全体制御・演算回路、２０３：列回路、２０４：スロープ電圧発生回路、２０７：デジタル出力処理回路、３０１、８０１Ａ、８０１Ｂ：：フォトダイオード（ＰＤ）、３１３、１０１３：比較器、３１４、１０１４：カウンタ、３１５、３１６、１０１５、１０１６、１０１７：メモリ

Claims (11)

1. 撮像素子と、該撮像素子から読み出された信号を処理して画像を生成する画像処理手段とを有する撮像装置であって、
   前記撮像素子が、
   複数のマイクロレンズと、
   前記複数のマイクロレンズそれぞれに、少なくとも１つの光電変換部が対応するように構成された複数の光電変換部と、
   前記複数の光電変換部から撮像信号を読み出す読み出し手段と、
   読み出された撮像信号を保持するメモリとを有し、
   前記撮像素子は、前記読み出し手段が前記複数の光電変換部に蓄積された撮像信号を読み出して前記メモリに保持するまでの信号読み出し期間が異なる、少なくとも２つ以上の駆動方法により駆動され、
   前記画像処理手段は、前記読み出された撮像信号のノイズを低減するノイズ低減処理を行うノイズ低減手段を備え、該ノイズ低減手段は、前記読み出された撮像信号のうち、前記ノイズ低減処理を行う撮像信号を判定して前記ノイズ低減処理を行い、該判定を行う際に、前記信号読み出し期間の異なる２つ以上の駆動方法において該判定のレベルを調整することを特徴とする撮像装置。
2. 前記ノイズ低減手段は、前記信号読み出し期間が第１の期間の場合に、前記第１の期間よりも短い第２の期間の場合よりも前記ノイズ低減処理を行う撮像信号と判定されやすくなるように前記判定のレベルを調整することを特徴とする請求項１に記載の撮像装置。
3. 予め決められた条件で撮影を行った場合に、欠陥が現れる撮像信号に対応した光電変換部のアドレスと、欠陥の種類と、欠陥のレベルとを含む欠陥情報を予め記憶した記憶手段を更に有し、
   前記ノイズ低減手段は、前記信号読み出し期間に応じて前記欠陥のレベルが変わる種類の欠陥に対して、前記予め決められた条件における信号読み出し期間と、前記撮像信号の読み出しにかかった信号読み出し期間との比に応じて、前記欠陥のレベルを調整することを特徴とする請求項１または２に記載の撮像装置。
4. 前記ノイズ低減手段は前記撮像素子の感度を取得し、該感度が第１の感度の場合、前記第１の感度よりも低い第２の感度の場合よりもより低い欠陥のレベルで前記ノイズ低減処理を行うと判定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記ノイズ低減手段は、撮影ごとに前記撮像信号のレベルに応じて欠陥画素を検出して補正する処理を行い、前記欠陥画素を検出するための閾値は、前記信号読み出し期間が第３の期間の場合に、前記第３の期間よりも短い第４の期間の場合よりも低いことを特徴とする請求項１または２に記載の撮像装置。
6. 前記メモリに保持された信号をアナログデジタル変換する変換手段を更に有し、
   前記読み出し手段は、前記撮像信号に先立って前記撮像素子からリセットレベルの信号を読み出して前記メモリに保持し、前記変換手段により前記保持されたリセットレベルの信号の変換が終了してから、前記撮像信号の読み出しを開始することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記駆動方法は、前記変換手段に異なるビット数のデジタル信号に変換させる駆動方法を含み、ビット数が多いほど、前記信号読み出し期間が長くなることを特徴とする請求項６に記載の撮像装置。
8. 前記読み出し手段は、前記複数の光電変換部の撮像信号を予め決められた数ずつ加算して読み出し、
   前記ノイズ低減手段は、前記加算数が同じで、かつ前記信号読み出し期間の長さが異なる場合に、前記判定のレベルを調整することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記撮像素子は、前記複数のマイクロレンズの少なくとも一部のマイクロレンズそれぞれに、複数の光電変換部が対応するように構成され、
   前記駆動方法は、前記各マイクロレンズに対応する前記複数の光電変換部からの前記撮像信号を加算して読み出す第１の駆動方法と、前記複数の光電変換部それぞれの前記撮像信号を取得可能に読み出す第２の駆動方法とを含み、
   前記第１の駆動方法よりも、前記第２の駆動方法による前記信号読み出し期間が長いことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
10. 前記読み出し手段は、各フレームにおいて、前記第１の駆動方法と前記第２の駆動方法による読み出しを、予め決められた割合で行単位で行うことを特徴とする請求項９に記載の撮像装置。
11. 複数のマイクロレンズと、前記複数のマイクロレンズそれぞれに、少なくとも１つの光電変換部が対応するように構成された複数の光電変換部と、前記複数の光電変換部から撮像信号を読み出す読み出し手段と、読み出された撮像信号を保持するメモリとを有する撮像素子と、該撮像素子から読み出された信号を処理して画像を生成する画像処理手段とを有する撮像装置の制御方法であって、
    前記撮像素子は、前記読み出し手段が前記複数の光電変換部に蓄積された撮像信号を読み出して前記メモリに保持するまでの信号読み出し期間が異なる、少なくとも２つ以上の駆動方法により駆動され、前記画像処理手段は、前記読み出された撮像信号のノイズを低減するノイズ低減処理を行うノイズ低減手段を備え、
    前記ノイズ低減手段が、前記撮像信号の読み出しに用いられた駆動方法による信号読み出し期間を取得する取得工程と、
    前記ノイズ低減手段が、前記信号読み出し期間の異なる２つ以上の駆動方法において、前記読み出された撮像信号のうち、前記ノイズ低減処理を行う撮像信号を判定するレベルを調整する調整工程と、
    前記調整されたレベルに応じて前記ノイズ低減処理を行う撮像信号を判定する判定工程と
    を有することを特徴とする撮像装置の制御方法。

Images