JP6259492B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、静止画像や動画像を撮像する画像処理装置及び画像処理方法に関し、特に撮像装置の構成要素である撮像素子の光電変換部が分割構造を有する場合において欠陥画素を検出する技術に関するものである。

従来、ＣＣＤ、ＣＭＯＳ等の固体撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の撮像装置が多く存在する。

これらの撮像装置に搭載される固体撮像素子に関する技術の一例として、固体撮像素子を構成する複数画素のうち、一部または全ての画素の光電変換部を複数に分割したもの（分割画素）が、特許文献１などにおいて提案されている。このような撮像素子の用途としては、分割された光電変換部のそれぞれから得られる出力信号を基に、瞳分割方式の焦点検出を行ったり、立体画像を生成することなどがあげられる。また、分割された光電変換部の出力を分割画素毎に加算することで、通常の撮像信号として使用することも可能である。

ところで、近年の電子カメラでは、数百万から数千万の画素を有する撮像素子を搭載するものが多く存在しているが、その全ての画素が適正に入射光量に応じた電気信号への変換を行う撮像素子を製造するのは非常に困難である。そして現実には、撮像素子の「画素」に正常には動作しないいくつかの「欠陥画素」が混ざってしまう。

そこで、従来の撮像装置においては、このような欠陥画素の位置に相当する画像信号について、その周辺の画素の画像信号を用いた補間処理などを行い、最終的に生成される画像に対する補正を行っている。

また、補正対象となる欠陥画素の検出についてはいくつか方法があり、例えば撮像装置もしくは撮像素子の製造工程において、撮影された画像を基にして検出された欠陥画素のアドレスを記録し、撮像装置のメモリに保存しておく方法がある。

また、別の検出方法としては、撮像装置による撮影毎に、検出対象の画素からの画像信号と、その周辺の画素からの画像信号とのレベル差などから欠陥画素か否かを判定する、リアルタイム欠陥画素検出方法があり、特許文献２などにおいて提案されている。

特開２００３−２４４７１２号公報 特開昭６１−２６１９７４号公報

しかしながら、前述のような分割画素を有する撮像素子を用いた固体撮像装置における欠陥画素検出においては、以下のような問題があった。即ち、検出対象である画素が、欠陥画素であるか、それとも正しく被写体情報を出力している正常画素であるかを、常に正確に判定することは困難である。そのため、正常画素を誤って欠陥画素であると判定してしまった場合、実際の被写体からの入射光による画像信号を、不必要に補正してしまう誤補正の危険性もあった。具体的には、前述のような分割画素の複数の光電変換部からそれぞれ得られる出力値は、その分割画素の近傍で被写体が結像していない状態では、互いに異なる値となる。そのため、周辺画素の出力値との比較により、該当画素が欠陥画素であるかを判定する欠陥画素検出方法では、撮影レンズの状態によっては正しい検出ができないという問題があった。

本発明は上記問題点を鑑みてなされたものであり、分割画素を有する撮像素子を用いた撮像装置から出力される出力信号に対する、欠陥画素信号の検出精度を上げることを目的とする。

上記目的を達成するために、マイクロレンズと、該マイクロレンズを共有する複数の光電変換手段とを各々が有する複数の画素を備えた撮像素子から出力される出力信号に対して判定を行う本発明の画像処理装置は、前記複数の光電変換手段のうち、判定対象の光電変換手段から出力される出力信号と、前記判定対象の光電変換手段を有する画素の周辺の画素に含まれる、前記判定対象の光電変換手段と前記マイクロレンズに対する位置関係が対応する光電変換手段からの出力信号とを比較することによって、前記判定対象の光電変換手段の欠陥に関する情報を出力する第１の判定処理と、前記複数の画素のうち、判定対象の画素に含まれる前記複数の光電変換手段の出力信号の合計と、前記判定対象の画素の周辺の画素に含まれる、前記複数の光電変換手段の出力信号の合計とを比較することによって、前記判定対象の画素の欠陥に関する情報を出力する第２の判定処理を行う欠陥画素判定手段を有する。

本発明は、分割画素を有する撮像素子を用いた撮像装置から出力される出力信号に対する、欠陥画素信号の検出精度を上げることができる。

本発明の第１の実施形態にかかる撮像装置の概略構成を示すブロック図。 第１実施形態における撮像素子の画素配列を説明する図。 第１実施形態における１画素の概略断面及び回路構成を示す図。 第１実施形態における撮像素子の構成を説明する回路図。 第１実施形態における第１の駆動タイミングを示すタイミングチャート。 第１実施形態における第１の欠陥画素検出方法の説明図。 第１実施形態における第２の欠陥画素検出方法の説明図。 第１実施形態における欠陥画素補正手順を示すフローチャート。 本発明の第２の実施形態にかかる撮像装置の概略構成を示すブロック図。 第２の実施形態における撮像素子の画素配列を説明する図。 第２の実施形態における撮像素子の構成を説明する回路図。 第２の実施形態における第１の駆動タイミングを示すタイミングチャート。 第２の実施形態における第２の駆動タイミングを示すタイミングチャート。 第２の実施形態における第１の欠陥画素検出方法の説明図。 第２の実施形態における第２の欠陥画素検出方法の説明図。 第２の実施形態における第３の欠陥画素検出方法の説明図。 第２の実施形態における欠陥画素補正手順を示すフローチャート。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。

図１は、本第１の実施形態における撮像装置の概略構成を示すブロック図である。

図１において、１０１は撮影レンズ及び絞りからなる光学系、１０２はメカニカルシャッタ、１０３は、入射光を電気信号に変換する光電変換部と電気信号を増幅させる信号増幅回路とを含む、入射光を電気信号に変換する撮像素子である。

また、１０６は撮像素子１０３から出力される画像信号に対してアナログ信号処理を行うアナログ信号処理回路である。アナログ信号処理回路１０６は、相関二重サンプリングを行うＣＤＳ回路１０７、アナログ信号を増幅させる信号増幅器１０８、水平ＯＢクランプを行うクランプ回路１０９、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器１１０を含む。

１１１は撮像素子１０３及びアナログ信号処理回路１０６を動作させる信号を発生するタイミング信号発生回路、１１２は光学系１０１及びメカニカルシャッタ１０２の駆動回路である。また、１２８は、Ａ／Ｄ変換器１１０によりデジタル信号に変換された画像信号から撮像用信号と測距用信号とを生成し、必要なデジタル信号処理を行う第２のデジタル信号処理回路であり、信号生成回路１２９、補正回路１３０、相関演算回路１３１を含む。信号生成回路１２９は、デジタル画像信号から撮像用信号と測距用信号を生成する。補正回路１３０は、信号生成回路１２９により生成された測距用信号に対し各種補正処理を行い、相関演算回路１３１は、測距用信号に相関演算処理を施すことにより被写体までの距離の算出に使用する測距データを生成する。

１１３は第２のデジタル信号処理回路１２８から出力された撮像用信号（画像データ）及び測距データに必要なデジタル信号処理を行うデジタル信号処理回路である。デジタル信号処理回路１１３は、画像データに対して必要な補正処理を行う画像補正回路１１４、画像補正回路１１４により補正処理されたデジタル信号を増幅させる信号増幅回路１１５、画像データに対し、必要な画像処理を行う画像処理回路１１６を含む。なお、画像補正回路１１４及び画像処理回路１１６で行われる処理については、後述する。

１１７は処理された画像データを記憶する画像メモリ、１１８は撮像装置から取り外し可能な記録媒体、１１９は信号処理された画像データを記録媒体１１８に記録する記録回路である。１２０は信号処理された画像データを表示する画像表示装置、１２１は画像表示装置１２０に画像を表示する表示回路である。

１２２は撮像装置全体を制御するシステム制御部である。１２３はシステム制御部１２２で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及び、キズアドレス等の補正データを記憶しておく不揮発性メモリ（ＲＯＭ）である。１２４は不揮発性メモリ１２３に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部１２２が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）である。

１２５は撮像素子１０３あるいはその周辺回路の温度を検出する温度検出回路である。また、１２６は撮像素子１０３の蓄積時間を設定する蓄積時間設定回路、１２７はＩＳＯ感度設定などの撮影条件設定や、静止画撮影及び動画撮影を含む撮影モードの切り替えなどを行う、撮影モード設定回路である。

ここで、上記構成を有する撮像装置における撮影動作について説明する。なお、撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１２２の動作開始時において、不揮発性メモリ１２３から必要なプログラム、制御データ及び補正データを揮発性メモリ１２４に転送して記憶しておく。これらのプログラムやデータは、システム制御部１２２が撮像装置を制御する際に使用される。また、必要に応じて、追加のプログラムやデータを不揮発性メモリ１２３から揮発性メモリ１２４に転送したり、システム制御部１２２が直接不揮発性メモリ１２３内のデータを読み出して使用したりするものとする。

まず、光学系１０１は、システム制御部１２２からの制御信号により、絞りと撮影レンズを駆動して、適切な明るさになるように制御された被写体像を撮像素子１０３上に結像させる。次に、メカニカルシャッタ１０２は、静止画像撮影時においては、システム制御部１２２からの制御信号により、必要な露光時間となるように撮像素子１０３の動作に合わせて撮像素子１０３を遮光するように駆動される。この時、撮像素子１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と併用して、必要な露光時間を確保してもよい。また、メカニカルシャッタ１０２は、動画像撮影時においては、システム制御部１２２からの制御信号により、撮影中は常に撮像素子１０３が露光されるように、開放状態で維持される。

撮像素子１０３は、システム制御部１２２により制御されるタイミング信号発生回路１１１が発生する動作パルスを基にした駆動パルスで駆動される。光電変換部において被写体像を光電変換により電気信号に変換し、信号増幅回路において入射光量に応じて設定された増幅率のゲインを電気信号にかけ、アナログ画像信号として出力する。

撮像素子１０３から出力されたアナログの画像信号は、システム制御部１２２により制御されるタイミング信号発生回路１１１が発生する動作パルスにより、アナログ信号処理回路１０６のＣＤＳ回路１０７でクロック同期性ノイズを除去する。更に、信号増幅器１０８で入射光量に応じて設定された増幅率のゲインをかけ、クランプ回路１０９で水平ＯＢ領域の信号出力を基準電圧としてクランプし、Ａ／Ｄ変換器１１０でデジタル画像信号に変換される。

次に、アナログ信号処理回路１０６から出力されたデジタル画像信号に対して、システム制御部１２２により制御される第２のデジタル信号処理回路１２８において、処理を行う。まず、デジタル画像信号を基に、信号生成回路１２９で撮像用信号と測距用信号を生成する。信号生成回路１２９で生成された撮像用信号はそのまま出力する。一方、信号生成回路１２９で生成された測距用信号は、補正回路１３０において本発明に係るキズ検出及びキズ補正や平滑化処理などの各種補正処理を施した後、相関演算回路１３１において相関演算処理を行うことで、測距データを生成し、出力する。

次に、第２のデジタル信号処理回路１２８から出力された撮像用信号に対して、システム制御部１２２により制御されるデジタル信号処理回路１１３において、処理を行う。まず、撮像用信号に対し、画像補正回路１１４で本発明に係るキズ検出及びキズ補正、更に、ダークシェーディング補正などの各種画像補正処理を施し、信号増幅回路１１５で入射光量に応じて設定された増幅率のゲインをかける。更に、画像処理回路１１６で色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等の各種画像処理を行う。この時、画像メモリ１１７は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。

デジタル信号処理回路１１３で信号処理された画像データや画像メモリ１１７に記憶されている画像データは、記録回路１１９において記録媒体１１８に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換される。そして記録媒体１１８に記録される。あるいは、デジタル信号処理回路１１３で解像度変換処理された画像データは、表示回路１２１において画像表示装置１２０に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置１２０に表示されたりする。

ここで、デジタル信号処理回路１１３においては、システム制御部１２２からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ１１７や記録回路１１９に出力してもよい。また、デジタル信号処理回路１１３は、システム制御部１２２から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１２２に出力する。画像データの情報としては、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報を含む。さらに、記録回路１１９は、システム制御部１２２から要求があった場合に、記録媒体１１８の種類や空き容量等の情報をシステム制御部１２２に出力する。

次に、記録媒体１１８に画像データが記録されている場合の再生動作について説明する。システム制御部１２２からの制御信号により、記録回路１１９は記録媒体１１８から画像データを読み出す。そして、同じくシステム制御部１２２からの制御信号によりデジタル信号処理回路１１３は、読み出した画像データが圧縮画像であった場合には画像伸長処理を行い、画像メモリ１１７に記憶する。更に、画像メモリ１１７に記憶された画像データは、デジタル信号処理回路１１３で解像度変換処理を実施された後、表示回路１２１において画像表示装置１２０に適した信号に変換されて画像表示装置１２０に表示される。

なお、第２のデジタル信号処理回路１２８から出力された測距データは、デジタル信号処理回路１１３を介してシステム制御部１２２に送られる。システム制御部１２２はこの測距データを基に、被写体までの距離を算出し、その結果を基に、駆動回路１１２を制御して光学系１０１を駆動させる。

図２は本第１の実施形態における撮像素子１０３の画素配列を説明する配置図である。

図２において、図中（０，０）、（１，０）、（０，１）等で示される各領域は、撮像素子１０３における１画素を示し、画素毎に１つのマイクロレンズが配置されている。また、各画素において、ａ、ｂで示される各領域は、それぞれ光電変換部であり、画素毎に配置された１つのマイクロレンズを共有する。以下、本第１の実施形態においては、各画素を構成する光電変換部ａ、ｂの出力信号を撮像素子１０３内で加算した出力を、画素出力と呼ぶ。また、本第１の実施形態においては、光電変換部ａ、ｂそれぞれの出力を分割出力と呼ぶ。そして、分割出力を焦点検出用信号や立体画像生成用信号等として使用する場合には、光電変換部ａの分割出力と光電変換部ｂの分割出力の２つの信号を利用する。

また、図２を参照して説明する第１の実施形態においては、各画素は、２×１に配列された２つの光電変換部で構成されており、同一記号の光電変換部ａ、ｂは、マイクロレンズとの位置関係において、それぞれ対応する位置にあることを示している。また、画素毎に記された「Ｒ」、「Ｇ」、「Ｂ」の文字は、各画素上に形成されるカラーフィルタの色相を表す。

図３は本発明の第１の実施形態における１画素分の概略断面及び回路構成を示す図である。図３において、４１１はＰ型ウェル、４１２はＳｉＯ_２膜で構成されたゲート絶縁膜である。４１４ａ及び４１４ｂは、Ｐ型ウェル４１１の表面に形成されたＰ＋層であり、ｎ層４１３ａ及び４１３ｂと共に光電変換領域４１５ａ及び４１５ｂを構成する。４０３ａ及び４０３ｂは、光電変換領域４１５ａ及び４１５ｂで発生した信号電荷をフローティングディフュージョン（ＦＤ）部４０７へ転送するための転送スイッチである。４４１はカラーフィルタ、４４２はマイクロレンズ（オンチップレンズ）であり、マイクロレンズ４４２は、光学系１０１に含まれる撮影レンズの瞳と撮像素子１０３のフォトダイオード４０２ａ及び４０２ｂとが略共役になるような形状及び位置に形成される。

図４は第１の実施形態における撮像素子１０３の画素部の一例として、ＣＭＯＳ撮像素子を説明する回路図である。図４に示すように、各画素は、画素毎に配置される２つの光電変換部４０１ａ、４０１ｂと、１つの画素共通部４０８により構成されている。

光電変換部４０１ａは、光電変換素子であるフォトダイオード４０２ａと、フォトダイオード４０２ａの光電変換によって生成された電荷をパルスＰＴＸａによって転送する転送スイッチ４０３ａで構成されている。なお、光電変換部４０１ｂも光電変換部４０１ａと同様の構成を有する。

画素共通部４０８は、光電変換部４０１ａ、４０１ｂそれぞれの各転送スイッチ４０３ａ、４０３ｂによって転送された電荷を蓄積するＦＤ部４０７を含む。即ち、２つの光電変換部４０１ａ、４０１ｂに対し、１つのＦＤ部４０７が接続された構成を有する。画素共通部４０８は、また、ＭＯＳトランジスタ４０６のゲートと接続されたＦＤ部４０７をリセットパルスＰＲＥＳによって電位ＳＶＤＤのレベルにリセットするリセットスイッチ４０４を含む。更に、画素共通部４０８は、ＦＤ部４０７に蓄積された電荷をソースフォロワとして増幅するＭＯＳトランジスタ４０６と、不図示の垂直走査回路により読み出す行を選択させるための選択パルスＰＳＥＬにより制御される行選択スイッチ４０５とを含む。

なお、図４を参照して説明した撮像素子１０３の画素部の構成においては、フォトダイオード４０２ａ、４０２ｂで光電変換された電荷は、転送スイッチ４０３ａ、４０３ｂを制御することによって、いずれもＦＤ部４０７に転送されるような構成としている。

行選択スイッチ４０５によって選択された行の画素の電荷は、行選択スイッチ４０５と負荷電流源４２１で構成されたソースフォロワ回路により垂直出力線４２２に出力される。信号出力パルスＰＴＳ１ａは転送ゲート４２５をＯＮとして、垂直出力線４２２に出力された信号を転送容量ＣＴＳ１ａ４２７に蓄積させる。また、信号出力パルスＰＴＳ１ａｂは転送ゲート４３３をＯＮとして、垂直出力線４２２に出力された信号を転送容量ＣＴＳ１ａｂ４３４に蓄積させる。そして、ノイズ出力パルスＰＴＮ１は転送ゲート４２４をＯＮとして、転送容量ＣＴＮ１ ４２６に蓄積させる。

信号転送パルスＰＴＳ２ａは転送ゲート４３６をＯＮとして、転送容量ＣＴＳ１ａ４２７に蓄積された信号を転送容量ＣＴＳ２ ４３９に蓄積させる。また、信号転送パルスＰＴＳ２ａｂは転送ゲート４３７をＯＮとして、転送容量ＣＴＳ１ａｂ４３４に蓄積された信号を同じく転送容量ＣＴＳ２ ４３９に蓄積させる。そして、ノイズ転送パルスＰＴＮ２は転送ゲート４３５をＯＮとして、転送容量ＣＴＮ２ ４３８に蓄積させる。

続けて不図示の水平走査回路からの制御信号ＰＨＳ、ＰＨＮにより、転送ゲート４２８、４２９を介してノイズ成分は容量ＣＨＮ４３０に、信号成分は容量ＣＨＳ４３１に蓄えられ、両者の差分を差動アンプ４３２によって画素信号として出力する。

なお、図４において、垂直出力線４２２より後段にある転送ゲート４２４、４２５、４３３、４３５、４３６、４３７は、各列毎に設けられている。また、転送ゲート４２８、４２９より後段の構成は、複数列毎にまとめられ、撮像素子１０３の出力端子の数と同数を有している。

図５は第１の実施形態における駆動タイミング（読み出し方法）を示すタイミングチャートである。図５を参照して説明する駆動タイミングは、図２において説明した光電変換部ａの分割出力信号ａと、光電変換部ａからの分割出力信号ａと光電変換部ｂからの分割出力信号ｂとを加算した画素出力信号ａｂを、連続で読み出すための駆動タイミングである。以下、図４及び図５を参照して、駆動タイミングについて説明する。

まず、ＨＢＬＫ１ａ、ＨＢＬＫ２ａ及びＨＳＲａの期間に、光電変換部４０１ａの分割出力信号の読み出しを行う。１水平走査期間の開始を示す信号ＨＤの立下りに伴い、不図示の回路により垂直出力線４２２は定電位にリセットされる。その後、ＰＲＥＳ信号をロー（Ｌ）レベルにしてリセットスイッチ４０４がＯＮされることにより、期間Ｔ１ａの間にＭＯＳトランジスタ４０６のゲートに設けられたＦＤ部４０７の容量に蓄積された電荷が定電位ＳＶＤＤになるようにリセットされる。

続いてＰＲＥＳ信号をハイ（Ｈ）レベルとしＭＯＳトランジスタ４０６をＯＦＦとした後、ＰＳＥＬ信号をＨレベルにすることで、行選択スイッチ４０５と負荷電流源４２１で構成されたソースフォロワ回路が動作状態になる。これにより、垂直出力線４２２上にリセットされたＦＤ部４０７の電位に応じたノイズがＭＯＳトランジスタ４０６を介して出力される。このＰＳＥＬ信号がハイレベルの期間にＰＴＮ信号をハイレベルにすることで、ノイズ成分を蓄積する転送容量ＣＴＮ１ ４２６が垂直出力線４２２と接続され、この転送容量ＣＴＮ１ ４２６はノイズ成分の信号を保持するようになる。

続いて、光電変換素子で発生した光電荷とノイズ成分の混合信号の蓄積が行われる。まず垂直出力線４２２は、不図示の回路により、定電位にリセットされる。その後ＰＴＸａ信号がＨレベルにされ、フォトダイオード４０２ａに蓄積された光電荷が期間Ｔ３ａの間に転送スイッチ４０３ａのＯＮにより、ＦＤ部４０７に転送される。その際、ＰＳＥＬ信号はＨレベルのままであるためソースフォロワ回路が動作状態となり、垂直出力線４２２上にＦＤ部４０７の電位に応じた「光信号＋ノイズ信号」がＭＯＳトランジスタ４０６を介して出力される。この期間Ｔ３ａを内包する期間Ｔ４ａの間に、ＰＴＳ１ａ信号をＨレベルにすることで、「光電荷成分＋ノイズ成分」を蓄積する転送容量ＣＴＳ１ａ４２７が垂直出力線４２２と接続される。これにより、転送容量ＣＴＳ１ａ４２７は光電荷成分＋ノイズ成分の信号を保持するようになる。

上述のように、１行分のノイズ成分と、フォトダイオード４０２ａで発生した光信号＋ノイズ成分が、それぞれ転送容量ＣＴＮ１ ４２６、ＣＴＳ１ａ４２７に蓄積される。

次に、期間ＨＢＬＫ２ａの間に、転送容量ＣＴＮ１ ４２６、ＣＴＳ１ａ４２７に蓄積された２つの信号を、不図示の水平シフトレジスタにより制御される制御パルスＰＴＮ２、ＰＴＳ２ａによってそれぞれ容量ＣＴＮ２ ４３８、ＣＴＳ２ ４３９に転送する。

次に、期間ＨＳＲａの間に、転送容量ＣＴＮ２ ４３８、ＣＴＳ２ ４３９に蓄積された２つの信号を、不図示の水平シフトレジスタにより制御される制御パルスＰＨＮ、ＰＨＳによってそれぞれ容量ＣＨＮ４３０、ＣＨＳ４３１に転送する。そして容量ＣＨＮ４３０、ＣＨＳ４３１に蓄積されたノイズ成分と光信号＋ノイズ成分は、差動アンプ４３２によって、（光信号＋ノイズ成分）−ノイズ成分の処理が行われ、光信号となって、分割出力信号ａとして出力される。

また、期間ＨＢＬＫ２ａ及び期間ＨＳＲａと時を同じくして、ＨＢＬＫ１ａｂの期間に、制御信号ＰＴＸａ、ＰＴＸｂ、ＰＲＥＳ、ＰＳＥＬを制御し、光電変換部４０１ａと光電変換部４０１ｂの信号を加算した画素出力信号ａｂの読み出しを行う。

まず、光電変換素子で発生した光電荷とノイズ成分の混合信号の蓄積が行われる。まず垂直出力線４２２は、不図示の回路により、定電位にリセットされる。その後ＰＴＸａ信号及びＰＴＸｂ信号がＨレベルにされ、フォトダイオード４０２ａ、４０２ｂに蓄積された光電荷が期間Ｔ３ａｂの間に転送スイッチ４０３ａ及び４０３ｂのＯＮにより、ＦＤ部４０７に転送される。その際、ＰＳＥＬ信号はＨレベルのままであるためソースフォロワ回路が動作状態となり、垂直出力線４２２上にＦＤ部４０７の電位に応じた「光信号＋ノイズ信号」がＭＯＳトランジスタ４０６を介して出力される。この期間Ｔ３ａｂを内包する期間Ｔ４ａｂの間に、ＰＴＳ１ａｂ信号をＨレベルにすることで、「光電荷成分＋ノイズ成分」を蓄積する転送容量ＣＴＳ１ａｂ４３４が垂直出力線４２２と接続される。これにより、転送容量ＣＴＳ１ａｂ４３４は光電荷成分＋ノイズ成分の信号を保持するようになる。

上述のように、フォトダイオード４０２ａ及びフォトダイオード４０２ｂで発生した光信号＋ノイズ成分が、転送容量ＣＴＳ１ａｂ４３４に蓄積される。

次に、期間ＨＢＬＫ２ａｂの間に転送容量ＣＴＮ１ ４２６、ＣＴＳ１ａｂ４３４に蓄積された２つの信号を、不図示の水平シフトレジスタにより制御される制御パルスＰＴＮ２、ＰＴＳ２ａｂによりそれぞれ容量ＣＴＮ２ ４３８、ＣＴＳ２ ４３９に転送する。

次に、期間ＨＳＲａの間に、転送容量ＣＴＮ２ ４３８、ＣＴＳ２ ４３９に蓄積された２つの信号を、不図示の水平シフトレジスタにより制御される制御パルスＰＨＮ、ＰＨＳによってそれぞれ容量ＣＨＮ４３０、ＣＨＳ４３１に転送する。そして容量ＣＨＮ４３０、ＣＨＳ４３１に蓄積されたノイズ成分と光信号＋ノイズ成分は、差動アンプ４３２によって、（光信号＋ノイズ成分）−ノイズ成分の処理が行われ、光信号となって、画素出力信号ａｂとして出力される。

以上により、２×１に並ぶ２つの光電変換部の、光電変換部４０１ａからの分割出力信号及び、光電変換部４０１ａからの分割出力信号と光電変換部４０１ｂからの分割出力信号を加算した画素出力信号の読み出しを完了する。

図６は第１の実施形態における第１の欠陥画素検出方法を説明する図である。この第１の欠陥画素検出方法は、複数の同色画素において、互いに対応する位置にある光電変換部からの分割出力値を比較することで欠陥画素を検出する方法である。

ここでは、図２に示す画素（２，３）の光電変換部ａを欠陥検出の処理対象であるものとして説明する。この場合、画素（２，３）の光電変換部ａの分割出力値を、周辺の同色画素における同じ側にある光電変換部である、画素（０，１）、（２，１）、（４，１）、（０，３）、（４，３）のそれぞれの光電変換部ａの分割出力値と比較する。ここでは、例えば上述した周辺５画素の光電変換部ａの分割出力値の平均値等と比較するが、比較の方法はこれに限るものではなく、様々な方法が考えられる。例えば、画素（２，３）の光電変換部ａの分割出力値を５倍して、周辺５画素の光電変換部ａの分割出力値の合計と比較してもよい。また、画素（２，３）の光電変換部ａの分割出力値と、周辺５画素の光電変換部ａの分割出力値それぞれとの差分を求めて加算及び／または平均するなど、他の方法であっても構わない。

そして、その差が予め定められた第１のキズ検出閾値α（第１の閾値）以下の場合には、検出対象の画素（２，３）の光電変換部ａは欠陥画素ではないと判定する。また、第１のキズ検出閾値αよりも大きい場合には、欠陥画素であると判定し、キズ画素として検出する。

そして、上述した検出処理を、撮像素子１０３に含まれる複数の光電変換部を順次検出対象として、全ての光電変換部について繰り返し行う。ただし、予め欠陥があると分かっている光電変換部に関しては、検出処理を行わなくても構わない。

第１の欠陥画素検出方法は、マイクロレンズに対して同じ位置にある光電変換部同士の比較による検出方法であるため、検出対象画素近傍の被写体に対するデフォーカス量に左右されにくい検出が可能である。

図７は第１の実施形態における第２の欠陥画素検出方法を説明する図である。この第２の欠陥画素検出方法は、周辺の画素の画素出力値を比較することで欠陥画素を検出する方法である。

図７においては、図２に示す画素（２，３）を欠陥検出の処理対象であるものとして説明する。即ち、第２の欠陥画素検出方法は、各画素の光電変換部ａ、ｂの分割信号を画素内で加算し、画素出力として一括して読み出した場合の検出方法である。例えば、画素（２，３）の光電変換部ａが欠陥画素であった場合、その欠陥画素である光電変換部ａを含む画素（２，３）を欠陥画素として検出することができる。第２の欠陥画素検出方法では、画素（２，３）の画素出力値を、周辺の同色画素である、画素（０，１）、（２，１）、（４，１）、（０，３）、（４，３）それぞれの画素出力値と比較する。ここでは、例えば上述した５つの画素出力値の平均値等と比較するが、比較の方法はこれに限るものではなく、上述した第１の欠陥画素検出方法と同様に様々な方法が考えられる。

そして、その差が予め定められた第２のキズ検出閾値β（第２の閾値）以下の場合には、検出対象の画素（２，３）は欠陥画素ではないと判定し、第２のキズ検出閾値βよりも大きい場合には、欠陥画素であると判定し、キズ画素として検出する。

そして、上述した検出処理を、撮像素子１０３に含まれる複数の画素を順次検出対象として、全ての画素について繰り返し行う。ただし、予め欠陥があると分かっている画素に関しては、検出処理を行わなくても構わない。

図８は第１の実施形態における欠陥画素補正手順の一例を説明するフローチャートである。

図８において、まず、静止画撮影、動画撮影、立体画像撮影等のモード設定が撮影モード設定回路１２７等によってなされ（Ｓ８０１）、そのモードに応じて、感度、絞り値、露光時間などの撮影条件が初期設定される（Ｓ８０２）。続けて、シャッタ１０２を制御し、撮像素子１０３の露光を行う（Ｓ８０３）。

次に、撮像装置の生産工程において予め抽出しておいた固定欠陥画素の情報を不揮発性メモリ１２３より読み出す（Ｓ８０４）。

次に、第２のデジタル信号処理回路１２８において、測距用信号における欠陥画素検出が行われる。先ず、信号生成回路１２９において測距用信号が生成される（Ｓ８０５）。具体的には、光電変換部４０１ａからの出力信号と光電変換部４０１ｂからの出力信号が加算された画素出力信号ａｂと、光電変換部４０１ａからの分割出力信号ａとの差分信号を、光電変換部４０１ｂからの分割出力信号ｂとして生成する。このようにして生成した分割出力信号ｂを、分割出力信号ａと合わせて測距用信号として生成する。

続けて、補正回路１３０において、分割出力信号ａと、生成した分割出力信号ｂとを用いて、図６を用いて説明した第１の欠陥画素検出方法による欠陥画素検出を行う（Ｓ８０６）。そして、固定欠陥画素と合わせて、各測距用信号に対して補正処理を施す（Ｓ８０７）。そして、各種補正を施した測距用信号に対して、相関演算回路１３１において相関演算処理を行い、被写体までの距離データを算出する（Ｓ８０８）。

次にデジタル信号処理回路１１３において、撮像画像における欠陥画素検出が行われる。画像補正回路１１４において、図７を用いて説明した、第２の欠陥画素検出方法による欠陥画素検出を行い（Ｓ８０９）、固定欠陥画素と合わせて、各欠陥画素に対して、補正処理が施される（Ｓ８１０）。

最後に、画像信号を画像メモリ１１７、記録回路１１９、もしくは表示回路１２１に出力し（Ｓ８１１）、本撮影を終了する。

上記の通り本第１の実施形態によれば、光電変換部を有する撮像素子を用いた撮像装置において、欠陥画素の検出精度を上げることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

図９は、本第２の実施形態における撮像装置の概略構成を示すブロック図である。図９に示す構成と図１に示す構成との違いは、図９の構成では第２のデジタル信号処理回路１２８が無いことであるが、それ以外は図１と同様であるので、同じ参照番号を付し、説明を省略する。

また、上記構成を有する第２の実施形態における撮像装置における撮影動作は、アナログ信号処理回路１０６からデジタル画像信号が出力されるところまでは、上述した第１の実施形態と同様であるため、これより後段における処理について説明する。

アナログ信号処理回路１０６から出力されたデジタル画像信号に対して、システム制御部１２２により制御されるデジタル信号処理回路１１３において、処理を行う。まず、デジタル信号に変換された画像信号に対し、画像補正回路１１４で本発明に係るキズ検出及びキズ補正、更に、ダークシェーディング補正などの各種画像補正処理を施し、信号増幅回路１１５で入射光量に応じて設定された増幅率のゲインをかける。更に、画像処理回路１１６で色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等の各種画像処理を行う。この時、画像メモリ１１７は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。

デジタル信号処理回路１１３で信号処理された画像データや画像メモリ１１７に記憶されている画像データは、記録回路１１９において記録媒体１１８に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換される。そして記録媒体１１８に記録される。あるいは、デジタル信号処理回路１１３で解像度変換処理された画像データは、表示回路１２１において画像表示装置１２０に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置１２０に表示されたりする。

ここで、デジタル信号処理回路１１３においては、システム制御部１２２からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ１１７や記録回路１１９に出力してもよい。また、デジタル信号処理回路１１３は、システム制御部１２２から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１２２に出力する。画像データの情報としては、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報を含む。さらに、記録回路１１９は、システム制御部１２２から要求があった場合に、記録媒体１１８の種類や空き容量等の情報をシステム制御部１２２に出力する。

次に、記録媒体１１８に画像データが記録されている場合の再生動作について説明する。システム制御部１２２からの制御信号により、記録回路１１９は記録媒体１１８から画像データを読み出す。そして、同じくシステム制御部１２２からの制御信号によりデジタル信号処理回路１１３は、読み出した画像データが圧縮画像であった場合には画像伸長処理を行い、画像メモリ１１７に記憶する。更に、画像メモリ１１７に記憶された画像データは、デジタル信号処理回路１１３で解像度変換処理を実施された後、表示回路１２１において画像表示装置１２０に適した信号に変換されて画像表示装置１２０に表示される。

図１０は第２の実施形態における撮像素子１０３の画素配列を説明する配置図である。

図１０において、図中（０，０）、（１，０）、（０，１）等で示される各領域は、撮像素子１０３における１画素を示し、画素毎に１つのマイクロレンズが配置されている。また、各画素において、ａ、ｂ、ｃ、ｄで示される各領域は、それぞれ光電変換部であり、画素毎に配置された１つのマイクロレンズを共有する。以下、本第２の実施形態においては、各画素を構成する光電変換部ａ〜ｄの出力信号を撮像素子１０３内で加算した出力を、画素出力と呼ぶ。また、本第２の実施形態においては、撮像素子１０３内で加算されずに出力された、光電変換部ａ〜ｄそれぞれの出力を、分割出力と呼ぶ。そして、分割出力を焦点検出用信号や立体画像生成用信号等として使用する場合には、例えば「光電変換部ａと光電変換部ｃからの分割出力の和」と「光電変換部ｂと光電変換部ｄからの分割出力の和」の２つの信号を生成するなどして、利用する。

また、図１０を参照して説明する第２の実施形態においては、各画素は、２×２に配列された４つの光電変換部で構成されており、同一記号の光電変換部ａ、ｂ、ｃ、ｄは、マイクロレンズとの位置関係において、それぞれ対応する位置にあることを示している。また、画素毎に記された「Ｒ」、「Ｇ」、「Ｂ」の文字は、各画素上に形成されるカラーフィルタの色相を表す。

また、第２の実施形態における１画素分の概略断面及び回路構成は、図３で上述したものと同様である。ただし、図３では２つの光電変換領域を示しているが、本第２の実施形態では、同様の構成を有する更に２つの光電変換領域が、図１０に示すように構成されている。

図１１は第２の実施形態における撮像素子１０３の画素部の一例として、ＣＭＯＳ撮像素子を説明する回路図である。図１１に示すように、各画素は、画素毎に配置される４つの光電変換部４０１ａ〜４０１ｄと、１つの画素共通部４０８により構成されている。

光電変換部４０１ａは、光電変換素子であるフォトダイオード４０２ａと、フォトダイオード４０２ａの光電変換によって生成された電荷をパルスＰＴＸａによって転送する転送スイッチ４０３ａで構成されている。なお、他の光電変換部４０１ｂ〜４０１ｄも光電変換部４０１ａと同様の構成を有する。

画素共通部４０８は、光電変換部４０１ａ〜４０１ｄそれぞれの各転送スイッチ４０３ａ〜４０３ｄによって転送された電荷を蓄積するＦＤ部４０７を含む。即ち、４つの光電変換部４０１ａ〜４０１ｄに対し、１つのＦＤ部４０７が接続された構成を有する。画素共通部４０８は、また、ＭＯＳトランジスタ４０６のゲートと接続されたＦＤ部４０７をリセットパルスＰＲＥＳによって電位ＳＶＤＤのレベルにリセットするリセットスイッチ４０４を含む。更に、画素共通部４０８は、ＦＤ部４０７に蓄積された電荷をソースフォロワとして増幅するＭＯＳトランジスタ４０６と、不図示の垂直走査回路により読み出す行を選択させるための選択パルスＰＳＥＬにより制御される行選択スイッチ４０５とを含む。

なお、図１１を参照して説明した撮像素子１０３の画素部の構成においては、フォトダイオード４０２ａ〜４０２ｄで光電変換された電荷は、転送スイッチ４０３ａ〜４０３ｄを制御することによって、いずれもＦＤ部４０７に転送されるような構成としている。

行選択スイッチ４０５によって選択された行の画素の電荷は、行選択スイッチ４０５と負荷電流源４２１で構成されたソースフォロワ回路により垂直出力線４２２に出力される。信号出力パルスＰＴＳは転送ゲート４２５をＯＮとして、垂直出力線４２２に出力された信号を転送容量ＣＴＳ４２７に蓄積させるか、ノイズ出力パルスＰＴＮは転送ゲート４２４をＯＮとして、転送容量ＣＴＮ４２６に蓄積させることができる。続けて不図示の水平走査回路からの制御信号ＰＨＳ、ＰＨＮにより、転送ゲート４２８、４２９を介してノイズ成分は容量ＣＨＮ４３０に、信号成分は容量ＣＨＳ４３１に蓄えられ、両者の差分を差動アンプ４３２によって画素信号として出力する。

なお、図１１において、垂直出力線４２２より後段にある転送ゲート４２４、４２５は、各列毎に設けられており、転送ゲート４２８、４２９より後段の構成は、複数列毎にまとめられ、撮像素子１０３の出力端子の数と同数を有している。

図１２は本発明の第２の実施形態における第１の駆動タイミング（第１の読み出し方法）を示すタイミングチャートである。図１２を参照して説明する第１の駆動タイミングは、図１０において説明した光電変換部ａ〜ｄそれぞれの分割出力信号を独立に読み出すための駆動タイミングである。この第１の駆動タイミングによる信号読み出しを行う場合には、分割出力信号をデジタル信号処理回路１１３において焦点検出用信号もしくは立体画像生成用信号と加工して利用することが可能となる。なお、図１２のタイミングチャートにおいて説明される駆動においては、光電変換部ａ、ｂ、ｃ、ｄ（即ち、図１１においては光電変換部４０１ａ、４０１ｂ、４０１ｃ、４０１ｄ）の順に読み出すような構成としている。以下、図１１及び図１２を参照して、第１の駆動タイミングについて説明する。

まず、ＨＢＬＫａ及びＨＳＲａの期間に、光電変換部４０１ａの信号の読み出しを行う。１水平走査期間の開始を示す信号ＨＤの立下りに伴い、不図示の回路により垂直出力線４２２は定電位にリセットされる。その後、ＰＲＥＳ信号をロー（Ｌ）レベルにしてリセットスイッチ４０４がＯＮされることにより、期間Ｔ１ａの間にＭＯＳトランジスタ４０６のゲートに設けられたＦＤ部４０７の容量に蓄積された電荷が定電位ＳＶＤＤになるようにリセットされる。

続いてＰＲＥＳ信号をハイ（Ｈ）レベルとしＭＯＳトランジスタ４０６をＯＦＦとした後、ＰＳＥＬ信号をＨレベルにすることで、行選択スイッチ４０５と負荷電流源４２１で構成されたソースフォロワ回路が動作状態になる。これにより、垂直出力線４２２上にリセットされたＦＤ部４０７の電位に応じたノイズがＭＯＳトランジスタ４０６を介して出力される。このＰＳＥＬ信号がハイレベルの期間にＰＴＮ信号をハイレベルにすることで、ノイズ成分を蓄積する転送容量ＣＴＮ４２６が垂直出力線４２２と接続され、この転送容量ＣＴＮ４２６はノイズ成分の信号を保持するようになる。

続いて、光電変換素子で発生した光電荷とノイズ成分の混合信号の蓄積が行われる。まず垂直出力線４２２は、不図示の回路により、定電位にリセットされる。その後ＰＴＸａ信号がＨレベルにされ、フォトダイオード４０２ａに蓄積された光電荷が期間Ｔ３ａの間に転送スイッチ４０３ａのＯＮにより、ＦＤ部４０７に転送される。その際、ＰＳＥＬ信号はＨレベルのままであるためソースフォロワ回路が動作状態となり、垂直出力線４２２上にＦＤ部４０７の電位に応じた「光信号＋ノイズ信号」がＭＯＳトランジスタ４０６を介して出力される。この期間Ｔ３ａを内包する期間Ｔ４ａの間に、ＰＴＳ信号をＨレベルにすることで、「光電荷成分＋ノイズ成分」を蓄積する転送容量ＣＴＳ４２７が垂直出力線４２２と接続され、転送容量ＣＴＳ４２７は光電荷成分＋ノイズ成分の信号を保持するようになる。

上述のように、１行分のノイズ成分と、フォトダイオード４０２ａで発生した光信号＋ノイズ成分が、それぞれ転送容量ＣＴＮ４２６、ＣＴＳ４２７に蓄積される。

次に、期間ＨＳＲａの間に、転送容量ＣＴＮ４２６、ＣＴＳ４２７に蓄積された２つの信号を、不図示の水平シフトレジスタにより制御される制御パルスＰＨＮ、ＰＨＳによってそれぞれ容量ＣＨＮ４３０、ＣＨＳ４３１に転送する。そして容量ＣＨＮ４３０、ＣＨＳ４３１に蓄積されたノイズ成分と光信号＋ノイズ成分は、差動アンプ４３２によって、（光信号＋ノイズ成分）−ノイズ成分の処理が行われ、光信号となって、分割出力信号として出力される。

続けて、ＨＢＬＫｂ及びＨＳＲｂの期間に、制御信号ＰＴＸｂ、ＰＲＥＳ、ＰＳＥＬを制御し、光電変換部４０１ｂの信号の読み出しを行う。光電変換部４０１ｂの信号読み出しタイミングは、先に説明した光電変換部４０１ａの信号読み出しタイミングと同様のため、説明は割愛する。

同様に、ＨＢＬＫｃ及びＨＳＲｃの期間に制御信号ＰＴＸｃ、ＰＲＥＳ、ＰＳＥＬを同様に制御し、光電変換部４０１ｃの信号の読み出しを行う。更に、ＨＢＬＫｄ及びＨＳＲｄの期間に制御信号ＰＴＸｄ、ＰＲＥＳ、ＰＳＥＬを同様に制御し、光電変換部４０１ｄの信号の読み出しを行う。これにより、２×２に並ぶ４つの光電変換部４０１ａ、４０１ｂ、４０１ｃ、４０１ｄからの分割出力信号の読み出しを完了する。

図１３は第２の実施形態における第２の駆動タイミング（第２の読み出し方法）を示すタイミングチャートである。図１３を参照して説明する第２の駆動タイミングは、図１０において説明した各画素に含まれる光電変換部ａ〜ｄの信号を、画素毎の画素出力信号として、加算して一括で読み出すための駆動タイミングである。この第２の駆動タイミングによる信号読み出しを行う場合には、静止画撮影や動画撮影などの通常撮像時など、個々の分割出力信号が不要な場合に、高速に読み出すことが可能となる。以下、図１１及び図１３を参照して、第２の駆動タイミングについて説明する。

図１３における駆動タイミングにおいて、ＰＳＥＬ信号がＨレベルの期間にＰＴＮ信号をＨレベルにすることで、転送容量ＣＴＮ４２６にノイズ成分の信号を保持するようにするところまでは、上述した第１の駆動タイミングと同じである。

続いて、光電変換素子で発生した光電荷とノイズ成分の混合信号の蓄積が行われる。まず垂直出力線４２２は、不図示の回路により、定電位にリセットされる。その後ＰＴＸａ、ＰＴＸｂ、ＰＴＸｃ、ＰＴＸｄ信号が同時にＨレベルにされる。これにより、転送スイッチ４０３ａ〜４０３ｄがＯＮとなり、フォトダイオード４０２ａ、４０２ｂ、４０２ｃ、４０２ｄに蓄積された光電荷が期間Ｔ３の間に、ＦＤ部４０７に転送される。その際、ＰＳＥＬ信号はＨレベルのままであるためソースフォロワ回路が動作状態となり、垂直出力線４２２上にＦＤ部４０７の電位に応じた「光信号＋ノイズ信号」がＭＯＳトランジスタ４０６を介して出力される。この期間Ｔ３を内包する期間Ｔ４の間に、ＰＴＳ信号をＨレベルにすることで、「光電荷成分＋ノイズ成分」を蓄積する転送容量ＣＴＳ４２７が垂直出力線４２２と接続され、この転送容量ＣＴＳ４２７は光電荷成分＋ノイズ成分の信号を保持するようになる。

上述のように、１行分のノイズ成分と、フォトダイオード４０２ａ〜４０２ｄで発生した光信号＋ノイズ成分が、それぞれＣＴＮ４２６、ＣＴＳ４２７に蓄積される。

次に、期間ＨＳＲの間に、転送容量ＣＴＮ４２６、ＣＴＳ４２７に蓄積された２つの信号を、不図示の水平シフトレジスタにより制御される制御パルスＰＨＮ、ＰＨＸによってそれぞれ容量ＣＨＮ４３０、ＣＨＳ４３１に転送する。そして容量ＣＨＮ４３０、ＣＨＳ４３１に蓄積されたノイズ成分と光信号＋ノイズ成分は、差動アンプ４３２によって、（光信号＋ノイズ成分）−ノイズ成分の処理が行われ、光信号となって、画素出力信号として出力される。

図１４は第２の実施形態における第１の欠陥画素検出方法を説明する図である。この第１の欠陥画素検出方法は、複数の同色画素において、互いに対応する位置にある光電変換部からの分割出力値を比較することで欠陥画素を検出する方法である。

ここでは、図１０に示す画素（２，３）の光電変換部ｃを欠陥検出の処理対象であるものとして説明する。この場合、画素（２，３）の光電変換部ｃの分割出力値を、周辺の同色画素における同一象限の光電変換部である、画素（０，１）、（２，１）、（４，１）、（０，３）、（４，３）のそれぞれの光電変換部ｃの分割出力値と比較する。ここでは、例えば上述した周辺５画素の光電変換部ｃの分割出力値の平均値等と比較するが、比較の方法はこれに限るものではなく、様々な方法が考えられる。例えば、画素（２，３）の光電変換部ｃの分割出力値を５倍して、周辺５画素の光電変換部ｃの分割出力値の合計と比較してもよい。また、画素（２，３）の光電変換部ｃの分割出力値と、周辺５画素の光電変換部ｃの分割出力値それぞれとの差分を求めて加算及び／または平均するなど、他の方法であっても構わない。

そして、その差が予め定められた第１のキズ検出閾値α（第１の閾値）以下の場合には、検出対象の画素（２，３）の光電変換部ｃは欠陥画素ではないと判定する。また、第１のキズ検出閾値αよりも大きい場合には、欠陥画素であると判定し、キズ画素として検出する。

そして、上述した検出処理を、撮像素子１０３に含まれる複数の光電変換部を順次検出対象として、全ての光電変換部について繰り返し行う。ただし、予め欠陥があると分かっている光電変換部に関しては、検出処理を行わなくても構わない。

第１の欠陥画素検出方法は、マイクロレンズに対して同じ位置にある光電変換部同士の比較による検出方法であるため、検出対象画素近傍の被写体に対するデフォーカス量に左右されにくい検出が可能である。

図１６は第２の実施形態における第３の欠陥画素検出方法を説明する図である。この第３の欠陥画素検出方法は、各画素内に含まれる複数の光電変換部の分割出力値を比較することで欠陥画素を検出する方法である。

なお、図１６においても、図１０に示す画素（２，３）の光電変換部ｃを欠陥検出の処理対象であるものとして説明する。この場合、画素（２，３）の光電変換部ｃの分割出力値を、同じ画素（２，３）の他の光電変換部ａ、ｂ、ｄの分割出力値と比較する。ここでは、例えば上述した３つの光電変換部ａ、ｂ、ｄの分割出力値の平均値等と比較するが、比較の方法はこれに限るものではなく、上述した第１の欠陥画素検出方法と同様に様々な方法が考えられる。

そして、その差が予め定められた第３のキズ検出閾値γ（第３の閾値）以下の場合には、検出対象の画素（２，３）の光電変換部ｃは欠陥画素ではないと判定する。また、第３のキズ検出閾値γよりも大きい場合には、欠陥画素であると判定し、キズ画素として検出する。

そして、上述した検出処理を、撮像素子１０３に含まれる複数の光電変換部を順次検出対象として、全ての光電変換部について繰り返し行う。ただし、予め欠陥があると分かっている光電変換部に関しては、検出処理を行わなくても構わない。

第３の欠陥画素検出方法は、各画素内の光電変換部同士の比較による検出方法であるため、検出対象の光電変換部を含む画素周辺の被写体が高周波成分を持つ被写体である場合でも、精度の高い検出を行うことが可能である。但し、第３の欠陥画素検出方法には、以下の問題がある。即ち、撮影レンズの焦点距離が検出対象の光電変換部を含む画素周辺の被写体に合っている場合には、その画素内、即ち、同一のマイクロレンズ下の光電変換部それぞれの分割出力値は互いに近い値になる。しかしながら、デフォーカス量が大きくなるにつれて、同一マイクロレンズ下の光電変換部それぞれの分割出力値は、被写体の輝度分布に応じて異なってくる。よって、第３のキズ検出閾値γは、検出対象画素近傍のデフォーカス量を検出した上で、デフォーカス量が予め設定された所定値より大きいときには第１のキズ検出閾値αよりも大きい予め決められた値を設定する。また、デフォーカス量が上記所定値以下のときには第１のキズ検出閾値αよりも小さな予め決められた値を設定する。また、デフォーカス量が小さいほど、第３のキズ検出閾値γが小さくなるようにしても構わない。

図１５は第２の実施形態における第２の欠陥画素検出方法を説明する図である。この第２の欠陥画素検出方法は、周辺の画素の画素出力値を比較することで欠陥画素を検出する方法である。

図１５においては、図１０に示す画素（２，３）を欠陥検出の処理対象であるものとして説明する。即ち、第２の欠陥画素検出方法は、各画素の光電変換部ａ、ｂ、ｃ、ｄの分割信号を画素内で加算し、画素出力として一括して読み出した場合の検出方法である。例えば、画素（２，３）の光電変換部ｃが欠陥画素であった場合、その欠陥画素である光電変換部ｃを含む画素（２，３）を欠陥画素として検出することができる。第２の欠陥画素検出方法では、画素（２，３）の画素出力値を、周辺の同色画素である、画素（０，１）、（２，１）、（４，１）、（０，３）、（４，３）それぞれの画素出力値と比較する。ここでは、例えば上述した５つの画素出力値の平均値等と比較するが、比較の方法はこれに限るものではなく、上述した第１の欠陥画素検出方法と同様に様々な方法が考えられる。

そして、その差が予め定められた第２のキズ検出閾値β（第２の閾値）以下の場合には、検出対象の画素（２，３）は欠陥画素ではないと判定し、第２のキズ検出閾値βよりも大きい場合には、欠陥画素であると判定し、キズ画素として検出する。

そして、上述した検出処理を、撮像素子１０３に含まれる複数の画素を順次検出対象として、全ての画素について繰り返し行う。ただし、予め欠陥があると分かっている画素に関しては、検出処理を行わなくても構わない。

第２の欠陥画素検出方法は、動画撮影などの画素信号を高速で読み出したい場合や、静止画撮影時の欠陥画素検出方法である。この第２の欠陥画素検出方法では、各画素の光電変換部を加算した状態で読み出すために、光電変換部毎の欠陥検出はできないため、各分割出力値を使用する焦点検出時や立体画像生成時には不適切な検出方法である。

図１７は第２の実施形態における欠陥画素補正手順の一例を説明するフローチャートである。

図１７において、まず、静止画撮影、動画撮影、立体画像撮影、焦点検出用撮影等のモード設定が撮影モード設定回路１２７等によってなされ（Ｓ１００１）、そのモードに応じて、感度、絞り値、露光時間などの撮影条件が初期設定される（Ｓ１００２）。続けて、シャッタ１０２を制御し、撮像素子１０３の露光を行う（Ｓ１００３）。

次に、撮像装置の生産工程において予め抽出しておいた固定欠陥画素の情報を不揮発性メモリ１２３より読み出す（Ｓ１００４）。そして、デジタル信号処理回路１１３において、撮影画像における欠陥画素検出が行われる。先ず、Ｓ１００１において設定された撮影モードを判定する。そして、判定したモードが図１２を参照して説明した第１の駆動タイミングにより分割出力信号を個別に読み出すモードか、または、図１３を参照して説明した第２の駆動タイミングにより画素信号を読み出すモードであるかを判定する（Ｓ１００５）。

設定されている撮影モードが通常の静止画もしくは動画撮影などの、画素信号を読み出すモードであった場合は、続けて、図１５を用いて説明した、第２の欠陥画素検出方法による欠陥画素検出を行う（Ｓ１００６）。

一方、設定されている撮影モードが立体画像撮影や焦点検出用などの、光電変換部を個別に読み出すモードであった場合には、図１４を用いて説明した、第１の欠陥画素検出方法による欠陥画素検出を行う（Ｓ１００７）。続けて、図１６を用いて説明した、第３の欠陥画素検出方法による欠陥画素検出を行う。まず読み出した画像信号から画面内の予め決められた各領域ごとにデフォーカス量を算出し（Ｓ１００８）、その結果を基に、各画素毎の第３のキズ検出閾値γを設定する（Ｓ１００９）。そして、その閾値γを用いて、第３の欠陥画素検出方法による欠陥画素検出を行う（Ｓ１０１０）。

なお、第２の実施形態においては、第１の欠陥画素検出方法と第３の欠陥画素検出方法とのいずれか一方でも欠陥画素と判定された画素は、次のステップでの補正対象となる欠陥画素とする。しかしながら、撮影条件やモードによっては、第１及び第３の欠陥画素検出方法の両方で欠陥画素の判定された画素のみを、補正対象となる欠陥画素とするような構成としてもよい。

Ｓ１００６〜Ｓ１０１０の第１及び第３の欠陥画素検出方法、もしくは第２の欠陥画素検出方法による欠陥画素検出処理の後、デジタル信号処理回路１１３において、各欠陥画素に対して、補正処理が施される（Ｓ１０１１）。

最後に、画像信号を画像メモリ１１７、記録回路１１９、もしくは表示回路１２１に出力し（Ｓ１０１２）、本撮影を終了する。

上記の通り本第２の実施形態によれば、光電変換部を有する撮像素子を用いた撮像装置において、欠陥画素の検出精度を上げることができる。

以上、図９〜図１７を用いて第２の実施形態にかかる撮像装置の実施形態について説明してきたが、本発明はこれに限定されることはなく、様々な形態をとることが可能である。

例えば、図１０や図１４〜図１６を用いて説明した第２の実施形態の画素構成においては、欠陥画素検出方法をわかりやすく説明するため、画素を２×２の４光電変換部による構成とした。しかしながら、本発明はこれに限定されるものではなく、シンプルに左右又は上下の２分割としてもよいし、３×３の９分割でもよい。

また、図１７を用いて説明した、第２の実施形態のフローチャートにおいては、欠陥画素の検出を、固定欠陥画素と、３種類のリアルタイム欠陥画素検出方法による検出結果の組み合わせにより行うような構成とした。しかしながら本発明はこれに限定されず、少なくとも第１の欠陥画素検出方法を用いて欠陥画素の検出を行う構成であればよい。

１０３：撮像素子、１０６：アナログ信号処理回路、１１２：駆動回路、１１３：デジタル信号処理回路、１１４：画像補正回路、１１５：信号増幅回路、１１６：画像処理回路、１２２：システム制御部、１２３：不揮発性メモリ（ＲＯＭ）、１２４：揮発性メモリ（ＲＡＭ）、１２８：第２のデジタル信号処理回路、１２９：信号生成回路、１３０：補正回路、１３１：相関演算回路、４０１ａ，４０１ｂ：光電変換部、４０２ａ，４０２ｂ：フォトダイオード、４０８：画素共通部、４４１：カラーフィルタ、４４２：マイクロレンズ

Claims (11)

1. マイクロレンズと、該マイクロレンズを共有する複数の光電変換手段とを各々が有する複数の画素を備えた撮像素子から出力される出力信号に対して判定を行う画像処理装置において、
   前記複数の光電変換手段のうち、判定対象の光電変換手段から出力される出力信号と、前記判定対象の光電変換手段を有する画素の周辺の画素に含まれる、前記判定対象の光電変換手段と前記マイクロレンズに対する位置関係が対応する光電変換手段からの出力信号とを比較することによって、前記判定対象の光電変換手段の欠陥に関する情報を出力する第１の判定処理と、前記複数の画素のうち、判定対象の画素に含まれる前記複数の光電変換手段の出力信号の合計と、前記判定対象の画素の周辺の画素に含まれる、前記複数の光電変換手段の出力信号の合計とを比較することによって、前記判定対象の画素の欠陥に関する情報を出力する第２の判定処理を行う欠陥画素判定手段を有することを特徴とする画像処理装置。
2. 前記撮像素子は、前記画素毎にいずれかの色相に対応する、複数の異なる色相からなるカラーフィルタを有し、
   前記欠陥画素判定手段は、前記第１の判定処理において、前記判定対象の光電変換手段を含む画素と同色のカラーフィルタを有する前記周辺の画素に含まれる光電変換手段の出力信号を、前記比較に用いることを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像素子は、前記画素毎にいずれかの色相に対応する、複数の異なる色相からなるカラーフィルタを有し、
   前記欠陥画素判定手段は、前記第２の判定処理において、前記判定対象の画素と同色のカラーフィルタを有する前記周辺の画素に含まれる光電変換手段からの出力信号を、前記比較に用いることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記欠陥画素判定手段は、前記第１の判定処理において、前記判定対象の光電変換手段の出力信号と、前記周辺の画素に含まれる光電変換手段からの出力信号から算出した値との差が、予め決められた第１の閾値よりも大きい場合に、前記判定対象の光電変換手段に欠陥があると判定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記欠陥画素判定手段は、前記第２の判定処理において、前記判定対象の画素に含まれる前記複数の光電変換手段の出力信号の合計と、前記判定対象の画素の周辺の画素に含まれる、前記複数の光電変換手段の出力信号の合計から算出した値との差が、予め決められた第２の閾値よりも大きい場合に、前記判定対象の画素に欠陥があると判定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第１の判定処理の結果に基づいて、前記判定対象の光電変換手段の出力信号を補正する第１の補正手段と、
   前記第２の判定処理の結果に基づいて、前記判定対象の画素の出力信号を補正する第２の補正手段と
   を有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記判定対象の画素は、１つの画素であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記判定対象の光電変換手段は、１つの光電変換手段であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. マイクロレンズと、該マイクロレンズを共有する複数の光電変換手段とを各々が有する複数の画素を備えた撮像素子から出力される出力信号に対して判定を行う画像処理方法であって、
   前記複数の光電変換手段のうち、判定対象の光電変換手段から出力される出力信号と、前記判定対象の光電変換手段を有する画素の周辺の画素に含まれる、前記判定対象の光電変換手段と前記マイクロレンズに対する位置関係が対応する光電変換手段からの出力信号とを比較することによって、前記判定対象の光電変換手段の欠陥に関する情報を出力する第１の判定工程と、
   前記複数の画素のうち、判定対象の画素に含まれる前記複数の光電変換手段の出力信号の合計と、前記判定対象の画素の周辺の画素に含まれる、前記複数の光電変換手段の出力信号の合計とを比較することによって、前記判定対象の画素の欠陥に関する情報を出力する第２の判定工程と
   を有することを特徴とする画像処理方法。
10. コンピュータに、請求項９に記載の画像処理方法の各工程を実行させるためのプログラム。
11. 請求項１０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images