JP5541718B2 - 撮像装置及びその欠陥画素検出方法 - Google Patents

Description

本発明は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を有する撮像装置及びその欠陥画素検出方法に関する。

近年、撮像装置は多画素化の傾向にある。セルの微細化によるセル数の増加に伴い、また、動画などに適応するために、画像データの高速な読み出しが要求されるようになってきている。

この要求に対し、隣接する複数の画素（光電変換素子）の電気的な機能が共通化された撮像装置が提案されている（特許文献１参照）。例えば、各画素のフォトダイオード（２０２〜２０５）及び転送スイッチ（２０６〜２０９）に対し、フローティングディフュージョン部（２１１）、増幅ＭＯＳアンプ（２１２）、選択スイッチ（２１３）及びリセットスイッチ（２１０）が共有される（図３参照）。

ここで、撮像装置に使用される撮像素子では、製造過程等において欠陥画素が生じる場合がある。欠陥画素からの出力は、他の正常な画素の出力レベルと異なり、画質劣化の要因となる。

これに対し、予め記憶された撮像素子の欠陥画素を補正するとともに、随時、撮像素子を点検し、画素出力が他と異なる欠陥画素を抽出して記憶し、抽出された新たな欠陥画素についても補正する技術が提案されている（特許文献２参照）。

また、撮影された画像の所定の１画素と隣接同色画素との信号レベル差、およびこの１画素の周辺に存在する異色同色画素間の信号レベル差に基づいて欠陥画素を抽出することで、リアルタイムに欠陥画素の補正を行う技術も提案されている（特許文献３参照）。

さらに、欠陥画素アドレスを記憶するとき、欠陥画素アドレスのほかに、複数連続で発生する欠陥画素であるかどうかを判別するビットを持ち、連続で発生する欠陥画素については、先頭画素のアドレスのみ記憶しておく技術も提案されている（特許文献４参照）。

また、多画素化に伴う欠陥画素として、撮像素子を同一条件（同一温度、同一蓄積時間、遮光下）で繰り返し読み出しを行った場合、読み出される暗電荷レベルが極端に増減する点滅性欠陥が存在するという現象が知られている（特許文献５参照）。

特開平１０−２５６５２１号公報 特開２００２−１２５１５４号公報 特開平０６−３０４２５号公報 特開２００８−２７８３９４号公報 特開２００３−０３７７８１号公報

しかしながら、上記従来の撮像装置では、つぎのような問題があった。すなわち、撮像素子の構造に起因し、フローティングディフュージョン部（ＦＤ）でノイズ電荷が時々発生し、機能を共有する垂直方向の４画素に連続してこのノイズ電荷が乗ってしまう場合がある。この場合、隣接する複数の画素の全てが特許文献５に示すような点滅性欠陥となって現れることがある。このような欠陥画素は、周期的に発生するとは限らず、読み出し回数によっては、数回に１回と高い頻度で発生する場合もあるし、数年に１回という低い頻度で発生する場合もある。また、点滅性欠陥は温度や蓄積時間に依存しない。

また、欠陥画素を検出する場合、特許文献２に示すように、単に近接する画素の信号を用いて信号の補正を行うと、補正対象とする画素の抽出が適切に行われない可能性がある。

また、特許文献４に示すように、機能を共有する画素全てを欠陥画素であると判断すると、点滅性欠陥の場合、読み出した時に正しく出力された場合であっても、その画素の周囲にある画素の出力信号を用いて、その画素信号を補正または置換処理を行うことになる。この結果、画質的には劣化する可能性がある。

このような機能を共有する画素構造の場合、上記要因による欠陥画素を適切に検出することが必要である。

本発明は、このような事情に鑑みてなされたものであり、電気的に機能を共有する画素構造である場合、他の機能を共有する画素も欠陥画素となる可能性が高いことを考慮して欠陥画素を検出し、良好な画像を得ることができる撮像装置を提供することを目的とする。また、本発明はその欠陥画素検出方法を提供することを他の目的とする。

上記目的を達成するために、本発明の撮像装置は、２次元状に配置された複数の画素群に結像される光学像を電気信号に変換して出力する固体撮像素子を備えた撮像装置であって、前記画素群の各々は、電気的な機能の一部を２以上の画素で共有する画素構造を有する複数の画素から構成され、前記複数の画素群に含まれる欠陥画素の位置情報を予め記憶しておく記憶手段と、前記複数の画素群の各々を構成する複数の画素のなかから前記記憶手段によって位置情報が記憶されていない新たな欠陥画素を、複数の異なる欠陥画素検出処理のいずれかにより検出する欠陥画素検出手段と、前記複数の画素群の各々に含まれる、前記記憶手段によって位置情報が記憶された欠陥画素の数に応じて、前記欠陥画素検出手段が前記複数の検出処理のうちいずれかの欠陥画素検出処理を実行するように制御する制御手段とを備えたことを特徴とする。

また、本発明の撮像装置は、２次元状に配置された複数の画素群に結像される光学像を電気信号に変換して出力する固体撮像素子を備えた撮像装置であって、前記画素群の各々は、電気的な機能の一部を２以上の画素で共有する画素構造を有する複数の画素から構成され、前記複数の画素群に含まれる欠陥画素の位置情報を予め記憶しておく記憶手段と、前記複数の画素群の各々を構成する複数の画素のなかから前記記憶手段によって位置情報が記憶されていない新たな欠陥画素を、複数の異なる欠陥画素検出処理により検出する欠陥画素検出手段と、前記複数の画素群の各々に含まれる、前記記憶手段によって位置情報が記憶された欠陥画素の数に応じて、前記複数の異なる欠陥画素検出処理の加重平均を取って加算し、加算結果に応じて検出対象画素が前記新たな欠陥画素であるか否かを判断する制御手段とを備えたことを特徴とする。

さらに、本発明の撮像装置の欠陥画素検出方法は、２次元状に配置された複数の画素群に結像される光学像を電気信号に変換して出力する固体撮像素子を備え、前記画素群の各々が、電気的な機能の一部を２以上の画素で共有する画素構造を有する複数の画素から構成された撮像装置の欠陥画素検出方法であって、前記複数の画素群の各々を構成する複数の画素のなかから記憶手段によって位置情報が記憶されていない新たな欠陥画素を、欠陥画素検出手段が複数の異なる欠陥画素検出処理のいずれかにより検出する欠陥画素検出ステップと、前記複数の画素群の各々に含まれる、前記記憶手段によって位置情報が記憶された欠陥画素の数に応じて、前記複数の欠陥画素検出処理のうちいずれかの欠陥画素検出処理を選択する選択ステップと、前記選択ステップにおいて選択された欠陥画素検出処理を前記欠陥画素検出ステップにおいて前記欠陥画素検出手段が実行するように制御する制御ステップとを有することを特徴とする。

また、本発明の撮像装置の欠陥画素検出方法は、２次元状に配置された複数の画素群に結像される光学像を電気信号に変換して出力する固体撮像素子を備え、前記画素群の各々が、電気的な機能の一部を２以上の画素で共有する画素構造を有する複数の画素から構成された撮像装置の欠陥画素検出方法であって、前記複数の画素群の各々を構成する複数の画素のなかから記憶手段によって位置情報が記憶されていない新たな欠陥画素を、複数の異なる欠陥画素検出処理により検出する欠陥画素検出ステップと、前記複数の画素群の各々に含まれる、前記記憶手段によって位置情報が記憶された欠陥画素の数に応じて、前記複数の異なる欠陥画素検出処理の加重平均を取って加算し、加算結果に応じて検出対象画素が前記新たな欠陥画素であるか否かを判断する判断ステップとを有することを特徴とする。

本発明によれば、電気的に機能を共有する画素構造である場合、他の機能を共有する画素も欠陥画素となる可能性が高いことを考慮して欠陥画素を適切に検出することができ、良好な画像を得ることができる。

第１の実施形態における撮像装置の概略構成を示すブロック図である。 撮像素子３に含まれる画素配列の一例を示す図である。 垂直方向に隣接して並んでいる４画素でＦＤを共有する画素構造を有する画素群の等価回路を示す図である。 撮像素子３が電気的な機能の一部を共有する画素構造を有する画素群からなる場合の欠陥画素検出処理手順を示すフローチャートである。 ４方向のメディアンフィルタ処理を示す図である。 画素Ｇ３２とＦＤを共有している画素Ｂ２２、Ｂ４２、Ｇ５２のいずれか１つの画素が事前にＲＯＭ１６にアドレスが記憶されている欠陥画素である場合のメディアンフィルタ処理を示す図である。 画素Ｇ３２とＦＤを共有している画素Ｂ２２、Ｂ４２、Ｇ５２のうちいずれか２つの画素が事前にＲＯＭ１６にアドレスが記憶されている欠陥画素である場合のメディアンフィルタ処理を示す図である。 画素Ｇ３２とＦＤを共有している画素Ｂ２２、Ｂ４２、Ｇ５２が事前にＲＯＭ１６にアドレスが記憶されている欠陥画素である場合のメディアンフィルタ処理を示す図である。 第１の欠陥画素検出処理として、第２の実施形態における４方向のメディアンフィルタ処理を示す図である。 第２の欠陥画素検出処理として、３方向のメディアンフィルタ処理を示す図である。 係数Ｋの設定の一例を示すグラフである。 撮像素子３が電気的な機能の一部を共有する画素構造を有する画素群からなる場合の欠陥画素検出処理手順を示すフローチャートである。

本発明の撮像装置及びその欠陥画素検出方法の実施の形態について図面を参照しながら説明する。

［第１の実施形態］
図１は第１の実施形態における撮像装置の概略構成を示すブロック図である。本実施形態の撮像装置５０は、レンズおよび絞りからなる光学系１、メカニカルシャッタ２および撮像素子３を有する。

本実施形態では、撮像素子３として、ベイヤ配列のＣＭＯＳエリアセンサが使用されている。図２は撮像素子３に含まれる画素配列の一例を示す図である。撮像素子（固体撮像素子）３は、垂直方向と水平方向の２次元状に配置された複数の画素群を有する。図中、記号Ｒ、Ｂ、Ｇは、撮像素子３の各画素上に形成されたＲ，Ｇ，Ｂ各色のカラーフィルタを透過して受光される色を示す。

また、本実施形態の撮像素子３は、一方向（ここでは、垂直方向）に隣接する複数（２以上）の画素で、それらの電気的な機能の一部を共有している。図３は垂直方向に隣接して並んでいる４画素でＦＤを共有する画素構造を有する画素群の等価回路を示す図である。このＦＤを共有する画素構造では、各画素のフォトダイオード（光電変換素子）２０２〜２０５及び転送スイッチ２０６〜２０９に対し、フローティングディフュージョン（ＦＤ）部２１１、増幅ＭＯＳアンプ２１２、選択スイッチ２１３及びリセットスイッチ２１０が共有される。フローティングディフュージョン部２１１（保持手段）は、電気的な機能の一部を共有する画素構造を有した画素群内の各画素に共通して設けられ、各画素のフォトダイオードで生成された電荷を一時的に保持する。

撮像素子３の複数の画素群に結像した被写体像（光学像）は、撮像素子３において電気信号に変換される。そして、撮像素子３から出力された電気信号（画像信号）は、ＣＤＳ回路４に入力される。

ＣＤＳ回路４は、入力された画像信号に対しアナログ信号処理を行う。Ａ／Ｄ変換器５は、ＣＤＳ回路４からのアナログ信号をデジタル信号に変換する。タイミング信号発生回路６は、撮像素子３、ＣＤＳ回路４およびＡ／Ｄ変換器５を動作させる信号を発生する。駆動回路７は、光学系１、メカニカルシャッタ２および撮像素子３を駆動する。

Ａ／Ｄ変換器５でデジタル信号に変換された画像信号は、欠陥画素検出補正部８に入力される。欠陥画素検出補正部８は、欠陥画素検出部８１および欠陥画素補正部８２からなる。欠陥画素検出部８１（欠陥画素検出手段）は、入力されたデジタル画像信号から複数の画素群の各々を構成する複数の画素のなかから欠陥画素を検出し、欠陥画素情報として欠陥画素補正部８２に出力する。欠陥画素検出部８１では、主として点滅欠陥画素など、後述するＲＯＭ１６によってその位置情報が記憶されていない欠陥画素が検出される。

欠陥画素補正部８２は、欠陥画素検出部８１から出力される欠陥画素情報に従って、入力された画像信号に対して欠陥画素補正処理を施す。この欠陥画素検出補正部８の詳細については後述する。

欠陥画素検出補正部８の出力は、信号処理回路９に入力される。信号処理回路９は、欠陥画素検出補正部８の出力に対し、必要なデジタル信号処理を施した後、画像データとして出力する。

画像メモリ１０は、信号処理回路９による信号処理中の映像信号を一時的に記憶したり、画像データを記憶する領域である。記録媒体１１は、撮像装置５０に着脱自在に取り付けられるメモリカード等である。

記録回路１２は、信号処理回路９でデジタル信号処理された画像データを記録媒体１１に記録する回路である。画像表示装置１３は、信号処理回路９でデジタル信号処理された画像データを表示回路１４を介して表示する。

システム制御部１５は、撮像装置５０の全体を制御する。ここで、システム制御部１５は、ＣＰＵ等で構成される。ＲＯＭ１６（記憶手段）は、システム制御部１５で実行される撮像装置５０の制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、および撮像素子３の複数の画素群に含まれる欠陥画素のアドレス（位置情報）等の補正データを記憶する。

本実施形態では、この補正データのうち、欠陥画素の補正データとして、撮像素子３を製造する製造工場によりチェックされて送られたセンサ個々に対応した補正データが、ＲＯＭ１６に格納されている。しかし、欠陥画素の補正データの入手方法はこれに限定されることはない。例えば、撮像素子３を撮像装置５０に組み込んだ後に、欠陥画素検出部８１によって新たに欠陥画素に関する情報を作り出してＲＯＭ１６に格納するようにしてもよい。

ＲＡＭ１７には、ＲＯＭ１６に記憶されたプログラム、制御データ、欠陥画素のアドレス等の補正データ等が転送されて一時的に記憶される。また、必要に応じて、追加のプログラムやデータがＲＯＭ１６からＲＡＭ１７に転送される。また、システム制御部１５は、ＲＯＭ１６内のデータを直接読み出して使用することもある。

上記構成を有する撮像装置５０における、メカニカルシャッタ２を使用した撮影動作について説明する。まず、光学系１は、システム制御部１５からの制御信号により、駆動回路７を介して絞りとレンズを駆動し、適切な明るさに設定された被写体像を撮像素子３に結像させる。

メカニカルシャッタ２は、システム制御部１５からの制御信号により、駆動回路７を介して必要な露光時間となるように、撮像素子３の動作に合わせて撮像素子３を遮光するように駆動される。このとき、撮像素子３が電子シャッタ機能を有する場合、メカニカルシャッタ２と併用して、必要な露光時間を確保してもよい。

撮像素子３は、システム制御部１５により制御されるタイミング信号発生回路６が発生する動作パルスを基にした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。

撮像素子３から出力された電気信号（アナログ画像信号）に対し、システム制御部１５により制御されるタイミング信号発生回路６が発生する動作パルスにより、ＣＤＳ回路４でクロック同期性ノイズが除去される。さらに、クロック同期性ノイズが除去されたアナログ画像信号はＡ／Ｄ変換器５でデジタル画像信号に変換される。

一旦、システム制御部１５の制御によりデジタル画像信号を画像メモリ１０に記憶させた後、デジタル画像信号は、欠陥画素検出補正部８に入力される。欠陥画素検出部８１は、入力されたデジタル画像信号から欠陥画素を検出し、その検出結果を欠陥画素情報として欠陥画素補正部８２に出力する。

欠陥画素補正部８２は、ＲＯＭ１６に記憶された欠陥画素のアドレス等の欠陥画素補正データと、欠陥画素検出部８１から出力される欠陥画素情報に基づいて、入力されたデジタル画像信号に対する欠陥画素の補正処理を行う。

信号処理回路９は、欠陥画素検出補正部８において欠陥画素検出補正処理が施されたデジタル画像信号に対し、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。

画像メモリ１０に記憶されている画像データは、記録回路１２において記録媒体１１に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換される。この変換されたデータは、記録媒体１１に記録される。また、この記録された画像データは、信号処理回路９で解像度変換処理が施された後、表示回路１４において画像表示装置１３に適した信号（例えば、ＮＴＳＣ方式のアナログ信号等）に変換され、画像表示装置１３に表示される。

なお、信号処理回路９は、システム制御部１５からの制御信号により信号処理を行わず、デジタル画像信号をそのまま画像データとして、画像メモリ１０や記録回路１２に出力してもよい。

つぎに、撮像素子３が電気的な機能の一部を共有する画素構造を有する画素群からなる場合の欠陥画素検出処理について詳細に説明する。本実施形態では、撮像素子３における画素Ｂ２２、Ｇ３２、Ｂ４２、Ｇ５２がＦＤを共有する画素構造を有する画素群を構成しており、欠陥画素検出対象画素が画素Ｇ３２である場合を例に挙げる（図５参照）。

また、撮影毎に欠陥画素を検出する処理については、特許文献３に示すように、いろいろな手法が提案されているが、本実施形態では、縦横５×５画素の範囲における同色画像データの中心値の抽出を行うメディアンフィルタ処理を例に挙げる。

図４は、撮像素子３が電気的な機能の一部を共有する画素構造を有する画素群からなる場合の欠陥画素検出処理手順を示すフローチャートである。この処理プログラムは、前述したように、ＲＯＭ１６に格納されており、システム制御部１５（ＣＰＵ：制御手段）によって実行される。ここでは、検出対象画素が画素Ｇ３２である場合を示す。

まず、システム制御部１５は、画像メモリ１０に記憶されている撮影画像データを欠陥画素検出補正部８に読み出す（ステップＳ１）。欠陥画素検出部８１は、事前にＲＯＭ１６に記憶されている欠陥画素補正データを参照することで、検出対象画素Ｇ３２が欠陥画素であるか否かを判断する（ステップＳ２）。

検出対象画素Ｇ３２が事前にＲＯＭ１６（記憶手段）にアドレス（位置情報）が記憶されている欠陥画素である場合、欠陥画素補正処理が必要な画素であるので、システム制御部１５は、欠陥画素補正部８２による欠陥画素補正処理を行うように制御する（ステップＳ９）。この欠陥画素補正処理では、前置補間や隣接同色画素から補間した算出値により、欠陥画素補正が行われる。この後、システム制御部１５は本処理を終了する。

一方、ステップＳ２で事前にＲＯＭ１６にアドレスが記憶されている欠陥画素でない場合、システム制御部１５は、欠陥画素検出部８１により、検出対象画素Ｇ３２とＦＤを共有している画素Ｂ２２、Ｂ４２、Ｇ５２の中に、事前にＲＯＭ１６にアドレスが記憶されている欠陥画素があるか否かを判断する（ステップＳ３）。

ステップＳ３において、画素Ｇ３２とＦＤを共有している画素の中に、事前にＲＯＭ１６にアドレスが記憶されている欠陥画素が１つもないと判断された場合、システム制御部１５は、欠陥画素検出部８１が第１の欠陥画素検出処理を実行するように制御する（ステップＳ５）。すなわち、図５に示すように、検出対象画素Ｇ３２を中心として４方向にメディアンフィルタ処理を施す。図５は、４方向のメディアンフィルタ処理を示す図である。

４方向のメディアンフィルタ処理が施された後、欠陥画素検出部８１は、検出対象画素が欠陥画素であるか否か判断する（ステップＳ７）。本実施形態では、検出対象画素が所定閾値よりも大きな出力値を発生する場合に、欠陥画素であると判断する。ここで、欠陥画素の判断に用いられる所定閾値は、他の画素と比べて画像上問題となるレベルに任意に設定される。

欠陥画素の判断に用いられる所定閾値をＴＨとすると、欠陥画素の判断の一例として、例えば数式（１）〜（４）が全て成立した場合に、検出対象画素Ｇ３２が欠陥画素であると判断される。

Ｇ３２−ｍｅｄｉａｎ（Ｇ３０，Ｇ３２，Ｇ３４） ＞ ＴＨ … （１）
Ｇ３２−ｍｅｄｉａｎ（Ｇ２１，Ｇ３２，Ｇ４３） ＞ ＴＨ … （２）
Ｇ３２−ｍｅｄｉａｎ（Ｇ２３，Ｇ３２，Ｇ４１） ＞ ＴＨ … （３）
Ｇ３２−ｍｅｄｉａｎ（Ｇ１２，Ｇ３２，Ｇ５２） ＞ ＴＨ … （４）
なお、メディアンフィルタ処理により得られた画像データは、欠陥画素の影響を無くすために、高周波成分が除かれた平滑化された画像データである。従って、ステップＳ５では、この平滑化された画像データを検出対象画素データから減算する処理を行うことにより、ノイズ成分である突出した出力値が得られることになる。

ここで、メディアンフィルタ処理が行われる同色画素範囲内に、事前にＲＯＭ１６にアドレスが記憶された欠陥画素が存在する場合、その欠陥画素は演算対象外とし、欠陥画素以外の画素データによりメディアンフィルタ処理が行われる。これにより、より正確な欠陥画素の検出が可能となる。

ステップＳ７で欠陥画素であると判断された場合、システム制御部１５は、ステップＳ９において欠陥画素補正部８２による欠陥画素補正処理を行う。この後、システム制御部１５は本処理を終了する。

一方、ステップＳ３において、画素Ｇ３２とＦＤを共有している画素Ｂ２２、Ｂ４２、Ｇ５２のいずれか１つの画素が、事前にＲＯＭ１６にアドレスが記憶されている欠陥画素であると判断された場合について説明する。図６は、画素Ｇ３２とＦＤを共有している画素Ｂ２２、Ｂ４２、Ｇ５２のいずれか１つの画素が事前にＲＯＭ１６にアドレスが記憶されている欠陥画素である場合のメディアンフィルタ処理を示す図である。

画素Ｇ３２とＦＤを共有している画素Ｂ２２、Ｂ４２、Ｇ５２のなかで、例えば画素Ｂ２２のみが欠陥画素である場合、システム制御部１５は、画素Ｂ２２が単独の欠陥画素であると判断する。つまり、システム制御部１５は、欠陥画素の数が値１であるか否かを判別し（ステップＳ４）、値１である場合、前述したステップＳ５以降の処理を行う。そして、システム制御部１５は、前述したＦＤを共有する画素のなかに事前にＲＯＭ１６にアドレスが記憶されている欠陥画素がない場合と同様、欠陥画素検出処理として、ステップＳ５において、図６に示すように４方向にメディアンフィルタ処理を施し、数式（１）〜（４）の欠陥画素の判断を行う。そして、ステップＳ７で、欠陥画素であると判断された場合、システム制御部１５は、ステップＳ９において欠陥画素補正処理を行う。

つぎに、ステップＳ３において、画素Ｇ３２とＦＤを共有している画素Ｂ２２、Ｂ４２、Ｇ５２のうちいずれか２つの画素が、事前にＲＯＭ１６にアドレスが記憶されている欠陥画素である場合について説明する。図７は、画素Ｇ３２とＦＤを共有している画素Ｂ２２、Ｂ４２、Ｇ５２のうちいずれか２つの画素が事前にＲＯＭ１６にアドレスが記憶されている欠陥画素である場合のメディアンフィルタ処理を示す図である。

画素Ｇ３２とＦＤを共有している画素Ｂ２２、Ｂ４２、Ｇ５２のなかで、例えば、画素Ｂ２２、Ｂ４２が欠陥画素である場合、４画素のＦＤ共有画素構造のうち２つが欠陥画素であるので、つぎのような可能性が高い。すなわち、構造的な要因に起因してＦＤでノイズ電荷が時々発生し、機能を共有する垂直方向の４画素に連続してこのノイズ電荷が乗ってしまう現象が生じている可能性が高く、画素Ｇ５２も欠陥画素である可能性が高いと判断される。

従って、ステップＳ４で欠陥画素の数が値１でない場合、つまり値２以上である場合、システム制御部１５は、欠陥画素検出部８１が、第２の欠陥画素検出処理としてステップＳ５における第１の欠陥画素検出処理と異なる処理を実行するように制御する。すなわち、図７に示すように、検出対象画素Ｇ３２とＦＤを共有している他の画素が配置された方向に対するメディアンフィルタ処理を実行せず、その他の３方向でメディアンフィルタ処理を施す（ステップＳ６）。そして、３方向のメディアンフィルタ処理が施された後、欠陥画素検出部８１は、検出対象画素が欠陥画素であるか否か判断する（ステップＳ８）。なお、ＦＤを共有している他の画素が配置された方向に対するメディアンフィルタ処理結果を参照しないという処理でもかまわない。

この欠陥画素の判断では、数式（１）〜（３）のみを実行して欠陥画素の判断が行われる。あるいは、数式（４）の演算が行われた場合であっても、その演算結果は参照されない。数式（１）〜（３）が全て成立した場合に、検出対象画素Ｇ３２が欠陥画素であると判断される。ステップＳ８で、欠陥画素であると判断された場合、システム制御部１５は、ステップＳ９において欠陥画素補正部８２による欠陥画素補正処理を行う。

また、検出対象画素Ｇ３２を除く、画素Ｇ３２とＦＤを共有している画素Ｂ２２、Ｂ４２、Ｇ５２のすべてが事前にＲＯＭ１６にアドレスが記憶されている欠陥画素である場合について説明する。図８は、画素Ｇ３２とＦＤを共有している画素Ｂ２２、Ｂ４２、Ｇ５２が事前にＲＯＭ１６にアドレスが記憶されている欠陥画素である場合のメディアンフィルタ処理を示す図である。

図８に示すように、３方向にメディアンフィルタ処理を施し、数式（１）〜（３）のみを実行して欠陥画素の判断が行われる。すなわち、ステップＳ８で、欠陥画素であると判断された場合、システム制御部１５は、ステップＳ９において欠陥画素補正部８２による欠陥画素補正処理を行う。

このように、第１の実施形態の撮像装置によれば、撮像素子３が電気的な機能の一部を共有する画素構造を有する画素群からなる場合、その機能を共有する他の画素も欠陥画素となる可能性が高いことを考慮して欠陥画素を検出することができ、良好な画像を得ることができる。

なお、上記実施形態では、欠陥画素検出対象画素がＧ画素である場合について説明したが、Ｂ画素およびＲ画素の場合についても、Ｇ画素の場合と同様であるので、これらの説明を省略する。

また、上記実施形態では、垂直方向の４画素のＦＤを共有する画素構造の場合について、共有している領域内に２種類以上の画素が事前に記憶されている欠陥画素である場合、その一次元方向のメディアンフィルタ処理を無視することを示した。しかし、本発明は、一次元にＦＤを共有する画素構造を有している場合に限らず、二次元にＦＤを共有する画素構造を有している場合においても有効である。すなわち、共有領域内に２種類以上の画素が事前に記憶されている欠陥画素である場合、同色の画素が存在する方向のメディアンフィルタ処理を無視すればよい。

さらに、ＦＤを共有する画素構造の画素数が４個以上の場合についても、２種類以上の欠陥画素検出処理を切り替えることにより、同様に本発明は適用可能である。

また、本実施形態では、欠陥画素検出処理として、メディアンフィルタ処理を用いたが、これに限定されるものではなく、例えば所定の１画素と隣接同色画素との信号レベル差に基づく差分処理を用いてもよい。このことは、以後の実施形態においても同様である。

［第２の実施形態］
第２の実施形態では、２つ欠陥画素検出処理を重み付けした加重平均により、欠陥画素の検出を行う場合について説明する。図９は、第１の欠陥画素検出処理として、第２の実施形態における４方向のメディアンフィルタ処理を示す図である。図１０は、第２の欠陥画素検出処理として、３方向のメディアンフィルタ処理を示す図である。なお、撮像装置の構成は、前記第１の実施形態と同様であるので、同一の符号を用いることによりその説明を省略する。

前記第１の実施形態と同様、撮像素子３の画素Ｂ２２、Ｇ３２、Ｂ４２、Ｇ５２がＦＤを共有する画素構造を有しており、欠陥画素検出対象画素が画素Ｇ３２である場合を例に挙げる。

図９に示すように、４方向にメディアンフィルタ処理を施し、数式（５）に従って平滑化された画像データを検出対象画素データから減算する処理を行うことにより、ノイズ成分である突出した出力値Ａを得る。

Ｇ３２−ｍｅｄｉａｎ（Ｇ１２，Ｇ２１，Ｇ２３，Ｇ３０，Ｇ３２，Ｇ３４，Ｇ４１，Ｇ４３，Ｇ５２） …… （５）
また、図１０に示すように、検出対象画素Ｇ３２とＦＤを共有している他の画素が配置された方向（共有画素構造方向）を除く３方向にメディアンフィルタ処理を施し、数式（６）に従って平滑化された画像データを検出対処画素データから減算する処理を行うことにより、ノイズ成分である突出した出力値Ｂを得る。

Ｇ３２−ｍｅｄｉａｎ（Ｇ２１，Ｇ２３，Ｇ３０，Ｇ３２，Ｇ３４，Ｇ４１，Ｇ４３） …… （６）
ここで、欠陥画素の判断に用いられる所定閾値をＴＨとすると、この閾値ＴＨと比較される、出力値Ａおよび出力値Ｂの加重平均により得られる加算値（加重加算値）ＭＩＸは、例えば、数式（７）に従って算出される。

ＭＩＸ＝Ａ×Ｋ ＋ Ｂ×（１−Ｋ） …… （７）
ここで、係数Ｋは値０〜１までの数値であり、ＦＤを共有している画素領域内に事前にＲＯＭ１６にアドレスが記憶されている欠陥画素が存在する個数で決定される値である。

図１１は、係数Ｋの設定の一例を示すグラフである。例えば、ＦＤ共有画素の中に、事前にＲＯＭ１６にアドレスが記憶されている欠陥画素が１つもない場合、Ｋ＝１として、４方向全てのメディアンフィルタ処理による出力値を採用する。

また、画素Ｇ３２を除く、画素Ｇ３２とＦＤを共有している画素Ｂ２２、Ｂ４２、Ｇ５２がすべて事前にＲＯＭ１６にアドレスが記憶されている欠陥画素である場合、Ｋ＝０として、３方向のメディアンフィルタ処理による出力値を採用する。

さらに、画素３２とＦＤを共有している画素Ｂ２２、Ｂ４２、Ｇ５２のいずれか１つの画素が事前にＲＯＭ１６にアドレスが記憶されている欠陥画素である場合、単独欠陥画素である可能性が高いので、係数Ｋを値１に近い値に設定し、４方向全てのメディアンフィルタ処理の結果を重視した出力値を採用する。ここでは、係数Ｋは値０．６に設定される。

一方、画素３２とＦＤを共有している画素Ｂ２２、Ｂ４２、Ｇ５２のいずれか２つの画素が事前にＲＯＭ１６にアドレスが記憶されている欠陥画素である場合、構造的な要因に起因してＦＤでノイズ電荷が時々発生し、ＦＤを共有する垂直方向４画素に連続してこのノイズ電荷が乗ってしまう場合である可能性が高い。従って、係数Ｋを値０に近い値に設定し、３方向のメディアンフィルタ処理の結果を重視した出力値を採用する。ここでは、係数Ｋは値０．３に設定される。このように、本実施形態では、２つの欠陥画素検出処理を重み付けした加重平均による加算結果から、欠陥画素が検出されることになる。

こうして得られた加重加算値ＭＩＸと、第１の実施形態と同様、欠陥画素の判断を行う所定値（閾値）をＴＨとすると、例えば、数式（８）が成立した場合、欠陥画素が判断される。

ＭＩＸ ＞ ＴＨ …… （８）
ここで、メディアンフィルタ処理が行われる同色画素範囲内に、事前にＲＯＭ１６にアドレスが記憶された欠陥画素が存在すると判断された場合、その欠陥画素を演算対象外（判断対象外）とし、欠陥画素以外の画素データにより、メディアンフィルタ処理が行われる。

さらに、欠陥画素検出対象画素に対してＦＤ共有画素構造の画素数が３個である場合を示したが、４個以上の場合についても、２種類以上の欠陥画素検出処理の加重加算値を得ることにより、第２の実施形態として本発明は適用可能である。

図１２は、撮像素子３が電気的な機能の一部を共有する画素構造を有する画素群からなる場合の欠陥画素検出処理手順を示すフローチャートである。この処理プログラムは、前述したように、ＲＯＭ１６に格納されており、システム制御部１５（ＣＰＵ）によって実行される。前記第１の実施形態と同一のステップ処理については、同一のステップ番号を付すことより、その説明を省略する。

ステップＳ２で検出対象画素Ｇ３２が事前にＲＯＭ１６に記憶された欠陥画素情報により欠陥画素でない場合、システム制御部１５は、ＦＤ共有画素のうち事前にＲＯＭ１６にアドレスが記憶された欠陥画素の数を取得する（ステップＳ３Ａ）。

システム制御部１５は、欠陥画素検出部８１が前述した複数の異なる欠陥画素検出処理を行うように制御する。そして、ステップＳ３Ａで取得した欠陥画素の数から、数式（７）に従って加重加算値ＭＩＸを算出する（ステップＳ５Ａ）。この算出結果（加算結果）から、システム制御部１５は、検出対象画素Ｇ３２が欠陥画素であるか否か、つまり、画素Ｇ３２の加重加算値ＭＩＸが数式（８）を満たしているか否かを判断する（ステップＳ７Ａ）。

システム制御部１５は、欠陥画素でない場合、そのまま本処理を終了し、一方、欠陥画素である場合、ステップＳ９で欠陥画素補正部８２により欠陥画素補正処理を行う。この欠陥画素補正処理では、前述したように、前置補間や隣接同色画素から補間した算出値により、欠陥画素補正が行われる。

このように、第２の実施形態の撮像装置によれば、ＦＤ共有画素のうち事前に記憶された欠陥画素の数をより一層反映させて、欠陥画素を検出することができる。

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。

また、Ｒ、Ｇ、Ｂ等のカラー撮像素子に限らず、モノクロ撮像素子に対しても、本発明は適用可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

３ 撮像素子
８ 欠陥画素検出補正部
１５ システム制御部
８１ 欠陥画素検出部
８２ 欠陥画素補正部
５０ 撮像装置
２１１ フローティングディフュージョン部（ＦＤ）

Claims (7)

1. ２次元状に配置された複数の画素群に結像される光学像を電気信号に変換して出力する固体撮像素子を備えた撮像装置であって、
   前記画素群の各々は、電気的な機能の一部を２以上の画素で共有する画素構造を有する複数の画素から構成され、
   前記複数の画素群に含まれる欠陥画素の位置情報を予め記憶しておく記憶手段と、
   前記複数の画素群の各々を構成する複数の画素のなかから前記記憶手段によって位置情報が記憶されていない新たな欠陥画素を、複数の異なる欠陥画素検出処理のいずれかにより検出する欠陥画素検出手段と、
   前記複数の画素群の各々に含まれる、前記記憶手段によって位置情報が記憶された欠陥画素の数に応じて、前記欠陥画素検出手段が前記複数の検出処理のうちいずれかの欠陥画素検出処理を実行するように制御する制御手段と
   を備えたことを特徴とする撮像装置。
2. 前記複数の画素群の各々は、一方向に配置された隣接する複数の画素から構成され、
   前記制御手段は、前記記憶手段によって位置情報が記憶された欠陥画素の数が０あるいは１である場合、前記複数の欠陥画素検出処理のうち、前記一方向を含む４方向にメディアンフィルタ処理を行う第１の欠陥画素検出処理を実行するように制御し、前記記憶手段によって位置情報が記憶された欠陥画素の数が２以上である場合、前記一方向を除く３方向にメディアンフィルタ処理を行う第２の欠陥画素検出処理を実行するように制御し、
   前記欠陥画素検出手段は、それぞれ前記４方向および前記３方向にメディアンフィルタ処理を行ったことにより得られた値が所定の閾値を越える場合、前記新たな欠陥画素として検出することを特徴とする請求項１記載の撮像装置。
3. ２次元状に配置された複数の画素群に結像される光学像を電気信号に変換して出力する固体撮像素子を備えた撮像装置であって、
   前記画素群の各々は、電気的な機能の一部を２以上の画素で共有する画素構造を有する複数の画素から構成され、
   前記複数の画素群に含まれる欠陥画素の位置情報を予め記憶しておく記憶手段と、
   前記複数の画素群の各々を構成する複数の画素のなかから前記記憶手段によって位置情報が記憶されていない新たな欠陥画素を、複数の異なる欠陥画素検出処理により検出する欠陥画素検出手段と、
   前記複数の画素群の各々に含まれる、前記記憶手段によって位置情報が記憶された欠陥画素の数に応じて、前記複数の異なる欠陥画素検出処理の加重平均を取って加算し、加算結果に応じて検出対象画素が前記新たな欠陥画素であるか否かを判断する制御手段と
   を備えたことを特徴とする撮像装置。
4. 前記複数の画素群の各々は、一方向に配置された隣接する複数の画素から構成され、
   前記複数の異なる欠陥画素検出処理は、前記一方向を含む４方向にメディアンフィルタ処理を行う第１の欠陥画素検出処理と、前記一方向を除く３方向にメディアンフィルタ処理を行う第２の欠陥画素検出処理を含むことを特徴とする請求項３記載の撮像装置。
5. 前記複数の画素群の各々は、当該画素群内の各画素に共通して設けられ、前記画素群内の各画素で生成された電荷を一時的に保持する保持手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. ２次元状に配置された複数の画素群に結像される光学像を電気信号に変換して出力する固体撮像素子を備え、前記画素群の各々が、電気的な機能の一部を２以上の画素で共有する画素構造を有する複数の画素から構成された撮像装置の欠陥画素検出方法であって、
   前記複数の画素群の各々を構成する複数の画素のなかから記憶手段によって位置情報が記憶されていない新たな欠陥画素を、欠陥画素検出手段が複数の異なる欠陥画素検出処理のいずれかにより検出する欠陥画素検出ステップと、
   前記複数の画素群の各々に含まれる、前記記憶手段によって位置情報が記憶された欠陥画素の数に応じて、前記複数の欠陥画素検出処理のうちいずれかの欠陥画素検出処理を選択する選択ステップと、
   前記選択ステップにおいて選択された欠陥画素検出処理を前記欠陥画素検出ステップにおいて前記欠陥画素検出手段が実行するように制御する制御ステップと
   を有することを特徴とする撮像装置の欠陥画素検出方法。
7. ２次元状に配置された複数の画素群に結像される光学像を電気信号に変換して出力する固体撮像素子を備え、前記画素群の各々が、電気的な機能の一部を２以上の画素で共有する画素構造を有する複数の画素から構成された撮像装置の欠陥画素検出方法であって、
   前記複数の画素群の各々を構成する複数の画素のなかから記憶手段によって位置情報が記憶されていない新たな欠陥画素を、複数の異なる欠陥画素検出処理により検出する欠陥画素検出ステップと、
   前記複数の画素群の各々に含まれる、前記記憶手段によって位置情報が記憶された欠陥画素の数に応じて、前記複数の異なる欠陥画素検出処理の加重平均を取って加算し、加算結果に応じて検出対象画素が前記新たな欠陥画素であるか否かを判断する判断ステップと
   を有することを特徴とする撮像装置の欠陥画素検出方法。

Images