JP5008122B2

JP5008122B2 - 固体撮像素子の欠陥画素補正方法および欠陥画素補正装置

Info

Publication number: JP5008122B2
Application number: JP2006287120A
Authority: JP
Inventors: 博一河野
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2005-10-31
Filing date: 2006-10-23
Publication date: 2012-08-22
Anticipated expiration: 2026-10-23
Also published as: JP2007151095A

Description

本発明は、テレビジョンカメラなどの撮像装置に係わり、特に撮像装置に搭載されているカラー固体撮像素子（ＣＣＤ：Charge Coupled Device）の欠陥画素検出および補正に関するものである。

従来から、ＣＣＤを用いたカラー撮像装置には、色分解光学系プリズムと３個の白黒ＣＣＤを用いる３板式カラーテレビジョンカメラがある。

３板式カラーテレビジョンカメラは色分解光学系プリズムで分光された光の３原色（赤色：Ｒ、緑色：Ｇ、青色：Ｂ）を３個のＣＣＤで処理している。この３板式カラーテレビジョンカメラは、３個の白黒ＣＣＤがＲ、Ｇ、Ｂの各色にそれぞれ用いられ、欠陥画素の補正は、対象画素の映像信号レベルと対象画素に隣接する画素の映像信号レベルの関係から対象画素が欠陥画素かを判定し、その判定結果により欠陥画素の補正を行っている。３板式カラーテレビジョンカメラの欠陥画素の検出と補正が、例えば特許文献１に記載されている。
特開２００３−０７８８２１号公報

前述の従来技術は、３板式カラーテレビジョンカメラの欠陥画素の検出および補正であるため、色フィルタで被覆された画素を配置した１個のカラーＣＣＤを用いる単板式カラーテレビジョンカメラには使用できない。

また、固体撮像素子の画素の欠陥には白きず、黒きず、明るさのむら等があり、これらの画素の欠陥は周囲温度、感度（後段の増幅器の増幅率）、露光時間および経時等で時々刻々と変化するため、リアルタイムで欠陥画素を検出し、リアルタイムで欠陥画素を補正する必要がある。

本発明の目的は、カラーＣＣＤの欠陥画素から出力する映像信号をリアルタイムで検出し、リアルタイムで欠陥画素を補正することにある。

本発明の欠陥画素補正方法は、異なる色フィルタでそれぞれ被覆された画素が配置された固体撮像素子を用いた撮像装置において、固体撮像素子の画素を画素の映像信号レベルと同一色の色フィルタで被覆された周辺画素の映像信号レベルと比較することによって、画素が欠陥画素であるか否かを検出し、画素が欠陥画素である場合は同一色の色フィルタで被覆された周辺画素の映像信号レベルから欠陥画素を補正することを特徴とする。

また、上記の欠陥画素補正方法において、更に前記色フィルタと異なる色フィルタで被覆された第２の画素と同一ライン上の最も近い同一色の２つ画素で映像信号レベルの高い方の画素を選択し、画素の上下画素の映像信号レベルと、第２の画素の上下画素の映像信号レベルとを比較することによって、第２の画素が欠陥画素であるか否かを検出し、第２の画素が欠陥画素である場合は選択した画素の映像信号レベルで欠陥画素を補正することを特徴とする。

さらに、本発明の欠陥画素補正装置は、異なる色フィルタが配置された固体撮像素子を用いた撮像装置において、固体撮像素子の画素を画素の映像信号レベルと同一色の色フィルタで被覆された周辺画素の映像信号レベルを比較して画素が欠陥画素であるか否かを検出する検出手段と、検出手段で画素が欠陥画素である場合は同一色の色フィルタで被覆された周辺画素の映像信号レベルから欠陥画素を補正する補正手段とを備えたことを特徴とする。

さらにまた、上記の欠陥画素補正装置は、更に色フィルタと異なる色フィルタで被覆された第２の画素と同一ライン上の最も近い同一色の２つ画素で映像信号レベルの高い方の画素を選択する選択手段と、選択手段で選択した画素の上下画素の映像信号レベルと第２の画素の上下画素の映像信号レベルとを比較することによって第２の画素が欠陥画素であるか否かを検出する第２の検出手段と、第２の画素が欠陥画素である場合は選択手段で選択した画素の映像信号レベルで欠陥画素を補正する第２の補正手段とを備えたことを特徴とする。

本発明によれば、隣接する異色の画素の相関を用いることにより、良好な単板式撮像装置の欠陥画素検出および補正を実時間（リアルタイム）で行うことが可能となる。

以下、本発明による単板式撮像装置の欠陥画素（白きず又は黒きず等）の検出および補正の一実施例について図１と図２を用いて説明する。

図１は本発明の一実施例の撮像装置を示すブロック図である。なお、図１は本発明の単板式撮像装置の説明に必要な部分のみを記載している。

図１において、１は撮像装置、２は入射光を結像するレンズ部、３はレンズ部２から入射した光を電気信号に変換するＣＣＤ（Charge Coupled Device）撮像素子、４はＣＣＤ撮像素子３から出力された信号から雑音を除去するＣＤＳ（Correlated Double Sampling）、５はＣＤＳ４から出力された信号の利得を調整するアンプ部、６はアンプ部５から出力されたアナログ信号をデジタル信号の信号Ａに変換するＡ／Ｄ変換部（Analog Digital Converter）、７はＣＣＤ撮像素子３の欠陥画素の検出と補正を行う欠陥画素補正部、８は欠陥画素補正部７から出力された信号Ｌに種々の画像処理を施す映像信号処理部、９は映像信号処理部８から出力された信号を所定方式の映像信号に変換して出力する映像信号出力部、１０はＣＣＤ撮像素子３の駆動を行うためのＣＣＤ駆動部、１１は撮像装置１内の各部を制御するＣＰＵ（Central Processing Unit）である。また、ＣＰＵ１１は信号Ｈで欠陥画素補正部７の制御を行う。

映像信号出力部９から出力される所定方式の映像信号とは、例えば、ＮＴＳＣ（National Television System Committee）方式、ＰＡＬ（Phase Alternating by Line）方式またはＨＤＴＶ（High Definition TeleVision）方式等の動画像あるいは静止画像である。

図２は図１の欠陥画素補正部７の詳細内容を示すブロック図である。

図２において、７０１〜７０３は走査線１本分（１Ｈ）の時間を遅延させるためのメモリ部である。７０４〜７１５は画素１ケ分の時間を遅延させるための遅延部である。メモリ部７０１は信号ｍ６を出力し、メモリ部７０２からは信号ｎ６を出力し、メモリ部７０３からは信号ｍ５を出力し、遅延部７０４からは信号ｎ４を出力し、遅延部７０５からは信号ｍ２を出力し、遅延部７０６からは信号ｎ２を出力し、遅延部７０７からは信号ｍ４を出力し、遅延部７０９からは信号ｎ０を出力し、遅延部７１１からは信号ｎ５を出力し、遅延部７１２からは信号ｎ３を出力し、遅延部７１３からは信号ｍ１を出力し、遅延部７１４からは信号ｎ１を出力し、遅延部７１５からは信号ｍ３を出力する。７１６は信号ｎ１〜ｎ４の信号レベルを比較してレベルの高い２つを信号ｄ１と信号ｄ２として出力する比較部、７２０は信号ｄ１と信号ｄ２を演算して信号ａ３を出力する演算部、７１７は信号ｎ５と信号ｎ６の信号レベルを比較してレベルの高い方を信号ｄとして出力する比較部、７１８と７１９は比較部７１７の比較結果に応じて出力する信号を切替える切替部、７２２は切替部７１８から出力される信号ｕと切替部７１９から出力される信号ｓと信号ｍ１と信号ｍ２を演算して信号ｇを出力する演算部、７２１は信号ｄと信号ｇを演算して信号ｂ３を出力する演算部、７２３と７２４は対象画素がＧ（緑色）かＧ以外かの識別信号ｙで出力する信号を切替える切替部、７２５は切替部７２４から出力される信号ｃと制御部７２６から出力される信号ｋ１と信号ｋ２を演算して信号ｊを出力する演算部、７２７は信号ｎ０と信号ｊを比較して信号ｚを出力する比較部、７２８は信号ｚに従って信号ｎ０と信号ｊを切替える切替部、７２６は入力される信号Ｈに従って識別信号ｙと信号ｋ１と信号ｋ２を出力する制御部である。

本一実施例ではメモリ部７０１を走査線１本分（１Ｈ）の時間を遅延させるためのものとしたが、メモリ部７０１がなくても動作は同じである。また、メモリ部７０１を撮像装置１全体のタイミング（同期）合わせに使用しても良い。

次に本発明の一実施例の動作を図１で説明する。

撮像装置１のＣＣＤ撮像素子３はレンズ部２で結像された入射光を光電変換してＣＤＳ４に出力する。ＣＤＳ４はＣＣＤ撮像素子３から出力された信号から雑音を除去してアンプ部５に出力する。アンプ部５はＣＤＳ４から出力された信号をＣＰＵ１１から出力される利得制御信号に従って増幅してＡ／Ｄ変換部６に出力する。Ａ／Ｄ変換部６はアンプ部５から出力されたアナログ信号を例えば１０ビットのデジタル信号に変換して欠陥画素補正部７に信号Ａを出力する。欠陥画素補正部７はＣＣＤ撮像素子３の欠陥画素の検出と補正を行い映像信号処理部８に信号Ｌを出力する。映像信号処理部８は欠陥画素補正部７から出力された信号Ｌに種々の画像処理を施して映像信号出力部９に出力する。映像信号出力部９は映像信号処理部８から出力された信号を所定方式の映像信号に変換して出力する。ＣＣＤ駆動部１０はＣＰＵ１１から出力される制御信号に従ってＣＣＤ撮像素子３を駆動するための信号を出力する。また、ＣＰＵ１１は欠陥画素補正部７の制御するための信号Ｈを出力する。

ＣＣＤ駆動部１０からＣＰＵ１１へは、ＣＣＤ撮像素子３から出力する映像信号の色情報を伝送する。または、ＣＰＵ１１からＣＣＤ駆動部１０へＣＣＤ撮像素子３から出力する映像信号の読み出し開始点を指示しても良い。識別信号ｙは画素の色情報であり、ＣＰＵ１１から出力する信号ＨにＣＣＤ撮像素子３から出力する映像信号の色情報を重畳して制御部７２６に伝送し、制御部７２６から画素の色情報である識別信号ｙが出力される。

更に図２〜図６を用いて本発明の一実施例であるＣＣＤ撮像素子３の欠陥画素の検出と補正の動作について説明する。

図３は単板式カラーＣＣＤの色フィルタの配列を説明するための図であり、図４は本発明の一実施例であるＧ信号の欠陥画素を検出および補正を説明するための図であり、図５は本発明の一実施例であるＲ信号の欠陥画素を検出および補正を説明するための図であり、図６は本発明の一実施例であるＢ信号の欠陥画素を検出および補正を説明するための図である。

図３はカラーＣＣＤ撮像素子の画素配列を示した図で、１個の四角が１画素を示し、また、四角の中に書かれたＲ，Ｇ，Ｂの記号は、その画素の色を示している。Ｒが赤色フィルタを被覆した画素であり、Ｇが緑色フィルタを被覆した画素であり、Ｂが青色フィルタを被覆した画素である。赤色フィルタで被覆された画素は赤色フィルタでフィルタリングされた赤色光を光電変換する。緑色フィルタで被覆された画素は緑色フィルタでフィルタリングされた緑色光を光電変換する。青色フィルタで被覆された画素は青色フィルタでフィルタリングされた青色光を光電変換する。また、四角の中に書かれた数字は画素の配置で、十の位の数字が行を示し、一の位の数字が列を示している。本実施例の画素配列は、１ライン目がB11,G12,B13,G14,B15,G16,B17,G18,・・・,B1(M-1),G1Mの順に、２ライン目がG21,R22,G23,R24,G25,R26,G27,R28,・・・,G2(M-1),R2Mの順に、（Ｎ−１）ライン目がB(N-1)1,G(N-1)2,B(N-1)3,G(N-1)4,B(N-1)5,G(N-1)6,B(N-1)7,G(N-1)8,・・・,B(N-1)(M-1),G(N-1)Mの順に、Ｎライン目がGN1,RN2,GN3,RN4,GN5,RN6,GN7,RN8,・・・,GN(M-1),RNMの順である。ＭとＮは自然数である。また、映像信号を読み出す画素の順も上述の画素配列の順と同じである。即ちB11,G12,B13,・・・, GN(M-1),RNMの順に映像信号を読み出す。

本発明は、実時間（リアルタイム）で全画素の欠陥検出と補正が可能であるが、説明を分かりやすくするため、代表例として各色とも１つの画素を対象画素として説明する。

最初に、Ｇ（緑色）画素の欠陥検出と補正について図３のＧ３４を対象画素として説明する。

図４に示すように、Ｇ３４画素から出力する映像信号を信号ｎ０とし、Ｇ２３画素から出力する映像信号を信号ｎ１とし、Ｇ４３画素から出力する映像信号を信号ｎ２とし、Ｇ２５画素から出力する映像信号を信号ｎ３とし、Ｇ４５画素から出力する映像信号を信号ｎ４とする。

まず、信号Ａは図２の３個のメモリ部（７０１〜７０３）と１２個の遅延部（７０４〜７１５）を使って、図４に示す画素の映像信号データを演算処理や比較等を行えるよう同じタイミングにする（以下、同一時間上にすると称する）。また、本実施例では７１６から７２８の各演算や比較の処理等で遅延時間はないものとして説明する。

次に、図４の信号ｎ０に対して、その斜め方向に隣接する４個の同色画素の信号ｎ１〜ｎ４の信号レベルを図２の比較部７１６で比較してレベルの高い方の２つを信号ｄ１と信号ｄ２として演算部７２０に出力する。演算部７２０は入力された信号ｄ１と信号ｄ２を演算して得られた信号ａ３を切替部７２３と切替部７２４に出力する。信号ａ３の演算式（式１）は下記となる。

ａ３＝（ｄ１＋ｄ２）／２・・・・・（式１）
上述の信号ａ３は、信号ｎ１〜ｎ４の信号レベルを比較部７１６で比較してレベルの高い方の２つの信号を選択して得ているが、レベルの高い方の３つの信号を選択して信号ａ３を得ても良いし、４つの信号を使用して信号ａ３を得ても良い。

信号ｎ１〜ｎ４の信号レベルの中で高い方の３つの信号を選択して信号ａ３を得るには、信号ｎ１〜ｎ４の信号レベルを図２の比較部７１６で比較してレベルの高い方の３つを信号ｄ１，信号ｄ２，信号ｄ３として演算部７２０に出力し、演算部７２０は入力された信号ｄ１〜ｄ３を演算して得られた信号ａ３を切替部７２３と切替部７２４に出力する。信号ａ３を得る演算式（式１’）は下記となる。

ａ３＝（ｄ１＋ｄ２＋ｄ３）／３・・・・・（式１’）
信号ｎ１〜ｎ４の４つの信号から信号ａ３を得るには、信号ｎ１〜ｎ４を図２の比較部７１６に入力するが比較部７１６では比較せずに信号ｎ１〜ｎ４を信号ｄ１〜ｄ４として演算部７２０に出力し、演算部７２０は入力された信号ｄ１〜ｄ４を演算して得られた信号ａ３を切替部７２３と切替部７２４に出力する。信号ａ３を得る演算式（式１”）は下記となる。

ａ３＝（ｄ１＋ｄ２＋ｄ３＋ｄ４）／４・・・・（式１”）
切替部７２３と切替部７２４は対象画素がＧであるため、信号ａ３を出力する。切替部７２３と切替部７２４の切替制御は制御部７２６から出力される識別信号ｙによって行う。切替部７２３から出力する信号ａ３を信号ｆとして切替部７２８に出力する。切替部７２４から出力する信号ａ３を信号ｃとして演算部７２５に出力する。演算部７２５は切替部７２４から出力される信号ｃと制御部７２６から出力される信号ｋ１と信号ｋ２を演算して得られた信号ｊを比較部７２７に出力する。信号ｊの演算式（式２）は下記となる。

ｊ＝ｃ×ｋ１＋ｋ２・・・・・（式２）
ｋ１とｋ２はＣＰＵ１１から制御部７２６を介して演算部７２５に入力される。

ｋ１は、対象画素の信号ｎ０と周辺画素から算出した信号ｃとの差が、コントラスト差か欠陥画素による差かを区別するためのパラメータである。ｋ２は、対象画素の信号ｎ０と周辺画素から算出した信号ｃとの差が、雑音による差か欠陥画素による差かを区別するためのパラメータである。ｋ１とｋ２はアンプ部５の利得および対象画素の色により適応的に変更しても良い。また、ｋ１とｋ２は値が変更されるまで演算部７２５で保持しても良い。

比較部７２７は、入力された信号ｎ０と信号ｊの信号レベルを比較する。比較部７２７の比較の結果は信号ｚとして切替部７２８に出力する。比較部７２７の比較の結果で信号ｎ０が信号ｊより信号レベルが高い場合は対象画素Ｇ３４が欠陥画素と判断して信号ｆを切替部７２８から信号Ｌとして出力する。ここで信号ｆは欠陥画素補正信号となる。信号レベルの比較の結果で、信号ｎ０が信号ｊ以下の場合は対象画素Ｇ３４が欠陥画素でないと判断して信号ｎ０を切替部７２８から信号Ｌとして出力する。

次に、Ｒ（赤色）画素の欠陥検出と補正について図３のＲ２４を対象画素として説明する。

図５に示すように、Ｒ２４画素から出力する映像信号を信号ｎ０とし、Ｒ２２画素から出力する映像信号を信号ｎ５とし、Ｒ２６画素から出力する映像信号を信号ｎ６とし、Ｇ１２画素から出力する映像信号を信号ｍ３とし、Ｇ１４画素から出力する映像信号を信号ｍ１とし、Ｇ１６画素から出力する映像信号を信号ｍ５とし、Ｇ３２画素から出力する映像信号を信号ｍ４とし、Ｇ３４画素から出力する映像信号を信号ｍ２とし、Ｇ３６画素から出力する映像信号を信号ｍ６とする。

まず、信号Ａは図２の３個のメモリ部（７０１〜７０３）と１２個の遅延部（７０４〜７１５）を使って、図５に示す画素の映像信号データを同一時間上にする。

図５の信号ｎ０に対して、その左右方向で１番近くにある２個の同色画素の信号ｎ５と信号ｎ６の信号レベルを図２の比較部７１７で比較してレベルの高い方を信号ｄとして切替部７２３と演算部７２１に出力する。

比較部７１７の比較結果で信号ｎ５が高い場合は、比較部７１７から出力する信号ｘで切替部７１８と切替部７１９を制御して、切替部７１８からは信号ｍ４を信号ｕとして演算部７２２に出力し、切替部７１９からは信号ｍ３を信号ｓとして演算部７２２に出力する。

比較部７１７の比較結果で信号ｎ６が高い場合は、比較部７１７から出力する信号ｘで切替部７１８と切替部７１９を制御して、切替部７１８からは信号ｍ６を信号ｕとして演算部７２２に出力し、切替部７１９からは信号ｍ５を信号ｓとして演算部７２２に出力する。

演算部７２２は入力された信号ｕ，信号ｓ，信号ｍ１，信号ｍ２を演算して得られた信号ｇを演算部７２１に出力する。信号ｇの演算式（式３）は下記となる。

ｇ＝（ｍ１＋ｍ２）／（ｕ＋ｓ）・・・・・（式３）
演算部７２１は入力された信号ｄと信号ｇを演算して得られた信号ｂ３を切替部７２４に出力する。信号ｂ３の演算式（式４）は下記となる。

ｂ３＝ｄ×ｇ・・・・・（式４）
切替部７２３は対象画素がＧ（緑色）以外であるため、信号ｄを信号ｆとして切替部７２８に出力する。切替部７２４は対象画素がＧ（緑色）以外であるため、信号ｂ３を信号ｃとして演算部７２５に出力する。切替部７２３と切替部７２４の切替制御は制御部７２６から出力される識別信号ｙによって行う。演算部７２５は切替部７２４から出力される信号ｃと制御部７２６から出力される信号ｋ１と信号ｋ２を演算して得られた信号ｊを比較部７２７に出力する。ｋ１とｋ２はＣＰＵ１１から制御部７２６を介して演算部７２５に入力される。信号ｊの演算式は、前述と同じ演算式（式２）である。

比較部７２７は、入力された信号ｎ０と信号ｊの信号レベルを比較する。比較部７２７の比較の結果は信号ｚとして切替部７２８に出力する。比較部７２７の比較の結果で信号ｎ０が信号ｊより信号レベルが高い場合は対象画素Ｒ２４が欠陥画素と判断して信号ｆを切替部７２８から信号Ｌとして出力する。ここで信号ｆは欠陥画素補正信号となる。信号レベルの比較の結果で、信号ｎ０が信号ｊ以下の場合は対象画素Ｒ２４が欠陥画素でないと判断して信号ｎ０を切替部７２８から信号Ｌとして出力する。

更に、Ｂ（青色）画素の欠陥検出と補正について図３のＢ３３を対象画素として説明する。Ｂ（青色）画素の欠陥検出と補正は、上述のＲ（赤色）画素の欠陥検出と補正の動作と同様である。

図６に示すように、Ｂ３３画素から出力する映像信号を信号ｎ０とし、Ｂ３１画素から出力する映像信号を信号ｎ５とし、Ｂ３５画素から出力する映像信号を信号ｎ６とし、Ｇ２１画素から出力する映像信号を信号ｍ３とし、Ｇ２３画素から出力する映像信号を信号ｍ１とし、Ｇ２５画素から出力する映像信号を信号ｍ５とし、Ｇ４１画素から出力する映像信号を信号ｍ４とし、Ｇ４３画素から出力する映像信号を信号ｍ２とし、Ｇ４５画素から出力する映像信号を信号ｍ６とする。

まず、信号Ａは図２の３個のメモリ部（７０１〜７０３）と１２個の遅延部（７０４〜７１５）を使って、図６に示す画素の映像信号データを同一時間上にする。

図６の信号ｎ０に対して、その左右方向で１番近くにある２個の同色画素の信号ｎ５と信号ｎ６の信号レベルを図２の比較部７１７で比較してレベルの高い方を信号ｄとして切替部７２３と演算部７２１に出力する。

演算部７２２は入力された信号ｄ，信号ｓ，信号ｍ１，信号ｍ２を演算して得られた信号ｇを演算部７２１に出力する。信号ｇの演算式は前述と同じ演算式（式３）である。

演算部７２１は入力された信号ｄと信号ｇを演算して得られた信号ｂ３を切替部７２４に出力する。信号ｂ３の演算式は前述と同じ演算式（式４）である。

切替部７２３は対象画素がＧ（緑色）以外であるため、信号ｄを信号ｆとして切替部７２８に出力する。切替部７２４は対象画素がＧ（緑色）以外であるため、信号ｂ３を信号ｃとして演算部７２５に出力する。切替部７２３と切替部７２４の切替制御は制御部７２６から出力される識別信号ｙによって行う。演算部７２５は切替部７２４から出力される信号ｃと制御部７２６から出力される信号ｋ１と信号ｋ２を演算して得られた信号ｊを比較部７２７に出力する。ｋ１とｋ２はＣＰＵ１１から制御部７２６を介して演算部７２５に入力される。信号ｊの演算式は前述と同じ演算式（式２）である。

比較部７２７は、入力された信号ｎ０と信号ｊの信号レベルを比較する。比較部７２７の比較の結果は信号ｚとして切替部７２８に出力する。比較部７２７の比較の結果で信号ｎ０が信号ｊより信号レベルが高い場合は対象画素Ｂ３３が欠陥画素と判断して信号ｆを切替部７２８から信号Ｌとして出力する。ここで信号ｆは欠陥画素補正信号となる。信号レベルの比較の結果で、信号ｎ０が信号ｊ以下の場合は対象画素Ｂ３３が欠陥画素でないと判断して信号ｎ０を切替部７２８から信号Ｌとして出力する。

次に、本発明の他の一実施例について説明する。

図７は、本発明の他の一実施例である欠陥画素の検出および補正の動作を説明するためのフローチャートである。他の一実施例として図１の欠陥画素補正部７をＣＰＵ（Central Processing Unit）等の電算機を使用して固体撮像素子の欠陥画素の検出および補正を実時間（リアルタイム）で行うものである。演算の一実施例として図４、図５、図６で説明する。

欠陥画素補正部７に入力された信号Ａは、図７の“開始”から演算処理を開始し、ステップＳ０の初期設定でｋ１とｋ２の数値を設定する。ステップ１で演算の対象となる画素から出力される映像信号データを同一時間上にする。同一時間上にする一実施例としてメモリ（Random Access Memory）等でデータを遅延させる。

ステップＳ２で欠陥画素検出の対象画素ｎ０がＧ（緑色）かを判定する。判定は上述の識別信号ｙのような画素の色情報を持つ信号を用いて行う。対象画素ｎ０がＧ（緑色）の場合はステップＳ３の処理に進み、対象画素ｎ０がＧ（緑色）でない場合はステップＳ９の処理に進む。ステップＳ３は図４の信号ｎ０に対して、その斜め方向に隣接する４個の同色画素の信号ｎ１〜ｎ４の信号レベルを比較してレベルの高い２つをｄ１とｄ２とする。ステップＳ４でａ３を算出してステップＳ５の処理に進む。ａ３の算出式（式５）は下記となる。

ａ３＝（ｄ１＋ｄ２）／２・・・・・（式５）
ステップＳ５でｊを算出してステップＳ６の処理に進む。ｊの算出式（式６）は下記となる。

ｊ＝ａ３×ｋ１＋ｋ２・・・・・（式６）
ステップＳ６は対象画素ｎ０が欠陥画素かを判定する。ｎ０とｊの信号レベルを比較してｎ０がｊより高い場合は対象画素ｎ０が欠陥画素としてステップＳ７の処理に進み、ｎ０がｊ以下の場合は対象画素ｎ０が正常画素としてステップＳ８の処理に進む。ステップＳ７はａ３を信号Ｌとして出力する。ステップＳ８はｎ０を信号Ｌとして出力する。

ステップＳ２で対象画素ｎ０がＧ（緑色）以外の場合はステップＳ９の処理に進む。本一実施例では、Ｇ（緑色）以外とはＲ（赤色）またはＢ（青色）のことである。
ステップＳ９は図５または図６の信号ｎ０に対して、その左右方向で１番近くにある２個の同色画素の信号ｎ５と信号ｎ６の信号レベルを比較してｎ５がｎ６より高い場合はステップＳ１０の処理に進み、ｎ５がｎ６以下の場合はステップＳ１２の処理に進む。

ステップ１０でｎ５をｄとしてステップＳ１１の処理に進む。ステップＳ１１でｇを算出してステップＳ１４の処理を進む。ｇの算出式（式７）は下記となる。

ｇ＝（ｍ１＋ｍ２）／（ｍ３＋ｍ４）・・・・・（式７）
ステップＳ１４でｊを算出してステップＳ１５の処理に進む。ｊの算出式（式８）は下記となる。

ｊ＝ｄ×ｇ×ｋ１＋ｋ２・・・・・（式８）
ステップ１５は対象画素ｎ０が欠陥画素かを判定する。ｎ０とｊの信号レベルを比較してｎ０がｊより高い場合は対象画素ｎ０が欠陥画素としてステップＳ１６の処理に進み、ｎ０がｊ以下の場合は対象画素ｎ０が正常画素としてステップＳ８の処理に進む。ステップＳ１６はｄを信号Ｌとして出力する。ステップＳ８はｎ０を信号Ｌとして出力する。

ステップ１２でｎ６をｄとしてステップＳ１３の処理に進む。ステップＳ１３でｇを算出する。ｇの算出式（式９）は下記となる。

ｇ＝（ｍ１＋ｍ２）／（ｍ５＋ｍ６）・・・・・（式９）
ステップＳ１４でｊを算出してステップＳ１５の処理に進む。ｊの算出式は上述の（式８）である。ステップ１５は対象画素ｎ０が欠陥画素かを判定する。ｎ０とｊの信号レベルを比較してｎ０がｊより高い場合は対象画素ｎ０が欠陥画素としてステップＳ１６の処理に進み、ｎ０がｊ以下の場合は対象画素ｎ０が正常画素としてステップＳ８の処理に進む。ステップＳ１６はｄを信号Ｌとして出力する。ステップＳ８はｎ０を信号Ｌとして出力する。

そして次に、上述のｋ１とｋ２の数値の決め方の一実施例を説明する。

ｋ１は、主に信号レベルが高い（高輝度）ときに、欠陥画素検出の対象画素ｎ０と周辺画素から算出したａ３またはｄ×ｇ（図２では信号ｃ）との差が、コントラスト差か欠陥画素による差かを区別するためのパラメータである。一実施例としてｋ１が１．１とすれば、周辺画素から算出したａ３またはｄ×ｇ（図２では信号ｃ）の値に対して、１０％以下の差はコントラスト差とする。即ち１０％以下の差は正常画素とする。

ｋ２は、主に信号レベルが低い（低照度）ときに、欠陥画素検出の対象画素ｎ０と周辺画素から算出したａ３またはｄ×ｇ（図２では信号ｃ）との差が、雑音による差か欠陥画素による差かを区別するためのパラメータである。一実施例として、定格１００％レベルを１０ｂｉｔデジタル値（最大１０２３）で５００とするならば、ｋ２を１０程度に設定すれば、２％程度の変動分は雑音とする。即ち２％程度以下の変動は正常画素とする。ｋ１とｋ２はアンプ部５の利得および対象画素の色により適応的に変更しても良い。

本発明の一実施例ではＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の３色のフィルタが配置された撮像素子について記載したが、本発明は３色であれば色を問わずに欠陥画素の検出および補正を行うことができる。

以上本発明について詳細に説明したが、本発明は、ここに記載された撮像装置に限定されるものではなく、上記以外の撮像装置であるデジタルスチルカメラ等に広く適用することができることは言うまでもない。

本発明は、隣接する同色および異色の画素の相関を用いることにより、単板式撮像装置の欠陥画素を実時間で検出し、実時間で欠陥画素の補正を行うことができる。

本発明の一実施例の撮像装置を示すブロック図。本発明の一実施例の欠陥画素補正部を示すブロック図。単板式カラーＣＣＤの色フィルタの配列を説明するための図。本発明の一実施例であるＧ信号の欠陥画素を検出および補正を説明するための図。本発明の一実施例であるＲ信号の欠陥画素を検出および補正を説明するための図。本発明の一実施例であるＢ信号の欠陥画素を検出および補正を説明するための図。本発明の他の一実施例である欠陥画素の検出および補正の動作を説明するためのフローチャート。

符号の説明

１：撮像装置、２：レンズ部、３：ＣＣＤ撮像素子、４：ＣＤＳ、５：アンプ部、６：Ａ／Ｄ変換部、７：欠陥画素補正部、８：映像信号処理部、９：映像信号出力部、１０：ＣＣＤ駆動部、１１：ＣＰＵ、７０１〜７０３：メモリ部、７０４〜７１５：遅延部、７１６，７１７，７２７：比較部、７１８，７１９，７２３，７２４，７２８：切替部、７２０，７２１，７２２，７２５：演算部、７２６：制御部。

Claims

異なる色フィルタでそれぞれ被覆された画素が配置された固体撮像素子を用いた撮像装置において、前記固体撮像素子の画素を該画素の映像信号レベルと同一色の色フィルタで被覆された周辺画素の映像信号レベルと比較することによって、前記画素が欠陥画素であるか否かを検出し、前記画素が欠陥画素である場合は前記同一色の色フィルタで被覆された周辺画素の映像信号レベルから前記欠陥画素を補正し、
更に前記色フィルタと異なる色フィルタで被覆された第２の画素と同一ライン上の最も近い同一色の２つ画素で映像信号レベルの高い方の画素を選択し、該画素の上下画素の映像信号レベルと、前記第２の画素の上下画素の映像信号レベルとを演算することによって、前記第２の画素が欠陥画素であるか否かを検出し、前記第２の画素が欠陥画素である場合は前記選択した画素の映像信号レベルで前記欠陥画素を補正することを特徴とする欠陥画素補正方法。
異なる色フィルタが配置された固体撮像素子を用いた撮像装置において、
前記固体撮像素子の画素を該画素の映像信号レベルと同一色の色フィルタで被覆された周辺画素の映像信号レベルを比較して前記画素が欠陥画素であるか否かを検出する検出手段と、前記検出手段で前記画素が欠陥画素である場合は前記同一色の色フィルタで被覆された周辺画素の映像信号レベルから前記欠陥画素を補正する補正手段とを備え、
更に前記色フィルタと異なる色フィルタで被覆された第２の画素と同一ライン上の最も近い同一色の２つ画素で映像信号レベルの高い方の画素を選択する選択手段と、該選択手段で選択した画素の上下画素の映像信号レベルと前記第２の画素の上下画素の映像信号レベルとを演算することによって前記第２の画素が欠陥画素であるか否かを検出する第２の検出手段と、前記第２の画素が欠陥画素である場合は前記選択手段で選択した画素の映像信号レベルで前記欠陥画素を補正する第２の補正手段とを備えたことを特徴とする欠陥画素補正装置。