JP5694907B2

JP5694907B2 - 撮像装置

Info

Publication number: JP5694907B2
Application number: JP2011261187A
Authority: JP
Inventors: 雄一野中; 西澤　明仁; 明仁西澤
Original assignee: Hitachi Maxell Energy Ltd
Current assignee: Hitachi Maxell Energy Ltd
Priority date: 2011-11-30
Filing date: 2011-11-30
Publication date: 2015-04-01
Anticipated expiration: 2031-11-30
Also published as: JP2013115675A

Description

本発明は、撮像装置に関する。

本技術分野の背景技術として、特許文献１がある。該公報には、「レンズ１１が非合焦状態にあるときの撮像素子１３の輝度レベルを用いて欠陥検出回路２４で欠陥検出を行い、その検出した欠陥画素のアドレスをシステムコントローラ２６内に保持し、そのアドレス位置で欠陥補正を行うようにする。」と記載されている（要約参照）。

特開２００５−３２８１３４号公報

撮像素子においては、製造工程において生じる画素欠陥と、温度変化や宇宙線などの放射線による経時変化で生じる画素欠陥とがあり、画素欠陥には欠陥箇所の輝度が高くなるいわゆる「白欠陥」と欠陥箇所の輝度が低くなるいわゆる「黒欠陥」とがある。

製造工程において生じる画素欠陥は固定位置であるため、工場出荷時に欠陥画素の出力を近隣画素の出力を補間した値で補正する欠陥補正を施してから出荷することがおこなわれている。

しかしながら、温度変化や経時変化で生じた撮像素子の画素欠陥には補間できないため画質を損なう問題があった。

この問題を解決する例として、特許文献１では、レンズが非合焦状態にあるときの固体撮像素子の出力信号に基づいて画素欠陥検出を行うことにより、経時変化で現れる欠陥画素にも対応できることが記載されている。

しかしながら、特許文献１では、白欠陥は、隣り合う画素の信号との差分があらかじめ設定した差幅よりも大きく、かつ当該差分が正の場合に白欠陥と判定し、黒欠陥は、隣り合う画素の信号との差分があらかじめ設定した差幅よりも大きく、かつ当該差分が負の場合に黒欠陥であると判定している。

このため、白黒の撮像装置であれば正しく判定できるが、複数の色フィルタを配置したカラー撮像装置においては、同一色の画素との距離が離れていたり、隣の画素の輝度への重み係数が異なっているために、固定の閾値では、欠陥を補正できながったり、欠陥画素で無いにもかかわらず欠陥画素として補正してしまう問題があった。本発明は、上記課題を解決し、カラー撮像装置においても、より精度の高い画素結果検出及び画素欠陥補正が可能な撮像装置を提供するものである。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。
（１）被写体を撮像する撮像手段と、前記撮像手段からの画像信号を用いて注目画素の欠陥判定を行う欠陥判定手段と、を有し、前記欠陥判定手段は、前記注目画素の信号レベルと、前記注目画素と同色で前記注目画素の周囲にある比較対象画素の信号レベルと、を比較して欠陥を判定する第一判定処理手段と、前記注目画素の信号レベルと、前記注目画素と異なる色で前記注目画素の周囲にある比較対象画素の信号レベルと、を比較して欠陥を判定する第二判定処理手段と、前記第一判定処理手段による欠陥判定結果と前記第二判定処理手段による欠陥判定結果とを用いて画素欠陥か否かを判定する第三判定処理手段と、を有することを特徴とする撮像装置である。
（２）（１）記載の撮像装置であって、前記画像信号は原色ベイヤの画素配列であり、前記第二判定処理手段は、注目画素がGrであった場合は異色の周囲画素はGbとして信号レベルを比較することで画素欠陥を判定し、注目画素がGbであった場合は異色の周囲画素はGrとして信号レベルを比較することで画素欠陥を判定すること、を特徴とした撮像装置である。
（３）（１）記載の撮像装置であって、前記画像信号は原色ベイヤの画素配列であり、前記第二判定処理手段は、注目画素がRまたはBであった場合は、注目画素と隣接したGrおよびGbの第１グループの画素の信号レベルの平均値または加重加算値を算出し、注目画素と隣接していないGrおよびGbの第２グループの画素の信号レベルの平均値または加重加算値を算出し、前記第１グループの画素の信号レベルの平均値または加重加算値と第２グループの平均値または加重加算値とを比較することで画素欠陥を判定すること、を特徴とした撮像装置である。

また、水平方向と垂直方向にそれぞれN*M画素(N,Mは奇数)の範囲の中心の画素を注目画素（欠陥判定をする画素）とし、比較対象画素を注目画素と同色の周囲画素として、同一の色のみを使用して注目画素が欠陥か否かを判定することを特徴とする撮像装置である。

また、水平方向と垂直方向にそれぞれN*M画素(N,Mは奇数)の範囲の中心の画素を注目画素（欠陥判定をする画素）とし、比較対象画素を緑色として、注目画素からの距離によって緑色のグループを分け平均値を算出し、グループ毎の平均値の差によって注目画素が欠陥か否かを判定することを特徴とする撮像装置である。

また、水平方向と垂直方向にそれぞれN*M画素(N,Mは奇数)の範囲の中心の画素を注目画素（欠陥判定をする画素）とし、比較対象画素を注目画素と同色の周囲画素として、注目画素と比較対象画素の差分が閾値よりも小さな比較対象画素を除外して、比較対象画素の平均値と注目画素と比較対象画素の差分の絶対値の最大値と最小値を計算し、比較対象画素の平均値と差分の絶対値の最大値−最小値によって注目画素と比較対象画素の平均値の間の値で補間値を計算し、注目画素が欠陥の場合には、上記補間値を注目画素の値として出力することを特徴とする撮像装置である。

上記のように、本発明によれば、欠陥と判定する画素の輝度に対する重み係数を考慮した閾値の切り替えや、判定を施し、さらに、ホワイトバランスの状態によって閾値の設定や判定方法を変えることで、カラー撮像装置においても、より精度の高い画素欠陥検出をおこなうことが可能となり、より精度の高い欠陥補正を施すことが可能となる。

また、本発明によれば、同一の色のみを使用して欠陥判定するため、たとえばホワイトバランスがずれていた際にでも、より精度の高い画素欠陥検出を可能とした撮像装置を提供することができる。

また、本発明によれば、欠陥判定画素との距離が近い画素の出力を用いて欠陥判定をするため、より周波数成分の高い被写体においても正しい画素欠陥検出を可能とした撮像装置を提供することができる。

また、本発明によれば、目立ちやすい欠陥と、目立ちにくい欠陥を切り分け、目立ちやすい欠陥においては補正を強め、目立ちにくい欠陥では補正を弱めることで、大きな補正効果を得ることと、大きく画像を損ねないことの２つを両立し、かつ、その２つの間をバランスさせた欠陥補正をおこなうことを可能とした、撮像装置を提供できる。

本発明によれば、カラー撮像装置においても精度の高い画素欠陥検出及び画素欠陥補正が可能な撮像装置を提供することができる。

本発明に係る撮像装置の一構成例を示す図である。欠陥検出・補正回路の第一の構成例を示す図である。比較器２０１の動作フローを示す図である。閾値選択回路２０３の補足説明のための画素の一例を示す図である。閾値選択回路２０３の補足説明のための画素の他の例を示す図である。欠陥検出・補正回路の第二の構成例を示す図である。第一の欠陥検出回路の構成例を示す図である。第一の欠陥検出回路の補足説明図である。欠陥検出回路の他の構成例を示す図である。本発明に係る欠陥画素検出に好適な処理アルゴリズムを示す図である。第二の欠陥検出回路の構成例を示す図である。第三の欠陥検出回路の構成例を示す図である。

以下、本発明の実施形態について図面を用いて説明する。

本実施形態では、撮像装置の一形態であるビデオカメラを例に用いて説明する。本発明に係る撮像装置の第一の実施形態の構成例は、図１に示す通り、撮像レンズ１０１と、撮像素子１０２と、Ａ／Ｄ変換回路１０３と、欠陥検出・補正回路１０４と、信号処理回路１０５と、タイミングジェネレータ１０６とを適宜用いて構成される。以下、本撮像装置による欠陥検出・欠陥補正について説明する。まず、撮像レンズ１０１を介して被写体から入射された光は撮像素子１０２に照射され、被写体像が結像される。撮像素子１０２はタイミングジェネレータ１０６による駆動パルスによって水平と垂直の走査がなされ、被写体像を撮像し電気信号を発生する。この電気信号はＡ／Ｄ変換回路１０３でデジタル信号に変換され、欠陥検出・補正回路１０４に入力する。欠陥検出・補正回路１０４では、タイミングジェネレータ１０６による色情報により、欠陥検出する閾値（白欠陥用/黒欠陥用）を適宜切り替え、入力信号と近隣の画素との差と閾値（白欠陥用/黒欠陥用）の関係により「正常」と判断した場合には入力信号を信号処理回路１０５に出力し、「欠陥」と判断した場合には近隣の画素から補間した信号を信号処理回路１０５に出力する。信号処理回路１０５はノイズ除去やガンマ補正などの各種カメラ信号処理を施し、TV信号などの信号に変換後出力する。

次に、欠陥検出・補正回路１０４の第一の構成例の詳細について、図２を用いて説明する。図２に示す通り、欠陥検出・補正回路１０４の第一構成例は、比較器２０１と、データラッチ２０２と、閾値選択回路２０３とを適宜用いて構成される。欠陥検出・補正回路１０４への入力信号は、比較器２０１とデータラッチ２０２に供給される。データラッチ２０２では１画素前の入力信号を保持して、入力画素に対して１画素前の信号を逐次比較器２０１に出力する。一方、閾値選択回路２０３には、入力画素に対する色情報が入力される。閾値選択回路２０３では、あらかじめ各色に対する閾値（白欠陥用/黒欠陥用）が設定されており、入力された色情報の種類に応じた閾値（白欠陥用/黒欠陥用）を選択して、比較器２０１に出力する。

ここで、比較器２０１の動作について、図３を用いて補足する。比較器２０１では、入力画素の信号量が白欠陥用閾値とデータラッチ２０２との信号量の和よりも大きいか判定し（STEP1）、入力画素の信号量が白欠陥用閾値とデータラッチ２０２との信号量の和よりも大きい時に「白欠陥」と判定し、近隣の画素から補間した信号に相当するデータラッチ２０２の信号量を信号処理回路１０５に出力する（STEP2）。入力画素の信号量が白欠陥用閾値とデータラッチ２０２との信号量の和よりも小さい時には、さらに、入力画素の信号量がデータラッチ２０２の信号量から黒欠陥用閾値を引いた信号量よりも小さいか判定し（STEP3）、入力画素の信号量がデータラッチ２０２の信号量から黒欠陥用閾値を引いた信号量よりも小さい場合には「黒欠陥」と判定し、近隣の画素から補間した信号に相当するデータラッチ２０２の信号量を信号処理回路１０５に出力する（STEP2と同じ）。上記の「白欠陥」「黒欠陥」と判定されなかった場合には、「正常」と判定し入力信号を信号処理回路１０５に出力する（STEP4）。なお、STEP1とSTEP3の順序は逆であっても構わない。

さらに上記した閾値選択回路２０３の動作について図４を用いて補足する。図４は原色フィルタを用いたカラー撮像装置の一例でたとえばNTSCのTV方式の撮像装置では、赤（R）、緑（G）、青（B）の入力により輝度信号（Y）を、Y=0.29*R+0.60*G+0.11*Bの計算式で生成している。図４中の太枠で囲った水平*垂直の2*2の画素に着目するとGは二つあるため、輝度信号（Y）への重み係数は、
R:G:B = 0.29:0.30:0.11 ・・・（式１）
となっている。

ここで赤（R）、緑（G）、青（B）のそれぞれの画素に欠陥があった場合を考えると、輝度信号（Y）へは上記（１）式の比率で欠陥の影響が現れることになるため、閾値の比率も上記（１）式の比率に合わせることで、精度の高い画素欠陥検出が可能となる。つまり、閾値選択回路２０３には、大略上記（１）式の比率であらかじめ各色に対する閾値（白欠陥用/黒欠陥用）を設定しておき、欠陥と判定する（入力）画素の色情報の種類に応じて切り替えると良いことがわかる。

他の一例として、図５のような補色フィルタを用いた撮像装置では、信号処理のマトリクスの組み方に複数の組み方が考えられるが、例えば、 Y=K1*Ye+K2*Cy+K3*Mg+K4*Gの計算式で生成している場合には、
Ye:Cy:Mg:G = K1:K2:K3:K4 ・・・（式２）
で、上記（１）式と同様に大略上記（２）式の比率であらかじめ各色に対する閾値（白欠陥用/黒欠陥用）を設定しておくと良く、上記以外の他の色配置の場合でも同様に設定すると良いことがわかる。

以上のように本実施刑では、欠陥検出する画素の色情報の輝度信号に対する影響度を考慮して、欠陥検出する画素の色情報に応じて欠陥か否かを判定する閾値を切り替えるのでカラー撮像装置においても精度の高い画素欠陥検出と画素欠陥補正可能とした撮像装置を提供することができる。また、本実施形態は、監視カメラシステムなど長期間に亘って通電し続け、欠陥画素が温度変化や経時変化で現れる撮像装置において、特に有効である。

なお、本実施例では、データラッチ２０２を用いて、近隣画素として直前の画素の情報で欠陥検出と欠陥補正をおこなうこととして一例を説明したが、例えばラインメモリを用いて、１ライン手前の画素の情報で欠陥検出と欠陥補正をおこなっても良く、更にフィード（フレーム）メモリなどを用いて左右、1ライン上下、斜め右上、斜め右下、斜め左上、斜め左下、などを用いて、より広い周辺画素の情報で欠陥検出と欠陥補正をおこなっても良く、種々変更可能である。

本発明に係る撮像装置の第二の実施形態として、欠陥検出・補正回路が異なる例を説明する。図６は欠陥検出・補正回路の第二構成例を説明する図である。なお、図２で示す欠陥検出・補正回路の第一構成例と同じ動作をするものについては、図２と同じ番号を付し適宜説明を省略する。

撮像装置においては、撮影する光源の色温度がさまざまであるため、白色が白色として撮影できるように色ゲインを自動で制御するいわゆるオートホワイトバランス制御が広く採用されている。例えば、色温度が高くなるほど赤色（R）のゲインを大きくし、青色（B）のゲインを小さくする。逆に色温度が低くなるほど赤色（R）のゲインを小さくし、青色（B）のゲインを大きくする。また、蛍光灯などの光源下では、緑色（G）のゲインを制御することもある。

欠陥検出・補正回路１０４−２が、オートホワイトバランス制御前に配置されている場合には、上記したように、各色のゲインを変更するため、各色に対して設定してある閾値（白欠陥用/黒欠陥用）にも各色のゲインを考慮する必要がある。

閾値選択回路３０３では、不図示のオートホワイトバランス制御部からの各色（R,G,B）のゲインを入力し、あらかじめ設定してある各色に対する閾値（白欠陥用/黒欠陥用）に対して入力した各色のゲインを乗じた値とし、入力された色情報の種類に応じた閾値（白欠陥用/黒欠陥用）を選択して、比較器２０１に出力する。

本実施例では、撮影する光源が変わった際にでも、光源に合った色情報の輝度信号に対する影響度を考慮しているため、より精度の高い画素欠陥検出と画素欠陥補正可能とした撮像装置を提供することができる。

本発明に係る撮像装置の第三の実施形態として、図７で示す第一の欠陥検出回路を用いた例について以下に説明する。まず、本発明に係る欠陥画素の検出するに好適な処理アルゴリズムについて図１０を用いて説明する。同図に示したように、本画素欠陥検出アルゴリズムにおいては、同色画素にて画素欠陥判定処理を第1判定処理（GS１）にて行い、さらに異色（前記第1処理に用いた色の以外の色の画素）画素にて画素欠陥判定処理を第２判定処理（GS2）として行い、さらに、第1判定処理と第2判定処理の結果から最終的な画素欠陥判定として最終判定処理（GS3）を行う特徴がある。

図７は、図１０のＳＴＥＰ１で示した同色画素による画素欠陥判定処理を行う第一の欠陥検出回路の構成例を説明する図である。たとえば、図４のような原色フィルタで、緑色（G）については赤色（R）の行にある緑色（G）をGrとし、青色（B）の行にある緑色（G）をGbとして分けて記載している。また、水平方向と垂直方向にそれぞれ5*5画素の範囲（以後スコープ）を例としている。

図７では、スコープの中央の画素を注目画素（欠陥判定をする画素）とし座標（0,0）で表す。水平方向で左側を負、右側を正、垂直方向で上側を負、下側を正として、注目画素を基準に座標を割り当てている。注目画素は撮像素子の走査に従い移動する。比較対象画素を注目画素と同色の周囲8画素とする。すなわち座標(-2,-2),(0,-2),(+2,-2),(-2,0),(+2,0),(-2,+2),(0,+2),(+2,+2)が対象画素となる。ここでは、図７に示す通り、注目画素が赤色（R）の場合を例にとって説明する。

注目画素の信号と比較対象画素の出力と差分の閾値７０９は比較器７０１〜７０８にそれぞれ加えられる。差分の閾値７０９は、白欠陥、黒欠陥と正常画素とを区別するための閾値で、あらかじめ色毎に設定した値を設定しておく。
比較器７０１〜７０８では、それぞれ、（Ａ）｜注目画素−比較対象画素｜の演算結果と差分の閾値７０１との大小比較結果、（Ｂ）注目画素−比較対象画素の符号の判定結果、の２つの結果を出力する。なお、記号｜｜は絶対値の演算であり、比較器７０１〜７０８では、｜注目画素−比較対象画素｜ ≧ 差分の閾値７０１の場合には真(1)、それ以外では偽(0)を出力する。また、注目画素−比較対象画素の演算結果が正または0の場合には真(1)、負の場合には偽(0)を出力する。

比較器７０１では比較対象画素座標(-2,-2)、比較器７０２では比較対象画素座標(0,-2)、比較器７０３では比較対象画素座標(+2,-2)、比較器７０４では比較対象画素座標(-2,0)、比較器７０５では比較対象画素座標(+2,0)、比較器７０６では比較対象画素座標(+2,-2)、比較器７０７では比較対象画素座標(0,+2)、比較器７０８では比較対象画素座標(+2,+2)として比較演算をおこなう。比較器７０１〜７０８の判定結果は、それぞれ、加算器７１０と符号一致判定７１３に入力される。加算器７１０では、｜注目画素−比較対象画素｜ ≧ 差分の閾値７０１となった比較対象の画素数をカウントする。加算器７１０のカウント結果と、数の閾値７１１を比較器７１２に入力し、比較器７１２では、加算器７１０のカウント結果 ≧ 数の閾値７１１の場合には真(1)、そうでない場合には偽(0)を出力する。一方、符号一致判定７１３では、注目画素−比較対象画素の符号がすべて一致した場合には真(1)、一致しなかった場合には偽(0)を出力する。比較器７１２の結果と符号一致判定７１３の結果はAND７１４により積論理が施され、比較器７１２の結果と符号一致判定７１３の結果がともに真(1)の場合に真(1)、そうでない場合には偽(0)を判定結果として出力する。以上の結果として、｜注目画素−比較対象画素｜ ≧ 差分の閾値７０１となった画素数が数の閾値７１１以上で、かつ、注目画素−比較対象画素の符号がすべて一致した場合に判定結果は真(1)＝「欠陥有り」、そうでない場合には偽(0)＝「欠陥無し」となる。

なお、注目画素が撮像素子の有効画素範囲の上下左右2画素以下にある場合には、比較対象画素が無くなる部分の比較器（７０１〜７０８のいくつか）を無効とする処理を加算器７１０と符号一致判定７１３に付加すると良い。この場合、加算器７１０で、無効とした画素数分の比率で加算結果を補正しても良いし、数の閾値７１１を補正して判定しても良い。また、青色（B）、緑色（Gr,Gb）についても差分の閾値７０９の設定値が変わることがあるが動作は上記の赤色（R）と同様である。また、本実施例では、２と２√２の距離の画素を同一の差分の閾値７０９を用いて説明したが、２と２√２の距離の画素に対して別々の差分の閾値としても良い。

本実施例では、同一の色のみを使用して比較、判定するため、たとえばホワイトバランスがずれていた際にでも、より精度の高い画素欠陥検出を可能とした撮像装置を提供することができる。

なお、原色フィルタを用いて説明したが補色フィルタや、他の色フィルタ配置の撮像素子においても同様の効果を得られることは明らかである。また、スコープを水平方向と垂直方向にそれぞれ5*5画素の範囲としたが、他のサイズのスコープとしても同様の効果を得られることは明らかである。

本発明に係る撮像装置の第四の実施形態として、図７で示す第一の欠陥検出回路による判定結果に加えて、図１１で示す第二の欠陥検出回路並びに図１２で示す第三の欠陥検出回路を用いた例について、以下に説明する。

前記実施例３における検出においては、注目画素に対して２と２√２の離れた距離の比較対象画素を用いて欠陥の検出をおこなっているために、たとえばRGBベイヤの画素配列を入力画像信号とした図８に示すように白欠陥の例（実線）と周波数成分の高い被写体の例（点線）との区別ができない問題がある。（逆に黒欠陥の場合も同様にある。）このため、本実施例では、前記実施例３の判定結果に加えて、前記実施例３の注目画素と比較対象画素の間の緑色（G：GrまたはGb）を用いて、欠陥判定をおこなうことで、より精度の高い画素欠陥検出を得るものである。

たとえば、図９に示すように、前記実施例３による第一の欠陥検出回路９０１の判定結果に加えて、図１０に示したＳＴＥＰ３の処理を行う第二の欠陥検出回路９０２（図１１）と、図１０で示したＳＴＥＰ４の処理を行う第三の欠陥検出回路９０３（図１２)の判定結果を用いることで、前記実施例３における注目画素と比較対象画素の間を判定する。図１０に示したＳＴＥＰ５及びＳＴＥＰ６の処理を行う欠陥判定９０４では、注目画素に対する色情報が入力され、緑色（G：GrまたはGb）の場合には、第一の欠陥検出回路９０１と第二の欠陥検出回路９０２のANDを判定結果として出力し、注目画素が赤色（R）または、青色（B）の場合には、第一の欠陥検出回路９０１と第三の欠陥検出回路９０３のANDを判定結果として出力する。この画素欠陥判定方法によれば、図８に示す白欠陥の例（実線）と周波数成分の高い被写体の例（点線）との区別が可能となり、周波数成分の高い被写体を欠陥と誤判定してしまう弊害を防ぐことができる。

また、たとえば、図１０のように、STEP1で第一の欠陥検出回路の判定結果が「欠陥無し」の場合には、STEP6で判定結果=欠陥無しとして終了し、「欠陥有り」の場合には、注目画素が緑色（G：GrまたはGb）ならSTEP3へ、注目画素が赤色（R）または、青色（B）ならSTEP4へ分岐する。STEP3では、第二の欠陥検出回路の判定結果が「欠陥有り」ならSTEP5で判定結果=欠陥有りとして終了し、「欠陥無し」ならSTEP6で判定結果=欠陥無しとして終了する。STEP4では、第三の欠陥検出回路の判定結果が「欠陥有り」ならSTEP5で判定結果=欠陥有りとして終了し、「欠陥無し」ならSTEP6で判定結果=欠陥無しとして終了とする、ことでも、図９と同じ結果が得られる。

次に、第二の欠陥検出回路９０２の動作について図１１を用いて説明し、第三の欠陥検出回路９０３の動作について図１２を用いて説明する。

図１１は、第二の欠陥検出回路の構成例であり、前記実施例３において、スコープを水平方向と垂直方向にそれぞれ3*3画素の範囲としたものと等価で、比較対象画素は(-1,-1),(+1,-1),(-1,+1),(+1,+1)とする。注目画素と比較対象画素の距離は√２で、注目画素がGrなら比較対象画素はGbになり、また逆に、注目画素がGbなら比較対象画素はGrとなる。

比較器１１０１では比較対象画素座標（−１，−１）、比較器１１０２では比較対象画素座標（＋１，−１）、比較器１１０３では比較対象画素座標（−１，＋１）、比較器１１０４では比較対象画素座標（＋１，＋１）として比較演算をおこなう。差分の閾値１１０５、加算器１１０６、数の閾値１１０７、比較器１１０８、符号一致判定１１０９、ＡＮＤ１１１０は、それぞれ、前記実施例３における差分の閾値７０９、加算器７１０、数の閾値７１１、比較器７１２、符号一致判定７１３、ＡＮＤ７１４と同様に動作するため説明を省略する。なお、差分の閾値１１０５では、色は緑色（Ｇ：ＧｒまたはＧｂ）固定となるため、差分の閾値７０９における色情報の入力を省略している。また、比較器１１０８、符号一致判定１１０９の入力の数が異なり、数の閾値１１０７は数の閾値７１１の大略１／２の値となる。

以上により、第二の欠陥検出回路の構成例での判定結果は、｜注目画素−比較対象画素｜ ≧ 差分の閾値１１０５となった画素数が数の閾値１１０７以上で、かつ、注目画素−比較対象画素の符号がすべて一致した場合に判定結果は真(1)、そうでない場合には偽(0)となる。この画素欠陥判定方法によれば、GrとGbは分光感度が同じまたは非常に似ている色成分同士であるため、同色と見なすことにより画素同士の差分のみで比較することが可能となる。従って、簡素な回路で実現できるため、低コスト低消費電力を実現できる。また、注目画素に対してより近い画素を用いて高周波の信号の分布を比較しているため、図８に示す白欠陥の例（実線）と周波数成分の高い被写体の例（点線）との区別が可能となり、周波数成分の高い被写体を欠陥と誤判定してしまう弊害を防ぐことができる。

図１２は、第三の欠陥検出回路の構成例である。たとえば、比較対象画素を第１グループとして注目画素から距離=１だけ離れた座標(0,-1),(-1,0),(+1,0),(0,+1)と、第２グループとして注目画素から距離=√５だけ離れた座標(-1,-2),(+1,-2),(-2,-1),(+2,-1) (-2,+1),(+2,+1),(-1,+2),(+1,+2)の２つのグループに分ける。注目画素は赤色（R）または、青色（B）で、第１グループと第２グループは緑色（G：GrまたはGb）となる。平均値算出回路１２０１では第１グループの４画素の平均を算出し出力する。また、平均値算出回路１２０２では、第２グループの８画素の平均を算出し出力する。

比較器１２０４では、|第１グループの平均値−第２グループの平均値|≦差分の閾値１２０３の判定をおこない、|第１グループの平均値−第２グループの平均値|≦差分の閾値１２０３の場合には真(1)＝「欠陥有り」、そうでないならば偽(0)＝「欠陥無し」を判定結果として出力する。この画素欠陥判定方法によれば、注目画素であるRまたはBの画素に対して周辺に分布するG信号のうち、第１グループと第２グループの平均値を求めてから比較するため、比較器ひとつで構成することができ、低コスト低消費電力を実現できる。また、注目画素の周辺に分布するG画素を用いて高周波の信号の分布を比較しているため、図８に示す白欠陥の例（実線）と周波数成分の高い被写体の例（点線）との区別が可能となり、周波数成分の高い被写体を欠陥と誤判定してしまう弊害を防ぐことができる。尚、第１グループと第２グループについて平均値を求めて比較するとしたが、重み付け加算後の信号同士を比較する方法であっても同様の効果が得られることは明白である。その際には、平均値を求める方式に対して除算器を省くことができる。

以上の第二の欠陥検出回路９０２と第三の欠陥検出回路９０３において、たとえば図８のように差分の閾値１１０５と差分の閾値１２０３を設定すると、図８の白欠陥の例（実線）と周波数成分の高い被写体の例（点線）とを区別できる。

本実施例では、前記実施例３と同様に、同一の色のみを使用して比較、判定するため、たとえばホワイトバランスがずれていた際にでも、より精度の高い画素欠陥検出を可能とした撮像装置を提供することができ、また、注目画素との距離が近い画素の出力を用いて欠陥判定をするため、周波数成分の高い被写体においても正しい画素欠陥検出を可能とした撮像装置を提供することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１撮像レンズ
１０２撮像素子
１０３Ａ／Ｄ変換回路
１０４欠陥検出・補正回路
１０５信号処理回路
１０６タイミングジェネレータ
２０１比較器
２０２データラッチ
２０３閾値選択回路
３０３閾値選択回路
７０１〜７０８比較器
７０９差分の閾値
７１０加算器
７１１数の閾値
７１２比較器
７１３符号一致判定
７１４ AND
９０１第一の欠陥検出回路
９０２第二の欠陥検出回路
９０３第三の欠陥検出回路
９０４欠陥判定
１１０１〜１１０４比較器
１１０５差分の閾値
１１０６加算器
１１０７数の閾値
１１０８比較器
１１０９符号一致判定
１１１０ AND
１２０１,１２０２平均値算出回路
１２０３差分の閾値
１２０４比較器

Claims

被写体を撮像する撮像手段と、
前記撮像手段からの画像信号を用いて注目画素の欠陥判定を行う欠陥判定手段と、
を有し、
前記欠陥判定手段は、
前記注目画素の信号レベルと、前記注目画素と同色で前記注目画素の周囲にある比較対象画素の信号レベルと、を比較して欠陥を判定する第一判定処理手段と、
前記注目画素の信号レベルと、前記注目画素と異なる色で前記注目画素の周囲にある比較対象画素の信号レベルと、を比較して欠陥を判定する第二判定処理手段と、
前記第一判定処理手段による欠陥判定結果と前記第二判定処理手段による欠陥判定結果とを用いて画素欠陥か否かを判定する第三判定処理手段と、
を有し、
前記第一判定処理手段は、前記注目画素の色毎に予め設定された異なる閾値を用いて欠陥を判定し、
前記第二判定処理手段は、前記画像信号が原色ベイヤの画素配列であり、更に前記注目画素がＲ（赤色）またはＢ（青色）であった場合は、前記注目画素と隣接したＧｒ（Ｒ（赤色）の行にある緑色）およびＧｂ（Ｂ（青色）の行にある緑色）の第１グループの画素の信号レベルの平均値または加重加算値を算出し、前記注目画素と隣接していないＧｒおよびＧｂの第２グループの画素の信号レベルの平均値または加重加算値を算出し、前記第１グループの画素の信号レベルの平均値または加重加算値と第２グループの平均値または加重加算値とを比較することで画素欠陥を判定する、
ことを特徴とする撮像装置。
請求項１記載の撮像装置であって、
前記第二判定処理手段は、前記注目画素がＧｒであった場合は異色の周囲画素はＧｂとして信号レベルを比較することで画素欠陥を判定し、前記注目画素がＧｂであった場合は異色の周囲画素はＧｒとして信号レベルを比較することで画素欠陥を判定すること、
を特徴とする撮像装置。
請求項２記載の撮像装置であって、
前記第二判定処理手段は、前記第一判定処理手段が前記注目画素に欠陥があると判定した場合にのみ欠陥画素の判定を行い、かつ、
前記注目画素がＧｒであった場合、は異色の周囲画素はＧｂとして信号レベルを比較することで画素欠陥を判定し、
前記注目画素がＧｂであった場合は、異色の周囲画素はＧｒとして信号レベルを比較することで画素欠陥を判定し、
前記注目画素がＲまたはＢであった場合は、前記注目画素と隣接したＧｒおよびＧｂの第１グループの画素の信号レベルの平均値または加重加算値を算出し、前記注目画素と隣接していないＧｒおよびＧｂの第２グループの画素の信号レベルの平均値または加重加算値を算出し、前記第１グループの画素の信号レベルの平均値または加重加算値と第２グループの平均値または加重加算値とを比較することで画素欠陥を判定し、
前記第三判定処理手段は、前記第二判定処理手段が欠陥ありと判定した場合に前記注目画素に欠陥があると判定し、前記第一判定処理手段又は前記第二判定処理手段が欠陥なしと判定した場合に、前記注目画素に欠陥がないと判定すること、
を特徴とする撮像装置。
請求項１又は２に記載の撮像装置において、
前記第三判定処理手段は、前記第一判定処理手段と前記第二判定処理手段の結果がいずれも画素欠陥であると判定された場合に画素欠陥と判定し、前記第一判定処理手段と第二判定処理手段の結果のうち少なくとも片方は画素欠陥でないと判定された場合に画素欠陥ではないと判定すること、
を特徴とする撮像装置。