JP4288954B2 - Defect detection circuit and defect detection method - Google Patents
Defect detection circuit and defect detection method Download PDFInfo
- Publication number
- JP4288954B2 JP4288954B2 JP2003028987A JP2003028987A JP4288954B2 JP 4288954 B2 JP4288954 B2 JP 4288954B2 JP 2003028987 A JP2003028987 A JP 2003028987A JP 2003028987 A JP2003028987 A JP 2003028987A JP 4288954 B2 JP4288954 B2 JP 4288954B2
- Authority
- JP
- Japan
- Prior art keywords
- defect
- defective pixel
- output level
- pixel
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007547 defect Effects 0.000 title claims description 155
- 238000001514 detection method Methods 0.000 title claims description 62
- 230000002950 deficient Effects 0.000 claims description 106
- 238000003384 imaging method Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 description 21
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 206010027146 Melanoderma Diseases 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、映像信号中の欠陥画素を検出する欠陥画素検出回路及び欠陥画素検出方法に関し、特に、固体撮像素子上に発生する欠陥画素を検出する欠陥画素検出回路及び欠陥画素検出方法に関する。
【0002】
【従来の技術】
CCD(Charge Coupled Device)イメージセンサを始めとする固体撮像素子上には正常に動作をしない欠陥画素が発生することがある。その挙動には常に白いもの(白点欠陥)や常に黒いもの(黒点欠陥)、点滅するものなど、様々なタイプが存在し、画質を劣化させる大きな要因となっている。特に白点欠陥は、固体撮像素子への入射光が無いにもかかわらず常に発光しており、最も目立つ欠陥といえる。このため、固体撮像素子を用いたカラー撮像装置には、このような欠陥を検出する欠陥検出回路や、欠陥を補正してその影響を取り除くための欠陥補正回路が搭載されることが多い。
【0003】
図8は、欠陥の映像信号の例を示す図であり、(A)は通常の欠陥、(B)は白色欠陥のような著しく高い出力レベルを有する欠陥が生じている映像信号の例を示す図である。
【0004】
図では、アナログの映像信号と、AD(Analog-Digital)変換を行う際のAD変換タイミング、AD変換後の映像信号の例を示している。
アナログの映像信号は、図8(A)に示すようなAD変換のタイミングによって、デジタルの映像信号へと変換される。これによって、例えば、画素Aのアナログの映像信号は、デジタルの映像信号へと変換される。
【0005】
一方、図8(B)の場合は、画素Aのアナログの映像信号の出力レベルが著しく高く、AD変換後に、画素Aに隣接する画素Bのデジタルの映像信号の出力レベルが上がっている。
【0006】
従来の欠陥検出回路では、白点欠陥のように高い出力レベルを持つ欠陥を検出する場合、図8(A)、(B)のように、一律な閾値を設定し、その閾値を越える出力レベルを持つ画素を欠陥として検出していた。したがって、図8(B)の場合、画素Aは欠陥画素として検出されるが、画素Bについては欠陥画素として検出されない。
【0007】
また、温度によって、欠陥画素の出力レベルが変わることを考慮して、温度に対応して閾値を変化させるものもあったが(例えば、特許文献1参照)、同一固体撮像素子上での閾値は一律であった。
【0008】
【特許文献1】
特開平5−268527(段落番号〔0017〕,第1図)
【0009】
【発明が解決しようとする課題】
上記のように、白点欠陥のように高い出力レベルを持つ欠陥画素が適切なアナログ処理を施していない固体撮像素子上に存在する場合、AD変換後に、その欠陥前後の画素に影響を与えてしまう場合がある。一般的な画素補正は欠陥画素に隣接する画素を用いて補正を行うため、このような欠陥の影響を受けた画素を補正の際に用いると精度の低下につながるという問題があった。
【0010】
従来のような欠陥検出回路では、欠陥の影響を受けた隣接画素は、欠陥の一部として検出することが困難であった。閾値を十分に低く設定することにより隣接画素の欠陥検出を行うと、ノイズ成分が重畳された正常な画素をも欠陥として検出してしまう恐れがあるためである。
【0011】
本発明はこのような点に鑑みてなされたものであり、欠陥画素に隣接する画素の欠陥による影響を考慮して、欠陥幅を決定可能な欠陥画素検出回路を提供することを目的とする。
【0012】
また、本発明の他の目的は、欠陥画素に隣接する画素の欠陥による影響を考慮して、欠陥幅を決定可能な欠陥画素検出方法を提供することである。
【0013】
【課題を解決するための手段】
本発明では上記課題を解決するために、固体撮像素子上に発生する欠陥画素を検出する欠陥画素検出回路において、前記固体撮像素子から出力されデジタル化された映像信号のうち、少なくとも前記映像信号の出力レベル及び位置情報を含む映像情報を一時格納する映像情報格納部と、欠陥判定に用いる閾値を設定する閾値設定部と、前記出力レベルと前記閾値とを比較する比較部と、前記比較部での比較の結果、前記閾値を超えた前記出力レベルの前記映像信号に対応する画素を前記欠陥画素として計数し、さらに前記出力レベルに応じて欠陥幅を拡大して計数可能な計数部と、記録媒体に前記欠陥画素の前記映像情報と、前記欠陥幅とを欠陥情報として記録する記録部とを有することを特徴とする欠陥画素検出回路が提供される。
【0014】
上記の構成によれば、固体撮像素子からのデジタルの映像信号を入力すると、映像情報を映像情報格納部で一時的に保存し、出力レベルを比較部において閾値設定部によって与えられた閾値と比較し、出力レベルが閾値を上回った場合は、計数部で、その映像信号に対応する画素を欠陥画素としてカウントし、さらに出力レベルに応じて欠陥幅を拡大し、記録部によって、映像情報格納部に保持された欠陥画素の映像情報と欠陥幅が、記録媒体に欠陥情報として書き込まれる。
【0015】
また、固体撮像素子上に発生する欠陥画素を検出する欠陥画素検出方法において、前記固体撮像素子から出力されデジタル化された映像信号のうち、少なくとも前記映像信号の出力レベル及び位置情報を含む映像情報を一時格納し、前記出力レベルと閾値とを比較し、比較の結果、前記閾値を超えた前記出力レベルの前記映像信号に対応する画素を前記欠陥画素として計数して出力レベルに応じて欠陥幅を拡大し、記録媒体に前記欠陥画素の前記映像情報と、前記欠陥幅とを欠陥情報として記録することを特徴とする欠陥画素検出方法が提供される。
【0016】
上記の方法によれば、固体撮像素子からのデジタルの映像信号を入力すると、映像情報を一時的に保存し、出力レベルを閾値と比較し、出力レベルが閾値を上回った場合は、その映像信号に対応する画素を欠陥画素としてカウントし、さらに出力レベルに応じて欠陥幅を拡大し、映像情報と欠陥幅が、記録媒体に欠陥情報として書き込まれる。
【0017】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
図1は、本発明の実施の形態の欠陥画素検出回路の構成図である。
【0018】
本発明の実施の形態の欠陥画素検出回路10は、映像情報格納部11、閾値設定部12、比較部13、計数部14、記録部15を有する。
映像情報格納部11は、固体撮像素子20から出力されデジタル化された映像信号のうち、映像信号の出力レベル、位置情報(アドレス)、色情報などを含む映像情報を一時格納する。
【0019】
閾値設定部12は、欠陥判定に用いる閾値を設定する。
白色欠陥の検出時は、固体撮像素子20へ光の入射を遮断した状態で行うが、そのとき設定する閾値は、例えば、完全な白色の映像信号の出力レベルを100%として、通常の映像信号の出力レベルを1%以下程度とすると、5%程度にする。
【0020】
比較部13は、映像情報のうち出力レベルと、閾値設定部12で設定した閾値とを比較する。
計数部14は、比較部13での比較の結果、閾値を超えた出力レベルの映像信号に対応する画素を欠陥画素とし、さらに出力レベルに応じて欠陥幅(欠陥画素数)を拡大することができる。例えば、白色欠陥のように著しく高い出力レベルの欠陥の1画素欠陥があった場合、これに隣接する画素も、欠陥の影響を受けていると考えられるので、比較部13での比較の結果、閾値を超えない出力レベルであっても、この画素を欠陥とみなし欠陥幅を2画素とする。
【0021】
記録部15は、記録媒体30に欠陥画素の映像情報と、欠陥幅を欠陥情報として記録する。
図2は、固体撮像素子と出力される映像信号の例を示す図である。
【0022】
固体撮像素子20は、画素pnm(n=1、2、3、4、…、N−1、N; m=1、2、3、4、…、M−1、M)が水平方向にN個、垂直方向にMライン分、行列状に配置された構造である。
【0023】
映像信号は、図2のような固体撮像素子20において、水平方向のラインごとに自動的にスキャンされ(インターレース走査の場合は1ラインおき)、各画素pnmから電気信号として取り出され、各種信号処理回路(図示せず)を介してデジタル化され、欠陥画素検出回路10に入力される。
【0024】
以下、図1及び図2を用いて、欠陥画素検出回路10の動作を説明する。
欠陥画素検出回路10は、固体撮像素子20より出力され、AD変換後のデジタルの映像信号を入力すると、映像信号の位置情報、出力レベルなどの映像情報を映像情報格納部11で一時的に保存する。
【0025】
位置情報とは、図2のような、マトリクス状の固体撮像素子20上でどの位置の画素pnmかを特定するための情報である。
次に、その出力レベルを比較部13において閾値設定部12によって与えられた閾値と比較する。図2の画素p23のように、出力レベルが閾値を上回った場合は、その映像信号に対応する画素を欠陥画素として計数部14でカウントする。欠陥とされた次の画素においても、比較部13での比較を引き続き行い、欠陥であれば計数部14で、2画素分の欠陥幅としてカウントする。出力レベルが閾値を越えなくなるまで比較と欠陥幅のカウントが行われる。本発明の実施の形態では、カウント終了後に、計数部14において、欠陥幅を、例えば右方向に1画素分拡大する。これは、図2の画素p33のように閾値を超えなくても、白色欠陥のように、通常より著しく高い出力レベルを有する画素p23の影響を受けて、出力レベルが大きくなるため、その画素も欠陥画素として認識させる。これにより、閾値を越えた出力レベルの欠陥画素の隣の画素は、閾値を越えない場合においても欠陥画素としてみなされる。最後に記録部15によって、映像情報格納部11に保持された欠陥画素の映像情報と計数部14で計数された欠陥幅が、記録媒体30に欠陥情報として書き込まれる。再び閾値を越える欠陥があった場合には、新たな欠陥として計数部14で、その欠陥の欠陥幅を計数し、記録部15によって、欠陥情報が記録媒体30に書き込まれる。
【0026】
このようにすることで、閾値を越える高い出力レベルの画素に隣接しているために、その影響を受けて正常な値を示さない画素を、欠陥の一部として自動的に検出することが可能である。これにより、補正の際、欠陥の影響を受けた隣接画素を用いることがないので、補正精度の低下を防止することができる。
【0027】
なお、上記では、欠陥画素の右隣の画素を1画素分拡大させると説明したが、左隣もしくは両隣の画素を、1画素分拡大するようにしてもよい。
また、上記では、1画素分拡大させる例を説明したが、出力レベルに応じて、拡大させる画素数(欠陥幅)を可変するようにしてもよい。例えば、欠陥幅を2画素以上拡大するようにしてもよい。また、隣接画素に影響のない出力レベルの場合は、拡大は行わず、欠陥幅は1画素分としてもよい。
【0028】
また、閾値設定部12では、画素ごとに、出力レベルと比較する閾値を変化させるようにしてもよい。これについては後述する。
また、計数部14では、欠陥画素の出力レベルを上げ、欠陥幅をさらに拡大するようにしてもよい。
【0029】
欠陥検出は、一般に工場出荷時に、上記のような欠陥画素検出回路10が搭載されるカメラセットを高温に保った状態で行う。これは、高温時に欠陥が発生・拡大する傾向があるからである。この影響を考慮して、計数部14で、欠陥画素の出力レベルを上げる演算を行い、欠陥幅をさらに拡大し、記録部15で記録媒体30に記録することで、上記の工程を省くことが可能になり、コスト・製造リードタイムの削減につながる。
【0030】
本発明の実施の形態の欠陥画素検出回路は、以下で示すような固体撮像素子としてCCDまたはCMOSなどのイメージセンサを持つカラー撮像装置(以下撮像装置と略す)に適用される。
【0031】
図3は、撮像装置の一例の構成図である。
撮像装置100は、像を入力するレンズや絞りを調節するアイリスなどからなるレンズ光学系101と、色R(Red)、G(Green)、B(Blue)に色情報を分離する色分離光学系102と、RGBそれぞれの色に対応して設けられたイメージセンサ103a、103b、103cと、ノイズを除去するCDS(Correlated Double Sampling)回路104、出力信号の値を調節するAGC(Automatic Gain Control)回路105、余分な信号を除去するLPF(Low Path Filter)回路106、ホワイトバランスを調節するWB/Amp(White Balance/Amplifier)回路107、AD(Analog-Digital)変換を行うAD変換回路108、映像信号から欠陥画素の検出及び欠陥画素の補正を行う欠陥画素検出・補正回路109、欠陥情報を保持する記録媒体であるEPROM(Erasable Programmable Read-Only Memory)110、補正された映像信号を処理するDSP(Digital Signal Processor)111から構成される。
【0032】
図1で示した欠陥画素検出回路10は、例えば、欠陥画素を補正する補正回路とともに、欠陥画素検出・補正回路109として、1チップのLSI(Large Scale Integrated circuit)に集積化される。
【0033】
このような撮像装置100において、撮影を行う場合、まず、被写体からの光がレンズ光学系101に入射される。入射した光は色分離光学系102においてRGBに分離され、それぞれのイメージセンサ103a、103b、103cに照射される。イメージセンサ103a、103b、103cによって光は電気的に変換され、CDS回路104やAGC回路105、LPF回路106、WB/Amp回路107を通過し、AD変換回路108においてデジタル量に変換される。このAD変換回路108の出力が、欠陥画素検出・補正回路109に入力される。欠陥画素検出・補正回路109では、EPROM110に書き込まれた、欠陥位置、欠陥幅、出力レベル、欠陥が存在する色などの欠陥情報を参照して、適切に欠陥画素を補正し、その後DSP111で補正された映像信号が処理され、図示しない表示装置や他の回路に出力される。
【0034】
以下、撮像装置100において、欠陥画素の検出する際の処理について説明する。
なお、以下では、イメージセンサ103a上の欠陥を検出する際の処理について説明するが、イメージセンサ103b、103cにおいても同様である。
【0035】
まず、欠陥画素の検出が開始されると、図示しない制御部によって、レンズ光学系101のアイリスを閉じて、イメージセンサ103aへの入射光を遮る。
次に、イメージセンサ103a上の画素を例えば、インターレース方式で走査して、映像信号を取り込み、CDS回路104、AGC回路105、LPF回路106、WB/Amp回路107により各種信号処理が行われ、AD変換回路108で映像信号をAD変換でデジタル化する。
【0036】
図4は、最大3画素まで連続する欠陥画素を検出する際の処理の流れを示すフローチャートである。
欠陥画素検出・補正回路109は、デジタル化された映像信号を入力し、映像信号の出力レベル及び位置情報、色情報などの映像情報を一時格納する(S1)。次に、予め設定された閾値と、入力された映像信号の出力レベルを比較する(S2)。ここで、出力レベルが閾値を越える場合は、ステップS4に進む。閾値を超えない場合は、検出対象の画素を1画素インクリメントし(S3)、次の画素についてステップS2の比較を行なう。
【0037】
映像信号の出力レベルが、閾値を超えた場合、検出対象の画素を1画素インクリメントし(S4)、2画素目の出力レベルと閾値を比較する(S5)。ここで、2画素目も閾値を超える場合はステップS8に進み、超えない場合はステップS6に進む。2画素目が閾値を超えなかった場合、この画素も欠陥の影響を受けていると考えられるので、欠陥幅を1画素拡大し(S6)、2画素の欠陥幅を有する欠陥として、EPROM110に記録する(S7)。
【0038】
一方、2画素目も閾値を越えた場合、検出対象の画素を1画素インクリメントし(S8)、3画素目の出力レベルと閾値を比較する(S9)。ここで、3画素目も閾値を超える場合はステップS11に進み、超えなかった場合は、ステップS10に進む。3画素目が閾値を超えなかった場合、この画素も2画素目の欠陥の影響を受けていると考えられるので、欠陥幅を1画素拡大し(S10)、3画素の欠陥幅を有する欠陥として、EPROM110に記録する(S11)。
【0039】
3画素目も閾値を超えた場合は、欠陥幅を拡大することなく、3画素欠陥としてEPROM110に記録する(S11)。
以上のように、閾値を越える出力レベルの欠陥画素に隣接する画素も欠陥幅を拡大することで欠陥の一部として自動的に検出することが可能である。これにより、補正の際、欠陥の影響を受けた隣接画素を用いることがないので、補正精度の低下を防止することができる。
【0040】
上記の検出に用いる閾値は、一定である。次に、この閾値を画素ごとに可変した場合の欠陥画素の検出方法を説明する。
図5は、閾値を可変させ、最大3画素まで連続する欠陥画素を検出する際の処理の流れを示すフローチャートである。
【0041】
欠陥画素検出・補正回路109は、デジタル化された映像信号を入力し、映像信号の出力レベル及び位置情報、色情報などの映像情報を一時格納する(S21)。次に、予め設定された閾値T0と、入力された映像信号の出力レベルを比較する(S22)。ここで、出力レベルが閾値T0を越える場合は、ステップS24に進む。閾値T0を超えない場合は、検出対象の画素を1画素インクリメントし(S23)、次の画素についてステップS22の比較を行なう。
【0042】
映像信号の出力レベルが、閾値T0を超えた場合、検出対象の画素を1画素インクリメントし(S24)、2画素目の出力レベルと閾値T1(但し閾値T0≧T1)を比較する(S25)。ここで、2画素目も閾値T1を超える場合はステップS27に進み、超えない場合はステップS26に進む。2画素目が閾値T1を超えなかった場合、閾値T0を超える出力レベルの画素の隣の画素は、欠陥の影響が少ないと見なし、欠陥幅が1画素の欠陥として、EPROM110に記録する(S26)。
【0043】
一方、2画素目が閾値T1を越えた場合、検出対象の画素を1画素インクリメントし(S27)、3画素目の出力レベルと閾値T2(但し閾値T0≧T1≧T2)を比較する(S28)。ここで、3画素目が閾値T2を超える場合はステップS30に進み、超えなかった場合は、ステップS29に進む。3画素目が閾値T2を超えなかった場合、閾値T1を越える出力レベルを持つ2画素目の欠陥の影響は少ないと見なし、2画素の欠陥幅を有する欠陥として、EPROM110に記録する(S29)。
【0044】
3画素目が閾値T2を超えた場合は、3画素欠陥としてEPROM110に記録する(S30)。
なお、上記では、3画素までの検出に制限した場合について説明したが、4画素以上にしてもよい。
【0045】
閾値の可変方法としては、例えば、以下の3つが挙げられる。
最初に検出された欠陥画素の右隣m画素(mは整数)に対して閾値T1、T2、…、Tm(T0≧T1≧T2≧…≧Tm)を用いる。
【0046】
最初に検出された欠陥画素の左隣n画素(nは整数)に対して閾値T1、T2、…、Tn(T0≧T1≧T2≧…≧Tn)を用いる。
最初に検出された欠陥画素の出力レベルに応じて、左右の欠陥検出を行う画素数とその画素に適用する閾値を自動的に設定する。
【0047】
以上のように、画素ごとに閾値を変えることで、白色欠陥のように著しく大きな出力レベルを有する欠陥画素に隣接する画素も、欠陥の一部として自動的に検出することが可能になる。これにより、補正の際、欠陥の影響を受けた隣接画素を用いることがないので、補正精度の低下を防止することができる。
【0048】
以上の、欠陥画素の自動検出の結果、満足な結果が得られない場合は、手動で欠陥を指定してEPROM110に書き込むようにしてもよい。
その場合、欠陥画素検出・補正回路109は、欠陥を指定する者が、手動で任意の位置に、任意の欠陥の欠陥情報を有する欠陥画素を入力できるような手動入力部(図示せず)を有する。
【0049】
図6は、手動検出を含む、欠陥検出から補正までの処理の流れを示す概略のフローチャートである。
まず、前述したような欠陥画素の自動検出が行なわれ(S40)、終了した後、例えば目視により、EPROM110に書き込まれた欠陥情報と、実際のイメージセンサ103a上の欠陥を比較して、適切に欠陥が検出されたか否かを判断する(S41)。ここで、適切に欠陥が検出されていると判断した場合は、その旨を通知する信号を欠陥画素検出・補正回路109に入力することで補正動作を行い(S40)処理を終了する。
【0050】
一方、適切に欠陥が検出されていないと判断した場合は、その旨を通知する信号を欠陥画素検出・補正回路109に入力することでステップS42に進む。適切に欠陥が検出されていないと判断された場合は、ステップS40の自動検出によりEPROM110に書き込まれている欠陥についての欠陥情報を消去する(S42)。その後、着目した欠陥の欠陥情報を指定して、EPROM110に書き込み(S43)、その後、補正動作を行い(S40)、処理を終了する。
【0051】
次に、図6のステップS43の処理である手動での欠陥の指定について説明する。
図7は、欠陥を指定する画面の例であり、(A)は線状カーソルの例、(B)は点状カーソルを表示させて欠陥を指定する場合の表示例である。
【0052】
欠陥画素検出・補正回路109は、図示しない表示装置の画面120に、欠陥を指定するためのカーソルを表示させる。図7(A)では、線状カーソルとして水平方向を指定するカーソル121a、垂直方向を指定するカーソル121bを表示させる。その後、手動入力部に入力される信号を受けて、イメージセンサ103a、103b、103c上の欠陥が存在する位置に対応した画面120上の位置にカーソル121a、121bを合わせて、欠陥を指定する。ここで、赤のイメージセンサ103a上の欠陥を指定する場合は、カーソル121a、121bの色を赤に、緑のイメージセンサ103b上の欠陥を指定する場合は、カーソル121a、121bの色を緑に、青のイメージセンサ103c上の欠陥を指定する場合は、カーソル121a、121bの色を青にして、画面120に表示し、水平方向の欠陥幅をカーソル121aの幅で表すことで、画面120上で欠陥情報を目視しながら欠陥を登録できる。
【0053】
また、図7(B)のように、線状カーソルの代わりに点状のカーソル122を用いて、欠陥を指定することも可能である。
なお、手動で、欠陥画素の出力レベルを指定して書き込むようにしてもよい。
【0054】
また、垂直方向の高さも指定し、垂直方向の欠陥幅を指定するようにしてもよい。これにより、白色欠陥以外の、自動検出が困難な点滅欠陥などを手動で書き込むことが可能になる。
【0055】
【発明の効果】
以上説明したように本発明では、閾値を越える高い出力レベルの画素に隣接しているために、その影響を受けて正常な値を示さない画素を、欠陥の一部として自動的に検出することが可能である。これにより、補正の際、欠陥の影響を受けた隣接画素を用いることがないので、補正精度の低下を防止することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態の欠陥画素検出回路の構成図である。
【図2】固体撮像素子と出力される映像信号の例を示す図である。
【図3】撮像装置の一例の構成図である。
【図4】最大3画素まで連続する欠陥画素を検出する際の処理の流れを示すフローチャートである。
【図5】閾値を可変させ、最大3画素まで連続する欠陥画素を検出する際の処理の流れを示すフローチャートである。
【図6】手動検出を含む、欠陥検出から補正までの処理の流れを示す概略のフローチャートである。
【図7】欠陥を指定する画面の例であり、(A)は線状カーソルの例、(B)は点状カーソルを表示させて欠陥を指定する場合の表示例である。
【図8】欠陥の映像信号の例を示す図であり、(A)は通常の欠陥、(B)は白色欠陥のような著しく高い出力レベルを有する欠陥が生じている映像信号の例を示す図である。
【符号の説明】
10……欠陥画素検出回路、11……映像情報格納部、12……閾値設定部、13……比較部、14……計数部、15……記録部、20……固体撮像素子、30……記録媒体[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a defective pixel detection circuit and a defective pixel detection method for detecting defective pixels in a video signal, and more particularly to a defective pixel detection circuit and a defective pixel detection method for detecting defective pixels generated on a solid-state image sensor.
[0002]
[Prior art]
A defective pixel that does not operate normally may occur on a solid-state imaging device such as a CCD (Charge Coupled Device) image sensor. There are various types of behavior, such as always white (white spot defect), always black (black spot defect), and blinking, which are major factors that degrade image quality. In particular, the white spot defect always emits light even though there is no incident light on the solid-state imaging device, and can be said to be the most conspicuous defect. For this reason, a color imaging device using a solid-state imaging device is often equipped with a defect detection circuit for detecting such a defect and a defect correction circuit for correcting the defect and removing the influence thereof.
[0003]
FIG. 8 is a diagram illustrating an example of a defective video signal, where (A) is a normal defect and (B) is an example of a video signal in which a defect having a remarkably high output level such as a white defect has occurred. FIG.
[0004]
The figure shows an example of an analog video signal, AD conversion timing when AD (Analog-Digital) conversion is performed, and a video signal after AD conversion.
The analog video signal is converted into a digital video signal at the AD conversion timing as shown in FIG. Thereby, for example, an analog video signal of the pixel A is converted into a digital video signal.
[0005]
On the other hand, in the case of FIG. 8B, the output level of the analog video signal of the pixel A is remarkably high, and the output level of the digital video signal of the pixel B adjacent to the pixel A is increased after AD conversion.
[0006]
In the conventional defect detection circuit, when detecting a defect having a high output level such as a white spot defect, a uniform threshold is set as shown in FIGS. 8A and 8B, and the output level exceeding the threshold is set. A pixel having a was detected as a defect. Therefore, in the case of FIG. 8B, the pixel A is detected as a defective pixel, but the pixel B is not detected as a defective pixel.
[0007]
In addition, there are some that change the threshold corresponding to the temperature in consideration of the change in the output level of the defective pixel depending on the temperature (see, for example, Patent Document 1), but the threshold on the same solid-state imaging device is It was uniform.
[0008]
[Patent Document 1]
Japanese Patent Laid-Open No. 5-268527 (paragraph number [0017], FIG. 1)
[0009]
[Problems to be solved by the invention]
As described above, when a defective pixel having a high output level, such as a white point defect, is present on a solid-state imaging device that has not been subjected to appropriate analog processing, after AD conversion, the pixels before and after the defect are affected. May end up. In general pixel correction, correction is performed using a pixel adjacent to a defective pixel. Therefore, when a pixel affected by such a defect is used for correction, there is a problem that accuracy is lowered.
[0010]
In a conventional defect detection circuit, it is difficult to detect adjacent pixels affected by a defect as part of the defect. This is because if a defect is detected in adjacent pixels by setting the threshold sufficiently low, a normal pixel on which a noise component is superimposed may be detected as a defect.
[0011]
The present invention has been made in view of such a point, and an object thereof is to provide a defective pixel detection circuit capable of determining a defect width in consideration of an influence of a defect of a pixel adjacent to a defective pixel.
[0012]
Another object of the present invention is to provide a defective pixel detection method capable of determining a defect width in consideration of the influence of a defect of a pixel adjacent to the defective pixel.
[0013]
[Means for Solving the Problems]
In the present invention, in order to solve the above-described problem, in a defective pixel detection circuit that detects a defective pixel generated on a solid-state imaging device, at least of the video signal among the digitized video signals output from the solid-state imaging device. A video information storage unit that temporarily stores video information including an output level and position information, a threshold setting unit that sets a threshold used for defect determination, a comparison unit that compares the output level and the threshold, and the comparison unit As a result of the comparison, a pixel corresponding to the video signal of the output level exceeding the threshold is counted as the defective pixel, and the defect width is expanded according to the output level, and a counting unit capable of counting There is provided a defective pixel detection circuit comprising a recording unit that records the video information of the defective pixel and the defect width as defect information on a medium.
[0014]
According to the above configuration, when a digital video signal is input from the solid-state imaging device, the video information is temporarily stored in the video information storage unit, and the output level is compared with the threshold given by the threshold setting unit in the comparison unit. When the output level exceeds the threshold value, the counting unit counts the pixel corresponding to the video signal as a defective pixel, further expands the defect width according to the output level, and the recording unit performs the video information storage unit. The image information and the defect width of the defective pixel held in the are written as defect information on the recording medium.
[0015]
Further, in the defective pixel detection method for detecting defective pixels generated on the solid-state image sensor, video information including at least the output level and position information of the video signal among the digitized video signals output from the solid-state image sensor. Is temporarily stored, the output level is compared with a threshold value, and as a result of comparison, the pixel corresponding to the video signal of the output level exceeding the threshold value is counted as the defective pixel, and the defect width is determined according to the output level. A defective pixel detection method is provided, wherein the image information of the defective pixel and the defect width are recorded as defect information on a recording medium.
[0016]
According to the above method, when a digital video signal from a solid-state image sensor is input, video information is temporarily stored, the output level is compared with a threshold value, and if the output level exceeds the threshold value, the video signal is The pixels corresponding to are counted as defective pixels, and the defect width is expanded according to the output level, and the video information and the defect width are written as defect information on the recording medium.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a configuration diagram of a defective pixel detection circuit according to an embodiment of the present invention.
[0018]
The defective
The video
[0019]
The
The white defect is detected in a state where light is blocked from entering the solid-
[0020]
The
As a result of the comparison by the
[0021]
The
FIG. 2 is a diagram illustrating an example of a solid-state imaging device and an output video signal.
[0022]
The solid-
[0023]
Video signals are automatically scanned for each horizontal line in the solid-
[0024]
Hereinafter, the operation of the defective
When the defective
[0025]
The position information is information for specifying the position of the pixel pnm on the matrix-like solid-
Next, the output level is compared with the threshold value given by the threshold
[0026]
By doing so, it is possible to automatically detect a pixel that does not show a normal value due to its influence because it is adjacent to a pixel with a high output level that exceeds the threshold. It is. As a result, since the adjacent pixels affected by the defect are not used in the correction, it is possible to prevent the correction accuracy from being lowered.
[0027]
In the above description, the pixel adjacent to the right side of the defective pixel is enlarged by one pixel. However, the pixel adjacent to the left side or both sides may be enlarged by one pixel.
In the above description, the example of enlarging one pixel has been described. However, the number of pixels to be enlarged (defect width) may be varied according to the output level. For example, the defect width may be expanded by 2 pixels or more. In the case of an output level that does not affect adjacent pixels, enlargement is not performed and the defect width may be one pixel.
[0028]
Further, the
Further, the
[0029]
Defect detection is generally performed at the time of shipment from a factory in a state where the camera set on which the defective
[0030]
The defective pixel detection circuit according to the embodiment of the present invention is applied to a color imaging device (hereinafter abbreviated as an imaging device) having an image sensor such as a CCD or CMOS as a solid-state imaging device as described below.
[0031]
FIG. 3 is a configuration diagram of an example of the imaging apparatus.
The
[0032]
The defective
[0033]
In such an
[0034]
Hereinafter, a process when detecting a defective pixel in the
In the following, a process for detecting a defect on the
[0035]
First, when detection of a defective pixel is started, an iris of the lens
Next, the pixels on the
[0036]
FIG. 4 is a flowchart showing the flow of processing when detecting defective pixels continuous up to a maximum of three pixels.
The defective pixel detection /
[0037]
If the output level of the video signal exceeds the threshold, the detection target pixel is incremented by one pixel (S4), and the output level of the second pixel is compared with the threshold (S5). If the second pixel also exceeds the threshold value, the process proceeds to step S8, and if not, the process proceeds to step S6. If the second pixel does not exceed the threshold value, it is considered that this pixel is also affected by the defect. Therefore, the defect width is enlarged by one pixel (S6) and recorded in the
[0038]
On the other hand, if the second pixel also exceeds the threshold value, the detection target pixel is incremented by one pixel (S8), and the output level of the third pixel is compared with the threshold value (S9). If the third pixel also exceeds the threshold, the process proceeds to step S11. If not, the process proceeds to step S10. If the third pixel does not exceed the threshold, it is considered that this pixel is also affected by the defect of the second pixel, so the defect width is enlarged by one pixel (S10), and the defect has a defect width of three pixels. And recorded in the EPROM 110 (S11).
[0039]
If the third pixel also exceeds the threshold, it is recorded in the
As described above, a pixel adjacent to a defective pixel having an output level exceeding the threshold can be automatically detected as a part of the defect by enlarging the defect width. As a result, since the adjacent pixels affected by the defect are not used in the correction, it is possible to prevent the correction accuracy from being lowered.
[0040]
The threshold used for the above detection is constant. Next, a method for detecting a defective pixel when this threshold value is varied for each pixel will be described.
FIG. 5 is a flowchart showing the flow of processing when a threshold value is varied and defective pixels that are continuous up to a maximum of three pixels are detected.
[0041]
The defective pixel detection /
[0042]
When the output level of the video signal exceeds the threshold value T0, the detection target pixel is incremented by one pixel (S24), and the output level of the second pixel is compared with the threshold value T1 (threshold value T0 ≧ T1) (S25). If the second pixel also exceeds the threshold value T1, the process proceeds to step S27, and if not, the process proceeds to step S26. If the second pixel does not exceed the threshold value T1, the pixel adjacent to the pixel having an output level exceeding the threshold value T0 is considered to be less affected by the defect, and is recorded in the
[0043]
On the other hand, if the second pixel exceeds the threshold T1, the detection target pixel is incremented by one pixel (S27), and the output level of the third pixel is compared with the threshold T2 (threshold T0 ≧ T1 ≧ T2) (S28). . If the third pixel exceeds the threshold value T2, the process proceeds to step S30. If not, the process proceeds to step S29. If the third pixel does not exceed the threshold T2, the influence of the defect of the second pixel having an output level exceeding the threshold T1 is considered to be small, and is recorded in the
[0044]
When the third pixel exceeds the threshold T2, it is recorded in the
In addition, although the case where it limited to the detection to 3 pixels was demonstrated above, you may make it 4 pixels or more.
[0045]
Examples of the method for changing the threshold include the following three methods.
Threshold values T1, T2,..., Tm (T0.gtoreq.T1.gtoreq.T2.gtoreq..gtoreq.Tm) are used for m pixels (m is an integer) adjacent to the right side of the defective pixel detected first.
[0046]
Threshold values T1, T2,..., Tn (T0.gtoreq.T1.gtoreq.T2.gtoreq..gtoreq.Tn) are used for the n pixels (n is an integer) adjacent to the left side of the defective pixel detected first.
In accordance with the output level of the defective pixel detected first, the number of pixels for detecting the left and right defects and the threshold value applied to the pixel are automatically set.
[0047]
As described above, by changing the threshold value for each pixel, a pixel adjacent to a defective pixel having a remarkably large output level such as a white defect can be automatically detected as a part of the defect. As a result, since the adjacent pixels affected by the defect are not used in the correction, it is possible to prevent the correction accuracy from being lowered.
[0048]
If a satisfactory result is not obtained as a result of the automatic detection of defective pixels as described above, a defect may be manually designated and written in the
In that case, the defective pixel detection /
[0049]
FIG. 6 is a schematic flowchart showing a flow of processing from defect detection to correction including manual detection.
First, automatic detection of defective pixels as described above is performed (S40), and after completion, the defect information written in the
[0050]
On the other hand, if it is determined that a defect has not been detected appropriately, a signal to that effect is input to the defective pixel detection /
[0051]
Next, the manual defect designation, which is the process of step S43 in FIG. 6, will be described.
FIG. 7 is an example of a screen for designating a defect. (A) is an example of a linear cursor, and (B) is a display example when a defect is designated by displaying a dotted cursor.
[0052]
The defective pixel detection /
[0053]
Further, as shown in FIG. 7B, it is also possible to designate a defect using a dotted
Note that the output level of the defective pixel may be manually designated and written.
[0054]
In addition, the height in the vertical direction may be specified, and the defect width in the vertical direction may be specified. As a result, it becomes possible to manually write a flashing defect or the like that is difficult to automatically detect other than a white defect.
[0055]
【The invention's effect】
As described above, in the present invention, a pixel that does not show a normal value due to its influence is automatically detected as a part of a defect because it is adjacent to a pixel having a high output level exceeding the threshold. Is possible. As a result, since the adjacent pixels affected by the defect are not used in the correction, it is possible to prevent the correction accuracy from being lowered.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a defective pixel detection circuit according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of a solid-state imaging device and an output video signal.
FIG. 3 is a configuration diagram of an example of an imaging apparatus.
FIG. 4 is a flowchart showing a processing flow when detecting defective pixels that are continuous up to a maximum of three pixels;
FIG. 5 is a flowchart showing the flow of processing when a threshold value is varied and defective pixels that are continuous up to a maximum of three pixels are detected.
FIG. 6 is a schematic flowchart showing a flow of processing from defect detection to correction including manual detection.
7A and 7B are examples of a screen for designating a defect, where FIG. 7A is an example of a linear cursor, and FIG. 7B is a display example when a defect is designated by displaying a dotted cursor.
8A and 8B are diagrams showing examples of defective video signals, where FIG. 8A shows an example of a video signal in which a normal defect and FIG. 8B show a defect having a remarkably high output level such as a white defect. FIG.
[Explanation of symbols]
DESCRIPTION OF
Claims (6)
前記固体撮像素子から出力されデジタル化された映像信号のうち、少なくとも前記映像信号の出力レベル及び位置情報を含む映像情報を一時格納する映像情報格納部と、
欠陥判定に用いる閾値を設定する閾値設定部と、
前記出力レベルと前記閾値とを比較する比較部と、
前記比較部での比較の結果、前記閾値を超えた前記出力レベルの前記映像信号に対応する画素を前記欠陥画素として計数し、さらに前記出力レベルに応じて欠陥幅を拡大して計数可能な計数部と、
記録媒体に前記欠陥画素の前記映像情報と、前記欠陥幅とを欠陥情報として記録する記録部と、
を有することを特徴とする欠陥画素検出回路。In a defective pixel detection circuit that detects a defective pixel generated on a solid-state imaging device,
Among video signals output from the solid-state image sensor and digitized, a video information storage unit that temporarily stores video information including at least the output level and position information of the video signal;
A threshold setting unit for setting a threshold used for defect determination;
A comparison unit for comparing the output level with the threshold;
As a result of comparison by the comparison unit, a pixel corresponding to the video signal of the output level exceeding the threshold is counted as the defective pixel, and a count that can be counted by expanding the defect width according to the output level. And
A recording unit that records the image information of the defective pixel and the defect width on the recording medium as defect information;
A defective pixel detection circuit comprising:
前記固体撮像素子から出力されデジタル化された映像信号のうち、少なくとも前記映像信号の出力レベル及び位置情報を含む映像情報を一時格納する映像情報格納部と、
画素ごとに欠陥判定に用いる閾値を可変させて設定可能な閾値設定部と、
前記出力レベルと前記閾値とを比較する比較部と、
前記比較部での比較の結果、前記閾値を超えた前記出力レベルの前記映像信号に対応する画素を前記欠陥画素とし、欠陥幅を計数する計数部と、
記録媒体に前記欠陥画素の前記映像情報と、前記欠陥幅とを欠陥情報として記録する記録部と、
を有することを特徴とする欠陥画素検出回路。In a defective pixel detection circuit that detects a defective pixel generated on a solid-state imaging device,
Among video signals output from the solid-state image sensor and digitized, a video information storage unit that temporarily stores video information including at least the output level and position information of the video signal;
A threshold setting unit that can be set by varying the threshold used for defect determination for each pixel;
A comparison unit for comparing the output level with the threshold;
As a result of comparison in the comparison unit, a pixel corresponding to the video signal of the output level exceeding the threshold is the defective pixel, and a counting unit that counts a defect width;
A recording unit that records the image information of the defective pixel and the defect width on the recording medium as defect information;
A defective pixel detection circuit comprising:
前記固体撮像素子から出力されデジタル化された映像信号のうち、少なくとも前記映像信号の出力レベル及び位置情報を含む映像情報を一時格納し、
前記出力レベルと閾値とを比較し、
比較の結果、前記閾値を超えた前記出力レベルの前記映像信号に対応する画素を前記欠陥画素として計数して出力レベルに応じて欠陥幅を拡大し、
記録媒体に前記欠陥画素の前記映像情報と、前記欠陥幅とを欠陥情報として記録する
ことを特徴とする欠陥画素検出方法。In a defective pixel detection method for detecting a defective pixel generated on a solid-state imaging device,
Of the video signal output from the solid-state imaging device and digitized, video information including at least the output level and position information of the video signal is temporarily stored.
Comparing the output level with a threshold;
As a result of the comparison, the pixel corresponding to the video signal of the output level exceeding the threshold is counted as the defective pixel, and the defect width is expanded according to the output level,
A defective pixel detection method, wherein the video information of the defective pixel and the defect width are recorded as defect information on a recording medium.
前記固体撮像素子から出力されデジタル化された映像信号のうち、少なくとも前記映像信号の出力レベル及び位置情報を含む映像情報を一時格納し、
前記出力レベルと、画素ごとに可変させて設定された閾値とを比較し、
比較の結果、前記閾値を超えた前記出力レベルの前記映像信号に対応する画素を前記欠陥画素として欠陥幅を計数し、
記録媒体に前記欠陥画素の前記映像情報と、前記欠陥幅とを欠陥情報として記録する
ことを特徴とする欠陥画素検出方法。In a defective pixel detection method for detecting a defective pixel generated on a solid-state imaging device,
Of the video signal output from the solid-state imaging device and digitized, video information including at least the output level and position information of the video signal is temporarily stored.
Comparing the output level with a threshold value set variably for each pixel,
As a result of the comparison, the defect width is counted with the pixel corresponding to the video signal of the output level exceeding the threshold as the defective pixel,
A defective pixel detection method, wherein the video information of the defective pixel and the defect width are recorded as defect information on a recording medium.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003028987A JP4288954B2 (en) | 2003-02-06 | 2003-02-06 | Defect detection circuit and defect detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003028987A JP4288954B2 (en) | 2003-02-06 | 2003-02-06 | Defect detection circuit and defect detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004241600A JP2004241600A (en) | 2004-08-26 |
JP4288954B2 true JP4288954B2 (en) | 2009-07-01 |
Family
ID=32956286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003028987A Expired - Fee Related JP4288954B2 (en) | 2003-02-06 | 2003-02-06 | Defect detection circuit and defect detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4288954B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006109067A (en) * | 2004-10-05 | 2006-04-20 | Ikegami Tsushinki Co Ltd | Defective pixel processing apparatus and method |
JP2006234557A (en) * | 2005-02-24 | 2006-09-07 | Shimadzu Corp | Method of correcting x-ray image and x-ray inspection apparatus |
US7534652B2 (en) * | 2005-12-27 | 2009-05-19 | Tessera, Inc. | Microelectronic elements with compliant terminal mountings and methods for making the same |
JP2009253668A (en) * | 2008-04-07 | 2009-10-29 | Fujifilm Corp | Imaging device and image defect correcting method |
JP2009302722A (en) | 2008-06-11 | 2009-12-24 | Nec Electronics Corp | Defective pixel processing device and defective pixel processing method |
JP5901188B2 (en) * | 2011-09-12 | 2016-04-06 | キヤノン株式会社 | Imaging apparatus and image processing method |
JP6239820B2 (en) * | 2011-12-19 | 2017-11-29 | キヤノン株式会社 | Imaging apparatus and control method thereof |
CN103858422B (en) * | 2012-04-10 | 2016-11-23 | 奥林巴斯株式会社 | Camera head |
WO2020070832A1 (en) * | 2018-10-03 | 2020-04-09 | オリンパス株式会社 | Endoscope and endoscopic system |
-
2003
- 2003-02-06 JP JP2003028987A patent/JP4288954B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004241600A (en) | 2004-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8208046B2 (en) | Method of detecting defect in image pickup apparatus and the image pickup apparatus | |
JP4374488B2 (en) | Digital image system and method for combining demosaicing and bad pixel correction | |
JP5541718B2 (en) | Imaging device and defective pixel detection method thereof | |
US8970742B2 (en) | Image processing apparatus and method capable of performing correction process speedily and easily | |
JP6271926B2 (en) | Imaging device, control method thereof, and program | |
JP2006013988A (en) | Image sensor | |
JP6300529B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
KR100986203B1 (en) | Imaging apparatus and defective pixel correction method used therefor | |
JP4885902B2 (en) | Imaging apparatus and control method thereof | |
JP4288954B2 (en) | Defect detection circuit and defect detection method | |
JP4591046B2 (en) | Defect detection correction circuit and defect detection correction method | |
JP2009049753A (en) | Image processor, camera, image processing program and image processing method | |
JP5446955B2 (en) | Imaging device | |
US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
JP2009055415A (en) | Camera | |
JP2007020045A (en) | Electronic camera | |
JP4130275B2 (en) | Video signal processing device | |
JP2010056817A (en) | Imaging apparatus | |
JP2002271806A (en) | Pixel defect signal correction circuit for ccd image pickup element | |
JP2003324748A (en) | Television camera | |
JP4498086B2 (en) | Image processing apparatus and image processing method | |
JP2008148115A (en) | Image defect correction system of imaging device using direction detection | |
JP4394470B2 (en) | Imaging device | |
JP2001245200A (en) | Digital camera | |
JP2001230976A (en) | Device and method for picking up image, and computer- readable recording medium with recorded program for computer for executing the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050630 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090310 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090323 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120410 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130410 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |