JP3717725B2 - 画素欠陥検出方法及び画像処理装置 - Google Patents
画素欠陥検出方法及び画像処理装置 Download PDFInfo
- Publication number
- JP3717725B2 JP3717725B2 JP28711799A JP28711799A JP3717725B2 JP 3717725 B2 JP3717725 B2 JP 3717725B2 JP 28711799 A JP28711799 A JP 28711799A JP 28711799 A JP28711799 A JP 28711799A JP 3717725 B2 JP3717725 B2 JP 3717725B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- level
- defect
- determination reference
- reference value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007547 defect Effects 0.000 title claims description 107
- 238000001514 detection method Methods 0.000 title claims description 54
- 230000002093 peripheral effect Effects 0.000 claims description 38
- 230000015654 memory Effects 0.000 claims description 33
- 230000002950 deficient Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 230000000630 rising effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像信号に含まれる画素欠陥を検出する検出方法及び、この検出方法を用いて画素欠陥を補正する画像処理装置に関する。
【０００２】
【従来の技術】
ＣＣＤイメージセンサ等の固体撮像素子においては、画素の受光レベルには関係なく、常に一定の電荷が蓄積されて固定レベルを出力するようになる、いわゆる画素欠陥を生じる場合がある。このため、固体撮像素子から得られる画像信号に対する信号処理の過程において、再生画面上に画素欠陥が現れないようする欠陥補正処理が行われる。
【０００３】
図７は、画素欠陥の補正処理を行うようにした撮像装置の構成を示すブロック図である。
【０００４】
ＣＣＤイメージセンサ１は、複数の受光画素が行列配置され、受光した被写体画像に応じて各受光画素に情報電荷を蓄積する。このＣＣＤ１は、垂直駆動信号φv及び水平駆動信号φHによって駆動され、各受光画素に蓄積された情報電荷が１ライン単位で順次転送出力されて、所定のフォーマットに従う画像信号Ｙ0を出力する。駆動回路２は、垂直同期信号ＶＤ及び水平同期信号ＨＤに従い、ＣＣＤ１を駆動する垂直駆動信号φv及び水平駆動信号φHを生成し、ＣＣＤ１に供給する。
【０００５】
タイミング制御回路３は、一定周期の基準クロックを分周し、垂直走査のタイミングを決定する垂直同期信号ＶＤ及び水平走査のタイミングを決定する水平同期信号ＨＤを生成し、駆動回路２に供給する。例えば、ＮＴＳＣフォーマットの場合、１４．３２ＭＨｚの基準クロックを９１０分周して水平同期信号ＨＤを生成し、この水平同期信号を５２５／２分周して垂直同期信号ＶＤを生成する。また、タイミング制御回路３は、後述する信号処理回路４及び欠陥補正回路５に対して、それぞれの動作タイミングをＣＣＤ１の動作タイミングに同期させるためのタイミング信号を供給する。
【０００６】
信号処理回路４は、ＣＣＤ１から出力される画像信号Ｙ0に対して、サンプルホールド、レベル補正等の信号処理を施し、画像信号Ｙ1として出力する。例えば、サンプルホールド処理においては、信号レベルとリセットレベルとを繰り返す画像信号Ｙ0に対して、リセットレベルをクランプした後に信号レベルを取り出すようにして、信号レベルを継続する画像信号Ｙ1を生成する。また、レベル補正処理においては、出力される画像信号Ｙ1の平均レベルを目標範囲内に収めるようにしてゲインの帰還制御が施される。この信号処理回路４においては、画像信号Ｙ0をサンプルホールドした後、サンプルホールド値がＡ／Ｄ変換され、それ以降はデジタル処理が採用される傾向にある。
【０００７】
欠陥補正回路５は、補正情報メモリ６に記憶された補正情報に基づいて、画像信号Ｙ1に対して欠陥補正処理を施す。例えば、欠陥が生じた画素の情報を、その前後の画素の情報の平均値に置き換えるように構成される。補正情報メモリ６は、ＣＣＤ１の欠陥画素の位置を記憶するもので、例えば、予めＣＣＤ１の出力をモニタして欠陥画素の位置を検出し、その検出結果を補正アドレス情報として記憶する。
【０００８】
【発明が解決しようとする課題】
ＣＣＤ１は、同一工程で製造されたチップであっても、各チップ毎に欠陥画素の発生する位置が異なるため、撮像装置に用いるＣＣＤ１は、個々に画素欠陥の位置を検出し、補正情報メモリ６に記憶する補正アドレス情報を生成する必要がある。このため、組立工程におけるコストの増大を招いている。
【０００９】
また、ＣＣＤ１の欠陥画素は、経時変化によって増えることがあり、そのような経時変化が生じた場合には、補正情報メモリ６の補正アドレス情報を書き換えなければならない。しかしながら、撮像装置の一般的な使用者は、補正情報メモリ６の内容を書き換えるための手段を備えていないため、補正情報メモリ６の補正情報アドレスを書き換えることは、事実上困難である。
【００１０】
そこで本発明は、組立工程のコストを増大させることなく、素子の経時変化による画素欠陥の変化にも対応できるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、上述の課題を解決するために成されたもので、その特徴とするところは、１画面の画像信号に含まれる画素欠陥を検出する検出方法であって、目標画素に隣接する複数の周辺画素の平均レベルを算出するステップと、上記複数の周辺画素の最大レベル及び最小レベルを検出するステップと、上記最大レベルと上記最小レベルとの差を上記平均レベルに加算して第１の判定基準値とし、上記最大レベルと上記最小レベルとの差を上記平均レベルから減算して第２の判定基準値とするステップと、を有し、目標画素のレベルが上記第１の判定基準値よりも大きいとき、あるいは、上記第２の判定基準値よりも小さいとき、その目標画素を欠陥画素と判定することにある。
【００１２】
そして、本発明の画像処理装置の特徴とするところは、適数行分の画像信号を保持し、目標画素に対応する画像信号と共に、目標画素に隣接する複数の周辺画素に対応する画像信号を供給するメモリ回路と、上記目標画素のレベルを上記複数の周辺画素のレベルと対比して欠陥画素を検出する欠陥検出回路と、上記欠陥検出回路の検出結果に応答して上記目標画素の欠陥を補正する欠陥補正回路と、を備え、上記欠陥検出回路は、上記複数の周辺画素の最大レベルと最小レベルとの差を上記複数の周辺画素の平均レベルに対して加算または減算して判定基準値を生成し、この判定基準値と上記目標画素のレベルとを比較して画素欠陥を判定することにある。
【００１３】
本発明によれば、目標画素に対して、その周辺画素の平均レベルに周辺画素の最大値と最小値との差を加算または減算して生成した判定基準値を参照することで、再生画面上で視覚的に認識される画素欠陥を的確に検出することができる。そして、検出された画素欠陥を逐次補正することで、経時変化による画素欠陥の変化にも対応できる。
【００１４】
【発明の実施の形態】
図１は、本発明の画素欠陥の検出方法を説明するための図であり、目標画素の周辺に隣接する周辺画素を表す画像信号のレベルと、これらのレベルから算出される画素欠陥の判定レベルとの関係を示している。この実施形態においては、図２に示すように、目標画素Ｐ0に対して、目標画素Ｐ0に隣接する８個の周辺画素Ｐ1〜Ｐ8を参照して画素欠陥の判定を行う場合を示している。
【００１５】
最初のステップでは、周辺画素Ｐ1〜Ｐ8を表す８画素分の画像信号Ｙ(P1)〜Ｙ(P8)の平均レベルＬavを算出する。続く第２のステップでは、周辺画素Ｐ1〜Ｐ8を表す８画素分の画像信号Ｙ(P1)〜Ｙ(P8)の最大レベルＬmax及び最小レベルＬminを算出する。第３のステップでは、最大レベルＬmaxから最小レベルＬminを減算し、両レベルの差ΔＬを算出する。そして、第４のステップでは、第１のステップで算出した平均レベルＬavに差ΔＬを加算し、白欠陥を検出するための第１の判定基準値Ｌwを生成する。同時に、第５のステップでは、第１のステップで算出した平均レベルＬavから差ΔＬを減算し、黒欠陥を検出するための第２の判定基準値Ｌbを生成する。尚、上述の第１のステップと第２のステップとの順序、あるいは、第４のステップと第５のステップとの順序については、それぞれ逆であってもよい。
【００１６】
第１〜第５のステップによって生成された第１の判定基準値Ｌw及び第２の判定基準値Ｌbは、周辺画素の状況によって変化し、常に最適な値に保たれることになる。ここで、判定基準値Ｌw、Ｌbについては、周辺画素のレベル差が小さいとき、平均レベルＬavに近い値となり、周辺画素のレベル差が大きいときには、平均レベルＬavから離れた値となる。従って、画面上で濃淡の差が小さい領域では判定基準値Ｌw、Ｌbの範囲が狭くなり、逆に、濃淡の差が大きい領域では判定基準値Ｌw、Ｌbの範囲が広くなるため、視覚的に目立ちやすい画素欠陥を効率よく検出できる。
【００１７】
また、第１〜第５のステップにおいて生成された第１の判定基準値Ｌw及び第２の判定基準値Ｌbに対して、周辺画素Ｐ1〜Ｐ8の画像信号Ｙ(P1)〜Ｙ(P8)のレベルに応じたオフセットをそれぞれ加算及び減算する第６のステップを設けてもよい。即ち、画面上の暗い領域に白欠陥があると目立つが、明るい領域に白欠陥があっても目立たないため、第１の判定基準値Ｌwに加算するオフセットを、周辺画素の平均レベルＬavが高いときには大きく設定し、低いときには小さく設定する。逆に、画面上の明るい領域に黒欠陥があると目立つが、暗い領域に黒欠陥があっても目立たないため、第２の判定基準値Ｌbから減算するオフセットを、周辺画素の平均レベルＬavが低いときには大きく設定し、高いときには小さく設定する。このようなオフセットは、画像信号Ｙ(P1)〜Ｙ(P8)の平均レベルに応じて設定することや、画像信号の処理の過程におけるゲインレベルに応じて設定すること、さらには、それらを組み合わせること等が有効である。これにより、視覚的に目立ちやすい画素欠陥をさらに効率よく検出できる。
【００１８】
そして、第１の判定基準値Ｌwと目標画素Ｐ0を表す画像信号Ｙ(P0)とを比較し、画像信号Ｙ(P0)が第１の判定基準値を超えていた場合には、その目標画素Ｐ0を白欠陥であると判定する。同様に、第２の判定基準値Ｌbと目標画素Ｐ0を表す画像信号Ｙ(P0)とを比較し、画像信号Ｙ(P0)が第２の判定基準値に達していなかった場合には、その目標画素Ｐ0を黒欠陥であると判定する。このような画素欠陥の判定は、１行単位で連続する画像信号Ｙ(n)に対して逐次行い、それぞれの判定のタイミングに同期して欠陥画素を補正すれば、画素欠陥を容易に補正できる。あるいは、画素欠陥と判定された画素のタイミングを水平走査線番号及び画素番号に基づくアドレス情報として記憶し、次のフィードから、そのアドレス情報に基づいて画素欠陥を補正するようにしてもよい。この場合、適数フィールド毎に画素欠陥の位置を示すアドレス情報を更新するようにすれば、経時変化による画素欠陥の変化にも対応することができる。
【００１９】
以上のような画素欠陥の検出方法によれば、予め撮像素子の画素欠陥の位置を検出しておく必要がなく、そのための工程を省くことができるため、製造コストの低減が図れる。また、画素欠陥の検出は、画像信号の入力に合わせて逐次行っているため、撮像素子の経時変化によって欠陥画素が増加したり、画素欠陥が無くなったりした場合でも、常に画素欠陥の正しい位置を検出することができる。
【００２０】
図３は、上述の画素欠陥の検出方法を採用した画像処理装置の構成を示すブロック図である。
【００２１】
本発明の画像処理装置は、メモリ回路１１、欠陥検出回路１２、オフセット算出回路１３、遅延回路１４及び欠陥補正回路１５より構成される。この画像処理装置においては、撮像素子の出力に対して所定の処理が施され、Ａ／Ｄ変換されてデジタルデータとして与えられる画像信号Ｙ(n)に対して画素欠陥の補正処理を施すように構成される。
【００２２】
メモリ回路１１は、複数のラインメモリと複数のラッチとを備え、１行単位で連続して入力される画像信号Ｙ(n)を取り込み、目標画素Ｐ0に対応する画像信号Ｙ(P0)と、その周辺画素Ｐ1〜Ｐ8に対応する画像信号Ｙ(P1)〜Ｙ(P8)とを並列に同時に出力する。
【００２３】
欠陥検出回路１２は、メモリ回路１１から入力される周辺画素Ｐ1〜Ｐ8の画像信号Ｙ(P1)〜Ｙ(P8)に基づいて白欠陥を判定するための判定基準値Ｌwと黒欠陥を判定するための判定基準値Ｌbとを生成し、これらの判定基準値Ｌw、Ｌbと目標画素Ｐ0の画像信号Ｙ(P0)とを比較して画素欠陥を検出する。この判定基準値Ｌw、Ｌbは、上述の画素欠陥の検出方法に示したとおり、画像信号Ｙ(P1)〜Ｙ(P8)の平均レベルＬavに対して画像信号Ｙ(P1)〜Ｙ(P8)の最大レベルＬmaxと最小レベルＬminとの差ΔＬを加算及び減算することによって算出される。さらに、オフセット算出回路１３から与えられるオフセットレベルＬosを判定基準値Ｌw、Ｌbにそれぞれ加算及び減算するようにしている。そして、画像信号Ｙ(P0)をオフセットが与えられた判定基準値Ｌw、Ｌbと逐次比較し、画像信号Ｙ(P0)のレベルが判定基準値Ｌwを超えているときに白欠陥の検出を示す検出出力Ｄwを立ち上げ、同様に、画像信号Ｙ(P0)のレベルが判定基準値Ｌbに達していないときに黒欠陥の検出を示す検出出力Ｄbを立ち上げる。
【００２４】
オフセット算出回路１３は、周辺画素Ｐ1〜Ｐ8の画像信号Ｙ(P1)〜Ｙ(P8)に基づいて、判定基準値Ｌw、Ｌbに与えるオフセットレベルＬosを算出する。このオフセット算出回路１３においては、例えば、画像信号Ｙ(P1)〜Ｙ(P8)の平均レベルＬavに所定の係数を乗算することや、予め設定した変換テーブルを参照することによってオフセットレベルＬosが算出される。尚、オフセットレベルＬosについては、画像信号Ｙ(n)を生成する過程で与えられるゲインに基づいて算出すること、このゲインと画像信号Ｙ(P1)〜Ｙ(P8)の平均レベルＬavとの両方に基づいて算出ことも可能である。
【００２５】
遅延回路１４は、メモリ回路１１から入力される目標画素Ｐ0の画像信号Ｙ(P0)を取り込み、欠陥検出回路１２における処理に要する時間だけ遅延することで、画像信号Ｙ(P0)の出力のタイミングを、検出出力Ｄw、Ｄbの立ち上がりのタイミングに一致させる。そして、欠陥補正回路１５は、検出出力Ｄw、Ｄbの立ち上がりのタイミングで、画像信号Ｙ(P0)を補正信号Ｙ(c)に置き換える。この補正信号Ｙ(c)は、例えば、目標画素Ｐ0の上下に位置する周辺画素Ｐ2、Ｐ7の画像信号Ｙ(P2)、Ｙ(P7)と、上下に位置する周辺画素Ｐ4、Ｐ5の画像信号Ｙ(P4)、Ｙ(P5)とを平均することにより生成される。従って、欠陥検出回路１２において、目標画素Ｐ0が白欠陥または黒欠陥であると判定されると、その画像信号Ｙ(P0)は、欠陥補正回路１５において補正信号Ｙ(c)に置き換えられる。これにより、欠陥補正回路１５からは、白欠陥及び黒欠陥が補正された画像信号Ｙ'(n)が出力されることになる。
【００２６】
図４は、メモリ回路１１の一例を示すブロック図である。このメモリ回路１１は、第１、第２のラインメモリ２１、２２及び第１〜第６のラッチ２３〜２８より構成される。
【００２７】
第１及び第２のラインメモリ２１、２２は、互いに直列に接続され、順次入力される画像信号Ｙ(n)が第１のラインメモリ２１に書き込まると共に、第１のラインメモリ２１から順次読み出される画像信号Ｙ(n)が第２のラインメモリ２２に書き込まれる。これにより、順次入力されてくる画像信号Ｙ(n)に対して、第１のラインメモリ２１からは、１行前の画像信号Ｙ(n)が読み出され、第２のラインメモリ２２からは、２行前の画像信号Ｙ(n)が読み出される。
【００２８】
第１及び第２のラッチ２３、２４は、画像信号Ｙ(n)の入力に対して直列に接続され、１画素前の画像信号Ｙ(n)が第１のラッチ２３に保持され、２画素前の画像信号Ｙ(n)が第２のラッチ２４に保持される。これより、入力される画像信号Ｙ(n)が、そのまま周辺画素Ｐ8に対応する画像信号Ｙ(P8)として出力され、第１及び第２のラッチ２３、２４に保持された画像信号Ｙ(n)が、それぞれ周辺画素Ｐ7、Ｐ6に対応する画像信号Ｙ(P7)、Ｙ(P6)として出力される。
【００２９】
第３及び第４のラッチ２５、２６は、第１のラインメモリ２１の入力に対して直列に接続され、１行前で且つ１画素前の画像信号Ｙ(n)が第３のラッチ２５に保持され、２画素前の画像信号Ｙ(n)が第４のラッチ２６に保持される。これより、第１のラインメモリから読み出される画像信号Ｙ(n)が、周辺画素Ｐ5に対応する画像信号Ｙ(P5)として出力され、第３及び第４のラッチ２５、２６に保持された画像信号Ｙ(n)が、それぞれ目標画素Ｐ0に対応する画像信号Ｙ(P0)及び周辺画素Ｐ4に対応する画像信号Ｙ(P4)として出力される。
【００３０】
同様に、第５及び第６のラッチ２７、２８は、第２のラインメモリ２２の入力に対して直列に接続され、２行前で且つ１画素前の画像信号Ｙ(n)が第５のラッチ２７に保持され、２画素前の画像信号Ｙ(n)が第６のラッチ２８に保持される。これより、第２のラインメモリから読み出される画像信号Ｙ(n)が、周辺画素Ｐ3に対応する画像信号Ｙ(P3)として出力され、第５及び第６のラッチ２７、２８に保持された画像信号Ｙ( n)が、それぞれ周辺画素Ｐ2、Ｐ1に対応する画像信号Ｙ(P2)、Ｙ(P2)として出力される。
【００３１】
以上のメモリ回路１１においては、画像信号Ｙ(n)を順次取り込みながら、目標画素Ｐ0の画像信号Ｙ(P0)と、その周辺に位置する周辺画素Ｐ1〜Ｐ8の画像信号Ｙ(P1)〜Ｙ(P8)とが並列に出力されるようになる。
【００３２】
図５は、欠陥検出回路１２の構成を示すブロック図である。この欠陥検出回路１２は、平均値算出部３１、最大値検出部３２、最小値検出部３３、第１〜第３の減算器３４〜３６、第１、第２の加算器３７、３８及び第１、第２の比較器３９、４０より構成される。
【００３３】
平均値算出部３１は、周辺画素Ｐ1〜Ｐ8の画像信号Ｙ(P1)〜Ｙ(P8)をそれぞれ取り込み、それらの平均レベルＬavを算出する。最大値検出部３２及び最小値検出部３３は、画像信号Ｙ(P1)〜Ｙ(P8)のうちの最大レベルＬmax及び最小レベルＬminをそれぞれ検出する。
【００３４】
第１の減算器３４は、最大値検出部３２から入力される最大レベルＬmaxから、最小値検出部３３から入力される最小レベルＬminを減算し、それらの差ΔＬを算出する。そして、第１の加算器３７は、平均値算出部３１から入力される平均レベルＬavに差ΔＬを加算し、第２の減算器３５は、平均レベルＬavから差ΔＬを減算する。第２の加算器３８は、第１の加算器３７の加算結果にオフセットレベルＬosを加算し、白欠陥を判定するための判定基準値Ｌwを生成する。そして、第３の減算器３６は、第２の減算器３５の減算結果からオフセットレベルＬosを減算し、黒欠陥を判定するための判定基準値Ｌbを生成する。
【００３５】
第１の比較器３９は、第２の加算器３８から入力される判定基準値Ｌwと目標画素Ｐ0の画像信号Ｙ(P0)とを比較し、画像信号Ｙ(P0)のレベルが判定基準値Ｌwを超えたとき、即ち、目標画素Ｐ0が白欠陥であると判定されたときに立ち上げられる検出出力Ｄwを発生する。第２の比較器４０は、第３の減算器３６から入力される判定基準値Ｌbと目標画素Ｐ0の画像信号Ｙ(P0)とを比較し、画像信号Ｙ(P0)のレベルが判定基準値Ｌbに達しなかったとき、即ち、目標画素Ｐ0が黒欠陥であると判定されたときに立ち上げられる検出出力Ｄbを発生する。
【００３６】
以上の欠陥検出回路１２においては、メモリ回路１１から入力される画像信号Ｙ(P1)〜Ｙ(P8)に基づいて画像信号Ｙ(P0)が白欠陥または黒欠陥であるか否かが逐次判定され、検出出力Ｄw、Ｄbが立ち上げられる。
【００３７】
図６は、欠陥補正回路１５の構成を示すブロック図である。この欠陥補正回路１５は、第１〜第４の除算器４１〜４４、第１〜第３の加算器４５〜４７及びセレクタ４８より構成される。この欠陥補正回路１５においては、目標画素Ｐ0の上下に位置する周辺画素Ｐ2、Ｐ7の画像信号Ｙ(P2)、Ｙ(P7)と、上下に位置する周辺画素Ｐ4、Ｐ5の画像信号Ｙ(P4)、Ｙ(P5)とに基づいて補正信号Ｙ(c)を生成する場合を示している。
【００３８】
第１〜第４の除算器４１〜４４は、メモリ回路１１から入力される画像信号Ｙ(P2)、Ｙ(P7)、Ｙ(P4)、Ｙ(P5)をそれぞれ１／４にする。第１の加算器４５は、第１及び第２の除算器４１、４２の除算結果を加算し、第２の加算器４６は、第３及び第４の除算器４３、４４の除算結果を加算する。そして、第３の加算器４７は、第１の加算器４５の加算結果と第２の加算器４６に加算結果とを加算し、補正信号Ｙ(c)を生成する。セレクタ４８は、欠陥検出回路１２から入力される検出出力Ｄw、Ｄbに応答して、目標画素Ｐ0の画像信号Ｙ(P0)または補正信号Ｙ(c)の何れかを選択し、画素欠陥を補正した画像信号Ｙ'(P0)として出力する。即ち、セレクタ４８は、画素欠陥がなく、検出出力Ｄw、Ｄbの何れも立ち上がっていない間は画像信号Ｙ(P0)を選択し、検出出力Ｄw、Ｄbの何れかが立ち上がったときに限って補正信号Ｙ(c)を選択するように構成される。これにより、画像信号Ｙ(n)に画素欠陥があった場合には、検出出力Ｄw、Ｄbに応答して、補正信号Ｙ(c)によって補正される。
【００３９】
以上の実施形態においては、判定基準値を目標画素に隣接する３行×３列の合計８個の周辺画素のレベルに基づいて決定する場合を例示したが、それ以上、例えば、３行×５列の１４個の周辺画素や、５行×５列の２４個の周辺画素のレベルに基づいて判定基準値を設定するようにしてもよい。
【００４０】
【発明の効果】
本発明によれば、連続して入力される画像信号に含まれる画素欠陥を逐次検出することができる。このとき、画素欠陥を判定する判定基準値は、周辺の画像の状態に応じて変動するため、高輝度部分あるいは低輝度部分で誤った検出が成されるのを防止することができ、再生画面上で視覚的に目立つ画素欠陥が効率よく検出できるようになる。
【００４１】
また、画素欠陥を逐次検出しながら、その検出結果に応じて画素欠陥を補正するようにしたことで、画素欠陥の位置を予め検出して設定しておく必要が無くなり、初期設定動作を簡略化できる。同時に、撮像素子の経時変化によって画素欠陥が増えた場合でも、特に設定を変更する必要なく、画素欠陥の補正ができる。さらには、ノイズの影響を受けにくくなるため、動作の信頼性を向上することができる。
【図面の簡単な説明】
【図１】本発明の画素欠陥検出方法に用いる判定基準値と周辺画素のレベルとの関係を示す図である。
【図２】目標画素と周辺画素との位置関係を示す平面図である。
【図３】本発明の画像処理装置の構成を示すブロック図である。
【図４】メモリ回路の構成を示すブロック図である。
【図５】欠陥検出回路の構成を示すブロック図である。
【図６】欠陥補正回路の構成を示すブロック図である。
【図７】固体撮像装置の構成を示すブロック図である。
【符号の説明】
１ ＣＣＤイメージセンサ
２ 駆動回路
３ タイミング制御回路
４ 信号処理回路
５ 欠陥補正回路
６ 補正情報メモリ
１１ メモリ回路
１２ 欠陥検出回路
１３ オフセット算出回路
１４ 遅延回路
１５ 欠陥補正回路
２１、２２ ラインメモリ
２３〜２８ ラッチ
３１ 平均値算出部
３２ 最大値検出部
３３ 最小値検出部
３４〜３６ 減算器
３７、３８ 加算器
４１〜４４ 除算器
４５〜４７ 加算器
４８ セレクタ
【発明の属する技術分野】
本発明は、画像信号に含まれる画素欠陥を検出する検出方法及び、この検出方法を用いて画素欠陥を補正する画像処理装置に関する。
【０００２】
【従来の技術】
ＣＣＤイメージセンサ等の固体撮像素子においては、画素の受光レベルには関係なく、常に一定の電荷が蓄積されて固定レベルを出力するようになる、いわゆる画素欠陥を生じる場合がある。このため、固体撮像素子から得られる画像信号に対する信号処理の過程において、再生画面上に画素欠陥が現れないようする欠陥補正処理が行われる。
【０００３】
図７は、画素欠陥の補正処理を行うようにした撮像装置の構成を示すブロック図である。
【０００４】
ＣＣＤイメージセンサ１は、複数の受光画素が行列配置され、受光した被写体画像に応じて各受光画素に情報電荷を蓄積する。このＣＣＤ１は、垂直駆動信号φv及び水平駆動信号φHによって駆動され、各受光画素に蓄積された情報電荷が１ライン単位で順次転送出力されて、所定のフォーマットに従う画像信号Ｙ0を出力する。駆動回路２は、垂直同期信号ＶＤ及び水平同期信号ＨＤに従い、ＣＣＤ１を駆動する垂直駆動信号φv及び水平駆動信号φHを生成し、ＣＣＤ１に供給する。
【０００５】
タイミング制御回路３は、一定周期の基準クロックを分周し、垂直走査のタイミングを決定する垂直同期信号ＶＤ及び水平走査のタイミングを決定する水平同期信号ＨＤを生成し、駆動回路２に供給する。例えば、ＮＴＳＣフォーマットの場合、１４．３２ＭＨｚの基準クロックを９１０分周して水平同期信号ＨＤを生成し、この水平同期信号を５２５／２分周して垂直同期信号ＶＤを生成する。また、タイミング制御回路３は、後述する信号処理回路４及び欠陥補正回路５に対して、それぞれの動作タイミングをＣＣＤ１の動作タイミングに同期させるためのタイミング信号を供給する。
【０００６】
信号処理回路４は、ＣＣＤ１から出力される画像信号Ｙ0に対して、サンプルホールド、レベル補正等の信号処理を施し、画像信号Ｙ1として出力する。例えば、サンプルホールド処理においては、信号レベルとリセットレベルとを繰り返す画像信号Ｙ0に対して、リセットレベルをクランプした後に信号レベルを取り出すようにして、信号レベルを継続する画像信号Ｙ1を生成する。また、レベル補正処理においては、出力される画像信号Ｙ1の平均レベルを目標範囲内に収めるようにしてゲインの帰還制御が施される。この信号処理回路４においては、画像信号Ｙ0をサンプルホールドした後、サンプルホールド値がＡ／Ｄ変換され、それ以降はデジタル処理が採用される傾向にある。
【０００７】
欠陥補正回路５は、補正情報メモリ６に記憶された補正情報に基づいて、画像信号Ｙ1に対して欠陥補正処理を施す。例えば、欠陥が生じた画素の情報を、その前後の画素の情報の平均値に置き換えるように構成される。補正情報メモリ６は、ＣＣＤ１の欠陥画素の位置を記憶するもので、例えば、予めＣＣＤ１の出力をモニタして欠陥画素の位置を検出し、その検出結果を補正アドレス情報として記憶する。
【０００８】
【発明が解決しようとする課題】
ＣＣＤ１は、同一工程で製造されたチップであっても、各チップ毎に欠陥画素の発生する位置が異なるため、撮像装置に用いるＣＣＤ１は、個々に画素欠陥の位置を検出し、補正情報メモリ６に記憶する補正アドレス情報を生成する必要がある。このため、組立工程におけるコストの増大を招いている。
【０００９】
また、ＣＣＤ１の欠陥画素は、経時変化によって増えることがあり、そのような経時変化が生じた場合には、補正情報メモリ６の補正アドレス情報を書き換えなければならない。しかしながら、撮像装置の一般的な使用者は、補正情報メモリ６の内容を書き換えるための手段を備えていないため、補正情報メモリ６の補正情報アドレスを書き換えることは、事実上困難である。
【００１０】
そこで本発明は、組立工程のコストを増大させることなく、素子の経時変化による画素欠陥の変化にも対応できるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、上述の課題を解決するために成されたもので、その特徴とするところは、１画面の画像信号に含まれる画素欠陥を検出する検出方法であって、目標画素に隣接する複数の周辺画素の平均レベルを算出するステップと、上記複数の周辺画素の最大レベル及び最小レベルを検出するステップと、上記最大レベルと上記最小レベルとの差を上記平均レベルに加算して第１の判定基準値とし、上記最大レベルと上記最小レベルとの差を上記平均レベルから減算して第２の判定基準値とするステップと、を有し、目標画素のレベルが上記第１の判定基準値よりも大きいとき、あるいは、上記第２の判定基準値よりも小さいとき、その目標画素を欠陥画素と判定することにある。
【００１２】
そして、本発明の画像処理装置の特徴とするところは、適数行分の画像信号を保持し、目標画素に対応する画像信号と共に、目標画素に隣接する複数の周辺画素に対応する画像信号を供給するメモリ回路と、上記目標画素のレベルを上記複数の周辺画素のレベルと対比して欠陥画素を検出する欠陥検出回路と、上記欠陥検出回路の検出結果に応答して上記目標画素の欠陥を補正する欠陥補正回路と、を備え、上記欠陥検出回路は、上記複数の周辺画素の最大レベルと最小レベルとの差を上記複数の周辺画素の平均レベルに対して加算または減算して判定基準値を生成し、この判定基準値と上記目標画素のレベルとを比較して画素欠陥を判定することにある。
【００１３】
本発明によれば、目標画素に対して、その周辺画素の平均レベルに周辺画素の最大値と最小値との差を加算または減算して生成した判定基準値を参照することで、再生画面上で視覚的に認識される画素欠陥を的確に検出することができる。そして、検出された画素欠陥を逐次補正することで、経時変化による画素欠陥の変化にも対応できる。
【００１４】
【発明の実施の形態】
図１は、本発明の画素欠陥の検出方法を説明するための図であり、目標画素の周辺に隣接する周辺画素を表す画像信号のレベルと、これらのレベルから算出される画素欠陥の判定レベルとの関係を示している。この実施形態においては、図２に示すように、目標画素Ｐ0に対して、目標画素Ｐ0に隣接する８個の周辺画素Ｐ1〜Ｐ8を参照して画素欠陥の判定を行う場合を示している。
【００１５】
最初のステップでは、周辺画素Ｐ1〜Ｐ8を表す８画素分の画像信号Ｙ(P1)〜Ｙ(P8)の平均レベルＬavを算出する。続く第２のステップでは、周辺画素Ｐ1〜Ｐ8を表す８画素分の画像信号Ｙ(P1)〜Ｙ(P8)の最大レベルＬmax及び最小レベルＬminを算出する。第３のステップでは、最大レベルＬmaxから最小レベルＬminを減算し、両レベルの差ΔＬを算出する。そして、第４のステップでは、第１のステップで算出した平均レベルＬavに差ΔＬを加算し、白欠陥を検出するための第１の判定基準値Ｌwを生成する。同時に、第５のステップでは、第１のステップで算出した平均レベルＬavから差ΔＬを減算し、黒欠陥を検出するための第２の判定基準値Ｌbを生成する。尚、上述の第１のステップと第２のステップとの順序、あるいは、第４のステップと第５のステップとの順序については、それぞれ逆であってもよい。
【００１６】
第１〜第５のステップによって生成された第１の判定基準値Ｌw及び第２の判定基準値Ｌbは、周辺画素の状況によって変化し、常に最適な値に保たれることになる。ここで、判定基準値Ｌw、Ｌbについては、周辺画素のレベル差が小さいとき、平均レベルＬavに近い値となり、周辺画素のレベル差が大きいときには、平均レベルＬavから離れた値となる。従って、画面上で濃淡の差が小さい領域では判定基準値Ｌw、Ｌbの範囲が狭くなり、逆に、濃淡の差が大きい領域では判定基準値Ｌw、Ｌbの範囲が広くなるため、視覚的に目立ちやすい画素欠陥を効率よく検出できる。
【００１７】
また、第１〜第５のステップにおいて生成された第１の判定基準値Ｌw及び第２の判定基準値Ｌbに対して、周辺画素Ｐ1〜Ｐ8の画像信号Ｙ(P1)〜Ｙ(P8)のレベルに応じたオフセットをそれぞれ加算及び減算する第６のステップを設けてもよい。即ち、画面上の暗い領域に白欠陥があると目立つが、明るい領域に白欠陥があっても目立たないため、第１の判定基準値Ｌwに加算するオフセットを、周辺画素の平均レベルＬavが高いときには大きく設定し、低いときには小さく設定する。逆に、画面上の明るい領域に黒欠陥があると目立つが、暗い領域に黒欠陥があっても目立たないため、第２の判定基準値Ｌbから減算するオフセットを、周辺画素の平均レベルＬavが低いときには大きく設定し、高いときには小さく設定する。このようなオフセットは、画像信号Ｙ(P1)〜Ｙ(P8)の平均レベルに応じて設定することや、画像信号の処理の過程におけるゲインレベルに応じて設定すること、さらには、それらを組み合わせること等が有効である。これにより、視覚的に目立ちやすい画素欠陥をさらに効率よく検出できる。
【００１８】
そして、第１の判定基準値Ｌwと目標画素Ｐ0を表す画像信号Ｙ(P0)とを比較し、画像信号Ｙ(P0)が第１の判定基準値を超えていた場合には、その目標画素Ｐ0を白欠陥であると判定する。同様に、第２の判定基準値Ｌbと目標画素Ｐ0を表す画像信号Ｙ(P0)とを比較し、画像信号Ｙ(P0)が第２の判定基準値に達していなかった場合には、その目標画素Ｐ0を黒欠陥であると判定する。このような画素欠陥の判定は、１行単位で連続する画像信号Ｙ(n)に対して逐次行い、それぞれの判定のタイミングに同期して欠陥画素を補正すれば、画素欠陥を容易に補正できる。あるいは、画素欠陥と判定された画素のタイミングを水平走査線番号及び画素番号に基づくアドレス情報として記憶し、次のフィードから、そのアドレス情報に基づいて画素欠陥を補正するようにしてもよい。この場合、適数フィールド毎に画素欠陥の位置を示すアドレス情報を更新するようにすれば、経時変化による画素欠陥の変化にも対応することができる。
【００１９】
以上のような画素欠陥の検出方法によれば、予め撮像素子の画素欠陥の位置を検出しておく必要がなく、そのための工程を省くことができるため、製造コストの低減が図れる。また、画素欠陥の検出は、画像信号の入力に合わせて逐次行っているため、撮像素子の経時変化によって欠陥画素が増加したり、画素欠陥が無くなったりした場合でも、常に画素欠陥の正しい位置を検出することができる。
【００２０】
図３は、上述の画素欠陥の検出方法を採用した画像処理装置の構成を示すブロック図である。
【００２１】
本発明の画像処理装置は、メモリ回路１１、欠陥検出回路１２、オフセット算出回路１３、遅延回路１４及び欠陥補正回路１５より構成される。この画像処理装置においては、撮像素子の出力に対して所定の処理が施され、Ａ／Ｄ変換されてデジタルデータとして与えられる画像信号Ｙ(n)に対して画素欠陥の補正処理を施すように構成される。
【００２２】
メモリ回路１１は、複数のラインメモリと複数のラッチとを備え、１行単位で連続して入力される画像信号Ｙ(n)を取り込み、目標画素Ｐ0に対応する画像信号Ｙ(P0)と、その周辺画素Ｐ1〜Ｐ8に対応する画像信号Ｙ(P1)〜Ｙ(P8)とを並列に同時に出力する。
【００２３】
欠陥検出回路１２は、メモリ回路１１から入力される周辺画素Ｐ1〜Ｐ8の画像信号Ｙ(P1)〜Ｙ(P8)に基づいて白欠陥を判定するための判定基準値Ｌwと黒欠陥を判定するための判定基準値Ｌbとを生成し、これらの判定基準値Ｌw、Ｌbと目標画素Ｐ0の画像信号Ｙ(P0)とを比較して画素欠陥を検出する。この判定基準値Ｌw、Ｌbは、上述の画素欠陥の検出方法に示したとおり、画像信号Ｙ(P1)〜Ｙ(P8)の平均レベルＬavに対して画像信号Ｙ(P1)〜Ｙ(P8)の最大レベルＬmaxと最小レベルＬminとの差ΔＬを加算及び減算することによって算出される。さらに、オフセット算出回路１３から与えられるオフセットレベルＬosを判定基準値Ｌw、Ｌbにそれぞれ加算及び減算するようにしている。そして、画像信号Ｙ(P0)をオフセットが与えられた判定基準値Ｌw、Ｌbと逐次比較し、画像信号Ｙ(P0)のレベルが判定基準値Ｌwを超えているときに白欠陥の検出を示す検出出力Ｄwを立ち上げ、同様に、画像信号Ｙ(P0)のレベルが判定基準値Ｌbに達していないときに黒欠陥の検出を示す検出出力Ｄbを立ち上げる。
【００２４】
オフセット算出回路１３は、周辺画素Ｐ1〜Ｐ8の画像信号Ｙ(P1)〜Ｙ(P8)に基づいて、判定基準値Ｌw、Ｌbに与えるオフセットレベルＬosを算出する。このオフセット算出回路１３においては、例えば、画像信号Ｙ(P1)〜Ｙ(P8)の平均レベルＬavに所定の係数を乗算することや、予め設定した変換テーブルを参照することによってオフセットレベルＬosが算出される。尚、オフセットレベルＬosについては、画像信号Ｙ(n)を生成する過程で与えられるゲインに基づいて算出すること、このゲインと画像信号Ｙ(P1)〜Ｙ(P8)の平均レベルＬavとの両方に基づいて算出ことも可能である。
【００２５】
遅延回路１４は、メモリ回路１１から入力される目標画素Ｐ0の画像信号Ｙ(P0)を取り込み、欠陥検出回路１２における処理に要する時間だけ遅延することで、画像信号Ｙ(P0)の出力のタイミングを、検出出力Ｄw、Ｄbの立ち上がりのタイミングに一致させる。そして、欠陥補正回路１５は、検出出力Ｄw、Ｄbの立ち上がりのタイミングで、画像信号Ｙ(P0)を補正信号Ｙ(c)に置き換える。この補正信号Ｙ(c)は、例えば、目標画素Ｐ0の上下に位置する周辺画素Ｐ2、Ｐ7の画像信号Ｙ(P2)、Ｙ(P7)と、上下に位置する周辺画素Ｐ4、Ｐ5の画像信号Ｙ(P4)、Ｙ(P5)とを平均することにより生成される。従って、欠陥検出回路１２において、目標画素Ｐ0が白欠陥または黒欠陥であると判定されると、その画像信号Ｙ(P0)は、欠陥補正回路１５において補正信号Ｙ(c)に置き換えられる。これにより、欠陥補正回路１５からは、白欠陥及び黒欠陥が補正された画像信号Ｙ'(n)が出力されることになる。
【００２６】
図４は、メモリ回路１１の一例を示すブロック図である。このメモリ回路１１は、第１、第２のラインメモリ２１、２２及び第１〜第６のラッチ２３〜２８より構成される。
【００２７】
第１及び第２のラインメモリ２１、２２は、互いに直列に接続され、順次入力される画像信号Ｙ(n)が第１のラインメモリ２１に書き込まると共に、第１のラインメモリ２１から順次読み出される画像信号Ｙ(n)が第２のラインメモリ２２に書き込まれる。これにより、順次入力されてくる画像信号Ｙ(n)に対して、第１のラインメモリ２１からは、１行前の画像信号Ｙ(n)が読み出され、第２のラインメモリ２２からは、２行前の画像信号Ｙ(n)が読み出される。
【００２８】
第１及び第２のラッチ２３、２４は、画像信号Ｙ(n)の入力に対して直列に接続され、１画素前の画像信号Ｙ(n)が第１のラッチ２３に保持され、２画素前の画像信号Ｙ(n)が第２のラッチ２４に保持される。これより、入力される画像信号Ｙ(n)が、そのまま周辺画素Ｐ8に対応する画像信号Ｙ(P8)として出力され、第１及び第２のラッチ２３、２４に保持された画像信号Ｙ(n)が、それぞれ周辺画素Ｐ7、Ｐ6に対応する画像信号Ｙ(P7)、Ｙ(P6)として出力される。
【００２９】
第３及び第４のラッチ２５、２６は、第１のラインメモリ２１の入力に対して直列に接続され、１行前で且つ１画素前の画像信号Ｙ(n)が第３のラッチ２５に保持され、２画素前の画像信号Ｙ(n)が第４のラッチ２６に保持される。これより、第１のラインメモリから読み出される画像信号Ｙ(n)が、周辺画素Ｐ5に対応する画像信号Ｙ(P5)として出力され、第３及び第４のラッチ２５、２６に保持された画像信号Ｙ(n)が、それぞれ目標画素Ｐ0に対応する画像信号Ｙ(P0)及び周辺画素Ｐ4に対応する画像信号Ｙ(P4)として出力される。
【００３０】
同様に、第５及び第６のラッチ２７、２８は、第２のラインメモリ２２の入力に対して直列に接続され、２行前で且つ１画素前の画像信号Ｙ(n)が第５のラッチ２７に保持され、２画素前の画像信号Ｙ(n)が第６のラッチ２８に保持される。これより、第２のラインメモリから読み出される画像信号Ｙ(n)が、周辺画素Ｐ3に対応する画像信号Ｙ(P3)として出力され、第５及び第６のラッチ２７、２８に保持された画像信号Ｙ( n)が、それぞれ周辺画素Ｐ2、Ｐ1に対応する画像信号Ｙ(P2)、Ｙ(P2)として出力される。
【００３１】
以上のメモリ回路１１においては、画像信号Ｙ(n)を順次取り込みながら、目標画素Ｐ0の画像信号Ｙ(P0)と、その周辺に位置する周辺画素Ｐ1〜Ｐ8の画像信号Ｙ(P1)〜Ｙ(P8)とが並列に出力されるようになる。
【００３２】
図５は、欠陥検出回路１２の構成を示すブロック図である。この欠陥検出回路１２は、平均値算出部３１、最大値検出部３２、最小値検出部３３、第１〜第３の減算器３４〜３６、第１、第２の加算器３７、３８及び第１、第２の比較器３９、４０より構成される。
【００３３】
平均値算出部３１は、周辺画素Ｐ1〜Ｐ8の画像信号Ｙ(P1)〜Ｙ(P8)をそれぞれ取り込み、それらの平均レベルＬavを算出する。最大値検出部３２及び最小値検出部３３は、画像信号Ｙ(P1)〜Ｙ(P8)のうちの最大レベルＬmax及び最小レベルＬminをそれぞれ検出する。
【００３４】
第１の減算器３４は、最大値検出部３２から入力される最大レベルＬmaxから、最小値検出部３３から入力される最小レベルＬminを減算し、それらの差ΔＬを算出する。そして、第１の加算器３７は、平均値算出部３１から入力される平均レベルＬavに差ΔＬを加算し、第２の減算器３５は、平均レベルＬavから差ΔＬを減算する。第２の加算器３８は、第１の加算器３７の加算結果にオフセットレベルＬosを加算し、白欠陥を判定するための判定基準値Ｌwを生成する。そして、第３の減算器３６は、第２の減算器３５の減算結果からオフセットレベルＬosを減算し、黒欠陥を判定するための判定基準値Ｌbを生成する。
【００３５】
第１の比較器３９は、第２の加算器３８から入力される判定基準値Ｌwと目標画素Ｐ0の画像信号Ｙ(P0)とを比較し、画像信号Ｙ(P0)のレベルが判定基準値Ｌwを超えたとき、即ち、目標画素Ｐ0が白欠陥であると判定されたときに立ち上げられる検出出力Ｄwを発生する。第２の比較器４０は、第３の減算器３６から入力される判定基準値Ｌbと目標画素Ｐ0の画像信号Ｙ(P0)とを比較し、画像信号Ｙ(P0)のレベルが判定基準値Ｌbに達しなかったとき、即ち、目標画素Ｐ0が黒欠陥であると判定されたときに立ち上げられる検出出力Ｄbを発生する。
【００３６】
以上の欠陥検出回路１２においては、メモリ回路１１から入力される画像信号Ｙ(P1)〜Ｙ(P8)に基づいて画像信号Ｙ(P0)が白欠陥または黒欠陥であるか否かが逐次判定され、検出出力Ｄw、Ｄbが立ち上げられる。
【００３７】
図６は、欠陥補正回路１５の構成を示すブロック図である。この欠陥補正回路１５は、第１〜第４の除算器４１〜４４、第１〜第３の加算器４５〜４７及びセレクタ４８より構成される。この欠陥補正回路１５においては、目標画素Ｐ0の上下に位置する周辺画素Ｐ2、Ｐ7の画像信号Ｙ(P2)、Ｙ(P7)と、上下に位置する周辺画素Ｐ4、Ｐ5の画像信号Ｙ(P4)、Ｙ(P5)とに基づいて補正信号Ｙ(c)を生成する場合を示している。
【００３８】
第１〜第４の除算器４１〜４４は、メモリ回路１１から入力される画像信号Ｙ(P2)、Ｙ(P7)、Ｙ(P4)、Ｙ(P5)をそれぞれ１／４にする。第１の加算器４５は、第１及び第２の除算器４１、４２の除算結果を加算し、第２の加算器４６は、第３及び第４の除算器４３、４４の除算結果を加算する。そして、第３の加算器４７は、第１の加算器４５の加算結果と第２の加算器４６に加算結果とを加算し、補正信号Ｙ(c)を生成する。セレクタ４８は、欠陥検出回路１２から入力される検出出力Ｄw、Ｄbに応答して、目標画素Ｐ0の画像信号Ｙ(P0)または補正信号Ｙ(c)の何れかを選択し、画素欠陥を補正した画像信号Ｙ'(P0)として出力する。即ち、セレクタ４８は、画素欠陥がなく、検出出力Ｄw、Ｄbの何れも立ち上がっていない間は画像信号Ｙ(P0)を選択し、検出出力Ｄw、Ｄbの何れかが立ち上がったときに限って補正信号Ｙ(c)を選択するように構成される。これにより、画像信号Ｙ(n)に画素欠陥があった場合には、検出出力Ｄw、Ｄbに応答して、補正信号Ｙ(c)によって補正される。
【００３９】
以上の実施形態においては、判定基準値を目標画素に隣接する３行×３列の合計８個の周辺画素のレベルに基づいて決定する場合を例示したが、それ以上、例えば、３行×５列の１４個の周辺画素や、５行×５列の２４個の周辺画素のレベルに基づいて判定基準値を設定するようにしてもよい。
【００４０】
【発明の効果】
本発明によれば、連続して入力される画像信号に含まれる画素欠陥を逐次検出することができる。このとき、画素欠陥を判定する判定基準値は、周辺の画像の状態に応じて変動するため、高輝度部分あるいは低輝度部分で誤った検出が成されるのを防止することができ、再生画面上で視覚的に目立つ画素欠陥が効率よく検出できるようになる。
【００４１】
また、画素欠陥を逐次検出しながら、その検出結果に応じて画素欠陥を補正するようにしたことで、画素欠陥の位置を予め検出して設定しておく必要が無くなり、初期設定動作を簡略化できる。同時に、撮像素子の経時変化によって画素欠陥が増えた場合でも、特に設定を変更する必要なく、画素欠陥の補正ができる。さらには、ノイズの影響を受けにくくなるため、動作の信頼性を向上することができる。
【図面の簡単な説明】
【図１】本発明の画素欠陥検出方法に用いる判定基準値と周辺画素のレベルとの関係を示す図である。
【図２】目標画素と周辺画素との位置関係を示す平面図である。
【図３】本発明の画像処理装置の構成を示すブロック図である。
【図４】メモリ回路の構成を示すブロック図である。
【図５】欠陥検出回路の構成を示すブロック図である。
【図６】欠陥補正回路の構成を示すブロック図である。
【図７】固体撮像装置の構成を示すブロック図である。
【符号の説明】
１ ＣＣＤイメージセンサ
２ 駆動回路
３ タイミング制御回路
４ 信号処理回路
５ 欠陥補正回路
６ 補正情報メモリ
１１ メモリ回路
１２ 欠陥検出回路
１３ オフセット算出回路
１４ 遅延回路
１５ 欠陥補正回路
２１、２２ ラインメモリ
２３〜２８ ラッチ
３１ 平均値算出部
３２ 最大値検出部
３３ 最小値検出部
３４〜３６ 減算器
３７、３８ 加算器
４１〜４４ 除算器
４５〜４７ 加算器
４８ セレクタ
Claims (5)
- １画面の画像信号に含まれる画素欠陥を検出する検出方法であって、目標画素に隣接する複数の周辺画素の平均レベルを算出するステップと、上記複数の周辺画素の最大レベル及び最小レベルを検出するステップと、上記最大レベルと上記最小レベルとの差を上記平均レベルに加算して第１の判定基準値とし、上記最大レベルと上記最小レベルとの差を上記平均レベルから減算して第２の判定基準値とするステップと、を有し、目標画素のレベルが上記第１の判定基準値よりも大きいとき、あるいは、上記第２の判定基準値よりも小さいとき、その目標画素を欠陥画素と判定することを特徴とする画素欠陥検出方法。
- 上記第１の判定基準値に対して第１のオフセット値を加算し、
上記第１のオフセット値を、上記平均レベルが大きいときには大きく設定し、小さいときには小さく設定することを特徴とする請求項１に記載の画素欠陥検出方法。 - 上記第２の判定基準値に対して第２のオフセット値を減算し、
上記第２のオフセット値を、上記平均レベルが大きいときには小さく設定し、小さいときには大きく設定することを特徴とする請求項１に記載の画素欠陥検出方法。 - 適数行分の画像信号を保持し、目標画素に対応する画像信号と共に、目標画素に隣接する複数の周辺画素に対応する画像信号を供給するメモリ回路と、上記目標画素のレベルを上記複数の周辺画素のレベルと対比して欠陥画素を検出する欠陥検出回路と、上記欠陥検出回路の検出結果に応答して上記目標画素の欠陥を補正する欠陥補正回路と、を備え、上記欠陥検出回路は、上記複数の周辺画素の最大レベルと最小レベルとの差を上記複数の周辺画素の平均レベルに対して加算または減算して判定基準値を生成し、この判定基準値と上記目標画素のレベルとを比較して画素欠陥を判定することを特徴とする画像処理装置。
- 上記欠陥検出回路は、上記平均レベルが大きいときには大きく、小さいときには小さいオフセット値を上記判定基準値の上限値に対して加算し、あるいは、上記平均レベルが大きいときには小さく、小さいときには大きいオフセット値を上記判定基準値の下限値に対して減算することを特徴とする請求項４に記載の画像処理装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28711799A JP3717725B2 (ja) | 1999-10-07 | 1999-10-07 | 画素欠陥検出方法及び画像処理装置 |
| TW089120176A TW501365B (en) | 1999-10-07 | 2000-09-29 | Method for detecting defective pixel and image processing device |
| KR1020000058645A KR100363359B1 (ko) | 1999-10-07 | 2000-10-06 | 화소 결함 검출 방법 및 화상 처리 장치 |
| US09/680,705 US6768513B1 (en) | 1999-10-07 | 2000-10-06 | Deficient pixel detection method and image signal processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28711799A JP3717725B2 (ja) | 1999-10-07 | 1999-10-07 | 画素欠陥検出方法及び画像処理装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005141376A Division JP4252045B2 (ja) | 2005-05-13 | 2005-05-13 | 画素欠陥補正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001111893A JP2001111893A (ja) | 2001-04-20 |
| JP3717725B2 true JP3717725B2 (ja) | 2005-11-16 |
Family
ID=17713294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28711799A Expired - Fee Related JP3717725B2 (ja) | 1999-10-07 | 1999-10-07 | 画素欠陥検出方法及び画像処理装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6768513B1 (ja) |
| JP (1) | JP3717725B2 (ja) |
| KR (1) | KR100363359B1 (ja) |
| TW (1) | TW501365B (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3773773B2 (ja) * | 1999-10-27 | 2006-05-10 | 三洋電機株式会社 | 画像信号処理装置及び画素欠陥の検出方法 |
| US6985180B2 (en) * | 2001-06-19 | 2006-01-10 | Ess Technology, Inc. | Intelligent blemish control algorithm and apparatus |
| JP2003023570A (ja) * | 2001-07-06 | 2003-01-24 | Sanyo Electric Co Ltd | 画像データの修正方法及び画像信号処理装置 |
| US7342681B2 (en) * | 2001-07-13 | 2008-03-11 | Transpacific Ip, Ltd | High-speed calibration method and system for an image-capture apparatus |
| JP4583680B2 (ja) * | 2001-09-28 | 2010-11-17 | パナソニック株式会社 | 固体撮像装置 |
| US7202894B2 (en) * | 2002-06-04 | 2007-04-10 | Micron Technology, Inc. | Method and apparatus for real time identification and correction of pixel defects for image sensor arrays |
| JP4255819B2 (ja) * | 2003-12-11 | 2009-04-15 | パナソニック株式会社 | 信号処理方法および画像取得装置 |
| US9137466B2 (en) | 2006-08-30 | 2015-09-15 | Micron Technology, Inc. | Image sensor defect identification using optical flare |
| US20080055434A1 (en) | 2006-08-31 | 2008-03-06 | Micron Technology, Inc. | Image sensor defect identification using blurring techniques |
| US7800661B2 (en) * | 2006-12-22 | 2010-09-21 | Qualcomm Incorporated | Programmable pattern matching device |
| US8072513B2 (en) | 2007-05-02 | 2011-12-06 | Canon Kabushiki Kaisha | Image capturing system, signal processing circuit, and signal processing method |
| JP4325703B2 (ja) | 2007-05-24 | 2009-09-02 | ソニー株式会社 | 固体撮像装置、固体撮像装置の信号処理装置および信号処理方法、ならびに撮像装置 |
| JP2009017475A (ja) * | 2007-07-09 | 2009-01-22 | Elmo Co Ltd | 欠陥画素検出装置、撮像装置、および、欠陥画素の検出方法 |
| EP2026563A1 (en) * | 2007-08-14 | 2009-02-18 | Deutsche Thomson OHG | System and method for detecting defective pixels |
| TWI437878B (zh) * | 2007-11-20 | 2014-05-11 | Quanta Comp Inc | 用以校正影像訊號中壞點之方法及電路 |
| JP5056501B2 (ja) * | 2008-03-12 | 2012-10-24 | 株式会社Ｊｖｃケンウッド | 撮像装置及びこれに用いる欠陥画素補正方法 |
| KR101178862B1 (ko) * | 2010-08-13 | 2012-08-31 | 에스케이하이닉스 주식회사 | 이미지 처리장치 및 그를 이용한 데이터 처리 방법 |
| KR20120114021A (ko) | 2011-04-06 | 2012-10-16 | 삼성디스플레이 주식회사 | 불량 픽셀 보정 방법 |
| CN107615017B (zh) * | 2015-05-21 | 2019-11-05 | 富士胶片株式会社 | 红外线摄像装置及固定模式干扰数据的更新方法 |
| CN108198150B (zh) * | 2018-01-30 | 2022-03-18 | 努比亚技术有限公司 | 一种图像坏点的消除方法、终端及存储介质 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4573070A (en) * | 1977-01-31 | 1986-02-25 | Cooper J Carl | Noise reduction system for video signals |
| US4484230A (en) * | 1981-02-04 | 1984-11-20 | Crosfield Electronics Limited | Image reproduction method and apparatus |
| JP2575476B2 (ja) * | 1988-10-20 | 1997-01-22 | 富士写真フイルム株式会社 | 画像信号処理方法およびその装置 |
| US5121447A (en) * | 1989-04-27 | 1992-06-09 | Canon Kabushiki Kaisha | Apparatus for performing gradation processing on image data |
| EP0462817B1 (en) * | 1990-06-20 | 1996-10-16 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| US6411377B1 (en) * | 1991-04-02 | 2002-06-25 | Hitachi, Ltd. | Optical apparatus for defect and particle size inspection |
| JP3271354B2 (ja) * | 1993-02-16 | 2002-04-02 | ミノルタ株式会社 | 画像処理装置 |
| JP3448091B2 (ja) * | 1994-02-18 | 2003-09-16 | 富士通株式会社 | 符号化復号化装置及び符号化復号化方法 |
| US5974196A (en) * | 1996-03-15 | 1999-10-26 | Sony Corporation | Method and apparatus for blocking effect reduction in images |
| US6115420A (en) * | 1997-03-14 | 2000-09-05 | Microsoft Corporation | Digital video signal encoder and encoding method |
| US6252995B1 (en) * | 1997-08-25 | 2001-06-26 | Fuji Photo Film Co., Ltd. | Method of and apparatus for enhancing image sharpness |
| JP3700357B2 (ja) * | 1997-11-25 | 2005-09-28 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置 |
| US6529622B1 (en) * | 1998-10-30 | 2003-03-04 | General Electric Company | Method and apparatus for identifying defective regions in a discrete pixel detector |
| US6381374B1 (en) * | 1998-10-30 | 2002-04-30 | General Electric Company | Histogram analysis method for defective pixel identification |
| US6618494B1 (en) * | 1998-11-27 | 2003-09-09 | Wuestec Medical, Inc. | Optical distortion correction in digital imaging |
| US7251056B2 (en) * | 2001-06-11 | 2007-07-31 | Ricoh Company, Ltd. | Image processing apparatus, image processing method and information recording medium |
-
1999
- 1999-10-07 JP JP28711799A patent/JP3717725B2/ja not_active Expired - Fee Related
-
2000
- 2000-09-29 TW TW089120176A patent/TW501365B/zh not_active IP Right Cessation
- 2000-10-06 KR KR1020000058645A patent/KR100363359B1/ko not_active IP Right Cessation
- 2000-10-06 US US09/680,705 patent/US6768513B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR20010050876A (ko) | 2001-06-25 |
| US6768513B1 (en) | 2004-07-27 |
| JP2001111893A (ja) | 2001-04-20 |
| KR100363359B1 (ko) | 2002-12-05 |
| TW501365B (en) | 2002-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3717725B2 (ja) | 画素欠陥検出方法及び画像処理装置 | |
| JP3773773B2 (ja) | 画像信号処理装置及び画素欠陥の検出方法 | |
| JP3984936B2 (ja) | 撮像装置および撮像方法 | |
| KR101252275B1 (ko) | 고체촬상소자의 신호처리장치 및 방법과 촬상장치 | |
| US20070052813A1 (en) | Method and apparatus for color interpolation | |
| JP5541718B2 (ja) | 撮像装置及びその欠陥画素検出方法 | |
| KR102129627B1 (ko) | 고체 촬상 장치, 그 신호 처리 방법 및 전자 기기 | |
| JP2006295763A (ja) | 撮像装置 | |
| KR20080101803A (ko) | 고체 촬상 장치 및 전자 정보 기기 | |
| US7327392B2 (en) | Signal processing apparatus | |
| JP2003023570A (ja) | 画像データの修正方法及び画像信号処理装置 | |
| US20050030412A1 (en) | Image correction processing method and image capture system using the same | |
| JP4252045B2 (ja) | 画素欠陥補正方法 | |
| JP4108278B2 (ja) | 固体撮像素子の自動欠陥検出補正装置およびそれを用いた撮像装置 | |
| JP4166974B2 (ja) | 画素キズ検出・補正装置 | |
| JP2011114473A (ja) | 画素欠陥補正装置 | |
| JP3238968B2 (ja) | 固体撮像装置 | |
| JP4859223B2 (ja) | 画像欠陥補正装置、画像欠陥補正方法、及びプログラム | |
| JP3796421B2 (ja) | 撮像装置及び撮像方法 | |
| JP5271201B2 (ja) | 画像信号処理装置及び撮像装置 | |
| JP5055173B2 (ja) | 撮像装置、及び撮像装置の制御方法 | |
| JP3990059B2 (ja) | 撮像デバイスの欠陥画素補正装置および方法 | |
| JP4088869B2 (ja) | 固体撮像素子の欠陥画素検出装置及び固体撮像装置 | |
| JP4646392B2 (ja) | 撮像装置 | |
| JP3227809B2 (ja) | 固体撮像素子の欠陥補正装置及び固体撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050823 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050831 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090909 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100909 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100909 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110909 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120909 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130909 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |