JP4287356B2 - 画像処理方法及び装置 - Google Patents

Description

本発明は、ビデオカメラ又はデジタルスチルカメラ等の機器、若しくはそうした機器で撮影された画像情報の処理において適用可能であり、撮像素子の画素欠陥による画像の誤情報を補正する画像処理方法及び装置に関する。

ＣＣＤのような固体撮像素子は、現在では数百万単位の画素まで集積度が高められているが、商品として市場に出せるコストを考慮すると、比率的には僅少ではあるが画素欠陥を免れることは困難である。画素欠陥としては、大きく分類して、いわゆる白点と称されていて、入射光量に対する正常な輝度よりも明るく（即ち、信号量が高く）出力される白キズ欠陥、いわゆる黒点と称されていて、入射光量に対する正常な輝度よりも暗く（即ち、信号量が低く）出力される黒キズ欠陥、及びその中間の灰色を常に出力する灰色キズ欠陥がある。

このような画素欠陥は、画面上で点状のキズをもたらし画質の劣化となるので、撮像装置に備わる画素欠陥補正機能として、画素欠陥の検出を行い、欠陥画素の位置データを記憶し、欠陥画素の係るデータを時間的に前のデータや周囲画素のデータを用いて補正を行う手法や回路構成が提案されている。例えば、対象画素の周辺画素の平均値等と、対象画素との差分を求め、この差分の絶対値と予め定められた閾値と比較することで、対象画素が画素欠陥であるか否かの判定を行う手法が採られている。対象画素が画素欠陥であると判定されたときには、先程の平均値を対象画素の信号量として出力することで、欠陥画素の出力の補正を行っている。また、画素欠陥と判定した個数を全体の画素欠陥の個数として予め設定された設定値に近づけるように、閾値等の画素欠陥判定条件を変えることで誤検出を少なくすることを実現することも提案されている（特許文献１参照）。

しかしながら、この方式では、全体の画素欠陥の個数では帳尻が合ってはいるが、画面を複数に分割して作った一つの領域内では欠陥画素の個数は合っていないことが考えられる。また、画素欠陥には上記のとおり、白キズ欠陥と黒キズ欠陥とがあるが、全体の欠陥画素の個数で帳尻を合わせると白キズ欠陥の個数と黒キズ欠陥の個数の和が揃うだけで白キズ欠陥と黒キズ欠陥の比率は揃わず、どこかで誤検出をしている可能性が大きくなるといった問題がある。また、欠陥画素の個数を合わせることに執着して画素欠陥判定条件を緩くする方向に行き過ぎると画像に悪影響を及ぼすことが考えられる。

このように、従来の解決手法では、第１に、全体の欠陥画素の個数で帳尻を合わせると、白キズ欠陥の個数と黒キズ欠陥の個数の和が揃うだけで白キズ欠陥と黒キズ欠陥との比率は揃わない可能性があり、誤検出が発生する。第２に、全体の画素欠陥の個数では帳尻が合ってはいるが、画面を複数に分割した場合の各領域内では個数が合わず、また白キズ欠陥と黒キズ欠陥との比率は揃わない可能性があり、誤検出が発生する。第３に、画素欠陥の個数を合わせることに執着して画素欠陥判定条件を緩くする方向に行き過ぎると、画像に悪影響を及ぼす懸念がある。
特開２００２−５１２６６号公報（段落［００７８］〜［００７８］、図５）

そこで、画素欠陥が生じる場合には、白キズ欠陥と黒キズ欠陥との比率はある程度揃っているという知見のもとに、全体の欠陥画素の個数を合わせると共に白キズ欠陥と黒キズ欠陥との比率をも揃えて、撮像素子の画素欠陥による画像の誤情報を補正する点で解決すべき課題がある。

この発明の目的は、全体の欠陥画素の個数を合わせると共に白キズ欠陥と黒キズ欠陥との比率を揃えることにより、従来の全体の欠陥画素の個数を合わせるだけでは生じていると思われる誤検出を抑えることができる画像処理方法及び装置を提供することである。

上記課題を解決するため、本発明による画像処理装置は、撮像素子が出力した画素信号に基づいて前記撮像素子の欠陥画素を検出するための欠陥検出条件を設定する欠陥検出条件設定手段と、前記欠陥検出条件を前記画素信号に適用して前記欠陥画素を検出する欠陥画素検出手段と、前記欠陥画素の前記画素信号に補正を施す画素欠陥補正手段とを備えた画像処理装置において、前記欠陥検出条件設定手段は、前記画素信号が取り得る信号量の範囲を所定のレベルにて範囲分けするレベル分け手段と、範囲分けされた前記信号量の前記範囲毎に前記欠陥検出条件を個別欠陥検出条件として設定可能な個別欠陥検出条件設定手段と、前記欠陥画素検出手段が前記個別欠陥検出条件を適用して検出した前記欠陥画素の個数を前記範囲毎に数える欠陥画素数カウンタ手段と、前記範囲毎に当該範囲中に存在する前記欠陥画素の個数の期待値と前記欠陥画素数カウンタ手段が数えた前記欠陥画素の前記個数との差分値を求める比較手段と、前記範囲毎に前記比較手段が求めた前記差分値が予め定められた所定範囲内に収めるように前記個別欠陥検出条件設定手段において設定される前記個別欠陥検出条件を変更する欠陥検出条件変更手段とを有することを特徴としている。

この画像処理装置によれば、欠陥検出条件設定手段は、撮像素子が出力した画素信号に基づいて撮像素子の欠陥画素を検出するための欠陥検出条件を設定するが、予め、撮像素子が出力した画素信号が取り得る信号量の範囲はレベル分け手段によって所定のレベルに範囲分けされており、範囲分けされた信号量の範囲毎に個別欠陥検出条件設定手段によって欠陥検出条件が個別欠陥検出条件として設定されている。撮像素子が出力した画素信号は欠陥画素検出手段に入力され、個別欠陥検出条件を適用することで欠陥画素検出手段が検出した欠陥画素の個数は範囲毎に欠陥画素数カウンタ手段によって数えられる。具体的には、白キズ欠陥と黒キズ欠陥となる欠陥画素がそれぞれに数えられる。当該範囲中に存在する欠陥画素の個数は、その範囲毎に期待値として定められるものであり、比較手段は、当該範囲毎に、当該期待値と欠陥画素数カウンタ手段が数えた欠陥画素の個数との差分値を求める。個別欠陥検出条件変更手段は、範囲毎に、比較手段が求めた差分値が予め定められた所定範囲内に収めるように、個別欠陥検出条件設定手段において設定される個別欠陥検出条件を変更する。したがって、具体的には、白キズ欠陥と黒キズ欠陥の数が揃うように範囲毎の個別欠陥検出条件を変更するので、検出した欠陥画素の全個数と各範囲中に存在する欠陥画素の個数を所定範囲内に収めることができ、白キズ欠陥と黒キズ欠陥の数が一方に偏った状態で画素信号の補正を行うという事態を回避することができる。なお、欠陥画素検出手段は、従来のもの一つで済ませることができる。

この画像処理装置において、撮像素子が出力した画素信号を記憶する画像記憶手段を備えることができ、欠陥検出条件設定手段が欠陥画素を検出するための欠陥検出条件を設定するのも、欠陥画素検出手段が欠陥検出条件を適用して欠陥画素を検出するのも、また更に、画素欠陥補正手段が画素信号に補正を施すのも、すべて、画像記憶手段から読み出した画素信号について行うことができる。即ち、撮像素子が出力した画素信号を直接、直ちに、画像処理を行うのではなく、一旦、画像記憶手段に画素信号を記憶し、画像記憶手段から読み出した画素信号について、欠陥検出条件の設定、欠陥画素の検出、画素信号の補正を行うことができる。

この欠陥画素数カウンタ手段は、全画面の任意の領域内に限定して欠陥画素の個数を数える手段を有することができる。即ち、欠陥画素の個数を数える手段は、全画面の任意の領域内に限定して個数を数える手段により、画面の領域を一つ又は複数個設定し、それぞれの領域毎に欠陥画素の個数を数えるため、画面の領域に則して欠陥画素の検出と画素信号の補正を行うことができる。

また、この欠陥画素数カウンタ手段において、個別欠陥検出条件変更手段は、前記個別欠陥検出条件を制限するリミット手段を有することができる。例えば、欠陥画素の検出個数と欠陥画素個数の期待値とを比較する場合にその差分値が不足すると判定されるとき、周囲の画素信号の平均値との信号の差分について欠陥画素か否かを判定するのに用いる欠陥判定用閾値を小さくしていくと、欠陥画素の個数差分の値はゼロに接近していくが、画像に悪影響が及ぶ。したがって、リミット手段によって、個別欠陥検出条件（欠陥画素と判定される画素信号が存在し得る範囲）が余りに広くならないように制限することで、画質への影響を抑えることができる。同様に、欠陥画素が過剰に検出される場合も、欠陥判定用閾値を大きい値に変更することで差分値をゼロに近づけることはできるが、やはり、画質への影響が及ぶので、リミット手段によって、個別欠陥検出条件が余りに狭い範囲とならないように制限することが好ましい。

この発明による画像処理方法は、撮像素子が出力した画素信号に基づいて前記撮像素子の欠陥画素を検出するための欠陥検出条件を設定し、前記欠陥検出条件を前記画素信号に適用して前記欠陥画素を検出し、前記欠陥画素の前記画素信号に補正を施す画像処理方法において、撮像素子が出力した前記画素信号が取り得る信号量の範囲を所定のレベルにて範囲分けし、範囲分けされた前記信号量の前記範囲毎に前記欠陥検出条件を個別欠陥検出条件として設定し、前記範囲毎に前記個別欠陥検出条件を適用して当該範囲中にて検出した前記欠陥画素の個数を数え、前記範囲毎に前記欠陥画素の検出個数と前記範囲毎に当該範囲中に存在する前記欠陥画素の個数の期待値との差分値を比較し、前記範囲毎に前記差分値が予め定められた所定範囲内に収めるように前記個別欠陥検出条件設定手段において設定される前記個別欠陥検出条件を変更することを特徴としている。

この画像処理方法によれば、入力信号が取り得る信号量の範囲を所定のレベルにて範囲分けし、該範囲分けした範囲毎に個別欠陥検出条件を設定し、当該範囲中にて個別欠陥検出条件を適用して検出した欠陥画素の個数と、当該範囲毎に当該範囲中に存在する欠陥画素の期待値との差分値を所定範囲内に収めるように個別欠陥検出条件を可変制御しているので、欠陥画素の全個数のみならず範囲毎の個数を許容範囲中に納め、欠陥画素の偏りを防止し各範囲毎の欠陥画素の数を揃えることができる。

この画像処理方法において、前記画素信号を画像記憶媒体に記憶しておき、前記欠陥画素を検出するための前記欠陥検出条件は前記画像記憶媒体から読み出され前記画素信号に基づいて設定し、前記画像記憶媒体から読み出された前記画素信号に前記欠陥検出条件を適用して前記欠陥画素を検出し、前記画像記憶媒体から読み出された前記欠陥画素の前記画素信号に補正を施すことができる。即ち、撮像素子が出力した画素信号を直接、直ちに、画像処理を行うのではなく、一旦、画像記憶媒体に画素信号を記憶し、画像記憶媒体から読み出した画素信号について、欠陥検出条件の設定、欠陥画素の検出、画素信号の補正を行うことができる。

上記の画像処理方法において、欠陥画素の個数を全画面の任意の領域内に限定して数えることができる。即ち、画面の領域を一つ又は複数個設定し、それぞれの領域毎に欠陥画素の個数を数えるため、画面の領域に則して欠陥画素の検出と画素信号の補正を行うことができる。

上記の画像処理方法において、前記個別欠陥検出条件の過大な変更を制限することが「好ましい。欠陥画素の検出個数と欠陥画素個数の期待値とを比較する場合にその差分値が不足又は過剰であると判定されるとき、周囲の画素信号の平均値との信号の差分について欠陥画素か否かを判定するのに用いる欠陥判定用閾値を小さく又は大きくしていくと、欠陥画素の個数差分の値はゼロに接近していくが、画像に悪影響が及ぶ。したがって、個別欠陥検出条件（欠陥画素と判定される画素信号が存在し得る範囲）が余りに広く又は狭くならないように制限することで、画質への影響を抑えることができる。

本発明の画像処理方法及び装置によれば、入力信号が取り得る信号量の範囲を所定のレベルにて範囲分けして該範囲ごとに欠陥画素の個数をカウントし、また、該範囲ごとに個別欠陥検出条件を変更可能であるため、白キズ欠陥、黒キズ欠陥のそれぞれの範囲毎の欠陥画素のカウント数と、存在すると想定される欠陥画素の期待値との差分値を所定範囲内に収めることが可能であり、誤検出も少なくなり画像に与える悪影響を少なくすることができる。また、全画面の任意の範囲内に限定して個数を数えることが可能であるため、任意の画面領域での欠陥画素のカウント数と本来存在する欠陥画素の数との差を所定範囲内に収めることが可能であり、誤検出も少なくなり画像に与える悪影響を少なくすることができる。更に、個別欠陥検出条件の過大な変更を制限することにより、画像に与える悪影響を少なくすることが可能である。

本発明における実施の形態について図を用いて説明する。

図１、２を用いて本発明による画像処理装置の第１実施例について説明する。図１は本発明による画像処理装置の第１実施例のブロック図、図２は入力信号の範囲分けについて説明した図である。図１において、００１はレンズ、００２は光電変換する撮像素子、００３はノイズ除去、ゲインコントロール、アナログ・デジタル変換を行うアナログ・フロントエンド部、００４は画素欠陥である画素をその周辺の画素から補間処理などにより生成した信号に置き換える信号置き換え部、００５は信号置き換え部００４の出力に信号処理を施す信号処理部、００６はシステム全体の制御を行うマイコン部（マイクロコンピュータ部）、００７はマイコン部００６が設定する所定のレベルにて、入力信号が取り得る範囲を分割し、アナログ・フロントエンド部００３の出力が分割したどこの範囲に入るかを判定する信号量レベル判定部、００８は予めマイコン部００６が設定した複数の個別欠陥検出条件から信号量レベル判定部００７の出力に応じて画素欠陥の検出条件を選択する欠陥検出条件選択部、００９は欠陥検出条件選択部００８の出力にてアナログ・フロントエンド部００３の出力中の欠陥画素を検出する欠陥検出部、０１０，０１１，０１２は信号量レベル判定部００７が分割した範囲毎に欠陥画素の個数をカウントする欠陥個数カウンタである。０１３，０１４，０１５は、欠陥個数カウンタ０１０，０１１，０１２のカウント値と、範囲毎に予め設定してある欠陥画素の存在個数の期待値とを比較する期待値比較部である。なお、欠陥個数カウンタ０１０，０１１，０１２と期待値比較部０１３，０１４，０１５については、信号量レベル判定部００７にて分割した範囲の種類の数だけ、必要である。

上記各部の結線について説明する。レンズ００１は、撮像素子００２の受光面上に像を結像する。撮像素子００２の出力はアナログ・フロントエンド部００３の入力に接続され、アナログ・フロントエンド部００３の出力は信号置き換え部００４、信号量レベル判定部００７及び欠陥検出部００９のそれぞれの入力に接続されている。信号量レベル判定部００７の複数の出力は欠陥検出条件選択部００８の入力に接続され、また該複数の出力は対応する欠陥個数カウンタ０１０，０１１，０１２の入力に接続されている。欠陥個数カウンタ０１０，０１１，０１２のそれぞれの出力は、期待値比較部０１３，０１４，０１５のそれぞれの入力に接続されている。期待値比較部０１３，０１４，０１５のそれぞれの出力は、マイコン部００６のそれぞれ入力に接続されている。欠陥検出条件選択部００８の出力は欠陥検出部００９の入力に接続され、欠陥検出部００９の出力は信号置き換え部００４及び欠陥個数カウンタ０１０，０１１，０１２の入力に接続され、信号置き換え部００４の出力は信号処理部００５の入力に接続されている。マイコン部００６のそれぞれの出力は信号量レベル判定部００７、欠陥検出条件選択部００８、期待値比較部０１３，０１４，０１５のそれぞれの入力に接続されている。

上記画像処理装置の動作について以下説明する。マイコン部００６は、信号量レベル判定部００７に入力信号としての画素信号が取り得る信号量の範囲を分割するための信号レベルを設定する。分割方法は、図２に示すように信号レベル分割用の閾値Ａ，Ｂ，Ｃを設定し、該閾値により分割するため各範囲の広さは任意に設定できる。白キズ欠陥は図２中の範囲４に、黒キズ欠陥は図２中の範囲１に入る。また、マイコン部００６は、欠陥検出条件選択部００８には図２中の範囲１〜４毎に個別欠陥検出条件を設定し、期待値比較部０１３，０１４，０１５にはそれぞれの範囲内に存在する欠陥画素の個数の期待値を設定する。信号量レベル判定部００７は入力信号が図２中の範囲１〜４のどこに入るかを検出し、入力信号が範囲１〜４のどれかに入ることを検出することに応じて、当該範囲に対応する欠陥個数カウンタ０１０，０１１，０１２のカウント動作を許可する。

欠陥検出部００９は、欠陥検出条件選択部００８にて選択した該範囲に対応する画素欠陥の欠陥検出条件に従って、欠陥検出を行う。欠陥検出の方法は、対象画素の周辺画素から所定の計算方法により平均値を求め、この平均値と対象画素の差分値の絶対値と欠陥検出用の条件を定める閾値とを比較したとき、差分値の絶対値が大きい時に欠陥画素としている。欠陥画素と判断された場合、信号置き換え部００４にて欠陥画素の周辺画素から所定の計算方法により置き換え値を求めて欠陥画素の出力と置き換える。また、前記で画素信号の出力に応じてカウント動作を許可された欠陥個数カウンタ０１０，０１１又は０１２は、欠陥検出部００９の出力にてインクリメントする。以上の動作を１フィールド又は１フレーム繰り返して図２中の範囲１〜４毎に検出した欠陥画素の数を把握する。次に期待値比較部０１３、０１４、０１５は該カウントしたカウント値としての検出個数と、設定した期待値の差分値を求めマイコン部００６に出力する。マイコン部００６は、差分値の符号と絶対値を用いて差分値が所定の範囲内に収まるように個別欠陥検出条件を欠陥検出条件選択部００８に設定し直す。

以上の動作により、図２中の範囲１〜４毎の欠陥画素の検出個数と期待値との差が所定の範囲内に収まるため白キズ欠陥と黒キズ欠陥の誤検出が少なくなり、また、白キズ欠陥と黒キズ欠陥の比率も揃うため画像に与える悪影響が少なくなる。また、信号量レベル判定部００７の分割方法は、ひとつの信号レベルにて均等に分割する方法も考えられるが、いずれの方法にしても変わらない効果が期待できることは言うまでもない。また、欠陥検出部００９の欠陥検出の方法に関しても別の方法を行っても図２中の範囲１〜４毎に欠陥検出をすることに変わりないため同様の効果が期待できることは言うまでもない。

図３、図４を用いて本発明の第２の実施例について説明する。図３は本実施例のブロック図、図４はカウント領域指定について説明した図である。図３は、第１の実施例の図１においてカウント領域指定部０１６とマスク部０１７を追加し、マイコンをカウント領域指定部０１６への設定用の出力を増やしたマイコン部０１８に変更したもので、その他のブロック、及び動作は図１と同様である。０１６はマイコン部００６の指定により欠陥個数カウンタ０１０、０１１、０１２のカウント許可領域を指定するカウント領域指定部、０１７は該カウント領域指定部０１６の出力にて信号量レベル判定部００７が出力する欠陥個数カウンタ０１０、０１１、０１２のカウント動作を許可する信号を止めるマスク部である。

各部の結線について説明する。マイコン部０１８の新規の出力はカウント領域指定部０１６の入力に接続し、カウント領域指定部０１６の出力はマスク部０１７の入力に接続し、信号量レベル判定部００７の複数の出力は欠陥検出条件選択部００８と、マスク部０１７の入力に接続し、マスク部０１７の出力は欠陥個数カウンタ０１０、０１１、０１２の入力に接続する。その他の接続は図１のブロック図と同様である。

以下動作について説明する。図４に示すように、マイコン部０１８はカウント領域指定部０１６にカウント領域の水平方向の開始点（ＨＳ）と終了点（ＨＥ）、垂直方向の開始点（ＶＳ）と終了点（ＶＥ）を設定する。カウント領域指定部０１６は図４に示すウインドウを出力し、マスク部０１７はこのウインドウ外では信号量レベル判定部００７が出力する欠陥個数カウンタ０１０、０１１、０１２のカウント動作を許可する信号を止めるように動作する。以下の動作は図１のブロック図と同様である。

以上の動作により、入力信号のレベル毎の欠陥画素の検出個数に加え、画面の任意の領域での欠陥画素の検出個数を知ることができるため、前画面の中での例えば重要度に差のある領域に則して、誤検出を少なくし画像に与える悪影響を少なく抑えることができる。また、カウント領域指定部０１６を複数具備し、それぞれにマスク部０１７、欠陥個数カウンタ０１０、０１１、０１２を接続すれば複数の任意の領域での欠陥画素の検出個数を知ることができるため誤検出がより少なくなることが期待できる。

図５を用いて本発明の第３の実施例について説明する。図５は本実施例のブロック図である。なお、ここでは、入力信号の範囲分けについて説明した図である図２についても参照する。図５に示すブロック図は、図１に示すブロック図において、ノイズ除去、ゲインコントロール、アナログ・デジタル変換を行うアナログ・フロントエンド部００３と、画素欠陥である画素をその周辺の画素から補間処理などにより生成した信号に置き換える信号置き換え部１０４との間に、メモリ等の記憶媒体から成る画像記憶部０１９を介在させたものである。

結線上は、図１に示すブロック図とは、アナログ・フロントエンド部００３の出力は画像記憶部０１９の入力に接続され、画像記憶部０１９の出力は信号置き換え部００４、信号量レベル判定部００７及び欠陥検出部００９の入力に接続されている点で異なる外は、図１に示すブロック図の結線と同じである。

以上の動作によりメモリ等に１度記憶させた信号についても図２中の範囲１〜４毎の欠陥画素の検出個数と期待値との差が所定の範囲内に収まるため、白キズ欠陥と黒キズ欠陥のような欠陥画素の誤検出が少なくなり、また、白キズ欠陥と黒キズ欠陥の比率も揃うため画像に与える悪影響が少なくなる。また、信号量レベル判定部００７の分割方法や欠陥検出部００９の欠陥検出の方法に関して別の方法を行っても、同様の効果が期待できることは言うまでもない。

図６を用いて本発明の第４実施例について説明する。図６は本実施例のブロック図である。なお、ここでは、図４に示すカウント領域指定についての説明図も参照する。図６は、第３の実施例の図５においてカウント領域指定部０１６とマスク部０１７を追加し、マイコンをカウント領域指定部０１６への設定用の出力を増やしたマイコン部０１８に変更したもので、その他のブロック及び動作は図１と同様である。０１６はマイコン部００６の指定により欠陥個数カウンタ０１０，０１１，０１２のカウント許可領域を指定するカウント領域指定部、０１７は該カウント領域指定部０１６の出力にて信号量レベル判定部００７が出力する欠陥個数カウンタ０１０，０１１，０１２のカウント動作を許可する信号を止めるマスク部である。

各部の結線について説明する。マイコン部０１８の新規の出力はカウント領域指定部０１６の入力に接続し、カウント領域指定部０１６の出力はマスク部０１７の入力に接続し、信号量レベル判定部００７の複数の出力は欠陥検出条件選択部００８と、マスク部０１７の入力に接続し、マスク部０１７の出力は欠陥個数カウンタ０１０，０１１，０１２の入力に接続する。その他の接続は図１のブロック図と同様である。

以下動作について説明する。図４に示すようにマイコン部０１８はカウント領域指定部０１６にカウント領域の水平方向の開始点（ＨＳ）と終了点（ＨＥ）、垂直方向の開始点（ＶＳ）と終了点（ＶＥ）を設定する。カウント領域指定部０１６は図４に示すウインドウを出力し、マスク部０１７はこのウインドウ外では信号量レベル判定部００７が出力する欠陥個数カウンタ０１０，０１１，０１２のカウント動作を許可する信号を止めるように動作する。以下の動作は図１のブロック図と同様である。

以上の動作により入力信号のレベルごとの欠陥画素の検出個数に加え、画面の任意の領域での欠陥画素の検出個数を知ることができるため誤検出が少なくなり、画像に与える悪影響が少なくなる。また、カウント領域指定部０１６を複数具備し、それぞれにマスク部０１７、欠陥個数カウンタ０１０、０１１、０１２を接続すれば複数の任意の領域での欠陥画素の検出個数を知ることができるため誤検出がより少なくなることが期待できる。

図７は、マイコン部００６，０１８の検出条件算出についてのフローチャートである。図７に示すフローチャートによれば、処理開始とともに図２中の範囲（ｉ）（ｉ＝１〜４）毎の初期の欠陥検出条件（欠陥検出用の閾値δ_Ｓ（ｉ））と、欠陥画素数の期待値を設定する（ステップ１、「Ｓ１」と略す。以下、同様）。１フィールド又は１フレーム後に入力される検出結果Ｎｄ（ｉ）と欠陥画素数の期待値Ｎｅ（ｉ）との差分値ΔＮ（ｉ）が入力される（Ｓ２）。即ち、各画素について、図２に示す範囲（ｉ）毎に、当該画素の周囲画素の平均値との比較において、画素欠陥と判断される個数をカウントし、Ｓ１において予め設定されている期待値Ｎｅ（ｉ）との差分を取る。そのとき差分値ΔＮ（ｉ）は、
差分値ΔＮ（ｉ）＝（欠陥画素数の期待値Ｎｅ（ｉ））−（検出結果Ｎｄ（ｉ））
である。

Ｓ２で求められて入力された差分値の絶対値（｜ΔＮ（ｉ）｜）が所定の範囲ε（ｉ）よりも大きいか否かを判定する（Ｓ３）。差分値の絶対値が所定の範囲を超える場合、差分値が正であるか否かを判定する（Ｓ４）。差分が正（正の整数）の場合には、欠陥画素数の期待値よりも検出結果が過剰に少なかったことになるので、検出結果を増やすため、画素欠陥と判定される個別欠陥検出条件を広くする（Ｓ５）。例えば、黒キズ欠陥の検出個数が期待値よりも所定の範囲以上に少なければ、範囲１において、周囲の画素信号の平均値との差の絶対値と比較すべき欠陥判定閾値δ（１）を小さくして、画素欠陥と判定される条件を広くする。また、差分値が負（負の整数）ならば、欠陥画素数の期待値よりも検出結果が多かったことになるので、検出結果を減らすため画素欠陥と判定される個別欠陥検出条件を狭くする（Ｓ６）。例えば、黒キズ欠陥の検出個数が期待値よりも所定の範囲以上に多ければ、範囲１において、周囲の画素信号の平均値との差の絶対値と比較すべき欠陥判定閾値δ（１）を大きくして、画素欠陥と判定される条件を狭くする。画素欠陥は、画素の周囲画素の平均値との比較において定められるので、中間色（灰色）についても存在し、その場合にも欠陥判定用閾値を変更することができる。また、Ｓ３の判定において、差分値の絶対値が所定の範囲内であれば検出条件の変更は行わない。

このように、検出結果が多すぎる（又は少なすぎる）場合に、欠陥検出条件を広く（或いは狭く）していくと個数の差分値は０へと近づいていくが、近くの範囲への影響が避けられず、映像への悪影響が目立ってくる。そのため、予め所定の計算により論理的に求めた検出条件を変更する際のリミット値を用意し、該求めた条件の可変範囲のリミットとする。計算によって求めた個別欠陥検出条件がリミット値よりも大きいか否かを判定する（Ｓ７）。計算によって求めた個別欠陥検出条件がリミット値を超えない場合に、その計算によって求めた個別欠陥検出条件を新たな個別欠陥検出条件として設定する（Ｓ８）。このことで、次のフィールド又はフレームで使用する個別欠陥検出条件を決める。新たな個別欠陥検出条件で検出するため、Ｓ２に戻る。計算によって求めた個別欠陥検出条件がリミット値を超える場合には、リミット値を新たな個別欠陥検出条件として設定する。

以上の動作によって検出条件を決めているため、画像に悪影響を与えない範囲で個別欠陥検出条件が可変となる。このように、各画素の出力範囲において、検出結果と期待値に応じて各範囲において欠陥検出用閾値を変更するので、欠陥画素の総数が期待値と合わされるのみならず、出力範囲に応じて存在する欠陥画素の比率も所定の比率に合わされるので、画像の欠陥をより適正に補正することができる。

この発明による画像処理方法及び装置は、ＣＣＤのような撮像素子からの直接の画像のみならず、一旦記録媒体に記憶した画像データでも、画素欠陥による画質への悪影響を抑制する画像処理を行うことができる。従って、デジタルスチルカメラのみならず、デジタルビデオカメラ、デジタルビデオレコーダ等にも適用可能であることは明らかである。

この発明による画像処理装置の第１実施例のブロック図。 入力信号の範囲分けについて説明した図。 この発明による画像処理装置の第２実施例のブロック図。 カウント領域指定について説明した図。 この発明による画像処理装置の第３実施例のブロック図。 この発明による画像処理装置の第４実施例のブロック図。 この発明による画像処理装置の第５実施例の制御の流れを示したフローチャート。

符号の説明

００１ レンズ
００２ 撮像素子
００３ アナログ・フロントエンド部
００４ 信号置き換え部
００５ 信号処理部
００６，０１８ マイコン部
００７ 信号量レベル判定部
００８ 欠陥検出条件選択部
００９ 欠陥検出部
０１０、０１１、０１２ 欠陥個数カウンタ
０１３、０１４、０１５ 期待値比較部
０１６ カウント領域指定部
０１７ マスク部
０１９ 画像記憶部

Claims (8)

1. 撮像素子が出力した画素信号に基づいて前記撮像素子の欠陥画素を検出するための欠陥検出条件を設定する欠陥検出条件設定手段と、前記欠陥検出条件を前記画素信号に適用して前記欠陥画素を検出する欠陥画素検出手段と、前記欠陥画素の前記画素信号に補正を施す画素欠陥補正手段とを備えた画像処理装置において、
   前記欠陥検出条件設定手段は、前記画素信号が取り得る信号量の範囲を所定のレベルにて範囲分けするレベル分け手段と、範囲分けされた前記信号量の前記範囲毎に前記欠陥検出条件を個別欠陥検出条件として設定可能な個別欠陥検出条件設定手段と、前記欠陥画素検出手段が前記個別欠陥検出条件を適用して検出した前記欠陥画素の個数を前記範囲毎に数える欠陥画素数カウンタ手段と、前記範囲毎に当該範囲中に存在する前記欠陥画素の個数の期待値と前記欠陥画素数カウンタ手段が数えた前記欠陥画素の前記個数との差分値を求める比較手段と、前記範囲毎に前記比較手段が求めた前記差分値が予め定められた所定範囲内に収めるように前記個別欠陥検出条件設定手段において設定される前記個別欠陥検出条件を変更する欠陥検出条件変更手段とを有することを特徴とする画像処理装置。
2. 前記画素信号を記憶する画像記憶手段を備え、前記欠陥検出条件設定手段は前記画像記憶手段から読み出した前記画素信号に基づいて前記欠陥画素を検出するための前記欠陥検出条件を設定し、前記欠陥画素検出手段は前記画像記憶手段から読み出した前記画素信号に前記欠陥検出条件を適用して前記欠陥画素を検出し、前記画素欠陥補正手段は前記画像記憶手段から読み出した前記欠陥画素の前記画素信号に補正を施すことを特徴とする請求項１に記載の画像処理装置。
3. 前記欠陥画素数カウンタ手段は、全画面の任意の領域内に限定して前記欠陥画素の個数を数える手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記欠陥検出条件変更手段は、前記個別欠陥検出条件を制限するリミット手段を有していることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 撮像素子が出力した画素信号に基づいて前記撮像素子の欠陥画素を検出するための欠陥検出条件を設定し、前記欠陥検出条件を前記画素信号に適用して前記欠陥画素を検出し、前記欠陥画素の前記画素信号に補正を施す画像処理方法において、
   撮像素子が出力した前記画素信号が取り得る信号量の範囲を所定のレベルにて範囲分けし、範囲分けされた前記信号量の前記範囲毎に前記欠陥検出条件を個別欠陥検出条件として設定し、前記範囲毎に前記個別欠陥検出条件を適用して当該範囲中にて検出した前記欠陥画素の個数を数え、前記範囲毎に前記欠陥画素の検出個数と前記範囲毎に当該範囲中に存在する前記欠陥画素の個数の期待値との差分値を比較し、前記範囲毎に前記差分値が予め定められた所定範囲内に収めるように前記個別欠陥検出条件設定手段において設定される前記個別欠陥検出条件を変更することを特徴とする画像処理方法。
6. 前記画素信号を画像記憶媒体に記憶され、前記欠陥画素を検出するための前記欠陥検出条件は前記画像記憶媒体から読み出され前記画素信号に基づいて設定され、前記画像記憶媒体から読み出された前記画素信号に前記欠陥検出条件を適用して前記欠陥画素を検出し、前記画像記憶媒体から読み出された前記欠陥画素の前記画素信号に補正を施すことを特徴とする請求項５に記載の画像処理方法。
7. 前記欠陥画素の個数は、全画面の任意の領域内に限定して数えられることを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記個別欠陥検出条件の過大な変更を制限することを特徴とする請求項５〜７のいずれか１項に記載の画像処理装置。

Images