JP4595391B2 - 固体撮像素子の欠陥検出方法 - Google Patents

Description

本発明は、欠陥を補正するために、固体撮像素子に発生する欠陥を撮像中に検出する固体撮像素子の欠陥検出方法に関する。

ＣＣＤ等の半導体で形成した固体撮像素子では、半導体の局部的な結晶欠陥が原因で感度が低下して画素に欠陥が生じる場合と、固体撮像素子の静電破壊や経時変化等により画素に欠陥が生じる場合とがある。後者の場合には、ビデオカメラに欠陥検出を行う機能と、検出された欠陥を補正する欠陥補正の機能とを設けて対応している。

従来の固体撮像素子の欠陥検出方法として、特許文献１に記載のものがある。。これは、遮光手段や基準光源などを用いずに撮影中に欠陥を検出するものであり、レベル差判定回路とエッジ判定回路とエッジ欠陥判定回路との３つの回路の出力に基づいて論理演算回路で欠陥検出を行なうので、カメラ撮像動作中に画素の欠陥検出を行っても、撮像された映像情報に含まれるエッジ情報やランダムノイズを見誤ることなく、欠陥検出を精度よく行なうことができる。
特開平７−２３２９７号公報

ところが、ケーキのスポンジ部分やビールの泡のような白い部分に黒点を含む場合や、夜空や夜景のような暗い部分に白点を含む場合に、これらを欠陥として誤って検出してしまい、これらの誤って検出した部分に欠陥画素の補正を加えることから、かえって画質が劣化してしまうという問題がある。

そこで本発明は、上記の課題を解決した固体撮像素子の欠陥検出方法を提供することを目的とする。

請求項１に係る発明は、固体撮像素子で撮像された画像を複数のエリアに区分し、それぞれのエリアにおける信号レベルを積分して輝度情報を算出するステップと、輝度情報の数値が所定値以下のエリアに対して、最大検出数を十分大きくしておき、更に欠陥かどうか判断するための基準値である閾値を同じとして白欠陥の検出を行うステップと、輝度情報の数値が近いエリアの間で検出された白欠陥の数を比較することで欠陥検出数が突出して多いエリアを特定するステップと、特定されたエリアを白欠陥の検出精度が所定以下のエリアと判断し、白欠陥検出の最大検出数を少なくあるいはゼロと設定することで白欠陥検出を行わないようにするステップとを含むようにしたものである。

請求項２に係る発明は、固体撮像素子で撮像された画像を複数のエリアに区分し、それぞれのエリアにおける信号レベルを積分して輝度情報を算出するステップと、輝度情報の数値が所定値以上のエリアに対して、最大検出数を十分大きくしておき、更に欠陥かどうか判断するための基準値である閾値を同じとして黒欠陥の検出を行うステップと、輝度情報の数値が近いエリアの間で検出された黒欠陥の数を比較することで欠陥検出数が突出して多いエリアを特定するステップと、特定されたエリアを黒欠陥の検出精度が所定以下のエリアと判断し、黒欠陥検出の最大検出数を少なくあるいはゼロと設定することで黒欠陥検出を行わないようにするステップとを含むようにしたものである。

本発明に係る固体撮像素子の欠陥検出方法によれば、輝度情報が所定値以下の暗い部分であってある程度の広がりのある複数のエリアに対しては、白欠陥の検出精度が所定以下の例えば夜景であると判断して白欠陥の検出を行わず、輝度情報が所定値以上の明るい部分であってある程度の広がりのある複数のエリアに対しては、白欠陥の検出精度が所定以下の例えばビールの泡であると判断して黒欠陥の検出を行わないので、白欠陥・黒欠陥の誤検出を未然に防止することができる。

また、現在の撮影時の黒欠陥情報および白欠陥情報と、現在と異なる時間で、夫々のエリアの輝度情報が現在に近い値で、黒欠陥又は白欠陥の欠陥の位置が対応するエリア内で一致する画像が存在する場合には、欠陥であるとして判断するので、単純に複数の画像を比較する場合に比べて、少ない画像数でより精度の高い欠陥検出を行うことができる。

以下、本発明による固体撮像素子の欠陥検出方法の実施の形態を説明する。
（ａ）実施の形態１
まず、本発明による固体撮像素子の欠陥検出方法の実施の形態１について説明する。固体撮像素子の欠陥検出方法を用いるデジタルカメラの回路図の一部を図１に示す。固体撮像素子１で撮像したデータは、アナログ信号としてＡＦＥ（アナログフロントエンドプロセッサ）２に送られ、ＡＦＥ２でアナログフロントエンド処理されてデジタル信号に変換され、信号処理部３へ送られる。そして、信号処理部３で画像信号処理を行ない、画像信号として出力される。

この信号処理部３では、画像を複数のエリアに区分してエリア毎に輝度情報を算出する輝度算出と、欠陥を検出して補正する欠陥補正とが行われる。輝度算出によって求められた輝度情報は、マイコンなどの制御回路４に出力される。

ＡＦＥ２と信号処理部３との間には、黒欠陥検出部５と白欠陥検出部６とが設けられている。黒欠陥検出部５，白欠陥検出部６は、ＡＦＥ２から出力されるデジタル信号を、黒欠陥検出と白欠陥検出とに必要な分だけバッファリング（一時記憶）する。

そして、前記輝度情報に基づいて、前記制御回路４が黒欠陥検出部５，白欠陥検出部６を制御する。即ち、以下のように制御する。制御回路４は、黒欠陥検出部５，白欠陥検出部６に一時記憶された画像の各エリアから欠陥部分を検出し、各エリア毎に検出数をカウントする。ここで、欠陥かどうか判断するための基準値である閾値（ｓ）が予め設定されており、閾値（ｓ）を越えると欠陥部分であるとして判断する。その際に、前記輝度情報に基づいて、欠陥部分の最大検出数（ｍ）を予め設定しておく。そして、検出数がこの最大検出数（ｍ）を越えないように、欠陥の検出作業が行われる。具体的には後述する。

次に、図１の回路に基づく輝度情報の算出と欠陥検出とについて説明する。

信号処理部３による輝度情報の算出は、以下のようにして行われる。図２に示すように、例えば２人の人間が並んで映っている画像を、縦（６）×横（８）の４８のエリアに分割し、各エリア毎に信号レベルを積分して明るさの輝度情報として出力する。そして、
（１）得られた輝度情報から夜景などの条件と判断され、かつあるエリアが暗くて信号レベル（輝度情報の数値）が所定値以下であることがわかった場合、該エリアは白欠陥の検出精度が所定以下であるとして白欠陥検出をせず、黒欠陥検出のみを行なうようにする。このような制御を行うことにより、暗くて信号レベルが所定値以下のエリアでの白欠陥の誤検出が未然に防止される。
（２）一方、あるエリアが明るくて信号レベル（輝度情報の数値）が所定値以上であることがわかった場合、該エリアは黒欠陥の検出精度が所定以下であるとして黒欠陥検出をせず、白欠陥検出のみを行うようにする。このような制御を行うことにより、明るくて信号レベルが所定値以上のエリアでの黒欠陥の誤検出が未然に防止される。

前記のような欠陥の検出を行う際に、制御回路４は以下のようにして黒欠陥検出部５，白欠陥検出部６を制御する。まず、黒欠陥の最大検出数（ｍ）と白欠陥の最大検出数（ｍ）とが、夫々のエリアごとに設定される。そして、黒欠陥検出部５，白欠陥検出部６が検出する欠陥部の検出数が、夫々のエリア内で与えられた最大検出数（ｍ）を越えないように、欠陥かどうか判断するための基準値である閾値（ｓ）を調整する。

前記（１）の場合の欠陥検出を行う例を、図３に示す。図のように、画像の上部および周辺部が暗く、中心部および下部が明るい状況であり、夜景をバックに人物を撮影した場合のパターンである。このような場合に、バックの夜景は暗くて所定値以下の信号レベルとなり、このような場合に、バックの夜景に対して白欠陥検出を行うと、バックの街灯などの明かりを白欠陥として誤認し、誤った欠陥検出をすることがある。しかし、本発明の欠陥検出方法では、このような場合であっても、バックの夜景を輝度情報として制御回路４が予め受け取り、該輝度情報から夜景であり白欠陥の検出精度が所定以下のエリアであると判断し、バックの夜景に対する白欠陥検出の最大検出数（ｍ）を少なくしあるいはゼロに設定するので、誤った白欠陥の検出を未然に防止することができる。この例として、例えば、デジタルカメラが夜景モードなどの撮影モードを持っていた場合には、図３において、バックの夜景に対する白欠陥の最大検出数（ｍ）をゼロに設定すればよい。

前記（２）の場合の欠陥検出を行う場合を、図４に示す。図のように、画像の中央部および下部が明るく、上部および両側が暗い状況である。明るく所定値以上の信号レベルを有する画像の中央部であって、輝度情報から得られる信号レベルの大きさが近い複数のエリアにおいて、欠陥検出数の数値を比較している例を示している。欠陥検出数を比較する場合には、該当するエリアに対する最大検出数（ｍ）を十分に大きくしておき、更に該当するエリアにおける欠陥かどうか判断するための基準値である閾値（ｓ）を同じにして比較する。この例では複数のエリアのうちの一部（２つ）のエリアの欠陥検出数が突出して多い状況を示しており、これはケーキのスポンジ部分やビールの泡の部分の一部を黒欠陥として誤って検出している場合に起こる。

このような場合に、画像の中央部および下部は明るくて所定値以上の信号レベルとなり、明るい部分に対して黒欠陥検出を行うと、ケーキのスポンジ部分やビールの泡の部分の一部を黒欠陥として誤認し、誤った欠陥検出をすることがある。しかし、本発明の欠陥検出方法では、このような場合であっても、ケーキのスポンジ部分やビールの泡の部分を輝度情報として制御回路４が受け取り、該輝度情報からケーキのスポンジ部分やビールの泡の部分であり黒欠陥の検出精度が所定以下のエリアであると判断し、ケーキのスポンジ部分やビールの泡の部分に対する黒欠陥検出の最大検出数（ｍ）を少なくあるいはゼロに設定するので、誤った黒欠陥検出を未然に防止することができる。この例として、例えば、デジタルカメラにおいて、図４のケーキのスポンジ部分やビールの泡の部分に対する黒欠陥の最大検出数（ｍ）をゼロに設定すればよい。

このようにして検出された欠陥は、制御回路４が制御する信号処理部３において、欠陥補正が行われる。夜景のバックの街灯などの明かりを白欠陥として誤って検出してこれを補正したり、誤認ケーキのスポンジ部分やビールの泡の部分の一部を黒欠陥として誤って検出してこれを補正したりということがないので、従来のように欠陥の誤検出と該誤検出の欠陥の補正とにより、かえって画質が劣化するという問題が解消される。
（ｂ）実施の形態２
次に、本発明による固体撮像素子の欠陥検出方法の実施の形態２を説明する。図５は、図１の回路図の一部を改良したものである。図１と比較すると、黒欠陥用メモリ７および白欠陥用メモリ８が追加されている。黒欠陥用メモリ７，白欠陥用メモリ８には、過去の欠陥検出で検出された黒欠陥情報および白欠陥情報と、現在の撮影時の黒欠陥情報および白欠陥情報が夫々保存されている。その他の構成は同じなので説明を省略する。

保存された欠陥情報としては、現在の撮影時とは時間的に離れたフレームであって、かつ保存されている輝度情報が現在の撮影時の夫々のエリアの輝度情報に近い値となっているエリアを含むフレームが、制御回路４によって読み出される。そして、現在の撮影時の該エリアの欠陥情報と保存された対応するエリアの欠陥情報とについて、黒欠陥情報および白欠陥情報が、夫々比較される。比較する両者間で、対応するエリア内での欠陥の位置が一致する場合は、その位置に欠陥が存在すると判断され、欠陥有りとして検出される。

このようにして検出された欠陥は、制御回路４が制御する信号処理部３において、補正される。欠陥検出の精度が高いので、欠陥補正が行われることにより、高度な画質が得られる。

図６は、図５の回路図を改良したものである。図５と図６とを比較するとわかるように、図５では信号処理部３において欠陥補正を行っていたが、図６では、白欠陥検出部５，黒欠陥検出部６において欠陥補正を行うようにしたものである。その他の構成は図５と同じなので説明を省略する。

図５の場合は、欠陥を検出する部分と欠陥を補正する部分とが別々になっていたが、図６では、欠陥を検出する部分と欠陥を補正する部分とがひとつになっており、欠陥検出と同時に補正が行われる。

固体撮像素子の欠陥検出を行うための回路図（実施の形態１）。 輝度情報を算出するための一例としての画像を示す説明図（実施の形態１）。 信号処理部から出力される輝度情報の一例を示す説明図（実施の形態１）。 輝度情報から得られる信号レベルが近い複数のエリアにおいて欠陥検出数を比較している他の例を示す説明図（実施の形態１）。 固体撮像素子の欠陥検出を行うための回路図（実施の形態２）。 固体撮像素子の欠陥検出を行うための回路図（実施の形態２）。

符号の説明

１…固体撮像素子
３…信号処理部
４…制御回路
５…黒欠陥検出部
６…白欠陥検出部
７…黒欠陥用メモリ
８…白欠陥用メモリ

Claims (2)

1. 固体撮像素子で撮像された画像を複数のエリアに区分し、それぞれのエリアにおける信号レベルを積分して輝度情報を算出するステップと、
   前記輝度情報の数値が所定値以下のエリアに対して、最大検出数を十分大きくしておき、更に欠陥かどうか判断するための基準値である閾値を同じとして白欠陥の検出を行うステップと、
   前記輝度情報の数値が近いエリアの間で前記検出された白欠陥の数を比較することで欠陥検出数が突出して多いエリアを特定するステップと、
   前記特定されたエリアを白欠陥の検出精度が所定以下のエリアと判断し、白欠陥検出の最大検出数を少なくあるいはゼロと設定することで白欠陥検出を行わないようにするステップとを含む
   固体撮像素子の欠陥検出方法。
2. 固体撮像素子で撮像された画像を複数のエリアに区分し、それぞれのエリアにおける信号レベルを積分して輝度情報を算出するステップと、
   前記輝度情報の数値が所定値以上のエリアに対して、最大検出数を十分大きくしておき、更に欠陥かどうか判断するための基準値である閾値を同じとして黒欠陥の検出を行うステップと、
   前記輝度情報の数値が近いエリアの間で前記検出された黒欠陥の数を比較することで欠陥検出数が突出して多いエリアを特定するステップと、
   前記特定されたエリアを黒欠陥の検出精度が所定以下のエリアと判断し、黒欠陥検出の最大検出数を少なくあるいはゼロと設定することで黒欠陥検出を行わないようにするステップとを含む
   固体撮像素子の欠陥検出方法。

Images