JP4403671B2 - 固体撮像素子の欠陥補正装置および欠陥補正方法 - Google Patents
固体撮像素子の欠陥補正装置および欠陥補正方法 Download PDFInfo
- Publication number
- JP4403671B2 JP4403671B2 JP2001147352A JP2001147352A JP4403671B2 JP 4403671 B2 JP4403671 B2 JP 4403671B2 JP 2001147352 A JP2001147352 A JP 2001147352A JP 2001147352 A JP2001147352 A JP 2001147352A JP 4403671 B2 JP4403671 B2 JP 4403671B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- pixel
- target pixel
- defect correction
- solid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子における各画素の感度のバラツキを補間する固体撮像素子の欠陥補正装置および欠陥補正方法に関する。
【０００２】
【従来の技術】
従来、固体撮像素子、例えばＣＣＤ型やＭＯＳ型の撮像素子においては、光電感度を有していない傷欠陥（以下、黒キズという）や光電感度を有する傷欠陥（以下、白キズという）が存在しており、固体撮像素子を用いる場合には、そうした傷欠陥を補正することが行われている。また、撮像動作中において欠陥補正を行う方法としては、例えば以下の方法が知られている。
【０００３】
すなわち、取り込んだ各画素について、その周辺画素と値レベルの比較を行い、周囲の画素の全てと相関を有しない場合に傷欠陥とし、周辺画素間における画像の境界を検出することにより補間方法を決定し、置き換えを行う方法や（特開平６−３１９０８２号公報等参照）、これとは別に、取り込んだ各画素について、周辺画素と値レベルの比較を行い、その差が大きいならばエッジ判定を行い、エッジ判定によってもまだ差があれば傷欠陥として所定の補間を行う方法がある（特開平７−２３２９７号公報等参照）。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の欠陥補正方法においては、欠陥補正を行う際、画像のエッジと傷欠陥（画素欠陥）が重なってしまうような場合には、そのエッジ部分で誤って画素欠陥であると判断してしまう可能性があるため、欠陥補正に際しては、各画素に対して傷欠陥の有無の判断とエッジ検出とを併せて行っていた。このため、欠陥補正に要する処理回路や処理手順が複雑になったり、欠陥補正に要する時間が長くなるという問題があった。
【０００５】
本発明は、かかる従来の課題に鑑みてなされたものであり、欠陥補正を簡単かつ高速に行うことができる固体撮像素子の欠陥補正装置および欠陥補正方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記課題を解決するために請求項１の発明にあっては、固体撮像素子における傷欠陥を補正する欠陥補正装置において、固体撮像素子により得られた画像における注目画素の値とこの注目画素の周辺に位置する複数の周辺画素の値とを比較する比較手段と、この比較手段の比較結果に基づき、注目画素よりも値の大きい周辺画素が所定数以上存在するか、又は注目画素よりも値の小さい周辺画素が所定数以上存在するかのいずれか一方の条件を満足するか否かを判別する判別手段と、この判別手段によって前記いずれか一方の条件を満足すると判断された場合に、注目画素よりも値が大きいか、又は小さい所定数以上の周辺画素の値の平均値を算出し、算出した平均値を注目画素の値とする置換手段とを備えたものとした。
【０００７】
かかる構成においては、ある注目画素の周辺に、それよりも値の大きい周辺画素が所定数以上存在していたときには、その注目画素は黒キズであるとして、その値が、所定数以上の周辺画素の値の平均値に増大され、逆に、ある注目画素の周辺に、それよりも値の小さい周辺画素が所定数以上存在していたときには、その注目画素は白キズであるとして、その値が、所定数以上の周辺画素の値の平均値に減少される。つまり、特別なエッジ検出を行わなくとも、傷欠陥であると考えられる画素の値を補正することができる。しかも、その注目画素の値が黒キズや白キズとして補正されるときでも、それが周辺画素の値と大きくかけ離れたものとなることがない。
【０００８】
また、請求項２の発明にあっては、前記判別手段は、注目画素よりも所定値以上、値の大きい周辺画素が所定数以上存在するか、または注目画素よりも所定値以上、値の小さい周辺画素が所定数以上存在するかの、いずれか一方の条件を満足するか否かを判別するものとした。
【０００９】
かかる構成においては、前記所定値を設定することにより、より適した補正を行うことができる。補正精度が向上する。
【００１０】
また、請求項３の発明にあっては、前記所定数は５つであるものとした。
【００１１】
かかる構成においては、各画素がＸ，Ｙ方向に沿って配置されている固体撮像素子に適した欠陥補正を行うことができる。
【００１２】
また、請求項４の発明にあっては、前記複数の周辺画素は前記注目画素に隣接するとともに、相互に隣接する複数の画素であるものとした。
【００１３】
かかる構成においては、最も理想的な欠陥補正を行うことができる。
【００１４】
また、請求項５の発明にあっては、固体撮像素子により得られた画像における各画素を注目画素とする欠陥補正方法であって、各注目画素の値とこの注目画素の周辺に位置する複数の周辺画素の値とを比較する工程と、比較結果に基づき、注目画素よりも値の大きい周辺画素が所定数以上か、または注目画素よりも値の小さい周辺画素が所定数以上かのいずれか一方の条件を満足するか否かを判別する工程と、前記いずれか一方の条件を満足すると判断した場合に、注目画素よりも値が大きいか、又は小さい所定数以上の周辺画素の値の平均値を注目画素の値とする工程とからなる方法とした。
【００１５】
かかる方法によれば、特別なエッジ検出を行わなくとも、欠陥補正を行うことができる。しかも、その注目画素の値が黒キズや白キズとして補正されるときでも、それが周辺画素の値と大きくかけ離れたものとなることがない。
【００１６】
【発明の実施の形態】
以下、本発明の一実施の形態を図にしたがって説明する。
（第１の実施の形態）
図１は、本発明の欠陥補正装置を構成する、撮像装置（例えばデジタルカメラ）における信号処理ブロックを示す図である。この信号処理ブロックでは、ＣＣＤ型やＭＯＳ型の撮像素子１から出力されたＲＧＢのアナログ撮像信号は、信号処理回路２で増幅処理等を施されるとともにデジタル信号に変換され、画像データとしてＣＰＵ３に送られる。ＣＰＵ３に送られた画像データは後述する欠陥補正処理を施された後、画像圧縮部４へ送られる。送られた画像データは、画像圧縮部４でＹＵＶ変換されるとともに、１フレーム分（１画面分）毎に圧縮された後、ＲＡＭ５へ送られて記憶される。ＣＰＵ３にはＲＯＭ６及びバッファ用メモリ７が接続されており、本実施の形態においてはＣＰＵ３がＲＯＭ６に記憶されているプログラムに従って動作することにより、本発明の比較手段、判別手段、置換手段として機能する。
【００１７】
図２は、撮像時にＣＰＵ３が実行する欠陥補正処理の手順を示すフローチャートである。ＣＰＵ３は、撮像が行われるとともに処理を開始し、信号処理回路２から送られる画素データ（ＲＧＢデータ）をバッファ用メモリ７に逐次記憶させる（ステップＳＡ１）。次に、送られてきた各画素データを注目画素のデータとし、図３に示したように、注目画素Ｐｘと、その周囲に隣接する周辺画素Ｐ０〜Ｐ７との９画素からなる３×３の画素ブロックＢがバッファ用メモリ７に蓄積できるのを待って以下の処理を行う。
【００１８】
まず、注目画素Ｐｘと各周辺画素Ｐ０〜Ｐ７との値（入力レベル）を比較して、注目画素Ｐｘよりも値の大きい周辺画素の数Ｈｎと、注目画素Ｐｘよりも値の小さい周辺画素の数Ｌｎとをそれぞれカウントする（ステップＳＡ２）。ここで、注目画素Ｐｘよりも値の大きい周辺画素の数Ｈｎが５つ以上あったときには（ステップＳＡ３でＹＥＳ）、注目画素Ｐｘが黒キズであるとみなして、それよりも値が大きい複数（５つ以上）の周辺画素の平均値を算出し、注目画素Ｐｘの値を算出結果と置換した後（ステップＳＡ４）、注目画素Ｐｘの画素データを画像圧縮部４へ出力する（ステップＳＡ５）。つまり、注目画素Ｐｘの値を、算出した平均値に増大させることにより黒キズを補正する。
【００１９】
また、ステップＳＡ３の判別結果がＮＯであるとともに、注目画素Ｐｘよりも値の小さい周辺画素の数Ｌｎが５つ以上あったときには（ステップＳＡ６でＹＥＳ）、注目画素Ｐｘが白キズであるとみなして、それよりも値が小さい複数（５つ以上）の周辺画素の平均値を算出し、注目画素Ｐｘの値を算出結果と置換した後（ステップＳＡ７）、注目画素Ｐｘの画素データを画像圧縮部４へ出力する（ステップＳＡ５）。つまり、注目画素Ｐｘの値を、算出した平均値に減少させることにより白キズを補正する。
【００２０】
一方、注目画素Ｐｘよりも値の大きい周辺画素の数Ｈｎが４以下で、かつ注目画素Ｐｘよりも値の小さい周辺画素の数Ｌｎが４以下であったときには（ステップＳＡ３，ＳＡ６が共にＮＯ）、注目画素Ｐｘがキズではないとみなして、入力した画素データをそのままの値（レベル）で画像圧縮部４へ出力する（ステップＳＡ５）。そして、これ以後は、他の画素について、それを注目画素Ｐｘとして上記の処理を繰り返し（ステップＳＡ８でＮＯ）、全画素に対する処理が完了したら欠陥補正処理処理を終了する。
【００２１】
したがって、以上の欠陥補正処理においては、特別なエッジ検出を行わなくとも欠陥補正を行うことができるため、欠陥補正が簡単であるとともに、その処理を高速に行うことができる。しかも、その注目画素の値が黒キズや白キズとして補正されるときでも、それが周辺画素の値と大きくかけ離れることがないことから、図４の（ａ）〜（ｔ）に例示したように、画像のエッジ部分が注目画素Ｐｘと近接していたり、あるいは注目画素Ｐｘと重なっていたりする場合においても、常に良好な補正結果を得ることができる。
【００２２】
特に、本実施の形態では、処理対象となる画像データが、各画素がＸ，Ｙ方向に沿って配置されている画像データであるとともに、欠陥補正処理に際しては、注目画素Ｐｘを中心とした３×３の画素ブロックＢを単位として、注目画素Ｐｘよりも値の大きい周辺画素の数Ｈｎ、または小さい周辺画素の数Ｌｎのいずれか一方が５つ以上である条件を満足するとき、注目画素Ｐｘをキズとして値を補正することから、精度が良く、かつ最も理想的な欠陥補正を行うことができる。
【００２３】
なお、欠陥補正処理での注目画素Ｐｘの補正の可否判断、及び補正は、必ずしも３×３の画素ブロックＢを単位として行う必要はなく、例えば撮像素子１の画素配列に応じた複数画素を単位として行うようにすればよい。また、注目画素Ｐｘの補正の可否判断（注目画素Ｐｘがキズであるか否かの判断条件）を決める周辺画素の所定数（本実施の形態では「５」）についても同様であり、例えば撮像素子１の画素配列に応じて決めることができる。
【００２４】
（第２の実施の形態）
次に本発明の第２の実施の形態について説明する。図５は、撮像時にＣＰＵ３が実行する他の欠陥補正処理の手順を示すフローチャートである。
【００２５】
かかる欠陥補正処理において、ＣＰＵ３は、撮像が行われるとともに処理を開始し、信号処理回路２から送られる１フレーム分の画素データ（ＲＧＢデータ）をバッファ用メモリ７に逐次記憶させた後（ステップＳＢ１）、第１の実施の形態で説明した３×３の画素ブロックＢ（図３参照）のデータがバッファ用メモリ７に蓄積できるのを待って以下の処理を行う。
【００２６】
まず、ＣＰＵ３は、画素ブロックＢにおける各周辺画素Ｐ０〜Ｐ７の値（入力レベル）に応じて、しきい値を設定し内部メモリに記憶する（ステップＳＢ２）。なお、ここで設定されるしきい値は、後述する処理で使用される値であり、例えば各周辺画素Ｐ０〜Ｐ７の最大値と最小値の幅の違い等に応じて決められる。次に、注目画素Ｐｘと各周辺画素Ｐ０〜Ｐ７との値（入力レベル）を比較し、注目画素Ｐｘよりも値がしきい値以上大きい周辺画素の数Ｈｎと、注目画素Ｐｘよりも値がしきい値以上小さい周辺画素の数Ｌｎとをそれぞれカウントする（ステップＳＢ３）。ここで、注目画素Ｐｘよりも値がしきい値以上大きい周辺画素の数Ｈｎが５つ以上あったときには（ステップＳＢ４でＹＥＳ）、注目画素Ｐｘが黒キズであるとみなして、それよりも値がしきい値以上大きい複数（５つ以上）の周辺画素の平均値を算出し、注目画素Ｐｘの値を算出結果と置換した後（ステップＳＢ５）、注目画素Ｐｘの画素データを画像圧縮部４へ出力する（ステップＳＢ６）。つまり、注目画素Ｐｘの値を、算出した平均値に増大させることにより黒キズを補正する。
【００２７】
また、ステップＳＢ４の判別結果がＮＯであるとともに、注目画素Ｐｘよりも値がしきい値以上小さい周辺画素の数Ｌｎが５つ以上あったときには（ステップＳＢ７でＹＥＳ）、注目画素Ｐｘが白キズであるとみなして、それよりも値がしきい値以上小さい複数（５つ以上）の周辺画素の平均値を算出し、注目画素Ｐｘの値を算出結果と置換した後（ステップＳＢ８）、注目画素Ｐｘの画素データを画像圧縮部４へ出力する（ステップＳＢ６）。つまり、注目画素Ｐｘの値を、算出した平均値に減少させることにより白キズを補正する。
【００２８】
一方、注目画素Ｐｘよりも値がしきい値以上大きい周辺画素の数Ｈｎが４以下で、かつ注目画素Ｐｘよりも値がしきい値以上小さい周辺画素の数Ｌｎが４以下であったときには（ステップＳＢ４，ＳＢ７が共にＮＯ）、注目画素Ｐｘがキズではないとみなして、入力した画素データをそのままの値（レベル）で画像圧縮部４へ出力する（ステップＳＢ６）。そして、これ以後は、他の画素について、それを注目画素Ｐｘとして上記の処理を繰り返し（ステップＳＢ９でＮＯ）、全画素に対する処理が完了したら欠陥補正処理を終了する。
【００２９】
すなわち、本実施の形態においては、前述したしきい値を設定することにより、より適した補正を行うことができ、補正精度を向上させることが可能となる。さらに前述したしきい値を周辺画素Ｐ０〜Ｐ７の値に応じた値に変化させることにより、注目画素Ｐｘがキズであるか否かの判断条件の内容を注目画素Ｐｘ毎に変化させるものとなっている。このため、各注目画素Ｐｘにより適した補正を行うことができ、第１の実施の形態に比べ補正精度が向上する。
【００３０】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。図６は、本発明の欠陥補正装置を構成する、撮像装置（例えばデジタルカメラ）における画素欠陥補正回路を示すブロック図である。
【００３１】
この画素欠陥補正回路は、ＣＣＤ型やＭＯＳ型の撮像素子から出力された後、デジタル信号に変換された画像データが入力される画素取り込み回路１１と、比較回路１２、第１の加算器１３、第２の加算器１４、値切替回路１５とから構成されている。画素取り込み回路１１は、入力信号から第１の実施の形態で図３に示した、注目画素Ｐｘと、その周囲に隣接する周辺画素Ｐ０〜Ｐ７との９画素からなる３×３の画素ブロックＢ毎の画素信号を取り込み、取り込んだ画素信号を比較回路１２に出力する。
【００３２】
比較回路１２は、入力した画素信号のうちの注目画素Ｐｘの画素信号を値切替回路１５へ出力する。また、比較回路１２は、入力した画素信号について注目画素Ｐｘと各周辺画素Ｐ０〜Ｐ７との比較を行うとともに、周辺画素の値が注目画素Ｐｘの値よりも大きい場合は、その値を第１の加算器１３へ出力する一方、周辺画素の値が注目画素Ｐｘの値よりも小さい場合は、その値を第２の加算器１４へ出力する。さらに、比較回路１２は、第１の加算器１３への周辺画素の値の出力回数と、第２の加算器１４への周辺画素の値の出力回数とをそれぞれカウントし、それらのカウント結果（出力回数）と、それらのカウント結果に基づく判別信号を値切替回路１５へ出力する。
【００３３】
値切替回路１５は、比較回路１２から入力した判別信号に従い動作し、比較回路１２から入力した注目画素Ｐｘの信号の値を以下のように切り替えて出力する。すなわち第１の加算器１３への周辺画素の値の出力回数が５以上であった場合には、第１の加算器１３から入力した加算値と、それに対応する出力回数とから平均値を算出し、算出した平均値を注目画素Ｐｘの信号の値に置き換えて出力する。また、第２の加算器１４への周辺画素の値の出力回数が５以上であった場合には、第２の加算器１４から入力した加算値と、それに対応する出力回数とから平均値を算出し、算出した平均値を注目画素Ｐｘの信号の値に置き換えて出力する。さらに、第１の加算器１３への周辺画素の値の出力回数と、第２の加算器１４への周辺画素の値の出力回数とがいずれも４以下であった場合には、注目画素Ｐｘの信号の値を、比較回路１２から入力した元の値のまま出力する。
【００３４】
つまり、本実施の形態においては、比較回路１２によって本発明の比較手段、判別手段が構成され、値切替回路１５によって本発明の置換手段が構成されるとともに、入力する画像データにおける個々の注目画素Ｐｘの値が、第１の実施の形態と同様の方法で補正されることとなる。よって、本実施の形態においても、第１の実施の形態と同様の効果が得られる。また、本発明の各手段が比較回路１２や値切替回路１５といった電気回路により実現されているため、欠陥補正処理を高速に行うことができる。
【００３５】
また、本実施の形態とは別に、例えば前記比較回路１２や、比較回路１２の前段に別途設けた回路によって、第２の実施の形態で説明したしきい値を計算させ、比較回路１２を、周辺画素の値が注目画素Ｐｘの値よりも前記しきい値以上大きい場合は、その値を第１の加算器１３へ出力する一方、周辺画素の値が注目画素Ｐｘの値よりも前記しきい値以上小さい場合は、その値を第２の加算器１４へ出力するよう動作する構成とすれば、第２の実施の形態と同様の欠陥補正処理を高速に行うことができる。
【００３６】
【発明の効果】
以上説明したように請求項１及び請求項５の発明においては、特別なエッジ検出を行わなくとも、欠陥補正を行うことができるようにしたことから、欠陥補正を簡単かつ高速に行うことができる。しかも、その注目画素の値が黒キズや白キズとして補正されるときでも、それが周辺画素の値と大きくかけ離れたものとなることがないことから、画像のエッジ部分が注目画素に重なっていたり、近接していたりする場合においても常に良好な補正結果を得ることができる。
【００３７】
また、請求項２の発明によれば、前記所定値を設定することにより、より適した補正を行うことができ、補正精度を向上させることが可能となる。
【００３８】
また、請求項３の発明によれば、各画素がＸ，Ｙ方向に沿って配置されている固体撮像素子に適した欠陥補正を行うことができ、さらに、請求項４の発明によれば、より一層精度のよい欠陥補正を行うことが可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示す、撮像装置における信号処理ブロックを示す図である。
【図２】同実施の形態における欠陥補正手順を示すフローチャートである。
【図３】欠陥補正処理の処理単位となる画素ブロックを示す説明図である。
【図４】注目画素の周辺にエッジが存在する場合の例を示す図である。
【図５】本発明の第２の実施の形態における他の欠陥補正手順を示すフローチャートである。
【図６】本発明の第３の実施の形態を示す画素欠陥補正回路のブロック図である。
【符号の説明】
３ ＣＰＵ
４ 画像圧縮部
１２ 比較回路
１３ 第１の加算器
１４ 第２の加算器
１５ 値切替回路
Ｂ 画素ブロック
Ｐ０〜Ｐ７ 周辺画素
Ｐｘ 注目画素
【発明の属する技術分野】
本発明は、固体撮像素子における各画素の感度のバラツキを補間する固体撮像素子の欠陥補正装置および欠陥補正方法に関する。
【０００２】
【従来の技術】
従来、固体撮像素子、例えばＣＣＤ型やＭＯＳ型の撮像素子においては、光電感度を有していない傷欠陥（以下、黒キズという）や光電感度を有する傷欠陥（以下、白キズという）が存在しており、固体撮像素子を用いる場合には、そうした傷欠陥を補正することが行われている。また、撮像動作中において欠陥補正を行う方法としては、例えば以下の方法が知られている。
【０００３】
すなわち、取り込んだ各画素について、その周辺画素と値レベルの比較を行い、周囲の画素の全てと相関を有しない場合に傷欠陥とし、周辺画素間における画像の境界を検出することにより補間方法を決定し、置き換えを行う方法や（特開平６−３１９０８２号公報等参照）、これとは別に、取り込んだ各画素について、周辺画素と値レベルの比較を行い、その差が大きいならばエッジ判定を行い、エッジ判定によってもまだ差があれば傷欠陥として所定の補間を行う方法がある（特開平７−２３２９７号公報等参照）。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の欠陥補正方法においては、欠陥補正を行う際、画像のエッジと傷欠陥（画素欠陥）が重なってしまうような場合には、そのエッジ部分で誤って画素欠陥であると判断してしまう可能性があるため、欠陥補正に際しては、各画素に対して傷欠陥の有無の判断とエッジ検出とを併せて行っていた。このため、欠陥補正に要する処理回路や処理手順が複雑になったり、欠陥補正に要する時間が長くなるという問題があった。
【０００５】
本発明は、かかる従来の課題に鑑みてなされたものであり、欠陥補正を簡単かつ高速に行うことができる固体撮像素子の欠陥補正装置および欠陥補正方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記課題を解決するために請求項１の発明にあっては、固体撮像素子における傷欠陥を補正する欠陥補正装置において、固体撮像素子により得られた画像における注目画素の値とこの注目画素の周辺に位置する複数の周辺画素の値とを比較する比較手段と、この比較手段の比較結果に基づき、注目画素よりも値の大きい周辺画素が所定数以上存在するか、又は注目画素よりも値の小さい周辺画素が所定数以上存在するかのいずれか一方の条件を満足するか否かを判別する判別手段と、この判別手段によって前記いずれか一方の条件を満足すると判断された場合に、注目画素よりも値が大きいか、又は小さい所定数以上の周辺画素の値の平均値を算出し、算出した平均値を注目画素の値とする置換手段とを備えたものとした。
【０００７】
かかる構成においては、ある注目画素の周辺に、それよりも値の大きい周辺画素が所定数以上存在していたときには、その注目画素は黒キズであるとして、その値が、所定数以上の周辺画素の値の平均値に増大され、逆に、ある注目画素の周辺に、それよりも値の小さい周辺画素が所定数以上存在していたときには、その注目画素は白キズであるとして、その値が、所定数以上の周辺画素の値の平均値に減少される。つまり、特別なエッジ検出を行わなくとも、傷欠陥であると考えられる画素の値を補正することができる。しかも、その注目画素の値が黒キズや白キズとして補正されるときでも、それが周辺画素の値と大きくかけ離れたものとなることがない。
【０００８】
また、請求項２の発明にあっては、前記判別手段は、注目画素よりも所定値以上、値の大きい周辺画素が所定数以上存在するか、または注目画素よりも所定値以上、値の小さい周辺画素が所定数以上存在するかの、いずれか一方の条件を満足するか否かを判別するものとした。
【０００９】
かかる構成においては、前記所定値を設定することにより、より適した補正を行うことができる。補正精度が向上する。
【００１０】
また、請求項３の発明にあっては、前記所定数は５つであるものとした。
【００１１】
かかる構成においては、各画素がＸ，Ｙ方向に沿って配置されている固体撮像素子に適した欠陥補正を行うことができる。
【００１２】
また、請求項４の発明にあっては、前記複数の周辺画素は前記注目画素に隣接するとともに、相互に隣接する複数の画素であるものとした。
【００１３】
かかる構成においては、最も理想的な欠陥補正を行うことができる。
【００１４】
また、請求項５の発明にあっては、固体撮像素子により得られた画像における各画素を注目画素とする欠陥補正方法であって、各注目画素の値とこの注目画素の周辺に位置する複数の周辺画素の値とを比較する工程と、比較結果に基づき、注目画素よりも値の大きい周辺画素が所定数以上か、または注目画素よりも値の小さい周辺画素が所定数以上かのいずれか一方の条件を満足するか否かを判別する工程と、前記いずれか一方の条件を満足すると判断した場合に、注目画素よりも値が大きいか、又は小さい所定数以上の周辺画素の値の平均値を注目画素の値とする工程とからなる方法とした。
【００１５】
かかる方法によれば、特別なエッジ検出を行わなくとも、欠陥補正を行うことができる。しかも、その注目画素の値が黒キズや白キズとして補正されるときでも、それが周辺画素の値と大きくかけ離れたものとなることがない。
【００１６】
【発明の実施の形態】
以下、本発明の一実施の形態を図にしたがって説明する。
（第１の実施の形態）
図１は、本発明の欠陥補正装置を構成する、撮像装置（例えばデジタルカメラ）における信号処理ブロックを示す図である。この信号処理ブロックでは、ＣＣＤ型やＭＯＳ型の撮像素子１から出力されたＲＧＢのアナログ撮像信号は、信号処理回路２で増幅処理等を施されるとともにデジタル信号に変換され、画像データとしてＣＰＵ３に送られる。ＣＰＵ３に送られた画像データは後述する欠陥補正処理を施された後、画像圧縮部４へ送られる。送られた画像データは、画像圧縮部４でＹＵＶ変換されるとともに、１フレーム分（１画面分）毎に圧縮された後、ＲＡＭ５へ送られて記憶される。ＣＰＵ３にはＲＯＭ６及びバッファ用メモリ７が接続されており、本実施の形態においてはＣＰＵ３がＲＯＭ６に記憶されているプログラムに従って動作することにより、本発明の比較手段、判別手段、置換手段として機能する。
【００１７】
図２は、撮像時にＣＰＵ３が実行する欠陥補正処理の手順を示すフローチャートである。ＣＰＵ３は、撮像が行われるとともに処理を開始し、信号処理回路２から送られる画素データ（ＲＧＢデータ）をバッファ用メモリ７に逐次記憶させる（ステップＳＡ１）。次に、送られてきた各画素データを注目画素のデータとし、図３に示したように、注目画素Ｐｘと、その周囲に隣接する周辺画素Ｐ０〜Ｐ７との９画素からなる３×３の画素ブロックＢがバッファ用メモリ７に蓄積できるのを待って以下の処理を行う。
【００１８】
まず、注目画素Ｐｘと各周辺画素Ｐ０〜Ｐ７との値（入力レベル）を比較して、注目画素Ｐｘよりも値の大きい周辺画素の数Ｈｎと、注目画素Ｐｘよりも値の小さい周辺画素の数Ｌｎとをそれぞれカウントする（ステップＳＡ２）。ここで、注目画素Ｐｘよりも値の大きい周辺画素の数Ｈｎが５つ以上あったときには（ステップＳＡ３でＹＥＳ）、注目画素Ｐｘが黒キズであるとみなして、それよりも値が大きい複数（５つ以上）の周辺画素の平均値を算出し、注目画素Ｐｘの値を算出結果と置換した後（ステップＳＡ４）、注目画素Ｐｘの画素データを画像圧縮部４へ出力する（ステップＳＡ５）。つまり、注目画素Ｐｘの値を、算出した平均値に増大させることにより黒キズを補正する。
【００１９】
また、ステップＳＡ３の判別結果がＮＯであるとともに、注目画素Ｐｘよりも値の小さい周辺画素の数Ｌｎが５つ以上あったときには（ステップＳＡ６でＹＥＳ）、注目画素Ｐｘが白キズであるとみなして、それよりも値が小さい複数（５つ以上）の周辺画素の平均値を算出し、注目画素Ｐｘの値を算出結果と置換した後（ステップＳＡ７）、注目画素Ｐｘの画素データを画像圧縮部４へ出力する（ステップＳＡ５）。つまり、注目画素Ｐｘの値を、算出した平均値に減少させることにより白キズを補正する。
【００２０】
一方、注目画素Ｐｘよりも値の大きい周辺画素の数Ｈｎが４以下で、かつ注目画素Ｐｘよりも値の小さい周辺画素の数Ｌｎが４以下であったときには（ステップＳＡ３，ＳＡ６が共にＮＯ）、注目画素Ｐｘがキズではないとみなして、入力した画素データをそのままの値（レベル）で画像圧縮部４へ出力する（ステップＳＡ５）。そして、これ以後は、他の画素について、それを注目画素Ｐｘとして上記の処理を繰り返し（ステップＳＡ８でＮＯ）、全画素に対する処理が完了したら欠陥補正処理処理を終了する。
【００２１】
したがって、以上の欠陥補正処理においては、特別なエッジ検出を行わなくとも欠陥補正を行うことができるため、欠陥補正が簡単であるとともに、その処理を高速に行うことができる。しかも、その注目画素の値が黒キズや白キズとして補正されるときでも、それが周辺画素の値と大きくかけ離れることがないことから、図４の（ａ）〜（ｔ）に例示したように、画像のエッジ部分が注目画素Ｐｘと近接していたり、あるいは注目画素Ｐｘと重なっていたりする場合においても、常に良好な補正結果を得ることができる。
【００２２】
特に、本実施の形態では、処理対象となる画像データが、各画素がＸ，Ｙ方向に沿って配置されている画像データであるとともに、欠陥補正処理に際しては、注目画素Ｐｘを中心とした３×３の画素ブロックＢを単位として、注目画素Ｐｘよりも値の大きい周辺画素の数Ｈｎ、または小さい周辺画素の数Ｌｎのいずれか一方が５つ以上である条件を満足するとき、注目画素Ｐｘをキズとして値を補正することから、精度が良く、かつ最も理想的な欠陥補正を行うことができる。
【００２３】
なお、欠陥補正処理での注目画素Ｐｘの補正の可否判断、及び補正は、必ずしも３×３の画素ブロックＢを単位として行う必要はなく、例えば撮像素子１の画素配列に応じた複数画素を単位として行うようにすればよい。また、注目画素Ｐｘの補正の可否判断（注目画素Ｐｘがキズであるか否かの判断条件）を決める周辺画素の所定数（本実施の形態では「５」）についても同様であり、例えば撮像素子１の画素配列に応じて決めることができる。
【００２４】
（第２の実施の形態）
次に本発明の第２の実施の形態について説明する。図５は、撮像時にＣＰＵ３が実行する他の欠陥補正処理の手順を示すフローチャートである。
【００２５】
かかる欠陥補正処理において、ＣＰＵ３は、撮像が行われるとともに処理を開始し、信号処理回路２から送られる１フレーム分の画素データ（ＲＧＢデータ）をバッファ用メモリ７に逐次記憶させた後（ステップＳＢ１）、第１の実施の形態で説明した３×３の画素ブロックＢ（図３参照）のデータがバッファ用メモリ７に蓄積できるのを待って以下の処理を行う。
【００２６】
まず、ＣＰＵ３は、画素ブロックＢにおける各周辺画素Ｐ０〜Ｐ７の値（入力レベル）に応じて、しきい値を設定し内部メモリに記憶する（ステップＳＢ２）。なお、ここで設定されるしきい値は、後述する処理で使用される値であり、例えば各周辺画素Ｐ０〜Ｐ７の最大値と最小値の幅の違い等に応じて決められる。次に、注目画素Ｐｘと各周辺画素Ｐ０〜Ｐ７との値（入力レベル）を比較し、注目画素Ｐｘよりも値がしきい値以上大きい周辺画素の数Ｈｎと、注目画素Ｐｘよりも値がしきい値以上小さい周辺画素の数Ｌｎとをそれぞれカウントする（ステップＳＢ３）。ここで、注目画素Ｐｘよりも値がしきい値以上大きい周辺画素の数Ｈｎが５つ以上あったときには（ステップＳＢ４でＹＥＳ）、注目画素Ｐｘが黒キズであるとみなして、それよりも値がしきい値以上大きい複数（５つ以上）の周辺画素の平均値を算出し、注目画素Ｐｘの値を算出結果と置換した後（ステップＳＢ５）、注目画素Ｐｘの画素データを画像圧縮部４へ出力する（ステップＳＢ６）。つまり、注目画素Ｐｘの値を、算出した平均値に増大させることにより黒キズを補正する。
【００２７】
また、ステップＳＢ４の判別結果がＮＯであるとともに、注目画素Ｐｘよりも値がしきい値以上小さい周辺画素の数Ｌｎが５つ以上あったときには（ステップＳＢ７でＹＥＳ）、注目画素Ｐｘが白キズであるとみなして、それよりも値がしきい値以上小さい複数（５つ以上）の周辺画素の平均値を算出し、注目画素Ｐｘの値を算出結果と置換した後（ステップＳＢ８）、注目画素Ｐｘの画素データを画像圧縮部４へ出力する（ステップＳＢ６）。つまり、注目画素Ｐｘの値を、算出した平均値に減少させることにより白キズを補正する。
【００２８】
一方、注目画素Ｐｘよりも値がしきい値以上大きい周辺画素の数Ｈｎが４以下で、かつ注目画素Ｐｘよりも値がしきい値以上小さい周辺画素の数Ｌｎが４以下であったときには（ステップＳＢ４，ＳＢ７が共にＮＯ）、注目画素Ｐｘがキズではないとみなして、入力した画素データをそのままの値（レベル）で画像圧縮部４へ出力する（ステップＳＢ６）。そして、これ以後は、他の画素について、それを注目画素Ｐｘとして上記の処理を繰り返し（ステップＳＢ９でＮＯ）、全画素に対する処理が完了したら欠陥補正処理を終了する。
【００２９】
すなわち、本実施の形態においては、前述したしきい値を設定することにより、より適した補正を行うことができ、補正精度を向上させることが可能となる。さらに前述したしきい値を周辺画素Ｐ０〜Ｐ７の値に応じた値に変化させることにより、注目画素Ｐｘがキズであるか否かの判断条件の内容を注目画素Ｐｘ毎に変化させるものとなっている。このため、各注目画素Ｐｘにより適した補正を行うことができ、第１の実施の形態に比べ補正精度が向上する。
【００３０】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。図６は、本発明の欠陥補正装置を構成する、撮像装置（例えばデジタルカメラ）における画素欠陥補正回路を示すブロック図である。
【００３１】
この画素欠陥補正回路は、ＣＣＤ型やＭＯＳ型の撮像素子から出力された後、デジタル信号に変換された画像データが入力される画素取り込み回路１１と、比較回路１２、第１の加算器１３、第２の加算器１４、値切替回路１５とから構成されている。画素取り込み回路１１は、入力信号から第１の実施の形態で図３に示した、注目画素Ｐｘと、その周囲に隣接する周辺画素Ｐ０〜Ｐ７との９画素からなる３×３の画素ブロックＢ毎の画素信号を取り込み、取り込んだ画素信号を比較回路１２に出力する。
【００３２】
比較回路１２は、入力した画素信号のうちの注目画素Ｐｘの画素信号を値切替回路１５へ出力する。また、比較回路１２は、入力した画素信号について注目画素Ｐｘと各周辺画素Ｐ０〜Ｐ７との比較を行うとともに、周辺画素の値が注目画素Ｐｘの値よりも大きい場合は、その値を第１の加算器１３へ出力する一方、周辺画素の値が注目画素Ｐｘの値よりも小さい場合は、その値を第２の加算器１４へ出力する。さらに、比較回路１２は、第１の加算器１３への周辺画素の値の出力回数と、第２の加算器１４への周辺画素の値の出力回数とをそれぞれカウントし、それらのカウント結果（出力回数）と、それらのカウント結果に基づく判別信号を値切替回路１５へ出力する。
【００３３】
値切替回路１５は、比較回路１２から入力した判別信号に従い動作し、比較回路１２から入力した注目画素Ｐｘの信号の値を以下のように切り替えて出力する。すなわち第１の加算器１３への周辺画素の値の出力回数が５以上であった場合には、第１の加算器１３から入力した加算値と、それに対応する出力回数とから平均値を算出し、算出した平均値を注目画素Ｐｘの信号の値に置き換えて出力する。また、第２の加算器１４への周辺画素の値の出力回数が５以上であった場合には、第２の加算器１４から入力した加算値と、それに対応する出力回数とから平均値を算出し、算出した平均値を注目画素Ｐｘの信号の値に置き換えて出力する。さらに、第１の加算器１３への周辺画素の値の出力回数と、第２の加算器１４への周辺画素の値の出力回数とがいずれも４以下であった場合には、注目画素Ｐｘの信号の値を、比較回路１２から入力した元の値のまま出力する。
【００３４】
つまり、本実施の形態においては、比較回路１２によって本発明の比較手段、判別手段が構成され、値切替回路１５によって本発明の置換手段が構成されるとともに、入力する画像データにおける個々の注目画素Ｐｘの値が、第１の実施の形態と同様の方法で補正されることとなる。よって、本実施の形態においても、第１の実施の形態と同様の効果が得られる。また、本発明の各手段が比較回路１２や値切替回路１５といった電気回路により実現されているため、欠陥補正処理を高速に行うことができる。
【００３５】
また、本実施の形態とは別に、例えば前記比較回路１２や、比較回路１２の前段に別途設けた回路によって、第２の実施の形態で説明したしきい値を計算させ、比較回路１２を、周辺画素の値が注目画素Ｐｘの値よりも前記しきい値以上大きい場合は、その値を第１の加算器１３へ出力する一方、周辺画素の値が注目画素Ｐｘの値よりも前記しきい値以上小さい場合は、その値を第２の加算器１４へ出力するよう動作する構成とすれば、第２の実施の形態と同様の欠陥補正処理を高速に行うことができる。
【００３６】
【発明の効果】
以上説明したように請求項１及び請求項５の発明においては、特別なエッジ検出を行わなくとも、欠陥補正を行うことができるようにしたことから、欠陥補正を簡単かつ高速に行うことができる。しかも、その注目画素の値が黒キズや白キズとして補正されるときでも、それが周辺画素の値と大きくかけ離れたものとなることがないことから、画像のエッジ部分が注目画素に重なっていたり、近接していたりする場合においても常に良好な補正結果を得ることができる。
【００３７】
また、請求項２の発明によれば、前記所定値を設定することにより、より適した補正を行うことができ、補正精度を向上させることが可能となる。
【００３８】
また、請求項３の発明によれば、各画素がＸ，Ｙ方向に沿って配置されている固体撮像素子に適した欠陥補正を行うことができ、さらに、請求項４の発明によれば、より一層精度のよい欠陥補正を行うことが可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示す、撮像装置における信号処理ブロックを示す図である。
【図２】同実施の形態における欠陥補正手順を示すフローチャートである。
【図３】欠陥補正処理の処理単位となる画素ブロックを示す説明図である。
【図４】注目画素の周辺にエッジが存在する場合の例を示す図である。
【図５】本発明の第２の実施の形態における他の欠陥補正手順を示すフローチャートである。
【図６】本発明の第３の実施の形態を示す画素欠陥補正回路のブロック図である。
【符号の説明】
３ ＣＰＵ
４ 画像圧縮部
１２ 比較回路
１３ 第１の加算器
１４ 第２の加算器
１５ 値切替回路
Ｂ 画素ブロック
Ｐ０〜Ｐ７ 周辺画素
Ｐｘ 注目画素
Claims (5)
- 固体撮像素子における傷欠陥を補正する欠陥補正装置において、
固体撮像素子により得られた画像における注目画素の値とこの注目画素の周辺に位置する複数の周辺画素の値とを比較する比較手段と、
この比較手段の比較結果に基づき、注目画素よりも値の大きい周辺画素が所定数以上存在するか、又は注目画素よりも値の小さい周辺画素が所定数以上存在するかのいずれか一方の条件を満足するか否かを判別する判別手段と、
この判別手段によって前記いずれか一方の条件を満足すると判断された場合に、注目画素よりも値が大きいか、又は小さい所定数以上の周辺画素の値の平均値を算出し、算出した平均値を注目画素の値とする置換手段と
を備えたことを特徴とする固体撮像素子の欠陥補正装置。 - 前記判別手段は、注目画素よりも所定値以上、値の大きい周辺画素が所定数以上存在するか、または注目画素よりも所定値以上、値の小さい周辺画素が所定数以上存在するかの、いずれか一方の条件を満足するか否かを判別することを特徴とする請求項１記載の固体撮像素子の欠陥補正装置。
- 前記所定数は５つであることを特徴とする請求項１又は２記載の固体撮像素子の欠陥補正装置。
- 前記複数の周辺画素は前記注目画素に隣接するとともに、相互に隣接する複数の画素であることを特徴とする請求項１，２又は３記載の固体撮像素子の欠陥補正装置。
- 固体撮像素子により得られた画像における各画素を注目画素とする欠陥補正方法であって、
各注目画素の値とこの注目画素の周辺に位置する複数の周辺画素の値とを比較する工程と、
比較結果に基づき、注目画素よりも値の大きい周辺画素が所定数以上か、または注目画素よりも値の小さい周辺画素が所定数以上かのいずれか一方の条件を満足するか否かを判別する工程と、
前記いずれか一方の条件を満足すると判断した場合に、注目画素よりも値が大きいか、又は小さい所定数以上の周辺画素の値の平均値を注目画素の値とする工程と
からなる特徴とする固体撮像素子の欠陥補正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001147352A JP4403671B2 (ja) | 2001-05-17 | 2001-05-17 | 固体撮像素子の欠陥補正装置および欠陥補正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001147352A JP4403671B2 (ja) | 2001-05-17 | 2001-05-17 | 固体撮像素子の欠陥補正装置および欠陥補正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002344814A JP2002344814A (ja) | 2002-11-29 |
| JP4403671B2 true JP4403671B2 (ja) | 2010-01-27 |
Family
ID=18992852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001147352A Expired - Fee Related JP4403671B2 (ja) | 2001-05-17 | 2001-05-17 | 固体撮像素子の欠陥補正装置および欠陥補正方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4403671B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080273102A1 (en) * | 2007-05-01 | 2008-11-06 | Hoya Corporation | Detection device for defective pixel in photographic device |
| JP2009017475A (ja) * | 2007-07-09 | 2009-01-22 | Elmo Co Ltd | 欠陥画素検出装置、撮像装置、および、欠陥画素の検出方法 |
| JP5311916B2 (ja) * | 2008-07-31 | 2013-10-09 | 株式会社エルモ社 | 撮像装置 |
| US9235876B2 (en) | 2009-03-02 | 2016-01-12 | Flir Systems, Inc. | Row and column noise reduction in thermal images |
| US9843742B2 (en) | 2009-03-02 | 2017-12-12 | Flir Systems, Inc. | Thermal image frame capture using de-aligned sensor array |
| US9208542B2 (en) | 2009-03-02 | 2015-12-08 | Flir Systems, Inc. | Pixel-wise noise reduction in thermal images |
| US9237284B2 (en) * | 2009-03-02 | 2016-01-12 | Flir Systems, Inc. | Systems and methods for processing infrared images |
| US9948872B2 (en) | 2009-03-02 | 2018-04-17 | Flir Systems, Inc. | Monitor and control systems and methods for occupant safety and energy efficiency of structures |
| US9756264B2 (en) | 2009-03-02 | 2017-09-05 | Flir Systems, Inc. | Anomalous pixel detection |
| KR20120114021A (ko) * | 2011-04-06 | 2012-10-16 | 삼성디스플레이 주식회사 | 불량 픽셀 보정 방법 |
| GB2495731A (en) | 2011-10-18 | 2013-04-24 | Selex Galileo Ltd | Infrared detector system having noise filtering based on neighbouring pixels |
| US11113791B2 (en) | 2017-01-03 | 2021-09-07 | Flir Systems, Inc. | Image noise reduction using spectral transforms |
-
2001
- 2001-05-17 JP JP2001147352A patent/JP4403671B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002344814A (ja) | 2002-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4374488B2 (ja) | デモザイク処理及び不良ピクセル補正を組み合わせるためのディジタル画像システム及び方法 | |
| JP4232078B2 (ja) | 不良ピクセルを検出し補正するセンサ装置 | |
| JP4054184B2 (ja) | 欠陥画素補正装置 | |
| US7366347B2 (en) | Edge detecting method | |
| JP4289419B2 (ja) | 撮像装置、欠陥画素補正装置およびこれらにおける処理方法ならびにプログラム | |
| JP5269718B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
| JP5060535B2 (ja) | 画像処理装置 | |
| JP4985403B2 (ja) | 画像処理システムおよび画像処理プログラム | |
| JP4403671B2 (ja) | 固体撮像素子の欠陥補正装置および欠陥補正方法 | |
| KR100986203B1 (ko) | 촬상 장치 및 이에 이용하는 결함 화소 보정 방법 | |
| JP2005123946A (ja) | 欠陥画素検出方法、検出装置および撮像装置 | |
| US7433547B2 (en) | Image signal processing apparatus | |
| JP4985124B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP4679174B2 (ja) | 画像処理装置およびこの画像処理装置を備えたデジタルカメラ | |
| JP5262953B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4331120B2 (ja) | 欠陥画素検出方法 | |
| JP4166974B2 (ja) | 画素キズ検出・補正装置 | |
| JP4380399B2 (ja) | 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム | |
| JP2006166194A (ja) | 画素欠陥検出回路及び画素欠陥検出方法 | |
| JP2009232200A (ja) | 撮像素子の画素欠陥補正方法 | |
| JP2008028475A (ja) | 画像処理装置、画像処理プログラム、画像処理プログラムを記録する記録媒体、画像処理方法 | |
| JP2011114473A (ja) | 画素欠陥補正装置 | |
| JP2008148115A (ja) | 方向検出を用いた撮像デバイスの画像欠陥補正システム | |
| JP2002271806A (ja) | Ｃｃｄ撮像素子の画素欠陥信号補正回路 | |
| JP4586431B2 (ja) | 撮像装置及び撮像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070314 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091013 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091026 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131113 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |