JP3257131B2 - 固体撮像装置の自動欠陥検出装置及び固体撮像装置 - Google Patents

固体撮像装置の自動欠陥検出装置及び固体撮像装置

Info

Publication number
JP3257131B2
JP3257131B2 JP07224993A JP7224993A JP3257131B2 JP 3257131 B2 JP3257131 B2 JP 3257131B2 JP 07224993 A JP07224993 A JP 07224993A JP 7224993 A JP7224993 A JP 7224993A JP 3257131 B2 JP3257131 B2 JP 3257131B2
Authority
JP
Japan
Prior art keywords
pixel
solid
state imaging
imaging device
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07224993A
Other languages
English (en)
Other versions
JPH06284346A (ja
Inventor
浩史 森
雅之 志村
栄治 町島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP07224993A priority Critical patent/JP3257131B2/ja
Publication of JPH06284346A publication Critical patent/JPH06284346A/ja
Application granted granted Critical
Publication of JP3257131B2 publication Critical patent/JP3257131B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、CCD等の固体撮像素
子の局部的な結晶欠陥を自動的に検出できるようにした
固体撮像装置の自動欠陥検出装置及び固体撮像装置に関
する。
【0002】
【従来の技術】一般にCCD等の半導体で形成した固体
撮像素子では、半導体の局部的な結晶欠陥等によって過
剰電荷が発生する欠陥画素が生じることがあり、このよ
うな場合、その欠陥画素が画質を劣化させる原因となる
ことが知られている。従来よりこの欠陥画素に起因する
画質劣化をなくすために、CCD等を用いた固体撮像装
置においては、この欠陥画素を検出して、欠陥補正が行
われている。
【0003】先に自動欠陥検出機能を有する固体撮像装
置として図3に示す如きものが提案されている。この図
3につき説明するに、この図3において、1は撮像レン
ズを示し、この撮像レンズ1は被写体からの入射光を光
学フィルタ2を介してCCD固体撮像素子3の撮像面に
導く如くなす。
【0004】このCCD固体撮像素子3としては例えば
図4に示す如き補色モザイク配列のカラーフィルタを有
するカラーCCD固体撮像素子が用いられる。この補色
モザイク配列のカラーフィルタはMg(マゼンタ),G
(グリーン),Ye(イエロー),Cy(シアン)の
〔水平走査方向2列〕×〔垂直走査方向4行〕の繰り返
しパターン構成となされたものである。
【0005】このカラーCCD固体撮像素子3は電荷転
送方式として例えばインターライン転送方式を採用して
いる。このカラーCCD固体撮像素子3の各画素の信号
電荷の読み出しと、垂直及び水平転送との各駆動制御
は、タイミング発生回路4で発生される各種タイミング
信号に基づいて、ドライブ回路5によって行われる。こ
のカラーCCD固体撮像素子3の撮像出力信号(CCD
出力信号)はサンプルホールド回路6でサンプルホール
ドされ、かつA−D変換器7でディジタル化された後、
欠陥検出回路8に供給される。
【0006】このカラーCCD固体撮像素子3から得ら
れる空間的配列を図5に示す。ここでは補色モザイク配
列のカラーCCD固体撮像素子をフィールド蓄積させた
ときの1フィールドの信号を例として示し、簡略化のた
め、各々の画素信号を以下の様に定義する。
【0007】 (Mg+Ye)=A (G+Cy)=B (G+Ye)=C (Mg+Cy)=D
【0008】従って、nライン目ではA11,B12,A13
‥‥‥という組合せの画素信号が点順次で得られる。n
+1ライン目ではC21,D22,C23‥‥‥という組合せ
の画素信号が点順次で得られ、更にn+2ライン目では
31,B32,A33‥‥‥と再びnライン目と同じ色の組
合せの画像信号が点順次で得られる。順次上述が繰り返
される。
【0009】輝度変化が少ない被写体を撮像した場合、
各画素信号間には局所的にほぼ次式が成立する。 A11≒A13≒A15≒‥‥‥,A13≒A3312≒B14≒B16≒‥‥‥,B14≒B3421≒C23≒C25≒‥‥‥,C23≒C4322≒D24≒D26≒‥‥‥,D24≒D44 即ち、隣接する同色画素間の出力信号のレベル差は小さ
い。
【0010】ここで、この欠陥検出回路8につき説明す
るに、図5に斜線で示す如く画素信号B34に該当する画
素が欠陥画素であったとする。この場合隣接する同色画
素信号間の出力レベル差が生じ、B32≠B34≠B36,B
14≠B34となる。この欠陥検出回路8においてはこの出
力信号の空間的相関性に着目し、欠陥画素を検出する。
【0011】ここで画素信号B34に該当する画素を判定
画素とすると、この隣接する同色画素信号は画素信号B
32,B36,B14及びB54の4画素信号である。画素信号
32とB34とのレベル差を例にとって考えると、輝度変
化の少ない画面を撮像した場合は隣接する画素であるた
めB32≒B34が成立するはずであるが、画素信号B34
該当する画素が欠陥画素の場合B32≠B34となるため、
この画素信号B32とB 34とのレベル差を測定し、あるし
きい値以上のときは、画素信号B34に該当する画素が欠
陥画素であると推定できる。
【0012】この欠陥検出回路8よりのCCD出力信号
を信号処理回路9に供給し、この信号処理回路9で欠陥
補正等各種の信号処理を施して、出力端子10に所定の
カラービデオ信号を得る如くなされている。
【0013】
【発明が解決しようとする課題】然しながら画素信号B
34に該当する画素が欠陥でなくとも図6に示す如く画素
信号B32とB34との間に画像のエッジ成分が入力される
とやはりB32≠B34となってしまい、この画素信号B34
に該当する画素を欠陥画素と誤検出してしまうこととな
る不都合がある。
【0014】従って同一フィールド内で、上述の如く欠
陥画素を検出するときには更に周辺の画素信号B36,B
14及びB54とこの画素信号B34との間の各々のレベル差
を判定し、図6に示すような影響を排除しなければなら
ない。
【0015】また判定画素信号の色はBであるが、周辺
にあるB以外の色の画素信号例えばD22とD24とのレベ
ル差及びD42とD44とのレベル差を検出し、このB32
34との間にエッジ成分が存在するか否かのエッジ検出
を行うなどの必要性を生じてくる不都合があった。
【0016】同様にB34とB36との間のエッジ検出には
24とD26とのレベル差判定及びD 44とD46とのレベル
差判定が必要であり、またB34とB14との間のエッジ検
出にはA13とA33とのレベル差判定及びA15とA35との
レベル差判定が必要である。これらのレベル差情報から
画素信号B34に該当する画素を欠陥画素であるか否かの
判定を行うためにはあらゆる入力画像のパターンを想定
して、非常に複雑な検出アルゴリズムが必要となる不都
合があった。
【0017】本発明は斯る点に鑑み比較的簡単な構成で
精度良く欠陥画素を検出することができるようにするこ
とを目的とする。
【0018】
【課題を解決するための手段】本発明固体撮像装置の自
動欠陥検出装置は例えば図1、図2に示す如く被写体を
撮像した状態で、カラーフィルタを有する固体撮像素子
3の第1画素よりの第1画素信号とこの第1画素の周辺
のこの第1の画素と同色の第2画素よりの第2画素信号
とのレベル差を検出するレベル差検出回路21と、この
レベル差検出回路21の出力信号と所定のしきい値Vr
とを比較するコンパレータ22と、このコンパレータ2
2の比較結果を複数フィールド分記憶するメモリ11と
を有し、このメモリ11に記憶された複数フィールド分
の比較結果により欠陥画素を断定するようにしたもので
ある。
【0019】本発明固体撮像装置の自動欠陥検出装置は
例えば図1及び図4に示す如く上述において、このカラ
ーフィルタは補色モザイク配列のカラーフィルタである
ものである。
【0020】本発明固体撮像装置の自動欠陥検出装置は
例えば図1及び図4に示す如く、上述において、補色モ
ザイク配列のカラーフィルタはMg(マゼンタ),G
(グリーン),Ye(イエロー),Cy(シアン)の
〔水平走査方向2列〕×〔垂直走査方向4行〕の繰り返
しパターンで構成されているものである。
【0021】本発明固体撮像装置の自動欠陥検出装置は
例えば図1及び図5に示す如く、上述において、奇数ラ
インはMg(マゼンタ)及びYe(イエロー)の混合し
た画素信号AとG(グリーン)及びCy(シアン)の混
合した画素信号Bとの点順次の信号であると共に偶数ラ
インはG(グリーン)及びYe(イエロー)の混合した
画素信号CとMg(マゼンタ)及びCy(シアン)の混
合した画素信号Dとの点順次の信号であるものである。
【0022】
【作用】本発明によれば、メモリ11にレベル差検出回
路21の出力信号としきい値Vrとの比較結果を複数フ
ィールドに亘って記憶し、このメモリ11の記憶情報に
より欠陥画素を断定するようにしているので、エッジ成
分があっても、欠陥画素を精度良く検出することができ
る。
【0023】
【実施例】以下図面を参照して、本発明固体撮像装置の
自動欠陥検出装置及び固体撮像装置の一実施例につき説
明しよう。この図1において、図3に対応する部分には
同一符号を付し、その詳細説明は省略する。本例におい
ても、撮像レンズ1よりの被写体像を光学フィルタ2を
介して、CCD固体撮像素子3の撮像面に導く如くな
す。
【0024】このCCD固体撮像素子3としては例えば
図4に示す如き補色モザイク配列のカラーフィルタを有
するカラーCCD固体撮像素子が用いられている。この
補色モザイク配列のカラーフィルタはMg(マゼン
タ),G(グリーン),Ye(イエロー),Cy(シア
ン)の〔水平走査方向2列〕×〔垂直走査方向4行〕の
繰り返しパターン構成となされたものである。
【0025】このカラーCCD固体撮像素子3は電荷転
送方式として例えばインターライン転送方式を採用して
いる。このカラーCCD固体撮像素子3の各画素の信号
電荷の読み出しと、垂直及び水平転送との各駆動制御
は、タイミング発生回路4で発生される各種タイミング
信号に基づいて、ドライブ回路5によって行われる。
【0026】このカラーCCD固体撮像素子3の撮像出
力信号(CCD出力信号)はサンプルホールド回路6で
サンプルホールドされ、かつA−D変換器7でディジタ
ル化された後、欠陥検出回路8aに供給される。
【0027】このカラーCCD固体撮像素子3から得ら
れる空間的配列は図5に示す如くであり、ここでは補色
モザイク配列のカラーCCD固体撮像素子をフィールド
蓄積させたときの1フィールドの信号を例として示し、
簡略化のため、前述のように、 (Mg+Ye)=A (G+Cy)=B (G+Ye)=C (Mg+Cy)=D と定義する。
【0028】従って、nライン目ではA11,B12,A13
‥‥‥という組合せの画素信号が点順次で得られる。n
+1ライン目ではC21,D22,C23‥‥‥という組合せ
の画素信号が点順次で得られ、更にn+2ライン目では
31,B32,A33‥‥‥と再びnライン目と同じ色の組
合せの画素信号が点順次で得られる。順次上述が繰り返
される。
【0029】輝度変化が少ない被写体を撮像した場合、
各画素信号間には局所的には上述と同様にほぼ次式が成
立する。
【0030】 A11≒A13≒A15≒‥‥‥,A13≒A3312≒B14≒B16≒‥‥‥,B14≒B3421≒C23≒C25≒‥‥‥,C23≒C4322≒D24≒D26≒‥‥‥,D24≒D44
【0031】即ち、隣接する同色画素間の出力信号のレ
ベル差は小さい。
【0032】本例による欠陥検出回路8aは図2に示す
如く、入力端子21aより供給される隣接する同色画素
信号のレベル差をレベル差検出回路21で検出し、この
レベル差がしきい値Vr以上であるかどうかをコンパレ
ータ22で判断し、このコンパレータ22の出力端子2
2aに得られるレベル差がしきい値Vr以上のときはこ
の画素信号に反応する画素を欠陥画素と判定してそのア
ドレス情報をメモリ11に記憶する如くする。
【0033】このメモリ11としては数フィールド例え
ば6フィールドに亘る欠陥画素アドレス情報を順次記憶
できる如くする。このメモリ11としてはフィールドメ
モリ又はアドレスデータのみを記憶するRAM等が使用
できる。
【0034】例えば図5に斜線で示す如く、画素信号B
34に該当する画素が欠陥画素であったとする。この場合
隣接する同色画素信号間のレベル差が生じ、B32≠B34
≠B 36となる。この同色画素信号間のレベル差がしきい
値Vr以上のときに、このB 34のアドレス情報をメモリ
11に記憶する。
【0035】本例においては上述した数フィールド例え
ば6フィールドに亘って、この欠陥画素のアドレス情報
をメモリ11に記憶する如くする。また、このメモリ1
1にこの数フィールド例えば6フィールドに亘って、常
に欠陥画素と判定された画素のみを欠陥画素と断定する
アルゴリズムを設ける如くする。
【0036】この欠陥検出回路8aよりのCCD出力信
号を信号処理回路9に供給し、この信号処理回路9で欠
陥補正等各種の信号処理を施して、出力端子10に所定
のカラービデオ信号を得る如くする。
【0037】本例によれば欠陥画素を検出するのに隣接
する同色画素信号のレベル差を得、このレベル差がしき
い値Vr以上のときに、この画素信号に対応する画素の
各フィールドのアドレス情報をメモリ11に記憶してい
き、数フィールド例えば6フィールドに亘って、常に欠
陥画素と判定された画素のみを欠陥画素と断定するよう
にしたので、時間積分効果により、動画像のエッジ成分
を排除することができる。
【0038】従って本例によれば、誤検出の危険性が大
幅に減り、検出精度が高くなる。また同一フィールド内
のみで処理する場合に比し、欠陥検出アルゴリズムが簡
略化する利益がある。
【0039】また上述実施例においては欠陥検出回路8
aにおける、隣接同色画素信号のレベル差を比較するコ
ンパレータ22のしきい値Vrを比較的下げておき、数
フィールドに亘って常に欠陥画素と判定された画素を欠
陥画素と断定したが、このしきい値Vrを上げておき、
エッジ成分では間違っても誤検出しない状態としてお
き、数フィールドに亘って1回でも欠陥画素と判定され
た画素を欠陥画素と断定するようにしても上述と同様の
作用効果が得られないことは容易に理解できよう。
【0040】尚本発明は上述実施例に限ることなく本発
明の要旨を逸脱することなく、その他種々の構成が取り
得ることは勿論である。
【0041】
【発明の効果】本発明によればメモリ11にレベル差検
出回路の出力信号としきい値Vrとの比較結果を複数フ
ィールドに亘って記憶し、このメモリ11の記憶情報に
より欠陥画素を断定するようにしたので、エッジ成分が
あっても、欠陥画素を、簡単な構成で精度良く検出でき
る利益がある。
【図面の簡単な説明】
【図1】本発明固体撮像装置の自動欠陥検出装置の一実
施例を示すブロック図である。
【図2】図1の要部の例を示すブロック図である。
【図3】従来の固体撮像装置の自動欠陥検出装置の例を
示すブロック図である。
【図4】補色モザイク配列のカラーフィルタの例を示す
線図である。
【図5】画素信号の空間的配列の例を示す線図である。
【図6】本発明の説明に供する線図である。
【符号の説明】
1 撮像レンズ 3 CCD固体撮像素子 8a 欠陥検出回路 9 信号処理回路 11 メモリ 21 レベル差検出回路 22 コンパレータ
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭61−187467(JP,A) 特開 昭61−261974(JP,A) 特開 平4−115785(JP,A) 特開 平6−22322(JP,A) 特開 平6−30425(JP,A) 特開 平6−22226(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/335 H04N 9/07

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 被写体を撮像した状態で、カラーフィル
    タを有する固体撮像素子の第1画素よりの第1画素信号
    と前記第1画素の周辺の前記第1画素と同色の第2画素
    よりの第2画素信号とのレベル差を検出するレベル差検
    出回路と、 前記レベル差検出回路の出力信号と所定のしきい値とを
    比較するコンパレータと、 前記コンパレータの比較結果を複数フィールド分記憶す
    るメモリとを有し、 前記メモリに記憶された複数フィールド分の比較結果に
    より欠陥画素を断定するようにしたことを特徴とする固
    体撮像装置の自動欠陥検出装置。
  2. 【請求項2】 請求項1記載の固体撮像装置の自動欠陥
    検出装置において、前記カラーフィルタは補色モザイク
    配列のカラーフィルタであることを特徴とする固体撮像
    装置の自動欠陥検出装置。
  3. 【請求項3】 請求項2記載の固体撮像装置の自動欠陥
    検出装置において、 前記色モザイク配列のカラーフィルタはMg(マゼン
    タ),G(グリーン),Ye(イエロー),Cy(シア
    ン)の〔水平走査方向2列〕×〔垂直走査方向4行〕の
    繰り返しパターンで構成されていることを特徴とする固
    体撮像装置の自動欠陥検出装置。
  4. 【請求項4】 請求項3記載の固体撮像装置の自動欠陥
    検出装置において、奇数ラインはMg(マゼンタ)及び
    Ye(イエロー)の混合した画素信号とG(グリーン)
    及びCy(シアン)の混合した画素信号との点順次の信
    号であると共に偶数ラインはG(グリーン)及びYe
    (イエロー)の混合した画素信号とMg(マゼンタ)及
    びCy(シアン)の混合した画素信号との点順次の信号
    であることを特徴とする固体撮像装置の自動欠陥検出装
    置。
  5. 【請求項5】 カラーフィルタを有する固体撮像素子
    と、 被写体を撮像した状態で、該固体撮像素子の第1画素よ
    りの第1画素信号と前記第1画素の周辺の前記第1画素
    と同色の第2画素よりの第2画素信号とのレベル差を検
    出するレベル差検出回路と前記レベル差検出回路の出力
    信号と所定のしきい値とを比較するコンパレータと前記
    コンパレータの比較結果を複数フィールド分記憶するメ
    モリとを有し前記メモリに記憶された複数フィールド分
    の比較結果により欠陥画素を断定するようにした自動欠
    陥検出装置と、 を有することを特徴とする固体撮像装置。
JP07224993A 1993-03-30 1993-03-30 固体撮像装置の自動欠陥検出装置及び固体撮像装置 Expired - Fee Related JP3257131B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07224993A JP3257131B2 (ja) 1993-03-30 1993-03-30 固体撮像装置の自動欠陥検出装置及び固体撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07224993A JP3257131B2 (ja) 1993-03-30 1993-03-30 固体撮像装置の自動欠陥検出装置及び固体撮像装置

Publications (2)

Publication Number Publication Date
JPH06284346A JPH06284346A (ja) 1994-10-07
JP3257131B2 true JP3257131B2 (ja) 2002-02-18

Family

ID=13483840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07224993A Expired - Fee Related JP3257131B2 (ja) 1993-03-30 1993-03-30 固体撮像装置の自動欠陥検出装置及び固体撮像装置

Country Status (1)

Country Link
JP (1) JP3257131B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6579388B2 (en) 2001-06-28 2003-06-17 Haynes International, Inc. Aging treatment for Ni-Cr-Mo alloys

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3773773B2 (ja) * 1999-10-27 2006-05-10 三洋電機株式会社 画像信号処理装置及び画素欠陥の検出方法
JP2002010274A (ja) 2000-06-20 2002-01-11 Olympus Optical Co Ltd カラー画像処理装置
JP2003023570A (ja) * 2001-07-06 2003-01-24 Sanyo Electric Co Ltd 画像データの修正方法及び画像信号処理装置
JP2004320128A (ja) 2003-04-11 2004-11-11 Mega Chips Corp 欠陥画素補正装置
JP2005184391A (ja) 2003-12-18 2005-07-07 Ricoh Co Ltd 撮像装置およびその異常検出方法
JP2005354670A (ja) * 2004-05-13 2005-12-22 Matsushita Electric Ind Co Ltd 画像処理方法およびカメラシステム
KR100779312B1 (ko) * 2005-09-27 2007-11-23 샤프 가부시키가이샤 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈,화상 처리 장치, 디지털 화상 품질 테스터, 및 결함 검출방법
JP4657869B2 (ja) 2005-09-27 2011-03-23 シャープ株式会社 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体
US7750956B2 (en) * 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6579388B2 (en) 2001-06-28 2003-06-17 Haynes International, Inc. Aging treatment for Ni-Cr-Mo alloys
US6610155B2 (en) 2001-06-28 2003-08-26 Haynes International, Inc. Aging treatment for Ni-Cr-Mo alloys

Also Published As

Publication number Publication date
JPH06284346A (ja) 1994-10-07

Similar Documents

Publication Publication Date Title
US7202894B2 (en) Method and apparatus for real time identification and correction of pixel defects for image sensor arrays
JP3984936B2 (ja) 撮像装置および撮像方法
US20080278609A1 (en) Imaging apparatus, defective pixel correcting apparatus, processing method in the apparatuses, and program
US7777791B2 (en) Defective pixel correction device
US20060233439A1 (en) Method and apparatus for processing a Bayer-pattern color digital image signal
JP3257131B2 (ja) 固体撮像装置の自動欠陥検出装置及び固体撮像装置
JP3544304B2 (ja) 画素欠陥補正装置及び画素欠陥補正方法
KR100602983B1 (ko) 신호 처리 장치
JP4367910B2 (ja) 固体撮像装置
JPH07288824A (ja) 輝度信号生成装置
JP3696069B2 (ja) 固体撮像素子の欠陥画素検出方法および装置
JP3331666B2 (ja) 固体撮像装置及び固体撮像装置の欠陥検出補正方法
JP3156281B2 (ja) 固体撮像装置
JP3156282B2 (ja) 固体撮像装置
JP4394470B2 (ja) 撮像装置
JP2002101342A (ja) 撮像素子の欠陥画素検出方法
JP3990059B2 (ja) 撮像デバイスの欠陥画素補正装置および方法
JP3360346B2 (ja) 固体撮像装置
JP3857343B2 (ja) カメラ装置
JP4088869B2 (ja) 固体撮像素子の欠陥画素検出装置及び固体撮像装置
JP4481764B2 (ja) 撮像素子から出力される信号の補正方法およびそれを用いた画像処理装置
JP3361077B2 (ja) 固体撮像装置
JP2010016450A (ja) 撮像装置
JP2005168057A (ja) 固体撮像素子の画素欠陥補正方法および装置
JP2005318642A (ja) 固体撮像素子の欠陥画素検出方法および装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071207

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081207

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091207

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091207

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121207

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees