JPH109835A - 表面欠陥検査装置 - Google Patents

表面欠陥検査装置

Info

Publication number
JPH109835A
JPH109835A JP8165485A JP16548596A JPH109835A JP H109835 A JPH109835 A JP H109835A JP 8165485 A JP8165485 A JP 8165485A JP 16548596 A JP16548596 A JP 16548596A JP H109835 A JPH109835 A JP H109835A
Authority
JP
Japan
Prior art keywords
defect
expansion
processing
area
contraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8165485A
Other languages
English (en)
Other versions
JP3159063B2 (ja
Inventor
Masanori Imanishi
正則 今西
Yutaka Suzuki
裕 鈴木
Masabumi Tsuji
正文 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP16548596A priority Critical patent/JP3159063B2/ja
Publication of JPH109835A publication Critical patent/JPH109835A/ja
Application granted granted Critical
Publication of JP3159063B2 publication Critical patent/JP3159063B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 表面欠陥検査装置の検査精度の向上を図るこ
と。 【解決手段】 被検査面100に明暗パターンを形成す
る照明手段101と、被検査面100を撮像する撮像手
段102と、撮像手段102で得られた画像データにお
ける周波数成分のうち高い周波数領域で、かつレベルが
所定値以上の成分のみを欠陥候補領域として抽出する画
像処理手段103と、欠陥候補領域の各々の面積を算出
し、所定の条件を満たす面積の欠陥候補領域のみを膨張
処理するか、もしくは膨張、収縮の順で処理する膨張/
収縮処理手段104と、膨張/収縮処理後の欠陥候補領
域の面積を算出し、その面積に基づいて欠陥候補領域が
欠陥か否かを判定する欠陥判定手段105とを設けた。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】 本発明は、被検査物体の表
面欠陥、例えば自動車ボディの塗装面を検査する装置に
関する。
【0002】
【従来の技術】 従来の表面欠陥検査装置としては、例
えば特開平2−73139号公報などに示されたものが
ある。これらは、被検査面に所定の明暗縞(ストライ
プ)模様を映し出し、被検査面上に凹凸などの欠陥があ
った場合、それによる明度(輝度)差や明度(輝度)変
化をもった受光画像を微分することにより、被検査面の
表面の欠陥を検出するという方法を用いたものである。
【0003】
【発明が解決しようとする課題】 しかし、上記のごと
き従来の表面欠陥検査装置においては、次のごとき問題
があった。すなわち、自動車ボディの塗装において、通
常、表面欠陥と呼ばれるものは、ゴミ等が付着した上に
塗装が行われた結果生じる塗装表面の凸部であり、例え
ば直径が0.5mm〜2mm程度で厚さが数十μm程度のも
のである。この程度の凸部は直径が小さいのに高さ(厚
さ)が比較的大きいため、光の乱反射角が大きくなり、
目につきやすい。これに対して欠陥とならない凹凸も存
在する。すなわち、塗料溶剤の蒸発する過程において発
生する渦対流により、塗料の濃度が厳密には一定でなく
なるので、塗膜の厚さには極めて薄い(低い)凹凸が周
期的に発生する。この凹凸は、例えば山と山の間隔が1
〜10mm程度で、凹凸の高さが数μm程度である。この
ような極めて薄い凹凸は通常では気がつかない程度のも
のであり、欠陥とはならない。しかし、光の加減等では
“ゆず”やオレンジの表面のように見えることがあるの
で、いわゆる“ゆず肌”もしくは“オレンジ肌”と呼ば
れるものである。上記のごとき従来例においては、輝度
変化を強調して検出するために、上記の“ゆず肌”のよ
うな欠陥とはならない極めて薄い凹凸も検出し、これを
欠陥と誤判断するおそれがある。このように、従来技術
においては、いわゆる“ゆず肌”のような欠陥とはなら
ない極めて薄い凹凸を欠陥と誤検出するおそれがあると
いう問題があった。本発明は上記のごとき従来技術の問
題を解決するためになされたものであり、いわゆる“ゆ
ず肌”のような欠陥とならない極めて薄い凹凸を欠陥と
誤検出することなく、より精密な欠陥検出を行うことの
できる表面欠陥検査装置を提供することを目的とする。
【0004】
【課題を解決するための手段】 上記の目的を達成する
ため、本発明においては特許請求の範囲に記載するよう
に構成している。図1は、本発明の請求項1に相当する
ものである。図1において、100は被検査面であり、
例えば塗装面である。また、101は被検査面に所定の
明暗パターンを映し出す照明手段である。また、102
は被検査面101を撮像して上記明暗パターンを電気信
号の画像データに変換する撮像手段であり、例えばCC
Dカメラなどのビデオカメラである。また、103は上
記撮像手段102によって得られた画像データにおける
空間周波数成分のうち高い周波数成分で、かつレベルが
所定値以上の成分のみを欠陥候補領域として抽出する画
像処理手段である。また、104は上記欠陥候補領域の
みを膨張処理するか、もしくは所定の手順で膨張および
収縮処理する膨張/収縮手段である。また、105は上
記膨張/収縮処理後の欠陥候補領域の面積を算出し、そ
の面積に基づいて欠陥候補領域が欠陥か否かを判定する
欠陥判定手段である。これら103、104、105の
部分は、例えばコンピュータで構成される。なお、この
発明の実施の形態である実施の形態1を図2〜5に示
す。また、請求項2に記載の発明は、上記膨張/収縮手
段104は、所定の条件を満たす面積の欠陥候補領域の
みを膨張処理するか、もしくは膨張、収縮の順で処理し
た後、残りの欠陥候補領域を膨張処理するか、もしくは
膨張、収縮の順で処理するものである。上記の発明の実
施の形態は、後記図6,7で説明する実施の形態2に相
当する。また、請求項3に記載の発明は、上記膨張/収
縮手段104は、上記欠陥候補領域を所定の方向に膨張
処理するか、もしくは膨張、収縮の順で処理するもので
ある。上記の発明の実施の形態は、後記図8,9で説明
する実施の形態3に相当する。また、請求項4に記載の
発明は、上記被検査面100もしくは撮像手段102お
よび照明手段101のいずれか一方を移動させながら、
上記画像処理手段103、膨張/収縮手段104および
欠陥判定手段105で上記所定の処理を行い欠陥を検出
するものである。
【0005】
【作用】 上記のように、請求項1に記載の発明におい
ては、照明手段によって被検査面に所定の明暗パターン
を映し出し、それを撮像手段で撮像して上記明暗パター
ンを電気信号の画像パターンに変換する。次に、画像処
理手段では、上記明暗パターンの画像データにおける周
波数成分のうち高い周波数成分で、かつレベルが所定値
以上の成分のみを欠陥の候補として抽出する。上記の画
像データにおける高周波成分とは凹凸状の欠陥などとい
った輝度変化のある部分であり、輝度レベルが所定値以
上の成分のみを抽出することにより、欠陥と思われる候
補となる領域を抽出することができる。次に膨張/収縮
手段では、明暗パターンの境界付近に発生するゆず肌に
よる孤立点と明暗パターン境界領域とを一体化すること
ができる。次に、欠陥判定手段では、本物の欠陥と明暗
パターン境界領域とを区別し欠陥のみを検出することが
できる。次に、請求項2記載の発明では、請求項1と同
様に、膨張/収縮手段において明暗パターンの境界付近
に発生するゆず肌による孤立点と明暗パターン境界領域
とを一体化することができる。次に、請求項3記載の発
明では、請求項1および2と同様に、膨張/収縮手段に
おいて明暗パターンの境界付近に発生するゆず肌による
孤立点と明暗パターン境界領域とを一体化することがで
きる。次に、請求項4記載の発明では、欠陥が明暗パタ
ーンに境界に隠れずに境界線から離れた位置に映るよう
にしたもので、欠陥の見逃しを防ぐことができる。ま
た、請求項4に記載の発明において被検査面全体を検査
するには、被検査物体もしくは照明手段と撮像手段を順
次移動させ、カメラの視野が被検査面全体に走査するよ
うに構成する。
【0006】
【発明の実施の形態】 以下、この発明を図面に基づい
て説明する。図2〜図5は、実施の形態1を示す図であ
る。図2において、1は被検査面6に所定の明暗パター
ンを映し出す照明装置である。2は被検査面6を撮像し
て上記明暗パターンを電気信号の画像データに変換する
ビデオカメラである。図2ではカメラ2の視野内に欠陥
7があることを示している。3は上記ビデオカメラ2に
よって得られた画像データを処理する画像処理装置であ
る。4は画像処理装置3で処理して得られる欠陥候補領
域に対して所定の処理および膨張/収縮処理を行う計算
機である。5は計算機4の結果に基づいて欠陥検出処理
を行う計算機である。
【0007】次に、欠陥検出手順の一例を図3および図
4に基づいて説明する。図2のように、照明装置1でス
トライプパターンを被検査面6に照射し、その反射光を
モノクロのビデオカメラ2で撮像すると、図3(イ)の
ような濃淡画像(原画像)が得られる。凹凸状の欠陥7
では光が乱反射するため、図3(イ)のように欠陥7は
周囲とは異なる明るさ(輝度)の領域として映る。初め
に画像処理装置3は、原画像を入力する(ステップS
1)。ここで画像の横方向をx、縦方向をyとする。次
のステップS2では、原画像に対して微分等のエッジ検
出処理を行い、輝度変化のある領域を抽出する。ステッ
プS3では、ステップS2で得られたエッジ検出画像を
所定の輝度レベルのしきい値で2値化して、例えば図3
(ロ)に示すような輝度変化のある領域が白、それ以外
が黒となる2値画像を得る。よって欠陥7および明暗パ
ターンの境界線およびゆず肌により輝度変化の発生した
領域が白領域として抽出されるが、この時点ではどの白
領域が欠陥かわからないので、この領域を欠陥候補領域
とする。続いて、ステップS4では、画像の白領域つま
り欠陥候補領域に対してラベリング(ラベル付け)を行
う。次に、ステップS5では、計算機4により上記欠陥
候補領域の各々の面積Sを算出し、欠陥候補領域のラベ
ルに対する面積Sを記憶する。続いてすべてのラベルつ
まり欠陥候補領域に対して所定の面積Srefを基準と
した比較を行い(ステップS20)、S≧Srefなら
ばステップS6にて膨張、収縮の順で処理を行う。図の
ように欠陥7やゆず肌に比べて画像y方向を横切る明暗
パターン境界線の面積の方が明らかに大きい。よって、
検出すべき欠陥および明暗パターンの面積をあらかじめ
測定しておき、その中間的な値をSrefとすれば、S
≧Srefを満たす明暗パターン境界線のみが膨張/収
縮処理されるので、明暗パターン境界線近傍に発生する
ゆず肌が一体化する(図3(ハ))。ここで膨張処理後
に収縮処理を行うのは、欠陥が明暗パターン境界線の近
くにあり、膨張処理で欠陥が明暗パターン境界線と一体
化してしまった場合、収縮処理で再び分離させるためで
ある。よって、この収縮処理は、ゆず肌と明暗パターン
境界線とを一体化させるという本発明の本質的な処理で
はないので省略してもよい。
【0008】ここで膨張/収縮処理について説明する。
膨張処理とは、図5のように、ある画素eを注目画素と
して、その8近傍画素a〜d、f〜iの中に少なくとも
1つの白画素画ある場合、注目画素eの輝度値を白にす
るものである。このような処理を画像全体に対して走査
しながら実行すると、画像中の白領域が周囲に1画素づ
つ膨張することになる。収縮処理は上記膨張処理とは逆
に、8近傍画素の中に少なくとも1つの黒画素がある場
合、注目画素eの輝度値を黒にするもので、画像の白領
域が内側に1画素づつ収縮することになる。なお、上記
膨張/収縮処理は、8近傍を処理する一般的なものであ
るが、被検査面6や欠陥7の状態に応じて膨張/収縮処
理のサイズ、つまり近傍の取り方等を変えても何ら問題
はない。
【0009】次に計算機5では、上記膨張/収縮処理後
の各欠陥候補領域の面積を再度算出する。この結果、面
積の大きい領域はゆず肌が一体化した明暗パターン境界
線、面積の小さい孤立点が欠陥となるため、例えば上記
Srefを判定値してSref以下の領域を欠陥と判定
する面積判定処理を行うことで欠陥7を検出することが
できる(ステップS7)(図3(ニ))。本発明の他の
実施の形態としては、上記膨張/収縮処理(ステップS
6)での条件を、S≦Srefとしても、面積の小さい
ゆず肌領域が膨張し明暗パターン境界線と一体化するの
で、前記実施例と同様な効果が得られる。なお、上記処
理手順、判定方法等は本実施例に限定されるものではな
い。
【0010】次に、請求項2記載の発明の実施形態であ
る実施の形態2を図6,図7を用いて説明する。本実施
の形態2は、所定の条件を満たす欠陥候補領域を膨張/
収縮処理し、その後、残りの欠陥候補領域を処理するも
のである。本実施の形態2では図6のように、はじめに
Srefを基準にS≧Srefを満たす大きい面積の領
域を膨張/収縮処理して(ステップS6)、その後Sr
efより小さい領域を処理する(ステップS7)。ここ
で、すべての領域を同時に膨張処理すると、欠陥7と明
暗パターン境界線とがより一体化しやすくなるが、本実
施例のように膨張/収縮処理をステップS6,ステップ
S7とに分けて処理することにより、ゆず肌のみが明暗
パターン境界線と一体化して、面積判定(ステップS
8)にてより確実に欠陥のみを検出することができる。
また図7(ロ)のように2値画像(ステップS3)の時
点で、欠陥7の白領域の一部分が欠けて映った場合で
も、面積の小さい領域も膨張処理されるため、図7
(ニ)に示す画像(ステップS7の処理)のように欠陥
7は欠けた部分のない良好な形状となる。なお、上記処
理手順等は本実施の形態に限定されるものではない。
【0011】次に請求項3の発明の実施の形態である実
施の形態3を図8、図9を用いて説明する。本実施の形
態3は、欠陥候補領域を所定の方向に膨張/収縮処理す
るものである。図8(a)のように検出不要であるゆず
肌の発生しやすい明暗パターン境界線は、画像y方向に
横切っている。よって画像y方向に膨張処理を行うよう
にすれば、欠陥は分離したままで、ゆず肌のみを明暗パ
ターン境界線に一体化させることができる(図8
(b))。例えば図9のように、注目画素をcとして画
像y方向の4近傍に対して膨張/収縮処理することで実
現できる。なお、上記処理手順等は本実施例に限定され
るものではない。
【0012】次に、請求項4記載の発明の実の形態であ
る実施の形態4について説明する。本実施の形態4は、
欠陥7が明暗パターン境界線上にある場合の見逃しを防
ぐためには、被検査面6もしくはビデオカメラ2および
照明装置1のいずれか一方を移動させながら上記一連の
欠陥検出処理を連続して実行し、欠陥7を検出するもの
である。例えば、図2において、照明装置1、ビデオカ
メラ2を固定とし、被検査物体を搬送コンベヤ等を用い
て(図示せず)移動させる。この移動速度に比べて上記
欠陥検出処理時間が十分速ければ、欠陥7がビデオカメ
ラ2の視野の中を通過する間に上記欠陥検出処理を複数
実行することができる。したがって、ある時刻の画像に
おいて欠陥7が明暗パターン境界線に隠れても、欠陥7
がビデオカメラ2の視野の中を通過する他の時刻の画像
に1度でも映っていれば欠陥7を検出することができ
る。ここで、1画面当たりに映る明暗パターン境界線の
数が多いほど欠陥7の隠れる確率が高くなるので、上記
処理時間を速くする必要がある。よって、1画面あたり
に映る明暗パターン境界線の数、および上記画像処理装
置3や計算機4,5の処理能力に応じて、ビデオカメラ
2の視野の大きさや上記移動速度等を決定すればよい。
【0013】他の実施の形態としては、照明装置1およ
びビデオカメラ2をロボット(図示せず)等を用いて順
次移動させ、ビデオカメラ2の視野が被検査面6全体を
走査するようにしてもよい。
【0014】
【発明の効果】 以上説明してきたように、本発明にお
いては、“ゆず肌”のような欠陥とならない極めて薄い
凹凸が平面でない被検査面に形成されていても、欠陥の
みを精度よく検出することができるという効果が得られ
る。
【図面の簡単な説明】
【図1】本発明の機能ブロック図である。
【図2】本発明の実施の形態1を示す全体である。
【図3】実施の形態1による画像処理を示す図である。
【図4】実施の形態1の制御流れを示すフローチャート
である。
【図5】実施の形態1の説明図である。
【図6】実施の形態2の制御流れを示フローチャートで
ある。
【図7】実施の形態2の画像処理を示す図である。
【図8】実施の形態3の画像処理を示す図である。
【図9】実施の形態3の説明図である。
【符号の説明】
1 照明装置 2 ビデオカメラ 3 画像処理装置 4 計算機 5 計算機 6 被検査面 7 欠陥 100 被検査面 101 照明手段 102 撮像手段 103 画像処理手段 104 膨張/収縮手段 105 欠陥判定手段

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 被検査面に光を照射し、その被検査面か
    らの反射光に基づいて受光画像を作成し、この受光画像
    に基づいて被検査面上の欠陥を検出する表面欠陥検査装
    置において、 前記被検査物体表面に所定の明暗パターンを形成する照
    明手段と、上記被検査面を撮像して得られる受光画像を
    電気信号の画像データに変換する撮像手段と、上記画像
    データにおける周波数成分のうち高い周波数領域で、か
    つレベルが所定値以上の成分のみを欠陥候補領域として
    抽出する画像処理手段と、上記欠陥候補領域の各々の面
    積を算出し、所定の条件を満たす面積の欠陥候補領域の
    みを膨張処理するか、もしくは膨張、収縮の順で処理す
    る膨張/収縮処理手段と、上記膨張/収縮処理後の欠陥
    候補領域の面積を算出し、その面積に基づいて欠陥候補
    領域が欠陥か否かを判定する欠陥判定手段と、を備えた
    ことを特徴とする表面欠陥検査装置。
  2. 【請求項2】 上記膨張/収縮手段において、上記欠陥
    候補領域の各々の面積を算出し所定の条件を満たす面積
    の欠陥候補領域のみを膨張処理するか、もしくは膨張、
    収縮の順で処理した後、残りの欠陥候補領域を膨張処理
    するか、もしくは膨張、収縮の順で処理することを特徴
    とする請求項1記載の表面欠陥検査装置。
  3. 【請求項3】 上記膨張/収縮手段において、上記欠陥
    候補領域を所定の方向に膨張処理するか、もしくは膨
    張、収縮の順で処理することを特徴とする請求項1記載
    の表面欠陥検査装置。
  4. 【請求項4】 上記被検査面もしくは撮像手段および照
    明手段のいずれか一方を移動させながら、上記画像処理
    手段、膨張/収縮手段および欠陥判定手段で上記所定の
    処理を行い欠陥を検出することを特徴とする請求項1な
    いし3記載の表面欠陥検査装置。
JP16548596A 1996-06-26 1996-06-26 表面欠陥検査装置 Expired - Lifetime JP3159063B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16548596A JP3159063B2 (ja) 1996-06-26 1996-06-26 表面欠陥検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16548596A JP3159063B2 (ja) 1996-06-26 1996-06-26 表面欠陥検査装置

Publications (2)

Publication Number Publication Date
JPH109835A true JPH109835A (ja) 1998-01-16
JP3159063B2 JP3159063B2 (ja) 2001-04-23

Family

ID=15813305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16548596A Expired - Lifetime JP3159063B2 (ja) 1996-06-26 1996-06-26 表面欠陥検査装置

Country Status (1)

Country Link
JP (1) JP3159063B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4677844A (en) * 1984-10-17 1987-07-07 Idemitsu Kosan Company Limited Apparent viscosity measuring apparatus
EP0322881A2 (en) * 1987-12-28 1989-07-05 Tosoh Corporation Method of producing uniform silica glass block
JP2002116015A (ja) * 2000-10-05 2002-04-19 Mitsubishi Rayon Co Ltd 欠陥検出装置及び方法
JP2013040895A (ja) * 2011-08-19 2013-02-28 Dainippon Printing Co Ltd バーコード外観検査システム、バーコード外観検査方法
JP2015004538A (ja) * 2013-06-19 2015-01-08 株式会社 東京ウエルズ 欠陥検査方法
WO2018221006A1 (ja) 2017-05-29 2018-12-06 コニカミノルタ株式会社 表面欠陥検査装置および該方法
JP2019036015A (ja) * 2017-08-10 2019-03-07 ヤマハ発動機株式会社 表面実装機

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4677844A (en) * 1984-10-17 1987-07-07 Idemitsu Kosan Company Limited Apparent viscosity measuring apparatus
EP0322881A2 (en) * 1987-12-28 1989-07-05 Tosoh Corporation Method of producing uniform silica glass block
EP0322881A3 (en) * 1987-12-28 1990-09-12 Tosoh Corporation Method of producing uniform silica glass block
JP2002116015A (ja) * 2000-10-05 2002-04-19 Mitsubishi Rayon Co Ltd 欠陥検出装置及び方法
JP2013040895A (ja) * 2011-08-19 2013-02-28 Dainippon Printing Co Ltd バーコード外観検査システム、バーコード外観検査方法
JP2015004538A (ja) * 2013-06-19 2015-01-08 株式会社 東京ウエルズ 欠陥検査方法
WO2018221006A1 (ja) 2017-05-29 2018-12-06 コニカミノルタ株式会社 表面欠陥検査装置および該方法
US10768118B2 (en) 2017-05-29 2020-09-08 Konica Minolta, Inc. Surface defect inspection device and method
JP2019036015A (ja) * 2017-08-10 2019-03-07 ヤマハ発動機株式会社 表面実装機

Also Published As

Publication number Publication date
JP3159063B2 (ja) 2001-04-23

Similar Documents

Publication Publication Date Title
KR0180082B1 (ko) 검사 시스템 및 방법
JP3185559B2 (ja) 表面欠陥検査装置
JP2003083907A (ja) 欠陥検査方法及びその装置
JP2002148195A (ja) 表面検査装置及び表面検査方法
JP3189588B2 (ja) 表面欠陥検査装置
JP3127758B2 (ja) 被検査面の欠陥検査方法およびその装置
JP3493979B2 (ja) 被検査面の欠陥検査方法およびその装置
JP3159063B2 (ja) 表面欠陥検査装置
JPH0979988A (ja) 表面欠陥検査装置
JP3412366B2 (ja) 塗膜平滑性検査装置
JP3757694B2 (ja) 表面欠陥検査方法
JP2001021332A (ja) 表面検査装置及び表面検査方法
JP4013510B2 (ja) 欠陥検査方法及びその装置
JPH1010054A (ja) 表面欠陥検査装置
JPH11257937A (ja) 欠陥検査方法
JP2973663B2 (ja) 瓶口の外観検査方法
JPH1010053A (ja) 表面欠陥検査装置
JP3508518B2 (ja) 外観検査方法
JP2000132684A (ja) 外観検査方法
JP3127598B2 (ja) 画像中の濃度変動構成画素抽出方法および濃度変動塊判定方法
JP4178923B2 (ja) 外観検査方法及び外観検査装置
JPH09147107A (ja) 画像位置評価方法およびその装置
JP3160838B2 (ja) 表面欠陥検査装置
JPH06160289A (ja) 円形容器内面検査装置
JP2006145228A (ja) ムラ欠陥検出方法及び装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080216

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090216

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140216

Year of fee payment: 13

EXPY Cancellation because of completion of term