JPH0611458A - 欠陥検査装置 - Google Patents

欠陥検査装置

Info

Publication number
JPH0611458A
JPH0611458A JP4191602A JP19160292A JPH0611458A JP H0611458 A JPH0611458 A JP H0611458A JP 4191602 A JP4191602 A JP 4191602A JP 19160292 A JP19160292 A JP 19160292A JP H0611458 A JPH0611458 A JP H0611458A
Authority
JP
Japan
Prior art keywords
defect
run
row
width
run length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4191602A
Other languages
English (en)
Other versions
JP3234636B2 (ja
Inventor
Noriaki Saito
憲敬 斎藤
Masaki Fuse
正樹 布施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Rayon Co Ltd
Original Assignee
Mitsubishi Rayon Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Rayon Co Ltd filed Critical Mitsubishi Rayon Co Ltd
Priority to JP19160292A priority Critical patent/JP3234636B2/ja
Publication of JPH0611458A publication Critical patent/JPH0611458A/ja
Application granted granted Critical
Publication of JP3234636B2 publication Critical patent/JP3234636B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Treatment Of Fiber Materials (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

(57)【要約】 【目的】 1つの欠陥の一部がくびれて細くなっていた
り、読み取り濃度が薄かったり、欠陥が斜め方向の場合
にも、リアルタイムで1つの欠陥と判定する。 【構成】 ラインCCDカメラ1により撮像された被検
査物の画像がコンパレータ4により2値化され、欠陥の
幅がランレングス符号化回路5により符号化される。C
PU15はこのランレングス符号を連続する複数の走査
ラインにわたり連結性処理することにより前記欠陥を膨
張して欠陥の状態を分類し、この分類された欠陥データ
に基づいて被検査物の欠陥が1つか否かを判定する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、被検査物上の異物、汚
れ、キズ、黒点、ピンホール、フィッシュアイ等の欠陥
を検出して良または不良と判定する欠陥検査装置に関す
る。
【0002】
【従来の技術】一般に、フィルムや不織布等の被検査物
上の欠陥を検査する場合、ラインイメージセンサにより
被検査物の表面を走査して走査ラインにおける一次元画
像を読み取り、この読み取り信号のレベルを所定値と比
較して2値化することが行われる。しかしながら、図5
(a)に示すように1つの欠陥の一部がくびれて細くな
っていたり、読み取り濃度が薄かったり、欠陥が斜め方
向の場合には、この原画像を「1」と「0」で2値化す
ると図5(b)に示すように、くびれて細い欠陥部分等
が「0」と2値化されるので実際には1つの欠陥が読み
取り後は2つの欠陥として検出され、正確に検査するこ
とができなくなる。
【0003】従来、この種の欠陥検査装置では、1つの
欠陥の一部がくびれて細くなっていたり、読み取り濃度
が薄かったり、欠陥が斜め方向の場合にも正確に検査す
ることができるように、画像データをメモリに記憶して
画素を膨張または圧縮して判定するように構成されてい
る。
【0004】
【発明が解決しようとする課題】しかしながら、上記従
来の欠陥検査装置では、画素を膨張または圧縮する場合
に、メモリに記憶された画像データを複数回参照しなけ
ればならず、例えば長手状の被検査物が副走査方向に搬
送されてリアルタイムで処理しなければならない場合に
対処することができないという問題点がある。
【0005】本発明は上記従来の問題点に鑑み、被検査
物表面の1つの欠陥の一部がくびれて細くなっていた
り、読み取り濃度が薄かったり、欠陥が斜め方向の場合
に、リアルタイムで1つの欠陥と判定することができる
欠陥検査装置を提供することを目的とする。
【0006】
【課題を解決するための手段】本発明は上記目的を達成
するために、連結性処理がリアルタイム性を有すること
に鑑みて、欠陥の2値化信号をランレングス符号化して
ランレングス符号を連結性処理することにより前記欠陥
を膨張して欠陥の状態を分類し、この分類された欠陥デ
ータに基づいて被検査物の欠陥が1つか否かを判定する
ようにしたものである。すなわち本発明によれば、被検
査物の表面を走査して、走査ラインにおける一次元画像
を読み取り、アナログ信号を出力するラインイメージセ
ンサと、前記ラインイメージセンサからのアナログ信号
のレベルを所定値と比較して2値化することにより前記
被検査物表面の欠陥を検出する2値化手段と、前記2値
化手段により2値化された信号をランレングス符号化す
る符号化手段と、前記符号化手段により符号化されたラ
ンレングス符号を連続する複数の走査ラインにわたり連
結性処理することにより前記を膨張して欠陥の状態を分
類する分類手段と、前記分類手段により分類された欠陥
データに基づいて被検査物の欠陥が1つか否かを判定す
る判定手段とを有することを特徴とする欠陥検査装置が
提供される。
【0007】
【作用】本発明では上記構成を有するので、欠陥の2値
化信号がランレングス符号化されて、リアルタイム性を
有する連結性処理で欠陥が膨張されて欠陥の状態が分類
され、この分類により被検査物の欠陥が1つか否かが判
定される。したがって、1つの欠陥の一部がくびれて細
くなっていたり、読み取り濃度が薄かったり、欠陥が斜
め方向の場合に、リアルタイムで1つの欠陥と判定する
ことができる。
【0008】
【実施例】以下、図面を参照して本発明の実施例を説明
する。図1は、本発明に係る欠陥検査装置の一実施例を
示すブロック図、図2は、欠陥のパターンを分類して示
す説明図、図3は、ランレングス符号をライン間で連結
性処理する場合のアルゴリズムを説明するためのフロー
チャート、図4は、欠陥の判定処理を示す説明図であ
る。
【0009】図1において、ラインCCDカメラ1によ
り撮像された被検査物の画像は、画像処理装置2により
処理されて被検査物の欠陥が検査される。ラインCCD
カメラ1は例えば8192画素以下の素子を有し、ま
た、画像処理装置2は例えば三菱レイヨン株式会社製L
SC−100型のものが用いられる。ラインCCDカメ
ラ1により撮像された信号は、A/Dコンバータ3によ
り例えば8ビットのディジタルデータに変換され、この
ディジタルデータは、メモリ6(閾値メモリ11)の画
素毎の閾値に基づいてコンパレータ4により2値化され
て欠陥の幅が検出され、この2値化データがランレング
ス符号化回路5によりランレングス符号化される。
【0010】メモリ6は論理指定部7と、ライン数指定
部8と、ランレングスバッファ9と、ランレングスバッ
ファ系列切替指定部10と、閾値メモリ11と基準値メ
モリ12を有し、CPU(中央処理装置)15の主メモ
リが用いられる。論理指定部7には予め、検出される欠
陥が白(=「0」)か黒(=「1」)かに応じてセット
され、ライン数指定部8には予め、ランレングス符号化
回路5の処理単位のライン数がセットされる。ランレン
グスバッファ9は、例えば128kBの容量のものが2
系統用いられ、ランレングス符号化回路5が符号化し、
CPU15が連結性処理するために各系統が交互に用い
られる。ランレングスバッファ系列切替指定部10に
は、ランレングス符号化回路5が用いるランレングスバ
ッファ9の系統がセットされる。
【0011】閾値メモリ11には予め、ラインCCDカ
メラ1の素子間の感度ばらつきや、主走査方向の照明ム
ラやレンズの歪みを補正するためにラインCCDカメラ
1の素子毎の2値化用閾値が設定される。基準値メモリ
12は、透過率または反射率が均一な被検査物を予め読
み取った際の各画素のレベルデータを記憶し、この各画
素のレベルデータと透過率または反射率の積が閾値とし
て閾値メモリ11に格納される。したがって、コンパレ
ータ4は、ラインCCDカメラ1の素子間の感度ばらつ
きや、照明ムラやレンズの歪みを補正して各画素を2値
化することができる。
【0012】この画像処理装置2はまた、後述するよう
な連結性処理と欠陥の個数の判定を行うための検査プロ
グラムを実行するCPU15と、この検査プログラム等
が予め格納されたROM(リードオンリメモリ)14
と、CPU15の作業エリア等を有するRAM(ランダ
ムアクセスメモリ)13と、ホストコンピュータ17と
の間で検査条件や検査結果等のデータを転送するための
GPIBインタフェース16を有する。ホストコンピュ
ータ17では、この欠陥検査装置の検査条件が設定され
たり、検査結果が表示等される。
【0013】つぎに、検査処理を説明する。走行する帯
状の被検査物の表面をラインCCDカメラ1が被検査物
の幅方向に走査して一次元画像を読み取った場合、その
読み取りにより得られるアナログ信号のレベルは、例え
ば異物の位置においては異物の幅と反射レベルに応じて
低くなる。なお、ラインCCDカメラ1の出力信号レベ
ルが画素毎に異なるが、これはラインCCDカメラ1の
素子間の感度ばらつきや、照明ムラやレンズの歪みに基
づくものであり、コンパレータ4が閾値メモリ11の各
画素毎の閾値により2値化することにより補正される。
【0014】そして、コンパレータ4により2値化され
たデータは、異物の幅に応じたパルス幅となり、この幅
がランレングス符号化回路5により符号化され、CPU
15により後述するような連結性処理が行われる。なお
連結性処理とは、複数の連続する走査ラインにおけるデ
ータ間で比較しつつ処理することをいう。ここで、記号
s(=スタート)を欠陥の始点座標とし、記号e(=エ
ンド)を終点座標とすると、欠陥データは次のようなラ
ンレングス符号で表される。 ais:n−1行目のi番目の欠陥の始点座標 aie:n−1行目のi番目の欠陥の終点座標 bjs:n行目のj番目の欠陥の始点座標 bje:n行目のj番目の欠陥の終点座標
【0015】図2は一例として2行分(2走査ライン)
の欠陥データを示し、この欠陥は4種類のパターンに分
類される。すなわち、連続パターンでは、1つの欠陥が
行間で図2中に矢印で示す副走査方向に連続しており、
収束パターンでは、前の行の複数(図では2個)の欠陥
が次の行において1つの欠陥に収束しており、分散パタ
ーンでは、前の行の1つの欠陥が次の行において複数
(図では2個)の欠陥に分散しており、消滅パターンで
は前の行の1つの欠陥が次の行において消滅している。
【0016】図3は、このパターンを分類するために、
n−1行目とn行目の欠陥データのパターンを比較し、
連続、収束、分散、消滅の4つのパターンに分類し、消
滅時にその欠陥の測定が終了する連結性処理のアルゴリ
ズムを示すフローチャートである。まず、ステップS1
においてn−1行目の欠陥を示すカウンタiを「0」に
セットし、n行目の欠陥を示すカウンタjを「1」にセ
ットし、続くステップS2においてカウンタiを1つイ
ンクリメントし、また、カウンタjを1つデクリメント
する。
【0017】そして、n−1行目のi番目の欠陥の始点
座標aisがCCDカメラ1の画素数+1でない場合にス
テップS4以下に進み、連続、収束、分散、消滅の4つ
のパターンに分類する処理を実行する。なお、この処理
では上記ランレングス符号に対して欠陥の幅が中間的に
用いられる。 aia=aie−ais(n−1行目のi番目の欠陥の幅) bja=bje−bjs(n行目のj番目の欠陥の幅)
【0018】まず、ステップS4においてn行目のj番
目の欠陥の幅bjaが「0」か否かを判別し、「0」の場
合にステップS5においてカウンタjを1つデクリメン
トしてステップS4に戻り、カウンタjが示す欠陥の幅
jaが「0」でなくなるまでこの処理を繰り返す。そし
て、欠陥の幅bjaが「0」でなくなると、ステップS6
においてbjs<aie+w、かつbje>ais−wか、すな
わちn−1行目の欠陥の幅を左右にそれぞれ−w、+w
画素分だけ膨張した後ai=bjか否かを判別することに
より上の行の欠陥の幅ajと等しいか否かを判別し、ai
=bjの場合にステップS7において収束パターンと判
定し、ステップS13に進む。なお、このステップS7
では、後述するような副走査方向の膨張処理を主走査方
向と同様に共に行って判定する。
【0019】ステップS6においてai=bjでない場合
には、ステップ8においてカウンタjを1つインクリメ
ントした後、ステップS9において欠陥の幅bja
「0」か否かを判別し、「0」の場合にステップS8に
戻り、カウンタjが示す欠陥の幅bjaが「0」でなくな
るまでこの処理を繰り返す。そして、欠陥の幅bja
「0」でなくなると、ステップS10においてステップ
S6に示す主走査方向と副走査方向の膨張処理を行った
後ai=bjか否かを判別し、ai=bjでない場合にステ
ップS11において消滅パターンと判定し、ステップS
2に戻る。
【0020】ステップS10においてai=bjの場合に
は、続くステップS12において連続パターンと判定す
る。ついで、ステップS13においてカウンタjをイン
クリメントした後、ステップS14において欠陥の幅b
jaが「0」か否かを判別し、「0」の場合にステップS
13に戻り、カウンタjが示す欠陥の幅bjaが「0」で
なくなるまでこの処理を繰り返す。そして、欠陥の幅b
jaが「0」でなくなると、ステップS15において同様
な膨張処理を行った後ai=bjか否かを同様に判別し、
i=bjの場合にステップS16において分散パターン
と判定する。
【0021】そして、ステップS17においてカウンタ
jをインクリメントした後ステップS15に戻り、ai
=bjでない場合にステップS15からステップS2に
戻り、ステップS2〜S17においてn行目のj番目の
欠陥についての処理を繰り返す。
【0022】そして、ステップS3においてn−1行目
のi番目の欠陥の始点座標aisがCCDカメラ1の画素
数+1になると、1行分の連結性処理を終了してステッ
プS3からステップS18に分岐し、n行目のランレン
グス符号bjをn−1行目のランレングス符号aiに移動
する。図3においてai=bjは、n行目のランレングス
符号bjとn−1行目のランレングス符号aiが連結、す
なわち1つの欠陥であることを示している。
【0023】つぎに、図4を参照して欠陥の個数の判断
処理を説明する。図4(a)において符号18、18′
は実際は1つの欠陥の2値画像を示し、2値化の結果こ
こでは2つの欠陥として2値化されている。また、符号
18″は別の欠陥の2値画像を示す。したがって、欠陥
データ18、18′と欠陥データ18″はそれぞれ、1
つの欠陥として判断されなければならない。
【0024】そこで、図4(a)に示すように濃く示さ
れる欠陥データ18、18′、18″を主走査方向に±
w(=2)画素分、副走査方向にL(=3)画素分膨張
し、淡く示されるデータ19、19′とする。この処理
は、ステップS6、S10、S15においてランレング
ス符号の水平方向の連結性判定基準をbjs<aie+w、
かつbje>ais−wとし、垂直方向の連結性判定基準
を、連結する画像が消滅後に消滅前画像を垂直方向にL
画素分継続することにより可能となり、ステップS6、
S10、S15においてイエスの場合にそれぞれ収束、
連続、分散の各パターンに分類される。すなわち、画素
膨張を施すことによって2つの欠陥と認識されていたも
のが1つの欠陥として認識され、かつ他の離れた欠陥と
は別個のものとして把えられている。よって図4(a)
の場合、欠陥の数のカウントは19と19′の2つとい
うこととなる。
【0025】図4(a)に示す画素19、19′は、消
滅時のランレングス符号を継続した場合を示し、図4
(b)に示す画素19、19′は、消滅時と1行前の状
態の変化を継続した場合を示す。図4(b)に示す場合
には、膨張画素19、19′が欠陥データ18、18′
の方向に均一に膨張されているので、斜め方向の欠陥を
正確に判断することができる。
【0026】そして、CPU15は、上記分類データに
基づいて被検査物の欠陥が1つか否かを判別してOKか
NGかを判定し、判定結果をホストコンピュータ17に
伝送する。
【0027】
【発明の効果】以上説明したように、本発明によれば、
欠陥の2値化信号がランレングス符号化されて、リアル
タイム性を有する連結性処理で欠陥が膨張されて欠陥の
状態が分類され、この分類により被検査物の欠陥が1つ
か否かが判定されるので、1つの欠陥の一部がくびれて
細くなっていたり、読み取り濃度が薄かったり、欠陥が
斜め方向の場合であっても、リアルタイムで1つの欠陥
と判定することができる。
【図面の簡単な説明】
【図1】本発明に係る欠陥検査装置の一実施例を示すブ
ロック図である。
【図2】欠陥のパターンを分類して示す説明図である。
【図3】ランレングス符号をライン間で連結性処理する
場合のアルゴリズムを説明するためのフローチャートで
ある。
【図4】連結性処理で膨張された欠陥データを示す説明
図である。
【図5】1つの欠陥が2値化により2つの欠陥となる場
合を示す説明図である。
【符号の説明】
1 ラインCCDカメラ 4 コンパレータ(2値化手段) 5 ランレングス符号化回路 6 メモリ 15 CPU(分類手段、判定手段)

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 被検査物の表面を走査して、走査ライン
    における一次元画像を読み取り、アナログ信号を出力す
    るラインイメージセンサと、 前記ラインイメージセンサからのアナログ信号のレベル
    を所定値と比較して2値化することにより前記被検査物
    表面の欠陥を検出する2値化手段と、 前記2値化手段により2値化された信号をランレングス
    符号化する符号化手段と、 前記符号化手段により符号化されたランレングス符号を
    連続する複数の走査ラインにわたり連結性処理すること
    により前記欠陥を膨張して欠陥の状態を分類する分類手
    段と、 前記分類手段により分類された欠陥データに基づいて被
    検査物の欠陥が1つか否かを判定する判定手段とを有す
    る欠陥検査装置。
JP19160292A 1992-06-25 1992-06-25 欠陥検査装置 Expired - Lifetime JP3234636B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19160292A JP3234636B2 (ja) 1992-06-25 1992-06-25 欠陥検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19160292A JP3234636B2 (ja) 1992-06-25 1992-06-25 欠陥検査装置

Publications (2)

Publication Number Publication Date
JPH0611458A true JPH0611458A (ja) 1994-01-21
JP3234636B2 JP3234636B2 (ja) 2001-12-04

Family

ID=16277373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19160292A Expired - Lifetime JP3234636B2 (ja) 1992-06-25 1992-06-25 欠陥検査装置

Country Status (1)

Country Link
JP (1) JP3234636B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0989798A (ja) * 1995-09-28 1997-04-04 Mitsubishi Rayon Co Ltd シート状物のくぼみ検出方法及びシート状物のくぼみ検出装置
JP2007271487A (ja) * 2006-03-31 2007-10-18 Nok Corp 画像による欠陥検出方法
JP2008281580A (ja) * 2008-06-26 2008-11-20 Olympus Corp 欠陥分類装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0911163A1 (en) 1997-10-23 1999-04-28 NEC Corporation Electrostatic ink jet printer

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60103487A (ja) * 1983-11-09 1985-06-07 Ckd Corp 形状認識装置
JPS61245045A (ja) * 1985-04-23 1986-10-31 Nisshin Steel Co Ltd 金属帯の表面欠陥自動検査方法
JPS6484147A (en) * 1987-09-28 1989-03-29 Nippon Steel Corp Internal quality inspecting method for metal piece
JPH0367159A (ja) * 1989-08-04 1991-03-22 Mitsubishi Rayon Co Ltd 欠陥検査装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60103487A (ja) * 1983-11-09 1985-06-07 Ckd Corp 形状認識装置
JPS61245045A (ja) * 1985-04-23 1986-10-31 Nisshin Steel Co Ltd 金属帯の表面欠陥自動検査方法
JPS6484147A (en) * 1987-09-28 1989-03-29 Nippon Steel Corp Internal quality inspecting method for metal piece
JPH0367159A (ja) * 1989-08-04 1991-03-22 Mitsubishi Rayon Co Ltd 欠陥検査装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0989798A (ja) * 1995-09-28 1997-04-04 Mitsubishi Rayon Co Ltd シート状物のくぼみ検出方法及びシート状物のくぼみ検出装置
JP2007271487A (ja) * 2006-03-31 2007-10-18 Nok Corp 画像による欠陥検出方法
JP2008281580A (ja) * 2008-06-26 2008-11-20 Olympus Corp 欠陥分類装置

Also Published As

Publication number Publication date
JP3234636B2 (ja) 2001-12-04

Similar Documents

Publication Publication Date Title
JP4230880B2 (ja) 欠陥検査方法
EP0534485B1 (en) Image processing device and method
JP3234636B2 (ja) 欠陥検査装置
JP3202330B2 (ja) 欠陥検査装置
JPH0718811B2 (ja) 欠陥検査方法
JP3119581B2 (ja) 欠陥検査装置及び欠陥検査方法
JP3598196B2 (ja) 周期パターンの欠陥検査装置
JPH09161056A (ja) 円形容器内面検査方法
JP2956151B2 (ja) 画像処理方法及びその装置
JP2710685B2 (ja) 外観検査による欠陥検出方法
JP2005189167A (ja) キャップのブリッジ検査装置
JPH0319990B2 (ja)
JP2841373B2 (ja) パターン検査装置
JPH0337229B2 (ja)
JPH0989798A (ja) シート状物のくぼみ検出方法及びシート状物のくぼみ検出装置
JP2853140B2 (ja) 画像領域識別装置
JP2800199B2 (ja) 画像領域識別装置
JP3668307B2 (ja) シート状物のくぼみ検出方法及びシート状物のくぼみ検出装置
JPS58180933A (ja) パタ−ン欠陥検査装置
JPH02187652A (ja) 画像処理方法
JPH06265482A (ja) パターンマッチング検査におけるマッチングパターン信号生成方法とその装置
JPH06294756A (ja) 欠陥検査装置
JPH0750037B2 (ja) 配線パターン検査装置
JPH0712743A (ja) 検査装置
JPH01121709A (ja) パターン検査装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010821

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070921

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080921

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080921

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090921

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090921

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110921

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110921

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120921

Year of fee payment: 11

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120921

Year of fee payment: 11