JP3264488B2 - 像処理法および像処理装置 - Google Patents

像処理法および像処理装置

Info

Publication number
JP3264488B2
JP3264488B2 JP01969089A JP1969089A JP3264488B2 JP 3264488 B2 JP3264488 B2 JP 3264488B2 JP 01969089 A JP01969089 A JP 01969089A JP 1969089 A JP1969089 A JP 1969089A JP 3264488 B2 JP3264488 B2 JP 3264488B2
Authority
JP
Japan
Prior art keywords
image information
information signal
inspection target
sensors
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP01969089A
Other languages
English (en)
Other versions
JPH02201583A (ja
Inventor
吉郎 山田
俊明 細田
Original Assignee
吉郎 山田
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=12006241&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP3264488(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 吉郎 山田 filed Critical 吉郎 山田
Priority to JP01969089A priority Critical patent/JP3264488B2/ja
Priority to DE69033288T priority patent/DE69033288T2/de
Priority to AT90902680T priority patent/ATE184717T1/de
Priority to EP90902680A priority patent/EP0416114B1/en
Priority to PCT/JP1990/000112 priority patent/WO1990009004A1/ja
Publication of JPH02201583A publication Critical patent/JPH02201583A/ja
Priority to KR90702199A priority patent/KR970004543B1/ko
Priority to US08/876,744 priority patent/US5953462A/en
Publication of JP3264488B2 publication Critical patent/JP3264488B2/ja
Application granted granted Critical
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、被検査対象物の状態をセンサーで像情報と
して検知し、この像情報を処理する像処理法および像処
理装置に関する。
〔従来の技術〕 従来、被検査対象物の状態をセンサーで、像情報とし
て検知して、該検知された像情報を処理する像処理法は
第8図に示されるように、例えば、被検査対象物1の状
態をカメラ2のレンズ3を介して複数のセンサー4で像
情報として検知して、センサー4の数に対応した像情報
信号S1を出力し、この複数の像情報信号S1を処理手段5
で処理し、被検査対象物1の状態を判定する。
この像処理装置は、例えば、第7図に示されるように
カメラ2と処理手段5とから構成される。
カメラ2は被検査対象物1の状態の像情報を屈折させ
るレンズ3と、この像情報を検知する複数のセンサー4
と、このセンサー4を駆動する駆動回路6と、センサー
4からの信号を増幅する増幅器7と、増幅器7で増幅さ
れた信号をアナログ信号からデジタル信号に変換するア
ナログデジタル変換回路8と、このデジタル信号を緩衝
して出力するバッファ回路9とから成る。
次に、処理手段5はバッファ回路9からの信号を入力
して緩衝する入力バッファ回路10と、この入力バッファ
回路10からの出力信号を記憶するデュアルポートメモリ
11と、このデュアルポートメモリ11からの信号をソフト
ウエア12に基づいて処理する中央処理装置13と、この中
央処理装置13で処理された判定信号を出力する出力ポー
ト14とから成る。
〔発明が解決しようとする課題〕
しかし、上述の従来方法および装置はセンサー4の素
子1個に対して、1個の像情報信号S1に基づいて、処理
手段5が処理するため、処理手段5自体が被検査対象物
1の全体的なパターン、詳細なパターン、集合状態ある
いは微妙な欠陥等を検知することが困難であるという問
題点があった。
そこで、本発明は上述の問題点を解決するために提案
されたもので、像情報に基づいて、処理手段自体が被検
査対象物の全体的なパターン、詳細なパターン、集合状
態あるいは微妙な欠陥等を容易に検知することができる
像処理法およびその像処理装置を提供することを目的と
する。
〔課題を解決するための手段〕
本発明に係る像処理方法は、被検査対象物の状態を複
数のセンサで像情報として検知して該センサからそれぞ
れ一つの像情報信号を出力し、これらの像情報信号を処
理する像処理方法において、前記被検査対象物に対する
検査対象範囲を移動させるとともに、前記複数のセンサ
から出力される像情報信号のうち該検査対象範囲内の複
数の像情報信号を加算して単一の所定像情報信号に集約
処理することを特徴とする。
本発明に係る第2の像処理方法は、第2の像処理方法
における集約処理に加えて、集約処理により得られた各
所定像情報信号間の相関を演算する処理を行うことを特
徴とする。
また、本発明に係る第1の像処理装置は、被検査対象
物の状態を像情報として検知する複数のセンサを有し、
各センサからのそれぞれ一つの像情報信号を出力するカ
メラと、このカメラから出力される像情報信号を入力
し、前記被検査対象物に対する検査対象範囲を移動させ
るとともに、該像情報信号のうち該検査対象範囲内の複
数の像情報信号を加算して単一の所定像情報信号に集約
処理する複数の処理手段とを備えたことを特徴とする。
本発明に係る第2の像処理装置は、第1の像処理装置
における処理手段において、上記の集約処理に加えて、
集約処理により得られた各所定像情報信号間の相関を演
算する処理を行うことを特徴とする。
本発明に係る第3の像処理装置は、被検査対象物の状
態を像情報として検知する複数のセンサを有し、各セン
サからのそれぞれ一つの像情報信号を出力する第1のカ
メラと、この第1のカメラから出力される像情報信号に
より映像を表示する陰極線管と、この陰極線管に検知端
部を対向させて該陰極線管との距離を変化できるように
設けられた複数本の光ファイバと、これら複数本の光フ
ァイバを介して入射する前記映像を像情報として検知す
る複数のセンサを有し、各センサからのそれぞれ一つの
像情報信号を出力する第2のカメラと、この第2のカメ
ラから出力される像情報信号を入力し、前記被検査対象
物に対する検査対象範囲を移動させるとともに、該像情
報信号のうち該検査対象範囲内の複数の像情報信号を加
算して単一の所定像情報信号に集約処理する複数の処理
手段とを備えたことを特徴とする。
本発明に係る第4の像処理装置は、第1の像処理装置
における処理手段において、上記の集約処理に加えて、
集約処理により得られた各所定像情報信号間の相関を演
算する処理を行うことを特徴とする。
〔作用〕
このように本発明では、被検査対象物に対する検査対
象範囲を移動させるとともに、該検査対象範囲内の複数
の像情報信号を積算して単一の所定像情報信号に集約処
理することにより、複数の像情報信号間のばらつきが除
去されると共に、信号のレベル差が強調され、検査対象
物の欠陥等を容易に検知することができる。
また、被検査対象物に対する検査対象範囲を移動さ
せ、各検査対象範囲内の複数の像情報信号を積算して単
一の所定像情報信号に集約処理し、かつこれらの各所定
像情報信号間の相関(例えば差)を演算すれば、複数の
像情報信号間のばらつきが除去されると共に、信号のレ
ベル差が強調され、さらに温度変化、検査対象物に対す
る照明の経時変化、センサの汚れその他に起因する各セ
ンサからの像情報信号の明度のばらつきによる影響を除
去して、被検査対象物の欠陥をより確実に検知すること
ができる。
さらに、被検査対象物に対する検査対象範囲を移動さ
せるとともに、該検査対象範囲内の複数の像情報信号を
積算して単一の所定像情報信号に集約処理する処理手
段、あるいは検査対象範囲内の複数の像情報信号を積算
して単一の所定像情報信号に集約処理し、これらの各所
定像情報信号間の相関を演算する処理手段を複数個設け
れば、例えばこれらの各処理手段での検査対象範囲の大
きさを異ならせることによって、被検査対象物の全体的
なパターン、詳細なパターン、欠陥の集合状態、微妙な
欠陥の検査といった各階層毎の検査を容易に行うことが
可能となる。
〔実施例〕
以下、本発明を図面を参照してその実施例に基づいて
説明する。
第1図(a)(b)(c)は本発明の像処理方法の概
略説明図である。
本発明の像処理方法は被検査対象物1の状態を複数の
センサー4で像情報として検知して、該センサー4の数
に対応した像情報信号S1を出力し、像情報信号S1を処理
する。
さらに、位置的に所定範囲の複数の像情報信号S1を単
一の所定像情報信号に各々集約処理し、該集約処理され
た複数の集約処理信号を処理する。
さらに、被検査対象物1に対する分解能を変えて、第
1図(a)(b)(c)に示されるように被検査対象物
1とセンサー4との距離を変えて処理しても良い。
さらに、所定像情報信号に対して所定範囲の像情報信
号S1を乗数、つまり、重みを変えて集約処理しても良
い。
この本発明方法には以下の本発明の像処理装置が用い
られる。
第1図(a)に示される本発明の像処理装置は被検査
対象物1の状態を像情報としてレンズ3を介して検知す
る複数のセンサー4を有し、センサー4の個数に対応し
た数の像情報信号S1を出力するカメラ2と、カメラ2か
ら出力される像情報信号S1が入力され、位置的に所定範
囲の該複数の像情報信号S1を単一の所定像情報信号に各
々集約処理し、集約処理された複数の集約処理信号を処
理する処理手段5とから成る。
さらに、本実施例においては処理手段5は第2図に示
されるようにデータバス15と複数の処理回路16とから成
り、カメラ2と被検査対象物1との距離、つまり、被検
査対象物1に対する分解能を変えずに処理する。
さらに、処理回路16は第3図(a)に示されるように
シフト回路30、ゲート回路31、演算器32および加算器33
とから成る。
この処理回路16は被検査対象物1上の所定ライン上の
状態の像情報信号を集約処理する場合に用いられる。
像情報信号はデータバス15から8ビットの明度階調
で、シフト回路30および演算器32に入力される。
シフト回路30の段数は集約する所定ラインの長さによ
って自在に設定することができる。
ゲート回路31は演算器32に対して予め設定された所定
ラインの長さに見合った段数になるまでは出力信号は0
を保持する。
その間に演算器32の出力はデータバス15からの像情報
信号そのものを出力し、フィードバック回路を有する加
算器33によって段数分情報が積算される。
所定ラインの長さに見合った段数の情報信号が入力さ
れた後は、ゲート回路31は出力を開け、シフト回路30の
記憶していた段数以前の像情報信号を演算器32により減
算することにより、所定ライン長を保持しつつ演算を進
める。
以上の構成と動作により、予め決められた規模の集約処
理を実時間で行なうことができる。
次に、他の処理回路16は第3図(b)に示されるよう
にユニット34、35および演算器36とから成る。
このユニット34、35は第3図(a)に示される処理回
路16と同じ構成である。
この第3図(b)に示される処理回路16は被検査対象
物1上の所定ライン上の状態の像情報信号の相関を取り
ながら実時間で集約処理する場合に用いられる。
データバス15からの像情報信号はユニット34に入力さ
れ、ユニット34からの出力信号は被検査対象物1上の所
定ライン上の状態の像情報信号が集約処理された信号で
ある。
この出力信号はユニット35、さらに、演算器36に入力
される。
演算器36の入力は所定ライン長の集約処理された信号
であるユニット34からの出力信号と、その事象から連続
して取られた所定ライン長の集約処理された信号である
ユニット35の2信号である。
この演算器36の出力信号は結果として両者の相対的な
関係を演算することとなる。
以上の構成と動作により明度のばらつきを含んだ対象
物に対する像処理を実時間で行なうことができる。
次に、さらに他の処理回路16は第3図(c)に示され
るようにユニット38、39、演算器40、デュアルポートメ
モリ41、ユニット42、43、演算器44とおよびバレルシフ
ト回路45とから成る。
このユニット38、39、42、43は第3図(a)に示され
る処理回路16と同じ構成である。
さらに、ユニット38、39および演算器40から成る第3
図(b)に示される処理回路16と同じ構成で、同じ動作
を行ない、所定ライン上の像情報信号を集約処理を相対
的に行なう。
この結果をデュアルポートメモリ41に実時間でマッピ
ングしながら、ユニット42、43および演算器44から成る
像の縦ラインの集約処理を行なう部分に接続する。
この構成により横方向ラインと縦ラインにより特定さ
れる範囲の像情報信号の結果が演算器44の出力信号とし
て得られる。
バレルシフト回路45は各演算によって桁数の増加した
演算結果を必要なビット数によって実時間で像情報信号
の集約処理を行なう。
また、さらに、演算を行なうときに乗算回路を通し
て、予め設定された乗数で演算することにより実時間で
重みを変化させた処理も容易に行なうことができる。
この第3図(c)に示される処理回路16は被検査対象
物1上の所定範囲上の状態の像情報信号を実時間で集約
処理する場合に用いられる。
さらに、本発明の他の像処理装置は第4図に示される
ように、カメラ2は図示されないズーム機構を備え、該
ズーム機構により、被検査対象物1とセンサー4との距
離を第1図(a)(b)(c)に示されるように変える
ことにより分解能を変えて処理手段5により処理し、該
集約処理された複数の集約処理信号を各々の該分解能に
対応して記憶する複数のメモリ22を備える。
さらに、本発明の他の像処理装置は第1図(a)
(b)(c)および第5図に示されるように、カメラ2
は被検査対象物1に対する距離、つまり、分解能が異な
るように、例えば、3台設けられ、処理手段5はカメラ
2に各々対応して設けられ、該集約処理された複数の集
約処理信号を各々の分解能に対応して記憶する複数のメ
モリ22を備える。
各々のカメラ2と被検査対象物1との間には全反射ミ
ラー46、半透明ミラー47、48が設けられる。
さらに、本発明の他の像処理装置は第6図に示される
ように、被検査対象物1の状態を像情報として検知する
複数のセンサー4を有し、センサー4の個数に対応した
数の第1の像情報信号を出力する第1のカメラ2aと、第
1のカメラ2aから出力される像情報信号により映像を表
示する陰極線管23と、陰極線管23に検知端部が対向し、
該映像を検知し、陰極線管23との距離を変動できるよう
に設けられる光ファイバー24と、該映像を像情報として
検知する複数のセンサー4を有し、センサー4の個数に
対応した数の第2の像情報信号を出力する第2のカメラ
2bと、第2のカメラ2bから出力される第2の像情報信号
が入力され、位置的に所定範囲の該複数の像情報信号を
単一の所定像情報信号に各々集約処理し、該集約処理さ
れた複数の集約処理信号を処理する処理手段5と、光フ
ァイバー24の検知端部と陰極線管23との距離の変動に対
応して処理手段5からの該集約処理された複数の集約処
理信号を各々記憶する複数のメモリ22とから成る。
さらに、処理手段5は該所定像情報信号に対して該所
定範囲の像情報信号の乗数、すなわち、重みを変えて集
約処理する。
この重みを変える演算処理によりより精緻に被検査対
象物の状態を検知できる。
なお、以上の全ての像処理装置の実施例において、カ
メラは被検査対象物の被検査対象範囲を移動できるよう
に回動するように構成される。
また、以上の全ての実施例において、センサーは光セ
ンサーに限定されず、圧力、温度、湿度センサー等の物
体の状態を検知する全てのセンサーを含む。
〔発明の効果〕
本発明は以上説明したように、像情報に基づいて、処
理手段自体が被検査対象物の全体的なパターン、詳細な
パターン、集合状態あるいは微妙な欠陥等を容易に検知
することができるという効果を奏する。
【図面の簡単な説明】
第1図(a)(b)(c)は本発明の像処理法の概略説
明図、第2図は本発明の像処理装置の概略説明図、第3
図(a)(b)(c)は第2図の像処理装置の種々の処
理手段の説明図、第4図は本発明の他の像処理装置の説
明図、第5図は本発明のさらに他の像処理装置の説明
図、第6図は本発明のさらに他の像処理装置の説明図、
第7図は従来装置の説明図、第8図は従来方法の説明図
である。 1……被検査対象物 2,2a,2b……カメラ 4……センサー 5……処理手段 22……メモリ 24……光ファイバー
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭63−155368(JP,A) 特開 昭63−46066(JP,A) 特開 昭63−276677(JP,A) 特開 昭63−266345(JP,A) 特開 昭63−228273(JP,A) 特開 昭59−125272(JP,A) 実開 昭57−86456(JP,U) John CANNY,”A Com putational Approac h to Edge Detectio n”,IEEE TRANSACTIO NS ON PATTERN ANAL YSIS AND MACHINE I NTELLIGENCE,VOL.PA M1−8,NO.6,NOVEMBER 1986,pp.679−698 (58)調査した分野(Int.Cl.7,DB名) G06T 1/00 G01B 11/24 G01N 21/88

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】被検査対象物の状態を複数のセンサで像情
    報として検知して該センサからそれぞれ一つの像情報信
    号を出力し、これらの像情報信号を処理する像処理方法
    において、 前記被検査対象物に対する検査対象範囲を移動させると
    ともに、前記複数のセンサから出力される像情報信号の
    うち該検査対象範囲内の複数の像情報信号を加算して単
    一の所定像情報信号に集約処理することを特徴とする像
    処理方法。
  2. 【請求項2】被検査対象物の状態を複数のセンサで像情
    報として検知して該センサからそれぞれ一つの像情報信
    号を出力し、これらの像情報信号を処理する像処理方法
    において、 前記被検査対象物に対する検査対象範囲を移動させると
    ともに、前記複数のセンサから出力される像情報信号の
    うち該検査対象範囲内の複数の像情報信号を加算して単
    一の所定像情報信号に集約処理し、これらの各所定像情
    報信号間の相関を演算することを特徴とする像処理方
    法。
  3. 【請求項3】被検査対象物の状態を像情報として検知す
    る複数のセンサを有し、各センサからのそれぞれ一つの
    像情報信号を出力するカメラと、 このカメラから出力される像情報信号を入力し、前記被
    検査対象物に対する検査対象範囲を移動させるととも
    に、該像情報信号のうち該検査対象範囲内の複数の像情
    報信号を加算して単一の所定像情報信号に集約処理する
    複数の処理手段とを備えたことを特徴とする像処理装
    置。
  4. 【請求項4】被検査対象物の状態を像情報として検知す
    る複数のセンサを有し、各センサからのそれぞれ一つの
    像情報信号を出力するカメラと、 このカメラから出力される像情報信号を入力し、前記被
    検査対象物に対する検査対象範囲を移動させるととも
    に、該像情報信号のうち該検査対象範囲内の複数の像情
    報信号を加算して単一の所定像情報信号に集約処理し、
    これらの各所定像情報信号間の相関を演算する複数の処
    理手段とを備えたことを特徴とする像処理装置。
  5. 【請求項5】被検査対象物の状態を像情報として検知す
    る複数のセンサを有し、各センサからのそれぞれ一つの
    像情報信号を出力する第1のカメラと、 この第1のカメラから出力される像情報信号により映像
    を表示する陰極線管と、 この陰極線管に検知端部を対向させて該陰極線管との距
    離を変化できるように設けられた複数本の光ファイバ
    と、 これら複数本の光ファイバを介して入射する前記映像を
    像情報として検知する複数のセンサを有し、各センサか
    らのそれぞれ一つの像情報信号を出力する第2のカメラ
    と、 この第2のカメラから出力される像情報信号を入力し、
    前記被検査対象物に対する検査対象範囲を移動させると
    ともに、該像情報信号のうち該検査対象範囲内の複数の
    像情報信号を加算して単一の所定像情報信号に集約処理
    する複数の処理手段とを備えたことを特徴する像処理装
    置。
  6. 【請求項6】被検査対象物の状態を像情報として検知す
    る複数のセンサを有し、各センサからのそれぞれ一つの
    像情報信号を出力する第1のカメラと、 この第1のカメラから出力される像情報信号により映像
    を表示する陰極線管と、 この陰極線管に検知端部を対向させて該陰極線管との距
    離を変化できるように設けられた複数本の光ファイバ
    と、 これら複数本の光ファイバを介して入射する前記映像を
    像情報として検知する複数のセンサを有し、各センサか
    らのそれぞれ一つの像情報信号を出力する第2のカメラ
    と、 この第2のカメラから出力される像情報信号を入力し、
    前記被検査対象物に対する検査対象範囲を移動させると
    ともに、該像情報信号のうち該検査対象範囲内の複数の
    像情報信号を加算して単一の所定像情報信号に集約処理
    し、これらの各所定像情報信号間の相関を演算する複数
    の処理手段とを備えたことを特徴とする像処理装置。
JP01969089A 1989-01-31 1989-01-31 像処理法および像処理装置 Expired - Lifetime JP3264488B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP01969089A JP3264488B2 (ja) 1989-01-31 1989-01-31 像処理法および像処理装置
PCT/JP1990/000112 WO1990009004A1 (en) 1989-01-31 1990-01-31 Image processing method and apparatus
AT90902680T ATE184717T1 (de) 1989-01-31 1990-01-31 Bildverarbeitungsverfahren und -vorrichtung
EP90902680A EP0416114B1 (en) 1989-01-31 1990-01-31 Image processing method and apparatus
DE69033288T DE69033288T2 (de) 1989-01-31 1990-01-31 Bildverarbeitungsverfahren und -vorrichtung
KR90702199A KR970004543B1 (en) 1989-01-31 1990-09-29 Image processing method and apparatus
US08/876,744 US5953462A (en) 1989-01-31 1997-06-16 Method and apparatus for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01969089A JP3264488B2 (ja) 1989-01-31 1989-01-31 像処理法および像処理装置

Publications (2)

Publication Number Publication Date
JPH02201583A JPH02201583A (ja) 1990-08-09
JP3264488B2 true JP3264488B2 (ja) 2002-03-11

Family

ID=12006241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01969089A Expired - Lifetime JP3264488B2 (ja) 1989-01-31 1989-01-31 像処理法および像処理装置

Country Status (1)

Country Link
JP (1) JP3264488B2 (ja)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
John CANNY,"A Computational Approach to Edge Detection",IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,VOL.PAM1−8,NO.6,NOVEMBER 1986,pp.679−698

Also Published As

Publication number Publication date
JPH02201583A (ja) 1990-08-09

Similar Documents

Publication Publication Date Title
JP2928548B2 (ja) 立体形状検出方法及びその装置
JP4932819B2 (ja) 表面検査装置及び方法
JPH04313949A (ja) 高ダイナミックレンジ撮像装置
JP3264488B2 (ja) 像処理法および像処理装置
JP3175393B2 (ja) 距離測定方法および装置
JP2681745B2 (ja) レーザ光を利用したスペックルパターンによる被計測物の上下および横移動量の測定方法。
JP3100143B2 (ja) 像処理法および像処理装置
JPH051950A (ja) 車輌用ライトの照度測定方法
JPH11118435A (ja) 車輪測定装置
JPS6175237A (ja) 塗装面測定装置
JPH1062139A (ja) 形状測定装置
JPH05130512A (ja) 固体撮像素子の画素欠陥測定装置
JP3100144B2 (ja) 像処理法および像処理装置
JP3100140B2 (ja) 像処理法および像処理装置
EP0416114B1 (en) Image processing method and apparatus
JP3100141B2 (ja) 像処理法および像処理装置
JP2002062219A (ja) 輝度測定装置
JP3201902B2 (ja) 目標角度測定装置
JPS6096088A (ja) 軸対称物体の欠陥検査装置
JPH05209730A (ja) 画像処理装置
JP3325320B2 (ja) 三次元測定装置
JPH06233164A (ja) カメラの自動キャリブレーション装置
JPH0585883B2 (ja)
JPH085370A (ja) 距離測定装置
JPS5892938A (ja) 傷測定装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071228

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081228

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091228

Year of fee payment: 8

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091228

Year of fee payment: 8