JP3173690B2 - ニューラルネットワークによる外観検査装置 - Google Patents
ニューラルネットワークによる外観検査装置Info
- Publication number
- JP3173690B2 JP3173690B2 JP26891693A JP26891693A JP3173690B2 JP 3173690 B2 JP3173690 B2 JP 3173690B2 JP 26891693 A JP26891693 A JP 26891693A JP 26891693 A JP26891693 A JP 26891693A JP 3173690 B2 JP3173690 B2 JP 3173690B2
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- neural network
- correlation value
- illuminance
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
【0001】
【産業上の利用分野】本発明は、製品等の外観検査装置
に関し、特にニューラルネットワークを用いることによ
り検査対象周囲の照度の変動の影響を受けにくい外観検
査装置に関する。
に関し、特にニューラルネットワークを用いることによ
り検査対象周囲の照度の変動の影響を受けにくい外観検
査装置に関する。
【0002】
【従来の技術】従来の外観検査装置には様々な手法が用
いられているが、濃淡画像の相関値を用いた手法は検査
対象周囲の照度の変動の影響を比較的受けにくい。この
ような手法はテンプレートマッチングの内で相互相関関
数による方法と呼ばれ”高木,下田「画像解析ハンドブ
ック」pp.707〜709,東京大学出版会(1991)”に記載され
ている。
いられているが、濃淡画像の相関値を用いた手法は検査
対象周囲の照度の変動の影響を比較的受けにくい。この
ような手法はテンプレートマッチングの内で相互相関関
数による方法と呼ばれ”高木,下田「画像解析ハンドブ
ック」pp.707〜709,東京大学出版会(1991)”に記載され
ている。
【0003】即ち、前記相互相関関数による方法を用い
ることにより、検査対象周囲の照度の変動の影響を比較
的受けにくい外観検査装置を実現することができる。
ることにより、検査対象周囲の照度の変動の影響を比較
的受けにくい外観検査装置を実現することができる。
【0004】ここで、相互相関関数による方法について
図3を用いて説明する。図3は入力画像とテンプレート
画像の関係を示す説明図である。図3において”イ”は
N1×N1画素のテンプレート画像、”ロ”はM1×M
1画素の入力画像である。但し、N1<M1である。
図3を用いて説明する。図3は入力画像とテンプレート
画像の関係を示す説明図である。図3において”イ”は
N1×N1画素のテンプレート画像、”ロ”はM1×M
1画素の入力画像である。但し、N1<M1である。
【0005】また、図3中”ハ”は入力画像”ロ”内の
テンプレート画像”イ”の左上位置を示しており、以下
に示す相関値”C(a,b) ”が最大になる”ハ”の位置
を求めることにより、入力画像”ロ”の内でテンプレー
ト画像”イ”と一致する画像の位置が求まることにな
る。
テンプレート画像”イ”の左上位置を示しており、以下
に示す相関値”C(a,b) ”が最大になる”ハ”の位置
を求めることにより、入力画像”ロ”の内でテンプレー
ト画像”イ”と一致する画像の位置が求まることにな
る。
【0006】
【数1】
【0007】式(1)において、”I(a,b)(m1,n
1)”は入力画像”ロ”の部分画像、”T(m1,n1)”
はテンプレート画像”イ”である。
1)”は入力画像”ロ”の部分画像、”T(m1,n1)”
はテンプレート画像”イ”である。
【0008】従来の外観検査装置では”M1=N1”の
場合において式(1)による相関値が”1”に近いほど
2つの画像が類似していることを用いている。
場合において式(1)による相関値が”1”に近いほど
2つの画像が類似していることを用いている。
【0009】即ち、検査対象の検査箇所の画像である前
記入力画像”ロ”と、予め用意している良品の検査箇所
の画像である前記テンプレート画像”イ”との相関値を
求め、この値が或る一定の閾値を越えた場合、前記検査
箇所は合格と判断し、前記閾値以下であれば不合格と判
断することができる。
記入力画像”ロ”と、予め用意している良品の検査箇所
の画像である前記テンプレート画像”イ”との相関値を
求め、この値が或る一定の閾値を越えた場合、前記検査
箇所は合格と判断し、前記閾値以下であれば不合格と判
断することができる。
【0010】また、全ての検査箇所について合格であれ
ば検査対象は良品として判断することができる。
ば検査対象は良品として判断することができる。
【0011】この結果、式(1)よる相関値の演算に際
しては、画像全体の平均値を減算しているため検査対象
周囲の照度の変動の影響を比較的受けにくい外観検査装
置が実現できる。
しては、画像全体の平均値を減算しているため検査対象
周囲の照度の変動の影響を比較的受けにくい外観検査装
置が実現できる。
【0012】
【発明が解決しようとする課題】しかし、このような従
来の手法では検査対象の周囲の照度に対する影響が皆無
であるわけではなく、例えば、窓から検査対象に対して
直射日光が差し込んだ等の場合には相関値の閾値を変更
させなければならず、また、相関値の前記閾値の変更は
容易なものではない。
来の手法では検査対象の周囲の照度に対する影響が皆無
であるわけではなく、例えば、窓から検査対象に対して
直射日光が差し込んだ等の場合には相関値の閾値を変更
させなければならず、また、相関値の前記閾値の変更は
容易なものではない。
【0013】さらに、検査対象の仕様変更等により検査
対象の外観に変化が生じた場合には、その都度相関値の
閾値を変化させなければならないと言った問題点があ
る。従って本発明の目的は、検査対象周囲の照度の変動
の影響を受けにくく、検査対象の外観の変更に容易に対
応できるニューラルネットワークによる外観検査装置を
実現することにある。
対象の外観に変化が生じた場合には、その都度相関値の
閾値を変化させなければならないと言った問題点があ
る。従って本発明の目的は、検査対象周囲の照度の変動
の影響を受けにくく、検査対象の外観の変更に容易に対
応できるニューラルネットワークによる外観検査装置を
実現することにある。
【0014】
【課題を解決するための手段】このような目的を達成す
るために、本発明では、検査対象の濃淡画像と良品の濃
淡画像との相関値を用いた外観検査装置において、前記
検査対象の検査箇所を撮像する撮像装置と、前記検査対
象周囲の照度を検出する照度検出器と、前記撮像装置の
出力と前記良品の検査箇所の濃淡画像との相関値を演算
する相関値演算装置と、前記照度検出器の出力と前記相
関値演算装置の出力とに基づき前記検査対象の検査箇所
の合否を判断するニューラルネットワーク演算装置とを
備えたことを特徴とするものである。
るために、本発明では、検査対象の濃淡画像と良品の濃
淡画像との相関値を用いた外観検査装置において、前記
検査対象の検査箇所を撮像する撮像装置と、前記検査対
象周囲の照度を検出する照度検出器と、前記撮像装置の
出力と前記良品の検査箇所の濃淡画像との相関値を演算
する相関値演算装置と、前記照度検出器の出力と前記相
関値演算装置の出力とに基づき前記検査対象の検査箇所
の合否を判断するニューラルネットワーク演算装置とを
備えたことを特徴とするものである。
【0015】
【作用】相関値とその相関値を得た時の様々な照度条件
とによりニューラルネットワーク演算装置を学習させる
ことにより、検査対象周囲の照度の変動の影響を受けに
くく、検査対象の外観の変更に容易に対応できるように
なる。
とによりニューラルネットワーク演算装置を学習させる
ことにより、検査対象周囲の照度の変動の影響を受けに
くく、検査対象の外観の変更に容易に対応できるように
なる。
【0016】
【実施例】以下本発明を図面を用いて詳細に説明する。
図1は本発明に係るニューラルネットワークによる外観
検査装置の一実施例を示す構成ブロック図である。
図1は本発明に係るニューラルネットワークによる外観
検査装置の一実施例を示す構成ブロック図である。
【0017】図1において1は製品等の検査対象、2は
撮像装置、3は相関値演算装置、4a,4b,4c及び
4dはフォトダイオード等の照度検出器、5はニューラ
ルネットワーク演算装置である。
撮像装置、3は相関値演算装置、4a,4b,4c及び
4dはフォトダイオード等の照度検出器、5はニューラ
ルネットワーク演算装置である。
【0018】また、100は相関値演算装置3の出力信
号、101,102,103及び104は照度検出器4
a,4b,4c及び4dの出力信号、105はニューラ
ルネットワーク演算装置5の出力信号である。
号、101,102,103及び104は照度検出器4
a,4b,4c及び4dの出力信号、105はニューラ
ルネットワーク演算装置5の出力信号である。
【0019】撮像装置2は検査対象1の検査箇所の画像
を撮像できる位置に配置される。また、検査対象1の各
点の照度を検出できる位置に照度検出器4a,4b,4
c及び4dがそれぞれ配置される。
を撮像できる位置に配置される。また、検査対象1の各
点の照度を検出できる位置に照度検出器4a,4b,4
c及び4dがそれぞれ配置される。
【0020】撮像装置2の出力信号は相関値演算装置3
に接続され、相関値演算装置3の出力信号100はニュ
ーラルネットワーク演算装置5に接続される。また、照
度検出器4a〜4dの出力信号101〜104もまたニ
ューラルネットワーク演算装置5に接続される。
に接続され、相関値演算装置3の出力信号100はニュ
ーラルネットワーク演算装置5に接続される。また、照
度検出器4a〜4dの出力信号101〜104もまたニ
ューラルネットワーク演算装置5に接続される。
【0021】さらに、ニューラルネットワーク演算装置
5は検査対象1の合否を示す出力信号105を出力す
る。
5は検査対象1の合否を示す出力信号105を出力す
る。
【0022】ここで、図1に示す実施例の動作を図2を
用いて説明する。図2はニューラルネットワーク演算装
置5の構成の一例を示す構成図である。
用いて説明する。図2はニューラルネットワーク演算装
置5の構成の一例を示す構成図である。
【0023】図2において4a〜4d、100〜10
2,104及び105は図1と同一符号を付してあり、
6,7,8及び9は入力層のニューロン、10a,10
b及び10cは中間層のニューロン、11は出力層のニ
ューロンである。
2,104及び105は図1と同一符号を付してあり、
6,7,8及び9は入力層のニューロン、10a,10
b及び10cは中間層のニューロン、11は出力層のニ
ューロンである。
【0024】但し、図2は入力層のニューロン及びその
ニューロンに接続される入力が4以上である場合を示し
ている。
ニューロンに接続される入力が4以上である場合を示し
ている。
【0025】ニューロン6,7及び8には照度検出器4
a,4b及び4dの出力信号101,102及び104
がそれぞれ接続され、ニューロン6〜8の出力は中間層
の各ニューロンにそれぞれ接続される。
a,4b及び4dの出力信号101,102及び104
がそれぞれ接続され、ニューロン6〜8の出力は中間層
の各ニューロンにそれぞれ接続される。
【0026】また、相関値演算装置3の出力信号100
はニューロン9に接続され、ニューロン9の出力は中間
層の各ニューロンにそれぞれ接続される。さらに、中間
層の各ニューロン10a〜10cの出力は出力層のニュ
ーロン11にそれぞれ接続され、ニューロン11は出力
信号105を出力する。
はニューロン9に接続され、ニューロン9の出力は中間
層の各ニューロンにそれぞれ接続される。さらに、中間
層の各ニューロン10a〜10cの出力は出力層のニュ
ーロン11にそれぞれ接続され、ニューロン11は出力
信号105を出力する。
【0027】ここで、各ニューロンは他のニューロンか
らの入力を受け、その総和を演算すると共に、例えばシ
グモイド関数等の非線形関数を用いて前記総和を変換し
て出力する。また、他のニューロンとの結合にはそれぞ
れ結合の強さを表す可変の重み付を行う。
らの入力を受け、その総和を演算すると共に、例えばシ
グモイド関数等の非線形関数を用いて前記総和を変換し
て出力する。また、他のニューロンとの結合にはそれぞ
れ結合の強さを表す可変の重み付を行う。
【0028】先ず第1に、上記のように構成したニュー
ラルネットワーク演算装置5を学習させるための教師デ
ータを決める。また、ここでは簡単のために検査対象1
の検査箇所は1つであるとする。
ラルネットワーク演算装置5を学習させるための教師デ
ータを決める。また、ここでは簡単のために検査対象1
の検査箇所は1つであるとする。
【0029】例えば、出力信号100として検査対象の
検査箇所を撮像した画像と、同一の検査箇所における良
品の画像との相関値、出力信号101〜104として前
記相関値を得た時の各照度検出器4a〜4dの出力とす
る。また、出力信号105としては前記検査対象1の検
査箇所が合格の場合”1”、不合格の場合”0”とす
る。
検査箇所を撮像した画像と、同一の検査箇所における良
品の画像との相関値、出力信号101〜104として前
記相関値を得た時の各照度検出器4a〜4dの出力とす
る。また、出力信号105としては前記検査対象1の検
査箇所が合格の場合”1”、不合格の場合”0”とす
る。
【0030】さらに、この状態で検査対象1の照度条件
を様々変化させることにより複数の教師データを得る。
を様々変化させることにより複数の教師データを得る。
【0031】第2に、このようにして得られた教師デー
タを用いてニューラルネットワーク演算装置5を学習さ
せる。
タを用いてニューラルネットワーク演算装置5を学習さ
せる。
【0032】ここで、ニューラルネットワーク演算装置
5の学習方法としてはバックプロパゲーション法があ
り、”Rumelhart,D.E.,McClelland,J.L.and the PDP re
searchGroup,PARALLEL DISTRIBUTED PROCESSING, the M
IT Press,1986”等に記載されており、詳細な説明は省
略する。
5の学習方法としてはバックプロパゲーション法があ
り、”Rumelhart,D.E.,McClelland,J.L.and the PDP re
searchGroup,PARALLEL DISTRIBUTED PROCESSING, the M
IT Press,1986”等に記載されており、詳細な説明は省
略する。
【0033】具体的には、例えば、前述のように得られ
た教師データをニューラルネットワーク演算装置5に入
力し、ニューラルネットワーク演算装置5の出力信号1
05が前記教師データと一致するようにニューロンのニ
ューラルネットワークの結合係数である前記重み付を調
整することにより学習を行う。
た教師データをニューラルネットワーク演算装置5に入
力し、ニューラルネットワーク演算装置5の出力信号1
05が前記教師データと一致するようにニューロンのニ
ューラルネットワークの結合係数である前記重み付を調
整することにより学習を行う。
【0034】第3に、実際に検査対象1の検査箇所を撮
像装置2によって撮像し、この撮像した画像と良品の画
像との相関値を相関値演算装置3において演算する。ま
た、相関値演算装置3の出力信号100はニューラルネ
ットワーク演算装置5に入力される。
像装置2によって撮像し、この撮像した画像と良品の画
像との相関値を相関値演算装置3において演算する。ま
た、相関値演算装置3の出力信号100はニューラルネ
ットワーク演算装置5に入力される。
【0035】一方、この時の検査対象1周囲の照度を照
度検出器4a〜4dにより検出し、照度検出器4a〜4
dの出力信号101〜104がさらにニューラルネット
ワーク演算装置5に入力される。
度検出器4a〜4dにより検出し、照度検出器4a〜4
dの出力信号101〜104がさらにニューラルネット
ワーク演算装置5に入力される。
【0036】ニューラルネットワーク演算装置5では前
記学習により調整された結合係数に基づき検査対象1の
検査箇所が合格であれば出力信号105として”1”
を、不合格であれば”0”を出力する。
記学習により調整された結合係数に基づき検査対象1の
検査箇所が合格であれば出力信号105として”1”
を、不合格であれば”0”を出力する。
【0037】また、前述のように検査対象1の検査箇所
を1つとしているため、検査箇所が合格であれば検査対
象1は良品として、検査箇所が不合格であれば検査対象
1は不良品であると判断される。
を1つとしているため、検査箇所が合格であれば検査対
象1は良品として、検査箇所が不合格であれば検査対象
1は不良品であると判断される。
【0038】この結果、相関値とその相関値を得た時の
様々な照度条件とによりニューラルネットワーク演算装
置5を学習させることにより、検査対象1周囲の照度の
変動の影響を受けにくくなる。
様々な照度条件とによりニューラルネットワーク演算装
置5を学習させることにより、検査対象1周囲の照度の
変動の影響を受けにくくなる。
【0039】また、仕様変更等により検査対象1の外観
が変更された場合でも、変更された外観に対してニュー
ラルネットワーク演算装置5を再学習させることによ
り、検査対象1の外観の変更に容易に対応できる。
が変更された場合でも、変更された外観に対してニュー
ラルネットワーク演算装置5を再学習させることによ
り、検査対象1の外観の変更に容易に対応できる。
【0040】なお、一般的に1つの検査対象については
複数の検査箇所が存在する。従って、1の検査箇所につ
いてのニューラルネットワーク演算装置5の学習が終了
したら、得られた結合係数を図示しない記憶装置等に一
旦記憶させ、他の検査箇所についての学習を行う。
複数の検査箇所が存在する。従って、1の検査箇所につ
いてのニューラルネットワーク演算装置5の学習が終了
したら、得られた結合係数を図示しない記憶装置等に一
旦記憶させ、他の検査箇所についての学習を行う。
【0041】このような学習を繰り返すことによって、
例えば、k個の検査箇所に対してk組のニューラルネッ
トワークの結合係数が得られる。
例えば、k個の検査箇所に対してk組のニューラルネッ
トワークの結合係数が得られる。
【0042】従って、合否判定に際しては、ある検査箇
所に対応するニューラルネットワークの結合係数をニュ
ーラルネットワーク演算装置5に設定して外観検査を行
う。
所に対応するニューラルネットワークの結合係数をニュ
ーラルネットワーク演算装置5に設定して外観検査を行
う。
【0043】さらに、他の検査箇所についてはそれに対
応するニューラルネットワークの結合係数をニューラル
ネットワーク演算装置5に再設定して外観検査を順次行
ってゆく。例えば、k個の検査箇所全てに対して合格で
あれば、検査対象1は良品であると判断する。
応するニューラルネットワークの結合係数をニューラル
ネットワーク演算装置5に再設定して外観検査を順次行
ってゆく。例えば、k個の検査箇所全てに対して合格で
あれば、検査対象1は良品であると判断する。
【0044】また、検査対象1の必要な検査箇所の分だ
け撮像装置2及びニューラルネットワーク演算装置5を
設けることにより、各検査箇所の合否判断が同時に得ら
れることになる。
け撮像装置2及びニューラルネットワーク演算装置5を
設けることにより、各検査箇所の合否判断が同時に得ら
れることになる。
【0045】また、実施例では4つの照度検出器4a〜
4dを用いているが、1以上の照度検出器であれば良
い。
4dを用いているが、1以上の照度検出器であれば良
い。
【0046】
【発明の効果】以上説明したことから明らかなように、
本発明によれば次のような効果がある。相関値とその相
関値を得た時の様々な照度条件とによりニューラルネッ
トワーク演算装置を学習させることにより、検査対象周
囲の照度の変動の影響を受けにくく、検査対象の外観の
変更に容易に対応できるニューラルネットワークによる
外観検査装置が実現できる。
本発明によれば次のような効果がある。相関値とその相
関値を得た時の様々な照度条件とによりニューラルネッ
トワーク演算装置を学習させることにより、検査対象周
囲の照度の変動の影響を受けにくく、検査対象の外観の
変更に容易に対応できるニューラルネットワークによる
外観検査装置が実現できる。
【図1】本発明に係るニューラルネットワークによる外
観検査装置の一実施例を示す構成ブロック図である。
観検査装置の一実施例を示す構成ブロック図である。
【図2】ニューラルネットワーク演算装置の一例を示す
構成図である。
構成図である。
【図3】入力画像とテンプレート画像の関係を示す説明
図である。
図である。
1 検査対象 2 撮像装置 3 相関値演算装置 4a,4b,4c,4d 照度検出器 5 ニューラルネットワーク演算装置 6,7,8,9,10a,10b,10c,11 ニュ
ーロン 100,101,102,103,104,105 出
力信号
ーロン 100,101,102,103,104,105 出
力信号
フロントページの続き (56)参考文献 特開 平5−248829(JP,A) 特開 平3−282975(JP,A) 特開 平4−248449(JP,A) 特開 平3−276379(JP,A) 特開 平4−329345(JP,A) 特開 平4−222064(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 1/00 G06T 7/00 - 7/60 G01B 11/00 - 11/30 G01N 21/84 - 21/958 G06N 3/00
Claims (1)
- 【請求項1】検査対象の濃淡画像と良品の濃淡画像との
相関値を用いた外観検査装置において、 前記検査対象の検査箇所を撮像する撮像装置と、 前記検査対象周囲の照度を検出する照度検出器と、 前記撮像装置の出力と前記良品の検査箇所の濃淡画像と
の相関値を演算する相関値演算装置と、 前記照度検出器の出力と前記相関値演算装置の出力とに
基づき前記検査対象の検査箇所の合否を判断するニュー
ラルネットワーク演算装置とを備えたことを特徴とする
ニューラルネットワークによる外観検査装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26891693A JP3173690B2 (ja) | 1993-10-27 | 1993-10-27 | ニューラルネットワークによる外観検査装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26891693A JP3173690B2 (ja) | 1993-10-27 | 1993-10-27 | ニューラルネットワークによる外観検査装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07121717A JPH07121717A (ja) | 1995-05-12 |
JP3173690B2 true JP3173690B2 (ja) | 2001-06-04 |
Family
ID=17465063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP26891693A Expired - Fee Related JP3173690B2 (ja) | 1993-10-27 | 1993-10-27 | ニューラルネットワークによる外観検査装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3173690B2 (ja) |
-
1993
- 1993-10-27 JP JP26891693A patent/JP3173690B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH07121717A (ja) | 1995-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
CN103093458B (zh) | 关键帧的检测方法及装置 | |
CN113283529A (zh) | 一种面向多模态图像能见度检测的神经网络构建方法 | |
KR102391853B1 (ko) | 영상 정보 처리 시스템 및 방법 | |
CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
CN113065431B (zh) | 一种基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法 | |
WO2022000855A1 (zh) | 一种目标检测方法及装置 | |
CN114663392A (zh) | 一种基于知识蒸馏的工业图像缺陷检测方法 | |
CN110891172B (zh) | 坏点检测及校正装置 | |
JP3173690B2 (ja) | ニューラルネットワークによる外観検査装置 | |
JPH07239938A (ja) | 検査方法 | |
CN116935033A (zh) | 基于卷积神经网络的红外目标检测识别方法 | |
JP3344731B2 (ja) | 栗の形状識別方法 | |
KR100338473B1 (ko) | 다-차원 신경 회로망을 이용한 얼굴 검출 방법 및 그 장치 | |
CN114943724A (zh) | 一种粉尘检测定位方法 | |
JP3127598B2 (ja) | 画像中の濃度変動構成画素抽出方法および濃度変動塊判定方法 | |
JPH08272926A (ja) | 人数検出装置 | |
JPH066796A (ja) | 監視装置 | |
JPH04200081A (ja) | 撮像装置 | |
JPH117536A (ja) | ニューラルネットワークを用いた画像認識装置、画像認識方法、及び変換装置 | |
JPH08138025A (ja) | 画像識別パラメータの決定方法及び画像認識方法 | |
JP3324726B2 (ja) | 画像認識装置 | |
JP2548462B2 (ja) | 監視装置 | |
WO2024195553A1 (ja) | 架線金具異常検出装置および方法 | |
JPH09330406A (ja) | 学習支援装置およびパターン認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090330 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090330 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100330 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |