JP3578658B2 - マッチング方式およびその装置 - Google Patents
マッチング方式およびその装置 Download PDFInfo
- Publication number
- JP3578658B2 JP3578658B2 JP08266999A JP8266999A JP3578658B2 JP 3578658 B2 JP3578658 B2 JP 3578658B2 JP 08266999 A JP08266999 A JP 08266999A JP 8266999 A JP8266999 A JP 8266999A JP 3578658 B2 JP3578658 B2 JP 3578658B2
- Authority
- JP
- Japan
- Prior art keywords
- matching
- template
- detected
- variable
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、電子機器に使用される電子部品実装基板の製造装置に関し、特に、その位置認識装置のマッチング方式に関するものである。
【0002】
【従来の技術】
従来のマッチング方式として、図4と図5に基づいて正規化相関によるテンプレートマッチング方式を説明する。
まず、基準となるモデルパターンであるテンプレートAを図5(b)に示すように設定する。
【0003】
次に、図5(a)に示すように、予め設定された窓枠B内に対して、予め設定された間隔で前記テンプレートAを移動させながら、各位置においてテンプレート内の輝度平均値を検出し、その輝度平均値と、基準モデルにおけるテンプレート内の輝度平均値との比を正規化変数として検出し、この正規化変数を用いて正規化相関マッチングを行う。
【0004】
正規化相関マッチングは、検出した正規化変数を用いて、下記(1)式のような相関処理Eを検出する。
窓枠B内において各テンプレートの位置で検出された正規化相関の一致度の中で、もっとも一致度が高い位置を検出し、認識位置として出力する。
【0005】
【発明が解決しようとする課題】
しかしながら従来のマッチング方式は、毎回正規化変数を検出しながらマッチングを行うため、認識処理時間を要するという問題がある。
特に、半導体実装分野において、フリップチップ実装設備では、チップを反転し実装するため、反転受け渡し時にICずれが発生する場合があり、ずれ量に応じて処理する窓枠を大きくする必要がある。処理する窓枠を大きくすると、処理時間もさらに要するという問題がある。
【0006】
本発明は前記問題点を解決し、高速にマッチングが出来るマッチング方式を提供することを目的としている。
【0007】
【課題を解決するための手段】
本発明のマッチング方式は、正規化相関を用いたテンプレートマッチングによって、照度の大きな変化がなく同一形状の対象物を複数回視覚認識する場合において、初めて認識する際は、正規化相関によってテンプレートマッチングを行い、マッチングの一致度が予め設定されたしきい値以上の場合に、テンプレートマッチングの一致度がもっとも高い位置を認識結果として出力するとともに、この検出された位置の正規化変数を検出して保存し、2回目以降は、前記保存された正規化変数を用いてテンプレートマッチングを行い、マッチングの一致度が予め設定されたしきい値以上の場合に、マッチングの一致度がもっとも高い位置を検出し、この検出された位置の正規化変数を検出し、この正規化変数を用いて、検出された位置においてテンプレートマッチングを行い、マッチングの一致度が予め設定されたしきい値以上の場合に、認識結果として出力するとともにこの正規化変数を保存更新するようにしたものであり、このことにより、正規化変数を検出する回数を1回で済ますことが出来、照明劣化に対して追従することが出来るとともに、高速にマッチングを行うことが出来る。
【0008】
【発明の実施の形態】
本発明の請求項1に記載の発明は、テンプレートマッチングによって、同一形状の対象物を複数回視覚認識する場合において、初めて認識する際は、正規化相関によってテンプレートマッチングを行い、マッチングの一致度が予め設定されたしきい値以上の場合に、テンプレートマッチングの一致度がもっとも高い位置を認識結果として出力するとともに、この検出された位置にテンプレートを設定し、このテンプレート内の輝度平均値と予め設定されたテンプレートモデル内輝度平均値との比を検出し、これを正規化変数として保存する工程と、2回目以降は、前記保存された正規化変数を用いてテンプレートマッチングを行い、マッチングの一致度が予め設定されたしきい値以上の場合に、マッチングの一致度がもっとも高い位置を検出し、この検出された位置にテンプレートを設定し、このテンプレート内の輝度平均値と予め設定されたテンプレートモデル内輝度平均値との比として定義する正規化変数を検出し、この正規化変数を用いて、検出された位置においてテンプレートマッチングを行い、マッチングの一致度が予め設定されたしきい値以上の場合に、認識結果として出力するとともにこの正規化変数を保存更新する工程と、前記工程を繰り返し行うマッチング方式であり、このことにより、正規化変数を検出する回数を1回で済ますことが出来、照明劣化に対して追従するとともに、高速にマッチングが出来る。
【0009】
本発明の請求項2に記載の発明は、テンプレートマッチングによって、同一形状の対象物を複数回視覚認識する場合において、対象物を照明する照明手段と、対象物を撮像する撮像手段と、前記撮像された画像を保存する画像保存手段を設け、前記画像保存手段によって保存された画像データに対して請求項1に記載の手段を行うことを特徴とするマッチング装置であり、このことにより、正規化変数を検出する回数を1回で済ますことが出来、照明劣化に対して追従するとともに、高速にマッチングが出来る。
【0010】
本発明の請求項3に記載の発明は、テンプレートマッチングによって、複数形状の対象物に対して各々を複数回視覚認識する場合において、形状毎にコード番号を予め設定する工程と、コード番号を認識起動時のパラメータとして設定し、認識起動する工程と、コード番号毎に前記正規化変数をもちながら、請求項1を行う工程とを有するマッチング方式であり、このことにより、複数形状の対象物に対しても高速にマッチングが出来る。
【0011】
本発明の請求項4に記載の発明は、テンプレートマッチングによって複数形状の対象物に対して各々を複数回視覚認識する場合において、対象物を照明する照明手段と、対象物を撮像する撮像手段と、前記撮像された画像を保存する画像保存手段を設け、前記画像保存手段によって保存された画像データに対して請求項3に記載の工程を行うことを特徴とするマッチング装置であり、このことにより、複数形状の対象物に対しても、高速にマッチングが出来る。
【0012】
以下、本発明の実施の形態を図1〜図3を用いて説明する。
(実施の形態1)
図1は、本発明の画像データサンプリング方式の流れを説明するフローチャートであり、図2は、本発明のマッチング式の原理を説明する図である。図3は、本発明の画像データサンプリング装置の構成を説明する図である。
【0013】
図3において、4は認識対象物5を照明する照明手段、6は撮像手段、7はA/D変換部、8は画像メモリ部、9は画像データサンプリング部、10は制御部である。
図3において、照明手段4で照明される認識対象物5に、処理する窓枠を設定し、撮像手段6で撮像した映像信号を、A/D変換部7でデジタル化して画像データに変換し、画像メモリ8に格納する。
【0014】
次に、図1のフローチャートに従って、処理の説明を行う。
まず、図2(b)に示すように、予め基準となるモデルパターンを設定する。
次に、認識における処理方法を説明する。
まず、一回目の認識においては、(ステップS1)で処理する窓枠内において正規化相関処理によるテンプレートマッチングを行う。(ステップS2)ではマッチングの一致度が予め設定されたしきい値以上の場合に、テンプレートマッチングの一致度がもっとも高い位置を認識結果として出力(ステップS3)するとともに、(ステップS4)ではこの検出された位置にテンプレートを設定し、このテンプレート内の輝度平均値と予め設定されたテンプレートモデル内輝度平均値との比を検出し、これを正規化変数として保存する。
【0015】
正規化変数の一例として例えば、下記(2)式のように、正規化変数Ksとして算出する。
Ks=STD/INS −−−(2)
次に、2回目以降の認識において、(ステップS5)では、前記(ステップS4)で保存された正規化変数を用いて、図2(a)のように処理する窓枠内でテンプレートマッチングを行い、(ステップS6)でマッチングの一致度が予め設定されたしきい値以上の場合に、(ステップS7)ではマッチングの一致度がもっとも高い位置を検出し、この検出された位置にテンプレートを設定し、このテンプレート内の輝度平均値と予め設定されたテンプレートモデル内輝度平均値との比として定義する正規化変数を検出し、この正規化変数Ksを用いて、検出された位置においてテンプレートマッチングを行う。
【0016】
テンプレートマッチングは、検出したKsを用いて下記(3)式のように相関処理Erを検出する。
検出されたマッチングの一致度が予め設定されたしきい値以上の場合に、認識結果として出力するとともにこの正規化変数を保存更新する(ステップS8)。
【0017】
(実施の形態2)
対象物形状毎に、予めコード番号を設定し、このコード番号に正規化変数を確保する。認識時にコード番号を認識装置に入力し、認識起動する。このコード番号に対応する正規化変数を用いて処理することにより、対象物形状が複数存在する場合にも対応できる。以下は上記(実施の形態1)と同様に処理を行う。
【0018】
【発明の効果】
以上のように本発明のマッチング方式は、正常に認識した場合の検出した認識位置のみの正規化変数を検出し、更新していくため、正規化変数を検出する回数を1回で済ますことによって、照明劣化に対して追従するとともに、高速にマッチングが出来るという効果を奏する。
【0019】
さらに、複数形状の対象物に対しても、形状毎にコード番号を設定し、このコード番号毎に正規化変数をもつことによって、高速にマッチングが出来るという効果を奏する。
【図面の簡単な説明】
【図1】本発明のマッチング方式の流れを説明するフローチャート図
【図2】本発明のマッチング方式の原理説明図
【図3】本発明のマッチング方式の装置の構成図
【図4】従来のマッチング方式の流れを説明するフローチャート図
【図5】従来のマッチング方式の原理説明図
【符号の説明】
4 照明手段
5 認識対象物
6 撮像手段
7 A/D変換部
8 画像メモリ
9 画像データサンプリング部
10 制御部
【発明の属する技術分野】
本発明は、電子機器に使用される電子部品実装基板の製造装置に関し、特に、その位置認識装置のマッチング方式に関するものである。
【0002】
【従来の技術】
従来のマッチング方式として、図4と図5に基づいて正規化相関によるテンプレートマッチング方式を説明する。
まず、基準となるモデルパターンであるテンプレートAを図5(b)に示すように設定する。
【0003】
次に、図5(a)に示すように、予め設定された窓枠B内に対して、予め設定された間隔で前記テンプレートAを移動させながら、各位置においてテンプレート内の輝度平均値を検出し、その輝度平均値と、基準モデルにおけるテンプレート内の輝度平均値との比を正規化変数として検出し、この正規化変数を用いて正規化相関マッチングを行う。
【0004】
正規化相関マッチングは、検出した正規化変数を用いて、下記(1)式のような相関処理Eを検出する。
窓枠B内において各テンプレートの位置で検出された正規化相関の一致度の中で、もっとも一致度が高い位置を検出し、認識位置として出力する。
【0005】
【発明が解決しようとする課題】
しかしながら従来のマッチング方式は、毎回正規化変数を検出しながらマッチングを行うため、認識処理時間を要するという問題がある。
特に、半導体実装分野において、フリップチップ実装設備では、チップを反転し実装するため、反転受け渡し時にICずれが発生する場合があり、ずれ量に応じて処理する窓枠を大きくする必要がある。処理する窓枠を大きくすると、処理時間もさらに要するという問題がある。
【0006】
本発明は前記問題点を解決し、高速にマッチングが出来るマッチング方式を提供することを目的としている。
【0007】
【課題を解決するための手段】
本発明のマッチング方式は、正規化相関を用いたテンプレートマッチングによって、照度の大きな変化がなく同一形状の対象物を複数回視覚認識する場合において、初めて認識する際は、正規化相関によってテンプレートマッチングを行い、マッチングの一致度が予め設定されたしきい値以上の場合に、テンプレートマッチングの一致度がもっとも高い位置を認識結果として出力するとともに、この検出された位置の正規化変数を検出して保存し、2回目以降は、前記保存された正規化変数を用いてテンプレートマッチングを行い、マッチングの一致度が予め設定されたしきい値以上の場合に、マッチングの一致度がもっとも高い位置を検出し、この検出された位置の正規化変数を検出し、この正規化変数を用いて、検出された位置においてテンプレートマッチングを行い、マッチングの一致度が予め設定されたしきい値以上の場合に、認識結果として出力するとともにこの正規化変数を保存更新するようにしたものであり、このことにより、正規化変数を検出する回数を1回で済ますことが出来、照明劣化に対して追従することが出来るとともに、高速にマッチングを行うことが出来る。
【0008】
【発明の実施の形態】
本発明の請求項1に記載の発明は、テンプレートマッチングによって、同一形状の対象物を複数回視覚認識する場合において、初めて認識する際は、正規化相関によってテンプレートマッチングを行い、マッチングの一致度が予め設定されたしきい値以上の場合に、テンプレートマッチングの一致度がもっとも高い位置を認識結果として出力するとともに、この検出された位置にテンプレートを設定し、このテンプレート内の輝度平均値と予め設定されたテンプレートモデル内輝度平均値との比を検出し、これを正規化変数として保存する工程と、2回目以降は、前記保存された正規化変数を用いてテンプレートマッチングを行い、マッチングの一致度が予め設定されたしきい値以上の場合に、マッチングの一致度がもっとも高い位置を検出し、この検出された位置にテンプレートを設定し、このテンプレート内の輝度平均値と予め設定されたテンプレートモデル内輝度平均値との比として定義する正規化変数を検出し、この正規化変数を用いて、検出された位置においてテンプレートマッチングを行い、マッチングの一致度が予め設定されたしきい値以上の場合に、認識結果として出力するとともにこの正規化変数を保存更新する工程と、前記工程を繰り返し行うマッチング方式であり、このことにより、正規化変数を検出する回数を1回で済ますことが出来、照明劣化に対して追従するとともに、高速にマッチングが出来る。
【0009】
本発明の請求項2に記載の発明は、テンプレートマッチングによって、同一形状の対象物を複数回視覚認識する場合において、対象物を照明する照明手段と、対象物を撮像する撮像手段と、前記撮像された画像を保存する画像保存手段を設け、前記画像保存手段によって保存された画像データに対して請求項1に記載の手段を行うことを特徴とするマッチング装置であり、このことにより、正規化変数を検出する回数を1回で済ますことが出来、照明劣化に対して追従するとともに、高速にマッチングが出来る。
【0010】
本発明の請求項3に記載の発明は、テンプレートマッチングによって、複数形状の対象物に対して各々を複数回視覚認識する場合において、形状毎にコード番号を予め設定する工程と、コード番号を認識起動時のパラメータとして設定し、認識起動する工程と、コード番号毎に前記正規化変数をもちながら、請求項1を行う工程とを有するマッチング方式であり、このことにより、複数形状の対象物に対しても高速にマッチングが出来る。
【0011】
本発明の請求項4に記載の発明は、テンプレートマッチングによって複数形状の対象物に対して各々を複数回視覚認識する場合において、対象物を照明する照明手段と、対象物を撮像する撮像手段と、前記撮像された画像を保存する画像保存手段を設け、前記画像保存手段によって保存された画像データに対して請求項3に記載の工程を行うことを特徴とするマッチング装置であり、このことにより、複数形状の対象物に対しても、高速にマッチングが出来る。
【0012】
以下、本発明の実施の形態を図1〜図3を用いて説明する。
(実施の形態1)
図1は、本発明の画像データサンプリング方式の流れを説明するフローチャートであり、図2は、本発明のマッチング式の原理を説明する図である。図3は、本発明の画像データサンプリング装置の構成を説明する図である。
【0013】
図3において、4は認識対象物5を照明する照明手段、6は撮像手段、7はA/D変換部、8は画像メモリ部、9は画像データサンプリング部、10は制御部である。
図3において、照明手段4で照明される認識対象物5に、処理する窓枠を設定し、撮像手段6で撮像した映像信号を、A/D変換部7でデジタル化して画像データに変換し、画像メモリ8に格納する。
【0014】
次に、図1のフローチャートに従って、処理の説明を行う。
まず、図2(b)に示すように、予め基準となるモデルパターンを設定する。
次に、認識における処理方法を説明する。
まず、一回目の認識においては、(ステップS1)で処理する窓枠内において正規化相関処理によるテンプレートマッチングを行う。(ステップS2)ではマッチングの一致度が予め設定されたしきい値以上の場合に、テンプレートマッチングの一致度がもっとも高い位置を認識結果として出力(ステップS3)するとともに、(ステップS4)ではこの検出された位置にテンプレートを設定し、このテンプレート内の輝度平均値と予め設定されたテンプレートモデル内輝度平均値との比を検出し、これを正規化変数として保存する。
【0015】
正規化変数の一例として例えば、下記(2)式のように、正規化変数Ksとして算出する。
Ks=STD/INS −−−(2)
次に、2回目以降の認識において、(ステップS5)では、前記(ステップS4)で保存された正規化変数を用いて、図2(a)のように処理する窓枠内でテンプレートマッチングを行い、(ステップS6)でマッチングの一致度が予め設定されたしきい値以上の場合に、(ステップS7)ではマッチングの一致度がもっとも高い位置を検出し、この検出された位置にテンプレートを設定し、このテンプレート内の輝度平均値と予め設定されたテンプレートモデル内輝度平均値との比として定義する正規化変数を検出し、この正規化変数Ksを用いて、検出された位置においてテンプレートマッチングを行う。
【0016】
テンプレートマッチングは、検出したKsを用いて下記(3)式のように相関処理Erを検出する。
検出されたマッチングの一致度が予め設定されたしきい値以上の場合に、認識結果として出力するとともにこの正規化変数を保存更新する(ステップS8)。
【0017】
(実施の形態2)
対象物形状毎に、予めコード番号を設定し、このコード番号に正規化変数を確保する。認識時にコード番号を認識装置に入力し、認識起動する。このコード番号に対応する正規化変数を用いて処理することにより、対象物形状が複数存在する場合にも対応できる。以下は上記(実施の形態1)と同様に処理を行う。
【0018】
【発明の効果】
以上のように本発明のマッチング方式は、正常に認識した場合の検出した認識位置のみの正規化変数を検出し、更新していくため、正規化変数を検出する回数を1回で済ますことによって、照明劣化に対して追従するとともに、高速にマッチングが出来るという効果を奏する。
【0019】
さらに、複数形状の対象物に対しても、形状毎にコード番号を設定し、このコード番号毎に正規化変数をもつことによって、高速にマッチングが出来るという効果を奏する。
【図面の簡単な説明】
【図1】本発明のマッチング方式の流れを説明するフローチャート図
【図2】本発明のマッチング方式の原理説明図
【図3】本発明のマッチング方式の装置の構成図
【図4】従来のマッチング方式の流れを説明するフローチャート図
【図5】従来のマッチング方式の原理説明図
【符号の説明】
4 照明手段
5 認識対象物
6 撮像手段
7 A/D変換部
8 画像メモリ
9 画像データサンプリング部
10 制御部
Claims (4)
- テンプレートマッチングによって同一形状の対象物を複数回視覚認識する場合において、
初めて認識する際は、正規化相関によってテンプレートマッチングを行い、マッチングの一致度が予め設定されたしきい値以上の場合に、テンプレートマッチングの一致度がもっとも高い位置を認識結果として出力するとともに、この検出された位置にテンプレートを設定し、このテンプレート内の輝度平均値と予め設定されたテンプレートモデル内輝度平均値との比を検出し、これを正規化変数として保存する工程と、
2回目以降は、前記保存された正規化変数を用いてテンプレートマッチングを行い、マッチングの一致度が予め設定されたしきい値以上の場合に、マッチングの一致度がもっとも高い位置を検出し、この検出された位置にテンプレートを設定し、このテンプレート内の輝度平均値と予め設定されたテンプレートモデル内輝度平均値との比として定義する正規化変数を検出し、この正規化変数を用いて、検出された位置においてテンプレートマッチングを行い、マッチングの一致度が予め設定されたしきい値以上の場合に、認識結果として出力するとともにこの正規化変数を保存更新する工程と、
前記工程を繰り返し行う工程と
を有するマッチング方式。 - テンプレートマッチングによって同一形状の対象物を複数回視覚認識するマッチング装置であって、
対象物を照明する照明手段と、
対象物を撮像する撮像手段と、
前記撮像された画像を保存する画像保存手段と
を設け、前記画像保存手段によって保存された画像データに対して請求項1に記載の工程を行うようにした
マッチング装置。 - テンプレートマッチングによって複数形状の対象物に対して各々を複数回視覚認識する場合において、
形状毎にコード番号を予め設定する工程と、
コード番号を認識起動時のパラメータとして設定し、認識起動する工程と、
コード番号毎に前記正規化変数をもちながら請求項1を行う工程と
を有するマッチング方式。 - テンプレートマッチングによって複数形状の対象物に対して各々を複数回視覚認識するマッチング装置であって、
対象物を照明する照明手段と、
対象物を撮像する撮像手段と、
前記撮像された画像を保存する画像保存手段と
を設け、前記画像保存手段によって保存された画像データに対して請求項3に記載の工程を行うようにした
マッチング装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08266999A JP3578658B2 (ja) | 1999-03-26 | 1999-03-26 | マッチング方式およびその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08266999A JP3578658B2 (ja) | 1999-03-26 | 1999-03-26 | マッチング方式およびその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000276597A JP2000276597A (ja) | 2000-10-06 |
JP3578658B2 true JP3578658B2 (ja) | 2004-10-20 |
Family
ID=13780848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08266999A Expired - Fee Related JP3578658B2 (ja) | 1999-03-26 | 1999-03-26 | マッチング方式およびその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3578658B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5029647B2 (ja) | 2009-04-08 | 2012-09-19 | 株式会社ニコン | 被写体追尾装置、およびカメラ |
-
1999
- 1999-03-26 JP JP08266999A patent/JP3578658B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000276597A (ja) | 2000-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0128820A2 (en) | Pattern matching method and apparatus | |
WO2005024698A3 (en) | Method and apparatus for performing iris recognition from an image | |
JP3578658B2 (ja) | マッチング方式およびその装置 | |
JP2019176424A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、および、撮像装置の制御方法 | |
KR102557572B1 (ko) | 인공 신경망 장치 및 그 동작 방법 | |
JP2004362186A (ja) | テンプレートマッチング方法及び装置 | |
US20130088463A1 (en) | Apparatus and method for recognizing image with increased image recognition rate | |
US7623179B2 (en) | Storage medium and method to control auto exposure by the same | |
JP2006209277A (ja) | 物体検出装置、物体検出方法および撮像装置 | |
JP2000194861A (ja) | 画像認識方法及び装置 | |
EP1398688A3 (en) | Information processing apparatus, image formation apparatus, drawing processing method | |
CN112949423B (zh) | 物体识别方法、物体识别装置及机器人 | |
JP2702441B2 (ja) | ウェーハ識別文字認識システム | |
JP2010170198A (ja) | 物体検出装置 | |
JPH11195118A (ja) | 図形認識方法及び装置 | |
JPH1166326A (ja) | パターン認識方法及びその装置 | |
CN116830153A (zh) | 图像处理装置和图像处理方法 | |
US20070076945A1 (en) | Method of accurately determining similarity between target image and reference image | |
CN113657262A (zh) | 启动终端识别生物特征信息的方法、装置、终端及介质 | |
JP2000161917A (ja) | パターン自動検出方法及びその装置 | |
JPS59212701A (ja) | パタ−ンマツチングによる位置認識方法 | |
JPH05250461A (ja) | 画像入力方法 | |
JPH05143739A (ja) | 画像処理装置 | |
JPH09231354A (ja) | 画像データ処理装置 | |
JPH104296A (ja) | 電子部品挿入穴認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040615 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040713 |
|
LAPS | Cancellation because of no payment of annual fees |