JP3442496B2 - Position recognition method, inspection method and apparatus using the same, and control method and apparatus - Google Patents

Position recognition method, inspection method and apparatus using the same, and control method and apparatus

Info

Publication number
JP3442496B2
JP3442496B2 JP21238394A JP21238394A JP3442496B2 JP 3442496 B2 JP3442496 B2 JP 3442496B2 JP 21238394 A JP21238394 A JP 21238394A JP 21238394 A JP21238394 A JP 21238394A JP 3442496 B2 JP3442496 B2 JP 3442496B2
Authority
JP
Japan
Prior art keywords
screen
measurement target
absolute
recognized
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP21238394A
Other languages
Japanese (ja)
Other versions
JPH0875419A (en
Inventor
敏克 志村
一司 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP21238394A priority Critical patent/JP3442496B2/en
Publication of JPH0875419A publication Critical patent/JPH0875419A/en
Application granted granted Critical
Publication of JP3442496B2 publication Critical patent/JP3442496B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、測定対象の絶対位置を
認識する位置認識方法、それを利用した検査方法及び装
置、並びに制御方法及び装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a position recognition method for recognizing an absolute position of a measuring object, an inspection method and apparatus using the same, and a control method and apparatus.

【0002】[0002]

【従来の技術】近年の産業機器の自動化、高精度化の要
求に伴い、測定対象の絶対位置を高精度に認識する位置
認識方法が求められている。従来の代表的な位置認識方
法を図4及び図5を用いて説明する。図4に示す位置認
識方法は、基準点と測定対象を撮像し、その撮像画面か
ら基準点と測定対象を認識して、測定対象の絶対位置を
認識する。例えば、図4の第1の画面では、基準点O
1、O2と測定対象Aとを撮像し、その撮像画面から基
準点O1、O2と測定対象Aを認識して、基準点O1、
O2に対する測定対象Aの絶対位置を認識する。基準点
O1、O2に対する測定対象Aの設計値から、測定対象
Aの位置ずれを把握することも可能である。なお、O′
は画面原点である。
2. Description of the Related Art With the recent demand for automation and high precision of industrial equipment, a position recognition method for recognizing the absolute position of a measuring object with high accuracy is required. A conventional typical position recognition method will be described with reference to FIGS. 4 and 5. The position recognition method shown in FIG. 4 images a reference point and a measurement target, recognizes the reference point and the measurement target from the imaged screen, and recognizes the absolute position of the measurement target. For example, on the first screen of FIG. 4, the reference point O
1, O2 and the measuring object A are imaged, the reference points O1, O2 and the measuring object A are recognized from the image pickup screen, and the reference point O1,
The absolute position of the measuring object A with respect to O2 is recognized. It is also possible to grasp the positional deviation of the measurement target A from the design value of the measurement target A with respect to the reference points O1 and O2. In addition, O '
Is the screen origin.

【0003】また、測定対象Bの絶対位置を認識する場
合には、図4の第2の画面に示すように、同一画面内に
別の基準点O3、O4と測定対象Bとを含むように撮像
位置を移動し、その撮像画面から基準点O3、O4と測
定対象Bを認識して、基準点O3、O4に対する測定対
象Bの絶対位置を認識する。図5に示す位置認識方法
は、基準点を撮像した後に、高精度な送り装置により測
定対象を移動させることにより、測定対象の絶対位置を
認識する。例えば、図5の第1の画面では、基準点O
1、O2を撮像し、その撮像画面から基準点O1、O2
を認識する。なお、O′は画面原点である。
When recognizing the absolute position of the measuring object B, as shown in the second screen of FIG. 4, it is necessary to include different reference points O3 and O4 and the measuring object B in the same screen. The imaging position is moved, the reference points O3 and O4 and the measurement target B are recognized from the imaging screen, and the absolute position of the measurement target B with respect to the reference points O3 and O4 is recognized. The position recognition method shown in FIG. 5 recognizes the absolute position of the measurement target by moving the measurement target with a highly accurate feeding device after imaging the reference point. For example, on the first screen of FIG. 5, the reference point O
1, O2 are imaged, and reference points O1, O2 are picked up from the imaged screen.
Recognize. Incidentally, O'is the origin of the screen.

【0004】次に、高精度な送り装置を用いて、図5の
第2の画面に示すように、測定対象Aが撮像画面内に含
まれるまで移動して撮像する。その撮像画面から測定対
象Aを認識する。送り装置による移動量は、例えば、送
り装置のボールネジのリードに移動時のモータ回転量を
掛けて求める。測定対象Aの認識位置に送り装置による
移動量を加味して、基準点O1、O2に対する測定対象
Aの絶対位置を認識する。
Next, as shown in the second screen of FIG. 5, a high-accuracy feeding device is used to move the object to be measured A until it is included in the image-capturing screen and image it. The measurement target A is recognized from the captured screen. The amount of movement by the feeding device is obtained, for example, by multiplying the lead of the ball screw of the feeding device by the amount of motor rotation during movement. The absolute position of the measurement target A with respect to the reference points O1 and O2 is recognized by adding the movement amount of the feeding device to the recognition position of the measurement target A.

【0005】[0005]

【発明が解決しようとする課題】しかしながら、図4に
示す位置認識方法によれば、測定対象の絶対位置を認識
するためには、撮像する同一画面内に必ず基準点が存在
する必要があるという問題があった。このため、基準点
から離れた測定対象の位置を認識することができなかっ
た。
However, according to the position recognition method shown in FIG. 4, in order to recognize the absolute position of the measuring object, the reference point must be present in the same screen imaged. There was a problem. For this reason, it was not possible to recognize the position of the measurement target that was distant from the reference point.

【0006】一方、図5に示す位置認識方法によれば、
基準点から離れた測定対象の位置を認識することができ
るものの、その認識精度は送り装置の精度に依存し、非
常に高精度な送り装置を必要とするという問題があっ
た。本発明の目的は、高精度な送り装置を必要とせず、
基準点から離れた測定対象の位置も認識することができ
る位置認識方法、それを利用した検査方法及び装置、並
びに制御方法及び装置を提供することにある。
On the other hand, according to the position recognition method shown in FIG.
Although it is possible to recognize the position of the measuring object away from the reference point, the recognition accuracy depends on the accuracy of the feeding device, and there is a problem that a very highly accurate feeding device is required. The object of the present invention does not require a highly accurate feeding device,
It is an object of the present invention to provide a position recognition method capable of recognizing a position of a measurement target apart from a reference point, an inspection method and device using the position recognition method, and a control method and device.

【0007】[0007]

【課題を解決するための手段】上記目的は、基準点と第
1の測定対象とを含む第1の画面を撮像し、前記第1の
画面から前記基準点を認識し、前記基準点に対する前記
第1の測定対象の設計値に基づいて、前記第1の画面内
における前記第1の測定対象の絶対設計位置を算出し、
前記第1の画面から前記第1の測定対象の特徴点位置を
認識し、前記第1の画面内における前記第1の測定対象
の絶対設計位置と特徴点位置との第1の位置関係を記憶
する第1のステップと、前記第1の測定対象と第2の測
定対象とを含む第2の画面を撮像し、前記第2の画面か
ら前記第1の測定対象の特徴点位置を認識し、前記第2
の画面内における前記第1の測定対象の特徴点位置と、
記憶された前記第1の位置関係とに基づいて、前記第2
の画面内における前記第1の測定対象の絶対設計位置を
算出し、前記第1の測定対象の絶対設計位置に対する前
記第2の測定対象の設計値に基づいて、前記第2の画面
内における前記第2の測定対象の絶対設計位置を算出
し、前記第2の画面から前記第2の測定対象の特徴点位
置を認識し、前記第2の画面内における前記第2の測定
対象の絶対設計位置と特徴点位置との第2の位置関係を
記憶する第2のステップとを有し、前記第2の位置関係
から前記第2の測定対象の絶対位置を認識することを特
徴とする位置認識方法によって達成される。
The object is to capture an image of a first screen including a reference point and a first measurement object, recognize the reference point from the first screen, Calculating an absolute design position of the first measurement target in the first screen based on a design value of the first measurement target;
The feature point position of the first measurement target is recognized from the first screen, and the first positional relationship between the absolute design position of the first measurement target and the feature point position in the first screen is stored. And a second screen including the first measurement target and the second measurement target, and recognizing the feature point position of the first measurement target from the second screen, The second
Position of the feature point of the first measurement target in the screen of
Based on the stored first positional relationship, the second
Calculating an absolute design position of the first measurement target in the screen of, and based on a design value of the second measurement target with respect to the absolute design position of the first measurement target, in the second screen The absolute design position of the second measurement target is calculated, the feature point position of the second measurement target is recognized from the second screen, and the absolute design position of the second measurement target in the second screen. And a second step of storing a second positional relationship between the characteristic point position and the position of the characteristic point, and recognizing the absolute position of the second measurement target from the second positional relationship. Achieved by

【0008】上述した位置認識方法において、複数の測
定対象に対して、前記第2のステップに相当するステッ
プを順次適用することにより、前記複数の測定対象の絶
対位置を認識することが望ましい。上記目的は、上述し
た位置認識方法により認識された前記測定対象の絶対設
計位置と特徴点位置との位置関係に基づいて、前記測定
対象の形成位置の位置ずれ量を検査することを特徴とす
る検査方法によって達成される。
In the position recognition method described above, it is desirable to recognize the absolute positions of the plurality of measurement objects by sequentially applying the steps corresponding to the second step to the plurality of measurement objects. The above-mentioned object is characterized by inspecting the amount of positional deviation of the formation position of the measurement target based on the positional relationship between the absolute design position of the measurement target and the feature point position recognized by the position recognition method described above. Achieved by inspection method.

【0009】上記目的は、位置認識方法により認識され
た前記測定対象の絶対設計位置と特徴点位置との位置関
係に基づいて、前記測定対象の形成位置の位置ずれ量を
検査することを特徴とする検査装置によって達成され
る。上記目的は、測定対象を相対的に移動する移動手段
を制御する制御方法において、上述した位置認識方法に
より認識された前記測定対象の絶対位置に基づいて、前
記第1の画面に対する前記第2の画面又は前記第3の画
面の絶対位置を算出し、前記第2の画面又は前記第3の
画面の絶対位置に基づいて、前記移動手段の移動量を補
正しながら制御することを特徴とする制御方法によって
達成される。
The above object is to inspect the amount of positional deviation of the formation position of the measurement target based on the positional relationship between the absolute design position of the measurement target and the feature point position recognized by the position recognition method. It is achieved by the inspection device. In the control method for controlling the moving unit that relatively moves the measurement target, the above-mentioned object is based on the absolute position of the measurement target recognized by the position recognition method described above, and the second screen for the first screen is displayed. A control characterized by calculating an absolute position of the screen or the third screen, and controlling while correcting the moving amount of the moving means based on the absolute position of the second screen or the third screen. Achieved by the method.

【0010】上記目的は、測定対象を相対的に移動する
移動手段を制御する制御装置において、上述した位置認
識方法により認識された前記測定対象の絶対位置に基づ
いて、前記第1の画面に対する前記第2の画面又は前記
第3の画面の絶対位置を算出し、前記第2の画面又は前
記第3の画面の絶対位置に基づいて、前記移動手段の移
動量を補正しながら制御することを特徴とする制御装置
によって達成される。
In the control device for controlling the moving means for relatively moving the measuring object, the above-mentioned object is based on the absolute position of the measuring object recognized by the above-described position recognizing method, and An absolute position of the second screen or the third screen is calculated, and control is performed while correcting the moving amount of the moving unit based on the absolute position of the second screen or the third screen. It is achieved by the control device.

【0011】[0011]

【作用】本発明によれば、基準点と第1の測定対象とを
含む第1の画面を撮像し、前記第1の画面から前記基準
点を認識し、前記基準点に対する前記第1の測定対象の
設計値に基づいて、前記第1の画面内における前記第1
の測定対象の絶対設計位置を算出し、前記第1の画面か
ら前記第1の測定対象の特徴点位置を認識し、前記第1
の画面内における前記第1の測定対象の絶対設計位置と
特徴点位置との第1の位置関係を記憶する第1のステッ
プと、前記第1の測定対象と第2の測定対象とを含む第
2の画面を撮像し、前記第2の画面から前記第1の測定
対象の特徴点位置を認識し、前記第2の画面内における
前記第1の測定対象の特徴点位置と、記憶された前記第
1の位置関係とに基づいて、前記第2の画面内における
前記第1の測定対象の絶対設計位置を算出し、前記第1
の測定対象の絶対設計位置に対する前記第2の測定対象
の設計値に基づいて、前記第2の画面内における前記第
2の測定対象の絶対設計位置を算出し、前記第2の画面
から前記第2の測定対象の特徴点位置を認識し、前記第
2の画面内における前記第2の測定対象の絶対設計位置
と特徴点位置との第2の位置関係を記憶する第2のステ
ップとを有し、前記第2の位置関係から前記第2の測定
対象の絶対位置を認識するようにしたので、高精度な送
り装置を必要とせず、基準点から離れた測定対象の位置
も認識することができる。
According to the present invention, the first screen including the reference point and the first measurement object is imaged, the reference point is recognized from the first screen, and the first measurement with respect to the reference point is performed. The first screen in the first screen based on the target design value.
Calculating the absolute design position of the measurement target, recognizing the feature point position of the first measurement target from the first screen,
A first step of storing a first positional relationship between an absolute design position and a feature point position of the first measurement target in the screen of, and a first measurement target and a second measurement target. Image of the second screen, the feature point position of the first measurement target is recognized from the second screen, and the feature point position of the first measurement target in the second screen and the stored The absolute design position of the first measurement target in the second screen is calculated based on the first positional relationship,
Calculating an absolute design position of the second measurement target in the second screen based on a design value of the second measurement target with respect to the absolute design position of the measurement target of the second screen. A second step of recognizing the feature point position of the second measurement target and storing a second positional relationship between the absolute design position of the second measurement target and the feature point position in the second screen. However, since the absolute position of the second measurement target is recognized from the second positional relationship, it is possible to recognize the position of the measurement target distant from the reference point without requiring a highly accurate feeding device. it can.

【0012】上述した位置認識装置において、複数の測
定対象に対して、前記第2のステップに相当するステッ
プを順次適用することにより、前記複数の測定対象の絶
対位置を認識するようにすれば、高精度な送り装置を必
要とせず、基準点から更に離れた測定対象の位置も認識
することができる。また、上述した位置認識方法により
認識された前記測定対象の絶対設計位置と特徴点位置と
の位置関係に基づいて、前記測定対象の形成位置の位置
ずれ量を検査するようにしたので、高精度な送り装置を
必要とせず、基準点から更に離れた測定対象の位置ずれ
を検査することができる。
In the above-mentioned position recognition apparatus, if the steps corresponding to the second step are sequentially applied to a plurality of measurement objects to recognize the absolute positions of the plurality of measurement objects, It is possible to recognize the position of the measuring object further away from the reference point without requiring a highly accurate feeding device. In addition, based on the positional relationship between the absolute design position and the feature point position of the measurement target recognized by the position recognition method described above, the amount of positional deviation of the formation position of the measurement target is inspected. It is possible to inspect the displacement of the measurement object further away from the reference point without requiring a separate feeding device.

【0013】さらに、上述した位置認識方法により認識
された前記測定対象の絶対位置に基づいて、前記第1の
画面に対する前記第2の画面又は前記第3の画面の絶対
位置を算出し、前記第2の画面又は前記第3の画面の絶
対位置に基づいて、前記移動手段の移動量を補正しなが
ら制御するようにしたので、移動手段を高精度に制御す
ることができる。
Further, the absolute position of the second screen or the third screen with respect to the first screen is calculated based on the absolute position of the measurement target recognized by the position recognition method described above, and the absolute position of the second screen or the third screen is calculated. Since the control is performed while correcting the movement amount of the moving means based on the absolute position of the second screen or the third screen, the moving means can be controlled with high accuracy.

【0014】[0014]

【実施例】実施例の説明の前に、本発明による位置認識
方法の原理について図1を用いて説明する。本発明の位
置認識方法においては、撮像する1画面内には、基準点
と少なくともひとつの測定対象が含まれるか、少なくと
も2つの測定対象が含まれる必要があり、それに応じた
撮像倍率を定めておく。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Before explaining the embodiments, the principle of the position recognition method according to the present invention will be explained with reference to FIG. In the position recognition method of the present invention, it is necessary that at least one measurement target or at least two measurement targets be included in one screen to be imaged, and an imaging magnification corresponding to that is determined. deep.

【0015】まず、画面上に任意に画面原点O′
(XG ,YG )を設定する。次に、測定対象を相対的に
移動して、画面内に基準点O1、O2と測定対象1が含
まれるような撮像画面を設定し、第1の画面を撮像す
る。この第1の画面から基準点O1、O2を画像処理に
より認識し、その座標値O1(XO1、YO1)、O2(X
O2、YO2)を決定する。
First, the screen origin O'is arbitrarily set on the screen.
Set (X G , Y G ). Next, the measurement target is relatively moved to set an imaging screen such that the reference points O1 and O2 and the measurement target 1 are included in the screen, and the first screen is imaged. The reference points O1 and O2 are recognized from the first screen by image processing, and their coordinate values O1 (X O1 , Y O1 ) and O2 (X
O2 , Y O2 ) is determined.

【0016】次に、基準点O1、O2に対する測定対象
1の設計値に基づいて、測定対象1の絶対設計位置A′
(X1 ,Y1 )を算出する。なお、この絶対設計位置
A′(X1 ,Y1 )は仮想的な第1の画面内の位置であ
り、実際の測定対象1の形成位置ではない。次に、第1
の画面から測定対象1の特徴点を画像処理により認識
し、測定対象1の特徴点位置A(X11,Y11)を決定す
る。この特徴点は測定対象の形状により適宜定められ、
例えば、測定対象の重心位置を特徴点とする。
Next, based on the design value of the measuring object 1 with respect to the reference points O1 and O2, the absolute design position A'of the measuring object 1 is obtained.
Calculate (X 1 , Y 1 ). The absolute design position A ′ (X 1 , Y 1 ) is a virtual position on the first screen, and is not the actual formation position of the measurement target 1. Then the first
The feature point of the measurement target 1 is recognized by the image processing from the screen, and the feature point position A (X 11 , Y 11 ) of the measurement target 1 is determined. This feature point is appropriately determined by the shape of the measurement target,
For example, the position of the center of gravity of the measurement target is used as the characteristic point.

【0017】次に、第1の画面内における、測定対象1
の絶対設計位置A′(X1 ,Y1 )と特徴点位置A(X
11,Y11)との位置関係、例えば、測定対象1の絶対設
計位置A′(X1 ,Y1 )に対する特徴点位置A
(X11,Y11)の位置ずれ量を記憶する。これにより、
形成された測定対象1の絶対位置を認識することができ
る。
Next, the measurement target 1 in the first screen is displayed.
Absolute design position A '(X 1 , Y 1 ) and feature point position A (X
11 , Y 11 ), for example, the feature point position A with respect to the absolute design position A ′ (X 1 , Y 1 ) of the measurement target 1.
The displacement amount of (X 11 , Y 11 ) is stored. This allows
The absolute position of the formed measurement target 1 can be recognized.

【0018】次に、測定対象を相対的に移動して、既に
絶対位置を認識した測定対象1と他の測定対象2が含ま
れるような撮像画面を設定し、第2の画面を撮像する。
次に、この第2の画面から測定対象1の特徴点を画像処
理により認識し、測定対象1の特徴点位置Aを決定す
る。次に、第2の画面内における測定対象1の特徴点位
置Aと、記憶された測定対象1の絶対設計位置A′と特
徴点位置Aとの位置関係とに基づいて、第2の画面内に
おける測定対象1の絶対設計位置A′を算出する。これ
により、第2の画面内における測定対象1の絶対設計位
置A′がわかる。
Next, the measurement object is relatively moved to set an imaging screen including the measurement object 1 and the other measurement object 2 whose absolute position has already been recognized, and the second screen is imaged.
Next, the feature points of the measurement target 1 are recognized from the second screen by image processing, and the feature point position A of the measurement target 1 is determined. Next, based on the characteristic point position A of the measuring object 1 in the second screen and the stored positional relationship between the absolute design position A ′ of the measuring object 1 and the characteristic point position A, the second screen is displayed. The absolute design position A ′ of the measuring object 1 at is calculated. As a result, the absolute design position A ′ of the measuring object 1 in the second screen can be known.

【0019】次に、測定対象1の絶対設計位置A′に対
する測定対象2の設計値に基づいて、測定対象2の絶対
設計位置B′(X2 ,Y2 )を算出する。なお、この絶
対設計位置B′(X2 ,Y2 )は仮想的な第2の画面内
の位置であり、実際の測定対象2の形成位置ではない。
次に、第2の画面から測定対象2の特徴点を画像処理に
より認識し、測定対象2の特徴点位置B(X21,Y21
を決定する。
Next, the absolute design position B '(X 2 , Y 2 ) of the measurement target 2 is calculated based on the design value of the measurement target 2 with respect to the absolute design position A'of the measurement target 1. The absolute design position B ′ (X 2 , Y 2 ) is a virtual position within the second screen, and is not the actual formation position of the measuring object 2.
Next, the feature point of the measurement target 2 is recognized from the second screen by image processing, and the feature point position B (X 21 , Y 21 ) of the measurement target 2 is recognized.
To decide.

【0020】次に、第2の画面内における、測定対象2
の絶対設計位置B′(X2 ,Y2 )と特徴点位置B(X
21,Y21)との位置関係、すなわち、測定対象2の絶対
設計位置B′(X2 ,Y2 )から特徴点位置B(X21
21)の位置ずれ量を記憶する。これにより、第2の画
面内には基準点が存在しないが、測定対象2の絶対設計
位置B′(X2 ,Y2 )がわかっているので、形成され
た測定対象2の絶対位置を認識することができる。
Next, the measurement target 2 in the second screen is displayed.
Absolute design position B ′ (X 2 , Y 2 ) and feature point position B (X
21 , Y 21 ), that is, from the absolute design position B ′ (X 2 , Y 2 ) of the measuring object 2 to the feature point position B (X 21 ,
The amount of displacement of Y 21 ) is stored. As a result, although the reference point does not exist in the second screen, the absolute design position B ′ (X 2 , Y 2 ) of the measurement target 2 is known, and thus the formed absolute position of the measurement target 2 is recognized. can do.

【0021】次に、測定対象を相対的に移動して、既に
絶対位置を認識した測定対象2と他の測定対象が含まれ
るような撮像画面を設定すれば、同様にして新たな測定
対象の絶対位置を認識することができ、以降、これを繰
り返せば、基準点から離れた測定対象の絶対位置を正確
に認識できる。なお、本発明によれば、撮像画面自体か
ら絶対位置を定めるようにしているので、その位置決め
精度は、測定対象を移動する送り装置の送り精度に依存
することがない。
Next, by moving the measuring object relatively and setting an image pickup screen including the measuring object 2 whose absolute position has already been recognized and another measuring object, a new measuring object is similarly set. The absolute position can be recognized, and thereafter, by repeating this, the absolute position of the measurement object distant from the reference point can be accurately recognized. According to the present invention, since the absolute position is determined from the image pickup screen itself, the positioning accuracy does not depend on the feeding accuracy of the feeding device that moves the measurement target.

【0022】次に、本発明の一実施例によるバンプ検査
装置を図2及び図3を用いて説明する。本実施例のバン
プ検査装置は上述した本発明による位置認識方法の原理
を利用している。バンプ検査装置全体を制御するために
コンピュータ10が設けられている。コントローラ12
はドライバ14を介して送り装置16を駆動制御する。
測定試料30は、この送り装置16に搭載されている。
測定試料30は撮像装置22により撮像され、その撮像
画面は画像処理装置24により画像処理される。
Next, a bump inspection apparatus according to an embodiment of the present invention will be described with reference to FIGS. The bump inspection apparatus of this embodiment utilizes the principle of the position recognition method according to the present invention described above. A computer 10 is provided to control the entire bump inspection apparatus. Controller 12
Controls the feeding device 16 via the driver 14.
The measurement sample 30 is mounted on the feeding device 16.
The measurement sample 30 is imaged by the image pickup device 22, and the image pickup screen is image-processed by the image processing device 24.

【0023】本実施例における測定試料30は半導体ウ
エーハであって、半導体ウエーハには半導体素子パター
ンがマトリックス状に形成され、その半導体素子パター
ンを分離するためのスクライブラインが縦横に形成され
ている。各半導体素子パターンには外縁近傍に多数のバ
ンプが一定ピッチで形成されている。本実施例のバンプ
検査装置は、半導体素子パターン32に形成されたバン
プ40、41、…の形状を検査するためのものである。
基準点としては、半導体素子パターン32を分離するた
めのスクライブライン34を基準としている。以下、図
3を用いて、その検査方法について説明する。
The measurement sample 30 in this embodiment is a semiconductor wafer, and semiconductor element patterns are formed in a matrix on the semiconductor wafer, and scribe lines for separating the semiconductor element patterns are formed vertically and horizontally. A large number of bumps are formed at a constant pitch in the vicinity of the outer edge of each semiconductor element pattern. The bump inspection apparatus of this embodiment is for inspecting the shape of the bumps 40, 41, ... Formed on the semiconductor element pattern 32.
A scribe line 34 for separating the semiconductor element pattern 32 is used as a reference point. The inspection method will be described below with reference to FIG.

【0024】まず、画面上に任意に画面原点O′
(XG ,YG )を設定する。次に、測定試料30を送り
装置16により移動して、撮像装置22による撮像画面
内にスクライブライン34と1個目のバンプ40が含ま
れるように設定し、第1の画面を撮像する。この第1の
画面からスクライブライン34を画像処理装置24によ
る画像処理により認識し、スクライブライン34が交差
する交差点と、スクライブライン34上の任意の点を基
準点O1、O2として、その座標値O1(XO1
O1)、O2(XO2、YO2)を決定する。
First, the screen origin O'is arbitrarily set on the screen.
Set (X G , Y G ). Next, the measurement sample 30 is moved by the feeding device 16 and set so that the scribe line 34 and the first bump 40 are included in the imaging screen of the imaging device 22, and the first screen is imaged. The scribe line 34 is recognized from the first screen by image processing by the image processing device 24, and an intersection point where the scribe line 34 intersects and an arbitrary point on the scribe line 34 are set as reference points O1 and O2, and their coordinate values O1 are set. (X O1 ,
Y O1 ) and O2 (X O2 , Y O2 ) are determined.

【0025】次に、基準点O1、O2に対するバンプ4
0の設計値に基づいて、バンプ40の絶対設計位置A′
(X1 ,Y1 )を算出する。次に、第1の画面からバン
プ40の特徴点として、その重心位置を画像処理装置2
4による画像処理により認識し、バンプ40の特徴点位
置A(X11,Y11)を決定する。
Next, the bump 4 for the reference points O1 and O2
Based on the design value of 0, the absolute design position A ′ of the bump 40 is
Calculate (X 1 , Y 1 ). Next, the barycentric position of the bump 40 as the characteristic point of the bump 40 is displayed on the first screen.
The position A (X 11 , Y 11 ) of the characteristic point of the bump 40 is determined by recognition through the image processing of 4.

【0026】次に、第1の画面内における、バンプ40
の絶対設計位置A′(X1 ,Y1 )と特徴点位置A(X
11,Y11)との位置関係、例えば、測定対象1の絶対設
計位置A′(X1 ,Y1 )に対する特徴点位置A
(X11,Y11)の位置ずれ量(X11−X1 ,Y11
1 )を記憶する。これにより、形成されたバンプ40
の絶対位置を認識することができる。
Next, the bump 40 in the first screen is displayed.
Absolute design position A '(X 1 , Y 1 ) and feature point position A (X
11 , Y 11 ), for example, the feature point position A with respect to the absolute design position A ′ (X 1 , Y 1 ) of the measurement target 1.
(X 11, Y 11) positional deviation amount of (X 11 -X 1, Y 11 -
Y 1 ) is memorized. Thereby, the formed bump 40
The absolute position of can be recognized.

【0027】次に、送り装置16により測定試料30を
移動して、撮像装置22による撮像画面内に1個目のバ
ンプ40と2個目のバンプ41が含まれるように設定
し、第2の画面を撮像する。次に、この第2の画面から
1個目のバンプ40の特徴点を画像処理装置24による
画像処理により認識し、バンプ40の特徴点位置Aを決
定する。
Next, the measuring device 30 is moved by the feeding device 16 and set so that the first bump 40 and the second bump 41 are included in the image pickup screen of the image pickup device 22, and the second bump 41 is set. Take a picture of the screen. Next, the characteristic point of the first bump 40 is recognized by the image processing by the image processing device 24 from the second screen, and the characteristic point position A of the bump 40 is determined.

【0028】次に、第2の画面内におけるバンプ40の
特徴点位置Aと、記憶されたバンプ40の絶対設計位置
A′と特徴点位置Aとの位置関係とに基づいて、第2の
画面内におけるバンプ40の絶対設計位置A′を算出す
る。次に、1個目のバンプ40の絶対設計位置A′に対
する2個目のバンプ41の設計値に基づいて、2個目の
バンプ41の絶対設計位置B′(X2 ,Y2 )を算出す
る。
Next, based on the characteristic point position A of the bump 40 in the second screen and the stored positional relationship between the absolute design position A'of the bump 40 and the characteristic point position A, the second screen is displayed. The absolute design position A ′ of the bump 40 inside is calculated. Next, the absolute design position B ′ (X 2 , Y 2 ) of the second bump 41 is calculated based on the design value of the second bump 41 with respect to the absolute design position A ′ of the first bump 40. To do.

【0029】次に、第2の画面からバンプ41の特徴点
として、その重心位置を画像処理装置24による画像処
理により認識し、バンプ測定対象2の特徴点位置B(X
21,Y21)を決定する。次に、第2の画面内における、
バンプ41の絶対設計位置B′(X2 ,Y2 )と特徴点
位置B(X21,Y21)との位置関係、すなわち、バンプ
41の絶対設計位置B′(X2 ,Y2 )から特徴点位置
B(X21,Y21)の位置ずれ量(X21−X2 ,Y21−Y
2 )を記憶する。
Next, as the characteristic point of the bump 41 from the second screen, the position of the center of gravity of the bump 41 is recognized by image processing by the image processing device 24, and the characteristic point position B (X
21 and Y 21 ) are determined. Next, in the second screen,
Absolute design position B of the bump 41 'positional relationship between the (X 2, Y 2) and the feature point position B (X 21, Y 21) , i.e., the absolute design position B of the bump 41' of (X 2, Y 2) positional deviation amount of the feature point positions B (X 21, Y 21) (X 21 -X 2, Y 21 -Y
2 ) Remember.

【0030】これにより、第2の画面内には基準点O
1、O2が存在しないが、バンプ41の絶対設計位置
B′(X2 ,Y2 )がわかっているので、バンプ41の
形成位置を認識することができる。次に、測定試料30
を移動して、2個目のバンプ41と3個目のバンプ(図
示せず)が含まれるような撮像画面を第3の画面として
設定すれば、同様にして3個目のバンプの絶対位置を認
識することができ、以降、これを繰り返せば、全てのバ
ンプ40、41、…の絶対位置を正確に認識できる。
As a result, the reference point O is displayed on the second screen.
1, O2 but it does not exist, since the absolute design position B of the bump 41 '(X 2, Y 2 ) is known, it is possible to recognize the formation position of the bump 41. Next, the measurement sample 30
Is moved and an imaging screen including the second bump 41 and the third bump (not shown) is set as the third screen, the absolute position of the third bump is similarly set. Can be recognized, and thereafter, by repeating this, the absolute positions of all the bumps 40, 41, ... Can be accurately recognized.

【0031】このように本実施例によれば、高精度な送
り装置を用いることなく、基準点から離れた測定対象の
位置も正確に認識することができる。なお、画面の移動
時には、測定試料30をバンプ40、41、…のピッチ
だけ移動するように送り装置16を制御するが、本実施
例の位置認識方法によれば、送り装置16による1ピッ
チ分の送り誤差を検査することができる。すなわち、送
り装置16により正確にバンプ40、41、…のピッチ
分だけ移動したとすれば、画面原点O′に対するバンプ
40、41、…の絶対設計位置A′の相対的位置は同じ
になるはずであるから、常に、画面原点O′に対するバ
ンプ40、41、…の絶対設計位置A′の相対的位置は
同じになるように、送り装置16の移動量を補正すれ
ば、常に正確な送り制御を行うことができる。
As described above, according to this embodiment, it is possible to accurately recognize the position of the measuring object apart from the reference point without using a highly accurate feeding device. Note that, when the screen is moved, the feeding device 16 is controlled so as to move the measurement sample 30 by the pitch of the bumps 40, 41, ... However, according to the position recognition method of the present embodiment, the feeding device 16 is used for one pitch. Can be inspected for feed error. That is, if the feeder 16 accurately moves by the pitch of the bumps 40, 41, ..., The relative positions of the absolute design positions A ′ of the bumps 40, 41, ... With respect to the screen origin O ′ should be the same. Therefore, by always correcting the moving amount of the feeding device 16 so that the relative positions of the absolute design positions A ′ of the bumps 40, 41, ... It can be performed.

【0032】本発明は上記実施例に限らず種々の変形が
可能である。例えば、上記実施例では本発明による位置
認識方法を、バンプの検査に応用したが、ワイヤボンデ
ィングにおけるパッドを本発明の位置認識方法により位
置を認識し、ワイヤボンディングを行う半導体装置を製
造するようにしてもよい。その他、半導体装置に限ら
ず、他の測定対象の検査や製造に応用することが可能で
ある。
The present invention is not limited to the above embodiment, but various modifications are possible. For example, although the position recognition method according to the present invention is applied to the bump inspection in the above embodiment, the position of the pad in wire bonding is recognized by the position recognition method of the present invention, and a semiconductor device for wire bonding is manufactured. May be. In addition, the present invention is not limited to semiconductor devices, and can be applied to inspection and manufacturing of other measurement targets.

【0033】[0033]

【発明の効果】以上の通り、本発明によれば、基準点と
第1の測定対象とを含む第1の画面を撮像し、前記第1
の画面から前記基準点を認識し、前記基準点に対する前
記第1の測定対象の設計値に基づいて、前記第1の画面
内における前記第1の測定対象の絶対設計位置を算出
し、前記第1の画面から前記第1の測定対象の特徴点位
置を認識し、前記第1の画面内における前記第1の測定
対象の絶対設計位置と特徴点位置との第1の位置関係を
記憶する第1のステップと、前記第1の測定対象と第2
の測定対象とを含む第2の画面を撮像し、前記第2の画
面から前記第1の測定対象の特徴点位置を認識し、前記
第2の画面内における前記第1の測定対象の特徴点位置
と、記憶された前記第1の位置関係とに基づいて、前記
第2の画面内における前記第1の測定対象の絶対設計位
置を算出し、前記第1の測定対象の絶対設計位置に対す
る前記第2の測定対象の設計値に基づいて、前記第2の
画面内における前記第2の測定対象の絶対設計位置を算
出し、前記第2の画面から前記第2の測定対象の特徴点
位置を認識し、前記第2の画面内における前記第2の測
定対象の絶対設計位置と特徴点位置との第2の位置関係
を記憶する第2のステップとを有し、前記第2の位置関
係から前記第2の測定対象の絶対位置を認識するように
したので、高精度な送り装置を必要とせず、基準点から
離れた測定対象の位置も認識することができる。
As described above, according to the present invention, the first screen including the reference point and the first measurement target is imaged, and the first screen is displayed.
Recognizing the reference point from the screen, and calculating the absolute design position of the first measurement target in the first screen based on the design value of the first measurement target with respect to the reference point, Recognizing the feature point position of the first measurement target from the first screen and storing a first positional relationship between the absolute design position of the first measurement target and the feature point position in the first screen. Step 1, the first measurement target and the second
Image of a second screen including the measurement target of the first measurement target is recognized from the second screen, and the feature point of the first measurement target in the second screen is recognized. The absolute design position of the first measurement target in the second screen is calculated based on the position and the stored first positional relationship, and the absolute design position of the first measurement target with respect to the absolute design position is calculated. The absolute design position of the second measurement target in the second screen is calculated based on the design value of the second measurement target, and the feature point position of the second measurement target is calculated from the second screen. A second step of recognizing and storing a second positional relationship between the absolute design position of the second measurement target and the feature point position in the second screen, and from the second positional relationship Since the absolute position of the second measurement target is recognized, high accuracy is achieved. Without requiring a feeding device, the position of the object to be measured away from the reference point can be recognized.

【0034】上述した位置認識装置において、複数の測
定対象に対して、前記第2のステップに相当するステッ
プを順次適用することにより、前記複数の測定対象の絶
対位置を認識するようにすれば、高精度な送り装置を必
要とせず、基準点から更に離れた測定対象の位置も認識
することができる。また、上述した位置認識方法により
認識された前記測定対象の絶対設計位置と特徴点位置と
の位置関係に基づいて、前記測定対象の形成位置の位置
ずれ量を検査するようにしたので、高精度な送り装置を
必要とせず、基準点から更に離れた測定対象の位置ずれ
を検査することができる。
In the position recognizing device described above, if the steps corresponding to the second step are sequentially applied to the plurality of measuring objects so as to recognize the absolute positions of the plurality of measuring objects, It is possible to recognize the position of the measuring object further away from the reference point without requiring a highly accurate feeding device. In addition, based on the positional relationship between the absolute design position and the feature point position of the measurement target recognized by the position recognition method described above, the amount of positional deviation of the formation position of the measurement target is inspected. It is possible to inspect the displacement of the measurement object further away from the reference point without requiring a separate feeding device.

【0035】さらに、上述した位置認識方法により認識
された前記測定対象の絶対位置に基づいて、前記第1の
画面に対する前記第2の画面又は前記第3の画面の絶対
位置を算出し、前記第2の画面又は前記第3の画面の絶
対位置に基づいて、前記移動手段の移動量を補正しなが
ら制御するようにしたので、移動手段を高精度に制御す
ることができる。
Further, the absolute position of the second screen or the third screen with respect to the first screen is calculated based on the absolute position of the measuring object recognized by the position recognition method described above, and the absolute position of the second screen or the third screen is calculated. Since the control is performed while correcting the movement amount of the moving means based on the absolute position of the second screen or the third screen, the moving means can be controlled with high accuracy.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明による位置認識方法の原理図である。FIG. 1 is a principle diagram of a position recognition method according to the present invention.

【図2】本発明の一実施例によるバンプ検査装置を示す
ブロック図である。
FIG. 2 is a block diagram showing a bump inspection apparatus according to an embodiment of the present invention.

【図3】本発明の一実施例によるバンプ検査方法の説明
図である。
FIG. 3 is an explanatory diagram of a bump inspection method according to an embodiment of the present invention.

【図4】従来の位置認識方法の説明図である。FIG. 4 is an explanatory diagram of a conventional position recognition method.

【図5】従来の位置認識方法の説明図である。FIG. 5 is an explanatory diagram of a conventional position recognition method.

【符号の説明】[Explanation of symbols]

10…コンピュータ 12…コントローラ 14…ドライバ 16…送り装置 22…撮像装置 24…画像処理装置 30…測定試料 32…半導体素子パターン 34…スクライブライン 40、41…バンプ 10 ... Computer 12 ... Controller 14 ... driver 16 ... Feeding device 22 ... Imaging device 24 ... Image processing device 30 ... Measurement sample 32 ... Semiconductor element pattern 34 ... scribe line 40, 41 ... Bump

フロントページの続き (56)参考文献 特開 平6−167306(JP,A) 特開 平6−129831(JP,A) 特開 平5−21506(JP,A) 特開 平4−66805(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01B 11/00 - 11/30 G06T 1/00 G06T 7/00 G06T 7/60 H01L 21/64 - 21/66 Continuation of the front page (56) Reference JP-A-6-167306 (JP, A) JP-A-6-129831 (JP, A) JP-A-5-21506 (JP, A) JP-A-4-66805 (JP , A) (58) Fields surveyed (Int.Cl. 7 , DB name) G01B 11/00-11/30 G06T 1/00 G06T 7/00 G06T 7/60 H01L 21/64-21/66

Claims (6)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 基準点と第1の測定対象とを含む第1の
画面を撮像し、前記第1の画面から前記基準点を認識
し、前記基準点に対する前記第1の測定対象の設計値に
基づいて、前記第1の画面内における前記第1の測定対
象の絶対設計位置を算出し、前記第1の画面から前記第
1の測定対象の特徴点位置を認識し、前記第1の画面内
における前記第1の測定対象の絶対設計位置と特徴点位
置との第1の位置関係を記憶する第1のステップと、 前記第1の測定対象と第2の測定対象とを含む第2の画
面を撮像し、前記第2の画面から前記第1の測定対象の
特徴点位置を認識し、前記第2の画面内における前記第
1の測定対象の特徴点位置と、記憶された前記第1の位
置関係とに基づいて、前記第2の画面内における前記第
1の測定対象の絶対設計位置を算出し、前記第1の測定
対象の絶対設計位置に対する前記第2の測定対象の設計
値に基づいて、前記第2の画面内における前記第2の測
定対象の絶対設計位置を算出し、前記第2の画面から前
記第2の測定対象の特徴点位置を認識し、前記第2の画
面内における前記第2の測定対象の絶対設計位置と特徴
点位置との第2の位置関係を記憶する第2のステップと
を有し、 前記第2の位置関係から前記第2の測定対象の絶対位置
を認識することを特徴とする位置認識方法。
1. A first screen including a reference point and a first measurement target is imaged, the reference point is recognized from the first screen, and a design value of the first measurement target with respect to the reference point. Based on the above, the absolute design position of the first measurement target in the first screen is calculated, the feature point position of the first measurement target is recognized from the first screen, and the first screen is displayed. A first step of storing a first positional relationship between the absolute design position of the first measurement target and the feature point position in the second measurement target; and a second step including the first measurement target and the second measurement target. The screen is imaged, the feature point position of the first measurement target is recognized from the second screen, and the feature point position of the first measurement target in the second screen and the stored first Of the absolute position of the first measurement target in the second screen based on A position is calculated, and an absolute design position of the second measurement target in the second screen is calculated based on the design value of the second measurement target with respect to the absolute design position of the first measurement target, The feature point position of the second measurement target is recognized from the second screen, and the second positional relationship between the absolute design position of the second measurement target and the feature point position in the second screen is stored. And a second step of performing the second step, and recognizing the absolute position of the second measurement target from the second positional relationship.
【請求項2】 請求項1記載の位置認識方法において、 複数の測定対象に対して、前記第2のステップに相当す
るステップを順次適用することにより、前記複数の測定
対象の絶対位置を認識することを特徴とする位置認識方
法。
2. The position recognition method according to claim 1, wherein the absolute positions of the plurality of measurement targets are recognized by sequentially applying the step corresponding to the second step to the plurality of measurement targets. A position recognition method characterized by the above.
【請求項3】 請求項1又は2記載の位置認識方法によ
り認識された前記測定対象の絶対設計位置と特徴点位置
との位置関係に基づいて、前記測定対象の形成位置の位
置ずれ量を検査することを特徴とする検査方法。
3. The amount of positional deviation of the formation position of the measurement target is inspected based on the positional relationship between the absolute design position of the measurement target and the feature point position recognized by the position recognition method according to claim 1. An inspection method characterized by:
【請求項4】 請求項1又は2記載の位置認識方法によ
り認識された前記測定対象の絶対設計位置と特徴点位置
との位置関係に基づいて、前記測定対象の形成位置の位
置ずれ量を検査することを特徴とする検査装置。
4. The amount of positional deviation of the formation position of the measurement target is inspected based on the positional relationship between the absolute design position of the measurement target and the feature point position recognized by the position recognition method according to claim 1. An inspection device characterized by:
【請求項5】 測定対象を相対的に移動する移動手段を
制御する制御方法において、 請求項1又は2記載の位置認識方法により認識された前
記測定対象の絶対位置に基づいて、前記第1の画面に対
する前記第2の画面又は前記第3の画面の絶対位置を算
出し、前記第2の画面又は前記第3の画面の絶対位置に
基づいて、前記移動手段の移動量を補正しながら制御す
ることを特徴とする制御方法。
5. A control method for controlling a moving means for relatively moving a measurement target, wherein the first position is determined based on an absolute position of the measurement target recognized by the position recognition method according to claim 1. The absolute position of the second screen or the third screen with respect to the screen is calculated, and control is performed while correcting the moving amount of the moving unit based on the absolute position of the second screen or the third screen. A control method characterized by the above.
【請求項6】 測定対象を相対的に移動する移動手段を
制御する制御装置において、 請求項1又は2記載の位置認識方法により認識された前
記測定対象の絶対位置に基づいて、前記第1の画面に対
する前記第2の画面又は前記第3の画面の絶対位置を算
出し、前記第2の画面又は前記第3の画面の絶対位置に
基づいて、前記移動手段の移動量を補正しながら制御す
ることを特徴とする制御装置。
6. A control device for controlling a moving means that relatively moves a measurement object, wherein the first device is based on an absolute position of the measurement object recognized by the position recognition method according to claim 1. The absolute position of the second screen or the third screen with respect to the screen is calculated, and control is performed while correcting the moving amount of the moving unit based on the absolute position of the second screen or the third screen. A control device characterized by the above.
JP21238394A 1994-09-06 1994-09-06 Position recognition method, inspection method and apparatus using the same, and control method and apparatus Expired - Fee Related JP3442496B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21238394A JP3442496B2 (en) 1994-09-06 1994-09-06 Position recognition method, inspection method and apparatus using the same, and control method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21238394A JP3442496B2 (en) 1994-09-06 1994-09-06 Position recognition method, inspection method and apparatus using the same, and control method and apparatus

Publications (2)

Publication Number Publication Date
JPH0875419A JPH0875419A (en) 1996-03-22
JP3442496B2 true JP3442496B2 (en) 2003-09-02

Family

ID=16621675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21238394A Expired - Fee Related JP3442496B2 (en) 1994-09-06 1994-09-06 Position recognition method, inspection method and apparatus using the same, and control method and apparatus

Country Status (1)

Country Link
JP (1) JP3442496B2 (en)

Also Published As

Publication number Publication date
JPH0875419A (en) 1996-03-22

Similar Documents

Publication Publication Date Title
JP3522280B2 (en) Method and apparatus for a ball bond inspection system
TWI413206B (en) A center of the wafer detection method and a recording medium on which the method is recorded
US20050273199A1 (en) Robot system
US7013039B2 (en) Image processing method, an image processing device and a bonding apparatus
JPH041505A (en) Three-dimensional position measuring method and acquiring method for work
JP3988588B2 (en) 3D measuring device
JP3095463B2 (en) 3D measurement method
JP3442496B2 (en) Position recognition method, inspection method and apparatus using the same, and control method and apparatus
JPH03161223A (en) Fitting of work
JP3101853B2 (en) Teaching method of bonding coordinates
CN113733078B (en) Method for interpreting fine control quantity of mechanical arm and computer-readable storage medium
CN110969661A (en) Image processing device and method, position calibration system and method
JP3610771B2 (en) Work position recognition method
CN110020648B (en) Workpiece measuring and positioning method
JPH0989527A (en) Method for measuring operation parameter of measuring device, and measuring device
JP3679460B2 (en) Mobile device and control method thereof
JP2974794B2 (en) Multi-view recognition method for polygonal parts
JPH06174442A (en) Bonding wire inspection device
JP2979917B2 (en) IC chip positioning method
JP4008722B2 (en) Method and apparatus for detecting floating electrode of electronic component
JP3779118B2 (en) Method for detecting displacement of camera in imaging apparatus, method for detecting tilt of camera in imaging apparatus, and method for correcting movement amount of camera in imaging apparatus
JP2000100858A (en) Component mounting device and calibrating method of imaging offset in device thereof
JPH07142530A (en) Method and means for teaching bonding coordinates
JP4091231B2 (en) Pattern alignment method
JPH0445063B2 (en)

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030610

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090620

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees