KR100194216B1 - Position Correction Device and Method of Mobile Robot Using Vision System - Google Patents

Position Correction Device and Method of Mobile Robot Using Vision System Download PDF

Info

Publication number
KR100194216B1
KR100194216B1 KR1019960018189A KR19960018189A KR100194216B1 KR 100194216 B1 KR100194216 B1 KR 100194216B1 KR 1019960018189 A KR1019960018189 A KR 1019960018189A KR 19960018189 A KR19960018189 A KR 19960018189A KR 100194216 B1 KR100194216 B1 KR 100194216B1
Authority
KR
South Korea
Prior art keywords
robot
landmark
work table
cameras
work
Prior art date
Application number
KR1019960018189A
Other languages
Korean (ko)
Other versions
KR970073891A (en
Inventor
손태규
Original Assignee
윤종용
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자주식회사 filed Critical 윤종용
Priority to KR1019960018189A priority Critical patent/KR100194216B1/en
Publication of KR970073891A publication Critical patent/KR970073891A/en
Application granted granted Critical
Publication of KR100194216B1 publication Critical patent/KR100194216B1/en

Links

Abstract

작업 위치 좌표점과 작업대에 장착되어 있는 기준 랜드마크 위치에 해당된 데이터를 각각 비전 제어기에 설정하고 저장하는 제1단계와, 상기 제1단계를 수행한 후 비전 제어기가 구비된 로봇이 탑재된 이동수단을 작업대로 이송시키는 제2단계와, 상기 제2단계에서 이동수단이 작업대의 위치에 도달하였을 때, 복수개의 카메라에서 촬상한 랜드마크의 위치 데이터와 상기 제1단계에서 설정한 기준 랜드마크의 위치 데이터를 상호 비교하는 제3단계, 및 상기 제3단계에서 비교한 위치 데이터가 다를 경우, 촬상한 랜드마크의 위치와 기준 랜드마크의 위치와의 오차값을 계산하고 산출한 오차 값만큼 로봇의 위치를 원점으로 보정한 후 로봇의 작업을 개시하는 제4단계를 구비함으로써, 불규칙한 노면이나 무인차의 불규칙한 복원 특성에 의한 무인차의 3차원적인 위치 오차에 대해서도 이동형 로봇이 3차원 위치 보정을 할 수 있어 이동체나 노면의 영향에 관계없이 항상 정확한 위치 보정이 가능하게 되어 작업의 신뢰성을 향상시킬 수 있는 비전 시스템을 이용한 이동형 로봇의 위치보정 장치 및 그 방법에 관한 것이다.The first step of setting and storing the data corresponding to the work position coordinate point and the reference landmark position mounted on the work table in the vision controller, and the robot equipped with the vision controller after performing the first step. A second step of transferring the means to the work table; and when the moving means reaches the work table position in the second step, the position data of the landmarks photographed by the plurality of cameras and the reference landmark set in the first step. In the third step of comparing the position data with each other and the position data compared in the third step are different, the error value between the position of the captured landmark and the position of the reference landmark is calculated and calculated by the error value. After the position is corrected to the origin, the fourth step of starting work of the robot is provided, thereby enabling the third order of the unmanned vehicle by the irregular road surface or the irregular restoration characteristic of the unmanned vehicle. The mobile robot can correct the 3D position even for the positional error, and the position correction device of the mobile robot using the vision system can improve the reliability of work by always correcting the position regardless of the influence of the moving object or the road surface. And to a method thereof.

Description

비젼 시스템을 이용한 이동형 로봇의 위치보정 장치 및 그 방법Position Correction Device and Method for Mobile Robot Using Vision System

본 발명은 비전 시스템을 이용한 이동형 로봇의 위치보정 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 불규칙한 노면이나 무인차의 불규칙한 복원 특성에 의한 무인차의 3차원적인 위치 오차에 대해서도 이동형 로봇이 3차원 위치보정을 할 수 있는 비전 시스템을 이용한 이동형 로봇의 위치보정 장치 및 그 방법에 관한 것이다.The present invention relates to a position correction device and a method of a mobile robot using a vision system, and more particularly, the mobile robot is three-dimensional even in the three-dimensional position error of the unmanned vehicle by the irregular road surface or irregular restoring characteristics of the driverless vehicle. The present invention relates to a position correction device for a mobile robot using a vision system capable of position correction, and a method thereof.

일반 산업 현장에서 사용되고 있는 로봇은 고정된 위치에서 교시된 위치좌표계를 따라 조립, 용접 등의 작업을 수행한다.Robots used in general industrial sites perform assembly, welding, etc. along the position coordinate system taught at fixed positions.

상기와 같이 작업 현장에서 사용되고 있는 로봇의 응용 기술이 발달하면서 로봇은 고정된 위치에서만 작업을 하는 것이 아니라 레일 또는 무인차와 같은 이동장치에 탑재되어 여러곳의 작업 공간에서 작업을 할 수 있는 시스템이 개발 적용되고 있다.As the application technology of the robot used in the work site is developed as described above, the robot is not only working in a fixed position but is mounted on a moving device such as a rail or an unmanned vehicle, so that the system can work in various working spaces. Development is being applied.

상기 이동형 로봇의 적용에 있어서 무인차와 같은 이동 장치는 간편하게 설치 및 변경이 가능한 장점이 있는 반면에 위치 정밀도가 로봇의 위치 정밀도보다 상대적으로 불량하여 위치 보정이 요구되었다.In the application of the mobile robot, a mobile device such as an unmanned vehicle has an advantage that it can be easily installed and changed, while the positional accuracy is relatively poorer than the positional accuracy of the robot.

상기 이동형 로봇의 위치 보정을 위해 종래에는 무인차가 이상적인 평면상을 이동한다고 가정하여 랜드마크와 카메라를 이용한 2차원 버전 시스템을 사용하였는데, 실제로 무인차는 노면에 의해 이상적인 평면 주행을 할 수 없을 뿐만 아니라 무인차의 서스펜션의 불규칙한 복원성에 의한 위치 변화 등이 발생하여 작업이 불가능한 경우가 있었다.In order to correct the position of the mobile robot, a two-dimensional version system using a landmark and a camera was used, assuming that an unmanned vehicle moves on an ideal plane. In fact, an unmanned vehicle is not only capable of driving an ideal plane by a road surface but also unmanned. In some cases, a change in position due to irregular restoring of the suspension of a car occurred, and thus work was impossible.

본 발명의 목적은, 불규칙한 노면이나 무인차의 불규칙한 복원 특성에 의한 무인차의 3차원적인 위치 오차에 대해서도 이동형 로봇이 3차원 위치보정을 할 수 있는 비전 시스템을 이용한 이동형 로봇의 위치보정 장치 및 그 방법을 제공하는 데 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a position correction apparatus for a mobile robot using a vision system capable of three-dimensional position correction by a mobile robot, even with respect to a three-dimensional position error of an unmanned vehicle due to an irregular road surface or an irregular restoration characteristic of an unmanned vehicle. To provide a way.

상기 목적을 달성하기 위하여 본 발명의 장치는, 일정 위치에 탑재된 로봇을 이송경로를 따라 이송시키는 이동수단; 상기 이동수단 본체의 서로 다른 위치에 장착되어 작업대에 있는 랜드마크를 촬상하여 출력하는 복수 개의 카메라; 상기 카메라 사이의 각도와 거리 및 복수 개의 카메라에서 출력되는 화상 정보와 랜드마크의 크기를 이용하여 3차원적인 위치 정보를 계산하는 비전 제어기; 및 상기 비전 제어기에서 출력되는 위치 정보에 따라 이동수단에 탑재된 로봇의 이동량을 제어하는 로봇 제어기를 구비한다.In order to achieve the above object, the apparatus of the present invention, the moving means for transferring the robot mounted at a predetermined position along the transfer path; A plurality of cameras mounted at different positions of the moving unit main body to capture and output a landmark on a work table; A vision controller which calculates three-dimensional position information by using angles and distances between the cameras and image information and landmark sizes output from a plurality of cameras; And a robot controller for controlling the movement amount of the robot mounted on the moving means according to the position information output from the vision controller.

또한, 상기 목적을 달성하기 위한 본 발명의 구현 작동 방법은, 작업 위치 좌표점과 작업대에 장착되어 있는 기준 랜드마크 위치에 해당된 데이터를 각각 비전 제어기에 설정하고 저장하는 제1단계; 상기 제1단계를 수행한 후 비전 제어기가 구비된 로봇이 탑재된 이동수단을 작업대로 이송시키는 제2단계; 상기 제2단계에서 이동수단이 작업대의 위치에 도달하였을 때, 복수개의 카메라에서 촬상한 랜드마크의 위치 데이터와 상기 제1 단계에서 설정한 기준 랜드마크의 위치 데이터를 상호 비교하는 제3단계; 및 상기 제3단계에서 비교한 위치 데이터가 다를 경우, 촬상한 랜드마크의 위치와 기준 랜드마크의 위치와의 오차 값을 계산하고 산출한 오차 값만큼 로봇의 위치를 원점으로 보정한 후 로봇의 작업을 개시하는 제4단계를 구비한다.In addition, the implementation operation method of the present invention for achieving the above object comprises a first step of setting and storing the data corresponding to the work position coordinate point and the reference landmark position mounted on the work table in the vision controller, respectively; A second step of transferring the moving means on which the robot equipped with the vision controller is mounted to the work table after performing the first step; A third step of comparing the position data of the landmarks picked up by the plurality of cameras with the position data of the reference landmark set in the first step when the moving means reaches the position of the work table in the second step; And when the position data compared in the third step is different, calculates an error value between the position of the captured landmark and the position of the reference landmark, corrects the position of the robot to the origin by the calculated error value, and then operates the robot. It has a fourth step of initiating.

제1도는 본 발명에 따른 비전 시스템을 이용한 이동형 로봇의 위치보정 장치를 나타낸 평면도이고,1 is a plan view showing a position correction device of a mobile robot using a vision system according to the present invention,

제2도는 본 발명에 따른 비전 시스템을 이용한 이동형 로봇의 위치보정 장치의 시스템 구성도이고,2 is a system configuration diagram of a position correction device for a mobile robot using a vision system according to the present invention,

제3도는 본 발명에 의한 비전 시스템을 이용한 이동형 로봇의 위치보정 장치의 작동을 설명하는 순서도이다.3 is a flowchart illustrating the operation of the position correction device of the mobile robot using the vision system according to the present invention.

* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings

10 : 이동수단(무인차) 12 : 로봇10: means of transportation (unmanned vehicle) 12: robot

13 : 비전 제어기 14 : 로봇 제어기13: vision controller 14: robot controller

16 : 제1카메라 18 : 제2카메라16: first camera 18: second camera

20 : 작업대 22 : 랜드마크20: workbench 22: landmark

이하, 첨부한 도면을 참고하여 본 발명을 보다 상세하게 설명하고자 한다. 제1도는 본 발명에 따른 비전 시스템을 이용한 이동형 로봇의 위치보정 장치를 나타낸 평면도이고, 제2도는 본 발명에 따른 비전 시스템을 이용한 이동형 로봇의 위치보정 장치의 시스템 구성도이다.Hereinafter, with reference to the accompanying drawings will be described in detail the present invention. 1 is a plan view showing a position correction device for a mobile robot using a vision system according to the present invention, Figure 2 is a system configuration diagram of a position correction device for a mobile robot using a vision system according to the present invention.

제1도 및 제2도에서, 이동수단(10)은 일정 위치에 탑재된 로봇(12)을 이송 경로를 따라 작업대(20)로 이송시키도록 구성되어 있으며, 제1, 제2카메라(16,18)는 상기 이동수단(10) 본체의 서로 다른 위치에 장착되어 작업대(20)에 있는 랜드마크(22)를 촬상하여 출력하도록 구성되어 있다.In FIG. 1 and FIG. 2, the moving means 10 is configured to transfer the robot 12 mounted at a predetermined position to the work table 20 along the transfer path, and the first and second cameras 16, 18 is configured to capture and output the landmark 22 on the worktable 20 mounted at different positions of the main body of the moving means 10.

비전 제어기(13)는 상기 카메라(16,18) 사이의 각도와 거리 및 복수개의 카메라(16,18)에서 출력되는 화상 정보 그리고 랜드마크(22)의 크기를 이용하여 3차원적인 위치 정보를 계산하여 설정된 기준 랜드마크 위치 정보와 입력된 랜드마크의 위치 정보를 비교하여 그 오차 값을 출력하도록 구성되어 있다.The vision controller 13 calculates three-dimensional position information by using angles and distances between the cameras 16 and 18, image information output from the plurality of cameras 16 and 18, and sizes of landmarks 22. And compares the set reference landmark position information with the position information of the input landmark and outputs the error value.

한편, 로봇 제어기(14)는 상기 비전 제어기(13)에서 출력되는 랜드마크 위치 정보의 오차 값에 따라 이동수단(10)에 탑재된 로봇(12)의 이동량을 제어하도록 구성되어 있다.On the other hand, the robot controller 14 is configured to control the amount of movement of the robot 12 mounted on the moving means 10 according to the error value of the landmark position information output from the vision controller 13.

상기와 같은 실시예를 가진 이동형 로봇의 위치보정 장치의 작동을 제3도에 도시된 순서도를 인용하여 상세히 기술하면 다음과 같다.The operation of the position correction device of the mobile robot having the above embodiment will be described in detail with reference to the flowchart shown in FIG. 3.

본 발명에 따른 이동형 로봇(12)의 위치보정 장치의 비전 제어기(13)에 작업 위치 좌표점과 기준 랜드마크 위치를 스텝 S1과 같이 저장한 상태에서 무인차인 이동수단(10)을 스텝 S2와 같이 이송시키면 상기 이동수단(10)은 작업대(20)가 있는 위치까지 이동한 후 스텝 S3과 같이 정지한다.In the state where the work position coordinate point and the reference landmark position are stored in the vision controller 13 of the position correction device of the mobile robot 12 according to the present invention as in step S1, the unmanned vehicle moving means 10 as in step S2. When moved, the moving means 10 moves to the position where the work table 20 is located and stops as in step S3.

상기 이동수단(10)이 이송 경로를 따라 이송하여 작업대(20)가 있는 위치에 도달하게 되면 상기 이동수단(10)의 본체에 각각 장착되어 있는 제1, 제2 카메라 (16,18)가 작업대(20)에 장착되어 있는 랜드마크(22)를 촬상하면 비전 제어기(13)는 상기 제1, 제2카메라(16,18)에서 출력되는 화상 정보 등을 이용하여 스텝 S4와 같이 랜드마크(22) 위치를 계산한 후 스텝 S5에서 설정한 기준 랜드마크 위치와 촬상한 랜드마크 위치가 동일한가를 판단한다.When the moving means 10 moves along the transfer path to reach the position where the work table 20 is located, the first and second cameras 16 and 18 mounted on the main body of the moving means 10 are respectively work benches. When the landmark 22 mounted on the image 20 is captured, the vision controller 13 uses the image information output from the first and second cameras 16 and 18, and the like, as shown in step S4. After calculating the position, it is determined whether or not the reference landmark position set in step S5 and the captured landmark position are the same.

상기 스텝 S5에서 판단한 결과 미리 설정한 기준 랜드마크 위치와 입력된 랜드마크 위치가 다르면 스텝 S7로 나아가서 기준 랜드마크 위치와의 위치 오차 값을 계산하고, 계산한 데이터를 로봇 제어기(14)에 공급하여 스텝 S8과 같이 위치오차 값만큼 로봇의 위치를 원점(기준 랜드마크의 위치)으로 보정한 후 스텝 S6과 같이 로봇의 작업을 개시한다.As a result of the determination in step S5, if the preset reference landmark position and the input landmark position are different, the process proceeds to step S7 to calculate a position error value with the reference landmark position, and supplies the calculated data to the robot controller 14, After the position of the robot is corrected to the origin (the position of the reference landmark) by the position error value as in step S8, the robot operation is started as in step S6.

물론, 상기 스텝 S5에서 판단한 결과, 촬상한 랜드마크의 위치와 설정된 기준 랜드마크의 위치가 동일하면, 로봇의 위치보정없이 스텝 S6과 같이 로봇의 작업을 개시한다.Of course, as a result of the determination in step S5, if the position of the picked-up landmark is equal to the position of the set reference landmark, the robot's operation is started as in step S6 without correcting the position of the robot.

상술한 바와 같이 본 발명에서는, 불규칙한 노면이나 무인차의 불규칙한 복원 특성에 의한 무인차의 3차원적인 위치 오차에 대해서도 이동형 로봇이 3차원 위치 보정을 할 수 있어 이동체나 노면의 영향에 관계없이 항상 정확한 위치보정이 가능하게 되어 작업의 신뢰성을 향상시킬 수 있는 효과가 있다.As described above, in the present invention, the mobile robot can correct the three-dimensional position even for the three-dimensional position error of the unmanned vehicle due to the irregular road surface or the irregular restoration characteristic of the unmanned vehicle, so that it is always accurate regardless of the influence of the moving object or the road surface. Position correction is possible, thereby improving the reliability of the work.

Claims (2)

일정 위치에 탑재된 로봇을 이송경로를 따라 이송시키는 이송수단; 상기 이송수단 본체의 서로 다른 위치에 장착되어 작업대에 있는 랜드마크를 촬상하여 출력하는 복수 개의 카메라; 상기 카메라 사이의 각도와 거리 및 복수 개의 카메라에서 출력되는 화상 정보와 랜드마크의 크기를 이용하여 3차원적인 위치 정보를 계산하는 비전 제어기; 및 상기 비전 제어기에서 출력되는 위치 정보에 따라 이동수단에 탑재된 로봇의 이동량을 제어하는 로봇 제어기를 구비한 것을 특징으로 하는 비전 시스템을 이용한 이동형 로봇의 위치보정 장치.Transfer means for transferring the robot mounted at a predetermined position along a transfer path; A plurality of cameras mounted at different positions of the transfer means main body to capture and output a landmark on a work table; A vision controller which calculates three-dimensional position information by using angles and distances between the cameras and image information and landmark sizes output from a plurality of cameras; And a robot controller configured to control a movement amount of the robot mounted on the moving unit according to the position information output from the vision controller. 작업 위치 좌표점과 작업대에 장착되어 있는 기준 랜드마크 위치에 해당된 데이터를 각각 비전 제어기에 설정하고 저장하는 제1단계; 상기 제1단계를 수행한 후 비전 제어기가 구비된 로봇이 탑재된 이동수단을 작업대로 이송시키는 제2단계; 상기 제2단계에서 이동수단이 작업대의 위치에 도달하였을 때, 복수개의 카메라에서 촬상한 랜드마크의 위치 데이터와 상기 제1단계에서 설정한 기준 랜드마크의 위치 데이터를 상호 비교하는 제 3단계; 및 상기 제3단계에서 비교한 위치 데이터가 다를 경우, 촬상한 랜드마크의 위치와 기준 랜드마크의 위치와의 오차 값을 계산하고 산출한 오차 값만큼 로봇의 위치를 원점으로 보정한 후 로봇의 작업을 개시하는 제4단계를 구비한 것을 특징으로 하는 비전 시스템을 이용한 이동형 로봇의 위치보정 방법.A first step of setting and storing data corresponding to the work position coordinate point and the reference landmark position mounted on the work table in the vision controller, respectively; A second step of transferring the moving means on which the robot equipped with the vision controller is mounted to the work table after performing the first step; A third step of comparing the position data of the landmarks picked up by the plurality of cameras with the position data of the reference landmark set in the first step when the moving means reaches the position of the work table in the second step; And when the position data compared in the third step is different, calculates an error value between the position of the captured landmark and the position of the reference landmark, corrects the position of the robot to the origin by the calculated error value, and then operates the robot. Position correction method of a mobile robot using a vision system, characterized in that it comprises a fourth step of starting.
KR1019960018189A 1996-05-28 1996-05-28 Position Correction Device and Method of Mobile Robot Using Vision System KR100194216B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960018189A KR100194216B1 (en) 1996-05-28 1996-05-28 Position Correction Device and Method of Mobile Robot Using Vision System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960018189A KR100194216B1 (en) 1996-05-28 1996-05-28 Position Correction Device and Method of Mobile Robot Using Vision System

Publications (2)

Publication Number Publication Date
KR970073891A KR970073891A (en) 1997-12-10
KR100194216B1 true KR100194216B1 (en) 1999-06-15

Family

ID=66284465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960018189A KR100194216B1 (en) 1996-05-28 1996-05-28 Position Correction Device and Method of Mobile Robot Using Vision System

Country Status (1)

Country Link
KR (1) KR100194216B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100934904B1 (en) * 2007-12-28 2010-01-06 재단법인대구경북과학기술원 Method for distance estimation and apparatus for the same
KR101032952B1 (en) 2009-12-31 2011-05-09 주식회사 세바비드코어 Method of creating coordinate in surveilance camera system
KR101122303B1 (en) * 2009-07-24 2012-03-21 삼성중공업 주식회사 Calibration unit and working system having the same
KR101129643B1 (en) 2010-04-22 2012-03-28 삼성중공업 주식회사 Movement tracking method of marking apparatus
KR101234542B1 (en) * 2008-09-29 2013-02-19 가부시키가이샤 다이후쿠 Learning device for article storage facility

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100842088B1 (en) * 2004-10-25 2008-06-30 현대중공업 주식회사 The automotive position measuring system on a continuously moving conveyor and method thereof
CN113427488A (en) * 2021-07-13 2021-09-24 西安交通大学 Digital marking method, system and device based on geometric feature recognition

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100934904B1 (en) * 2007-12-28 2010-01-06 재단법인대구경북과학기술원 Method for distance estimation and apparatus for the same
KR101234542B1 (en) * 2008-09-29 2013-02-19 가부시키가이샤 다이후쿠 Learning device for article storage facility
KR101122303B1 (en) * 2009-07-24 2012-03-21 삼성중공업 주식회사 Calibration unit and working system having the same
KR101032952B1 (en) 2009-12-31 2011-05-09 주식회사 세바비드코어 Method of creating coordinate in surveilance camera system
KR101129643B1 (en) 2010-04-22 2012-03-28 삼성중공업 주식회사 Movement tracking method of marking apparatus

Also Published As

Publication number Publication date
KR970073891A (en) 1997-12-10

Similar Documents

Publication Publication Date Title
US11241796B2 (en) Robot system and method for controlling robot system
US9833904B2 (en) Method for robot-assisted measurement of measurable objects
US20080027580A1 (en) Robot programming method and apparatus with both vision and force
US20060149421A1 (en) Robot controller
EP1607194A2 (en) Robot system comprising a plurality of robots provided with means for calibrating their relative position
US11376734B2 (en) Trajectory control device
CN112720458B (en) System and method for online real-time correction of robot tool coordinate system
JPH11156764A (en) Locomotive robot device
JP3412465B2 (en) Mobile robot device
KR100194216B1 (en) Position Correction Device and Method of Mobile Robot Using Vision System
US20110118876A1 (en) Teaching line correcting apparatus, teaching line correcting method, and program thereof
CN113126614A (en) Control system for vehicle, control method for vehicle, and program
JP2003305676A (en) Control method and control device for mobile robot
US11922616B2 (en) Alignment device
JP2707548B2 (en) Coordinate correction method for visual recognition device
WO2022075303A1 (en) Robot system
WO2023272529A1 (en) Dynamic assembly method, apparatus, and system
JPH03213244A (en) Positioning device for flat plate workpiece work machine
JP2016203282A (en) Robot with mechanism for changing end effector attitude
JP2023037769A (en) System and automatic conveyance vehicle
JPH04269194A (en) Plane measuring method
JP3562096B2 (en) Position detection method
JP2782959B2 (en) Automatic mounting device with visual function
KR0176540B1 (en) Position correction device of mobile robot
JPH03277491A (en) Mobile robot

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070130

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee