KR100754511B1 - Method for automatically calibrating work position of robot for installating seat of vehicle using a concentrated led light - Google Patents
Method for automatically calibrating work position of robot for installating seat of vehicle using a concentrated led light Download PDFInfo
- Publication number
- KR100754511B1 KR100754511B1 KR1020060102005A KR20060102005A KR100754511B1 KR 100754511 B1 KR100754511 B1 KR 100754511B1 KR 1020060102005 A KR1020060102005 A KR 1020060102005A KR 20060102005 A KR20060102005 A KR 20060102005A KR 100754511 B1 KR100754511 B1 KR 100754511B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- work
- feature point
- robot
- seat
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000006073 displacement reaction Methods 0.000 claims abstract description 13
- 230000001678 irradiating effect Effects 0.000 claims abstract description 3
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000005286 illumination Methods 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 5
- 230000006378 damage Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
도 1은 본 발명의 일 실시예에 따른 집중형 LED조명을 이용한 차량의 시트 장착용 로봇의 작업위치 자동 교정방법을 위한 구성도,1 is a configuration diagram for a method for automatically correcting a work position of a seat mounting robot of a vehicle using a centralized LED lighting according to an embodiment of the present invention,
도 2는 본 발명의 일 실시예에 따른 집중형 LED조명을 이용한 차량의 시트 장착용 로봇의 작업위치 자동 교정방법의 흐름도,2 is a flowchart of a method for automatically correcting a work position of a seat mounting robot for a vehicle using intensive LED lighting according to an embodiment of the present invention;
도 3a 내지 3c는 도 1의 집중형 LED조명의 실시예를 나타내는 평면도,3A to 3C are plan views showing an embodiment of the concentrated LED light of FIG.
도 4는 도 2의 특징점 조명단계에서 색출되는 특징점의 예시도,4 is an exemplary view of a feature point extracted in the feature point illumination step of FIG. 2;
도 5는 도 2의 위치보정값 연산단계에 이용되는 보정계의 보정용 마커를 나타내는 평면도,FIG. 5 is a plan view illustrating a marker for correction of a correction system used in the position correction value calculating step of FIG. 2;
도 6 내지 도 7은 도 2의 위치보정값 연산단계에 이용되는 연산방법에 관한 실시예를 나타내는 도표이다.6 to 7 are diagrams illustrating an embodiment of a calculation method used in the position correction value calculation step of FIG. 2.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for main parts of the drawings>
10...시트 20...특징점10 ... Seat 20 ... Features
110...집중형 LED조명 111...LED110 ...
120...비젼카메라 130...제어부120 VISION CAMERA 130 CONTROL PANEL
140...로봇 151...단위거리 기준표지 140.Robot 151.Unit distance reference mark
152...보정용마커152 ... Compensation Marker
본 발명은 집중형 LED조명을 이용한 차량의 시트 장착용 로봇의 작업위치 자동 교정방법에 관한 것으로서, 보다 상세하게는 차량 내부에 시트를 장착하기 위한 로봇의 작업위치를 자동으로 보정하여 상기 시트를 차량의 정위치에 장착되도록 하는 집중형 LED조명을 이용한 로봇의 작업위치 자동 교정방법에 관한 것이다.The present invention relates to a method for automatically correcting a work position of a seat mounting robot of a vehicle using intensive LED lighting, and more particularly to automatically correcting a work position of a robot for mounting a seat inside a vehicle. The present invention relates to a method for automatically calibrating a robot's working position using intensive LED lighting to be mounted at a correct position.
일반적으로 차량 조립 공정에 있어서 상기 차량용 시트는, 차량 조립 이송용 컨베이어 시설 또는 행거장치 등을 통하여 작업대에 진입하게 되는 작업차량에 작업자에 의해 수작업으로 투입 및 장착되거나 미리 직업 지시된 프로그램에 의해 구동되는 로봇이나 전용기에 의해 자동 장착되고 있다.In general, in the vehicle assembly process, the vehicle seat is manually input and mounted by a worker to a work vehicle that enters a workbench through a conveyor facility or a hanger device for vehicle assembly transport, or is driven by a program previously instructed. It is automatically installed by robots or special machines.
그런데, 상기와 같은 수작업에 의한 시트 장착 방식에 따르면 작업자의 부주의로 인해 차량 또는 시트의 긁힘 또는 파손이 발생될 우려가 있고 생산 품질의 일관성이 저하될 수 있고, 또한 상기 시트의 중량이 무거운 경우 상기 시트의 하중에 의해 사용자 안전사고 또는 인명피해가 발생될 수 있다.However, according to the manual seat mounting method as described above, there is a risk that the car or the seat may be scratched or damaged due to the carelessness of the operator, and the consistency of production quality may be deteriorated. User safety accidents or personal injury can be caused by the load on the seat.
상기 로봇 또는 전용기기를 이용한 시트 장착 방식에 있어서, 상기 작업 차량에 대한 로봇의 작업위치가 정밀하지 않은 경우, 시트 장착 중에 상기 차량과 시트 간 충돌 등이 발생되어 시트 투입이 원활하지 못하게 되고 결론적으로 차량 또 는 시트의 흠집, 파손 등의 손상에 따른 차량 품질 및 생산 효율이 저하될 수 있는 문제점이 있다.In the seat mounting method using the robot or a dedicated device, if the working position of the robot with respect to the work vehicle is not precise, a collision between the vehicle and the seat occurs during seat mounting and the sheet is not smoothly inserted. There is a problem that the vehicle quality and production efficiency may be reduced due to damage of the vehicle or the seat, such as scratches, damage.
한편, 종래에는 상기 차량의 변위를 예측하기 위하여 차량의 특정부위에 형광등 또는 할로겐 조명 등의 조명기기로 빛을 조사하고 특정 부위의 화상을 카메라로 취득하는 방식이 적용되고 있는데, 상기한 형광등 또는 할로겐 조명의 경우 차량의 색상에 따라 조명 밝기 또는 카메라의 조리개 상태가 일일이 변경되어야 하거나 또는 상기 조명기기 또는 카메라 자체가 교체되어야 하는 문제점이 있다. Meanwhile, in order to predict the displacement of the vehicle, a method of irradiating light with a lighting device such as a fluorescent lamp or a halogen light to a specific portion of the vehicle and obtaining an image of the specific portion with a camera is applied. In the case of lighting, there is a problem that the brightness of the illumination or the aperture of the camera must be changed in accordance with the color of the vehicle, or the lighting device or the camera itself must be replaced.
특히, 흰색 차종과 검은색 차종의 경우, 조명상태나 카메라의 조리개 상태가 어느 일 차종에 유리하게 설정된 경우, 나머지 다른 차량에 대한 상기 특정 부위의 화상은 측정이 불가능한 경우가 발생될 수 있다.In particular, in the case of the white vehicle and the black vehicle, when the illumination state or the aperture state of the camera is advantageously set for one vehicle, it may occur that the image of the specific part of the other vehicle cannot be measured.
즉, 다종의 차량이 순차적으로 진입하게 되는 작업의 경우, 진입되는 차량의색상, 크기, 종류 등에 따라 통합적으로 작업위치의 기준이 되는 특징점을 획득하기가 어려워 작업의 정밀성이 떨어지는 문제점이 있다.That is, in the case of a task in which a plurality of vehicles enter sequentially, there is a problem in that it is difficult to acquire a feature point that is a reference of a work position integrally according to the color, size, type, etc. of the vehicle to be entered, and thus the precision of the task is inferior.
본 발명은 상술한 문제점을 해결하기 위해 창출된 것으로서, 작업 차량이 정위치에 있지 않은 경우 시트 장착용 로봇의 작업위치를 자동 보정함으로써 상기 시트를 정위치에 장착할 수 있음은 물론이며 차량 품질 및 생산성을 개선시킬 수 있고 차종에 따라 조명상태의 변경이 필요없는 집중형 LED조명을 이용한 차량의 시트 장착용 로봇의 작업위치 자동 교정방법을 제공하는 데 그 목적이 있다. The present invention was created in order to solve the above-mentioned problems, and when the working vehicle is not in the correct position, the seat can be mounted in the correct position by automatically correcting the working position of the seat mounting robot. The object of the present invention is to provide a method for automatically correcting a work position of a seat mounting robot of a vehicle using intensive LED lighting that can improve productivity and does not need to change lighting conditions according to a vehicle model.
본 발명의 다른 목적 및 장점들은 하기에 설명될 것이며, 본 발명의 실시예 에 의해 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 조합에 의해 실현될 수 있다.Other objects and advantages of the invention will be described below and will be appreciated by the embodiments of the invention. Furthermore, the objects and advantages of the present invention can be realized by means and combinations indicated in the claims.
상기와 같은 목적을 달성하기 위한 본 발명의 차량의 시트 장착용 로봇의 작업위치 자동 교정방법은, 작업차량 내부에 시트를 장착하는 로봇의 작업위치 자동 교정 방법에 있어서, LED가 복수개로 배열된 집중형 LED조명을 작업 위치의 기준이 되는 상기 작업차량의 하나 이상의 특징점에 조사하여 상기 특징점을 색출하는 특징점 조명단계; 비젼카메라를 통해 상기 각 특징점을 촬영하여 취득한 특징점 화상을 이용하여 상기 특징점의 위치와 형태를 특징점 패턴으로 저장하는 특징점 패턴 저장단계; 위치보정의 기준이 되는 기 저장된 기준차량에 관한 기준특징점 패턴 중 상기 작업차량에 해당하는 기준특징점 패턴과 상기 작업차량의 특징점 패턴을 패턴정합하여 상기 기준차량에 대비한 상기 작업차량의 회전각도 및 위치변위를 산출하고 상기 회전각도 및 위치변위에 대한 위치보정값을 연산하는 위치보정값 연산단계; 및 상기 연산된 위치보정값을 이용하여 상기 시트 장착을 위한 로봇의 작업위치를 자동 제어하는 로봇 제어단계를 포함한다.The automatic work position calibration method of the seat mounting robot of the vehicle of the present invention for achieving the above object, in the work position automatic calibration method of the robot for mounting the seat inside the work vehicle, concentrated concentrated LED A feature point illumination step of extracting the feature points by illuminating a type LED light to one or more feature points of the work vehicle as a reference of a work position; A feature point pattern storage step of storing the position and shape of the feature point as a feature point pattern using a feature point image obtained by photographing each feature point through a vision camera; Rotation angle and position of the work vehicle relative to the reference vehicle by pattern matching the reference feature pattern corresponding to the work vehicle and the feature point pattern of the work vehicle among the reference feature point patterns of the pre-stored reference vehicle which are the reference for position correction A position correction value calculating step of calculating a displacement and calculating a position correction value for the rotation angle and position displacement; And a robot control step of automatically controlling a work position of the robot for seat mounting using the calculated position correction value.
또한, 상기 위치보정값 연산단계는, 복수개의 단위거리 기준표지가 상하좌우 동일간격으로 형성되어 있는 보정용마커를 이용하여 화상에서의 거리를 실제거리단위로 변환하는 보정계를 이용하여 상기 특징점 화상의 화소간의 거리를 실제거리단위로 변환하여 상기 위치보정값을 연산할 수 있다.In the calculating of the position correction value, the feature point image may be converted using a correction system that converts distances in an image into actual distance units using a correction marker in which a plurality of unit distance reference marks are formed at equal intervals. The position correction value may be calculated by converting the distance between the pixels into an actual distance unit.
여기서, 상기 보정계는, 작업차량의 종류에 따라 상기 단위거리 기준표지의 상하좌우 간격이 다른 것을 이용할 수 있다.Here, the correction system may use a different distance of up, down, left, and right of the unit distance reference mark according to the type of the work vehicle.
그리고, 상기 위치보정값 연산단계는, 작업차량의 좌우에 위치하는 로봇의 위치보정값을 각각 연산할 수 있다.In the calculating of the position correction value, the position correction values of the robots positioned on the left and right sides of the work vehicle may be calculated.
또한, 상기 집중형 LED조명은, 12볼트 이상의 전압과 35와트 이상의 전원으로 동작되는 것이 바람직하다.In addition, the intensive LED lighting is preferably operated with a voltage of 12 volts or more and 35 watts or more.
또한, 상기 연산된 위치보정값이 작업차량의 종류마다 차등적으로 설정되어 있는 작업한계값을 초과하는 경우 에러신호를 발생시키고, 상기 로봇제어 단계가 수행되지 않도록 제어하는 에러제어단계를 더 포함할 수 있다.The method may further include an error control step of generating an error signal and controlling the robot control step not to be performed when the calculated position correction value exceeds a work limit value differentially set for each type of work vehicle. Can be.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예들을 상세히 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적인 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Prior to this, terms or words used in the specification and claims should not be construed as having a conventional or dictionary meaning, and the inventors should properly explain the concept of terms in order to best explain their own invention. It should be interpreted as meanings and concepts corresponding to the technical idea of the present invention based on the principle of definition.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in the specification and the drawings shown in the drawings are only the most preferred embodiment of the present invention and do not represent all of the technical idea of the present invention, various modifications that can be replaced at the time of the present application It should be understood that there may be equivalents and variations.
도 1은 본 발명의 일 실시예에 따른 차량의 시트 장착용 로봇의 작업위치 자 동 교정방법을 위한 구성도, 도 2는 본 발명의 일 실시예에 따른 차량의 시트 장착용 로봇의 작업위치 자동 교정방법의 흐름도이다.1 is a configuration diagram for a method for automatically correcting the work position of the seat mounting robot of a vehicle according to an embodiment of the present invention, Figure 2 is a work position automatic of the seat mounting robot of a vehicle according to an embodiment of the present invention A flowchart of the calibration method.
또한, 도 3a 내지 3c는 도 1의 집중형 LED조명의 실시예를 나타내는 평면도, 도 4는 도 2의 특징점 조명단계에서 색출되는 특징점의 예시도, 도 5는 도 2의 위치보정값 연산단계에 이용되는 보정계의 보정용 마커를 나타내는 평면도, 도 6 내지 도 7은 도 2의 위치보정값 연산단계에 이용되는 연산방법에 관한 실시예를 나타내는 도표이다.3A to 3C are plan views illustrating embodiments of the intensive LED lighting of FIG. 1, FIG. 4 is an exemplary view of feature points extracted in the feature point illumination step of FIG. 2, and FIG. 5 is a calculation of the position correction value of FIG. 2. 6 to 7 are diagrams showing an embodiment of a calculation method used in the position correction value calculation step of FIG. 2.
이하에서는 도 1 내지 도 7을 참고로 하여 본 발명에 따른 차량의 시트 장착용 로봇의 작업위치 자동 교정방법에 대하여 상세히 설명하고자 한다.Hereinafter, a method for automatically correcting a work position of a seat mounting robot of a vehicle according to the present invention will be described in detail with reference to FIGS. 1 to 7.
먼저, LED(111)가 복수개로 배열된 집중형 LED조명(110)을 작업 위치의 기준이 되는 작업차량의 하나 이상의 특징점(20)에 조사하여 상기 특징점(20)을 색출한다(S210).First, the
예를 들면, 도 1의 제어부(130)에서 상기 작업차량에 관한 작업지시 명령이 전달되는 경우, 상기 집중형 LED조명(110)에 전원이 공급되고 상기와 같은 특징점(20) 조명 작동이 개시될 수 있다.For example, when a work instruction command for the work vehicle is transmitted from the
일반적으로, 공장과 같은 작업장의 실내 환경은 자연광으로부터 차단되어 있고 인위적인 조명시설에 의해 밝기가 유지되고 있으므로 상기 기준이 되는 상기 특징점(20) 부위는 최소한의 식별이 가능하도록 별도 조명수단에 의해 빛의 조사가 이루어지는 것이 바람직하다.In general, the indoor environment of a workplace such as a factory is blocked from natural light and the brightness is maintained by an artificial lighting system, so that the part of the
한편, 본 발명에서는 상기한 조명수단으로서 도 3a 내지 3b와 같이 복수개의 LED(111)로 이루어진 집중형 LED조명(110)이 사용되고 있다.Meanwhile, in the present invention, as the above-described lighting means, a concentrated
이러한 상기 집중형 LED조명(110)은, 도 4와 같이 상기 특징점(20)의 주변부는 흰색으로 착색되도록 하고 상기 특징점(20) 부위는 상기 주변부에 비해 어두운 색으로 부각되도록 함으로써 상기 특징점(20)이 선명하고 명확하게 촬영될 수 있는 조명조건을 조성할 수 있다.The
여기서, 상기 특징점(20)은 도 4와 같이 작업 위치의 기준이 될 수 있는 작업차량의 특정 홀(Hole) 부위, 특정 부품 부위 등일 수 있으며, 이러한 상기 특징점(20) 부위는 차종에 따라 상이할 수 있고 그 형태도 다양할 수 있다.Here, the
이상과 같은 상기 집중형 LED조명(110)은, 동일한 조명 조건하에서 작업 차량의 종류 즉, 차량의 색상에 관계없이, 상기와 같은 방식에 의해 흰색으로 착색된 주변부에 비해 명확히 구분되어지는 특징점(20) 부위만을 색출할 수 있어, 차량 종류마다 조명 상태를 일일이 변경할 필요가 없으며 작업의 편리성을 향상시킬 수 있다.The
예를 들어, 기존의 형광등 또는 할로겐 조명의 경우 차량의 색상에 따라 조명 밝기 또는 카메라의 조리개 상태가 변경되어야 하는 단점이 있는데 본 발명에 따르면 상기와 같은 번거로운 조작 작업이 배제될 수 있어 편리하다.For example, conventional fluorescent or halogen lighting has a disadvantage in that the illumination brightness or the aperture of the camera must be changed according to the color of the vehicle. According to the present invention, the cumbersome operation work as described above can be excluded.
상기와 같이 집중형 LED조명(110)은 빛의 산란, 반사 또는 직진성의 고유한 물리적 특성에 의하여, 차종에 조사되는 경우 원하는 포인트(특징점)를 정확히 추출하여 주변과 대별시킬 수 있으며 다른 조명원을 이용하는 경우보다 월등한 물리적 성질을 가지게 된다.As described above, the
비젼카메라의 인식율을 높이기 위하여서는 단순히 조도 등만을 상승시키는 경우 필요이상의 전력의 낭비가 초래될 수 있으며 또한, 집중형 LED조명(110)과는 다른 물리적 특성을 가지므로 원하는 포인트와 주변을 대별시키는 것 또한 용이하지 않다. In order to increase the recognition rate of the vision camera, simply increasing the illuminance or the like may cause a waste of power more than necessary, and also has a physical characteristic different from that of the centralized LED light 110 to distinguish the desired point from the surroundings. It is also not easy.
여기서, 상기 집중형 LED조명(110)은 상기와 같이 차종에 관계없는 집중화된 우수한 밝기특성이 발현되기 위해 최소 12볼트 이상의 전압과 35와트 이상의 전원으로 동작되는 것이 바람직하다.Here, the
상기의 전압과 전력은 차종의 색상에 관계없이 현재 생산되고 있는 모든 작업차량의 특징점(20)을 정확하게 구별하여 정확한 특징점 영상을 획득할 수 있는 가장 경제적인 값에 해당한다.The voltage and the power correspond to the most economical values capable of accurately distinguishing the feature points 20 of all currently produced vehicles regardless of the color of the vehicle to obtain an accurate feature point image.
도 3a 내지 도 3c에는 상기 집중형 LED조명(110)의 형태가 정사각형, 직사각형, 원형인 경우에 관한 다양한 실시예가 도시되어 있으며, 이러한 집중형 LED조명(110)의 형태 또는 설치되는 LED의 개수는 도시된 것으로 한정되지 않고 보다 다양하게 변형 또는 변경될 수 있다.3A to 3C illustrate various embodiments of a case in which the shape of the
즉, 상기에서 설명한 바와 같은 전압과 전력의 출력을 발생할 수 있는 것이라면 작업형태 등에 따라 복수개의 LED조명을 다양한 형태로 형성할 수 있음은 자명하다.That is, if the output of the voltage and power as described above can be generated, it is obvious that a plurality of LED lights can be formed in various forms according to the work type.
상기 특징점 조명단계(S210) 이후에는, 비젼카메라(120)를 통해 상기 각 특징점(20)을 촬영하여 취득한 특징점 화상을 이용하여 상기 특징점(20)의 위치와 형태를 특징점 패턴으로 저장한다(S220).After the feature point illumination step (S210), the position and shape of the
예를 들어, 상기 제어부(130)는 상기 비젼카메라(120)를 통해 촬영된 특징점 화상을 전송받아 해당 작업차량의 특징점(20) 위치와 형태를 특징점 패턴으로 저장할 수 있다.For example, the
여기서, 상기 비젼카메라(120)의 원활한 촬영을 위하여, 상기 제어부(130)는 상기 집중형 LED조명(110)의 온/오프 상태를 상시 감지하고 조명상태가 오프인 경우 에러신호를 발생시켜 상기 집중형 LED조명(110)의 재점화 또는 점검 등의 조치가 이행될 수 있도록 하는 것이 바람직하며 획득한 특징점 영상에서 특징점의 패턴이 인식되지 못하는 경우에도 에러신호가 발생되도록 구성하는 것이 바람직하다.Here, in order to smoothly capture the
다음으로 상기 특징점 패턴 저장단계(S220) 이후에는, 위치보정의 기준이 되는 기 저장된 기준차량에 관한 기준특징점 패턴 중 상기 작업차량에 해당하는 기준특징점 패턴과 상기 작업차량의 특징점 패턴을 서로 패턴정합하여 상기 기준차량에 대비한 상기 작업차량의 회전각도 및 위치변위를 산출하고 상기 회전각도 및 위치변위에 대한 위치보정값을 연산한다(S230). Next, after the feature point pattern storing step (S220), the reference feature point pattern corresponding to the work vehicle and the feature point pattern of the work vehicle are pattern-matched with each other among the reference feature point patterns of the pre-stored reference vehicle that is the position correction standard. The rotation angle and the position displacement of the work vehicle in comparison with the reference vehicle are calculated and the position correction value for the rotation angle and the position displacement is calculated (S230).
여기서, 상기 패턴정합이란 기 저장된 특징점 패턴을 이용하여 유사한 영상의 존재여부를 파악함과 동시에 파악된 유사 영상을 이용하여 위치가 결정될 수 있도록 하는 방법이다.Here, the pattern matching is a method of determining whether a similar image exists using a pre-stored feature point pattern and at the same time, a position can be determined using the identified similar image.
이러한 상기 위치보정값 연산단계(S230)의 패턴정합 및 위치보정값 연산은 도 1에 도시된 제어부(130)에 의해 이행될 수 있다.The pattern matching and position correction value calculation of the position correction value calculating step S230 may be performed by the
즉, 상기 위치보정값 연산단계(S230)는, 기 저장된 기준차량에 관한 기준특징점 패턴 중 상기 작업차량과 동일 차종의 기준특징점 패턴을 검색하여 상기 작업 차량의 특징점 패턴과 동일한 패턴이 검색되는 경우, 상기 검색된 기준차량의 기준특징점 패턴과 상기 획득된 작업차량의 특징점 패턴을 상호 비교하여 상기 작업차량의 회전각도와 위치변위 및 그에 따른 위치보정값을 연산할 수 있다.That is, the position correction value calculating step (S230), when a reference feature point pattern of the same model as the work vehicle is searched among the reference feature point patterns of the stored reference vehicle, and the same pattern as the feature point pattern of the work vehicle is retrieved. The rotation angle, the positional displacement, and the position correction value of the work vehicle may be calculated by comparing the reference feature pattern of the searched reference vehicle with the acquired feature point pattern of the work vehicle.
여기서, 상기와 같은 동일한 패턴이 검색되지 않는 경우, 상기 제어부(130)는 패턴검출 에러신호를 발생시켜 상기 패턴정합이 재실행되도록 조절할 수 있다.In this case, when the same pattern is not found, the
한편, 상기 제어부(130)는 도 5와 같이 복수개의 단위거리 기준표지(151)가 상하좌우 동일간격으로 형성되어 있는 보정용마커(152)를 이용하여 화상에서의 거리를 실제거리단위로 변환하는 보정계를 이용함으로써 상기 특징점 화상의 화소간의 거리를 실제거리단위로 변환하여 위치보정값을 연산할 수 있다. On the other hand, the
즉, 비젼카메라(120)에 의해 촬영되고 획득된 상기 특징점 화상은 복수개의 화소로 이루어져 있고 상기 화상에서의 화소간 거리를 실제거리단위로 변환하는 것에 의해 상기 촬영된 특징점 화상의 정확성 있고 정밀한 위치를 알 수 있다.That is, the feature point image photographed and acquired by the
한편, 상기 작업차량에 대한 위치보정값의 정밀성 요구도에 따라 상기 단위거리 기준표지(151)의 상하좌우 간격은 달리 조정될 수 있다.Meanwhile, the upper, lower, left, and right intervals of the unit
즉, 도 5는 상기 단위거리 기준표지(151)의 상하좌우 간격이 10mm인 경우를 예시하고 있으나, 이러한 상기 간격은 상기 위치보정값의 정밀성 요구도에 따라 더 조밀해지거나 혹은 더 확장될 수 있다.That is, although FIG. 5 illustrates a case in which the vertical distance of the unit
이러한 상기 위치보정값의 정밀성 요구도는 작업차량의 종류 즉, 작업차량의 규모 또는 가격에 따라 상이할 수 있다.The precision requirement of the position correction value may vary depending on the type of the work vehicle, that is, the size or price of the work vehicle.
이러한 본 발명의 위치보정값 연산은 상기 작업차량의 좌우에 위치하는 로 봇(140)에 대한 각각의 위치보정값에 관한 연산일 수 있다. 일반적으로 차량조립라인은 상기 작업차량에 대한 조립 작업이 원활하도록 작업진행 길이방향으로 이송컨베이어 또는 작업행거 등을 마련하고 있는데, 이러한 이송컨베이어 등의 진행방향에 수직되는 위치인 상기 작업차량의 좌우측 부위에 로봇(140)이 위치됨으로써 신속하고 효율적인 시트(10) 조립작업이 이행될 수 있다.The position correction value calculation of the present invention may be an operation relating to each position correction value for the
한편, 상기 위치보정값이 연산되는 과정에 관한 실시예를 나타내는 도표에 관해 도 6 내지 도 7에 도시되어 있다.On the other hand, it is shown in Figures 6 to 7 with respect to a diagram showing an embodiment of the process of calculating the position correction value.
도 6을 참고하면, 상기 기준차량의 특징점 위치와 작업차량의 특징점 위치가 각각 (x,y) 및 (x',y')인 경우, 아래 [수학식 1]에 의해 행렬(R) 및 회전각도(θ)가 연산될 수 있다.Referring to FIG. 6, when the feature point position of the reference vehicle and the feature point position of the work vehicle are (x, y) and (x ', y'), respectively, the matrix R and the rotation are represented by
또한, 도 7은 상기 기준차량의 기준특징점 A,B에 대비한 작업차량의 특징점 C,D의 회전각도와 위치변화에 관한 것으로서, 상기 [수학식 1]을 기반으로 아래의 [수학식 2]와 같이 상기 기준차량에 대비한 작업차량의 회전각도 및 위치변위의 연 산이 가능하다.In addition, FIG. 7 relates to a rotation angle and a position change of the feature points C and D of the work vehicle in comparison with the reference feature points A and B of the reference vehicle, based on
여기서, 상기 [수학식 2] 및 도 7에 개시된 x1,x2,dx1,dx2,y1,dy1,dy2 값은 상기 보정계에 의해 실측될 수 있는 값들이다.Here, x1, x2, dx1, dx2, y1, dy1, and dy2 values disclosed in Equation 2 and FIG. 7 are values that can be measured by the calibrator.
즉, 기준특징점 패턴 좌표값이 'A(x1,y1), B(x2,y1)'이고, 작업차량의 특정점 패턴 좌표값이 'C(x1+dx1,y1+dy1), D(x2+dx1,y1+dy1)' 또는 'C(x1+dx1,y1+dy1), E(x',y'=x2+dx2,dy1+dy2)'인 경우, 상기 보정계로 계측된 값(x1,x2,dx1,dx2,y1, dy1,dy2)들을 [수학식 2]에 대입하여 이용한다면 상기 작업차량의 위치변위(x',y') 뿐만 아니라 상기 회전각도(θ)를 계산할 수 있다.That is, the reference feature point pattern coordinate values are 'A (x1, y1) and B (x2, y1)', and the specific point pattern coordinate values of the work vehicle are 'C (x1 + dx1, y1 + dy1)' and D (x2 + dx1, y1 + dy1) 'or' C (x1 + dx1, y1 + dy1), E (x ', y' = x2 + dx2, dy1 + dy2) ', the value measured by the calibrator (x1, x2 By using, dx1, dx2, y1, dy1, dy2) in Equation 2, the rotation angle θ can be calculated as well as the positional displacement x ', y' of the work vehicle.
물론 상기 작업차량의 특징점 패턴 좌표값이 'C와 D'인 경우는 위치변위만 발생되어 상기 회전각도(θ)의 계산이 불필요하나, 보통의 경우 상기 작업차량에 대한 특징점 패턴 좌표값은 상기 기준차량에 관한 기준특징점 패턴 좌표와 동일 수평면상에 위치되기 어려우므로 실질적으로 상기 작업차량의 특징점 패턴 좌표값은 상기 'C와 E' 같이 위치와 회전각도 변이가 동시에 발생되는 경우가 더욱 빈번히 발생될 수 있다. Of course, when the feature point pattern coordinate values of the work vehicle are 'C and D', only position displacement is generated so that the calculation of the rotation angle θ is unnecessary, but in general, the feature point pattern coordinate value for the work vehicle is the reference. Since it is difficult to be located on the same horizontal plane as the reference feature point pattern coordinates for the vehicle, the feature point pattern coordinate values of the work vehicle may occur more frequently when the position and rotation angle variations occur simultaneously, such as 'C and E'. have.
앞서 설명한 바와 같이 차량작업(시트장착 등)을 수행하는 작업 수행 로봇의 작업위치를 결정하는 상기 패턴정합법은 다양한 변형이용이 가능함은 물론이다.As described above, the pattern matching method for determining a work position of a work execution robot that performs a vehicle work (seat mounting, etc.) is, of course, possible to use various modifications.
즉, 차량의 특징점 중 차량의 정면부 특징점과 측면부 특징점을 영상으로 함께 획득하여 비교함으로써 작업차량의 회전성에 대한 데이터를 정밀하게 연산할 수 있으며, 특징점이 복수개로 조합된 묶음을 구성하여 상기 묶음마다 기준차량의 기준특징점과 작업차량 특징점을 비교연산할 수도 있다.That is, by acquiring and comparing the front and side feature points of the vehicle among the feature points of the vehicle together in an image, it is possible to precisely calculate data on the rotational force of the work vehicle, and to form a bundle in which a plurality of feature points are combined for each bundle The reference feature of the reference vehicle and the feature of the working vehicle may be compared and calculated.
상기 도 6 내지 도 7은 본 발명의 특징점 연산단계(S230)에 시행될 수 있는 일 실시예적인 연산 과정에 불과하며, 본 발명은 상기한 실시예로부터 변형된 연산과정에 관한 다양한 변형예가 적용될 수 있음은 물론이다.6 to 7 are merely exemplary calculation processes that can be implemented in the feature point calculation step (S230) of the present invention, the present invention can be applied to various modifications regarding the calculation process modified from the above embodiment Of course.
다음으로, 상기 위치보정값 연산단계(S230) 이후에는, 상기 연산된 위치보정값을 이용하여 상기 시트(10) 장착을 위한 로봇(140)의 작업위치를 자동 제어하게 된다(S250).Next, after the position correction value calculation step (S230), the operation position of the
이러한 상기 로봇(140)은 상기 제어부(130)에서 연산된 위치보정값을 전송받아 상기 위치보정값을 기반으로 작업위치를 자동 이동함으로써 상기 시트(10)를 작업차량 내에 안전하게 장착시킬 수 있다.The
한편, 상기 제어부(130)는 상기 작업차량의 종류마다 상기 로봇(140)의 이동가능 상한값과 하한값에 관한 작업한계값이 설정 및 저장될 수 있다.On the other hand, the
즉, 상기 제어부(130)에 의하면, 상기 연산된 위치보정값이 작업차량의 종류마다 차등적으로 설정되어 있는 상기 작업한계값을 초과하는 경우 에러신호를 발생시키고, 상기 로봇제어 단계(S240)가 수행되지 않도록 제어할 수 있다(S240).That is, the
상기 위치보정값이 상기 로봇(140)의 작업한계값을 초과하는 경우, 상기 로봇(140)과 작업차량 간 또는 작업차량과 시트(10) 간에 충돌이 발생될 수 있고, 시트(10)가 제대로 투입되지 못하면서 상기 작업차량 및 시트(10)에 대한 흠집, 파손 등의 손상을 야기시킬 수 있다.When the position correction value exceeds the work limit value of the
본 발명에 따르면, 상기 연산된 위치보정값과 상기 작업한계값 간 비교가 상시 이루어지는 것에 의해 상기와 같은 차량 손상 등의 문제가 사전에 예방될 수 있음은 물론이고 그에 따른 불량률 감소, 차량 품질 및 생산 효율성을 향상시킬 수 있다.According to the present invention, the comparison between the calculated position correction value and the work limit value is always performed, thereby preventing problems such as vehicle damage in advance, as well as reducing the defective rate, vehicle quality and production accordingly. Improve efficiency
한편, 상기 로봇(140)은 상기 연산된 위치보정값을 전송받은 후 자체 설정된 자체작업한계값과 재비교를 시행함에 따라 상기와 같은 문제가 재차 예방되도록 하는 것도 가능하다.On the other hand, the
연산되어 산출된 데이터는 실제 전송되는 과정상에서 오류가 발생할 수 있음은 물론, 개별적인 장비로 운영되는 교정시스템에서 시스템간의 인터페이스에서 오류가 발생할 수 있으므로, 상기와 같은 구성을 통하여 실제 작업을 수행함에 있어 오류가 존재하는지 확인할 수 있도록 구성하여 안전하고 정확한 작업수행에 만전을 기할 수 있도록 구성할 수도 있다.The calculated and calculated data may cause errors in the process of being actually transmitted, as well as errors may occur at the interface between systems in the calibration system operated by individual equipment. It can also be configured to ensure that there is a safe and accurate work.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited thereto and is described by the person of ordinary skill in the art to which the present invention pertains. Various modifications and variations are possible without departing from the scope of the appended claims.
본 발명의 집중형 LED조명을 이용한 차량의 시트 장착용 로봇의 작업위치 자동 교정방법은 다음과 같은 효과를 제공한다.Method for automatically correcting the work position of the seat mounting robot of the vehicle using the concentrated LED light of the present invention provides the following effects.
첫째, 작업 차량이 정위치에 있지 않은 경우 위치보정값을 연산하여 시트 장착용 로봇의 작업위치를 자동 보정함으로써 상기 시트를 정위치에 안정적으로 장착할 수 있고 차량 품질 및 생산성을 향상시킬 수 있다.First, when the working vehicle is not in the correct position, by calculating the position correction value and automatically correcting the working position of the seat mounting robot, the seat can be stably mounted in the correct position and the vehicle quality and productivity can be improved.
둘째, 특징점 색출시 집중형 LED조명을 이용함에 따라, 동일한 조명 조건하에서 작업 차량의 종류에 관계없이 선명한 특징점의 색출이 가능하고 이에 따라 더욱 정밀한 작업을 수행할 수 있다.Second, by using the intensive LED lighting to extract the feature point, it is possible to retrieve a clear feature point regardless of the type of the work vehicle under the same lighting conditions, and thus more precise work can be performed.
셋째, 적합한 출력을 가지는 집중형 LED조명을 이용하여 작업차량마다 특징점패턴을 등록, 저장할 수 있어 작업효율을 향상시킬 수 있다.Third, by using the centralized LED light having a suitable output can register and store the feature point pattern for each vehicle can improve the work efficiency.
넷째, 화상에서의 거리를 실제거리단위로 변환하는 보정계를 이용함으로써 위치보정값의 정밀도를 향상시킬 수 있다.Fourth, the accuracy of the position correction value can be improved by using a correction system that converts the distance in the image into the actual distance unit.
다섯째, 연산된 위치보정값이 로봇의 작업한계값을 초과하는 경우 로봇 제어 단계가 수행되지 않도록 제어함으로써 그에 따른 사고를 미연에 방지하고 불량률을 절감시킬 수 있고 작업 효율성을 향상시킬 수 있다.Fifth, when the calculated position correction value exceeds the robot's working limit value, the robot control step is controlled so as to prevent the accident and reduce the defective rate and improve the work efficiency.
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060102005A KR100754511B1 (en) | 2006-10-19 | 2006-10-19 | Method for automatically calibrating work position of robot for installating seat of vehicle using a concentrated led light |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060102005A KR100754511B1 (en) | 2006-10-19 | 2006-10-19 | Method for automatically calibrating work position of robot for installating seat of vehicle using a concentrated led light |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100754511B1 true KR100754511B1 (en) | 2007-09-03 |
Family
ID=38736211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060102005A KR100754511B1 (en) | 2006-10-19 | 2006-10-19 | Method for automatically calibrating work position of robot for installating seat of vehicle using a concentrated led light |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100754511B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117532327A (en) * | 2023-12-21 | 2024-02-09 | 北京李尔现代坦迪斯汽车系统有限公司 | Intelligent deviation rectifying mechanical arm based on automobile seat assembly |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05310157A (en) * | 1992-05-07 | 1993-11-22 | Toyota Motor Corp | Vehicle seat and device for automatically assembling the same |
JPH06344963A (en) * | 1993-04-15 | 1994-12-20 | Mazda Motor Corp | Mounting of vehicular seat on vehicle and robot hand for holding vehicle seat |
US5506682A (en) * | 1982-02-16 | 1996-04-09 | Sensor Adaptive Machines Inc. | Robot vision using targets |
US6301763B1 (en) * | 1981-05-11 | 2001-10-16 | Great Lakes Intellectual Property Ltd. | Determining position or orientation of object in three dimensions |
KR20030026496A (en) * | 2001-09-26 | 2003-04-03 | 현대중공업 주식회사 | Artificial Landmark Apparatus for Landmark based Self-Localization of Mobile Robot |
KR100581086B1 (en) | 2004-12-13 | 2006-05-22 | 한국전자통신연구원 | Method and apparatus for mobile robot localization using led of rfid tag |
-
2006
- 2006-10-19 KR KR1020060102005A patent/KR100754511B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6301763B1 (en) * | 1981-05-11 | 2001-10-16 | Great Lakes Intellectual Property Ltd. | Determining position or orientation of object in three dimensions |
US5506682A (en) * | 1982-02-16 | 1996-04-09 | Sensor Adaptive Machines Inc. | Robot vision using targets |
JPH05310157A (en) * | 1992-05-07 | 1993-11-22 | Toyota Motor Corp | Vehicle seat and device for automatically assembling the same |
JPH06344963A (en) * | 1993-04-15 | 1994-12-20 | Mazda Motor Corp | Mounting of vehicular seat on vehicle and robot hand for holding vehicle seat |
KR20030026496A (en) * | 2001-09-26 | 2003-04-03 | 현대중공업 주식회사 | Artificial Landmark Apparatus for Landmark based Self-Localization of Mobile Robot |
KR100581086B1 (en) | 2004-12-13 | 2006-05-22 | 한국전자통신연구원 | Method and apparatus for mobile robot localization using led of rfid tag |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117532327A (en) * | 2023-12-21 | 2024-02-09 | 北京李尔现代坦迪斯汽车系统有限公司 | Intelligent deviation rectifying mechanical arm based on automobile seat assembly |
CN117532327B (en) * | 2023-12-21 | 2024-05-03 | 北京李尔现代坦迪斯汽车系统有限公司 | Intelligent deviation rectifying mechanical arm based on automobile seat assembly |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10416086B2 (en) | Image inspection device | |
TWI460395B (en) | Flatness measurement device and measuring method thereof | |
EP3531114A1 (en) | Visual inspection device and illumination condition setting method of visual inspection device | |
JP4679073B2 (en) | Tire unevenness pattern inspection method and tire unevenness pattern inspection apparatus | |
KR101337534B1 (en) | Apparatus and method for localization of moving robot | |
CN106248681A (en) | Solid object multiclass defect detecting device based on machine vision and method | |
US8582091B2 (en) | Vision-based headlamp aiming | |
KR20060070580A (en) | Surface defect inspecting method and device | |
CN112461503A (en) | LED lamp panel visual detection device and detection method | |
KR100754511B1 (en) | Method for automatically calibrating work position of robot for installating seat of vehicle using a concentrated led light | |
JP2009258069A (en) | Inspection apparatus and inspection method of foreign matters within hole of spinneret | |
EP2474824A1 (en) | Illumination/image-pickup system for surface inspection and data structure | |
JP4318579B2 (en) | Surface defect inspection equipment | |
CN112868030A (en) | Analysis of images of applied fluorescent adhesive | |
US9756230B2 (en) | Mounting and inspection data creation device and mounting and inspection data creation method | |
CN115683570A (en) | Automobile light detection method, system, storage medium and intelligent terminal | |
CN114518079A (en) | Hole internal feature detection system and detection method | |
KR20190119801A (en) | Vehicle Headlight Alignment Calibration and Classification, Inspection of Vehicle Headlight Defects | |
EP3509409B1 (en) | Component mounting device and position identification method | |
KR20040053558A (en) | Coil Spring Marking Examination Method to Use Vision System | |
JP2017037055A (en) | Defect measurement device | |
JP4315899B2 (en) | Surface inspection method and surface inspection apparatus | |
JP2016033497A (en) | Cutting object inspection device, cutting object inspection method, program for cutting object inspection device, and cutting object inspection system | |
JP4030570B2 (en) | Image processing light irradiation apparatus and image processing light irradiation method | |
JP4371883B2 (en) | Illumination light source unit for inspection and surface defect inspection apparatus using the light source unit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130821 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140617 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150625 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20190524 Year of fee payment: 12 |
|
R401 | Registration of restoration | ||
FPAY | Annual fee payment |
Payment date: 20191121 Year of fee payment: 13 |