KR102280663B1 - Calibration method for robot using vision technology - Google Patents

Calibration method for robot using vision technology Download PDF

Info

Publication number
KR102280663B1
KR102280663B1 KR1020190100900A KR20190100900A KR102280663B1 KR 102280663 B1 KR102280663 B1 KR 102280663B1 KR 1020190100900 A KR1020190100900 A KR 1020190100900A KR 20190100900 A KR20190100900 A KR 20190100900A KR 102280663 B1 KR102280663 B1 KR 102280663B1
Authority
KR
South Korea
Prior art keywords
image
calibration
coordinate
coordinate system
image sensor
Prior art date
Application number
KR1020190100900A
Other languages
Korean (ko)
Other versions
KR20210022195A (en
Inventor
싱-룽 훙
메이-위 황
웨이-쉰 가오
촨-지엔 라이
Original Assignee
하이윈 테크놀로지스 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하이윈 테크놀로지스 코포레이션 filed Critical 하이윈 테크놀로지스 코포레이션
Priority to KR1020190100900A priority Critical patent/KR102280663B1/en
Publication of KR20210022195A publication Critical patent/KR20210022195A/en
Application granted granted Critical
Publication of KR102280663B1 publication Critical patent/KR102280663B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0019—End effectors other than grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

비전 가이드 로봇 암에 사용되는 교정 방법에 있어서, A) 조작 조건을 설정하는 단계: B) 교정 대상을 배치하는 단계: C) 작업 공구 중심점을 이동시키는 단계: D) 이미지 센서를 이동시키는 단계: E) 위치결정 마크의 이미지를 분석하는 단계: F) 이미지와 실제 거리를 교정하는 단계: G) 이미지 교정 데이터를 계산하는 단계: H) 이미지 센서의 좌표계 보상량을 계산하는 단계 등을 활용한다. 본 발명에 따른 비전 가이드 로봇 암 교정 방법은, 도트 행렬과 같은 특정 교정대상에 제한되지 않고, 교정대상 내에 위치결정 마크를 지정하기만 하면 교정 작업을 진행할 수 있어, 교정 작업 시간을 단축할 수 있다. 또한, 이미지 분석 방법을 통해 좌표 위치를 판단함으로써, 인위적인 판단에 의한 시각적 오류도 감소시킬 수 있다.A calibration method used for a vision guide robot arm, comprising: A) setting operating conditions: B) arranging a calibration target: C) moving a work tool center point: D) moving an image sensor: E ) Analyze the image of the positioning mark: F) Correct the image and the actual distance: G) Calculate the image correction data: H) Calculate the coordinate system compensation amount of the image sensor, etc. are utilized. The vision guide robot arm calibration method according to the present invention is not limited to a specific calibration target such as a dot matrix, and can be performed by simply designating a positioning mark in the calibration target, thereby reducing the calibration work time. . In addition, by determining the coordinate position through the image analysis method, it is possible to reduce the visual error caused by the artificial judgment.

Description

비전 가이드 로봇 암 교정 방법{CALIBRATION METHOD FOR ROBOT USING VISION TECHNOLOGY}Vision Guided Robot Arm Calibration Method {CALIBRATION METHOD FOR ROBOT USING VISION TECHNOLOGY}

본 발명은 로봇 암 교정에 관한 것으로, 특히 비전 가이드 로봇 암 교정 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to robot arm calibration, and more particularly to a method for calibrating a vision guided robot arm.

비전 가이드 로봇 암은 일반적으로 로봇 암의 엔드 이펙터에 CCD(Charge-coupled Device)와 같은 이미지 센서를 추가한 것을 가리키며, 로봇 암은 눈을 가진 것처럼, 이미지 센서가 공작물의 위치를 얻으면 로봇 암 제어기를 통해 엔드 이펙터를 공작물 위치로 이동시켜 픽업하거나 플레이싱 하도록 로봇 암을 제어한다.A vision-guided robotic arm usually refers to the addition of an image sensor, such as a charge-coupled device (CCD), to the end effector of a robotic arm, just as the robotic arm has eyes, which in turn activates the robot arm controller when the image sensor obtains the position of the workpiece. control the robot arm to pick up or place by moving the end effector to the workpiece position.

그러나, 상술한 픽 앤 플레이스 작업이 수행되기 전에, 먼저 로봇 암은 비전 가이드 로봇 암 교정 작업에 의해, 제어기가 엔드 이펙터와 이미지 센서 렌즈 사이의 좌표 위치 차이를 저장할 수 있도록 해야 한다. However, before the above-described pick and place operation is performed, the robot arm must first enable the controller to store the coordinate position difference between the end effector and the image sensor lens by the vision guide robot arm calibration operation.

종래의 비전 가이드 로봇 암 시스템 교정 기술에서, 사용된 교정 대상은 도트 행렬이다. 도트 행렬은 규칙적인 패턴이며, 방향성이 없으므로, 사용자가 도트 행렬 상의 3개의 특징 점을 순차적으로 결정해야 한다. 계속하여, 교정인원은 먼저 카메라가 완전한 도트 행렬 이미지를 캡처할 수 있도록 로봇 암을 조절하여 적절한 높이로 이동시키고, 해당 위치가 바로 이미지 교정점이다. 사용자는 상기 3개의 특정점의 이미지 좌표를 이미지 처리 소프트웨어 중의 도트 행렬 이미지 상에 입력하고, 도트 행렬 중 점과 점 사이의 실제 에서의 중심 거리를 입력하고, 이미지 처리 소프트웨어를 통해 이미지 좌표계로부터 실제 좌표계로의 좌표계 변환 관계를 계산하고, 이와 같이 이미지 처리 소프트웨어 내에 실제 좌표계

Figure 112019084534200-pat00001
를 정의했다. In the conventional vision guide robot arm system calibration technology, the calibration object used is a dot matrix. Since the dot matrix is a regular pattern and has no direction, the user must sequentially determine three feature points on the dot matrix. Subsequently, the proofreader first moves the robot arm to an appropriate height by adjusting the robot arm so that the camera can capture the complete dot matrix image, and that position is the image calibration point. The user inputs the image coordinates of the three specific points on the dot matrix image in the image processing software, inputs the center distance in the real between the points in the dot matrix, and the actual coordinate system from the image coordinate system through the image processing software. Calculate the coordinate system transformation relationship to the real coordinate system within the image processing software as
Figure 112019084534200-pat00001
has defined

상술한 교정 절차가 종료된 후, 교정인원은 또한 로봇 암을 이동시키되, 로봇 암의 작업 공구 작업 점을 상술한 3개의 특징점으로 순차적으로 이동시키고, 또한 공구 작업 점의 상기 특징점 위치에서의 로봇 암의 좌표값을 기록한다. 교정이 완료되면, 로봇 암 제어기 내부에서는 상술한 로봇 암 좌표값에 따라 로봇 암의 베이스 좌표계를 자동으로 계산하여 정의한다. 이때, 로봇 암의 베이스 좌표계는 영상처리 소프트웨어 중 실제 좌표계와 중첩된다. 따라서, 이미지 처리 소프트웨어에 의해 영상을 분석하고 변환을 통해 공작물의 실제 좌표를 얻으면, 별도의 변환이 필요 없이, 직접 로봇 암에 전송되어 작업을 진행할 수 있다. After the above-mentioned calibration procedure is finished, the calibration personnel also move the robot arm, and sequentially move the working tool working point of the robot arm to the above three feature points, and also the robot arm at the feature point position of the tool working point. record the coordinates of When calibration is completed, the robot arm controller automatically calculates and defines the base coordinate system of the robot arm according to the above-described robot arm coordinate values. In this case, the base coordinate system of the robot arm overlaps the actual coordinate system in the image processing software. Therefore, if the image is analyzed by the image processing software and the actual coordinates of the workpiece are obtained through transformation, it is directly transmitted to the robot arm and the operation can be performed without the need for additional transformation.

그러나, 종래의 비전 가이드 로봇 암 교정 기술은 완전히 인력에 의존해야 하므로, 절차에 시간이 많이 소요되고 오류가 발생하기 쉽다. 또한, 작업 공구 작업점이 각 특징점으로 정확하게 이동하고 있는지 여부도 전적으로 교정인원의 시각적 확인에 의존하므로, 교정인원이 달라짐에 따라 상이한 교정 결과가 발생하여 시각적 오차가 발생할 수 있다. However, the conventional vision-guided robotic arm calibration technique is completely manpower-dependent, so the procedure is time-consuming and error-prone. In addition, whether the work tool work point is accurately moved to each feature point depends entirely on the visual confirmation of the proofreader, so that different calibration results may occur as the calibration staff changes, resulting in a visual error.

관련 기술로서, 예컨대 미국 특허공고 제US6812665호는, 오프라인 상대적 교정방법을 설명하였고, 로봇 암 공구 중심 점(tool center point, TCP)과 공작물 사이의 오차에 따라 보상하여, 정확한 가공 경로를 만들 수 있다. 그러나, 로봇 암은 표준 공작물의 외형 파라미터를 미리 파악한 후 표준 파라미터 교정을 진행해야 하고, 온라인 조작 시 힘 피드백 또는 변위 센서에 의해 현재 공작물과 표준 공작물의 파라미터 오차를 얻어 보상한다. As a related art, for example, U.S. Patent Publication No. US6812665, describes an offline relative calibration method, and compensates according to the error between the robot arm tool center point (TCP) and the workpiece, thereby making an accurate machining path . However, the robot arm needs to determine the external parameters of the standard workpiece in advance and then proceed with the calibration of the standard parameters, and compensates for the parameter errors of the current workpiece and the standard workpiece by force feedback or displacement sensor during online operation.

미국 특허공고 제US7019825호는, 로봇 암 단부에 설치된 카메라에 의해 적어도 두 개의 공작물 이미지를 얻는 핸드/아이 교정 방법을 설명했다. 암은 이동하여 적어도 두 개의 이미지를 얻고 투사 불변형 표현자를 통해 암과 카메라의 회전 및 평행이동 벡터를 계산한다. 그러나, 적어도 두 개 이상의 공작물 이미지를 얻어 투사 불변형 계산을 진행할 경우, 촬영 공작물은 충분한 가장자리 데이터가 한정되어 있어야 하고, 그렇지 않은 경우 변환을 최적화해야 하므로 시간이 많이 소요되고 좋은 결과를 얻지 못한다. U.S. Patent Publication No. US7019825 describes a hand/eye calibration method in which at least two workpiece images are obtained by means of a camera installed at the end of a robot arm. The arm moves to obtain at least two images and computes the rotation and translation vectors of the arm and camera via projection invariant descriptors. However, if at least two images of the workpiece are obtained and the projection invariant calculation is performed, the photographed workpiece must have sufficient edge data defined, otherwise, the transformation must be optimized, which is time consuming and does not give good results.

또한 미국 특허공고 제US 2005/0225278 A1호는 로봇 암의 이동방식을 판단하기 위한 측정 시스템을 제공하며, 공구 중심점의 수광면 상의 위치를 수광면 상의 소정의 지점으로 이동시키고, 결정된 위치에 의해 로봇을 이동하여 로봇 암의 위치를 저장함으로써, 로봇의 공구 장착면에 대한 공구 중심점의 위치를 결정한다. 이러한 실시방식은 이미지 교정 방법에 있어서, 공통 좌표계 계산의 기초로서, 교정 공구 중심점 위치를 로봇 암에 의해 기준 이미지가 표시되는 중심점 위치로 구동시켜야 한다. 따라서 사람의 수동 교정 작업 과정은 번거롭고 시간이 많이 소요된다.In addition, US Patent Publication No. US 2005/0225278 A1 provides a measurement system for determining the movement method of the robot arm, moves the position of the center point of the tool on the light receiving surface to a predetermined point on the light receiving surface, and the robot according to the determined position By moving and storing the position of the robot arm, the position of the tool center point relative to the tool mounting surface of the robot is determined. This implementation method should drive the calibration tool center point position to the center point position where the reference image is displayed by the robot arm as the basis of common coordinate system calculation in the image calibration method. Therefore, the manual calibration process by humans is cumbersome and time-consuming.

본 발명의 주요 목적은, 교정 작업 시간을 단축하고 오차를 감소시킬 수 있는 비전 가이드 로봇 암 교정 방법을 제공하는 것이다.A main object of the present invention is to provide a vision guide robot arm calibration method that can shorten the calibration work time and reduce errors.

본 발명에 따른 비전 가이드 로봇 암 교정 방법에 있어서, 로봇 암에 사용되고, 상기 로봇 암은 베이스가 구비되고, 상기 로봇 암의 말단부에는 하나의 플랜지 표면이 구비되고, 상기 로봇 암은 제어기와 전기적으로 연결되고, 상기 제어기는 데이터 입력, 데이터 출력, 데이터 저장, 데이터 처리와 계산 및 데이터 표시 기능을 가지며, 상기 제어기는 베이스 좌표계 및 플랜지 좌표계를 미리 저장하고, 상기 베이스 좌표계는 서로 수직되는 X축, Y축, Z축으로 구성된 좌표 공간이고, 상기 베이스 좌표는 베이스 좌표 원점을 가지고, 상기 로봇 암은 하나의 작업 범위를 가지고, 상기 플랜지 좌표계는 서로 수직되는 X1축, Y1축, Z1축으로 구성된 좌표 공간이고, 상기 플랜지 좌표계는 플랜지 좌표 원점을 가지고, 상기 플랜지 표면에는 하나의 작업 공구가 장착되고, 상기 작업공구는 하나의 작업 공구 중심점을 가지고, 상기 제어기는 작업 공구 좌표계를 설정하고, 상기 작업 공구 좌표계는 서로 수직되는 X2축, Y2축, Z2축으로 구성된 좌표 공간이고, 상기 작업 공구 좌표계는 작업 공구 좌표 원점을 가지고, 상기 작업 공구 좌표 원점은 상기 작업 공구 중심점에 위치하고, 상기 플랜지 표면에는 하나의 이미지 센서가 장착되어, 상기 제어기와 전기적으로 연결되고, 상기 이미지 센서 내부에는 이미지 센서 칩이 구비되고, 상기 이미지 센서 칩은 이미지 센서 평면이 구비되고, 상기 제어기는 서로 수직되는 X3축, Y3축, Z3축으로 구성된 좌표 공간인 이미지 센서의 제1 좌표계를 설정하고, 상기 이미지 센서의 제1 좌표계의 상기 X3축 및 상기 Y3축으로 구성된 X3Y3평면은 상기 이미지 센서 칩의 상기 이미지 센서 평면에 평행하여야 하고, 상기 이미지 센서의 제1 좌표계는 이미지 센서의 제1 좌표 원점을 가지고, 사용자는 상기 플랜지 좌표계, 상기 작업 공구 좌표계 또는 상기 이미지 센서의 제1 좌표계를 선택하여 현재 좌표계로 하도록 상기 제어기를 조작할 수 있고, 상기 현재 좌표계는 현재 사용 중인 좌표계를 의미하고, A) 조작 조건을 설정하는 단계: 상기 베이스 좌표계에서의 교정 높이, 제1 교정 좌표점, 제2 교정 좌표점, 제3 교정 좌표점 및 제4 교정 좌표점을 상기 제어기에 설정함; B) 교정 대상을 배치하는 단계: 하나의 위치결정 마크가 있는 교정 대상을 상기 로봇 암의 작업 범위 내에 배치함; C) 작업 공구 중심점을 이동시키는 단계: 상기 작업 공구 좌표계를 선택하여 상기 현재 좌표계로 하고, 상기 로봇 암을 조작하여 상기 작업 공구를 이동시킴으로써, 상기 작업 공구 중심점을 상기 위치결정 마크 상에 이동시키고, 상기 제어기는 상기 베이스 좌표계에서의 현재 위치 좌표를 저장함; D) 이미지 센서를 이동시키는 단계: 상기 이미지 센서의 제1 좌표계를 선택하여 상기 현재 좌표계로 하고 상기 교정 높이를 추가하고, 상기 제어기는 상기 이미지 센서를 이동시켜, 상기 이미지 센서의 제1 좌표 원점이 교정 기준 위치 좌표로 이동되도록 상기 로봇 암을 제어하고, 상기 교정 기준 위치 좌표는 상기 위치결정 마크 상부에 위치하고, Z축 좌표값만이 상기 교정 높이만큼 차이 남; E) 위치결정 마크의 이미지를 분석하는 단계: 상기 이미지 센서에 의해 위치결정 이미지를 캡처하고, 상기 위치결정 이미지는 상기 위치결정 마크가 있는 이미지이고, 상기 제어기는 이미지 분석 소프트웨어를 통해 상기 위치결정 이미지에 위치결정 이미지 중심을 설정하여 상기 위치결정 이미지를 분석하고, 상기 이미지 분석 소프트웨어를 통해 상기 위치결정 이미지 중심에 대한 상기 위치결정 이미지에서의 위치결정 마크의 위치를 얻어, 상기 제어기가 위치결정 마크의 이미지 좌표를 얻도록 함; F) 이미지와 실제 거리를 교정하는 단계: 상기 로봇 암을 조작하여, 상기 이미지 센서의 제1 좌표 원점이 상기 제1 교정 좌표점 내지 제4 교정 좌표점으로 이동하도록 상기 이미지 센서를 이동시키고, 상기 이미지 센서는 상기 이미지 센서의 제1 좌표 원점이 상기 제1 교정 좌표점 내지 제4 교정 좌표점으로 이동될 때, 제1 이미지, 제2 이미지, 제3 이미지 및 제4 이미지를 각각 캡처하고, 상기 제어기에 의해 상기 이미지 분석 소프트웨어를 통해 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지 및 상기 제4 이미지를 분석하여, 상기 위치결정 마크의 상기 제1 이미지 내지 제4 이미지에서의 제1 교정 이미지 좌표, 제2 교정 이미지 좌표, 제3 교정 이미지 좌표 및 제4 교정 이미지 좌표를 각각 얻음; G) 이미지 교정 데이터를 계산하는 단계: 상기 베이스 좌표계에서의 상기 제1 교정 좌표점 내지 상기 제4 교정 좌표점의 좌표값, 및 상기 제1 교정 이미지 좌표 내지 상기 제4 교정 이미지 좌표를 알고 있으면, 이미지 교정 데이터를 계산하여 얻을 수 있고, 상기 이미지 교정 데이터를 통해, 이미지에서의 거리와 실제 거리 사이의 변환 관계를 파악할 수 있음; H) 이미지 센서 좌표계의 보상량을 계산하는 단계: 상기 위치결정 마크의 이미지 좌표와 상기 이미지 교정 데이터를 이용하여 이미지 센서의 제1 좌표계 보상량을 계산하여, 상기 이미지 센서 이미지에서의 위치와 상기 작업 공구 위치의 오차를 보상함;을 특징으로 한다.In the vision guide robot arm calibration method according to the present invention, it is used for a robot arm, the robot arm is provided with a base, the distal end of the robot arm is provided with a single flange surface, and the robot arm is electrically connected to a controller and the controller has data input, data output, data storage, data processing and calculation and data display functions, the controller pre-stores a base coordinate system and a flange coordinate system, and the base coordinate system has X and Y axes perpendicular to each other. , a coordinate space consisting of Z-axis, the base coordinate has a base coordinate origin, the robot arm has one working range, and the flange coordinate system is a coordinate space consisting of X1-axis, Y1-axis, and Z1-axis perpendicular to each other, and , the flange coordinate system has a flange coordinate origin, the flange surface is equipped with one work tool, the work tool has one work tool center point, the controller sets the work tool coordinate system, the work tool coordinate system is It is a coordinate space composed of X2 axis, Y2 axis, Z2 axis perpendicular to each other, the work tool coordinate system has a work tool coordinate origin, the work tool coordinate origin is located at the center point of the work tool, and one image sensor is located on the flange surface. is mounted and is electrically connected to the controller, an image sensor chip is provided inside the image sensor, the image sensor chip is provided with an image sensor plane, and the controller has X3 axes, Y3 axes, and Z3 axes perpendicular to each other. A first coordinate system of the image sensor is set as a coordinate space consisting of , and an X3Y3 plane including the X3 axis and the Y3 axis of the first coordinate system of the image sensor should be parallel to the image sensor plane of the image sensor chip, and The first coordinate system of the image sensor has the first coordinate origin of the image sensor, and the user can operate the controller to select the flange coordinate system, the work tool coordinate system, or the first coordinate system of the image sensor to make the current coordinate system, The current coordinate system is means the coordinate system currently being used, and A) setting the operating conditions: the calibration height in the base coordinate system, the first calibration coordinate point, the second calibration coordinate point, the third calibration coordinate point, and the fourth calibration coordinate point set in the controller; B) placing the calibration object: placing the calibration object with one positioning mark within the working range of the robot arm; C) moving the work tool center point: selecting the work tool coordinate system as the current coordinate system, by operating the robot arm to move the work tool, moving the work tool center point on the positioning mark, the controller stores current position coordinates in the base coordinate system; D) moving the image sensor: selecting the first coordinate system of the image sensor as the current coordinate system and adding the calibration height, the controller moves the image sensor, so that the first coordinate origin of the image sensor is control the robot arm to move to a calibration reference position coordinate, the calibration reference position coordinate is located above the positioning mark, and only the Z-axis coordinate value differs by the calibration height; E) analyzing the image of the positioning mark: capturing a positioning image by the image sensor, the positioning image is the image with the positioning mark, and the controller is configured to configure the positioning image through image analysis software Analyze the positioning image by setting the positioning image center to , and obtain the position of the positioning mark in the positioning image with respect to the positioning image center through the image analysis software, so that the controller determines the position of the positioning mark. to get image coordinates; F) calibrating the image and the actual distance: manipulating the robot arm to move the image sensor so that the first coordinate origin of the image sensor moves to the first to fourth calibration coordinate points, and The image sensor captures a first image, a second image, a third image, and a fourth image, respectively, when the first coordinate origin of the image sensor is moved to the first to fourth calibration coordinate points, and Analyze the first image, the second image, the third image and the fourth image through the image analysis software by a controller to make a first correction in the first image to the fourth image of the positioning mark obtaining image coordinates, second corrected image coordinates, third corrected image coordinates, and fourth corrected image coordinates, respectively; G) calculating the image calibration data: if the coordinate values of the first to the fourth calibration coordinate points in the base coordinate system, and the first calibration image coordinates to the fourth calibration image coordinates are known, obtained by calculating the image correction data, and through the image correction data, it is possible to determine a conversion relationship between the distance in the image and the actual distance; H) calculating the compensation amount of the image sensor coordinate system: calculating the compensation amount of the first coordinate system of the image sensor using the image coordinates of the positioning mark and the image calibration data, so that the position in the image sensor image and the operation It is characterized by compensating for the error of the tool position.

이상 제공된 방법에 의해, 본 발명에 따른 비전 가이드 로봇 암 교정 방법은, 도트 행렬과 같은 특정 교정대상에 제한되지 않고, 교정대상 내에 위치결정 마크를 지정하기만 하면 교정 작업을 진행할 수 있어, 교정 작업 시간을 단축할 수 있다. 또한, 이미지 분석 방법을 통해 좌표 위치를 판단함으로써, 인위적인 판단에 의한 시각적 오류도 감소시킬 수 있다. By the method provided above, the vision guide robot arm calibration method according to the present invention is not limited to a specific calibration target such as a dot matrix, and can be performed by simply designating a positioning mark in the calibration target, time can be shortened. In addition, by determining the coordinate position through the image analysis method, it is possible to reduce the visual error caused by the artificial judgment.

언급할 것은, 단계 A)에서, 상기 제1 교정 좌표점 내지 제4 교정 좌표점의 Z축 분량은 모두 동일하고, 동일한 높이에 위치한다. It should be noted that, in step A), the Z-axis quantities of the first to fourth calibration coordinate points are the same and are located at the same height.

또한, 제1항에 있어서, 상기 교정 좌표점의 개수는 4개 이상이어야 하는 비전 가이드 로봇 암 교정 방법이다. 그러나, 교정에 더 많은 좌표점이 사용될수록, 계산량이 더 많아지고, 계산 시간이 더 길고, 계산 비용이 높아지므로, 적절한 개수의 교정점을 선택해야 하고, 본 실시예에서는 4개 점 교정이 작동된다. The method of claim 1 , wherein the number of the calibration coordinate points should be four or more. However, the more coordinate points used for calibration, the larger the amount of calculation, the longer the calculation time, and the higher the calculation cost. Therefore, it is necessary to select an appropriate number of calibration points, and in this embodiment, four-point calibration is operated. .

또한, 단계 G)에서, 상기 이미지 교정 데이터의 계산 방법은 아래와 같으며, 상기 제1 교정 좌표점 내지 제4 교정 좌표점의 좌표는 각각

Figure 112019084534200-pat00002
임을 알고 있으면, 대응하는 상기 제1 교정 이미지 좌표 내지 제4 교정 이미지 좌표는
Figure 112019084534200-pat00003
이고, 각각 행렬로 표시하면 다음과 같고,In addition, in step G), the calculation method of the image calibration data is as follows, and the coordinates of the first to fourth calibration coordinate points are respectively
Figure 112019084534200-pat00002
If it is known that , the corresponding first to fourth calibration image coordinates are
Figure 112019084534200-pat00003
, and expressed as a matrix, it is as follows,

Figure 112019084534200-pat00004
Figure 112019084534200-pat00004

Figure 112019084534200-pat00005
Figure 112019084534200-pat00005

상기 행렬

Figure 112019084534200-pat00006
는 상기 베이스 좌표계에서의 상기 제1 교정 좌표점 내지 제4 교정 좌표점으로 구성되고, 행렬
Figure 112019084534200-pat00007
는 이미지 공간에서 상기 제1 교정 이미지 좌표 내지 제4 교정 이미지 좌표로 구성되고, 다음과 같은 관계식으로 표시되고, the matrix
Figure 112019084534200-pat00006
is composed of the first to fourth calibration coordinate points in the base coordinate system, and
Figure 112019084534200-pat00007
is composed of the first to fourth calibration image coordinates in image space, and is expressed by the following relational expression,

Figure 112019084534200-pat00008
Figure 112019084534200-pat00008

행렬

Figure 112019084534200-pat00009
는 2개의 평면 좌표계 사이의 아핀 변환 행렬(Affine transformation matrix)이다. 행렬
Figure 112019084534200-pat00010
의 무어-펜로즈 의사역 행렬
Figure 112019084534200-pat00011
(Moore-Penrose pseudo-inverse matrix)을 계산하는 것을 통해 행렬
Figure 112019084534200-pat00012
를 계산하면 다음과 같고, procession
Figure 112019084534200-pat00009
is an affine transformation matrix between two planar coordinate systems. procession
Figure 112019084534200-pat00010
The Moore-Penrose pseudo-inverse matrix of
Figure 112019084534200-pat00011
matrix through computing (Moore-Penrose pseudo-inverse matrix)
Figure 112019084534200-pat00012
is calculated as follows,

Figure 112019084534200-pat00013
Figure 112019084534200-pat00013

의사역 행렬

Figure 112019084534200-pat00014
은 특이값 분해법(Singular Value Decomposition, SVD)을 통해 구할 수 있으며, 행렬
Figure 112019084534200-pat00015
가 바로 상기 이미지 교정 데이터이고, 이미지 내 거리와 실제 거리 사이의 변환 관계를 나타낸다. pseudo-inverse matrix
Figure 112019084534200-pat00014
can be obtained through Singular Value Decomposition (SVD),
Figure 112019084534200-pat00015
is the image calibration data, and represents a transformation relationship between the distance in the image and the actual distance.

또한 단계 H)에서, 상기 이미지 센서의 제1 좌표계 보상량을 상기 제어기에 설정하여 센서의 제2 좌표계를 생성할 수 있다.Also, in step H), the second coordinate system of the sensor may be generated by setting the compensation amount of the first coordinate system of the image sensor in the controller.

도 1은 본 발명의 바람직한 실시예에 따른 시스템 개략도이고 로봇 암을 보여준다.
도 2는 본 발명의 바람직한 실시예에 따른 교정 대상의 개략도이다.
도 3은 본 발명의 바람직한 실시예에 따른 흐름 블록도이다.
도 4는 본 발명의 바람직한 실시예에 따른 이미지 센서에 의한 이미지 캡처 개략도이고, 이미지는 교정 대상, 위치결정 마크 및 이미지 중심을 갖는 것을 보여준다.1 is a schematic diagram of a system according to a preferred embodiment of the present invention and shows a robot arm;
2 is a schematic diagram of a calibration object according to a preferred embodiment of the present invention.
3 is a flow block diagram according to a preferred embodiment of the present invention.
Fig. 4 is a schematic diagram of image capture by an image sensor according to a preferred embodiment of the present invention, showing an image having a calibration object, a positioning mark and an image center;

본 발명의 기술적 특징을 상세히 설명하기 위해, 이하에서는 바람직한 실시예와 도면을 결합하여 설명할 것이다. In order to describe the technical features of the present invention in detail, the following will be described in conjunction with the preferred embodiment and drawings.

도 1 내지 도 4에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 비전 가이드 로봇 암 교정 방법은, 6축 로봇 암인 로봇 암(10)에 사용되고, 상기 로봇 암(10)은 베이스(11)가 구비된다. 상기 로봇 암(10)의 단부에는 물체를 연결하기 위한 하나의 플랜지 표면(12)이 구비된다. 상기 로봇 암(10)은 제어기(13)와 전기적으로 연결되고, 상기 제어기(13)는 데이터 입력, 데이터 출력, 데이터 저장, 데이터 처리와 계산 및 데이터 표시 기능을 가진다. 상기 로봇 암(10)이 공장에서 출하될 때, 상기 제어기(13)는 베이스 좌표계 및 플랜지 좌표계가 미리 저장된다. 상기 베이스 좌표계는 서로 수직되는 X축, Y축, Z축으로 구성된 좌표 공간이고, 상기 베이스 좌표는 베이스 좌표 원점을 가지고, 본 실시예에서 상기 원점은 베이스(11)에 위치하나, 이에 한정되지 않고, 다른 곳을 선택할 수 도 있다. 상기 로봇 암(10)은 상기 베이스 좌표계 하에서 하나의 작업 범위를 갖는다. 상기 플랜지 좌표계는 서로 수직되는 X1축, Y1축, Z1축으로 구성된 좌표 공간이고, 상기 플랜지 좌표계는 플랜지 좌표 원점을 가지며, 본 실시예에서 상기 플랜지 좌표 원점은 상기 플랜지 표면(12)의 기하학적 중심에 위치한다. 상기 플랜지 좌표계와 상기 베이스 좌표계의 관계는 x1, y1, z1, a1, b1, c1이고, 그 중,1 to 4, the vision guide robot arm calibration method according to a preferred embodiment of the present invention is used for a robot arm 10 that is a 6-axis robot arm, and the robot arm 10 is a base 11 is provided The end of the robot arm 10 is provided with one flange surface 12 for connecting objects. The robot arm 10 is electrically connected to a controller 13, and the controller 13 has functions of data input, data output, data storage, data processing and calculation, and data display. When the robot arm 10 is shipped from the factory, the controller 13 stores a base coordinate system and a flange coordinate system in advance. The base coordinate system is a coordinate space composed of an X-axis, Y-axis, and Z-axis perpendicular to each other, and the base coordinate has a base coordinate origin, and the origin is located in the base 11 in this embodiment, but is not limited thereto. , you can choose another location. The robot arm 10 has one working range under the base coordinate system. The flange coordinate system is a coordinate space composed of X1 axis, Y1 axis, and Z1 axis perpendicular to each other, the flange coordinate system has a flange coordinate origin, and in this embodiment, the flange coordinate origin is at the geometric center of the flange surface 12 Located. The relationship between the flange coordinate system and the base coordinate system is x1, y1, z1, a1, b1, c1, among which,

x1: 상기 플랜지 좌표계의 X1축 방향과 상기 베이스 좌표계의 상기 X축 방향의 거리 관계x1: a distance relationship between the X1-axis direction of the flange coordinate system and the X-axis direction of the base coordinate system

y1: 상기 플랜지 좌표계의 Y1축 방향과 상기 베이스 좌표계의 상기 Y축 방향의 거리관계y1: a distance relationship between the Y1-axis direction of the flange coordinate system and the Y-axis direction of the base coordinate system

z1: 상기 플랜지 좌표계의 Z1축 방향과 상기 베이스 좌표계의 상기 Z축 방향의 거리관계z1: the distance relationship between the Z1-axis direction of the flange coordinate system and the Z-axis direction of the base coordinate system

a1: 상기 베이스 좌표계의 상기 X축 방향에 대한 상기 플랜지 좌표계의 X1축 방향의 회전 각도a1: rotation angle in the X1-axis direction of the flange coordinate system with respect to the X-axis direction of the base coordinate system

b1: 상기 베이스 좌표계의 상기 Y축 방향에 대한 상기 플랜지 좌표계의 Y1축 방향의 회전 각도b1: rotation angle in the Y1-axis direction of the flange coordinate system with respect to the Y-axis direction of the base coordinate system

c1: 상기 베이스 좌표계의 상기 Z축 방향에 대한 상기 플랜지 좌표계의 Z1축 방향의 회전 각도c1: rotation angle in the Z1-axis direction of the flange coordinate system with respect to the Z-axis direction of the base coordinate system

상기 플랜지 표면(12)에는 하나의 작업 공구(15)가 장착되고, 본 실시예에서 상기 작업 공구(15)는 흡판을 예로 들었으나, 이에 한정되지 않는다. 상기 작업 공구(15)는 하나의 작업 공구 중심점(tool center point, TCP)을 갖는다. 사용자는 상기 제어기(13)에 작업 공구 좌표계를 설정하고, 상기 작업 공구 좌표계는 서로 수직되는 X2축, Y2축, Z2축으로 구성된 좌표 공간이고, 상기 작업 공구 좌표계는 작업 공구 좌표 원점을 가지며, 상기 작업 공구 좌표 원점은 상기 작업 공구 중심점(TCP)에 위치한다. 상기 작업 공구 좌표계와 플랜지 좌표계의 관계는 x2, y2, z2, a2, b2, c2이고, 그 중,One working tool 15 is mounted on the flange surface 12 , and the working tool 15 is a sucker in this embodiment, but is not limited thereto. The work tool 15 has one tool center point (TCP). A user sets a working tool coordinate system in the controller 13, the working tool coordinate system is a coordinate space consisting of X2, Y2, and Z2 axes perpendicular to each other, the working tool coordinate system has a working tool coordinate origin, and The work tool coordinate origin is located at the work tool center point (TCP). The relationship between the working tool coordinate system and the flange coordinate system is x2, y2, z2, a2, b2, c2, among which,

x2: 상기 작업 공구 좌표계의 X2축 방향과 상기 플랜지 좌표계의 상기 X1축 방향의 거리관계x2: the distance relationship between the X2-axis direction of the working tool coordinate system and the X1-axis direction of the flange coordinate system

y2: 상기 작업 공구 좌표계의 Y2축 방향과 상기 플랜지 좌표계의 상기 Y1축 방향의 거리관계y2: the distance relationship between the Y2-axis direction of the working tool coordinate system and the Y1-axis direction of the flange coordinate system

z2: 상기 작업 공구 좌표계의 Z2축 방향과 상기 플랜지 좌표계의 상기 Z1축 방향의 거리관계z2: the distance relationship between the Z2-axis direction of the working tool coordinate system and the Z1-axis direction of the flange coordinate system

a2: 상기 플랜지 좌표계의 상기 X1축 방향에 대한 상기 작업 공구 좌표계의 X2축 방향의 회전 각도a2: rotation angle in the X2-axis direction of the working tool coordinate system with respect to the X1-axis direction of the flange coordinate system

b2: 상기 플랜지 좌표계의 상기 Y1축 방향에 대한 상기 작업 공구 좌표계의 Y2축 방향의 회전 각도b2: rotation angle in the Y2-axis direction of the working tool coordinate system with respect to the Y1-axis direction of the flange coordinate system

c2: 상기 플랜지 좌표계의 상기 Z1축 방향에 대한 상기 작업 공구 좌표계의 Z2축 방향의 회전 각도c2: rotation angle in the Z2-axis direction of the work tool coordinate system with respect to the Z1-axis direction of the flange coordinate system

하나의 이미지 센서(17)에 있어서, 본 실시예에서는 전하 결합 이미지 센서(Charge Coupled Device, CCD)이고, 상기 플랜지 표면(12)에 설치되어, 상기 제어기(13)와 전기적으로 연결되고, 상기 이미지 센서(17)는 이미지를 캡처하도록 사용된다. 설명드릴 것은, 상기 이미지 센서(17) 내부에는 이미지 센서 칩(171)이 구비되고, 상기 이미지 센서 칩(171)은 이미지 센서 평면(171a)이 구비된다. 사용자는 서로 수직되는 X3축, Y3축, Z3축으로 구성된 좌표 공간인 이미지 센서의 제1 좌표계를 상기 제어기(13)에 설정하고, 상기 이미지 센서의 제1 좌표계의 상기 X3축과 상기 Y3축으로 구성된 X3Y3평면은 상기 이미지 센서 칩(171)의 상기 이미지 센서 평면(171a)과 평행하여야 한다. 상기 이미지 센서의 제1 좌표계는 이미지 센서의 제1 좌표 원점을 가지고, 본 실시예에서, 상기 이미지 센서의 제1 좌표 원점은 상기 이미지 센서 평면(171a)에 위치한다. 상기 이미지 센서의 제1 좌표계와 플랜지 좌표계의 관계는 x3, y3, z3, a3, b3, c3이고, 그 중,In one image sensor (17), in this embodiment, it is a Charge Coupled Device (CCD), installed on the flange surface (12), electrically connected to the controller (13), and the image A sensor 17 is used to capture an image. To explain, an image sensor chip 171 is provided inside the image sensor 17 , and the image sensor chip 171 is provided with an image sensor plane 171a. The user sets the first coordinate system of the image sensor, which is a coordinate space consisting of X3 axes, Y3 axes, and Z3 axes perpendicular to each other, in the controller 13, and uses the X3 axes and Y3 axes of the first coordinate system of the image sensor. The configured X3Y3 plane should be parallel to the image sensor plane 171a of the image sensor chip 171 . The first coordinate system of the image sensor has a first coordinate origin of the image sensor, and in this embodiment, the first coordinate origin of the image sensor is located on the image sensor plane 171a. The relationship between the first coordinate system of the image sensor and the flange coordinate system is x3, y3, z3, a3, b3, c3, among which,

x3: 상기 이미지 센서의 제1 좌표계의 X3축 방향과 상기 플랜지 좌표계의 상기 X1축 방향의 거리관계x3: a distance relationship between the X3-axis direction of the first coordinate system of the image sensor and the X1-axis direction of the flange coordinate system

y3: 상기 이미지 센서의 제1 좌표계의 Y3축 방향과 상기 플랜지 좌표계의 상기 Y1축 방향의 거리관계y3: a distance relationship between the Y3-axis direction of the first coordinate system of the image sensor and the Y1-axis direction of the flange coordinate system

z3: 상기 이미지 센서의 제1 좌표계의 Z3축 방향과 상기 플랜지 좌표계의 상기 Z1축 방향의 거리관계z3: a distance relationship between the Z3-axis direction of the first coordinate system of the image sensor and the Z1-axis direction of the flange coordinate system

a3: 상기 플랜지 좌표계의 상기 X1축 방향에 대한 상기 이미지 센서의 제1 좌표계의 X3축 방향의 회전 각도a3: rotation angle in the X3-axis direction of the first coordinate system of the image sensor with respect to the X1-axis direction of the flange coordinate system

b3: 상기 플랜지 좌표계의 상기 Y1축 방향에 대한 상기 이미지 센서의 제1 좌표계의 Y3축 방향의 회전 각도b3: rotation angle in the Y3-axis direction of the first coordinate system of the image sensor with respect to the Y1-axis direction of the flange coordinate system

c3: 상기 플랜지 좌표계의 상기 Z1축 방향에 대한 상기 이미지 센서의 제1 좌표계의 Z3축 방향의 회전 각도c3: rotation angle in the Z3-axis direction of the first coordinate system of the image sensor with respect to the Z1-axis direction of the flange coordinate system

또한 설명드릴 것은, 사용자는 상기 플랜지 좌표계, 상기 작업 공구 좌표계 또는 상기 이미지 센서의 제1 좌표계를 현재 좌표계로 선택하도록 상기 제어기(13)를 조작할 수 있고, 상기 현재 좌표계는 현재 사용 중인 좌표계를 의미한다. 사용자는 상기 베이스 좌표계 하에 위치점을 설정하고, 상기 현재 좌표계를 선택한 후, 상기 제어기(13)는 상기 현재 좌표계의 원점이 상기 위치점으로 이동하도록 제어하고, 상기 현재 좌표계의 X1Y1평면, X2Y2평면 또는 X3Y3평면은 상기 베이스 좌표계의 XY평면에 평행한다. 예를 들면, 사용자는 상기 작업 공구 좌표계를 상기 현재 좌표계로 선택할 경우, 상기 제어기(13)는 상기 작업 공구 좌표 원점이 상기 위치점으로 이동하도록 상기 로봇 암(10)을 제어하고, 상기 공구 좌표계의 상기 X2축과 상기 Y2축으로 구성된 X2Y2평면은 상기 베이스 좌표계의 상기 X축과 상기 Y축으로 구성된 XY평면에 평행한다. 또한, 예컨대 사용자가 상기 이미지 센서의 제1 좌표계를 상기 현재 좌표계로 선택할 경우, 상기 제어기(13)는 상기 이미지 센서의 제1 좌표 원점이 상기 위치점으로 이동하도록 상기 로봇 암(10)을 제어하고, 상기 이미지 센서의 제1 좌표계의 상기 X3축과 상기 Y3축으로 구성된 X3Y3평면은 상기 베이스 좌표계의 상기 X축과 상기 Y축으로 구성된 XY평면에 평행한다. Also, to explain, the user can operate the controller 13 to select the flange coordinate system, the work tool coordinate system, or the first coordinate system of the image sensor as the current coordinate system, and the current coordinate system means the coordinate system currently in use. do. The user sets a position point under the base coordinate system, and after selecting the current coordinate system, the controller 13 controls the origin of the current coordinate system to move to the position point, and X1Y1 plane, X2Y2 plane, or The X3Y3 plane is parallel to the XY plane of the base coordinate system. For example, when the user selects the working tool coordinate system as the current coordinate system, the controller 13 controls the robot arm 10 so that the working tool coordinate origin moves to the position point, and The X2Y2 plane composed of the X2 axis and the Y2 axis is parallel to the XY plane composed of the X axis and the Y axis of the base coordinate system. Also, for example, when the user selects the first coordinate system of the image sensor as the current coordinate system, the controller 13 controls the robot arm 10 so that the first coordinate origin of the image sensor moves to the position point, and , The X3Y3 plane composed of the X3 axis and the Y3 axis of the first coordinate system of the image sensor is parallel to the XY plane composed of the X axis and the Y axis of the base coordinate system.

도 3에 도시된 바와 같이, 본 발명에 따른 비전 가이드 로봇 암 교정 방법은 아래와 같은 단계를 포함한다: As shown in Fig. 3, the vision guide robot arm calibration method according to the present invention includes the following steps:

A) 조작 조건을 설정하는 단계A) Step of setting the operating conditions

사용자는 상기 베이스 좌표계에서의 교정 높이(Zcal), 제1 교정 좌표점(P1), 제2 교정 좌표점(P2), 제3 교정 좌표점(P3) 및 제4 교정 좌표점(P4)을 상기 제어기(13)에 설정한다. 설명드릴 것은, 상기 제1 교정 좌표점 내지 제4 교정 좌표점(P1-P4)의 Z축 분량은 모두 동일하고, 동일한 높이에 위치한다. The user sets the calibration height (Zcal) in the base coordinate system, the first calibration coordinate point (P1), the second calibration coordinate point (P2), the third calibration coordinate point (P3), and the fourth calibration coordinate point (P4). It is set in the controller (13). What will be explained is that the Z-axis quantities of the first to fourth calibration coordinate points P1-P4 are the same and are located at the same height.

B) 교정 대상을 배치하는 단계B) Placing the calibration target

사용자는 교정 대상(18)을 상기 로봇 암(10)의 작업 범위 내에 배치한다. 상기 교정 대상(18)은 하나의 위치결정 마크(181)가 있고, 본 실시예에서 상기 위치결정 마크(181)는 원점이지만, 원점에 한정되지 않는다. The user places the calibration object 18 within the working range of the robot arm 10 . The calibration object 18 has one positioning mark 181, and in this embodiment, the positioning mark 181 is an origin, but is not limited to the origin.

C) 작업 공구 중심점을 이동시키는 단계C) moving the work tool center point

상기 작업 공구 좌표계를 선택하여 상기 현재 좌표계로 하고, 상기 로봇 암(10)을 조작하여 상기 작업 공구(15)를 이동시킴으로써, 상기 작업 공구 중심점(TCP)을 상기 위치결정 마크(181)상에 이동시킨다. 상기 제어기(13)는 상기 베이스 좌표계에서의 현재 위치 좌표(Psp)를 저장한다. By selecting the work tool coordinate system as the current coordinate system and operating the robot arm 10 to move the work tool 15 , the work tool center point (TCP) is moved on the positioning mark 181 . make it The controller 13 stores the current position coordinates Psp in the base coordinate system.

D) 이미지 센서 이동D) Moving the image sensor

상기 이미지 센서의 제1 좌표계를 선택하여 상기 현재 좌표계로 하고 상기 교정 높이(Zcal)를 추가한다. 상기 제어기(13)는 상기 로봇 암(10)이 상기 이미지 센서(17)를 이동시켜 상기 이미지 센서의 제1 좌표 원점이 교정 기준 위치 좌표(Pcp)로 이동되도록 제어하고, 상기 교정 기준 위치 좌표(Pcp)는 상기 위치결정 마크(181) 상부에 위치한다. 상기 베이스 좌표계 하에서, 상기 교정 기준 위치 좌표(Pcp)는 상기 현재 위치 좌표(Psp)에 비해, Z축 좌표값 차이만이 상기 교정 높이(Zcal)이고, 기타 X축, Y축 분량 값은 동일하다. The first coordinate system of the image sensor is selected as the current coordinate system and the calibration height Zcal is added. The controller 13 controls the robot arm 10 to move the image sensor 17 so that the first coordinate origin of the image sensor is moved to the calibration reference position coordinates (Pcp), and the calibration reference position coordinates ( Pcp) is located above the positioning mark 181 . Under the base coordinate system, the calibration reference location coordinate (Pcp) is the calibration height (Zcal) only in the Z-axis coordinate value difference compared to the current location coordinate (Psp), and the other X-axis and Y-axis amount values are the same .

E) 위치결정 마크의 이미지를 분석하는 단계E) analyzing the image of the positioning mark

상기 이미지 센서(17)에 의해 위치결정 이미지를 캡처하고, 상기 위치결정 이미지는 상기 위치결정 마크(181)가 있는 이미지이다. 상기 제어기(13)는 이미지 분석 소프트웨어를 통해 상기 위치결정 이미지에 위치결정 이미지 중심을 설정하고 상기 위치결정 이미지를 분석하고, 본 실시예에서, 상기 위치결정 이미지 중심은 상기 위치결정 이미지의 기하학적 중심이고, 이에 한정되지 않는다. 상기 이미지 분석 소프트웨어를 통해 상기 위치결정 이미지 중심에 대한 상기 위치결정 이미지에서의 위치결정 마크의 위치를 얻고, 상기 제어기(13)가 위치결정 마크의 이미지 좌표(Xcs)를 얻도록 한다. A positioning image is captured by the image sensor 17 , and the positioning image is an image with the positioning mark 181 . The controller 13 sets the positioning image center in the positioning image through image analysis software and analyzes the positioning image, and in this embodiment, the positioning image center is the geometric center of the positioning image and , but not limited thereto. Obtain the position of the positioning mark in the positioning image with respect to the positioning image center through the image analysis software, and let the controller 13 obtain the image coordinates (Xcs) of the positioning mark.

또한, 앞에서 언급한 상기 이미지 분석 소프트웨어는 일반적으로 시중에서 판매되고 있는 이미지 분석 소프트웨어이고, 이미지에서의 물체를 확인하여 이미지에서의 좌표 위치를 분석하도록 사용되며, 설명을 생략한다. In addition, the above-mentioned image analysis software is generally commercially available image analysis software, and is used to identify an object in the image to analyze the coordinate position in the image, and the description will be omitted.

F) 이미지와 실제 거리를 교정하는 단계F) Calibrating the image and actual distance

상기 로봇 암(10)을 조작하여, 상기 이미지 센서의 제1 좌표 원점이 상기 제1 교정 좌표점 내지 제4 교정 좌표점(P1-P4)으로 이동하도록 상기 이미지 센서(17)를 이동시킨다. 상기 이미지 센서(17)가 상기 이미지 센서의 제1 좌표 원점에서 상기 제1 교정 좌표점 내지 제4 교정 좌표점(P1-P4)으로 이동될 때, 제1 이미지, 제2 이미지, 제3 이미지 및 제4 이미지를 각각 캡처하고, 상기 제어기(13)에 의해 상기 이미지 분석 소프트웨어를 통해 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지 및 상기 제4 이미지를 분석하여, 상기 제1 이미지 내지 제4 이미지 내에서의 상기 위치결정 마크(181)의 제1 교정 이미지 좌표(Xc1), 제2 교정 이미지 좌표(Xc2), 제3 교정 이미지 좌표(Xc3) 및 제4 교정 이미지 좌표(Xc4)를 각각 얻는다. By manipulating the robot arm 10, the image sensor 17 is moved so that the first coordinate origin of the image sensor moves to the first to fourth calibration coordinate points P1-P4. When the image sensor 17 is moved from the first coordinate origin of the image sensor to the first to fourth calibration coordinate points P1-P4, a first image, a second image, a third image and capturing each of the fourth images, and analyzing the first image, the second image, the third image and the fourth image through the image analysis software by the controller 13, 4 The first correction image coordinates (Xc1), the second correction image coordinates (Xc2), the third correction image coordinates (Xc3) and the fourth correction image coordinates (Xc4) of the positioning mark 181 in the image, respectively get

G) 이미지 교정 데이터를 계산하는 단계G) Calculating image calibration data

상기 베이스 좌표계에서의 상기 제1 교정 좌표점 내지 상기 제4 교정 좌표점(P1-P4)의 좌표값(실제공간) 및 상기 위치결정 마크(181)의 상기 제1 이미지 내지 제4 이미지 내에서의 상기 제1 교정 이미지 좌표(Xc1), 상기 제2 교정 이미지 좌표(Xc2), 상기 제3 교정 이미지 좌표(Xc3) 및 상기 제4 교정 이미지 좌표(Xc4)(이미지 공간)를 알고 있으면, 이미지에서의 거리와 실제 공간(베이스 좌표계)의 거리관계를 계산하여, 이미지 교정 데이터를 얻을 수 있다. 상기 이미지 교정 데이터를 통해, 이미지에서의 거리와 실제 거리 사이의 변환 관계를 파악할 수 있다. Coordinate values (real space) of the first to fourth calibration coordinate points P1-P4 in the base coordinate system and the first to fourth images of the positioning mark 181 in the Knowing the first calibration image coordinates (Xc1), the second calibration image coordinates (Xc2), the third calibration image coordinates (Xc3) and the fourth calibration image coordinates (Xc4) (in image space), By calculating the distance relationship between the distance and the real space (base coordinate system), image correction data can be obtained. Through the image correction data, a conversion relationship between the distance in the image and the actual distance may be identified.

설명드릴 것은, 본 실시예는 4개 점 교정을 실시예로 들었으나, 4개 점에 한하지 않고, 4개 점 이상이면 모두 가능하다. 교정에 더 많은 좌표점이 사용될수록, 계산량이 더 많아지고, 계산 시간이 더 길고, 계산 비용이 높아지므로, 적절한 개수의 교정 점을 선택해야 하고, 본 실시예에서는 4개 점 교정이 작동된다. What will be explained is that, in the present embodiment, the four-point calibration is mentioned as an embodiment, but it is not limited to four points, and all of the four points or more are possible. The more coordinate points used for calibration, the larger the amount of calculation, the longer the calculation time, and the higher the calculation cost. Therefore, an appropriate number of calibration points must be selected, and in this embodiment, four-point calibration is operated.

본 실시예에서의 상기 이미지 교정 데이터를 계산하는 단계 방법은 다음과 같고, 이에 한정되지 않는다. The method of calculating the image correction data in this embodiment is as follows, but is not limited thereto.

상기 제1 교정 좌표점 내지 제4 교정 좌표점(P1-P4)의 좌표는 각각

Figure 112019084534200-pat00016
임을 알고 있다. 대응하는 상기 제1 교정 이미지 좌표 내지 제4 교정 이미지 좌표는
Figure 112019084534200-pat00017
이다. 각각 행렬로 표시하면 다음과 같다: The coordinates of the first calibration coordinate point to the fourth calibration coordinate point P1-P4 are respectively
Figure 112019084534200-pat00016
know that it is The corresponding first to fourth calibration image coordinates are
Figure 112019084534200-pat00017
am. Representing each as a matrix:

Figure 112019084534200-pat00018
Figure 112019084534200-pat00018

Figure 112019084534200-pat00019
Figure 112019084534200-pat00019

상기 행렬

Figure 112019084534200-pat00020
은 상기 베이스 좌표계 하에서 상기 제1 교정 좌표점 내지 제4 교정 좌표점(P1-P4)으로 구성되고, 행렬
Figure 112019084534200-pat00021
는 이미지 공간에서 상기 제1 교정 이미지 좌표 내지 제4 교정 이미지 좌표로 구성되고, 다음과 같은 관계식으로 표시된다: the matrix
Figure 112019084534200-pat00020
is composed of the first to fourth calibration coordinate points P1-P4 under the base coordinate system, and a matrix
Figure 112019084534200-pat00021
is composed of the first to fourth calibration image coordinates in image space, and is expressed by the following relation:

Figure 112019084534200-pat00022
Figure 112019084534200-pat00022

행렬

Figure 112019084534200-pat00023
는 2개의 평면 좌표계 사이의 아핀 변환 행렬(Affine transformation matrix)이다. 행렬
Figure 112019084534200-pat00024
의 무어-펜로즈 의사역 행렬
Figure 112019084534200-pat00025
(Moore-Penrose pseudo-inverse matrix)을 계산하는 것을 통해 행렬
Figure 112019084534200-pat00026
를 계산하면 다음과 같고,procession
Figure 112019084534200-pat00023
is an affine transformation matrix between two planar coordinate systems. procession
Figure 112019084534200-pat00024
The Moore-Penrose pseudo-inverse matrix of
Figure 112019084534200-pat00025
matrix through computing (Moore-Penrose pseudo-inverse matrix)
Figure 112019084534200-pat00026
is calculated as follows,

Figure 112019084534200-pat00027
Figure 112019084534200-pat00027

의사역 행렬

Figure 112019084534200-pat00028
은 특이값 분해법(Singular Value Decomposition, SVD)을 통해 구할 수 있으며, 행렬
Figure 112019084534200-pat00029
가 바로 상기 이미지 교정 데이터이고, 이미지에서의 거리와 실제 거리 사이의 변환 관계를 나타낸다. pseudo-inverse matrix
Figure 112019084534200-pat00028
can be obtained through Singular Value Decomposition (SVD),
Figure 112019084534200-pat00029
is the image calibration data, and represents a transformation relationship between the distance in the image and the actual distance.

H)이미지 센서의 제1 좌표계의 보상량을 계산하는 단계H) calculating the compensation amount of the first coordinate system of the image sensor

상기 위치결정 마크의 이미지 좌표(Xcs)와 상기 이미지 교정 데이터를 이용하여, 이미지 센서의 제1 좌표계 보상량을 계산한다. The first coordinate system compensation amount of the image sensor is calculated using the image coordinates (Xcs) of the positioning mark and the image calibration data.

이상적인 상태에서, 상기 공구 좌표계의 상기 X2축과 상기 Y2축으로 구성된 X2Y2평면, 및 상기 이미지 센서의 제1 좌표계의 상기 X3축과 상기 Y3축으로 구성된 X3Y3평면은 모두 상기 베이스 좌표계의 상기 X축과 상기 Y축으로 구성된 XY평면에 평행하고, 상기 교정기준 위치 좌표(Pcp)와 상기 현재 위치 좌표(Psp)는 상기 교정 높이(Zcal) 밖에 차이 나지 않아 X축, Y축 상의 분량 차이가 없고, 상기 공구 좌표계와 상기 이미지 센서의 제1 좌표계 사이의 변환이 이상적인 경우, 상기 위치결정 이미지 내 위치한 위치결정 마크가 상기 위치결정 이미지 중심에 위치하도록 하고, 상기 작업 공구 좌표계에서의 상기 위치결정 마크(181)의 위치를 의미하기도 하고, 상기 이미지 센서 좌표계의 상기 이미지 중심과 중첩된다. 이러한 방식으로, 상기 이미지 교정 데이터(상기 이미지에서의 거리와 실제 사이의 거리 비율)를 알고 나면, 사용자는 상기 이미지 센서(17)에 의해 캡처 된 화면 데이터와 상기 이미지 교정 데이터를 통해, 상기 로봇 암(10)을 제어하고 또한 상기 작업 공구(15)를 제어하도록 상기 제어기(13)를 직감적으로 조작할 수 있다. In an ideal state, the X2Y2 plane composed of the X2 axis and the Y2 axis of the tool coordinate system, and the X3Y3 plane composed of the X3 axis and the Y3 axis of the first coordinate system of the image sensor are both the X axis and the X axis of the base coordinate system. Parallel to the XY plane composed of the Y axis, the calibration reference position coordinates (Pcp) and the current position coordinates (Psp) differ only by the calibration height (Zcal), so there is no difference in the amount on the X and Y axes, When the transformation between the tool coordinate system and the first coordinate system of the image sensor is ideal, the positioning mark located in the positioning image is located at the center of the positioning image, and the positioning mark 181 in the working tool coordinate system also means the position of , and overlaps with the image center of the image sensor coordinate system. In this way, after knowing the image calibration data (ratio of distance between distance in the image and actual), the user can use the image calibration data and the screen data captured by the image sensor 17, The controller 13 can be intuitively operated to control 10 and also to control the work tool 15 .

그러나, 일반적인 경우에, 상기 위치결정 마크(181)의 상기 이미지에서의 위치와 상기 이미지 중심에는 오차가 있어 보상을 위한 이미지 보상량

Figure 112019084534200-pat00030
이 필요하다. 상기 위치결정 마크의 이미지 좌표(Xcs)는 즉 상기 위치결정 점(181)의 상기 위치결정 이미지에서의 상기 위치결정 이미지 센터를 원점으로 하는 좌표값이므로, 상기 위치결정 마크의 이미지 좌표(Xcs)의 좌표값을 상기 이미지 보상량
Figure 112019084534200-pat00031
으로 변환하고, 상기 공구 좌표계와 상기 이미지 센서의 제1 좌표계의 이미지에서 보상해야 할 오차를 표시할 수 있다. 상기 위치결정점(181)을 중심으로 하여 상기 이미지 센서(17)가 캡처한 이미지를 통해 상기 작업 공구를 직감적으로 제어하고자 할 경우, 상기 이미지 보상량
Figure 112019084534200-pat00032
을 상기 이미지 센서(17)가 캡처한 이미지에 추가하기만 하면 화면 중의 위치결정점이 화면 중심에 있도록 할 수 있고, 사용자가 상기 센서가 캡처한 화면을 통해 작업 공구를 직감적으로 작동시키는 것을 용이하게 한다. 제어기(13)의 부분과 관련하여, 상기 이미지 센서의 제1 좌표계 보상량이 필요하고, 이로써 상기 작업 공구의 이동을 제어하고, 상기 이미지 센서(17) 이미지에서 위치와 상기 작업 공구 위치의 오차를 보상한다. However, in a general case, there is an error between the position of the positioning mark 181 in the image and the center of the image, so the image compensation amount for compensation
Figure 112019084534200-pat00030
I need this. Since the image coordinate (Xcs) of the positioning mark is a coordinate value having the positioning image center as the origin in the positioning image of the positioning point 181, the image coordinate (Xcs) of the positioning mark is The coordinate value of the image compensation amount
Figure 112019084534200-pat00031
, and an error to be compensated for may be displayed in the image of the tool coordinate system and the first coordinate system of the image sensor. When it is desired to intuitively control the work tool through the image captured by the image sensor 17 with the positioning point 181 as the center, the image compensation amount
Figure 112019084534200-pat00032
By simply adding to the image captured by the image sensor 17, the positioning point on the screen can be located at the center of the screen, and it is easy for the user to intuitively operate the work tool through the screen captured by the sensor. . With respect to the part of the controller 13, a first coordinate system compensation amount of the image sensor is required, thereby controlling the movement of the work tool, and compensating for the error of the position and the work tool position in the image sensor 17 image do.

언급할 것은, 상기 이미지 센서의 제1 좌표계 보상량은 센서의 제2 좌표계를 생성하도록 상기 제어기(13)에 설정될 수 있다. 따라서 매번 상기 이미지 센서(17)에 의해 캡처된 이미지에 보상량을 추가할 필요 없이, 상기 로봇 암(10)이 상기 이미지 센서(17)를 작동시킬 때, 상기 이미지 센서의 제1 좌표계 보상량이 상기 센서(17)이동 위치에 직접 추가되도록 함으로써, 사용자가 편리하게 사용할 수 있다. It should be noted that the compensation amount of the first coordinate system of the image sensor may be set in the controller 13 to generate the second coordinate system of the sensor. Therefore, when the robot arm 10 operates the image sensor 17, without the need to add a compensation amount to the image captured by the image sensor 17 each time, the first coordinate system compensation amount of the image sensor is the By allowing the sensor 17 to be added directly to the moving position, the user can conveniently use it.

상기 제공된 방법에 의하여, 본 발명에서 제공한 비전 가이드 로봇 암 교정 방법은, 도트 행렬과 같은 특정 교정대상에 제한되지 않고, 교정대상 내에 위치결정 마크를 지정하기만 하면 교정 작업을 진행할 수 있어, 교정 작업 시간을 단축할 수 있다. 또한, 이미지 분석방법을 통해 좌표 위치를 판단함으로써, 인위적인 판단에 의한 시각적 오류도 감소시킬 수 있다.By the method provided above, the vision guide robot arm calibration method provided by the present invention is not limited to a specific calibration target such as a dot matrix, and calibration can be performed simply by designating a positioning mark within the calibration target, Working time can be shortened. In addition, by determining the coordinate position through the image analysis method, it is possible to reduce the visual error caused by the artificial judgment.

10: 로봇 암 11: 베이스
12: 플랜지 표면 13: 제어기
15: 작업 공구 17: 이미지 센서
171: 이미지 센서 칩 171a: 이미지 센서 평면
18: 교정 대상 181: 위치결정 마크
P1: 제1 교정 좌표점 P2: 제2 교정 좌표점
P3: 제3 교정 좌표점 P4: 제4 교정 좌표점
Psp: 현재 위치 좌표 Pcp: 교정 기준 위치 좌표
TCP: 작업 공구 중심점 Xcs: 위치결정 마크이미지 좌표
Xc1: 제1 교정 이미지 좌표 Xc2: 제2 교정 이미지 좌표
Xc3: 제3 교정 이미지 좌표 Xc4: 제4 교정 이미지 좌표
Zcal: 교정 높이
<베이스 좌표계>
X축 Y축 Z축
<플랜지 좌표계>
X1축 Y1축 Z1축
<작업 공구 좌표계>
X2축 Y2축 Z2축
<이미지 센서의 제1 좌표계>
X3축 Y3축 Z3축10: robot arm 11: base
12: flange surface 13: controller
15: work tool 17: image sensor
171: image sensor chip 171a: image sensor plane
18: calibration target 181: positioning mark
P1: first calibration coordinate point P2: second calibration coordinate point
P3: third calibration coordinate point P4: fourth calibration coordinate point
Psp: Current position coordinates Pcp: Calibration reference position coordinates
TCP: Work tool center point Xcs: Positioning mark image coordinates
Xc1: Coordinates of the first calibration image Xc2: Coordinates of the second calibration image
Xc3: coordinates of the third correction image Xc4: coordinates of the fourth correction image
Zcal: Calibration height
<Base coordinate system>
X axis Y axis Z axis
<Flange coordinate system>
X1 axis Y1 axis Z1 axis
<Working tool coordinate system>
X2 axis Y2 axis Z2 axis
<The first coordinate system of the image sensor>
X3 axis Y3 axis Z3 axis

Claims (5)

로봇 암에 사용되는 교정 방법에 있어서,
상기 로봇 암은 베이스를 구비하고, 상기 로봇 암의 말단부에는 하나의 플랜지 표면이 구비되고, 상기 로봇 암은 제어기와 전기적으로 연결되고, 상기 제어기는 데이터 입력, 데이터 출력, 데이터 저장, 데이터 처리와 계산 및 데이터 표시 기능을 가지며, 상기 제어기는 베이스 좌표계 및 플랜지 좌표계를 미리 저장하고, 상기 베이스 좌표계는 서로 수직되는 X축, Y축, Z축으로 구성된 좌표 공간이고, 상기 베이스 좌표는 베이스 좌표 원점을 가지고, 상기 로봇 암은 하나의 작업 범위를 가지고, 상기 플랜지 좌표계는 서로 수직되는 X1축, Y1축, Z1축으로 구성된 좌표 공간이고, 상기 플랜지 좌표계는 플랜지 좌표 원점을 가지고, 상기 플랜지 표면에는 하나의 작업 공구가 장착되고, 상기 작업 공구는 하나의 작업 공구 중심점을 가지고, 상기 제어기는 작업 공구 좌표계를 설정하고, 상기 작업 공구 좌표계는 서로 수직되는 X2축, Y2축, Z2축으로 구성된 좌표 공간이고, 상기 작업 공구 좌표계는 작업 공구 좌표 원점을 가지고, 상기 작업 공구 좌표 원점은 상기 작업 공구 중심점에 위치하고, 상기 플랜지 표면에는 하나의 이미지 센서가 장착되어 상기 제어기와 전기적으로 연결되고, 상기 이미지 센서 내부에는 이미지 센서 칩이 구비되고, 상기 이미지 센서 칩은 이미지 센서 평면이 구비되고, 상기 제어기는 서로 수직되는 X3축, Y3축, Z3축으로 구성된 좌표 공간인 이미지 센서의 제1 좌표계를 설정하고, 상기 이미지 센서의 제1 좌표계의 상기 X3축 및 상기 Y3축으로 구성된 X3Y3평면은 상기 이미지 센서 칩의 상기 이미지 센서 평면에 평행하여야 하고, 상기 이미지 센서의 제1 좌표계는 이미지 센서의 제1 좌표 원점을 가지고, 사용자는 상기 플랜지 좌표계, 상기 작업 공구 좌표계 또는 상기 이미지 센서의 제1 좌표계를 선택하여 현재 좌표계로 하도록 상기 제어기를 조작할 수 있고, 상기 현재 좌표계는 현재 사용 중인 좌표계를 의미하고,
상기 교정 방법은,
A) 조작 조건을 설정하는 단계:
상기 베이스 좌표계에서의 교정 높이, 제1 교정 좌표점, 제2 교정 좌표점, 제3 교정 좌표점 및 제4 교정 좌표점을 상기 제어기에 설정함;
B) 교정 대상을 배치하는 단계:
하나의 위치결정 마크가 있는 교정 대상을 상기 로봇 암의 작업 범위 내에 배치함;
C) 작업 공구 중심점을 이동시키는 단계:
상기 작업 공구 좌표계를 선택하여 상기 현재 좌표계로 하고, 상기 로봇 암을 조작하여 상기 작업 공구를 이동시킴으로써, 상기 작업 공구 중심점을 상기 위치결정 마크 상에 이동시키고, 상기 제어기는 상기 베이스 좌표계에서의 현재 위치좌표를 저장함;
D) 이미지 센서를 이동시키는 단계:
상기 이미지 센서의 제1 좌표계를 선택하여 상기 현재 좌표계로 하고 상기 교정 높이를 추가하고, 상기 제어기는 상기 이미지 센서를 이동시켜 상기 이미지 센서의 제1 좌표 원점이 교정 기준 위치 좌표로 이동되도록 상기 로봇 암을 제어하고, 상기 교정 기준 위치 좌표는 상기 위치결정 마크 상부에 위치하고, Z축 좌표값만이 상기 교정 높이만큼 차이남;
E) 위치결정 마크의 이미지를 분석하는 단계:
상기 이미지 센서에 의해 위치결정 이미지를 캡처하고, 상기 위치결정 이미지는 상기 위치결정 마크가 있는 이미지이고, 상기 제어기는 이미지 분석 소프트웨어를 통해 상기 위치결정 이미지에 위치결정 이미지 중심을 설정하여 상기 위치결정 이미지를 분석하고, 상기 이미지 분석 소프트웨어를 통해 상기 위치결정 이미지 중심에 대한 상기 위치결정 이미지에서의 위치결정 마크의 위치를 얻어, 상기 제어기가 위치결정 마크의 이미지 좌표를 얻도록 함;
F) 이미지와 실제 거리를 교정하는 단계:
상기 로봇 암을 조작하여, 상기 이미지 센서의 제1 좌표 원점이 상기 제1 교정 좌표점 내지 제4 교정 좌표점으로 이동하도록 상기 이미지 센서를 이동시키고, 상기 이미지 센서는 상기 이미지 센서의 제1 좌표 원점이 상기 제1 교정 좌표점 내지 제4 교정 좌표점으로 이동될 때, 제1 이미지, 제2 이미지, 제3 이미지 및 제4 이미지를 각각 캡처하고, 상기 제어기에 의해 상기 이미지 분석 소프트웨어를 통해 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지 및 상기 제4 이미지를 분석하여, 상기 위치결정 마크의 상기 제1 이미지 내지 제4 이미지에서의 제1 교정 이미지 좌표, 제2 교정 이미지 좌표, 제3 교정 이미지 좌표 및 제4 교정 이미지 좌표를 각각 얻음;
G) 이미지 교정 데이터를 계산하는 단계:
상기 베이스 좌표계에서의 상기 제1 교정 좌표점 내지 상기 제4 교정 좌표점의 좌표값, 및 상기 제1 교정 이미지 좌표 내지 상기 제4 교정 이미지 좌표를 알고 있으면, 이미지 교정 데이터를 계산하여 얻을 수 있고, 상기 이미지 교정 데이터를 통해 이미지에서의 거리와 실제 거리 사이의 변환 관계를 파악할 수 있음;
H) 이미지 센서 좌표계의 보상량을 계산하는 단계:
상기 위치결정 마크의 이미지 좌표와 상기 이미지 교정 데이터를 이용하여, 이미지 센서의 제1 좌표계 보상량을 계산하여, 상기 이미지 센서 이미지에서의 위치와 상기 작업 공구 위치의 오차를 보상함;
를 포함하고,
상기 단계 H)에서, 상기 이미지 센서의 제1 좌표계 보상량을 상기 제어기에 설정하여 센서의 제2 좌표계를 생성하는, 비전 가이드 로봇 암 교정 방법.A calibration method used in a robot arm, comprising:
The robot arm has a base, the distal end of the robot arm is provided with one flange surface, the robot arm is electrically connected to a controller, and the controller includes data input, data output, data storage, data processing and calculation. and a data display function, wherein the controller pre-stores a base coordinate system and a flange coordinate system, the base coordinate system is a coordinate space consisting of an X-axis, a Y-axis, and a Z-axis perpendicular to each other, and the base coordinate has a base coordinate origin. , the robot arm has one working range, the flange coordinate system is a coordinate space consisting of X1 axis, Y1 axis, and Z1 axis perpendicular to each other, the flange coordinate system has a flange coordinate origin, and the flange surface has one operation a tool is mounted, the work tool has one work tool center point, the controller sets a work tool coordinate system, the work tool coordinate system is a coordinate space consisting of X2 axes, Y2 axes, and Z2 axes perpendicular to each other, the The work tool coordinate system has a work tool coordinate origin, the work tool coordinate origin is located at the center point of the work tool, and an image sensor is mounted on the flange surface to be electrically connected to the controller, and an image sensor is located inside the image sensor A chip is provided, the image sensor chip is provided with an image sensor plane, and the controller sets a first coordinate system of the image sensor that is a coordinate space consisting of an X3 axis, a Y3 axis, and a Z3 axis perpendicular to each other, The X3Y3 plane composed of the X3 axis and the Y3 axis of the first coordinate system should be parallel to the image sensor plane of the image sensor chip, and the first coordinate system of the image sensor has the first coordinate origin of the image sensor, and the user The controller can be operated to select the flange coordinate system, the working tool coordinate system, or the first coordinate system of the image sensor to be the current coordinate system, the current coordinate system means the coordinate system currently in use,
The correction method is
A) Steps to set the operating conditions:
setting a calibration height in the base coordinate system, a first calibration coordinate point, a second calibration coordinate point, a third calibration coordinate point, and a fourth calibration coordinate point in the controller;
B) Placing the calibration target:
placing a calibration object with one positioning mark within the working range of the robot arm;
C) moving the work tool center point:
The work tool coordinate system is selected to be the current coordinate system, and by operating the robot arm to move the work tool, the work tool center point is moved on the positioning mark, and the controller is the current position in the base coordinate system. store coordinates;
D) moving the image sensor:
The first coordinate system of the image sensor is selected as the current coordinate system and the calibration height is added, and the controller moves the image sensor so that the first coordinate origin of the image sensor is moved to the calibration reference position coordinate. control, wherein the calibration reference position coordinate is located above the positioning mark, and only the Z-axis coordinate value differs by the calibration height;
E) analyzing the image of the positioning mark:
a positioning image is captured by the image sensor, the positioning image is an image with the positioning mark, and the controller sets the positioning image center to the positioning image through image analysis software to set the positioning image , and obtain the position of the positioning mark in the positioning image with respect to the center of the positioning image through the image analysis software, so that the controller obtains the image coordinates of the positioning mark;
F) Calibrating the image and actual distance:
By manipulating the robot arm, the image sensor is moved so that the first coordinate origin of the image sensor moves to the first to fourth calibration coordinate points, and the image sensor is the first coordinate origin of the image sensor. a first image, a second image, a third image and a fourth image are captured respectively when the first to fourth calibration coordinate points are moved to the first calibration coordinate point to the fourth calibration coordinate point; 1 image, the second image, the third image and the fourth image are analyzed, and the first correction image coordinates, the second correction image coordinates, the third image coordinates in the first image to the fourth image of the positioning mark obtaining calibration image coordinates and fourth calibration image coordinates, respectively;
G) Calculating image calibration data:
If the coordinate values of the first calibration coordinate point to the fourth calibration coordinate point in the base coordinate system, and the first calibration image coordinate to the fourth calibration image coordinate are known, image calibration data can be calculated and obtained, a transformation relationship between the distance in the image and the actual distance may be determined through the image correction data;
H) calculating the compensation amount of the image sensor coordinate system:
calculating a compensation amount of a first coordinate system of an image sensor using the image coordinates of the positioning mark and the image calibration data, and compensating for an error between the position in the image sensor image and the position of the work tool;
including,
In the step H), the first coordinate system compensation amount of the image sensor is set in the controller to generate a second coordinate system of the sensor, the vision guide robot arm calibration method. 제1항에 있어서,
상기 단계 A)에서, 상기 제1 교정 좌표점 내지 제4 교정 좌표점의 Z축 분량은 모두 동일하고, 동일한 높이에 위치하는, 비전 가이드 로봇 암 교정 방법.According to claim 1,
In the step A), the Z-axis quantities of the first to fourth calibration coordinate points are the same and are located at the same height, the vision guide robot arm calibration method. 제1항에 있어서,
상기 교정 좌표점의 수량은 4개 이상이어야 하는, 비전 가이드 로봇 암 교정 방법.According to claim 1,
The number of the calibration coordinate points should be four or more, vision-guided robot arm calibration method. 제1항에 있어서,
상기 단계 G)에서, 상기 이미지 교정 데이터를 계산하는 단계 방법은 아래와 같으며,
상기 제1 교정 좌표점 내지 제4 교정 좌표점의 좌표는 각각
Figure 112019084534200-pat00033
임을 알고 있으면, 대응하는 상기 제1 교정 이미지 좌표 내지 제4 교정 이미지 좌표는
Figure 112019084534200-pat00034
이고, 각각 행렬로 표시하면 다음과 같고,
Figure 112019084534200-pat00035

Figure 112019084534200-pat00036

상기 행렬
Figure 112019084534200-pat00037
은 상기 베이스 좌표계에서의 상기 제1 교정 좌표점 내지 제4 교정 좌표점으로 구성되고, 행렬
Figure 112019084534200-pat00038
는 이미지 공간에서 상기 제1 교정 이미지 좌표 내지 제4 교정 이미지 좌표로 구성되고, 다음과 같은 관계식으로 표시되고,
Figure 112019084534200-pat00039

행렬
Figure 112019084534200-pat00040
는 2개의 평면 좌표계 사이의 아핀 변환 행렬(Affine transformation matrix)이고, 행렬
Figure 112019084534200-pat00041
의 무어-펜로즈 의사역 행렬
Figure 112019084534200-pat00042
(Moore-Penrose pseudo-inverse matrix)을 계산하는 것을 통해 행렬
Figure 112019084534200-pat00043
를 계산하면 다음과 같고,
Figure 112019084534200-pat00044

의사역 행렬
Figure 112019084534200-pat00045
은 특이값 분해법(Singular Value Decomposition, SVD)을 통해 구할 수 있으며, 행렬
Figure 112019084534200-pat00046
가 바로 상기 이미지 교정 데이터이고, 이미지 내의 거리와 실제 거리 사이의 변환 관계를 나타내는, 비전 가이드 로봇 암 교정 방법.According to claim 1,
In step G), the method of calculating the image correction data is as follows,
The coordinates of the first calibration coordinate point to the fourth calibration coordinate point are each
Figure 112019084534200-pat00033
If it is known that , the corresponding first to fourth calibration image coordinates are
Figure 112019084534200-pat00034
, and expressed as a matrix, it is as follows,
Figure 112019084534200-pat00035

Figure 112019084534200-pat00036

the matrix
Figure 112019084534200-pat00037
is composed of the first to fourth calibration coordinate points in the base coordinate system, and
Figure 112019084534200-pat00038
is composed of the first to fourth calibration image coordinates in image space, and is expressed by the following relational expression,
Figure 112019084534200-pat00039

procession
Figure 112019084534200-pat00040
is an affine transformation matrix between two planar coordinate systems,
Figure 112019084534200-pat00041
The Moore-Penrose pseudo-inverse matrix of
Figure 112019084534200-pat00042
matrix through computing (Moore-Penrose pseudo-inverse matrix)
Figure 112019084534200-pat00043
is calculated as follows,
Figure 112019084534200-pat00044

pseudo-inverse matrix
Figure 112019084534200-pat00045
can be obtained through Singular Value Decomposition (SVD),
Figure 112019084534200-pat00046
is the image calibration data, and represents a transformation relationship between the distance in the image and the actual distance. 삭제delete
KR1020190100900A 2019-08-19 2019-08-19 Calibration method for robot using vision technology KR102280663B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190100900A KR102280663B1 (en) 2019-08-19 2019-08-19 Calibration method for robot using vision technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190100900A KR102280663B1 (en) 2019-08-19 2019-08-19 Calibration method for robot using vision technology

Publications (2)

Publication Number Publication Date
KR20210022195A KR20210022195A (en) 2021-03-03
KR102280663B1 true KR102280663B1 (en) 2021-07-22

Family

ID=75151354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190100900A KR102280663B1 (en) 2019-08-19 2019-08-19 Calibration method for robot using vision technology

Country Status (1)

Country Link
KR (1) KR102280663B1 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113146633B (en) * 2021-04-23 2023-12-19 无锡信捷电气股份有限公司 High-precision hand-eye calibration method based on automatic box pasting system
CN113600500B (en) * 2021-07-22 2024-01-30 成都航利装备科技有限公司 Automatic detection device and detection method for stator rocker arm assembly of gas compressor
CN114405850A (en) * 2022-01-24 2022-04-29 苏州华兴源创科技股份有限公司 Manipulator coordinate point position compensation method and device and chip detection method and device
CN114725753B (en) * 2022-02-28 2023-07-18 福建星云电子股份有限公司 Automatic opposite-inserting method and system based on visual guidance
CN114700989A (en) * 2022-04-24 2022-07-05 安吉八塔机器人有限公司 Automatic leveling device for plane camera and control method thereof
CN115241110B (en) * 2022-08-15 2023-12-08 魅杰光电科技(上海)有限公司 Wafer motion control method and wafer motion control system
CN115465661A (en) * 2022-08-29 2022-12-13 济南星辉数控机械科技有限公司 Method and system for accurately grabbing cut plate
CN115609254B (en) * 2022-09-29 2023-09-22 广州市斯睿特智能科技有限公司 Automatic flexible circuit board assembly system, method and device
CN115666125B (en) * 2022-12-27 2023-08-18 合肥安迅精密技术有限公司 Machine vision-based method for detecting and compensating positioning error of XY platform of chip mounter
CN116141340B (en) * 2023-04-20 2023-07-14 中国信息通信研究院 Double-robot flexible collaborative manipulator based on circuit board assembly
CN116442249B (en) * 2023-06-19 2023-08-18 广东隆崎机器人有限公司 Assembly control method, assembly device, and computer-readable storage medium
CN116618839B (en) * 2023-07-20 2023-10-17 合肥三越半导体科技有限公司 High-precision welding head alignment platform and method for corrugated pipe inner diameter welding
CN117124334B (en) * 2023-10-23 2024-01-23 湖南视比特机器人有限公司 Robot drift correction method, robot, storage medium, and terminal device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100693016B1 (en) 2006-05-22 2007-03-12 심규조 Method for calibrating robot
JP2016187844A (en) 2015-03-30 2016-11-04 セイコーエプソン株式会社 Robot, robot control device and robot system
JP2017100240A (en) * 2015-12-01 2017-06-08 セイコーエプソン株式会社 Control device, robot and robot system
JP6462986B2 (en) 2014-02-07 2019-01-30 キヤノン株式会社 Robot control method, article manufacturing method, and control apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100693016B1 (en) 2006-05-22 2007-03-12 심규조 Method for calibrating robot
JP6462986B2 (en) 2014-02-07 2019-01-30 キヤノン株式会社 Robot control method, article manufacturing method, and control apparatus
JP2016187844A (en) 2015-03-30 2016-11-04 セイコーエプソン株式会社 Robot, robot control device and robot system
JP2017100240A (en) * 2015-12-01 2017-06-08 セイコーエプソン株式会社 Control device, robot and robot system

Also Published As

Publication number Publication date
KR20210022195A (en) 2021-03-03

Similar Documents

Publication Publication Date Title
KR102280663B1 (en) Calibration method for robot using vision technology
JP6966582B2 (en) Systems and methods for automatic hand-eye calibration of vision systems for robot motion
CN108717715B (en) Automatic calibration method for linear structured light vision system of arc welding robot
JP7237483B2 (en) Robot system control method, control program, recording medium, control device, robot system, article manufacturing method
JP4021413B2 (en) Measuring device
US9050728B2 (en) Apparatus and method for measuring tool center point position of robot
JP4191080B2 (en) Measuring device
JP3946711B2 (en) Robot system
JP6812095B2 (en) Control methods, programs, recording media, robotic devices, and manufacturing methods for articles
TWI404609B (en) Parameters adjustment method of robotic arm system and adjustment apparatus
US20050107920A1 (en) Teaching position correcting device
JP2008012604A (en) Measuring apparatus and method of its calibration
JP5618770B2 (en) Robot calibration apparatus and calibration method
CN112238453B (en) Vision-guided robot arm correction method
TWI699264B (en) Correction method of vision guided robotic arm
JP2021049607A (en) Controller of robot device for adjusting position of member supported by robot
CN111982012A (en) Three-dimensional measurement method, device and system for component surface
JP2018202542A (en) Measurement device, system, control method, and manufacturing method of article
CN115284292A (en) Mechanical arm hand-eye calibration method and device based on laser camera
JP6912529B2 (en) How to correct the visual guidance robot arm
JPH08328624A (en) Method for coupling sensor and robot and robot system
KR20130075712A (en) A laser-vision sensor and calibration method thereof
CN114643577A (en) Universal robot vision automatic calibration device and method
JP7183372B1 (en) Marker detection device and robot teaching system
US20230191612A1 (en) Coordinate system setting system and position/orientation measurement system

Legal Events

Date Code Title Description
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant