KR20210022195A

KR20210022195A - 비전 가이드 로봇 암 교정 방법

Info

Publication number: KR20210022195A
Application number: KR1020190100900A
Authority: KR
Inventors: 싱-룽 훙; 메이-위 황; 웨이-쉰 가오; 촨-지엔 라이
Original assignee: 하이윈 테크놀로지스 코포레이션
Priority date: 2019-08-19
Filing date: 2019-08-19
Publication date: 2021-03-03
Also published as: KR102280663B1

Abstract

비전 가이드 로봇 암에 사용되는 교정 방법에 있어서, A) 조작 조건을 설정하는 단계: B) 교정 대상을 배치하는 단계: C) 작업 공구 중심점을 이동시키는 단계: D) 이미지 센서를 이동시키는 단계: E) 위치결정 마크의 이미지를 분석하는 단계: F) 이미지와 실제 거리를 교정하는 단계: G) 이미지 교정 데이터를 계산하는 단계: H) 이미지 센서의 좌표계 보상량을 계산하는 단계 등을 활용한다. 본 발명에 따른 비전 가이드 로봇 암 교정 방법은, 도트 행렬과 같은 특정 교정대상에 제한되지 않고, 교정대상 내에 위치결정 마크를 지정하기만 하면 교정 작업을 진행할 수 있어, 교정 작업 시간을 단축할 수 있다. 또한, 이미지 분석 방법을 통해 좌표 위치를 판단함으로써, 인위적인 판단에 의한 시각적 오류도 감소시킬 수 있다.

Description

비전 가이드 로봇 암 교정 방법{CALIBRATION METHOD FOR ROBOT USING VISION TECHNOLOGY}

본 발명은 로봇 암 교정에 관한 것으로, 특히 비전 가이드 로봇 암 교정 방법에 관한 것이다.

비전 가이드 로봇 암은 일반적으로 로봇 암의 엔드 이펙터에 CCD(Charge-coupled Device)와 같은 이미지 센서를 추가한 것을 가리키며, 로봇 암은 눈을 가진 것처럼, 이미지 센서가 공작물의 위치를 얻으면 로봇 암 제어기를 통해 엔드 이펙터를 공작물 위치로 이동시켜 픽업하거나 플레이싱 하도록 로봇 암을 제어한다.

그러나, 상술한 픽 앤 플레이스 작업이 수행되기 전에, 먼저 로봇 암은 비전 가이드 로봇 암 교정 작업에 의해, 제어기가 엔드 이펙터와 이미지 센서 렌즈 사이의 좌표 위치 차이를 저장할 수 있도록 해야 한다.

종래의 비전 가이드 로봇 암 시스템 교정 기술에서, 사용된 교정 대상은 도트 행렬이다. 도트 행렬은 규칙적인 패턴이며, 방향성이 없으므로, 사용자가 도트 행렬 상의 3개의 특징 점을 순차적으로 결정해야 한다. 계속하여, 교정인원은 먼저 카메라가 완전한 도트 행렬 이미지를 캡처할 수 있도록 로봇 암을 조절하여 적절한 높이로 이동시키고, 해당 위치가 바로 이미지 교정점이다. 사용자는 상기 3개의 특정점의 이미지 좌표를 이미지 처리 소프트웨어 중의 도트 행렬 이미지 상에 입력하고, 도트 행렬 중 점과 점 사이의 실제 에서의 중심 거리를 입력하고, 이미지 처리 소프트웨어를 통해 이미지 좌표계로부터 실제 좌표계로의 좌표계 변환 관계를 계산하고, 이와 같이 이미지 처리 소프트웨어 내에 실제 좌표계

를 정의했다.

상술한 교정 절차가 종료된 후, 교정인원은 또한 로봇 암을 이동시키되, 로봇 암의 작업 공구 작업 점을 상술한 3개의 특징점으로 순차적으로 이동시키고, 또한 공구 작업 점의 상기 특징점 위치에서의 로봇 암의 좌표값을 기록한다. 교정이 완료되면, 로봇 암 제어기 내부에서는 상술한 로봇 암 좌표값에 따라 로봇 암의 베이스 좌표계를 자동으로 계산하여 정의한다. 이때, 로봇 암의 베이스 좌표계는 영상처리 소프트웨어 중 실제 좌표계와 중첩된다. 따라서, 이미지 처리 소프트웨어에 의해 영상을 분석하고 변환을 통해 공작물의 실제 좌표를 얻으면, 별도의 변환이 필요 없이, 직접 로봇 암에 전송되어 작업을 진행할 수 있다.

그러나, 종래의 비전 가이드 로봇 암 교정 기술은 완전히 인력에 의존해야 하므로, 절차에 시간이 많이 소요되고 오류가 발생하기 쉽다. 또한, 작업 공구 작업점이 각 특징점으로 정확하게 이동하고 있는지 여부도 전적으로 교정인원의 시각적 확인에 의존하므로, 교정인원이 달라짐에 따라 상이한 교정 결과가 발생하여 시각적 오차가 발생할 수 있다.

관련 기술로서, 예컨대 미국 특허공고 제US6812665호는, 오프라인 상대적 교정방법을 설명하였고, 로봇 암 공구 중심 점(tool center point, TCP)과 공작물 사이의 오차에 따라 보상하여, 정확한 가공 경로를 만들 수 있다. 그러나, 로봇 암은 표준 공작물의 외형 파라미터를 미리 파악한 후 표준 파라미터 교정을 진행해야 하고, 온라인 조작 시 힘 피드백 또는 변위 센서에 의해 현재 공작물과 표준 공작물의 파라미터 오차를 얻어 보상한다.

미국 특허공고 제US7019825호는, 로봇 암 단부에 설치된 카메라에 의해 적어도 두 개의 공작물 이미지를 얻는 핸드/아이 교정 방법을 설명했다. 암은 이동하여 적어도 두 개의 이미지를 얻고 투사 불변형 표현자를 통해 암과 카메라의 회전 및 평행이동 벡터를 계산한다. 그러나, 적어도 두 개 이상의 공작물 이미지를 얻어 투사 불변형 계산을 진행할 경우, 촬영 공작물은 충분한 가장자리 데이터가 한정되어 있어야 하고, 그렇지 않은 경우 변환을 최적화해야 하므로 시간이 많이 소요되고 좋은 결과를 얻지 못한다.

또한 미국 특허공고 제US 2005/0225278 A1호는 로봇 암의 이동방식을 판단하기 위한 측정 시스템을 제공하며, 공구 중심점의 수광면 상의 위치를 수광면 상의 소정의 지점으로 이동시키고, 결정된 위치에 의해 로봇을 이동하여 로봇 암의 위치를 저장함으로써, 로봇의 공구 장착면에 대한 공구 중심점의 위치를 결정한다. 이러한 실시방식은 이미지 교정 방법에 있어서, 공통 좌표계 계산의 기초로서, 교정 공구 중심점 위치를 로봇 암에 의해 기준 이미지가 표시되는 중심점 위치로 구동시켜야 한다. 따라서 사람의 수동 교정 작업 과정은 번거롭고 시간이 많이 소요된다.

본 발명의 주요 목적은, 교정 작업 시간을 단축하고 오차를 감소시킬 수 있는 비전 가이드 로봇 암 교정 방법을 제공하는 것이다.

본 발명에 따른 비전 가이드 로봇 암 교정 방법에 있어서, 로봇 암에 사용되고, 상기 로봇 암은 베이스가 구비되고, 상기 로봇 암의 말단부에는 하나의 플랜지 표면이 구비되고, 상기 로봇 암은 제어기와 전기적으로 연결되고, 상기 제어기는 데이터 입력, 데이터 출력, 데이터 저장, 데이터 처리와 계산 및 데이터 표시 기능을 가지며, 상기 제어기는 베이스 좌표계 및 플랜지 좌표계를 미리 저장하고, 상기 베이스 좌표계는 서로 수직되는 X축, Y축, Z축으로 구성된 좌표 공간이고, 상기 베이스 좌표는 베이스 좌표 원점을 가지고, 상기 로봇 암은 하나의 작업 범위를 가지고, 상기 플랜지 좌표계는 서로 수직되는 X1축, Y1축, Z1축으로 구성된 좌표 공간이고, 상기 플랜지 좌표계는 플랜지 좌표 원점을 가지고, 상기 플랜지 표면에는 하나의 작업 공구가 장착되고, 상기 작업공구는 하나의 작업 공구 중심점을 가지고, 상기 제어기는 작업 공구 좌표계를 설정하고, 상기 작업 공구 좌표계는 서로 수직되는 X2축, Y2축, Z2축으로 구성된 좌표 공간이고, 상기 작업 공구 좌표계는 작업 공구 좌표 원점을 가지고, 상기 작업 공구 좌표 원점은 상기 작업 공구 중심점에 위치하고, 상기 플랜지 표면에는 하나의 이미지 센서가 장착되어, 상기 제어기와 전기적으로 연결되고, 상기 이미지 센서 내부에는 이미지 센서 칩이 구비되고, 상기 이미지 센서 칩은 이미지 센서 평면이 구비되고, 상기 제어기는 서로 수직되는 X3축, Y3축, Z3축으로 구성된 좌표 공간인 이미지 센서의 제1 좌표계를 설정하고, 상기 이미지 센서의 제1 좌표계의 상기 X3축 및 상기 Y3축으로 구성된 X3Y3평면은 상기 이미지 센서 칩의 상기 이미지 센서 평면에 평행하여야 하고, 상기 이미지 센서의 제1 좌표계는 이미지 센서의 제1 좌표 원점을 가지고, 사용자는 상기 플랜지 좌표계, 상기 작업 공구 좌표계 또는 상기 이미지 센서의 제1 좌표계를 선택하여 현재 좌표계로 하도록 상기 제어기를 조작할 수 있고, 상기 현재 좌표계는 현재 사용 중인 좌표계를 의미하고, A) 조작 조건을 설정하는 단계: 상기 베이스 좌표계에서의 교정 높이, 제1 교정 좌표점, 제2 교정 좌표점, 제3 교정 좌표점 및 제4 교정 좌표점을 상기 제어기에 설정함; B) 교정 대상을 배치하는 단계: 하나의 위치결정 마크가 있는 교정 대상을 상기 로봇 암의 작업 범위 내에 배치함; C) 작업 공구 중심점을 이동시키는 단계: 상기 작업 공구 좌표계를 선택하여 상기 현재 좌표계로 하고, 상기 로봇 암을 조작하여 상기 작업 공구를 이동시킴으로써, 상기 작업 공구 중심점을 상기 위치결정 마크 상에 이동시키고, 상기 제어기는 상기 베이스 좌표계에서의 현재 위치 좌표를 저장함; D) 이미지 센서를 이동시키는 단계: 상기 이미지 센서의 제1 좌표계를 선택하여 상기 현재 좌표계로 하고 상기 교정 높이를 추가하고, 상기 제어기는 상기 이미지 센서를 이동시켜, 상기 이미지 센서의 제1 좌표 원점이 교정 기준 위치 좌표로 이동되도록 상기 로봇 암을 제어하고, 상기 교정 기준 위치 좌표는 상기 위치결정 마크 상부에 위치하고, Z축 좌표값만이 상기 교정 높이만큼 차이 남; E) 위치결정 마크의 이미지를 분석하는 단계: 상기 이미지 센서에 의해 위치결정 이미지를 캡처하고, 상기 위치결정 이미지는 상기 위치결정 마크가 있는 이미지이고, 상기 제어기는 이미지 분석 소프트웨어를 통해 상기 위치결정 이미지에 위치결정 이미지 중심을 설정하여 상기 위치결정 이미지를 분석하고, 상기 이미지 분석 소프트웨어를 통해 상기 위치결정 이미지 중심에 대한 상기 위치결정 이미지에서의 위치결정 마크의 위치를 얻어, 상기 제어기가 위치결정 마크의 이미지 좌표를 얻도록 함; F) 이미지와 실제 거리를 교정하는 단계: 상기 로봇 암을 조작하여, 상기 이미지 센서의 제1 좌표 원점이 상기 제1 교정 좌표점 내지 제4 교정 좌표점으로 이동하도록 상기 이미지 센서를 이동시키고, 상기 이미지 센서는 상기 이미지 센서의 제1 좌표 원점이 상기 제1 교정 좌표점 내지 제4 교정 좌표점으로 이동될 때, 제1 이미지, 제2 이미지, 제3 이미지 및 제4 이미지를 각각 캡처하고, 상기 제어기에 의해 상기 이미지 분석 소프트웨어를 통해 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지 및 상기 제4 이미지를 분석하여, 상기 위치결정 마크의 상기 제1 이미지 내지 제4 이미지에서의 제1 교정 이미지 좌표, 제2 교정 이미지 좌표, 제3 교정 이미지 좌표 및 제4 교정 이미지 좌표를 각각 얻음; G) 이미지 교정 데이터를 계산하는 단계: 상기 베이스 좌표계에서의 상기 제1 교정 좌표점 내지 상기 제4 교정 좌표점의 좌표값, 및 상기 제1 교정 이미지 좌표 내지 상기 제4 교정 이미지 좌표를 알고 있으면, 이미지 교정 데이터를 계산하여 얻을 수 있고, 상기 이미지 교정 데이터를 통해, 이미지에서의 거리와 실제 거리 사이의 변환 관계를 파악할 수 있음; H) 이미지 센서 좌표계의 보상량을 계산하는 단계: 상기 위치결정 마크의 이미지 좌표와 상기 이미지 교정 데이터를 이용하여 이미지 센서의 제1 좌표계 보상량을 계산하여, 상기 이미지 센서 이미지에서의 위치와 상기 작업 공구 위치의 오차를 보상함;을 특징으로 한다.

이상 제공된 방법에 의해, 본 발명에 따른 비전 가이드 로봇 암 교정 방법은, 도트 행렬과 같은 특정 교정대상에 제한되지 않고, 교정대상 내에 위치결정 마크를 지정하기만 하면 교정 작업을 진행할 수 있어, 교정 작업 시간을 단축할 수 있다. 또한, 이미지 분석 방법을 통해 좌표 위치를 판단함으로써, 인위적인 판단에 의한 시각적 오류도 감소시킬 수 있다.

언급할 것은, 단계 A)에서, 상기 제1 교정 좌표점 내지 제4 교정 좌표점의 Z축 분량은 모두 동일하고, 동일한 높이에 위치한다.

또한, 제1항에 있어서, 상기 교정 좌표점의 개수는 4개 이상이어야 하는 비전 가이드 로봇 암 교정 방법이다. 그러나, 교정에 더 많은 좌표점이 사용될수록, 계산량이 더 많아지고, 계산 시간이 더 길고, 계산 비용이 높아지므로, 적절한 개수의 교정점을 선택해야 하고, 본 실시예에서는 4개 점 교정이 작동된다.

또한, 단계 G)에서, 상기 이미지 교정 데이터의 계산 방법은 아래와 같으며, 상기 제1 교정 좌표점 내지 제4 교정 좌표점의 좌표는 각각

임을 알고 있으면, 대응하는 상기 제1 교정 이미지 좌표 내지 제4 교정 이미지 좌표는

이고, 각각 행렬로 표시하면 다음과 같고,

상기 행렬

는 상기 베이스 좌표계에서의 상기 제1 교정 좌표점 내지 제4 교정 좌표점으로 구성되고, 행렬

는 이미지 공간에서 상기 제1 교정 이미지 좌표 내지 제4 교정 이미지 좌표로 구성되고, 다음과 같은 관계식으로 표시되고,

행렬

는 2개의 평면 좌표계 사이의 아핀 변환 행렬(Affine transformation matrix)이다. 행렬

의 무어-펜로즈 의사역 행렬

(Moore-Penrose pseudo-inverse matrix)을 계산하는 것을 통해 행렬

를 계산하면 다음과 같고,

의사역 행렬

은 특이값 분해법(Singular Value Decomposition, SVD)을 통해 구할 수 있으며, 행렬

가 바로 상기 이미지 교정 데이터이고, 이미지 내 거리와 실제 거리 사이의 변환 관계를 나타낸다.

또한 단계 H)에서, 상기 이미지 센서의 제1 좌표계 보상량을 상기 제어기에 설정하여 센서의 제2 좌표계를 생성할 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 시스템 개략도이고 로봇 암을 보여준다.
도 2는 본 발명의 바람직한 실시예에 따른 교정 대상의 개략도이다.
도 3은 본 발명의 바람직한 실시예에 따른 흐름 블록도이다.
도 4는 본 발명의 바람직한 실시예에 따른 이미지 센서에 의한 이미지 캡처 개략도이고, 이미지는 교정 대상, 위치결정 마크 및 이미지 중심을 갖는 것을 보여준다.

본 발명의 기술적 특징을 상세히 설명하기 위해, 이하에서는 바람직한 실시예와 도면을 결합하여 설명할 것이다.

도 1 내지 도 4에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 비전 가이드 로봇 암 교정 방법은, 6축 로봇 암인 로봇 암(10)에 사용되고, 상기 로봇 암(10)은 베이스(11)가 구비된다. 상기 로봇 암(10)의 단부에는 물체를 연결하기 위한 하나의 플랜지 표면(12)이 구비된다. 상기 로봇 암(10)은 제어기(13)와 전기적으로 연결되고, 상기 제어기(13)는 데이터 입력, 데이터 출력, 데이터 저장, 데이터 처리와 계산 및 데이터 표시 기능을 가진다. 상기 로봇 암(10)이 공장에서 출하될 때, 상기 제어기(13)는 베이스 좌표계 및 플랜지 좌표계가 미리 저장된다. 상기 베이스 좌표계는 서로 수직되는 X축, Y축, Z축으로 구성된 좌표 공간이고, 상기 베이스 좌표는 베이스 좌표 원점을 가지고, 본 실시예에서 상기 원점은 베이스(11)에 위치하나, 이에 한정되지 않고, 다른 곳을 선택할 수 도 있다. 상기 로봇 암(10)은 상기 베이스 좌표계 하에서 하나의 작업 범위를 갖는다. 상기 플랜지 좌표계는 서로 수직되는 X1축, Y1축, Z1축으로 구성된 좌표 공간이고, 상기 플랜지 좌표계는 플랜지 좌표 원점을 가지며, 본 실시예에서 상기 플랜지 좌표 원점은 상기 플랜지 표면(12)의 기하학적 중심에 위치한다. 상기 플랜지 좌표계와 상기 베이스 좌표계의 관계는 x1, y1, z1, a1, b1, c1이고, 그 중,

x1: 상기 플랜지 좌표계의 X1축 방향과 상기 베이스 좌표계의 상기 X축 방향의 거리 관계

y1: 상기 플랜지 좌표계의 Y1축 방향과 상기 베이스 좌표계의 상기 Y축 방향의 거리관계

z1: 상기 플랜지 좌표계의 Z1축 방향과 상기 베이스 좌표계의 상기 Z축 방향의 거리관계

a1: 상기 베이스 좌표계의 상기 X축 방향에 대한 상기 플랜지 좌표계의 X1축 방향의 회전 각도

b1: 상기 베이스 좌표계의 상기 Y축 방향에 대한 상기 플랜지 좌표계의 Y1축 방향의 회전 각도

c1: 상기 베이스 좌표계의 상기 Z축 방향에 대한 상기 플랜지 좌표계의 Z1축 방향의 회전 각도

상기 플랜지 표면(12)에는 하나의 작업 공구(15)가 장착되고, 본 실시예에서 상기 작업 공구(15)는 흡판을 예로 들었으나, 이에 한정되지 않는다. 상기 작업 공구(15)는 하나의 작업 공구 중심점(tool center point, TCP)을 갖는다. 사용자는 상기 제어기(13)에 작업 공구 좌표계를 설정하고, 상기 작업 공구 좌표계는 서로 수직되는 X2축, Y2축, Z2축으로 구성된 좌표 공간이고, 상기 작업 공구 좌표계는 작업 공구 좌표 원점을 가지며, 상기 작업 공구 좌표 원점은 상기 작업 공구 중심점(TCP)에 위치한다. 상기 작업 공구 좌표계와 플랜지 좌표계의 관계는 x2, y2, z2, a2, b2, c2이고, 그 중,

x2: 상기 작업 공구 좌표계의 X2축 방향과 상기 플랜지 좌표계의 상기 X1축 방향의 거리관계

y2: 상기 작업 공구 좌표계의 Y2축 방향과 상기 플랜지 좌표계의 상기 Y1축 방향의 거리관계

z2: 상기 작업 공구 좌표계의 Z2축 방향과 상기 플랜지 좌표계의 상기 Z1축 방향의 거리관계

a2: 상기 플랜지 좌표계의 상기 X1축 방향에 대한 상기 작업 공구 좌표계의 X2축 방향의 회전 각도

b2: 상기 플랜지 좌표계의 상기 Y1축 방향에 대한 상기 작업 공구 좌표계의 Y2축 방향의 회전 각도

c2: 상기 플랜지 좌표계의 상기 Z1축 방향에 대한 상기 작업 공구 좌표계의 Z2축 방향의 회전 각도

하나의 이미지 센서(17)에 있어서, 본 실시예에서는 전하 결합 이미지 센서(Charge Coupled Device, CCD)이고, 상기 플랜지 표면(12)에 설치되어, 상기 제어기(13)와 전기적으로 연결되고, 상기 이미지 센서(17)는 이미지를 캡처하도록 사용된다. 설명드릴 것은, 상기 이미지 센서(17) 내부에는 이미지 센서 칩(171)이 구비되고, 상기 이미지 센서 칩(171)은 이미지 센서 평면(171a)이 구비된다. 사용자는 서로 수직되는 X3축, Y3축, Z3축으로 구성된 좌표 공간인 이미지 센서의 제1 좌표계를 상기 제어기(13)에 설정하고, 상기 이미지 센서의 제1 좌표계의 상기 X3축과 상기 Y3축으로 구성된 X3Y3평면은 상기 이미지 센서 칩(171)의 상기 이미지 센서 평면(171a)과 평행하여야 한다. 상기 이미지 센서의 제1 좌표계는 이미지 센서의 제1 좌표 원점을 가지고, 본 실시예에서, 상기 이미지 센서의 제1 좌표 원점은 상기 이미지 센서 평면(171a)에 위치한다. 상기 이미지 센서의 제1 좌표계와 플랜지 좌표계의 관계는 x3, y3, z3, a3, b3, c3이고, 그 중,

x3: 상기 이미지 센서의 제1 좌표계의 X3축 방향과 상기 플랜지 좌표계의 상기 X1축 방향의 거리관계

y3: 상기 이미지 센서의 제1 좌표계의 Y3축 방향과 상기 플랜지 좌표계의 상기 Y1축 방향의 거리관계

z3: 상기 이미지 센서의 제1 좌표계의 Z3축 방향과 상기 플랜지 좌표계의 상기 Z1축 방향의 거리관계

a3: 상기 플랜지 좌표계의 상기 X1축 방향에 대한 상기 이미지 센서의 제1 좌표계의 X3축 방향의 회전 각도

b3: 상기 플랜지 좌표계의 상기 Y1축 방향에 대한 상기 이미지 센서의 제1 좌표계의 Y3축 방향의 회전 각도

c3: 상기 플랜지 좌표계의 상기 Z1축 방향에 대한 상기 이미지 센서의 제1 좌표계의 Z3축 방향의 회전 각도

또한 설명드릴 것은, 사용자는 상기 플랜지 좌표계, 상기 작업 공구 좌표계 또는 상기 이미지 센서의 제1 좌표계를 현재 좌표계로 선택하도록 상기 제어기(13)를 조작할 수 있고, 상기 현재 좌표계는 현재 사용 중인 좌표계를 의미한다. 사용자는 상기 베이스 좌표계 하에 위치점을 설정하고, 상기 현재 좌표계를 선택한 후, 상기 제어기(13)는 상기 현재 좌표계의 원점이 상기 위치점으로 이동하도록 제어하고, 상기 현재 좌표계의 X1Y1평면, X2Y2평면 또는 X3Y3평면은 상기 베이스 좌표계의 XY평면에 평행한다. 예를 들면, 사용자는 상기 작업 공구 좌표계를 상기 현재 좌표계로 선택할 경우, 상기 제어기(13)는 상기 작업 공구 좌표 원점이 상기 위치점으로 이동하도록 상기 로봇 암(10)을 제어하고, 상기 공구 좌표계의 상기 X2축과 상기 Y2축으로 구성된 X2Y2평면은 상기 베이스 좌표계의 상기 X축과 상기 Y축으로 구성된 XY평면에 평행한다. 또한, 예컨대 사용자가 상기 이미지 센서의 제1 좌표계를 상기 현재 좌표계로 선택할 경우, 상기 제어기(13)는 상기 이미지 센서의 제1 좌표 원점이 상기 위치점으로 이동하도록 상기 로봇 암(10)을 제어하고, 상기 이미지 센서의 제1 좌표계의 상기 X3축과 상기 Y3축으로 구성된 X3Y3평면은 상기 베이스 좌표계의 상기 X축과 상기 Y축으로 구성된 XY평면에 평행한다.

도 3에 도시된 바와 같이, 본 발명에 따른 비전 가이드 로봇 암 교정 방법은 아래와 같은 단계를 포함한다:

A) 조작 조건을 설정하는 단계

사용자는 상기 베이스 좌표계에서의 교정 높이(Zcal), 제1 교정 좌표점(P1), 제2 교정 좌표점(P2), 제3 교정 좌표점(P3) 및 제4 교정 좌표점(P4)을 상기 제어기(13)에 설정한다. 설명드릴 것은, 상기 제1 교정 좌표점 내지 제4 교정 좌표점(P1-P4)의 Z축 분량은 모두 동일하고, 동일한 높이에 위치한다.

B) 교정 대상을 배치하는 단계

사용자는 교정 대상(18)을 상기 로봇 암(10)의 작업 범위 내에 배치한다. 상기 교정 대상(18)은 하나의 위치결정 마크(181)가 있고, 본 실시예에서 상기 위치결정 마크(181)는 원점이지만, 원점에 한정되지 않는다.

C) 작업 공구 중심점을 이동시키는 단계

상기 작업 공구 좌표계를 선택하여 상기 현재 좌표계로 하고, 상기 로봇 암(10)을 조작하여 상기 작업 공구(15)를 이동시킴으로써, 상기 작업 공구 중심점(TCP)을 상기 위치결정 마크(181)상에 이동시킨다. 상기 제어기(13)는 상기 베이스 좌표계에서의 현재 위치 좌표(Psp)를 저장한다.

D) 이미지 센서 이동

상기 이미지 센서의 제1 좌표계를 선택하여 상기 현재 좌표계로 하고 상기 교정 높이(Zcal)를 추가한다. 상기 제어기(13)는 상기 로봇 암(10)이 상기 이미지 센서(17)를 이동시켜 상기 이미지 센서의 제1 좌표 원점이 교정 기준 위치 좌표(Pcp)로 이동되도록 제어하고, 상기 교정 기준 위치 좌표(Pcp)는 상기 위치결정 마크(181) 상부에 위치한다. 상기 베이스 좌표계 하에서, 상기 교정 기준 위치 좌표(Pcp)는 상기 현재 위치 좌표(Psp)에 비해, Z축 좌표값 차이만이 상기 교정 높이(Zcal)이고, 기타 X축, Y축 분량 값은 동일하다.

E) 위치결정 마크의 이미지를 분석하는 단계

상기 이미지 센서(17)에 의해 위치결정 이미지를 캡처하고, 상기 위치결정 이미지는 상기 위치결정 마크(181)가 있는 이미지이다. 상기 제어기(13)는 이미지 분석 소프트웨어를 통해 상기 위치결정 이미지에 위치결정 이미지 중심을 설정하고 상기 위치결정 이미지를 분석하고, 본 실시예에서, 상기 위치결정 이미지 중심은 상기 위치결정 이미지의 기하학적 중심이고, 이에 한정되지 않는다. 상기 이미지 분석 소프트웨어를 통해 상기 위치결정 이미지 중심에 대한 상기 위치결정 이미지에서의 위치결정 마크의 위치를 얻고, 상기 제어기(13)가 위치결정 마크의 이미지 좌표(Xcs)를 얻도록 한다.

또한, 앞에서 언급한 상기 이미지 분석 소프트웨어는 일반적으로 시중에서 판매되고 있는 이미지 분석 소프트웨어이고, 이미지에서의 물체를 확인하여 이미지에서의 좌표 위치를 분석하도록 사용되며, 설명을 생략한다.

F) 이미지와 실제 거리를 교정하는 단계

상기 로봇 암(10)을 조작하여, 상기 이미지 센서의 제1 좌표 원점이 상기 제1 교정 좌표점 내지 제4 교정 좌표점(P1-P4)으로 이동하도록 상기 이미지 센서(17)를 이동시킨다. 상기 이미지 센서(17)가 상기 이미지 센서의 제1 좌표 원점에서 상기 제1 교정 좌표점 내지 제4 교정 좌표점(P1-P4)으로 이동될 때, 제1 이미지, 제2 이미지, 제3 이미지 및 제4 이미지를 각각 캡처하고, 상기 제어기(13)에 의해 상기 이미지 분석 소프트웨어를 통해 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지 및 상기 제4 이미지를 분석하여, 상기 제1 이미지 내지 제4 이미지 내에서의 상기 위치결정 마크(181)의 제1 교정 이미지 좌표(Xc1), 제2 교정 이미지 좌표(Xc2), 제3 교정 이미지 좌표(Xc3) 및 제4 교정 이미지 좌표(Xc4)를 각각 얻는다.

G) 이미지 교정 데이터를 계산하는 단계

상기 베이스 좌표계에서의 상기 제1 교정 좌표점 내지 상기 제4 교정 좌표점(P1-P4)의 좌표값(실제공간) 및 상기 위치결정 마크(181)의 상기 제1 이미지 내지 제4 이미지 내에서의 상기 제1 교정 이미지 좌표(Xc1), 상기 제2 교정 이미지 좌표(Xc2), 상기 제3 교정 이미지 좌표(Xc3) 및 상기 제4 교정 이미지 좌표(Xc4)(이미지 공간)를 알고 있으면, 이미지에서의 거리와 실제 공간(베이스 좌표계)의 거리관계를 계산하여, 이미지 교정 데이터를 얻을 수 있다. 상기 이미지 교정 데이터를 통해, 이미지에서의 거리와 실제 거리 사이의 변환 관계를 파악할 수 있다.

설명드릴 것은, 본 실시예는 4개 점 교정을 실시예로 들었으나, 4개 점에 한하지 않고, 4개 점 이상이면 모두 가능하다. 교정에 더 많은 좌표점이 사용될수록, 계산량이 더 많아지고, 계산 시간이 더 길고, 계산 비용이 높아지므로, 적절한 개수의 교정 점을 선택해야 하고, 본 실시예에서는 4개 점 교정이 작동된다.

본 실시예에서의 상기 이미지 교정 데이터를 계산하는 단계 방법은 다음과 같고, 이에 한정되지 않는다.

상기 제1 교정 좌표점 내지 제4 교정 좌표점(P1-P4)의 좌표는 각각

임을 알고 있다. 대응하는 상기 제1 교정 이미지 좌표 내지 제4 교정 이미지 좌표는

이다. 각각 행렬로 표시하면 다음과 같다:

상기 행렬

은 상기 베이스 좌표계 하에서 상기 제1 교정 좌표점 내지 제4 교정 좌표점(P1-P4)으로 구성되고, 행렬

는 이미지 공간에서 상기 제1 교정 이미지 좌표 내지 제4 교정 이미지 좌표로 구성되고, 다음과 같은 관계식으로 표시된다:

행렬

의 무어-펜로즈 의사역 행렬

(Moore-Penrose pseudo-inverse matrix)을 계산하는 것을 통해 행렬

를 계산하면 다음과 같고,

의사역 행렬

가 바로 상기 이미지 교정 데이터이고, 이미지에서의 거리와 실제 거리 사이의 변환 관계를 나타낸다.

H)이미지 센서의 제1 좌표계의 보상량을 계산하는 단계

상기 위치결정 마크의 이미지 좌표(Xcs)와 상기 이미지 교정 데이터를 이용하여, 이미지 센서의 제1 좌표계 보상량을 계산한다.

이상적인 상태에서, 상기 공구 좌표계의 상기 X2축과 상기 Y2축으로 구성된 X2Y2평면, 및 상기 이미지 센서의 제1 좌표계의 상기 X3축과 상기 Y3축으로 구성된 X3Y3평면은 모두 상기 베이스 좌표계의 상기 X축과 상기 Y축으로 구성된 XY평면에 평행하고, 상기 교정기준 위치 좌표(Pcp)와 상기 현재 위치 좌표(Psp)는 상기 교정 높이(Zcal) 밖에 차이 나지 않아 X축, Y축 상의 분량 차이가 없고, 상기 공구 좌표계와 상기 이미지 센서의 제1 좌표계 사이의 변환이 이상적인 경우, 상기 위치결정 이미지 내 위치한 위치결정 마크가 상기 위치결정 이미지 중심에 위치하도록 하고, 상기 작업 공구 좌표계에서의 상기 위치결정 마크(181)의 위치를 의미하기도 하고, 상기 이미지 센서 좌표계의 상기 이미지 중심과 중첩된다. 이러한 방식으로, 상기 이미지 교정 데이터(상기 이미지에서의 거리와 실제 사이의 거리 비율)를 알고 나면, 사용자는 상기 이미지 센서(17)에 의해 캡처 된 화면 데이터와 상기 이미지 교정 데이터를 통해, 상기 로봇 암(10)을 제어하고 또한 상기 작업 공구(15)를 제어하도록 상기 제어기(13)를 직감적으로 조작할 수 있다.

그러나, 일반적인 경우에, 상기 위치결정 마크(181)의 상기 이미지에서의 위치와 상기 이미지 중심에는 오차가 있어 보상을 위한 이미지 보상량

이 필요하다. 상기 위치결정 마크의 이미지 좌표(Xcs)는 즉 상기 위치결정 점(181)의 상기 위치결정 이미지에서의 상기 위치결정 이미지 센터를 원점으로 하는 좌표값이므로, 상기 위치결정 마크의 이미지 좌표(Xcs)의 좌표값을 상기 이미지 보상량

으로 변환하고, 상기 공구 좌표계와 상기 이미지 센서의 제1 좌표계의 이미지에서 보상해야 할 오차를 표시할 수 있다. 상기 위치결정점(181)을 중심으로 하여 상기 이미지 센서(17)가 캡처한 이미지를 통해 상기 작업 공구를 직감적으로 제어하고자 할 경우, 상기 이미지 보상량

을 상기 이미지 센서(17)가 캡처한 이미지에 추가하기만 하면 화면 중의 위치결정점이 화면 중심에 있도록 할 수 있고, 사용자가 상기 센서가 캡처한 화면을 통해 작업 공구를 직감적으로 작동시키는 것을 용이하게 한다. 제어기(13)의 부분과 관련하여, 상기 이미지 센서의 제1 좌표계 보상량이 필요하고, 이로써 상기 작업 공구의 이동을 제어하고, 상기 이미지 센서(17) 이미지에서 위치와 상기 작업 공구 위치의 오차를 보상한다.

언급할 것은, 상기 이미지 센서의 제1 좌표계 보상량은 센서의 제2 좌표계를 생성하도록 상기 제어기(13)에 설정될 수 있다. 따라서 매번 상기 이미지 센서(17)에 의해 캡처된 이미지에 보상량을 추가할 필요 없이, 상기 로봇 암(10)이 상기 이미지 센서(17)를 작동시킬 때, 상기 이미지 센서의 제1 좌표계 보상량이 상기 센서(17)이동 위치에 직접 추가되도록 함으로써, 사용자가 편리하게 사용할 수 있다.

상기 제공된 방법에 의하여, 본 발명에서 제공한 비전 가이드 로봇 암 교정 방법은, 도트 행렬과 같은 특정 교정대상에 제한되지 않고, 교정대상 내에 위치결정 마크를 지정하기만 하면 교정 작업을 진행할 수 있어, 교정 작업 시간을 단축할 수 있다. 또한, 이미지 분석방법을 통해 좌표 위치를 판단함으로써, 인위적인 판단에 의한 시각적 오류도 감소시킬 수 있다.

10: 로봇 암 11: 베이스
12: 플랜지 표면 13: 제어기
15: 작업 공구 17: 이미지 센서
171: 이미지 센서 칩 171a: 이미지 센서 평면
18: 교정 대상 181: 위치결정 마크
P1: 제1 교정 좌표점 P2: 제2 교정 좌표점
P3: 제3 교정 좌표점 P4: 제4 교정 좌표점
Psp: 현재 위치 좌표 Pcp: 교정 기준 위치 좌표
TCP: 작업 공구 중심점 Xcs: 위치결정 마크이미지 좌표
Xc1: 제1 교정 이미지 좌표 Xc2: 제2 교정 이미지 좌표
Xc3: 제3 교정 이미지 좌표 Xc4: 제4 교정 이미지 좌표
Zcal: 교정 높이
<베이스 좌표계>
X축 Y축 Z축
<플랜지 좌표계>
X1축 Y1축 Z1축
<작업 공구 좌표계>
X2축 Y2축 Z2축
<이미지 센서의 제1 좌표계>
X3축 Y3축 Z3축

Claims

로봇 암에 사용되는 교정 방법에 있어서,
상기 로봇 암은 베이스를 구비하고, 상기 로봇 암의 말단부에는 하나의 플랜지 표면이 구비되고, 상기 로봇 암은 제어기와 전기적으로 연결되고, 상기 제어기는 데이터 입력, 데이터 출력, 데이터 저장, 데이터 처리와 계산 및 데이터 표시 기능을 가지며, 상기 제어기는 베이스 좌표계 및 플랜지 좌표계를 미리 저장하고, 상기 베이스 좌표계는 서로 수직되는 X축, Y축, Z축으로 구성된 좌표 공간이고, 상기 베이스 좌표는 베이스 좌표 원점을 가지고, 상기 로봇 암은 하나의 작업 범위를 가지고, 상기 플랜지 좌표계는 서로 수직되는 X1축, Y1축, Z1축으로 구성된 좌표 공간이고, 상기 플랜지 좌표계는 플랜지 좌표 원점을 가지고, 상기 플랜지 표면에는 하나의 작업 공구가 장착되고, 상기 작업 공구는 하나의 작업 공구 중심점을 가지고, 상기 제어기는 작업 공구 좌표계를 설정하고, 상기 작업 공구 좌표계는 서로 수직되는 X2축, Y2축, Z2축으로 구성된 좌표 공간이고, 상기 작업 공구 좌표계는 작업 공구 좌표 원점을 가지고, 상기 작업 공구 좌표 원점은 상기 작업 공구 중심점에 위치하고, 상기 플랜지 표면에는 하나의 이미지 센서가 장착되어 상기 제어기와 전기적으로 연결되고, 상기 이미지 센서 내부에는 이미지 센서 칩이 구비되고, 상기 이미지 센서 칩은 이미지 센서 평면이 구비되고, 상기 제어기는 서로 수직되는 X3축, Y3축, Z3축으로 구성된 좌표 공간인 이미지 센서의 제1 좌표계를 설정하고, 상기 이미지 센서의 제1 좌표계의 상기 X3축 및 상기 Y3축으로 구성된 X3Y3평면은 상기 이미지 센서 칩의 상기 이미지 센서 평면에 평행하여야 하고, 상기 이미지 센서의 제1 좌표계는 이미지 센서의 제1 좌표 원점을 가지고, 사용자는 상기 플랜지 좌표계, 상기 작업 공구 좌표계 또는 상기 이미지 센서의 제1 좌표계를 선택하여 현재 좌표계로 하도록 상기 제어기를 조작할 수 있고, 상기 현재 좌표계는 현재 사용 중인 좌표계를 의미하고,
상기 교정 방법은,
A) 조작 조건을 설정하는 단계:
상기 베이스 좌표계에서의 교정 높이, 제1 교정 좌표점, 제2 교정 좌표점, 제3 교정 좌표점 및 제4 교정 좌표점을 상기 제어기에 설정함;
B) 교정 대상을 배치하는 단계:
하나의 위치결정 마크가 있는 교정 대상을 상기 로봇 암의 작업 범위 내에 배치함;
C) 작업 공구 중심점을 이동시키는 단계:
상기 작업 공구 좌표계를 선택하여 상기 현재 좌표계로 하고, 상기 로봇 암을 조작하여 상기 작업 공구를 이동시킴으로써, 상기 작업 공구 중심점을 상기 위치결정 마크 상에 이동시키고, 상기 제어기는 상기 베이스 좌표계에서의 현재 위치좌표를 저장함;
D) 이미지 센서를 이동시키는 단계:
상기 이미지 센서의 제1 좌표계를 선택하여 상기 현재 좌표계로 하고 상기 교정 높이를 추가하고, 상기 제어기는 상기 이미지 센서를 이동시켜 상기 이미지 센서의 제1 좌표 원점이 교정 기준 위치 좌표로 이동되도록 상기 로봇 암을 제어하고, 상기 교정 기준 위치 좌표는 상기 위치결정 마크 상부에 위치하고, Z축 좌표값만이 상기 교정 높이만큼 차이남;
E) 위치결정 마크의 이미지를 분석하는 단계:
상기 이미지 센서에 의해 위치결정 이미지를 캡처하고, 상기 위치결정 이미지는 상기 위치결정 마크가 있는 이미지이고, 상기 제어기는 이미지 분석 소프트웨어를 통해 상기 위치결정 이미지에 위치결정 이미지 중심을 설정하여 상기 위치결정 이미지를 분석하고, 상기 이미지 분석 소프트웨어를 통해 상기 위치결정 이미지 중심에 대한 상기 위치결정 이미지에서의 위치결정 마크의 위치를 얻어, 상기 제어기가 위치결정 마크의 이미지 좌표를 얻도록 함;
F) 이미지와 실제 거리를 교정하는 단계:
상기 로봇 암을 조작하여, 상기 이미지 센서의 제1 좌표 원점이 상기 제1 교정 좌표점 내지 제4 교정 좌표점으로 이동하도록 상기 이미지 센서를 이동시키고, 상기 이미지 센서는 상기 이미지 센서의 제1 좌표 원점이 상기 제1 교정 좌표점 내지 제4 교정 좌표점으로 이동될 때, 제1 이미지, 제2 이미지, 제3 이미지 및 제4 이미지를 각각 캡처하고, 상기 제어기에 의해 상기 이미지 분석 소프트웨어를 통해 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지 및 상기 제4 이미지를 분석하여, 상기 위치결정 마크의 상기 제1 이미지 내지 제4 이미지에서의 제1 교정 이미지 좌표, 제2 교정 이미지 좌표, 제3 교정 이미지 좌표 및 제4 교정 이미지 좌표를 각각 얻음;
G) 이미지 교정 데이터를 계산하는 단계:
상기 베이스 좌표계에서의 상기 제1 교정 좌표점 내지 상기 제4 교정 좌표점의 좌표값, 및 상기 제1 교정 이미지 좌표 내지 상기 제4 교정 이미지 좌표를 알고 있으면, 이미지 교정 데이터를 계산하여 얻을 수 있고, 상기 이미지 교정 데이터를 통해 이미지에서의 거리와 실제 거리 사이의 변환 관계를 파악할 수 있음;
H) 이미지 센서 좌표계의 보상량을 계산하는 단계:
상기 위치결정 마크의 이미지 좌표와 상기 이미지 교정 데이터를 이용하여, 이미지 센서의 제1 좌표계 보상량을 계산하여, 상기 이미지 센서 이미지에서의 위치와 상기 작업 공구 위치의 오차를 보상함;
를 포함하는 비전 가이드 로봇 암 교정 방법.
제1항에 있어서,
상기 단계 A)에서, 상기 제1 교정 좌표점 내지 제4 교정 좌표점의 Z축 분량은 모두 동일하고, 동일한 높이에 위치하는, 비전 가이드 로봇 암 교정 방법.
제1항에 있어서,
상기 교정 좌표점의 수량은 4개 이상이어야 하는, 비전 가이드 로봇 암 교정 방법.
제1항에 있어서,
상기 단계 G)에서, 상기 이미지 교정 데이터를 계산하는 단계 방법은 아래와 같으며,
상기 제1 교정 좌표점 내지 제4 교정 좌표점의 좌표는 각각
임을 알고 있으면, 대응하는 상기 제1 교정 이미지 좌표 내지 제4 교정 이미지 좌표는
이고, 각각 행렬로 표시하면 다음과 같고,

상기 행렬
은 상기 베이스 좌표계에서의 상기 제1 교정 좌표점 내지 제4 교정 좌표점으로 구성되고, 행렬
는 이미지 공간에서 상기 제1 교정 이미지 좌표 내지 제4 교정 이미지 좌표로 구성되고, 다음과 같은 관계식으로 표시되고,

행렬
는 2개의 평면 좌표계 사이의 아핀 변환 행렬(Affine transformation matrix)이고, 행렬
의 무어-펜로즈 의사역 행렬
(Moore-Penrose pseudo-inverse matrix)을 계산하는 것을 통해 행렬
를 계산하면 다음과 같고,

의사역 행렬
은 특이값 분해법(Singular Value Decomposition, SVD)을 통해 구할 수 있으며, 행렬
가 바로 상기 이미지 교정 데이터이고, 이미지 내의 거리와 실제 거리 사이의 변환 관계를 나타내는, 비전 가이드 로봇 암 교정 방법.
제1항에 있어서,
상기 단계 H)에서, 상기 이미지 센서의 제1 좌표계 보상량을 상기 제어기에 설정하여 센서의 제2 좌표계를 생성하는, 비전 가이드 로봇 암 교정 방법.