KR102459373B1

KR102459373B1 - 핸드 아이 캘리브레이션 시스템 및 방법

Info

Publication number: KR102459373B1
Application number: KR1020200159811A
Authority: KR
Inventors: 최진원; 남상혁
Original assignee: 아이둡 주식회사
Priority date: 2020-11-25
Filing date: 2020-11-25
Publication date: 2022-10-31
Also published as: KR20220072331A

Abstract

핸드 아이 캘리브레이션 시스템 및 방법을 개시한다. 본 발명은 카메라를 통해 전달되는 정보를 이용하여 로봇 팔을 운용하는 시스템에서 핸드 아이 캘리브레이션을 위한 입력 정보를 실시간 획득하고, 이를 기초로 카메라와 로봇 시스템의 운용에 대한 유효성을 판단하여 카메라의 좌표 시스템과 로봇 팔의 좌표 시스템 간의 변환 관계를 보정 및 개선할 수 있다.

Description

핸드 아이 캘리브레이션 시스템 및 방법{HAND EYE CALIBRATION SYSTEM AND METHOD}

본 발명은 핸드 아이 캘리브레이션 시스템 및 방법에 관한 발명으로서, 더욱 상세하게는 카메라를 통해 전달되는 정보를 이용하여 로봇 팔을 운용하는 시스템에서 핸드 아이 캘리브레이션을 위한 입력 정보를 실시간 획득하고, 이를 기초로 카메라와 로봇 시스템의 운용에 대한 유효성을 판단하여 카메라의 좌표 시스템과 로봇 팔의 좌표 시스템 간의 변환 관계를 보정 및 개선하는 핸드 아이 캘리브레이션 시스템 및 방법에 관한 것이다.

일반적으로, 전기적 또는 자기적인 작용을 이용하여 인간의 동작과 닮은 운동을 행하는 기계장치를 로봇이라고 한다.

초기의 로봇은 생산 현장에서의 작업 자동화ㆍ무인화 등을 목적으로 한 매니퓰레이터(manipulator)나 반송 로봇 등의 산업용 로봇으로 인간을 대신하여 위험한 작업이나 단순한 반복 작업, 큰 힘을 필요로 하는 작업을 수행하였으나, 최근에는 인간과 유사한 관절체계를 가지고 인간의 작업 및 생활공간에서 인간과 공존하며 다양한 서비스를 제공하는 인간형 로봇(humanoid robot)의 연구 개발이 활발하게 진행되고 있다.

이러한 인간형 로봇은 전기적ㆍ기계적 메카니즘에 의해서 팔이나 손의 동작에 가깝게 운동할 수 있도록 만들어진 매니퓰레이터를 이용하여 작업을 수행한다. 현재 사용되고 있는 대부분의 매니퓰레이터는 여러 개의 링크(link)들이 서로 연결되어 구성된다.

각 링크들의 연결 부위를 관절(joint)이라 하는데 매니퓰레이터는 이러한 링크와 관절들 사이의 기하학적인 관계에 따라 운동 특성이 결정된다.

이 기하학적인 관계를 수학적으로 표현한 것이 기구학(Kinematics)이며 대부분의 매니퓰레이터는 이러한 기구학적 특성(kinematics characteristic)을 가지고 작업을 수행하기 위한 방향(목표 위치)으로 로봇 팔(예컨대, 엔드 이펙터)을 이동시킨다.

카메라를 기반으로 하는 로봇 팔 운용 시스템은 일반적으로 로봇 팔의 위치를 카메라에서 출력되는 영상을 통해서 물체의 위치를 인식하고 이를 기반으로 로봇 팔과 부착된 여러 가지 도구들을 이용해서 물체를 집거나 혹은 내려 놓는 등의 기능을 수행한다

한편, 카메라를 부착한 로봇 시스템의 보정은 크게 로봇 베이스와 로봇 팔의 보정, 카메라의 보정, 로봇 베이스 또는 로봇 팔과 카메라의 보정(hand/eye calibration)으로 분류된다.

카메라를 이용하여 인식된 물체는 카메라 내부를 원점으로 하는 카메라 좌표계에 의해 물체의 위치와 자세를 표현하게 되지만, 로봇 팔을 해당 물체로 이동하기 위해서는 카메라 좌표계가 아닌 로봇 팔의 좌표계를 기반으로 위치 및 자세가 표시되어야 한다.

따라서, 카메라의 좌표계를 로봇 팔의 좌표계로 변환하는 작업은 카메라 기반의 로봇 팔 운용 시스템에서는 필수적으로 수행되어야 하고 이를 핸드 아이 캘리브레이션이라고 한다.

도1은 종래 기술에 따른 핸드 아이 캘리브레이션 장치를 나타낸 예시도이다.

도1에 나타낸 바와 같이, 종래 기술에 따른 핸드 아이 캘리브레이션 장치는 로봇 팔(10)과, 로봇 팔(10)에 설치된 마커(20)로 구성될 수 있다.

또한, 도2는 일반적인 핸드 아이 캘리브레이션 장치의 캘리브레이션 수행을 위한 격자점 마커를 나타낸 예시도이다.

일반적으로 핸드아이 캘리브레이션을 수행하기 위해서는 두 개의 좌표 변환 행렬이 필요하다.

하나는 아르코 마커(Aruco Marker) 또는 격자점으로 구성되어 로봇 팔에 부착된 캘리브레이션 보드의 위치와 자세이고, 이는 카메라 좌표계를 통해서 획득된다.

다른 하나는 로봇 팔의 위치를 로봇 기준점을 기반으로 하는 로봇 좌표계로 획득한다.

핸드 아이 캘리브레이션은 상기 표시된 두 좌표계 변환 행렬에 대해서 다양한 위치 및 자세를 변경하면서 관련 데이터들을 수집하고 이를 기반으로 카메라와 로봇 간의 좌표계 변환 행렬을 최종적으로 획득한다.

따라서, 로봇에 캘리브레이션에 필요한 마커(20)를 부착해야 하기 때문에 로봇 운용 이전에 수행되는 것이 일반적이다.

그러나 시스템 운용중에 미세한 충격 등이 발생해 카메라 또는 로봇 팔의 위치 또는 자세가 의도하지 않게 변화할 경우, 로봇의 오동작이 발생하는 문제점이 있어 로봇 운용을 중지하고 핸드 아이 캘리브레이션을 재수행해서 새로운 카메라와 로봇 팔 간의 좌표계 변환 행렬을 갱신해야 하는 문제점이 있다.

한국 등록특허 등록번호 제10-1988937호(발명의 명칭: 카메라와 로봇 팔의 캘리브레이션 방법 및 장치)

이러한 문제점을 해결하기 위하여, 본 발명은 카메라를 통해 전달되는 정보를 이용하여 로봇 팔을 운용하는 시스템에서 핸드 아이 캘리브레이션을 위한 입력 정보를 실시간 획득하고, 이를 기초로 카메라와 로봇 시스템의 운용에 대한 유효성을 판단하여 카메라의 좌표 시스템과 로봇 팔의 좌표 시스템 간의 변환 관계를 보정 및 개선하는 핸드 아이 캘리브레이션 시스템 및 방법을 제공하는 것을 목적으로 한다.

상기한 목적을 달성하기 위하여 본 발명의 일 실시 예는 핸드 아이 캘리브레이션 시스템으로서, 카메라가 로봇 팔에 부착된 캘리브레이션 마커를 촬영하면, 관리 단말이 상기 촬영된 캘리브레이션 마커의 이미지로부터 카메라 좌표계 기반의 캘리브레이션 마커 위치 및 자세와, 상기 캘리브레이션 마커의 이미지를 획득한 시점에서 로봇 좌표계 기반의 로봇 팔 위치를 획득하여 상기 캘리브레이션 마커와 로봇 팔 사이의 좌표계 변환 값을 산출하고, 상기 산출된 좌표계 변환 값을 현재 설정된 캘리브레이션 마커와 로봇 팔 사이의 좌표계 변환 값과 비교한 결과에 따라, 캘리브레이션의 재수행 여부를 출력하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 캘리브레이션 마커와 로봇 팔 사이의 좌표계 변환 값은 상기 로봇 팔의 운용 중에 실시간으로 입력되는 캘리브레이션 마커의 이미지에서 획득한 위치 및 자세와, 상기 캘리브레이션 마커의 이미지를 획득한 시점에서 로봇 팔의 위치 값을 이용하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 핸드 아이 캘리브레이션 시스템은 로봇 팔에 부착된 일정 크기의 캘리브레이션 마커; 상기 캘리브레이션 마커를 촬영하는 카메라; 상기 캘리브레이션 마커와 함께 임의의 동작을 수행하는 로봇 팔; 및 상기 촬영된 캘리브레이션 마커의 이미지로부터 카메라 좌표계 기반의 캘리브레이션 마커 위치 및 자세와, 상기 캘리브레이션 마커의 이미지를 획득한 시점에서 로봇 좌표계 기반의 로봇 팔 위치를 획득하여 상기 캘리브레이션 마커와 로봇 팔 사이의 좌표계 변환 값을 산출하고, 상기 산출된 좌표계 변환 값을 현재 설정된 캘리브레이션 마커와 로봇 팔 사이의 좌표계 변환 값과 비교하며, 상기 비교 결과에 따라 캘리브레이션의 재수행 여부에 대한 결과를 출력하는 관리 단말;을 포함하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 관리 단말은 로봇 팔의 운용 중에 상기 캘리브레이션 마커에 의해 생성되는 카메라를 기준으로 하는 캘리브레이션 마커의 위치 및 자세와, 로봇을 기준으로 하는 로봇 팔의 TCP(Tool Center Point) 위치를 이용하여 획득한 변환 값과 현재 설정된 변환 값 간에 산출된 차이 값에 따라 캘리브레이션의 재수행에 대한 유효성을 결정하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 관리 단말은 산출된 차이 값이 미리 설정된 재수행 판단용 기준 값과 동일하거나 또는 재수행 판단용 기준 값 이하면 현재 설정된 변환 값이 유지되도록 하고, 상기 산출된 차이 값이 기준 값 이상이면, 상기 차이 값과 기준 값 사이의 크기에 따라 캘리브레이션이 재수행되도록 하거나 또는 산출된 변환 값을 자동 보정 값으로 저장하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 자동 보정 값은 저장 횟수를 카운트하여 일정 값에 도달하면 저장된 자동 보정 값의 편차를 산출하고, 상기 산출된 편차 값을 미리 설정된 편차 판단용 기준 값과 비교하되, 상기 산출된 편차 값이 편차 판단용 기준 값 이하면, 현재 설정된 변환 값을 자동 보정하며, 상기 산출된 편차 값이 편차 판단용 기준 값 이상이면, 저장된 자동 보정 값을 모두 초기화하는 것을 특징으로 한다.

또한, 본 발명의 일 실시 예는 핸드 아이 캘리브레이션 방법으로서, a) 카메라가 로봇 팔에 부착된 일정 크기의 캘리브레이션 마커를 촬영하는 단계; b) 관리 단말이 상기 촬영된 캘리브레이션 마커의 이미지로부터 카메라 좌표계 기반의 캘리브레이션 마커 위치 및 자세와, 상기 캘리브레이션 마커의 이미지를 획득한 시점에서 로봇 좌표계 기반의 로봇 팔 위치를 획득하는 단계; c) 상기 관리 단말이 상기 캘리브레이션 마커와 로봇 팔 사이의 좌표계 변환 값을 산출하고, 상기 산출된 좌표계 변환 값을 현재 설정된 캘리브레이션 마커와 로봇 팔 사이의 좌표계 변환 값과 비교하는 단계; 및 d) 상기 관리 단말이 산출된 좌표계 변환 값과 현재 설정된 좌표계 변환 값 사이의 차이 값을 산출하고, 상기 산출된 차이 값이 미리 설정된 재수행 판단용 기준 값 이상이면, 캘리브레이션의 재수행 알람을 출력하는 단계;를 포함한다.

또한, 상기 실시 예에 따른 d) 단계는 산출된 차이 값이 없거나 또는 미리 설정된 재수행 판단용 기준 값 이하면, 상기 관리 단말이 현재 설정된 변환 값을 유지하는 단계;를 더 포함하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 d-1)은 상기 d) 단계에서 산출된 차이 값이 재수행 판단용 기준 값 이상이면, 상기 관리 단말이 차이 값과 기준 값 사이의 크기를 미리 설정된 자동 보정 판단용 기준 값과 비교하되, 상기 차이 값이 자동 보정 판단용 기준 값 이상이면 캘리브레이션을 재수행하고, 상기 차이 값이 자동 보정 판단용 기준 값 이하면 산출된 변환 값을 자동 보정 값으로 저장하는 단계;를 더 포함하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 d-2)는 상기 d-1) 단계에서 관리 단말이 자동 보정 값의 저장 횟수를 카운트하여 일정 값에 도달하면 저장된 자동 보정 값의 편차를 산출하는 단계; 및 d-3) 상기 관리 단말이 산출된 편차 값을 미리 설정된 편차 판단용 기준 값과 비교하되, 상기 산출된 편차 값이 편차 판단용 기준 값 이하면, 현재 설정된 변환 값을 자동 보정하고, 상기 산출된 편차 값이 편차 판단용 기준 값 이상이면, 저장된 자동 보정 값을 모두 초기화하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명은 카메라를 통해 전달되는 정보를 이용하여 로봇 팔을 운용하는 시스템에서 핸드 아이 캘리브레이션을 위한 입력 정보를 실시간 획득하고, 이를 기초로 카메라와 로봇 시스템의 운용에 대한 유효성을 판단하여 카메라의 좌표 시스템과 로봇 팔의 좌표 시스템 간의 변환 관계를 보정 및 개선할 수 있는 장점이 있다.

또한, 본 발명은 기존에 운용 이전에 1회성으로 수행되는 핸드 아이 캘리브레이션 단계를 운용 중에 지속적으로 수행함으로써, 로봇 팔 운용 시스템에서 카메라와 로봇 팔 간의 좌표계 변환으로 인해 발생되는 문제들을 능동적으로 대처할 수 있는 장점이 있다.

또한, 본 발명은 사용자가 로봇 팔 운용 시스템에 대한 결정이 요구될 경우, 카메라와 로봇 간의 관계에 대한 객관적 근거를 제공할 수 있는 장점이 있다.

또한, 본 발명은 핸드아이 캘리브레이션의 미세한 조정이 필요할 경우, 로봇 핸드 운용의 중단 없이 자동으로 최종 좌표계 변환식의 갱신을 수행할 수 있는 장점이 있다.

또한, 본 발명은 로봇 팔 운용에 문제가 발생할 경우, 지속적으로 갱신되는 좌표계 변환 업데이트를 이용하여 문제의 원인이 좌표계 변환에 있을 경우 즉시 원인을 인지할 수 있는 기회를 제공할 수 있는 장점이 있다.

도1은 종래 기술에 따른 핸드 아이 캘리브레이션 장치를 나타낸 예시도.
도2는 일반적인 핸드 아이 캘리브레이션 장치의 캘리브레이션 수행을 위한 격자점 마커를 나타낸 예시도.
도3은 본 발명의 일 실시 예에 따른 핸드 아이 캘리브레이션 시스템을 나타낸 예시도.
도4는 도3의 실시 예에 따른 관리 단말의 구성을 나타낸 블록도.
도5는 도3의 실시 예에 따른 핸드 아이 캘리브레이션의 좌표계 변환 과정을 나타낸 예시도.
도6은 본 발명의 일 실시 예에 따른 핸드 아이 캘리브레이션 방법을 설명하기 위한 흐름도.
도7은 도6의 실시 예에 따른 핸드 아이 캘리브레이션 방법의 자동 보정 및 업데이트 방법을 설명하기 위한 흐름도.

이하에서는 본 발명의 바람직한 실시 예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.

본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다.

또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.

본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다는 표현은 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

또한, "‥부", "‥기", "‥모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 그 둘의 결합으로 구분될 수 있다.

또한, "적어도 하나의" 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다.

또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시 예에 따라 변경가능하다 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 핸드 아이 캘리브레이션 시스템 및 방법의 바람직한 실시 예를 상세하게 설명한다.

도3은 본 발명의 일 실시 예에 따른 핸드 아이 캘리브레이션 시스템을 나타낸 예시도이고, 도4는 도3의 실시 예에 따른 관리 단말의 구성을 나타낸 블록도이며, 도5는 도3의 실시 예에 따른 핸드 아이 캘리브레이션의 좌표계 변환 과정을 나타낸 예시도이다.

도3 내지 도5를 참조하면, 본 발명의 일 실시 예에 따른 핸드 아이 캘리브레이션 시스템은 캘리브레이션 마커(100)와, 카메라(200)와, 로봇 팔(300)과 관리 단말(400)을 포함하여 구성된다.

또한, 본 발명의 일 실시 예에 따른 핸드 아이 캘리브레이션 시스템은 카메라(200)가 로봇 팔(300)에 부착된 캘리브레이션 마커(100)를 촬영하면, 관리 단말(400)이 상기 촬영된 캘리브레이션 마커(100)의 이미지로부터 카메라 좌표계 기반의 캘리브레이션 마커(100) 위치 및 자세와, 상기 캘리브레이션 마커(100)의 이미지를 획득한 시점에서 로봇 좌표계 기반의 로봇 팔(300) 위치를 획득하여 상기 캘리브레이션 마커(100)와 로봇 팔(300) 사이의 좌표계 변환 값을 산출한다.

또한, 상기 핸드 아이 캘리브레이션 시스템은 산출된 좌표계 변환 값을 현재 설정된 캘리브레이션 마커(100)와 로봇 팔(300) 사이의 좌표계 변환 값과 비교한 결과에 따라, 캘리브레이션의 재수행 여부를 출력한다.

또한, 상기 핸드 아이 캘리브레이션 시스템은 캘리브레이션 마커(100)와 로봇 팔(300) 사이의 좌표계 변환 값이 상기 로봇 팔(300)의 운용 중에 실시간으로 입력되는 캘리브레이션 마커(100)의 이미지에서 획득한 위치 및 자세와, 상기 캘리브레이션 마커(100)의 이미지를 획득한 시점에서 로봇 팔(300)의 위치 값을 기초로 하여 초기 설정된 좌표계 변환 값 또는 현재 설정된 좌표계 변환 값의 유효성을 판단하여 캘리브레이션의 재수행 여부를 결정한다.

상기 캘리브레이션 마커(100)는 로봇 팔(300)에 부착된 일정 크기의 마커로서, 아르코 마커(Aruco Marker) 또는 격자점으로 구성된다.

또한, 상기 캘리브레이션 마커(100)는 로봇 팔(300)에 부착된 캘리브레이션 보드의 위치와 자세가 나타날 수 있도록 하고, 상기 캘리브레이션 마커(100)의 위치와 자세는 카메라 좌표계를 통해 획득될 수 있다.

또한, 상기 캘리브레이션 마커(100)는 예를 들어 2×2 매트릭스 내지 10×10 매트릭스 형태의 패턴이 형성된 소형의 크기로 구성될 수 있다.

상기 카메라(200)는 로봇 팔(300)에 부착된 캘리브레이션 마커(100)를 촬영하는 구성으로서, 공지의 2D 기반 카메라로 구성될 수 있고, 상기 카메라(200)에 대한 내부 파라메터는 별도의 계산을 통해 획득하거나 또는 상기 카메라(200)에서 제공하는 파라메터를 사용할 수도 있다.

상기 로봇 팔(300)은 임의의 위치에 캘리브레이션 마커(100)가 부착되고, 상기 캘리브레이션 마커(100)가 부착된 상태에서 함께 임의의 동작을 수행하는 구성으로서, 로봇(310)을 기준점으로 하는 로봇 팔(300)의 위치를 로봇 좌표계로 획득할 수 있다.

상기 관리 단말(400)은 카메라(200)를 통해 촬영된 캘리브레이션 마커(100)의 이미지로부터 카메라 좌표계 기반의 캘리브레이션 마커(100) 위치 및 자세를 획득한다.

또한, 상기 관리 단말(400)은 캘리브레이션 마커(100)의 이미지를 획득한 시점에 로봇 좌표계 기반의 로봇 팔(300) 위치를 획득한다.

또한, 상기 관리 단말(400)은 캘리브레이션 마커(100)와 로봇 팔(300) 사이의 좌표계 변환 값을 산출하고, 상기 산출된 좌표계 변환 값을 현재 설정된 캘리브레이션 마커(100)와 로봇 팔(300) 사이의 좌표계 변환 값과 비교한다.

또한, 상기 관리 단말(400)은 비교 결과에 따라 캘리브레이션의 재수행 여부에 대한 결과를 알람을 통해 출력하는 구성으로서, 카메라 영상 획득 모듈(410)과, 로봇 위치 자세 획득 모듈(420)과, 핸드 아이 캘리브레이션 모듈(430)과, 캘리브레이션 자동 보정 모듈(440)을 포함하여 구성될 수 있다.

상기 카메라 영상 획득 모듈(410)은 카메라(200)를 통해 획득한 이미지로부터 캘리브레이션 마커(100)을 인식하고, 상기 인식된 캘리브레이션 마커(100)의 위치 및 자세를 산출한다.

상기 로봇 위치 자세 획득 모듈(420)은 카메라(200)가 캘리브레이션 마커(100)의 이미지를 획득한 시점에 로봇 좌표계 기반의 로봇 팔(300) 위치를 획득한다.

상기 핸드 아이 캘리브레이션 모듈(430)은 획득한 두 좌표계에 대한 변환 행렬을 통해 다양한 위치 및 자세를 변경하면서 관련 데이터들을 수집하고 이를 기반으로 카메라(200)와 로봇 팔(300) 사이의 좌표계 변환 값(변환 행렬)을 최종적으로 획득한다.

즉, 카메라(200)와 캘리브레이션 마커(100) 사이의 좌표계 변환 매트릭스(

)는 카메라(200)를 통해서 촬영된 캘리브레이션 마커(100)의 영상으로부터 획득하고, 로봇 팔(300)과 로봇(310) 베이스 사이의 좌표계 변환 매트릭스(

)는 로봇 제조회사에서 제공되는 API를 통해서 획득할 수 있다.

또한, 상기 획득한 두 개의 매트릭스는 다양한 위치 및 자세의 로봇 팔 변환을 통해서 여러 개의 데이터를 획득한 후, 캘리브레이션 마커(100)와 로봇 암(300) 사이의 변환 매트릭스(

)를 획득한다.

이상, 3개의 매트릭스를 이용하여 카메라(200)와 로봇(310) 베이스 간의 최종 변환 매트릭스(

)를 획득한다.

상기 캘리브레이션 자동 보정 모듈(440)은 캘리브레이션 마커(100)와 로봇 팔(300) 사이의 좌표계 변환 값이 상기 로봇 팔(300)의 운용 중에 실시간으로 입력되는 캘리브레이션 마커(100)의 이미지에서 획득한 위치 및 자세와, 상기 캘리브레이션 마커(100)의 이미지를 획득한 시점에서 로봇 팔(300)의 위치 값을 기초로 하여 초기 설정된 좌표계 변환 값 또는 현재 설정된 좌표계 변환 값의 유효성을 판단하여 캘리브레이션의 재수행 여부를 결정한다.

즉, 상기 캘리브레이션 자동 보정 모듈(440)은 초기 좌표계 변환 값의 설정 후, 로봇 팔(300)의 운용 중에 상기 캘리브레이션 마커(100)에 의해 생성되는 카메라를 기준으로 하는 캘리브레이션 마커(100)의 위치 및 자세와, 로봇(310) 베이스를 기준으로 하는 로봇 팔의 TCP(Tool Center Point) 위치를 이용하여 획득한 변환 값과 현재 설정된 변환 값 간에 산출된 차이 값에 따라 캘리브레이션의 재수행에 대한 유효성을 결정한다.

여기서, 상기 캘리브레이션 자동 보정 모듈(440)은 산출된 차이 값이 미리 설정된 재수행 판단용 기준 값과 동일하거나 또는 재수행 판단용 기준 값 이하면 현재 설정된 변환 값이 유지되도록 한다.

또한, 상기 캘리브레이션 자동 보정 모듈(440)은 산출된 차이 값이 기준 값 이상이면, 상기 차이 값과 기준 값 사이의 크기에 따라 캘리브레이션이 재수행되도록 하거나 또는 산출된 변환 값을 자동 보정 값으로 저장되도록 한다.

즉, 상기 캘리브레이션 자동 보정 모듈(440)은 산출된 차이 값이 재수행 판단용 기준 값 이상이면, 상기 차이 값과 재수행 판단용 기준 값 사이의 크기를 미리 설정된 자동 보정 판단용 기준 값과 비교하고, 상기 차이 값이 자동 보정 판단용 기준 값 이상이면 캘리브레이션을 재수행하도록 알람 신호를 출력하며, 상기 차이 값이 자동 보정 판단용 기준 값 이하면 산출된 변환 값을 자동 보정 값으로 저장되도록 한다.

또한, 상기 캘리브레이션 자동 보정 모듈(440)은 자동 보정 값을 저장하는 경우, 자동 보정을 위해 저장되는 보정 값의 일관성을 확인하기 위해 저장된 보정 값의 편차를 산출한다.

이를 위해, 상기 캘리브레이션 자동 보정 모듈(440)은 일정 수준의 데이터를 수집하도록 자동 보정 값과, 상기 자동 보정 값의 저장 횟수를 카운트하여 일정 값에 도달하면 저장된 자동 보정 값의 편차를 산출하고, 상기 산출된 편차 값을 미리 설정된 편차 판단용 기준 값과 비교한다.

또한, 상기 캘리브레이션 자동 보정 모듈(440)은 산출된 편차 값이 편차 판단용 기준 값 이하면, 현재 설정된 변환 값을 자동 보정하고, 상기 산출된 편차 값이 편차 판단용 기준 값 이상이면, 저장된 자동 보정 값들 간의 편차가 커서 자동 보정이 불가능한 것으로 판단하여 저장된 자동 보정 값을 모두 초기화한다.

다음은 본 발명의 일 실시 예에 따른 핸드 아이 캘리브레이션 방법을 설명한다.

도6은 본 발명의 일 실시 예에 따른 핸드 아이 캘리브레이션 방법을 설명하기 위한 흐름도이고, 도7은 도6의 실시 예에 따른 핸드 아이 캘리브레이션 방법의 자동 보정 및 업데이트 방법을 설명하기 위한 흐름도이다.

도3 내지 도7을 참조하면, 본 발명의 일 실시 예에 따른 핸드 아이 캘리브레이션 방법은 카메라(200)가 로봇 팔(300)에 부착된 일정 크기의 캘리브레이션 마커(100)를 촬영(S100)하면, 관리 단말(400)이 상기 촬영된 캘리브레이션 마커(100)의 이미지로부터 카메라 좌표계 기반의 캘리브레이션 마커(100) 위치 및 자세와, 상기 캘리브레이션 마커(100)의 이미지를 획득한 시점에서 로봇 좌표계 기반의 로봇 팔(300) 위치를 획득(S110 및 S120)한다.

상기 관리 단말(400)은 상기 캘리브레이션 마커(100)와 로봇 팔(300) 사이의 좌표계 변환 값, 즉, 최종 변환 값(최종 변환 매트릭스)을 산출(S130)한다.

계속해서, 상기 관리 단말(400)은 상기 S130 단계에서 산출된 좌표계 변환 값을 현재 설정된 캘리브레이션 마커(100)와 로봇 팔(300) 사이의 좌표계 변환 값(또는 초기 설정된 좌표계 변환 값) 사이의 차이 값을 산출하여 차이가 있는지 판단(S140)한다.

상기 S140 단계의 판단 결과, 차이가 있으면 산출된 차이 값을 미리 설정된 재수행 판단용 기준 값과 비교(S150)한다.

상기 S150 단계의 판단 결과, 산출된 차이 값이 없거나 또는 미리 설정된 재수행 판단용 기준 값 이하면, 상기 관리 단말(400)은 현재 설정된 변환 값을 유지한다.

한편, 상기 S150 단계에서 산출된 차이 값이 재수행 판단용 기준 값 이상이면, 상기 관리 단말(400)은 차이 값과 기준 값 사이의 크기를 미리 설정된 자동 보정 판단용 기준 값과 비교하되, 상기 차이 값이 자동 보정 판단용 기준 값 이상이면 사용자에게 로봇 운용 중단 및 캘리브레이션의 재수행 알람을 출력(S161)한다.

그러나, 상기 차이 값이 자동 보정 판단용 기준 값 이하면, 상기 관리 단말(400)은 산출된 변환 값을 자동 보정 값으로 저장하는 과정을 수행할 수 있다.

여기서, 자동 보정 값을 저장하는 경우, 관리 단말(400)은 자동 보정 값을 저장하는 큐에 저장된 자동 보정 값이 있는지 판단(S200)하고, 저장된 값이 있으면, 자동 보정 값을 저장한 다음 상기 자동 보정 값의 저장 횟수를 카운트하며, 일정 값에 도달하면 저장된 자동 보정 값의 편차를 산출(S210)한다.

상기 저장된 자동 보정 값을 확인하는 것은 기존 최종 변환 값(최종 변환 매트릭스)가 다양한 원인으로 인해 보정이 필요할 수 있다고 판단할 수 있기 때문이다.

계속해서, 관리 단말(400)은 산출된 편차 값을 미리 설정된 편차 판단용 기준 값과 비교(S220)한다.

상기 S220 단계의 비교 결과, 산출된 편차 값이 편차 판단용 기준 값 이하면, 현재 설정된 변환 값 또는 초기 변환 값을 자동 보정(S230)한다.

또한, 상기 S220 단계의 비교 결과, 산출된 편차 값이 편차 판단용 기준 값 이상이면, 저장된 자동 보정 값을 모두 제거하여 초기화(S240)한다.

따라서, 카메라를 통해 전달되는 정보를 이용하여 로봇 팔을 운용하는 시스템에서 핸드 아이 캘리브레이션을 위한 입력 정보를 실시간 획득하고, 이를 기초로 카메라와 로봇 시스템의 운용에 대한 유효성을 판단하여 카메라의 좌표 시스템과 로봇 팔의 좌표 시스템 간의 변환 관계를 보정 및 개선할 수 있다.

상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

또한, 본 발명의 특허청구범위에 기재된 도면번호는 설명의 명료성과 편의를 위해 기재한 것일 뿐 이에 한정되는 것은 아니며, 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.

또한, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

또한, 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다.

또한, 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.

100 : 캘리브레이션 마커
200 : 카메라
300 : 로봇 팔(Arm)
310 : 로봇
400 : 관리 단말
410 : 카메라 영상 획득 모듈
420 : 로봇 위치 자세 획득 모듈
430 : 핸드 아이 캘리브레이션 모듈
440 : 캘리브레이션 자동 보정 모듈

Claims

카메라(200)가 로봇 팔(300)에 부착된 캘리브레이션 마커(100)를 촬영하면,
관리 단말(400)이 상기 촬영된 캘리브레이션 마커(100)의 이미지로부터 카메라 좌표계 기반의 캘리브레이션 마커(100) 위치 및 자세와, 상기 캘리브레이션 마커(100)의 이미지를 획득한 시점에서 로봇 좌표계 기반의 로봇 팔(300) 위치를 획득하여 상기 캘리브레이션 마커(100)와 로봇 팔(300) 사이의 좌표계 변환 값을 산출하고,
상기 산출된 좌표계 변환 값을 현재 설정된 캘리브레이션 마커(100)와 로봇 팔(300) 사이의 좌표계 변환 값과 비교한 결과에 따라, 캘리브레이션의 재수행 여부를 출력하며,
상기 관리 단말(400)이 로봇 팔(300)의 운용 중에 상기 캘리브레이션 마커(100)에 의해 생성되는 카메라를 기준으로 하는 캘리브레이션 마커(100)의 위치 및 자세와, 로봇(310)을 기준으로 하는 로봇 팔의 TCP(Tool Center Point) 위치를 이용하여 획득한 변환 값과 현재 설정된 변환 값 간에 산출된 차이 값에 따라 캘리브레이션의 재수행에 대한 유효성을 결정하고,
상기 산출된 차이 값이 미리 설정된 재수행 판단용 기준 값과 동일하거나 또는 재수행 판단용 기준 값 이하면 현재 설정된 변환 값이 유지되도록 하고, 상기 산출된 차이 값이 기준 값 이상이면, 상기 차이 값과 기준 값 사이의 크기에 따라 캘리브레이션이 재수행되도록 하거나 또는 산출된 변환 값을 자동 보정 값으로 저장하되,
상기 자동 보정 값은 저장 횟수를 카운트하여 일정 값에 도달하면 저장된 자동 보정 값의 편차를 산출하고, 상기 산출된 편차 값을 미리 설정된 편차 판단용 기준 값과 비교하되,
상기 산출된 편차 값이 편차 판단용 기준 값 이하면, 현재 설정된 변환 값을 자동 보정하며, 상기 산출된 편차 값이 편차 판단용 기준 값 이상이면, 저장된 자동 보정 값을 모두 초기화하는 것을 특징으로 하는 핸드 아이 캘리브레이션 시스템.
제 1 항에 있어서,
상기 캘리브레이션 마커(100)와 로봇 팔(300) 사이의 좌표계 변환 값은 상기 로봇 팔(300)의 운용 중에 실시간으로 입력되는 캘리브레이션 마커(100)의 이미지에서 획득한 위치 및 자세와, 상기 캘리브레이션 마커(100)의 이미지를 획득한 시점에서 로봇 팔(300)의 위치 값을 이용하는 것을 특징으로 하는 핸드 아이 캘리브레이션 시스템.
제 1 항에 있어서,
상기 핸드 아이 캘리브레이션 시스템은 로봇 팔(300)에 부착된 일정 크기의 캘리브레이션 마커(100);
상기 캘리브레이션 마커(100)를 촬영하는 카메라(200);
상기 캘리브레이션 마커(100)와 함께 임의의 동작을 수행하는 로봇 팔(300); 및
상기 촬영된 캘리브레이션 마커(100)의 이미지로부터 카메라 좌표계 기반의 캘리브레이션 마커(100) 위치 및 자세와, 상기 캘리브레이션 마커(100)의 이미지를 획득한 시점에서 로봇 좌표계 기반의 로봇 팔(300) 위치를 획득하여 상기 캘리브레이션 마커(100)와 로봇 팔(300) 사이의 좌표계 변환 값을 산출하고, 상기 산출된 좌표계 변환 값을 현재 설정된 캘리브레이션 마커(100)와 로봇 팔(300) 사이의 좌표계 변환 값과 비교하며, 상기 비교 결과에 따라 캘리브레이션의 재수행 여부에 대한 결과를 출력하는 관리 단말(400);을 포함하는 것을 특징으로 하는 핸드 아이 캘리브레이션 시스템.
삭제
삭제
삭제
a) 카메라(200)가 로봇 팔(300)에 부착된 일정 크기의 캘리브레이션 마커(100)를 촬영하는 단계;
b) 관리 단말(400)이 상기 촬영된 캘리브레이션 마커(100)의 이미지로부터 카메라 좌표계 기반의 캘리브레이션 마커(100) 위치 및 자세와, 상기 캘리브레이션 마커(100)의 이미지를 획득한 시점에서 로봇 좌표계 기반의 로봇 팔(300) 위치를 획득하는 단계;
c) 상기 관리 단말(400)이 상기 캘리브레이션 마커(100)와 로봇 팔(300) 사이의 좌표계 변환 값을 산출하고, 상기 산출된 좌표계 변환 값을 현재 설정된 캘리브레이션 마커(100)와 로봇 팔(300) 사이의 좌표계 변환 값과 비교하는 단계; 및
d) 상기 관리 단말(400)이 산출된 좌표계 변환 값과 현재 설정된 좌표계 변환 값 사이의 차이 값을 산출하고, 상기 산출된 차이 값이 미리 설정된 재수행 판단용 기준 값 이상이면, 캘리브레이션의 재수행 알람을 출력하는 단계;를 포함하고,
상기 d) 단계는 d-1) 산출된 차이 값이 재수행 판단용 기준 값 이상이면, 상기 관리 단말(400)이 차이 값과 기준 값 사이의 크기를 미리 설정된 자동 보정 판단용 기준 값과 비교하되, 상기 차이 값이 자동 보정 판단용 기준 값 이상이면 캘리브레이션을 재수행하고, 상기 차이 값이 자동 보정 판단용 기준 값 이하면 산출된 변환 값을 자동 보정 값으로 저장하는 단계;
d-2) 상기 관리 단말(400)이 자동 보정 값의 저장 횟수를 카운트하여 일정 값에 도달하면 저장된 자동 보정 값의 편차를 산출하여 산출된 편차 값을 미리 설정된 편차 판단용 기준 값과 비교하되, 상기 산출된 편차 값이 편차 판단용 기준 값 이하면, 현재 설정된 변환 값을 자동 보정하고, 상기 산출된 편차 값이 편차 판단용 기준 값 이상이면, 저장된 자동 보정 값을 모두 초기화하는 단계;를 포함하는 것을 특징으로 하는 핸드 아이 캘리브레이션 방법.
제 7 항에 있어서,
상기 d) 단계는 산출된 차이 값이 없거나 또는 미리 설정된 재수행 판단용 기준 값 이하면, 상기 관리 단말(400)이 현재 설정된 변환 값을 유지하는 단계;를 더 포함하는 것을 특징으로 하는 핸드 아이 캘리브레이션 방법.
삭제
삭제