KR20190027584A - 카메라와 로봇 핸드의 캘리브레이션 방법 및 장치 - Google Patents

카메라와 로봇 핸드의 캘리브레이션 방법 및 장치 Download PDF

Info

Publication number
KR20190027584A
KR20190027584A KR1020170114545A KR20170114545A KR20190027584A KR 20190027584 A KR20190027584 A KR 20190027584A KR 1020170114545 A KR1020170114545 A KR 1020170114545A KR 20170114545 A KR20170114545 A KR 20170114545A KR 20190027584 A KR20190027584 A KR 20190027584A
Authority
KR
South Korea
Prior art keywords
camera
robot hand
coordinate system
posture
motion vector
Prior art date
Application number
KR1020170114545A
Other languages
English (en)
Other versions
KR101988937B1 (ko
Inventor
이석한
신인섭
Original Assignee
주식회사 인지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인지 filed Critical 주식회사 인지
Priority to KR1020170114545A priority Critical patent/KR101988937B1/ko
Publication of KR20190027584A publication Critical patent/KR20190027584A/ko
Application granted granted Critical
Publication of KR101988937B1 publication Critical patent/KR101988937B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control

Abstract

본 발명은 카메라와 로봇 핸드의 캘리브레이션 방법 및 장치에 관한 것으로, 로봇 핸드 및 상기 핸드 상에 부착된 카메라를 포함하는 장치가 상기 카메라와 로봇 핸드 간의 캘리브레이션을 수행하는 방법에 있어서, 입력된 자세정보에 따라 상기 로봇 핸드의 자세(pose)를 변환시키는 단계, 상기 자세정보가 이동 값만을 포함하는 경우, 상기 카메라와 로봇 핸드 간의 회전행렬(R)을 산출하고, 상기 자세정보가 회전 값만을 포함하는 경우 상기 카메라와 로봇 핸드 간의 이동벡터(t)를 산출하는 단계를 포함한다.

Description

카메라와 로봇 핸드의 캘리브레이션 방법 및 장치{METHOD AND APPARATUS FOR CALIBRATION OF A ROBOT HAND AND A CAMERA}
본 발명은 카메라와 로봇 핸드의 캘리브레이션 방법 및 장치에 관한 것으로, 더욱 상세하게는 회전 자세와 이동 자세를 이용하여 로봇 핸드와 로봇 핸드 상에 부착된 카메라 간의 캘리브레이션을 수행하는 카메라와 로봇 핸드의 캘리브레이션 방법 및 장치에 관한 것이다.
일반적으로, 전기적 또는 자기적인 작용을 이용하여 인간의 동작과 닮은 운동을 행하는 기계장치를 로봇이라고 한다. 초기의 로봇은 생산 현장에서의 작업 자동화ㆍ무인화 등을 목적으로 한 매니퓰레이터(manipulator)나 반송 로봇 등의 산업용 로봇으로 인간을 대신하여 위험한 작업이나 단순한 반복 작업, 큰 힘을 필요로 하는 작업을 수행하였으나, 최근에는 인간과 유사한 관절체계를 가지고 인간의 작업 및 생활공간에서 인간과 공존하며 다양한 서비스를 제공하는 인간형 로봇(humanoid robot)의 연구 개발이 활발하게 진행되고 있다.
이러한 인간형 로봇은 전기적ㆍ기계적 메카니즘에 의해서 팔이나 손의 동작에 가깝게 운동할 수 있도록 만들어진 매니퓰레이터를 이용하여 작업을 수행한다. 현재 사용되고 있는 대부분의 매니퓰레이터는 여러 개의 링크(link)들이 서로 연결되어 구성된다. 각 링크들의 연결 부위를 관절(joint)이라 하는데 매니퓰레이터는 이러한 링크와 관절들 사이의 기하학적인 관계에 따라 운동 특성이 결정된다. 이 기하학적인 관계를 수학적으로 표현한 것이 기구학(Kinematics)이며 대부분의 매니퓰레이터는 이러한 기구학적 특성(kinematics characteristic)을 가지고 작업을 수행하기 위한 방향(목표 위치)으로 로봇 핸드(예컨대, 엔드 이펙터)를 이동시킨다.
한편, 카메라를 부착한 로봇시스템의 보정은 크게 로봇 베이스와 로봇 핸드의 보정, 카메라의 보정, 로봇 베이스 또는 로봇 핸드와 카메라의 보정(hand/eye calibration)으로 분류된다.
산업 현장에서 사용 중인 로봇과 카메라의 보정방법은 일반적으로 티치팬던트(teach pendant)라고 불리는 별도의 조작기를 이용한다. 티치팬던트라고 불리는 별도의 조작기를 이용하여 알고 있는 대상의 위치에 로봇의 핸드를 교시하여 여러번의 반복과정을 통해서 카메라와 로봇의 핸드사이에 변환관계를 추정할 수 있다.
티치팬던트를 이용하는 경우에는 작업자에게 교시 메뉴 및 프로그래밍 언어에 대한 이해와 공간적인 감각, 로봇 시스템 및 기구학적 해석 능력등이 요구되어 작업자가 운용하기 위해서는 많은 시간이 소요되고 조작이 번거로운 문제가 발생한다.
또한 로봇의 핸드를 직접 교시하는 경우, 작업자는 로봇의 바로 옆이나 로봇의 인근에서 로봇의 핸드를 직접 교시하여야 하므로 로봇의 오작동에 따라 작업자의 안정상 문제가 발생할 수 있으며, 인간의 판단을 통한 교시 방법이므로 정밀도가 떨어질 수 있다.
그 외에도 카메라 자체의 캘리브레이션도 별도로 수행되어야 하는 과정이 존재하여 작업자가 카메라에 관한 사전지식 없이 카메라 내/외부 파라미터를 구하기에 어려움을 가지고 있어 상당한 불편함과 시간 소요가 있었으며, 관련 분야에서 카메라의 사용시 렌즈의 왜곡을 무시하는 경향이 일반적으로 제시되고 있어 이를 개선하는 방법이 요구된다.
이와 관련 선행기술로는 대한민국공개특허 제10-2014-0054927호(발명의 명칭: 로봇의 자동 캘리브레이션 방법)가 있다.
본 발명은 로봇 핸드의 이동자세와 회전자세를 이용하여 로봇 핸드에 부착된 카메라 자체의 캘리브레이션은 물론, 카메라와 로봇 핸드 사이의 캘리브레이션을 수행할 수 있는 카메라와 로봇 핸드와의 캘리브레이션 방법 및 장치를 제공하는데 목적이 있다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 카메라와 로봇 핸드의 캘리브레이션 방법은 로봇 핸드 및 상기 핸드 상에 부착된 카메라를 포함하는 장치가 상기 카메라와 로봇 핸드 간의 캘리브레이션을 수행하는 방법에 있어서, 입력된 자세정보에 따라 상기 로봇 핸드의 자세(pose)를 변환시키는 단계, 상기 자세정보가 이동 값만을 포함하는 경우, 상기 카메라와 로봇 핸드 간의 회전행렬(R)을 산출하고, 상기 자세정보가 회전 값만을 포함하는 경우 상기 카메라와 로봇 핸드 간의 이동벡터(t)를 산출하는 단계를 포함한다.
바람직하게는, 자세 변환 후의 카메라 좌표계로부터 자세 변환 전의 로봇 핸드 좌표계까지의 자세 변환 관계를 이용하여 카메라와 로봇 핸드 간의 자세 변환 관계 산출을 위한 관계식을 도출하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 자세 변환 관계는 회전행렬과 이동벡터를 포함할 수 있다.
바람직하게는, 상기 관계식은 아래 기재된 수학식일 수 있다.
[수학식]
Figure pat00001
여기서, Rc는 카메라의 회전행렬, tc는 카메라의 이동벡터, RE는 로봇 핸드의 회전행렬, tE는 로봇 핸드의 이동벡터, R은 카메라와 로봇 핸드 사이의 회전행렬, t는 카메라와 로봇 핸드 사이의 이동벡터일 수 있다.
바람직하게는, 상기 자세정보가 이동 값만을 포함하는 경우, 상기 카메라와 로봇 핸드 간의 회전 행렬(R)을 산출하는 단계는, 상기 카메라를 통해 사전에 좌표계가 설정된 보정블록을 촬영하고, 상기 촬영된 보정블록의 좌표계를 기준으로 제1 카메라 자세에서의 제1 카메라 좌표계와 제2 카메라 자세에서의 제2 카메라 좌표계를 각각 산출하는 단계, 상기 제1 카메라 좌표계와 제2 카메라 좌표계를 이용하여 카메라의 자세 변환 관계를 산출하고, 상기 자세 정보를 이용하여 상기 로봇 핸드의 자세 변환 관계를 산출하는 단계, 상기 카메라의 자세 변환 관계 및 로봇 핸드의 자세 변환 관계를 이용하여 상기 카메라와 로봇 핸드 사이의 회전행렬을 산출하는 단계를 포함할 수 있다.
바람직하게는, 상기 카메라의 회전행렬과 상기 로봇 핸드의 회전행렬은 I행렬이고, 상기 카메라와 로봇 핸드 사이의 회전행렬은 아래 기재된 수학식에 의사 역행렬(Pseudo Inverse)을 적용하여 산출할 수 있다.
[수학식]
Figure pat00002
여기서, tc는 카메라의 이동벡터, tE는 로봇 핸드의 이동벡터, R은 카메라와 로봇 핸드 사이의 회전행렬일 수 있다.
바람직하게는, 상기 자세정보가 회전 값만을 포함하는 경우 상기 카메라와 로봇 핸드 간의 이동벡터(t)를 산출하는 단계는, 상기 카메라를 통해 사전에 좌표계가 설정된 보정블록을 촬영하고, 상기 촬영된 보정블록의 좌표계를 기준으로 제1 카메라 자세에서의 제1 카메라 좌표계와 제2 카메라 자세에서의 제2 카메라 좌표계를 각각 산출하는 단계, 상기 제1 카메라 좌표계와 제2 카메라 좌표계를 이용하여 카메라의 자세 변환 관계를 산출하고, 상기 자세 정보를 이용하여 상기 로봇 핸드의 자세 변환 관계를 산출하는 단계, 상기 카메라의 자세 변환 관계 및 로봇 핸드의 자세 변환 관계를 이용하여 상기 카메라와 로봇 핸드 사이의 이동벡터를 산출하는 단계를 포함할 수 있다.
바람직하게는, 상기 로봇 핸드의 이동벡터(tE)는 '0'이고, 상기 카메라와 로봇 핸드 사이의 이동벡터(t)는 아래 기재된 수학식에 의사 역행렬(Pseudo Inverse)을 적용하여 산출할 수 있다.
[수학식]
Figure pat00003
여기서, Rc는 카메라의 회전행렬, tc는 카메라의 이동벡터, t는 카메라와 로봇 핸드 사이의 이동벡터일 수 있다.
바람직하게는, 상기 산출된 카메라와 로봇 핸드 사이의 자세 변환 관계를 이용하여 상기 카메라와 로봇 핸드 사이의 캘리브레이션을 수행하는 단계를 더 포할 수 있다.
본 발명의 다른 실시예에 따른 로봇 핸드 및 상기 로봇 핸드 상에 부착된 카메라의 캘리브레이션을 수행하는 장치에 있어서, 로봇 핸드의 자세정보를 입력받는 사용자 인터페이스부, 상기 자세정보에 따라 상기 로봇 핸드의 자세(pose)를 변환시키는 자세 제어부, 상기 로봇 핸드가 회전하지 않고 이동만 하는 경우 상기 카메라와 로봇 핸드 간의 회전 행렬(R)을 산출하고, 상기 로봇 핸드가 회전만 하는 경우 상기 카메라와 로봇 핸드 간의 이동벡터(t)를 산출하는 캘리브레이션 제어부를 포함할 수 있다.
바람직하게는, 상기 캘리브레이션 제어부는 상기 로봇 핸드가 회전하지 않고 이동만 하는 경우, 상기 카메라를 통해 사전에 좌표계가 설정된 보정블록을 촬영하고, 상기 촬영된 보정블록의 좌표계를 기준으로 제1 카메라 자세에서의 제1 카메라 좌표계와 제2 카메라 자세에서의 제2 카메라 좌표계를 각각 산출하며, 상기 제1 카메라 좌표계와 제2 카메라 좌표계를 이용하여 카메라의 자세 변환 관계를 산출하고, 상기 자세 정보를 이용하여 상기 로봇 핸드의 자세 변환 관계를 산출하며, 상기 카메라의 자세 변환 관계 및 로봇 핸드의 자세 변환 관계를 이용하여 상기 카메라와 로봇 핸드 사이의 회전행렬을 산출하되, 상기 카메라와 로봇 핸드 사이의 회전행렬은 아래 기재된 수학식에 의사 역행렬(Pseudo Inverse)을 적용하여 산출할 수 있다.
[수학식]
Figure pat00004
여기서, tc는 카메라의 이동벡터, tE는 로봇 핸드의 이동벡터, R은 카메라와 로봇 핸드 사이의 회전행렬일 수 있다.
바람직하게는, 상기 캘리브레이션 제어부는 상기 로봇 핸드가 회전만 하는 경우, 상기 카메라를 통해 사전에 좌표계가 설정된 보정블록을 촬영하고, 상기 촬영된 보정블록의 좌표계를 기준으로 제1 카메라 자세에서의 제1 카메라 좌표계와 제2 카메라 자세에서의 제2 카메라 좌표계를 각각 산출하며, 상기 제1 카메라 좌표계와 제2 카메라 좌표계를 이용하여 카메라의 자세 변환 관계를 산출하고, 상기 자세 정보를 이용하여 상기 로봇 핸드의 자세 변환 관계를 산출하며, 상기 카메라의 자세 변환 관계 및 로봇 핸드의 자세 변환 관계를 이용하여 상기 카메라와 로봇 핸드 사이의 이동벡터(t)를 산출하되, 상기 카메라와 로봇 핸드 사이의 이동벡터(t)는 아래 기재된 수학식에 의사 역행렬(Pseudo Inverse)을 적용하여 산출할 수 있다.
[수학식]
Figure pat00005
여기서, Rc는 카메라의 회전행렬, tc는 카메라의 이동벡터, t는 카메라와 로봇 핸드 사이의 이동벡터일 수 있다.
바람직하게는, 상기 장치에 상기 로봇 핸드 상에 부착된 첫번째 카메라 외에 두번째 카메라가 구비된 스테레오(Stereo) 기반의 3D 카메라가 구비된 경우, 상기 캘리브레이션 제어부는 상기 보정블록의 좌표계를 기준으로 상기 첫번째 카메라의 좌표계와 상기 두번째 카메라의 좌표계를 각각 산출하고, 상기 산출된 첫번째 카메라의 좌표계와 상기 두번째 카메라의 좌표계를 이용하여 첫번째 카메라와 두번째 카메라 간의 자세 변환 관계를 산출하며, 상기 산출된 두 카메라 간의 자세 변환 관계를 이용하여 3D카메라의 캘리브레이션을 수행할 수 있다.
바람직하게는, 상기 로봇 핸드 상에 부착된 카메라가 프로젝터(Projector)가 구비된 구조광(Structured Light) 기반의 3D 카메라인 경우, 상기 캘리브레이션 제어부는 상기 보정블록의 좌표계를 기준으로 상기 카메라의 좌표계와 상기 프로젝터의 좌표계를 각각 산출하고, 상기 산출된 카메라의 좌표계와 상기 프로젝터의 좌표계를 이용하여 카메라와 프로젝터 간의 자세 변환 관계를 산출하며, 상기 산출된 카메라와 프로젝터 간의 자세 변환 관계를 이용하여 3D 카메라의 캘리브레이션을 수행할 수 있다.
본 발명에 따르면, 로봇 핸드의 이동자세와 회전자세를 이용하여 로봇 핸드에 부착된 카메라 자체의 캘리브레이션은 물론, 카메라와 로봇 핸드 사이의 캘리브레이션을 수행할 수 있다.
또한, 본 발명에 따르면, 3차원 카메라와 로봇 핸드 사이의 보다 정확한 위치 관계를 획득할 수 있고, 3차원 카메라 자체의 캘리브레이션 단계가 간소화되므로 자동화 시스템의 로봇 매니퓰레이터 생산 및 설치가 보다 쉽고 정확해지며, 이로 인해 공장 자동화 시스템이 보다 활성화되는 효과가 있다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명의 일 실시예에 따른 카메라와 매니퓰레이터 엔드 이펙터의 캘리브레이션을 수행하는 로봇을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 카메라와 엔드 이펙터의 캘리브레이션을 위한 제어장치의 구성을 나타낸 블록도이다.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 카메라와 엔드 이펙터 사이의 자세 변환 관계를 산출하기 위한 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 카메라와 엔드 이펙터의 캘리브레이션을 위한 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 카메라와 엔드 이펙터 간의 회전행렬을 산출하는 방법을 나타낸 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 카메라와 엔드 이펙터 간의 이동벡터를 산출하는 방법을 나타낸 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 로봇 핸드는 엔드 이펙터, 그리퍼 등을 포함하는 용어로, 이하에서는 설명의 편의를 위해 엔드 이펙터로 한정하여 설명하기로 한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 카메라와 매니퓰레이터 엔드 이펙터 간의 캘리브레이션을 수행하는 로봇을 설명하기 위한 도면이다.
도 1을 참조하면, 카메라와 매니퓰레이터 간의 캘리브레이션을 수행하는 로봇(100)은 제1 매니퓰레이터(111), 제1 매니퓰레이터(111)을 연결하는 제1 연결부(110), 제1 매니퓰레이터(111)에 제2 연결부(121)을 통하여 연결된 제2 매니퓰레이터(122), 제2 매니퓰레이터(122)의 말단에 연결된 엔드 이펙터(123), 제2 매니퓰레이터(122)의 일측 상단에 결합된 카메라(120) 및 제어장치(미도시)를 포함한다. 로봇(100)은 제1 연결부(110), 제2 연결부(121)가 제어장치의 제어에 따라 회전운동을 하여 3차원 적인 운동을 할 수 있다. 또한, 제2 매니퓰레이터(122)는 회전부(124)를 포함하여 엔드 이펙터(123) 및 카메라(120)가 일체로 회전할 수 있게 한다.
앤드 이펙터(123)는 로봇이 작업을 할 때 작업 대상에 직접 작용하는 기능을 가진 부분(예 : 그리퍼, 용접 토치, 스프레이건, 너트 러너 등)을 말하는 것으로, 로봇 핸드에 해당될 수 있다.
카메라(120)는 로봇의 작동을 위하여 필요한 영상을 취득한다. 카메라(120)가 취득하는 월드 좌표계의 물체는 2차원 평면일 수 있고, 3차원 입체 물체일 수도 있다. 다른 실시 예에서, 카메라(120)는 엔드 이펙터(123)에 부착되어 있을 수 있다. 다른 실시 예에서, 회전부(124)는 제2 매니퓰레이터(122)와 엔드 이펙터(123)의 결합부에 생성되고, 카메라는 엔드 이펙터(123)에 부착되어 제2 매니퓰레이터(121)의 회전 없이 엔드 이펙터(123)와 카메라(120)만 회전할 수도 있다.
본 실시예에 따른 카메라(120)는 예컨대, 3차원 카메라일 수 있다.
제어장치(미도시)는 카메라(120)를 통해 취득된 영상을 사용하여 제1 연결부(120), 제2 연결부(121)를 제어함으로써 엔드 이펙터(123)를 원하는 위치에 이동시키고, 엔드 이펙터(123)를 작동시킴으로써 로봇의 작동을 제어한다.
또한, 제어장치는 엔드 이펙터(123)와 카메라(120)의 자세가 변환되면, 기 설정된 보정블록을 기준으로 각 자세에서의 카메라 좌표계를 각각 산출한다. 그런 후, 제어장치는 카메라 좌표계와 엔드 이펙터 좌표계를 이용하여 카메라(120)의 자세 변환 관계 및 엔드 이펙터(123)의 자세 변환 관계를 산출하며, 산출된 카메라(120)의 자세 변환 관계 및 엔드 이펙터(123)의 자세 변환 관계를 이용하여 카메라(120)와 엔드 이펙터(123) 사이의 자세 변환 관계를 산출한다. 이러한 제어장치는 로봇의 내부 또는 외부에 존재할 수 있다.
제어장치에 대한 상세한 설명은 도 2를 참조하기로 한다.
한편, 매니퓰레이터(111, 122), 엔드 이펙터(123), 카메라(120)는 제어장치와 I/O 버스, USB, RS 232c 등과 같은 유선 통신 수단 또는, IR 적외선 통신, 블루투스(Bluetooth), 지그비(ZigBee), RFID(Radio Frequency Identification) 등의 무선 통신 수단에 의해 연결되어 유선 통신 또는 무선 통신으로 정보를 송수신할 수 있도록 되어 있다.
보정블록(200)은 카메라(220)의 촬영 대상이 되고, 보정블록(200)의 위치정보(보정블록 좌표계)는 미리 설정되며, 로봇(100)의 캘리브레이션 작업을 수행함에 있어 보정블록(200)의 위치정보(보정블록 좌표계)는 카메라 좌표계 산출 시 기준으로 이용된다. 이처럼 보정블록(200)은 카메라 좌표계 산출 시 기준으로 이용되는 것으로, 예컨대, 보정블록(200)은 외면이 복수개의 평면을 갖는 블록, 3차원의 입체 물체 등 기준 좌표계를 제공할 수 있는 다양한 형태로 형성될 수 있다.
이하에서는 설명의 편의를 위해 보정블록(200)이 복수 개의 평면을 갖도록 형성된 경우에 대해 설명하기로 한다.
보정블록(200)은 복수 개의 평면을 갖도록 형성되며, 즉, 각 하나의 면과 면이 접하는 부분에 일정 각도가 형성될 수 있고, 하나의 면에는 특정 패턴이 인쇄된다. 이때, 패턴에는 복수개의 평면 중 각 면을 다르게 인식하여 식별할 수 있도록 표식부가 표시되고, 패턴은 예컨대, 체스 보드 패턴 등의 형태일 수 있다. 이러한 표식부는 각각의 평면을 구분하여 식별하기 위한 것으로, 임의로 설정한 표식일 수 있으며, 숫자, 바코드 및 포인트 중 어느 하나가 선택되어 표시되는 것이 바람직하다.
즉, 보정블록(200)은 복수개의 다중평면에 있어 각 하나의 평면에는 특정 패턴이 인쇄되고, 이와 더불어 패턴 내에 임의로 설정한 표식부가 포함되도록 형성되게 되는 것이다. 즉, 어느 한 방향에서 보정블록을 촬영했을 때 2개 이상의 면이 확인되어 촬영가능하도록 다중평면을 갖도록 형성된다.
한편, 보정블록(120)의 각 면에 표시된 패턴 및 표식부의 정보를 토대로 사전에 보정블록(200)의 각면에 대한 3차원 위치 좌표값(좌표계)을 설정하는 것이 선행된다.
따라서, 로봇(100)의 캘리브레이션 작업을 수행함에 있어 보정블록(200)의 위치좌표, 즉, 보정블록(200)의 각 면의 위치에 대한 3차원 좌표값(위치 및 코너점)은 사전에 설정될 수 있고, 이러한 보정블록(200)의 위치 정보는 캘리브레이션 작업 시 카메라(120)의 위치정보 계산 시 좌표계 기준으로 이용된다.
한편, 본 발명의 일 실시 예에서 카메라의 캘리브레이션 및 카메라와 엔드 이펙터간의 캘리브레이션을 수행하기 위해 보정블록으로 2차원 평면인 체스보드 판을 사용하였으나, 본 발명의 다른 실시 예에서는 3차원의 입체 물체를 사용하여 캘리브레이션을 수행할 수 있다. 더불어, 카메라 자체의 캘리브레이션은 핸드/아이 자가보정의 수행 과정에서 획득하는 영상을 이용하여 카메라 캘리브레이션을 수행할 수 있다.
도 2는 본 발명의 실시예에 따른 카메라와 엔드 이펙터의 캘리브레이션을 위한 제어장치의 구성을 나타낸 블록도, 도 3 내지 도 7은 본 발명의 실시예에 따른 카메라와 엔드 이펙터 사이의 자세 변환 관계를 산출하기 위한 방법을 설명하기 위한 도면이다.
도 2를 참조하면, 카메라와 엔드 이펙터의 캘리브레이션을 위한 제어장치(150)는 사용자 인터페이스부(152), 자세 제어부(154), 캘리브레이션 제어부(156)를 포함한다.
사용자 인터페이스부(152)는 매니퓰레이터 및 앤드 이펙터 조작을 위한 자세정보를 포함하는 작업명령을 입력받아 자세 제어부(154)에 제공한다. 이때, 사용자 인터페이스부(152)는 매니퓰레이터 특히, 엔드 이펙터에서 수행하기 위한 작업 명령을 사용자가 스위치 조작이나 음성 등을 통해 입력받는다. 또한, 사용자 인터페이스부(152)는 작업명령을 유선 또는 무선 통신을 통해 수신받을 수 있다.
자세 제어부(154)는 사용자 인터페이스부(152)로부터 전달받은 작업 명령에 따라 로봇 구동부를 제어하여 매니퓰레이터를 구동시킴으로서 매니퓰레이터의 선단에 마련된 엔드 이펙터의 자세를 제어한다. 이때, 엔드 이펙터는 작업 명령에 따라 회전 또는 병진 운동할 수 있다.
캘리브레이션 제어부(156)는 기준 자세와 다수의 이동 자세만을 이용하여 3차원 카메라와 로봇 매니퓰레이터 사이의 회전 관계를 획득하고, 기준 자세와 다수의 회전 자세만을 이용하여 3차원 카메라와 로봇 매니퓰레이터 사이의 이동 관계를 획득한다.
즉, 캘리브레이션 제어부(156)는 자세정보를 포함하는 작업명령이 입력되어, 매니퓰레이터의 앤드 이펙터 및 앤드 이펙터 상에 설치된 카메라의 자세(pose)가 변환되면, 자세정보에 기초하여 앤드 이펙터의 자세변환관계와 카메라의 자세 변환 관계를 각각 산출한다. 그런 후, 캘리브레이션 제어부(156)는 앤드 이펙터의 자세 변환 관계 및 카메라의 자세 변환 관계를 이용하여 카메라와 앤드 이펙터 간의 자세 변환 관계를 산출한다. 즉, 캘리브레이션 제어부(156)는 도 3에 도시된 카메라 좌표계(
Figure pat00006
)로부터 엔드 이펙터 좌표계(
Figure pat00007
) 간의 자세 변환 관계(
Figure pat00008
)를 산출할 수 있다.
이하, 캘리브레이션 제어부(156)가 카메라와 엔드 이펙터 사이의 자세 변환 관계를 산출하는 방법에 대해 상세히 설명하기로 한다.
앤드 이펙터의 자세가 도 4에 도시된 바와 같이 제1 엔드이펙터 자세(
Figure pat00009
)에서 제2 엔드 이펙터 자세(
Figure pat00010
)로 변환되면, 매니큘레이터 상에 설치된 카메라의 자세 또한 제1 카메라 자세(
Figure pat00011
)에서 제2 카메라 자세(
Figure pat00012
)로 변하게 된다.
그러면, 캘리브레이션 제어부(156)는 기설정된 보정블록 좌표계(Oobject)를 기준으로 제1 카메라 자세에서의 제1 카메라 좌표계(
Figure pat00013
), 제2 카메라 자세에서의 제2 카메라 좌표계(
Figure pat00014
)를 각각 산출할 수 있다. 즉, 캘리브레이션 제어부(156)는 카메라를 통해 촬영된 보정블록의 영상을 인식하여 보정블록에 표시된 패턴 및 표식부를 확인하고, 기설정된 보정블록 좌표계(위치정보)를 기준으로 제1 카메라 좌표계(
Figure pat00015
)와 제2 카메라 좌표계(
Figure pat00016
)를 산출할 수 있다.
보정블록 좌표계로부터 카메라 좌표계를 산출하는 방법에 대해 도 5를 참조하여 설명하기로 한다. 도 5를 참조하면, 보정블록 위의 한 점 P의 좌표(X, Y, Z)와 이 점이 카메라 이미지 센서에 투사(projection)된 한 점 p의 좌표 u, v,를 이용하여 프로젝션 행렬(P)을 구할 수 있다. 여기서, 프로젝션 행렬은 2D화면에 투영되는 3D 공간을 나타내는 매트릭스일 수 있다.
도 5의 관계를 수학식으로 표현하면, 아래 기재된 수학식 1과 같을 수 있다.
Figure pat00017
여기서, λ는 스케일팩터일 수 있다.
수학식 1을 정리하면, 수학식 2와 같다.
Figure pat00018
수학식 2에서 λ식을 다른 식에 대입하면, 수학식 3과 같이 정리된다.
Figure pat00019
수학식 3을 프로젝션 행렬(P)을 구하기 위해 정리하면, 수학식 4와 같다.
Figure pat00020
수학식 4를 이용하면, 프로젝션 행렬(P)을 구할 수 있다.
한편, 프로젝션 행렬(P)를 분해하면, 아래 기재된 수학식 5와 같이 내부 인자에 의한 내부 인자 행렬과 외부 인자에 의한 외부 인자 행렬을 얻을 수 있다.
Figure pat00021
내부인자(intrinsic parameters)는 영상중심의 위치, CCD/CMOS센서면과 영상면 사이의 스케일 표현값, 카메라의 초점거리와 주점 등을 가지고 있으며, 외부인자는 카메라 좌표계와 월드 좌표계 사이의 변환 관계를 설명하는 파라미터로, 두 좌표계 사이의 회전(rotation) 및 병진(translation) 변환으로 표현된다. 여기서, 외부인자는 R과 t 값으로 표현되고, R, t 값은 물체축과 카메라 축과의 변환관계를 나타내는 값으로 R은 회전 변환 변위이며, t는 병진 변환 변위값일 수 있다.
한편, 카메라 캘리브레이션(Camera calibration)은 5개의 내부인자(초점거리(focal length)로 fx, fy값, 주점(principal point)으로 cx, cy값 및 비대칭 계수)와 6개의 외부인자를 카메라 보정블록(카메라 보정도구)을 사용하여 계산하는 것이다. 이러한 카메라변수들은 3차원 계측을 위한 기하학적 관계를 계산하는데 필요하며, 캘리브레이션 인수들의 오차는 3차원 계측지수의 정밀도에 큰 영향을 미치게 된다.
외부인자가 두 좌표계 사이의 회전(rotation) 및 병진(translation) 변환을 표현하는 것이므로, 캘리브레이션 제어부(156)는 월드 좌표계를 카메라 좌표계로 변환시키기 위한 회전행렬(R)과 이동벡터(t)를 구할 수 있다.
상술한 바와 같이, 캘리브레이션 제어부는 프로젝션 행렬(P)로부터 제1 카메라 좌표계 및 제2 카메라 좌표계를 산출할 수 있다.
캘리브레이션 제어부(156)는 제1 카메라 좌표계와 제2 카메라 좌표계가 산출되면, 제1 카메라 좌표계와 제2 카메라 좌표계를 이용하여 제1 카메라 자세에서 제2 카메라 자세까지의 자세 변환 관계를 산출할 수 있다.
다시 도 4를 참조하면, 캘리브레이션 제어부(156)는 점선으로 표시된 바와 같이 제1 카메라 자세에서 보정블록까지의 카메라 좌표계(
Figure pat00022
)와 보정블록으로부터 제2 카메라 자세까지의 카메라 좌표계(
Figure pat00023
)를 연산하여 제1 카메라 좌표계에서 제2 카메라 좌표계의 자세변환관계(
Figure pat00024
)를 산출할 수 있다. 즉, 카메라의 자세변환관계(
Figure pat00025
)는 아래 기재된 수학식 6을 이용하여 산출할 수 있다.
Figure pat00026
엔드 이펙터의 자세 변환 관계(
Figure pat00027
)는 사용자가 입력한 자세정보에 따라 엔드 이펙터가 제1 엔드 이펙터 자세에서 제2 엔드 이펙터 자세로 이동시켜 얻어낸 변환 관계로, 사용자가 엔드 이펙터를 병진 및 회전 운동시킨 것이므로 알고 있는 관계이다.
상술한 바와 같이 카메라의 자세변환관계와 엔드 이펙터의 자세변환관계가 산출되면, 카메라는 카메라의 자세변환관계와 엔드 이펙터의 자세변환관계를 이용하여 카메라와 엔드 이펙터간의 자세변환관계를 산출할 수 있다.
캘리브레이션 제어부(156)가 카메라와 엔드 이펙터 간의 자세 변환 관계를 산출하는 방법을 설명하기 위해 도 6을 참조하기로 한다. 도 6을 참조하면, 제1 카메라 좌표계에서 제1 엔드 이펙터 좌표계의 자세 변환 관계(
Figure pat00028
)와 제2 카메라 좌표계에서 제2 엔드 이펙터 좌표계의 자세변환관계(
Figure pat00029
)는 카메라와 엔드 이펙터 간의 자세 변환 관계(
Figure pat00030
)로 동일함을 알 수 있다. 따라서, 캘리브레이션 제어부(156)는 카메라와 엔드 이펙터 간의 자세 변환 관계를 산출하기 위해, 카메라의 자세 변환 관계와 엔드 이펙터의 자세 변환 관계를 이용할 수 있다.
한편, 자세 변환 후의 제2 카메라 자세(
Figure pat00031
)에서부터 자세 변환 전의 제1 엔드 이펙터 자세(
Figure pat00032
)까지의 자세 변환 관계(
Figure pat00033
)는 도 7에 도시된 점선 화살표와 같이 벡터 합에 의해 산출할 수 있다. 따라서, 제2 카메라 자세(
Figure pat00034
)에서부터 제1 엔드 이펙터 자세(
Figure pat00035
)까지의 자세 변환 관계(
Figure pat00036
)는 아래 기재된 수학식 7이 성립한다.
Figure pat00037
즉, 자세 변환 후의 제2 카메라 자세(
Figure pat00038
)에서부터 자세 변환 전의 제1 엔드 이펙터 자세(
Figure pat00039
)까지의 자세 변환 관계(
Figure pat00040
)는 제2 카메라 좌표계에서 제1 카메라 좌표계까지의 자세 변환 관계(
Figure pat00041
), 카메라와 엔드 이펙터 간의 자세변환관계(
Figure pat00042
)를 이용하여 산출할 수 있다. 또한, 자세 변환 후의 제2 카메라 자세(
Figure pat00043
)에서부터 자세 변환 전의 제1 엔드 이펙터 자세(
Figure pat00044
)까지의 자세 변환 관계(
Figure pat00045
)는 제2 엔드 이펙터 좌표계에서 제1 엔드 이펙터 좌표계까지의 자세 변환 관계(
Figure pat00046
), 카메라와 엔드 이펙터 간의 자세변환관계(
Figure pat00047
)를 이용하여 산출할 수 있다.
한편, 자세 변환 관계를 나타내는 행렬 T는 회전행렬(
Figure pat00048
)과 이동벡터(
Figure pat00049
)를 이용하여 아래 기재된 수학식 8과 같이 나타낼 수 있다.
Figure pat00050
수학식 7의 자세 변환 관계를 나타내는 행렬(T)로 정리하면, 아래 기재된 수학식 9와 같다.
여기서, Rc는 카메라 회전행렬, tc는 카메라 이동 벡터, RE는 엔드 이펙터 회전행렬, tE는 엔드 이펙터 이동 벡터, R은 카메라-엔드 이펙터간의 회전행렬, t는 카메라-엔드 이펙터간의 이동벡터를 의미할 수 있다. 카메라 회전행렬(Rc)은 제1 카메라 좌표계와 제2 카메라 좌표계 간의 회전 변환 관계를 나타내는 행렬이고, 카메라 이동벡터(tc)는 제1 카메라 좌표계와 제2 카메라 좌표계 간의 병진 변환 관계를 나타는 벡터일 수 있다. 엔드 이펙터 회전행렬(RE)은 제1 엔드 이펙터 좌표계와 제2 엔드 이펙터 좌표계 간의 회전 변환 관계를 나타내는 행렬이고, 엔드 이펙터 이동벡터(tE )는 제1 엔드 이펙터 좌표계와 제2 엔드 이펙터 좌표계 간의 병진 변환 관계를 나타내는 벡터를 의미할 수 있다. 카메라와 엔드 이펙터간 회전행렬(R)은 카메라 좌표계와 엔드 이펙터 좌표계 사이의 회전 변환 관계를 나타내는 행렬이고, 카메라와 엔드 이펙터 간 이동벡터(t)는 카메라 좌표계와 엔드 이펙터 좌표계 사이의 병진 변환 관계를 나타내는 벡터를 의미할 수 있다.
수학식 9를 정리하면, 아래 기재된 수학식 10과 같다.
Figure pat00052
여기서, Rc는 카메라의 회전행렬, tc는 카메라의 이동벡터, tE는 엔드 이펙터의 이동벡터, R은 카메라와 엔드 이펙터 간의 회전행렬, t는 카메라와 엔드 이펙터간의 이동벡터를 의미한다.
수학식 10에서 카메라 회전행렬(Rc), 카메라 이동벡터(tc), 엔드 이펙터 회전행렬(RE), 엔드 이펙터 이동벡터(tE)는 알고 있으므로, 카메라와 앤드 이펙터 사이의 자세 변환 관계를 산출하기 위해서는 카메라와 엔드 이펙터 간의 회전행렬(R)과 카메라와 엔드 이펙터 간의 이동벡터(t)를 산출해야 한다. 여기서, 카메라 회전행렬(Rc), 카메라 이동벡터(tc)는 카메라의 자세 변환 관계에서 알 수 있고, 엔드 이펙터 회전행렬(RE), 엔드 이펙터 이동벡터(tE)는 엔드 이펙터의 자세 변환 관계에서 알 수 있다.
카메라와 엔드 이펙터 간의 회전 행렬(R)은 엔드 이펙터가 회전하지 않고 이동만하는 경우에 산출할 수 있고, 카메라와 엔드 이펙터 간의 이동벡터(t)는 엔드 이펙터가 회전만 하는 경우에 산출할 수 있다.
먼저, 카메라와 엔드 이펙터 간의 회전 행렬(R)을 산출하는 방법에 대해 설명하기로 한다.
엔드 이펙터의 자세 변환에 있어서 회전이 없는 이동 값만을 포함하는 자세정보가 입력되면, 엔드 이펙터와 카메라는 이동 값만큼 이동하게 된다. 이때, 엔드 이펙터와 카메라는 회전하지 않으므로, 앤드 이펙터의 회전행렬과 카메라의 회전행렬은 아래 수학식 11과 같이 치환될 수 있다.
Figure pat00053
수학식 11을 수학식 10에 적용하면, 수학식 10은 아래 기재된 수학식 12와 같이 간소화될 수 있다.
Figure pat00054
회전행렬(R)은 3x3의 행렬이므로, 수학식 12에 의사 역행렬(Pseudo Inverse)을 적용하여 아래의 수학식 13으로 변환할 수 있다.
Figure pat00055
수학식 13에서 xE, yE, zE를 포함하는 엔드 이펙터 이동벡터(tE), xc, yc, zc를 포함하는 카메라 이동벡터(tc)는 알고 있으므로, 회전행렬(R)의 각각의 Element(
Figure pat00056
)들을 산출할 수 있다.
다음으로 카메라와 엔드 이펙터 간의 이동벡터(t)를 산출하는 방법에 대해 설명하기로 한다.
엔드 이펙터의 자세 변환에 있어서 회전 값만을 포함하는 자세정보가 입력되면, 엔드 이펙터와 카메라는 회전 값만큼 회전하게 된다. 이때, 엔드 이펙터는 이동하지 않고 회전만 하게 되고, 카메라는 회전과 이동을 하게 된다. 엔드 이펙터는 이동하지 않으므로, 엔드 이펙터의 이동벡터(tE)는 '0'(
Figure pat00057
)일 수 있다.
따라서, 수학식 10은 아래 기재된 수학식 14와 같이 간소화될 수 있다.
Figure pat00058
수학식 14를 행렬로 표현하면, 아래 기재된 수학식 15와 같다.
Figure pat00059
수학식 15에 Pseudo Inverse를 적용하면, 카메라와 엔드 이펙터 간의 이동벡터(t)를 산출할 수 있다.
캘리브레이션 제어부(156)는 카메라와 엔드 이펙터 간의 회전행렬과 이동벡터를 이용하여 카메라 자체의 캘리브레이션은 물론, 카메라와 엔드 이펙터 간의 캘리브레이션을 자동으로 수행할 수 있다.
한편, 본 발명의 일 실시예에서 로봇에 부착된 하나의 카메라를 이용하여 캘리브레이션을 수행하는 경우에 대해 설명하였으나, 본 발명의 다른 실시예에서 Stereo 또는 Structured Light 기반의 3D 카메라를 3D 카메라 자체의 캘리브레이션을 수행할 수도 있다. 즉, Stereo 또는 Structured Light 기반의 3D 카메라를 이용하는 경우, 보정블록을 기준으로 제1 카메라 좌표계(또는 제2 카메라 좌표계)를 산출하는 방법과 동일한 방법으로 두번째 카메라 또는 프로젝터의 좌표계를 각각 산출할 수 있고, 이를 이용하여 첫번째 카메라와 두번째 카메라간의 자세변환관계(
Figure pat00060
) 또는 카메라와 프로젝터 간의 자세 변환 관계(
Figure pat00061
)를 함께 산출할 있으며, 이를 통해 카메라 자체의 캘리브레이션을 수행할 수 있다.
예를 들면, 로봇 핸드 상에 부착된 첫번째 카메라 외에 두번째 카메라가 구비된 Stereo 카메라를 이용하는 경우, 캘리브레이션 제어부(156)은 보정블록을 기준으로 첫번째 카메라의 좌표계(
Figure pat00062
)와 두번째 카메라의 좌표계(
Figure pat00063
)를 각각 산출할 수 있다. 첫번째 카메라의 좌표계(
Figure pat00064
)와 두번째 카메라의 좌표계(
Figure pat00065
)를가 산출되면, 캘리브레이션 제어부(156)은 첫번째 카메라의 좌표계(
Figure pat00066
)와 두번째 카메라의 좌표계(
Figure pat00067
)를 이용하여 첫번째 카메라와 두번째 카메라 간의 자세 변환 관계(
Figure pat00068
)를 산출할 수 있고, 이를 이용하여 카메라 자체의 캘리브레이션을 수행할 수 있다.
또한, 로봇 핸드 상에 부착된 카메라와 프로젝터가 구비된 Structured Light 기반의 3D 카메라를 이용하는 경우, 캘리브레이션 제어부(156)는 보정블록을 기준으로 카메라의 좌표계와 프로젝터 좌표계(
Figure pat00069
)를 각각 산출할 수 있다. 카메라의 좌표계와 프로젝터 좌표계(
Figure pat00070
)가 산출되면, 캘리브레이션 제어부(156)은 카메라의 좌표계와 제 프로젝터 좌표계(
Figure pat00071
)를 이용하여 카메라와 프로젝터 간의 자세 변환 관계(
Figure pat00072
)를 산출할 수 있고, 이를 이용하여 카메라 자체의 캘리브레이션을 수행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 카메라 로봇 매니퓰레이터의 캘리브레이션을 위한 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 앤드 이펙터의 자세정보가 입력되면(S810), 자세 정보에 따라 엔드 이펙터 및 카메라의 자세(pose)가 변환된다(S820). 즉, 자세 정보에 따라 엔드 이펙터가 제1 엔드 이펙터 자세에서 제2 엔드 이펙터 자세로 변환되면, 엔드 이펙터 위에 설치된 카메라도 제1 카메라 자세에서 제2 카메라 자세로 변환된다. 여기서, 제1 엔드 이펙터 자세 및 제1 카메라 자세는 자세 변환 전을 의미하고, 제2 엔드 이펙터 자세 및 제2 카메라 자세는 자세 변환 후를 의미할 수 있다.
단계 S820이 수행되면, 제어장치는 제어정보가 이동 값만을 포함하는 경우, 카메라와 엔드 이펙터 간의 회전 행렬(R)을 산출하고(S830), 제어정보가 회전 값만을 포함하는 경우 카메라와 엔드 이펙터 간의 이동벡터(t)를 산출한다(S840).
카메라와 엔드 이펙터 간의 회전행렬을 산출하는 방법에 대해 도 9를 참조하고, 카메라와 엔드 이펙터 간의 이동벡터를 산출하는 방법에 대해 도 10을 참조하기로 한다.
단계 S840이 수행되면, 제어장치는 회전행렬과 이동벡터로 이루어진 카메라와 엔드 이펙터 간의 자세 변환 관계를 산출한다(S850).
제어장치는 카메라와 엔드 이펙터 간의 회전행렬과 이동벡터를 산출함으로써, 엔드 이펙터와 카메라 간의 캘리브레이션을 수행할 수 있다.
도 9는 본 발명의 일 실시예에 따른 카메라와 엔드 이펙터 간의 회전행렬을 산출하는 방법을 나타낸 흐름도이다.
도 9를 참조하면, 제어장치는 이동 값만을 포함하는 자세정보가 입력되면(S910), 기 설정된 보정블록을 기준으로 제1 카메라 자세에서의 제1 카메라 좌표계(
Figure pat00073
), 제2 카메라 자세에서의 제2 카메라 좌표계(
Figure pat00074
)를 산출한다(S920).
단계 S920이 수행되면, 제어장치는 제1 카메라 좌표계와 제2 카메라 좌표계를 이용하여 카메라의 자세 변환 관계를 산출한다(S930).
엔드 이펙터의 자세변환관계는 작업자가 로봇의 엔드 이펙터를 제1 엔드 이펙터 자세에서 제2 엔드 이펙터 자세로 변환하도록 입력하였으므로, 미리 알고 있는 관계이다.
자세정보가 이동 값만을 포함하면, 엔드 이펙터와 카메라는 회전하지 않으므로, 엔드 이펙터와 카메라의 회전행렬은 I일 수 있다. 따라서, 카메라의 자세 변환 관계는 카메라의 이동벡터만을 포함하고, 엔드 이펙터의 자세 변환 관계는 엔드 이펙터의 이동벡터만을 포함할 수 있다.
단계 S930이 수행되면, 제어장치는 카메라의 자세 변환 관계 및 앤드 이펙터의 자세 변환 관계를 이용하여 카메라와 앤드 이펙터 사이의 회전행렬을 산출한다(S940). 즉, 카메라의 자세 변환 관계는 카메라의 이동벡터만을 포함하고, 엔드 이펙터의 자세 변환 관계는 엔드 이펙터의 이동벡터만을 포함하므로, 제어장치는 전술한 수학식 12를 이용하여 카메라와 엔드 이펙터 사이의 회전행렬을 산출할 수 있다.
도 10은 본 발명의 일 실시예에 따른 카메라와 엔드 이펙터 간의 이동벡터를 산출하는 방법을 나타낸 흐름도이다.
도 10을 참조하면, 제어장치는 회전 값만을 포함하는 자세정보가 입력되면(S1010), 기 설정된 보정블록을 기준으로 제1 카메라 자세에서의 제1 카메라 좌표계(
Figure pat00075
), 제2 카메라 자세에서의 제2 카메라 좌표계를 산출한다(S1020).
단계 S1020이 수행되면, 제어장치는 제1 카메라 좌표계와 제2 카메라 좌표계를 이용하여 카메라의 자세 변환 관계를 산출한다(S1030).
엔드 이펙터의 자세변환관계는 작업자가 로봇의 엔드 이펙터를 제1 엔드 이펙터 자세에서 제2 엔드 이펙터 자세로 변환하도록 입력하였으므로, 미리 알고 있는 관계이다.
자세정보가 회전 값만을 포함하는 경우, 엔드 이펙터는 이동하지 않으므로, 엔드 이펙터의 이동벡터는 '0'일 수 있다. 따라서, 따라서, 카메라의 자세 변환 관계는 카메라의 회전행렬과 이동벡터를 포함하고, 엔드 이펙터의 자세 변환 관계는 엔드 이펙터의 회전행렬만을 포함할 수 있다.
단계 S1030이 수행되면, 제어장치는 카메라의 자세 변환 관계 및 앤드 이펙터의 자세 변환 관계를 이용하여 카메라와 앤드 이펙터 사이의 이동벡터를 산출한다(S1040). 즉, 카메라의 자세 변환 관계는 카메라의 회전행렬과 이동벡터를 포함하고, 엔드 이펙터의 자세 변환 관계는 엔드 이펙터의 회전행렬만을 포함하므로, 제어장치는 전술한 수학식 14를 이용하여 카메라와 엔드 이펙터 사이의 회전행렬을 산출할 수 있다.
본 발명의 다른 실시 예에 따른 엔드 이펙터와 카메라간의 캘리브레이션은 엔드 이펙터와 엔드 이펙터에 부착되어 엔드 이펙터와 함께 이동하고 회전하는 1대 이상의 카메라를 부착하여 다음의 동작들을 수행한다. 첫 번째로는 기준이 될 방위를 정한 뒤, 해당 위치에서 알고 있는 특징점에 대한 영상을 획득한다. 두 번째로는 기준이 되는 위치에서 회전을 포함하지 않은 순수 병진 운동을 한 엔드 이펙터의 위치에서 찍은 영상을 획득한다. 세 번째로는 처음 정한 기준위치에서 이동 없이 엔드 이펙터를 임의의 축에 대해 2회 회전하거나, 엔드 이펙터를 임의의 축으로 병진운동과 회전운동을 2회 수행하여 영상을 획득한다. 따라서 초기위치의 영상1개, 순수한 병진운동한 영상 3개, 임의의 축으로 회전 혹은 병진과 회전을 모두 수행하여 임의의 영상2개를 획득하여 총 6장의 영상을 통하여 정보를 얻고 전술 설명한 방법을 통하여 엔드 이펙터와 엔드 이펙터에 부착된 카메라의 캘리브레이션이 가능하다.
또한, 본 발명의 일 실시 예에서 카메라의 캘리브레이션 및 카메라와 엔드 이펙터간의 캘리브레이션을 수행하기 위해 보정블록으로 2차원 평면인 체스보드 판을 사용하였으나, 본 발명의 다른 실시 예에서는 3차원의 입체 물체를 사용하여 캘리브레이션을 수행할 수 있다. 더불어, 카메라 자체의 캘리브레이션은 핸드/아이 자가보정의 수행 과정에서 획득하는 영상을 이용하여 전술한 카메라 캘리브레이션 방법을 사용하여 보정할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 : 로봇
111, 122 : 매니퓰레이터
113: 제1 연결부
121 : 제2 연결부
123 : 엔드 이펙터
124 : 회전부
150 : 제어장치
152 : 사용자 인터페이스부
154 : 자세 제어부
156 : 캘리브레이션 제어부
200 : 보정블록

Claims (14)

  1. 로봇 핸드 및 상기 로봇 핸드 상에 부착된 카메라를 포함하는 장치가 상기 카메라와 로봇 핸드 간의 캘리브레이션(calibration)을 수행하는 방법에 있어서,
    입력된 자세정보에 따라 상기 로봇 핸드의 자세(pose)를 변환시키는 단계; 및
    상기 자세정보가 이동 값만을 포함하는 경우, 상기 카메라와 로봇 핸드 간의 회전행렬(R)을 산출하고, 상기 자세정보가 회전 값만을 포함하는 경우 상기 카메라와 로봇 핸드 간의 이동벡터(t)를 산출하는 단계
    를 포함하는 카메라와 로봇 핸드의 캘리브레이션 방법.
  2. 제1항에 있어서,
    자세 변환 후의 카메라 좌표계로부터 자세 변환 전의 로봇 핸드 좌표계까지의 자세 변환 관계를 이용하여 카메라와 로봇 핸드 간의 자세 변환 관계 산출을 위한 관계식을 도출하는 단계를 더 포함하는 카메라와 로봇 핸드의 캘리브레이션 방법.
  3. 제2항에 있어서,
    상기 자세 변환 관계는 회전행렬과 이동벡터를 포함하는 것을 특징으로 하는 카메라와 로봇 핸드의 캘리브레이션 방법.
  4. 제3항에 있어서,
    상기 관계식은 아래 기재된 수학식인 것을 특징으로 하는 카메라와 로봇 핸드의 캘리브레이션 방법
    [수학식]
    Figure pat00076

    여기서, Rc는 카메라의 회전행렬, tc는 카메라의 이동벡터, RE는 로봇 핸드의 회전행렬, tE는 로봇 핸드의 이동벡터, R은 카메라와 로봇 핸드 사이의 회전행렬, t는 카메라와 로봇 핸드 사이의 이동벡터임.
  5. 제4항에 있어서,
    상기 자세정보가 이동 값만을 포함하는 경우, 상기 카메라와 로봇 핸드 간의 회전 행렬(R)을 산출하는 단계는
    상기 카메라를 통해 사전에 좌표계가 설정된 보정블록을 촬영하고, 상기 촬영된 보정블록의 좌표계를 기준으로 제1 카메라 자세에서의 제1 카메라 좌표계와 제2 카메라 자세에서의 제2 카메라 좌표계를 각각 산출하는 단계;
    상기 제1 카메라 좌표계와 제2 카메라 좌표계를 이용하여 카메라의 자세 변환 관계를 산출하고, 상기 자세 정보를 이용하여 상기 로봇 핸드의 자세 변환 관계를 산출하는 단계; 및
    상기 카메라의 자세 변환 관계 및 로봇 핸드의 자세 변환 관계를 이용하여 상기 카메라와 로봇 핸드 사이의 회전행렬을 산출하는 단계를 포함하는 것을 특징으로 하는 카메라와 로봇 핸드의 캘리브레이션 방법.
  6. 제5에 있어서,
    상기 카메라의 회전행렬과 상기 로봇 핸드의 회전행렬은 I행렬이고,
    상기 카메라와 로봇 핸드 사이의 회전행렬은 아래 기재된 수학식에 의사 역행렬(Pseudo Inverse)을 적용하여 산출하는 것을 특징으로 하는 카메라와 로봇 핸드의 캘리브레이션 방법
    [수학식]
    Figure pat00077

    여기서,tc는 카메라의 이동벡터, tE는 로봇 핸드의 이동벡터, R은 카메라와 로봇 핸드 사이의 회전행렬임.
  7. 제4항에 있어서,
    상기 자세정보가 회전 값만을 포함하는 경우 상기 카메라와 로봇 핸드 간의 이동벡터(t)를 산출하는 단계는
    상기 카메라를 통해 사전에 좌표계가 설정된 보정블록을 촬영하고, 상기 촬영된 보정블록의 좌표계를 기준으로 제1 카메라 자세에서의 제1 카메라 좌표계와 제2 카메라 자세에서의 제2 카메라 좌표계를 각각 산출하는 단계;
    상기 제1 카메라 좌표계와 제2 카메라 좌표계를 이용하여 카메라의 자세 변환 관계를 산출하고, 상기 자세 정보를 이용하여 상기 로봇 핸드의 자세 변환 관계를 산출하는 단계; 및
    상기 카메라의 자세 변환 관계 및 로봇 핸드의 자세 변환 관계를 이용하여 상기 카메라와 로봇 핸드 사이의 이동벡터를 산출하는 단계를 포함하는 것을 특징으로 하는 카메라와 로봇 핸드의 캘리브레이션 방법.
  8. 제7에 있어서,
    상기 로봇 핸드의 이동벡터(tE)는 '0'이고,
    상기 카메라와 로봇 핸드 사이의 이동벡터(t)는 아래 기재된 수학식에 의사 역행렬(Pseudo Inverse)을 적용하여 산출하는 것을 특징으로 하는 카메라와 로봇 핸드의 캘리브레이션 방법
    [수학식]
    Figure pat00078

    여기서, Rc는 카메라의 회전행렬, tc는 카메라의 이동벡터, t는 카메라와 로봇 핸드 사이의 이동벡터임.
  9. 제1항에 있어서,
    상기 산출된 카메라와 로봇 핸드 사이의 자세 변환 관계를 이용하여 상기 카메라와 로봇 핸드 사이의 캘리브레이션을 수행하는 단계를 더 포함하는 카메라와 로봇 핸드의 캘리브레이션 방법.

  10. 로봇 핸드 및 상기 로봇 핸드 상에 부착된 카메라의 캘리브레이션을 수행하는 장치에 있어서,
    로봇 핸드의 자세정보를 입력받는 사용자 인터페이스부; 및
    상기 자세정보에 따라 상기 로봇 핸드의 자세(pose)를 변환시키는 자세 제어부; 및
    상기 로봇 핸드가 회전하지 않고 이동만 하는 경우 상기 카메라와 로봇 핸드 간의 회전 행렬(R)을 산출하고, 상기 로봇 핸드가 회전만 하는 경우 상기 카메라와 로봇 핸드 간의 이동벡터(t)를 산출하는 캘리브레이션 제어부
    를 포함하는 카메라와 로봇 핸드의 캘리브레이션 장치.
  11. 제10항에 있어서,
    상기 캘리브레이션 제어부는
    상기 로봇 핸드가 회전하지 않고 이동만 하는 경우, 상기 카메라를 통해 사전에 좌표계가 설정된 보정블록을 촬영하고, 상기 촬영된 보정블록의 좌표계를 기준으로 제1 카메라 자세에서의 제1 카메라 좌표계와 제2 카메라 자세에서의 제2 카메라 좌표계를 각각 산출하며, 상기 제1 카메라 좌표계와 제2 카메라 좌표계를 이용하여 카메라의 자세 변환 관계를 산출하고, 상기 자세 정보를 이용하여 상기 로봇 핸드의 자세 변환 관계를 산출하며, 상기 카메라의 자세 변환 관계 및 로봇 핸드의 자세 변환 관계를 이용하여 상기 카메라와 로봇 핸드 사이의 회전행렬을 산출하되,
    상기 카메라와 로봇 핸드 사이의 회전행렬은 아래 기재된 수학식에 의사 역행렬(Pseudo Inverse)을 적용하여 산출하는 것을 특징으로 하는 카메라와 로봇 핸드의 캘리브레이션 장치
    [수학식]
    Figure pat00079

    여기서,tc는 카메라의 이동벡터, tE는 로봇 핸드의 이동벡터, R은 카메라와 로봇 핸드 사이의 회전행렬임.
  12. 제10항에 있어서,
    상기 캘리브레이션 제어부는
    상기 로봇 핸드가 회전만 하는 경우, 상기 카메라를 통해 사전에 좌표계가 설정된 보정블록을 촬영하고, 상기 촬영된 보정블록의 좌표계를 기준으로 제1 카메라 자세에서의 제1 카메라 좌표계와 제2 카메라 자세에서의 제2 카메라 좌표계를 각각 산출하며, 상기 제1 카메라 좌표계와 제2 카메라 좌표계를 이용하여 카메라의 자세 변환 관계를 산출하고, 상기 자세 정보를 이용하여 상기 로봇 핸드의 자세 변환 관계를 산출하며, 상기 카메라의 자세 변환 관계 및 로봇 핸드의 자세 변환 관계를 이용하여 상기 카메라와 로봇 핸드 사이의 이동벡터(t)를 산출하되,
    상기 카메라와 로봇 핸드 사이의 이동벡터(t)는 아래 기재된 수학식에 의사 역행렬(Pseudo Inverse)을 적용하여 산출하는 것을 특징으로 하는 카메라와 로봇 핸드의 캘리브레이션 장치
    [수학식]
    Figure pat00080

    여기서, Rc는 카메라의 회전행렬, tc는 카메라의 이동벡터, t는 카메라와 로봇 핸드 사이의 이동벡터임.
  13. 제11항 또는 제12항에 있어서,
    상기 장치에 상기 로봇 핸드 상에 부착된 첫번째 카메라 외에 두번째 카메라가 구비된 스테레오(Stereo) 기반의 3D 카메라가 구비된 경우,
    상기 캘리브레이션 제어부는
    상기 보정블록의 좌표계를 기준으로 상기 첫번째 카메라의 좌표계와 상기 두번째 카메라의 좌표계를 각각 산출하고, 상기 산출된 첫번째 카메라의 좌표계와 상기 두번째 카메라의 좌표계를 이용하여 첫번째 카메라와 두번째 카메라 간의 자세 변환 관계를 산출하며, 상기 산출된 두 카메라 간의 자세 변환 관계를 이용하여 3D카메라의 캘리브레이션을 수행하는 것을 특징으로 하는 카메라와 로봇 핸드의 캘리브레이션 장치.
  14. 제11항 또는 제12항에 있어서,
    상기 로봇 핸드 상에 부착된 카메라가 프로젝터(Projector)가 구비된 구조광(Structured Light) 기반의 3D 카메라인 경우,
    상기 캘리브레이션 제어부는
    상기 보정블록의 좌표계를 기준으로 상기 카메라의 좌표계와 상기 프로젝터의 좌표계를 각각 산출하고, 상기 산출된 카메라의 좌표계와 상기 프로젝터의 좌표계를 이용하여 카메라와 프로젝터 간의 자세 변환 관계를 산출하며, 상기 산출된 카메라와 프로젝터 간의 자세 변환 관계를 이용하여 3D 카메라의 캘리브레이션을 수행하는 것을 특징으로 하는 카메라와 로봇 핸드의 캘리브레이션 장치.
KR1020170114545A 2017-09-07 2017-09-07 카메라와 로봇 핸드의 캘리브레이션 방법 및 장치 KR101988937B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170114545A KR101988937B1 (ko) 2017-09-07 2017-09-07 카메라와 로봇 핸드의 캘리브레이션 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170114545A KR101988937B1 (ko) 2017-09-07 2017-09-07 카메라와 로봇 핸드의 캘리브레이션 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190027584A true KR20190027584A (ko) 2019-03-15
KR101988937B1 KR101988937B1 (ko) 2019-06-13

Family

ID=65762721

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170114545A KR101988937B1 (ko) 2017-09-07 2017-09-07 카메라와 로봇 핸드의 캘리브레이션 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101988937B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859280A (zh) * 2019-03-31 2019-06-07 深圳市普渡科技有限公司 摄像头标定系统及方法
KR20200057503A (ko) * 2018-11-16 2020-05-26 삼성전자주식회사 로봇 보정 시스템 및 그것의 보정 방법
KR102111655B1 (ko) * 2019-11-01 2020-06-04 주식회사 뉴로메카 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
CN112285625A (zh) * 2020-09-21 2021-01-29 广东电网有限责任公司广州供电局 一种通用型电力仪表自动检定系统及其检定方法
KR102220173B1 (ko) * 2019-11-01 2021-02-25 주식회사 뉴로메카 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
WO2021096320A1 (ko) * 2019-11-15 2021-05-20 주식회사 씨메스 3차원 스캐너를 이용한 로봇의 위치 보정 방법 및 장치
KR20210059664A (ko) * 2019-11-15 2021-05-25 주식회사 씨메스 3차원 스캐너를 이용한 로봇의 위치 보정 방법 및 장치
CN113744341A (zh) * 2021-07-21 2021-12-03 北京旷视科技有限公司 机器人系统的相机位姿标定方法、装置和电子设备
KR102528594B1 (ko) * 2022-09-20 2023-05-08 주식회사 랑데뷰 Ai 물체 인식 학습용 라벨링 데이터 자동 수집방법
WO2023086559A3 (en) * 2021-11-15 2023-06-22 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a robot

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102459373B1 (ko) 2020-11-25 2022-10-31 아이둡 주식회사 핸드 아이 캘리브레이션 시스템 및 방법
KR102585332B1 (ko) * 2022-12-06 2023-10-05 성형원 로봇 핸드와 로봇 핸드와 분리된 카메라 간의 캘리브레이션을 수행하는 방법 및 디바이스

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140123660A (ko) * 2013-04-12 2014-10-23 성균관대학교산학협력단 로봇 핸드와 로봇 핸드에 부착된 카메라의 캘리브레이션 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140123660A (ko) * 2013-04-12 2014-10-23 성균관대학교산학협력단 로봇 핸드와 로봇 핸드에 부착된 카메라의 캘리브레이션 방법 및 장치

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200057503A (ko) * 2018-11-16 2020-05-26 삼성전자주식회사 로봇 보정 시스템 및 그것의 보정 방법
CN109859280A (zh) * 2019-03-31 2019-06-07 深圳市普渡科技有限公司 摄像头标定系统及方法
KR102111655B1 (ko) * 2019-11-01 2020-06-04 주식회사 뉴로메카 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
KR102220173B1 (ko) * 2019-11-01 2021-02-25 주식회사 뉴로메카 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
WO2021086108A1 (ko) * 2019-11-01 2021-05-06 주식회사 뉴로메카 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
US11642789B2 (en) 2019-11-01 2023-05-09 Neuromeka Automatic calibration method and device for robot vision system
WO2021096320A1 (ko) * 2019-11-15 2021-05-20 주식회사 씨메스 3차원 스캐너를 이용한 로봇의 위치 보정 방법 및 장치
KR20210059664A (ko) * 2019-11-15 2021-05-25 주식회사 씨메스 3차원 스캐너를 이용한 로봇의 위치 보정 방법 및 장치
CN112285625A (zh) * 2020-09-21 2021-01-29 广东电网有限责任公司广州供电局 一种通用型电力仪表自动检定系统及其检定方法
CN113744341A (zh) * 2021-07-21 2021-12-03 北京旷视科技有限公司 机器人系统的相机位姿标定方法、装置和电子设备
WO2023086559A3 (en) * 2021-11-15 2023-06-22 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a robot
KR102528594B1 (ko) * 2022-09-20 2023-05-08 주식회사 랑데뷰 Ai 물체 인식 학습용 라벨링 데이터 자동 수집방법

Also Published As

Publication number Publication date
KR101988937B1 (ko) 2019-06-13

Similar Documents

Publication Publication Date Title
KR101988937B1 (ko) 카메라와 로봇 핸드의 캘리브레이션 방법 및 장치
JP6429473B2 (ja) ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
US20200298411A1 (en) Method for the orientation of an industrial robot, and industrial robot
JP4844453B2 (ja) ロボットの教示装置及び教示方法
JP5850962B2 (ja) ビジュアルフィードバックを利用したロボットシステム
JP6468741B2 (ja) ロボットシステム及びロボットシステムの校正方法
JP5233601B2 (ja) ロボットシステム、ロボット制御装置およびロボット制御方法
JP5852364B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP4167954B2 (ja) ロボット及びロボット移動方法
US20160184996A1 (en) Robot, robot system, control apparatus, and control method
US20160279800A1 (en) Robot, robot control device, and robotic system
US9884425B2 (en) Robot, robot control device, and robotic system
US11040451B2 (en) Teaching device and teaching method
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2019014030A (ja) ロボットの制御装置、ロボット、ロボットシステム、並びに、カメラの校正方法
JP7111114B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
JP6885856B2 (ja) ロボットシステムおよびキャリブレーション方法
CN110856932A (zh) 干涉回避装置以及机器人系统
CN113878588B (zh) 面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法
CN117881507A (zh) 指令值生成装置、方法、以及程序
KR20070122271A (ko) 로봇 자세 제어 시스템 및 로봇 자세 제어 방법
JP2015074061A (ja) ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
TWI807990B (zh) 機器人示教系統
WO2023013740A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
WO2020192882A1 (en) Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right