KR102220173B1 - 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치 - Google Patents

로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치 Download PDF

Info

Publication number
KR102220173B1
KR102220173B1 KR1020200055963A KR20200055963A KR102220173B1 KR 102220173 B1 KR102220173 B1 KR 102220173B1 KR 1020200055963 A KR1020200055963 A KR 1020200055963A KR 20200055963 A KR20200055963 A KR 20200055963A KR 102220173 B1 KR102220173 B1 KR 102220173B1
Authority
KR
South Korea
Prior art keywords
robot
camera
coordinate system
marker
sample
Prior art date
Application number
KR1020200055963A
Other languages
English (en)
Other versions
KR102220173B9 (ko
Inventor
박종훈
강준수
Original Assignee
주식회사 뉴로메카
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190138460A external-priority patent/KR102111655B1/ko
Application filed by 주식회사 뉴로메카 filed Critical 주식회사 뉴로메카
Priority to KR1020200055963A priority Critical patent/KR102220173B1/ko
Priority to EP20881234.7A priority patent/EP4052861A4/en
Priority to PCT/KR2020/015028 priority patent/WO2021086108A1/ko
Priority to US17/772,074 priority patent/US11642789B2/en
Application granted granted Critical
Publication of KR102220173B1 publication Critical patent/KR102220173B1/ko
Publication of KR102220173B9 publication Critical patent/KR102220173B9/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1648—Programme controls characterised by the control loop non-linear control combined or not with linear control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39016—Simultaneous calibration of manipulator and camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector

Abstract

본 발명의 일 양태는 로봇의 엔드 이펙터에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치에서의 자동 캘리브레이션 방법을 개시하고 있다. 상기 방법은, 로봇의 작업 영역에 마킹된 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 단계(상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨) 및 상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 좌표계 기준 마커의 위치를 추정하는 단계를 포함한다.

Description

로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치{AUTOMATIC CALIBRATION METHOD AND APPARATUS FOR ROBOT VISION SYSTEM}
본 발명은 캘리브레이션(calibration) 방법에 관한 것으로, 보다 상세하게는, 로봇 비전 시스템에서의 자동 캘리브레이션 방법에 관한 것이다.
로봇 시스템의 사용성에 있어 비전 센서(vision sensor)는 매우 중요한 컴포넌트이나, 비전 센서의 좌표계와 로봇의 좌표계 사이의 정확한 변환이 선행 되어야 한다. 하지만, 사전에 좌표를 고정한 마커 등의 별도 장치 없이, 임의의 로봇과 임의의 카메라에 대해 캘리브레이션을 수행하는 것은 매우 까다로운 문제이다.
특히, 저가형 카메라의 경우, 카메라의 왜곡이 심해, 캘리브레이션을 통해 고유 매개 변수를 추정하더라도 그 좌표계를 완벽하게 얻을 수 없는 경우가 많다. 이처럼 불완전한 카메라 좌표계를 로봇 작업에 사용하려면 작업 영역에 과적합 시키는 편법이 필요한데, 사전에 정의된 위치를 기준으로 하거나 제약 조건이 있을 경우, 임의의 작업 현장에 맞춰 캘리브레이션을 수행할 수는 없다.
본 발명의 일 실시예에 따른 목적은 카메라 로봇에 탑재된, 혹은 카메라가 별도로 고정되어 로봇과 함께 사용되는 로봇 비전 시스템에서 초점거리, 오프셋, 왜곡 상수 등 카메라의 고유 매개 변수와 카메라와 로봇 엔드이펙터, 혹은 카메라와 로봇 좌표계 사이의 위치 및 각도 오프셋을 한번에 자동으로 캘리브레이션하는 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른, 로봇의 엔드 이펙터에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치에서의 자동 캘리브레이션 방법은, 로봇의 작업 영역에 마킹된 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 단계(상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨) 및 상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 좌표계 기준 마커의 위치를 추정하는 단계를 포함할 수 있다.
상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 좌표계 기준 마커의 위치를 추정하는 단계는, 상기 카메라-로봇 오프셋(Toff)을 가정된 값으로 두고 비선형 최적화 알고리즘을 사용하여 복수 개의 자세에서 카메라 기준 마커의 위치(Tm,j)를 로봇 기준 좌표계로 변환한 좌표의 에러율을 최소로 만드는 방식을 통해 카메라-로봇 오프셋(Toff)을 추정하는 단계를 포함할 수 있다.
상기 카메라-로봇 오프셋(Toff)은 x-y-z 좌표 및 z-y-x 오일러 각을 포함하는 변수들의 함수로 계산될 수 있다.
상기 카메라-로봇 오프셋(Toff)은 제 1 표본 좌표와 제 2 표본 좌표 간의 틀어짐 정도를 로테이션 매트릭스(R)의 에러 및 포지션(P) 에러의 값으로 표현하고, 이를 최소화하는 비선형 최적화 알고리즘을 이용하여 추정될 수 있다.
상기 카메라-로봇 오프셋(Toff)은
Figure 112020047337730-pat00001
을 통해 산출되며, 여기서, j는 표본 좌표의 인덱스를, Tj는 표본 좌표 j의 변환 행렬을, Tm,j는 표본 좌표 j에서 카메라 기준 마커의 위치를, R은 로테이션 매트릭스와 관련된 변수를, P는 포지션 에러와 관련된 변수를 나타낼 수 있다.
상기 엔드 이펙터는 가동영역이 교시된 상태로 구비되며, 상기 가동영역은 캘리브레이션의 기준이 되는 영역으로 복수 개의 기준점으로 정의될 수 있다.
상기 복수 개의 표본 좌표들은, 상기 복수 개의 기준점 내의 영역에 배치될 수 있다.
복수 개의 표본 좌표들은, 상기 복수 개의 기준점에서 로봇의 기준 좌표계로부터 로봇 말단으로의 변환 행렬을 기록하는 단계, 상기 복수 개의 기준점들이 공통적으로 바라보는 동작 중심점을 설정하는 단계, 상기 설정된 동작 중심점을 기준으로 상기 복수 개의 기준좌표들의 위치를 결정짓는 변수들을 기록하고 각 변수들의 최소값 및 최대값을 추출하는 단계 및 상기 복수 개의 기준점들 사이의 난수 가중합을 통해 상기 복수 개의 표본 좌표들을 추출하는 단계를 통해 추출될 수 있다.
상기 변수들은 방위각, 고도각, 롤 및 상기 동작 중심점으로부터의 거리 중 적어도 둘을 포함할 수 있다.
상기 추출된 복수 개의 표본 좌표들의 변수들로부터 각 표본 좌표계의 변환행렬(Tj)이 산출될 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른, 로봇으로부터 이격된 위치에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치에서의 캘리브레이션 방법은, 로봇 엔드 이펙터에 배치된 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 단계(복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨) 및 상기 획득된 이미지로부터 로봇 베이스 기준 카메라 위치를 추정하는 단계를 포함할 수 있다.
상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 베이스 기준 카메라의 위치를 추정하는 단계는, 상기 로봇 말단-마커 오프셋(Tem)을 가정된 값으로 두고 비선형 최적화 알고리즘을 사용하여 복수 개의 자세에서 로봇 베이스 기준 카메라의 위치를 로봇 기준 좌표계로 변환한 좌표의 에러율을 최소로 만드는 방식을 통해 로봇 말단-마커 오프셋(Tem)을 추정하는 단계를 포함할 수 있다.
상기 로봇 말단-마커 오프셋(Tem)은 x-y-z 좌표 및 z-y-x 오일러 각을 포함하는 변수들의 함수로 계산될 수 있다.
상기 로봇 말단-마커 오프셋(Tem)은 제 1 표본 좌표와 제 2 표본 좌표 간의 틀어짐 정도를 로테이션 매트릭스의 에러 및 포지션 에러의 값으로 표현하고, 이를 최소화하는 비선형 최적화 알고리즘을 이용하여 추정될 수 있다.
상기 로봇 말단-마커 오프셋(Tem)은
Figure 112020047337730-pat00002
을 통해 산출되며, 여기서, j는 표본 좌표의 인덱스를, Tj는 로봇의 변환 행렬을 나타낸다. Tem는 로봇 말단으로부터 마커로의 오프셋 추정값을 나타내고, Tm,j는 카메라로부터 마커의 위치를, R은 로테이션 매트릭스와 관련된 변수를, P는 포지션 에러와 관련된 변수를 나타낼 수 있다.
상기한 목적을 달성하기 위한 본 발명의 또 다른 양태에 따른, 로봇의 엔드 이펙터에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치는, 로봇의 작업 영역에 마킹된 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 입력부(상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨) 및 상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 좌표계 기준 마커의 위치를 추정하는 프로세서를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른, 로봇으로부터 이격된 위치에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치는, 상기 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 입력부(상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨) 및 상기 획득된 이미지로부터 로봇 베이스 기준 카메라 위치를 추정하는 프로세서를 포함할 수 있다.
본 발명의 일 실시예에 따른 자동 캘리브레이션 방법에 따르면, 미리 정확한 좌표에 마커를 위치시킨 기준 좌표계나 별도의 제약 조건 없이, 로봇 비전 시스템을 임의의 환경에서 간편하게 캘리브레이션이 이루어지도록 하는 효과가 있다.
특히, 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법에 따르면, 어떠한 작업 영역에서도 그에 맞춰 캘리브레이션을 과적합시킬 수 있기 때문에, 왜곡이 심한 저가형 카메라로도 제약조건이 많은 환경에서 로봇이 정밀한 작업을 수행할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법이 사용되는 로봇 비전 시스템을 개략적으로 나타낸 블록도,
도 2는 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법을 개략적으로 나타낸 흐름도,
도 3은 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법에서 기준점 N개를 지정하는 개념을 설명하기 위한 개념도,
도 4는 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법의 표본 좌표를 균일하게 선택하는 방법을 구체적으로 나타낸 상세흐름도,
도 5는 본 발명의 일 실시예에 따른 자동 캘리브레이션 장치를 개략적으로 나타낸 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법이 사용되는 로봇 비전 시스템을 개략적으로 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 로봇 비전 시스템은 카메라(110), 로봇 제어기(120) 및 캘리브레이션 장치(130)를 포함할 수 있다.
도 1을 참조하면, 캘리브레이션 장치(130)는 카메라(110)와 로봇 제어기(120)와 연동하여 카메라(110)로부터 촬영된 이미지, 특히 마커를 촬영한 이미지 정보를 획득하고, 로봇 제어기(120)로부터 로봇 제어와 관련된 정보를 획득한다. 로봇 제어와 관련된 정보는 로봇이 기준점, 또는 표본 좌표와 같은 특정 영역에 위치할 때 로봇 좌표계에서의 좌표 정보 내지 위치를 결정짓는 변수 정보(고도각, 방위각 등)를 포함할 수 있다. 로봇 제어기(120)는 인코더(encoder)를 포함할 수 있다.
본 발명의 실시예에 따르면, 카메라(110)는 로봇의 말단, 즉, 엔드 이펙터에 탑재되어 로봇의 가동영역 내에 존재하는 마커를 촬영하고 촬영된 이미지 정보를 획득할 수 있다. 이것이 제 1 실시예가 될 수 있다. 또한, 제 2 실시예에서는, 카메라(110)는 로봇과 이격된 위치에 별도로 고정되어 존재하되, 로봇의 말단에 마커를 부착하고 카메라 영상에 마커가 보이는 영역을 가동영역으로 설정하여 캘리브레이션이 이루어지도록 할 수 있다.
캘리브레이션 장치(130)는 카메라(110)와 로봇 제어기(120)로부터 정보를 획득하여 카메라의 고유 매개 변수뿐만 아니라 로봇-카메라 간의 오프셋 값을 한번에 자동으로 캘리브레이션할 수 있다. 이는 다음의 도 2를 통해 보다 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법을 개략적으로 나타낸 흐름도이다.
도 2를 참조하면, 로봇의 작업 영역의 임의의 위치에 마커(marker)를 두고, 사용자는 로봇을 N 개의 기준점으로 움직이며 가동 영역을 교시한다(S210). 이때, 직접 교시, 간접 교시 등의 방법이 사용될 수 있다. 이 과정은 도 3을 통해 보다 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법에서 기준점 N개를 지정하는 개념을 설명하기 위한 개념도이다.
도 3을 참조하면, 임의의 작업 위치에서 캘리브레이션을 수행하기 위해, 사용자는 캘리브레이션 수행의 기준이 되는 영역을 가변적으로 지정해주는 것이 바람직하다. 이는 사용자에 의해 직접교시 간접교시 등의 방법을 통해 수행될 수 있다. 본 발명의 실시예에 따르면, 로봇의 베이스(base)가 존재하는 위치 또는 해당 위치로부터 일정 영역(로봇의 작업 영역) 상에 마커를 배치하고, 캘리브레이션을 수행하면서 로봇이 이동할 영역의 가장자리가 되는 기준점 N개를 지정한다.
본 발명의 실시예에 따르면, 기준점은 4개인 것이 바람직하다. 이러한 기준점으로부터 시드 뷰(seed view)를 N개 획득할 수 있다.
다시 도 2로 돌아가서, 장치는 교시된 기준점들 안쪽의 영역, 즉, 가동영역에서 표본 좌표들을 설정하여 해당 좌표로 이동함에 의해 마커 이미지를 획득한다(S220). 본 발명의 실시예에 따르면, 표본 좌표는 약 15개 내지 25개를 설정하는 것이 바람직하고, 보다 바람직하게는, 20개를 설정하는 것이 좋다. 이때, 표본 좌표들을 균일하게 선택하기 위해 도 4의 과정을 거치는 것이 바람직하다.
도 4는 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법의 표본 좌표를 균일하게 선택하는 방법을 구체적으로 나타낸 상세흐름도이다.
도 4를 참조하면, 단계(S210)에서 설정한 4개의 기준점에서 로봇 기준 좌표계로부터 로봇 말단으로의 변환 행렬(Ti, i∈{1, ..., N})을 기록한다. 여기서, i는 기준점의 인덱스를 나타낸다(S410).
그리고는, 장치는 로봇이 움직일 구면 좌표계의 중심점을 추출하기 위해, 기준점들이 공통적으로 바라보는 동작 중심점을 설정한다(S420). 이를 위해, 다음의 최소화 문제를 풀어, 모든 말단 좌표계의 z축과 가장 가까운 점을 동작 중심점으로 추출하는 것이 바람직하다(S420).
Figure 112020047337730-pat00003
그리고는, 단계(S420)에서 설정한 동작 중심점을 기준으로 기준점들의 방위각 θi, 고도각 Ψi, 롤 ωi, 그리고 상기 동작 중심점으로부터의 거리 di 값을 기록하고, 각각의 변수들의 최소값 및 최대값을 추출한다(S430). 이는 다음의 변수 값으로 표현된다. (θmin, θmax, Ψmin, Ψmax, ωmin, ωmax, dmin, dmax)
그 다음으로, 장치는 기준점 사이의 난수 가중합을 통해 임의의 표본 좌표들을 복수 개 추출한다(S440). 이때, 표본 좌표의 수는 약 15개 내지 25개가 적합하며, 보다 바람직하게는 20개가 좋다. 이때, 구면좌표계에서 균일한 표본 좌표를 획득하기 위해, 다음의 수학식을 이용하는 것이 바람직하다.
Figure 112020047337730-pat00004
Figure 112020047337730-pat00005
여기서, r은 0과 1 사이의 난수를 나타낸다.
그리고는, 새로 추출된 약 20개의 표본 좌표들의 방위각, 고도각, 롤 및 거리 중 적어도 하나로부터 각 표본 좌표계의 변환행렬 Tj를 산출한다(S450).
다시 도 2로 돌아가서, 표본 좌표를 설정 및 그에 대한 변환행렬을 계산한 후, 계산된 표본 좌표들로 로봇의 엔드 이펙터를 이동시켜 각 표본 좌표에서 마커의 이미지를 획득한다.
그리고는, 획득된 이미지로부터 카메라 고유 매개 변수를 추정하고(S230), 각 이미지로부터 카메라 기준 마커의 위치(Tm,j)를 추정한다(S240). 추정되는 카메라 고유 매개 변수는 초점거리, 오프셋, 왜곡 상수 등이 포함될 수 있다.
그리고는, 추정된 카메라 기준 마커의 위치를 이용, 로봇 좌표계 기준 마커의 위치를 추정한다(S250).
본 발명의 실시예에 따르면, 로봇 좌표계 기준 마커의 위치를 추정하기 위해, 장치는 비선형 최적화 알고리즘을 사용한다. 장치는 여러 자세에서 카메라 기준 마커의 위치 값을 로봇 기준 좌표계로 변환한 좌표(Tj, Toff, Tm,j)의 오차가 최소가 되도록 하는 방식을 이용하여 카메라-로봇 오프셋(Toff)를 추정한다. 여기서, Tm,j는 특정 표본 좌표에서의 카메라 기준 마커의 위치를 나타낸다. j는 표본 좌표의 인덱스를 나타낸다. 이때, 비선형 최적화 알고리즘은 BroydenFletcher-GoldfarbShanno 등 다양한 알고리즘을 사용할 수 있다. 특히, 연산의 효율성 및 수렴성을 위해, Toff는 x-y-z 좌표 및 z-y-x 오일러각의 6개 변수의 함수로 두고 계산할 수 있다. 이는 다음의 수학식으로 표현할 수 있다.
Figure 112020047337730-pat00006
여기서, Toff은 가정값으로 들어가고, Toff의 에러를 최소화하는 방식으로 비선형 알고리즘이 실행된다. 수학식 3의 하단 식을 살펴보면, 표본 좌표(j) 이전 표본 좌표인 표본 좌표(j-1)에 대해 표본 좌표계의 변환 행렬, Toff 값, 그리고, 카메라로부터 마커의 위치(Tm,j-1)를 산출하고, 이에 대해 인버스(inverse)를 취한다. 그리고, 표본 좌표(j)와 관련된 항은 정방향으로 계산함에 따라 표본 좌표(j-1)로 갔다가 표본 좌표(j)로 돌아오는 경로에서 두 지점 사이의 틀어짐의 정도 값만 남게 된다. 이것이 상기 하단 식으로 표현된다. 그리고, 수학식 3의 상단 식을 살펴보면, ∥log(ΔRj)∥가 로테이션 매트릭스의 놈(Norm)을 나타내고, r∥ΔRj∥가 포지션 에러의 놈이 되어, 합쳐서 Toff과 관련하여 전체 에러의 놈이 형성되며, 여기에 시그마(Σ) 값을 취함에 따라 전체 표본 좌표에서의 촬영에서의 에러값을 합산한 값이 생성되고, 이를 최소화하는 방향으로 캘리브레이션 프로세스가 동작한다.
본 발명의 다른 실시예에 따르면, 카메라가 별도로 설치된 작업 환경에서 로봇 말단에 마커를 부착하고, 카메라 영상에 마커가 보이는 영영에거 기준점을 설정하여 도 2의 일련의 과정을 유사하게 수행함에 따라 로봇 말단-마커 오프셋(Tem)을 추정하고, 이를 통해 로봇 베이스 기준의 카메라 위치(
Figure 112020047337730-pat00007
)를 추정할 수 있다. 여기서, Tj는 로봇의 변환 행렬을 나타낸다. Tem는 로봇 말단으로부터 마커로의 오프셋 추정값을 나타내고, Tm,j는 카메라로부터 마커의 위치이다. 이를 수학식으로 나타내면 다음과 같다.
Figure 112020047337730-pat00008
Tm,j -1은 마커로부터 카메라로의 변환 행렬이 되고, 표본 좌표(j)의 이전 표본 좌표(j-1)에서의 로봇 기준 좌표계로부터 카메라의 위치와 표본 좌표(j)에서의 로봇 기준 좌표계로부터 카메라의 위치 사이의 에러에 대한 로테이션 매트릭스 및 포지션 매트릭스의 에러를 최소화하는 방법으로, 로봇 베이스 기준 카메라 위치뿐만 아니라 로봇 말단-마커 오프셋(Tem)을 추정할 수 있다.
도 5는 본 발명의 일 실시예에 따른 자동 캘리브레이션 장치를 개략적으로 나타낸 블록도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 자동 캘리브레이션 장치는 입력부(510), 메모리(520), 프로세서(520), 출력부(540) 및 사용자 인터페이스(550)를 포함할 수 있다.
입력부(510)는 카메라 및 로봇 제어기(또는 로봇 인코더)로부터 정보를 획득할 수 있다. 카메라로부터는 촬영된 이미지 정보를 획득할 수 있고, 로봇 제어기로부터는 해당 이미지 촬영시의 로봇의 위치를 로봇 좌표계로 표현한 정보, 로봇의 제어명령과 관련된 정보를 획득할 수 있다.
메모리(520)는 프로세서(530)에서의 자동 캘리브레이션 프로시져(procedure)와 관련된 지시어를 저장하고 있다.
프로세서(530)는 카메라의 고유 매개 변수와 로봇-카메라 오프셋을 한번에 캘리브레이션한다. 프로세서(530)는, 작업 영역의 임의의 위치에 마커를 두고, 로봇을 복수 개의 기준좌표로 움직여 가동영역을 교시하도록 한 후, 로봇이 가동 영역 안에서 자동으로 움직일 때, 입력부(510)를 통해 획득되는 다수의 마커 이미지와 로봇 좌표계를 수신하여, 해당 이미지로부터 카메라 고유 매개 변수를 추정하고 각 이미지에서 카메라 기준 마커의 위치를 추정한다. 이때, 비선형 알고리즘을 사용하여 다양한 자세에서 카메라 기준 마커의 위치를 로봇의 기준 좌표계로 변환했을 때, 에러율이 최소가 되는 카메라-로봇 오프셋을 추정한다.
출력부(540)는 추정된 카메라 고유 매개 변수 및 카메라-로봇 오프셋 정보를 출력한다.
사용자 인터페이스(550)는 해당 장치에서 설정해야 할 다양한 설정값을 설정하는데 사용되는 구성요소이다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (17)

  1. 로봇의 엔드 이펙터에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치에서의 자동 캘리브레이션 방법에 있어서,
    로봇의 작업 영역에 마킹된 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 단계, 상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨; 및
    상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 좌표계 기준 마커의 위치를 추정하는 단계를 포함하는, 자동 캘리브레이션 방법.
  2. 제 1 항에 있어서, 상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 좌표계 기준 마커의 위치를 추정하는 단계는,
    카메라-로봇 오프셋(Toff)을 가정된 값으로 두고 비선형 최적화 알고리즘을 사용하여 복수 개의 자세에서 카메라 기준 마커의 위치(Tm,j)를 로봇 기준 좌표계로 변환한 좌표의 에러율을 최소로 만드는 방식을 통해 카메라-로봇 오프셋(Toff)을 추정하는 단계를 포함하는, 자동 캘리브레이션 방법.
  3. 제 2 항에 있어서,
    상기 카메라-로봇 오프셋(Toff)은 x-y-z 좌표 및 z-y-x 오일러 각을 포함하는 변수들의 함수로 계산되는, 자동 캘리브레이션 방법.
  4. 제 3 항에 있어서,
    상기 카메라-로봇 오프셋(Toff)은 제 1 표본 좌표와 제 2 표본 좌표 간의 틀어짐 정도를 로테이션 매트릭스(R)의 에러 및 포지션(P) 에러의 값으로 표현하고, 이를 최소화하는 비선형 최적화 알고리즘을 이용하여 추정되는, 자동 캘리브레이션 방법.
  5. 제 4 항에 있어서,
    상기 카메라-로봇 오프셋(Toff)은
    Figure 112020047337730-pat00009
    을 통해 산출되며,
    여기서, j는 표본 좌표의 인덱스를, Tj는 표본 좌표 j의 변환 행렬을, Tm,j는 표본 좌표 j에서 카메라 기준 마커의 위치를, R은 로테이션 매트릭스와 관련된 변수를, P는 포지션 에러와 관련된 변수를 나타내는, 자동 캘리브레이션 방법.
  6. 제 1 항에 있어서,
    상기 엔드 이펙터는 가동영역이 교시된 상태로 구비되며,
    상기 가동영역은 캘리브레이션의 기준이 되는 영역으로 복수 개의 기준점으로 정의되는, 자동 캘리브레이션 방법.
  7. 제 6 항에 있어서,
    상기 복수 개의 표본 좌표들은, 상기 복수 개의 기준점 내의 영역에 배치되는, 자동 캘리브레이션 방법.
  8. 제 1 항에 있어서, 복수 개의 표본 좌표들은,
    상기 복수 개의 기준점에서 로봇의 기준 좌표계로부터 로봇 말단으로의 변환 행렬을 기록하는 단계;
    상기 복수 개의 기준점들이 공통적으로 바라보는 동작 중심점을 설정하는 단계;
    상기 설정된 동작 중심점을 기준으로 상기 복수 개의 기준좌표들의 위치를 결정짓는 변수들을 기록하고 각 변수들의 최소값 및 최대값을 추출하는 단계; 및
    상기 복수 개의 기준점들 사이의 난수 가중합을 통해 상기 복수 개의 표본 좌표들을 추출하는 단계를 통해 추출되는, 자동 캘리브레이션 방법.
  9. 제 8 항에 있어서,
    상기 변수들은 방위각, 고도각, 롤 및 상기 동작 중심점으로부터의 거리 중 적어도 둘을 포함하는, 자동 캘리브레이션 방법.
  10. 제 8 항에 있어서,
    상기 추출된 복수 개의 표본 좌표들의 변수들로부터 각 표본 좌표계의 변환행렬(Tj)이 산출되는, 자동 캘리브레이션 방법.
  11. 로봇으로부터 이격된 위치에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치에서의 캘리브레이션 방법에 있어서,
    로봇 엔드 이펙터에 배치된 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 단계, 상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨; 및
    상기 획득된 이미지로부터 로봇 베이스 기준 카메라 위치를 추정하는 단계를 포함하는, 자동 캘리브레이션 방법.
  12. 제 11 항에 있어서, 상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 베이스 기준 카메라의 위치를 추정하는 단계는,
    로봇 말단-마커 오프셋(Tem)을 가정된 값으로 두고 비선형 최적화 알고리즘을 사용하여 복수 개의 자세에서 로봇 베이스 기준 카메라의 위치를 로봇 기준 좌표계로 변환한 좌표의 에러율을 최소로 만드는 방식을 통해 로봇 말단-마커 오프셋(Tem)을 추정하는 단계를 포함하는, 자동 캘리브레이션 방법.
  13. 제 12 항에 있어서,
    상기 로봇 말단-마커 오프셋(Tem)은 x-y-z 좌표 및 z-y-x 오일러 각을 포함하는 변수들의 함수로 계산되는, 자동 캘리브레이션 방법.
  14. 제 13 항에 있어서,
    상기 로봇 말단-마커 오프셋(Tem)은 제 1 표본 좌표와 제 2 표본 좌표 간의 틀어짐 정도를 로테이션 매트릭스의 에러 및 포지션 에러의 값으로 표현하고, 이를 최소화하는 비선형 최적화 알고리즘을 이용하여 추정되는, 자동 캘리브레이션 방법.
  15. 제 14 항에 있어서,
    상기 로봇 말단-마커 오프셋(Tem)은
    Figure 112020047337730-pat00010
    을 통해 산출되며,
    여기서, j는 표본 좌표의 인덱스를, Tj는 로봇의 변환 행렬을 나타낸다. Tem는 로봇 말단으로부터 마커로의 오프셋 추정값을 나타내고, Tm,j는 카메라로부터 마커의 위치를, R은 로테이션 매트릭스와 관련된 변수를, P는 포지션 에러와 관련된 변수를 나타내는, 자동 캘리브레이션 방법.
  16. 로봇의 엔드 이펙터에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치에 있어서,
    로봇의 작업 영역에 마킹된 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 입력부, 상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨; 및
    상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 카메라 기준 마커의 위치를 추정하는 프로세서를 포함하는, 자동 캘리브레이션 장치.
  17. 로봇으로부터 이격된 위치에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치에 있어서,
    마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 입력부, 상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 엔드 이펙터를 이동시키며 기록됨; 및
    상기 획득된 이미지로부터 로봇 베이스 기준 카메라 위치를 추정하는 프로세서를 포함하는, 자동 캘리브레이션 장치.
KR1020200055963A 2019-11-01 2020-05-11 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치 KR102220173B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200055963A KR102220173B1 (ko) 2019-11-01 2020-05-11 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
EP20881234.7A EP4052861A4 (en) 2019-11-01 2020-10-30 AUTOMATIC CALIBRATION METHOD AND DEVICE FOR ROBOT VISION SYSTEM
PCT/KR2020/015028 WO2021086108A1 (ko) 2019-11-01 2020-10-30 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
US17/772,074 US11642789B2 (en) 2019-11-01 2020-10-30 Automatic calibration method and device for robot vision system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190138460A KR102111655B1 (ko) 2019-11-01 2019-11-01 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
KR1020200055963A KR102220173B1 (ko) 2019-11-01 2020-05-11 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190138460A Division KR102111655B1 (ko) 2019-11-01 2019-11-01 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치

Publications (2)

Publication Number Publication Date
KR102220173B1 true KR102220173B1 (ko) 2021-02-25
KR102220173B9 KR102220173B9 (ko) 2022-01-17

Family

ID=75718775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200055963A KR102220173B1 (ko) 2019-11-01 2020-05-11 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치

Country Status (4)

Country Link
US (1) US11642789B2 (ko)
EP (1) EP4052861A4 (ko)
KR (1) KR102220173B1 (ko)
WO (1) WO2021086108A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117226853B (zh) * 2023-11-13 2024-02-06 之江实验室 一种机器人运动学标定的方法、装置、存储介质、设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190027584A (ko) * 2017-09-07 2019-03-15 주식회사 인지 카메라와 로봇 핸드의 캘리브레이션 방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0165435B1 (ko) 1995-09-13 1999-03-20 김광호 비젼 시스템의 카메라 취부 및 보정 방법
KR100207722B1 (ko) 1997-03-25 1999-07-15 윤종용 위치 제어 시스템의 캘리브레이션 방법
KR100468857B1 (ko) 2002-11-21 2005-01-29 삼성전자주식회사 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법
KR101622659B1 (ko) 2009-10-29 2016-05-20 대우조선해양 주식회사 로봇과 레이저 비전 시스템 간의 캘리브레이션 방법
KR101465652B1 (ko) 2013-04-12 2014-11-28 성균관대학교산학협력단 로봇 핸드와 로봇 핸드에 부착된 카메라의 캘리브레이션 방법 및 장치
JP6468741B2 (ja) * 2013-07-22 2019-02-13 キヤノン株式会社 ロボットシステム及びロボットシステムの校正方法
JP6429473B2 (ja) 2014-03-20 2018-11-28 キヤノン株式会社 ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
US10076842B2 (en) * 2016-09-28 2018-09-18 Cognex Corporation Simultaneous kinematic and hand-eye calibration
US10625427B2 (en) * 2017-06-14 2020-04-21 The Boeing Company Method for controlling location of end effector of robot using location alignment feedback
KR102111655B1 (ko) 2019-11-01 2020-06-04 주식회사 뉴로메카 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190027584A (ko) * 2017-09-07 2019-03-15 주식회사 인지 카메라와 로봇 핸드의 캘리브레이션 방법 및 장치

Also Published As

Publication number Publication date
EP4052861A1 (en) 2022-09-07
US20220379483A1 (en) 2022-12-01
KR102220173B9 (ko) 2022-01-17
US11642789B2 (en) 2023-05-09
WO2021086108A1 (ko) 2021-05-06
EP4052861A4 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
KR102111655B1 (ko) 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
CN106767393B (zh) 机器人的手眼标定装置与方法
US20160286138A1 (en) Apparatus and method for stitching panoramaic video
US20180194007A1 (en) Calibration device, calibration method, and computer readable medium for visual sensor
WO2023005979A1 (zh) 一种机器人手眼标定方法、系统和存储介质
WO2018209862A1 (zh) 位姿误差修正方法及装置、机器人及存储介质
CN111627072A (zh) 一种对多传感器进行标定的方法、装置和存储介质
EP2926543A2 (en) A method of calibrating a camera and a system therefor
CN101733755A (zh) 机械手系统、机械手控制装置以及机械手控制方法
JP2019089188A (ja) 作動システムおよびプログラム
US10652521B2 (en) Stereo camera and image pickup system
KR102220173B1 (ko) 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
CN114445506A (zh) 相机标定处理方法、装置、设备及存储介质
JP2008092565A (ja) カラーマッチング方法及び撮像装置
CN110619664B (zh) 基于激光图案辅助的摄像机距离姿态计算方法及服务器
JP6897100B2 (ja) 判定装置、判定方法、および判定プログラム
WO2021138856A1 (zh) 相机控制方法、设备及计算机可读存储介质
US11625836B2 (en) Trajectory calculation device, trajectory calculating method, and trajectory calculating program
US11577400B2 (en) Method and apparatus for managing robot system
JP2021124395A (ja) パン・チルト角算出装置及びそのプログラム
CN112584041A (zh) 一种图像识别动态纠偏方法
JP2007034964A (ja) カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定プログラム
CN113592907B (zh) 基于光流的视觉伺服跟踪方法及装置
JP2874872B2 (ja) 監視装置
CN114494455B (zh) 一种大视角下的位移高精度测量方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]