KR100468857B1 - 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법 - Google Patents

2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법 Download PDF

Info

Publication number
KR100468857B1
KR100468857B1 KR10-2002-0072695A KR20020072695A KR100468857B1 KR 100468857 B1 KR100468857 B1 KR 100468857B1 KR 20020072695 A KR20020072695 A KR 20020072695A KR 100468857 B1 KR100468857 B1 KR 100468857B1
Authority
KR
South Korea
Prior art keywords
hand
invariant
image
images
presenter
Prior art date
Application number
KR10-2002-0072695A
Other languages
English (en)
Other versions
KR20040044620A (ko
Inventor
노경식
손영
곽주영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2002-0072695A priority Critical patent/KR100468857B1/ko
Priority to US10/706,936 priority patent/US7019825B2/en
Priority to DE10355283A priority patent/DE10355283A1/de
Priority to FR0313536A priority patent/FR2847696A1/fr
Publication of KR20040044620A publication Critical patent/KR20040044620A/ko
Application granted granted Critical
Publication of KR100468857B1 publication Critical patent/KR100468857B1/ko
Priority to US11/300,435 priority patent/US7151853B2/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752Contour matching
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39045Camera on end effector detects reference pattern
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39057Hand eye calibration, eye, camera on hand, end effector

Abstract

본 발명은 2차원 형상에 대한 투사 불변형 표현자를 이용한 핸드/아이 캘리브레이션 방법에 관한 것으로, 상기 캘리브레이션 방법은 (a) 로봇 핸드에 부착된 카메라에 의해서 소정의 시간 간격을 두고 취득된 적어도 두 개 이상의 영상들로부터 2차원 형상에 대한 투사 불변형 표현자를 구하는 단계; (b) 상기 투사 불변형 표현자를 이용하여 상기 영상들간의 대응점을 추출하는 단계; (c) 상기 로봇 핸드의 병진운동으로부터 상기 대응점에 대한 회전 행렬을 구하는 단계; (d) 상기 로봇 핸드의 회전 및 병진운동으로부터 상기 대응점에 대한 평행 이동 벡터를 구하는 단계; 및 (e) 상기 (c) 및 상기 (d) 단계에서 구해진 상기 회전 행렬 및 상기 평행 이동 벡터를 근거로 하여 상기 로봇 핸드와 상기 카메라 사이의 관계를 규명하는 단계를 포함한다.

Description

2차원 형상에 대한 투사 불변형 표현자를 이용한 핸드/아이 캘리브레이션 방법{Method for calibrating hand/eye using projective invariant shape descriptor for 2-dimensional shape}
본 발명은 비주얼 서보잉(visual servoing) 기술에 관한 것으로, 특히 2차원 형상에 대한 투사 불변형 표현자(projective invariant shape descriptor)를 이용한 핸드/아이 캘리브레이션(hand/eye calibration) 방법에 관한 것이다.
주어진 영상 정보로부터 로봇을 제어하는 비주얼 서보잉 기술에서 원하는 영상을 얻기 위해서는 로봇의 핸드(hand)와, 로봇의 핸드에 장착된 카메라(camera)간의 변환(transformation) 관계를 알아야 하는데, 이를 핸드/아이 캘리브레이션이라 한다. 핸드/아이 캘리브레이션을 수행하기 위해 가장 많이 사용되는 방법 중 하나는, 이미 알고 있는 움직임 정보를 로봇에게 주고, 이때 발생하는 영상의 변화로부터 원하는 정보를 추출하는 방법이다. 이 방법으로부터 로봇 핸드의 변환 정보를 원활하고 정확하게 추출하기 위해서는 변화된 영상간에 정확한 대응점을 찾는 것이 매우 중요하다.
종래에는 제한된 임의의 점들에 대한 대응점을 추출하거나, 인위적으로 특징점(feature point)을 추출함으로써 핸드/아이 캘리브레이션을 수행해 왔다. 그러나, 기존의 방법은 비선형적인 영상에 대해 선형화를 가정하여 수행되어 왔기 때문에, 매우 제한된 환경, 즉 선형화의 가정이 잘 적용되는 경우로 그 사용 범위가 제한되는 문제를 가지고 있다.
본 발명이 이루고자 하는 기술적 과제는, 로봇 핸드와 카메라간의 변환 정보를 원활하고 정확하게 추출할 수 있는 핸드/아이 캘리브레이션 방법을 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 있다.
도 1은 비주얼 서보잉 기술을 적용하기 위한, 카메라가 장착된 로봇 핸드의 일 예를 보여주는 도면이다.
도 2는 도 1에 도시된 카메라의 외관을 보여주는 도면이다.
도 3은 도 2에 도시된 카메라를 수학적으로 모델링 하기 위한 핀홀 카메라 모델(pin-hall camera model)을 보여주는 도면이다.
도 4는 도 2에 도시된 카메라에서 선형성이 성립되는 조건을 보여주는 도면이다.
도 5는 물체와 영상면 상의 좌표계 및 투사관계를 보여주는 도면이다.
도 6은 카메라 좌표계, 영상면상의 좌표계, 및 로봇 핸드에 대한 월드 좌표계 사이의 관계를 보여주는 도면이다.
도 7은 임의의 2차원 형상으로부터 투사 불변형 표현자를 구하는 방법을 설명하기 위한 도면이다.
도 8은 도 7에 도시된 2차원 형상으로부터 구해진 투사 불변형 표현자의 계산 결과를 보여주는 도면이다.
도 9는 본 발명의 바람직한 실시예에 따른 핸드/아이 캘리브레이션 방법을 보여주는 흐름도이다.
도 10은 도 9에 도시된 전영상과 후영상간의 대응점 추출 방법을 보여주는 상세 흐름도이다.
상기의 과제를 이루기 위하여 본 발명에 의한 핸드/아이 캘리브레이션 방법은, (a) 로봇 핸드에 부착된 카메라에 의해서 소정의 시간 간격을 두고 취득된 적어도 두 개 이상의 영상들로부터 2차원 형상에 대한 투사 불변형 표현자를 구하는 단계; (b) 상기 투사 불변형 표현자를 이용하여 상기 영상들간의 대응점을 추출하는 단계; (c) 상기 로봇 핸드의 병진운동으로부터 상기 대응점에 대한 회전 행렬을 구하는 단계; (d) 상기 로봇 핸드의 회전 및 병진운동으로부터 상기 대응점에 대한 평행 이동 벡터를 구하는 단계; 및 (e) 상기 (c) 및 상기 (d) 단계에서 구해진 상기 회전 행렬 및 상기 평행 이동 벡터를 근거로 하여 상기 로봇 핸드와 상기 카메라 사이의 관계를 규명하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위하여 본 발명에 의한 영상간의 대응점 추출 방법은, (a) 소정의 시간 간격을 두고 취득된 적어도 두 개 이상의 영상으로부터 2차원 형상에 대한 투사 불변형 표현자에 대한 오차를 정의하고, 노이즈 불변량을 계산하는 단계; (b) 상기 노이즈 불변량에 응답해서 대응점 결정에 사용될 드레솔드를 계산하는 단계; (c) 상기 영상들로부터 각각의 경계 데이터를 추출하고, 추출된 상기 각각의 경계 데이터를 N개의 데이터로 서브샘플링하는 단계; (d) 상기 투사 불변형 파라미터를 최소화하는 단계; (e) 최소화된 상기 투사 불변형 파라미터에 응답해서 상기 영상들 중 이후에 취득된 영상을 이전 영상으로 변환하는 단계; (f) 상기 영상에 대한 변환 전·후의 길이의 비를 고려하여 상기 경계 데이터간의 길이를 재조정하는 단계; 및 (g) 상기 경계선들간의 유사성을 비교하여, 상기 영상들간의 대응점을 결정하는 단계를 포함하는 것을 특징으로 한다.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
도 1은 비주얼 서보잉 기술을 적용하기 위한, 카메라(110)가 장착된 로봇 핸드(100)의 일 예를 보여주는 도면이다. 도 1을 참조하면, 산업용으로 사용되는 로봇 핸드(100)의 말단 부분에는 적어도 하나 이상의 CCD(charge-coupled device) 카메라(110)가 부착되어 있어, 로봇 핸드(100)의 움직임에 따라 취득된 영상의 분석 결과에 의해서 로봇 핸드(100)의 움직임을 파악하고 제어하게 된다.
도 2는 도 1에 도시된 카메라의 외관을 보여주는 도면이다. 도 2를 참조하면, 카메라(110)는 크게 본체(111), CCD 어레이(112), 렌즈(114)로 구성된다.렌즈(114)는 사람 눈의 수정체에 해당되는 역할을 수행한다. CCD 어레이(112)는 카메라의 렌즈(114)를 통해 투영된 영상이 실질적으로 맺히는 영상면(image plane)에 해당되며, 사람 눈의 망막과 같은 역할을 수행한다. 렌즈(114)의 초점을 무한대로 맞추었을 때 렌즈(114)의 중심에서 CCD 어레이(112)까지의 거리를 초점거리(focal length ; F)라 하는데, 초점 거리에 따라서 화상이 달리 보이는 특징이 있다. 아래에서 상세히 설명되겠지만, 초점거리(F)는 카메라와 피사체간의 거리를 측정하는 데 있어 중요한 파라미터로 사용된다.
도 3은 도 2에 도시된 카메라(110)를 수학적으로 모델링 하기 위한 핀홀 카메라 모델(pin-hall camera model)을 보여주는 도면이다. 도 3을 참조하면, 핀홀 카메라 모델에서 영상에 대한 투사변환(projective transformation) 식은 다음과 같이 표시된다.
여기서, (u,v,1)는 영상면에서 정의된 점(q)의 좌표이고, (X, Y, Z, 1)는 물체 좌표계에서 대응되는 점(P)의 좌표이고, tij는 물체면과 영상면 사이의 변형 매트릭스(transformation matrix)의 ij번째 요소를 각각 나타낸다.
이 때, 대상 물체가 2차원 평면인 경우(즉, Z=0), [수학식 1]은 다음과 같이 변형된다.
[수학식 1] 및 [수학식 2]에서 알 수 있는 바와 같이, 대상 물체로부터 영상을 취득하는 과정은 비선형적이다. 그러나, 카메라(110)에 의해 취득된 2차원 형상은 [수학식 2]에서 나타내고 있는 바와 같은 비선형적인 투사변환식을 그대로 사용하지 않고, 다음과 같이 선형화된 투사변환식을 사용한다.
도 4는 도 2에 도시된 카메라(110)에서 선형성이 성립되는 조건을 보여주는 도면이다. 도 4에 도시된 바와 같이, 물체의 크기(S0)에 비하여 카메라(110)로부터 물체까지의 거리(S)가 충분히 크게 되면, [수학식 2]에서 나타내고 있는 비선형적인 투사변환식은 [수학식 3]과 같이 선형화된 투사변환식으로 변환된다.
이와 같은 특성을 만족시키는 대표적인 선형화 표현자로는 퓨리에 표현자(Fourier descriptor)가 있다. 퓨리에 표현자는 2차원 물체의 이미지의 외곽선에 대해 2차원 퓨리에 변환을 수행하여 얻는 퓨리에 계수들로 그 물체의 이미지를 표현한다. 그러나, 이 방법은 카메라의 선형성이 보장되는 경우(즉, 카메라(110)와 물체 사이가 먼 경우)에만 적용될 수 있다. 따라서, 본 발명에서는이와 같은 제약을 극복하기 위해 카메라(110)에 의해 취득된 영상을 투사 불변형 표현자(I)를 사용하여 분석한다. 그 결과, 반드시 카메라의 선형성이 보장되는 경우(즉, 카메라(110)와 물체 사이가 먼 경우)가 아니더라도, 영상을 취득하는 과정에서 나타나는 카메라(110)의 비선형적인 특성에 영향을 받지 않고, 노이즈 또는 영상의 경사각도의 변화에도 건실한 특성을 갖게 된다.
도 6은 카메라 좌표계, 영상면상의 좌표계, 및 로봇 핸드에 대한 월드 좌표계 사이의 관계를 보여주는 도면이다. 도 6을 참조하면, 로봇 핸드(100)에 대응되는 월드 좌표계는, 카메라 좌표계에 대해 회전 변환 및 평행 이동(즉, 병진운동)을 수행한 것과 같음을 알 수 있다. 그러므로, 로봇 핸드/아이 캘리브레이션은, 구체적으로 로봇 핸드(100)와 카메라(110) 사이에 존재하는 회전행렬(rotation matrix) R의 각 요소(카메라(110)의 방향에 대응)와, 평행 이동 벡터(translation vector) t의 각 요소(카메라(110)의 위치에 대응)를 구하는 것과 같다고 할 수 있다.
본 발명에 따른 핸드/아이 캘리브레이션 방법에서는 렌즈(114)의 왜곡이나 광축의 어긋남 등이 무시될 수 있는 핀홀 카메라 모델이 사용된다. 도 6에 도시된 로봇 핸드(100)와 카메라(110) 사이의 관계는 [수학식 4]와 같이 나타낼 수 있고, 카메라(110)와 영상 사이의 관계는 [수학식 5]와 같이 나타낼 수 있다.
여기서, Xh는 로봇 핸드(100)의 좌표계(즉, 월드 좌표계)를 나타내고, Xc는카메라(110)의 좌표계를 나타낸다. 그리고, R은 회전 행렬을 나타내고, t는 평행 이동 벡터를 나타낸다.
여기서, u 및 u0는 영상면 상의 x 좌표를 나타내고, v 및 v0는 영상면 상의 y 좌표를 나타낸다. 그리고, f는 카메라 렌즈(114)와 CCD 어레이(112) 사이의 초점거리를 나타내고, Sx 및 Sy는 각각 카메라의 스케일 팩터(scale factor)를 나타낸다. 초점거리(f) 및 스케일 팩터(Sx, Sy)는 각각 카메라(110)의 고유 특성을 나타내는 특성치로서, 카메라(110)의 스펙에 따라 고유의 값이 정해져 있다.
알려진 로봇의 움직임 정보에 대하여 [수학식 4]를 적용하게 되면, [수학식 4]는 다음과 같이 변형된다.
[수학식 6]을 이미 알고 있는 카메라(110)의 움직임 Xc1에 대해 정리하게 되면,
이 된다. [수학식 7]에서 회전운동을 배제하고 순수한 병진운동(translation)만을 고려한 경우, 회전 행렬 R은
에 의해 구해지게 된다. 이를 3가지 경우의 로봇의 움직임 벡터 (tp1, tp2, tp3)에 대해 나타내게 되면,
이 된다. 이 때, 대응되는 영상 벡터는 (OF1, OF2, OF3)이 되며, 각각의 영상 벡터는
으로 정의된다. 여기서,이고,이다.
위 식으로부터 고유 파라미터(intrinsic parameter)를 계산하면,
이 된다. [수학식 11]을 정리하면
이 된다. 여기서,이고,이다. [수학식 12]를 행렬식으로 정리하면,
이 된다.
이어서, 로봇의 회전 운동과 병진운동 모두를 고려하여, 로봇 핸드(100)와 카메라(110)간의 평행 이동 벡터 t를 계산하면 다음과 같다.
여기서,은 이미 알고 있는 움직임 정보이고, R은 로봇 핸드(100)의 순수한 3번의 병진운동으로부터 계산된 회전행렬이다. 그리고,은 영상 벡터이고, I는 임의의 2차원 형상으로부터 계산된 투사 불변형 표현자이다. 핸드/아이 캘리브레이션의 정밀도를 높이기 위해서는 카메라(110)의 촬영 범위 내에 미리 정해진 좌표 값에 대응되는 대응점들을 정확하게 설정하는 것이 매우 중요하다. 따라서, 본 발명에서는 비선형 변환시에도 그 값이 변하지 않는 투사 불변형 표현자를 이용하여 카메라(110)에 의해 취득된 영상들간의 대응점들을 찾아내고, 이를 캘리브레이션 타겟으로 사용하여 핸드/아이 캘리브레이션을 수행한다.
핸드/아이 캘리브레이션의 기본 요소로 사용되는 투사 불변형 표현자(I)는 다음과 같이 정의된다.
여기서, P는 물체점이고, q는 이에 대응되는 영상점이다(도 3 참조). [수학식 15]에 사용된 det(·)은 아래의 [수학식 16]과 같이 정의된다.
[수학식 15] 및 [수학식 16]과 같이 표시되는 투사 불변형 표현자(I)는 [수학식 2]와 같은 비선형 변환시에도 변하지 않는 정보로서, 카메라(110)에 의해 취득된 영상의 형태가 변화하더라도 궁극적으로 그 값은 변하지 않게 된다.
도 7은 임의의 2차원 형상으로부터 투사 불변형 표현자(I)를 구하는 방법을 설명하기 위한 도면이다. 도 7을 참조하면, 먼저 도면에 표시된 2차원 형상의 외곽선을 추출하고, 추출된 외곽선을 5 개의 구간으로 균등 분할한다. 그리고, 5등분된 각 구간을 구성하는 각각의 점들(X1(1), X1(k), X2(1), X2(k), X3(1), X3(k), X4(1), X4(k), X5(1), X5(k))의 좌표를 구한 후, [수학식 15] 및 [수학식 16]에 의거하여 투사 불변형 표현자를 계산한다. 투사 불변형 표현자의 계산시 상기 점들(X1(1), X1(k), X2(1), X2(k), X3(1), X3(k), X4(1), X4(k), X5(1), X5(k))은 2차원 형상의 외곽선을 따라 외곽선 길이의 1/N배 만큼씩 이동해 가면서 각 점들이 최초의 위치에 도달할 때까지 반복하여 [수학식 15]에 대입된다. 이를 수학식으로 나타내면 다음과 같다.
여기서,
,
,
,
이고, 1≤k ≤N이며, X(k) 및 Y(k)는 각각 2차원 형상의 외곽선의 X축 및 Y축 좌표함수를 각각 의미한다.
앞에서 설명한 방법에 의해서 도 7의 형상으로부터 구해진 투사 불변형 표현자(I)의 계산 결과는 도 8의 그래프와 같다. 도 8에 도시된 투사 불변형 표현자(I)의 계산 결과(즉, 투사 불변량)는, 카메라(110)에 의해 취득된 영상의 형태가 변형되더라도 고유의 값을 유지하는 특성을 가진다. 뿐만 아니라, 상기 투사 불변형 표현자(I)는 노이즈나 경사각(slant angle)의 변화에 대하여 영향을 받지 않는 특성을 가진다. 따라서, 이 같은 투사 불변량 값을 핸드/아이 캘리브레이션에 사용하게 되면, 캘리브레이션의 정밀도가 더욱 향상될 수 있게 된다.
투사 불변형 표현자(I)를 이용하여 카메라(110)에 의해 취득된 영상들간의 대응점을 추출하는 과정은 다음과 같다.
영상들간의 대응점을 추출하기 위해서는 먼저 투사 불변형 표현자(I)에 대한 오차(error)가 정의되어야 하는데, 본 발명에서는 가우시안 노이즈 모델(Gaussiannoise model)을 이용하여 상기 오차를 정의한다. 이를 위해 상기 [수학식 17]을 행렬식으로 나타내면 다음과 같다.
또는,
여기서,을 참 값(true)의 데이터,을 노이즈 관측 파라미터(noisy observation parameter)라 할 때, 노이즈 관측 파라미터는
과 같이 표시된다. 여기서, 노이즈 항(noise terms)는, 평균(mean)이 0이고 편차(variance)가인 독립 분포 노이즈 항(independently distributed noise terms)으로서, 다음과 같이 정의된다.
영상 상에 존재하는 노이즈 양(noisy measurements)을 관찰하고, 이를 이용하여 노이즈 불변량(noisy invariant)을 표시하면 다음과 같다.
노이즈 불변량에 대한 예측 값(expected value)과 편차(variance)를 구하기 위하여에 대해 테일러 급수(Taylor series)로 전개하면
이 된다. 이 경우, 편차는
이 된다. 그리고, 주어진 노이즈 불변량에 대하여 드레솔드(threshold)는 다음과 같이 정의된다.
로봇 핸드(100)에 부착된 카메라(110)로부터 취득된 영상들로부터 대응점을 찾는 과정은 투사 불변형 파라미터들을 반복적으로 계산함에 의해서 이루어지는데,카메라(110)로부터 취득된 전영상과 후영상의 경계 데이터는 다음과 같이 표시된다.
여기서,는 장면(scene) 및 모델(model)의 경계선 상에 있는 점들의 개수를 각각 나타내며, 이들 경계 데이터들은 N 개의 데이터로 서브샘플링(subsampling)된다. 이를 수학식으로 나타내면 다음과 같다.
여기서,의 값을 나타낸다. 그리고, N은 정규화된 윤곽선(normalized contour)상에 있는 점들의 개수를 나타낸다.
이어서, [수학식 26]에서 정의된을 이용하여 다음의 식을 최소화(minimizing) 하는 투사 불변형 표현자를 구하게 된다.
여기서, A, b, c, 및 d는 두 영상간의 변형으로부터 정의되는 변수로서, 아래의 [수학식 28] 및 [수학식 29]와 같이 표시된다.
[수학식 27]에서 웨이트(weight ;)는 [수학식 23]에 의해 정의된 편차에 의해 구해지며, 이를 수학식으로 표시하면 다음과 같다.
[수학식 27] 내지 [수학식 30]에 의해서 투사 불변형 파라미터를 최소화하는 과정은 다음과 같이 표시된다.
여기서,
[수학식 31]에 의하여 투사 불변형 파라미터가 최소화되면, 카메라(110)에의해 취득된 후영상은 전영상으로 변환된다. 이를 수학식으로 나타내면 다음과 같다.
여기서, A, b, c, 및 d는 두 영상간의 변형으로부터 정의되는 변수를 의미한다.
[수학식 32]와 같이 영상의 변환이 수행되고 나면, 아래의 [수학식 33]과 같이 변환 전과 변환 후의 길이의 비()가 계산되고, 이를 이용하여 각 경계 데이터 사이의 길이가 재조정된다.
[수학식 33]에 의해 구해진 각 경계 데이터 사이의 길이의 비()를 이용하여 후영상을 다시 샘플링(sampling) 하게 되면, 후영상은
가 된다.
이어서, 두 영상간의 오차가 일정 범위 내에 들어오도록 상기 [수학식 29]내지 [수학식 34]의 과정을 반복하여 수행한다. 상기 오차는 대응점의 오차와 함께 두 경계선의 투사 불변형 표현자(Im, Ii)의 유사성으로 표현되는데, 두 경계선의 투사 불변형 표현자(Im, Ii)의 유사도 값(similarity value)은 다음과 같이 정의된다.
이와 같은 과정을 통해 구해진 유사도 값들 중 그 최대 값이 소정의 드레솔드 값보다 크게 되면, 전영상과 후영상의 대응점들이 서로 일치된 것으로 판단한다. [수학식 35]에서 △I 값과, 대응점의 매칭 여부를 결정하기 위한 드레솔드 값은, 본 발명이 실시되는 환경 및 요구되는 정밀도 등에 따라 적절한 값이 선택되어 사용된다.
도 9는 본 발명의 바람직한 실시예에 따른 핸드/아이 캘리브레이션 방법을 보여주는 흐름도이다. 도 9를 참조하면, 본 발명에 따른 핸드/아이 캘리브레이션 방법은, 먼저 임의의 2차원 형상으로부터 투사 불변형 표현자(I)를 계산한다(210 단계). 이어서, 계산된 투사 불변형 표현자(I)를 이용하여 카메라(110)로부터 취득된 전영상과 후영상간의 대응점을 추출한다(220 단계). 220 단계에서 추출된 대응점은 핸드/아이 캘리브레이션을 수행하기 위한 캘리브레이션 타겟으로 사용된다.
그리고, 로봇의 순수 병진운동으로부터 특정 좌표(즉, 추출된 대응점)에 대한 회전 행렬(R)이 계산된다(230 단계). 이 때, 회전 행렬(R)의 계산은 [수학식 8]에 의해 수행된다. 이어서, 로봇의 회전 및 병진운동으로부터 특정 좌표(즉, 추출된 대응점)에 대한 평행 이동 벡터(t)가 계산된다(240 단계). 이 때, 평행 이동 벡터(t)의 계산은 [수학식 14]에 의해 수행된다. 230 및 240 단계에서 회전 행렬(R)과 평행 이동 벡터(t)가 구해지게 되면, 로봇 핸드(100)와 카메라(110) 사이의 관계인을 규명하는 핸드/아이캘리브레이션이 완료된다(250 단계). 여기서,는 로봇 핸드(100)의 좌표계를 나타내고,는 로봇 핸드(100)에 부착된 카메라(110)의 좌표계를 각각 나타낸다.
도 10은 도 9에 도시된 전영상과 후영상간의 대응점 추출 방법을 보여주는 상세 흐름도이다. 일반적으로, 정확한 핸드/아이 캘리브레이션을 수행하기 위해서는 정밀하게 구성된 캘리브레이션 타겟이 필요하다. 따라서, 본 발명에서는 캘리브레이션 타겟을 정밀하게 구성하기 위해, 도 10에 도시된 바와 같이 카메라(110)의 비선형성이나 노이즈 등에 영향을 받지 않는 투사 불변형 표현자(I)를 이용하여 카메라(110)에 의해 취득되는 연속된 영상들에 대한 대응점을 추출하고, 이를 캘리브레이션 타겟으로 사용한다.
이를 위하여 본 발명에서는, 먼저 각각의 영상에서 구해진 투사 불변형 표현자(I)에 대한 오차를 정의하고(2200 단계), 영상의 노이즈 양을 분석하여 노이즈 불변량을 계산한다(2210 단계). 그리고, 2210 단계에서 계산된 노이즈 불변량에 응답해서 드레솔드를 계산한다(2220 단계).
이어서, 카메라(110)에 의해 취득된 전영상과 후영상의 경계 데이터를 추출하고(2230 단계), 추출된 경계 데이터를 N개의 데이터로 서브샘플링한다(2240 단계). 그리고, [수학식 31]에 의거하여 투사 불변형 파라미터를 최소화하고(2250 단계), 최소화된 투사 불변형 파라미터에 응답해서 후영상을 전영상으로 변환한다(2260 단계). 그리고 나서, 영상의 변환전과 변환 후의 길이의 비를 고려하여 각 경계 데이터 사이의 길이를 재조정한다(2270 단계).
2270 단계에서 경계 데이터 사이의 길이가 재조정되면, 전영상과 후영상에 대한 두 경계선간의 유사성을 비교하고(2280 단계), 상기 유사성 비교 결과를 이용하여 전영상과 후영상간의 대응점을 추출한다(2290 단계).
이와 같이, 본 발명에 의한 핸드/아이 캘리브레이션 방법은, 투사 불변형 표현자(I)를 이용하여 전영상과 후영상간의 대응점을 추출한다. 따라서, 노이즈나 비선형적인 카메라의 특성 등에 영향을 받지 않고 정확한 핸드/아이 캘리브레이션을 수행할 수 있게 된다.
이상에서, 본 발명의 실시예로서 로봇의 핸드/아이 캘리브레이션에 대해 구체적으로 예시되었으나, 그밖에도 적어도 하나 이상의 카메라를 통해 취득된 영상을 통해서 해당 오브젝트의 동작을 제어하는 다양한 종류의 비주얼 서보잉 장치들에도 본 발명을 적용할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상에 설명한 바와 같이, 본 발명에 의한 핸드/아이 캘리브레이션 방법에 의하면, 투사 불변형 표현자를 이용하여 이전 영상과 이후 영상간의 대응점이 정확하게 추출된다. 따라서, 노이즈나 비선형적인 카메라의 특성 등에 영향을 받지 않고 정확한 핸드/아이 캘리브레이션이 수행될 수 있다.

Claims (15)

  1. (a) 로봇 핸드에 부착된 카메라에 의해서 소정의 시간 간격을 두고 취득된 적어도 두 개 이상의 영상들로부터 2차원 형상에 대한 투사 불변형 표현자를 구하는 단계;
    (b) 상기 투사 불변형 표현자를 이용하여 상기 영상들간의 대응점을 추출하는 단계;
    (c) 상기 로봇 핸드의 병진운동으로부터 상기 대응점에 대한 회전 행렬을 구하는 단계;
    (d) 상기 로봇 핸드의 회전 및 병진운동으로부터 상기 대응점에 대한 평행 이동 벡터를 구하는 단계; 및
    (e) 상기 (c) 및 상기 (d) 단계에서 구해진 상기 회전 행렬 및 상기 평행 이동 벡터를 근거로 하여 상기 로봇 핸드와 상기 카메라 사이의 관계를 규명하는 단계를 포함하는 것을 특징으로 하는 핸드/아이 캘리브레이션 방법.
  2. 제 1 항에 있어서,
    상기 대응점은 상기 핸드/아이 캘리브레이션을 수행하기 위한 캘리브레이션 타겟인 것을 특징으로 하는 핸드/아이 캘리브레이션 방법.
  3. 제 1 항에 있어서,
    상기 회전 행렬 R은, 영상 벡터가이고, 이미 알고 있는 상기 로봇 핸드의 움직임 정보가일 때,의 값을 가지는 것을 특징으로 하는 핸드/아이 캘리브레이션 방법.
  4. 제 1 항에 있어서,
    상기 평행 이동 벡터 t는, 상기 회전 행렬이 R, 영상 벡터가, 이미 알고 있는 상기 로봇 핸드의 움직임 정보가, 그리고 상기 대응점에 대한 투사 불변형 표현자가 I일 때,의 값을 가지는 것을 특징으로 하는 핸드/아이 캘리브레이션 방법.
  5. 제 1 항에 있어서,
    상기 로봇 핸드의 좌표계는, 상기 카메라의 좌표계와 상기 회전 행렬의 곱에 상기 평행 이동 벡터를 더해 준 것과 같은 것을 특징으로 하는 핸드/아이 캘리브레이션 방법.
  6. 제 1 항에 있어서,
    상기 투사 불변형 표현자는, P가 물체점이고, q가 상기 물체점 P에 대응되는 영상점일 때
    이며,
    상기 det(·)는
    인 것을 특징으로 하는 핸드/아이 캘리브레이션 방법.
  7. 제 1 항에 있어서,
    상기 (a) 단계는, 상기 2차원 형상의 외곽선을 n 개의 구간으로 분할한 후, 상기 각 구간을 구성하는 각각의 점들에 대한 좌표를 구하고, 상기 좌표가 각 구간의 최초의 위치에 도달할 때까지 상기 좌표를 상기 외곽선 길이의 1/N배 만큼씩 이동해 가면서 상기 좌표에 대한 투사 불변량을 반복적으로 계산하는 것을 특징으로 하는 핸드/아이 캘리브레이션 방법.
  8. 제 7 항에 있어서,
    상기 n 개의 구간 각각에서 구해지는 상기 구간별 투사 불변형 표현자는, 1≤k ≤N이고, X(k) 및 Y(k)가 상기 외곽선의 X축 및 Y축 좌표함수를 각각 의미할 때,
    ,
    ,
    ,
    이고,
    인 것을 특징으로 하는 핸드/아이 캘리브레이션 방법.
  9. 제 1 항에 있어서, 상기 (b) 단계는,
    (b-1) 상기 투사 불변형 표현자에 대한 오차를 정의하고, 노이즈 불변량을 계산하는 단계;
    (b-2) 상기 노이즈 불변량에 응답해서 대응점 결정에 사용될 드레솔드를 계산하는 단계;
    (b-3) 상기 영상들로부터 각각의 경계 데이터를 추출하고, 추출된 각각의 상기 경계 데이터를 N개의 데이터로 서브샘플링하는 단계;
    (b-4) 상기 투사 불변형 파라미터를 최소화하는 단계;
    (b-5) 최소화된 상기 투사 불변형 파라미터에 응답해서 상기 영상들 중 이후에 취득된 영상을 이전 영상으로 변환하는 단계;
    (b-6) 상기 영상에 대한 변환 전·후의 길이의 비를 고려하여 상기 경계 데이터간의 길이를 재조정하는 단계; 및
    (b-7) 상기 경계선들간의 유사성을 비교하여, 상기 영상들간의 대응점을 추출하는 단계를 포함하는 것을 특징으로 하는 핸드/아이 캘리브레이션 방법.
  10. 제 9 항에 있어서,
    상기 오차는 가우시안 노이즈 모델(Gaussian noise model)을 이용하여 정의되는 것을 특징으로 하는 핸드/아이 캘리브레이션 방법.
  11. 제 9 항에 있어서,
    상기 핸드/아이 캘리브레이션 방법은, 상기 오차가 소정의 범위에 들어올 때까지 상기 (b-4)내지 상기 (b-6) 단계를 반복하여 수행하는 것을 특징으로 하는 핸드/아이 캘리브레이션 방법.
  12. (a) 소정의 시간 간격을 두고 취득된 적어도 두 개 이상의 영상으로부터 2차원 형상에 대한 투사 불변형 표현자에 대한 오차를 정의하고, 노이즈 불변량을 계산하는 단계;
    (b) 상기 노이즈 불변량에 응답해서 대응점 결정에 사용될 드레솔드를 계산하는 단계;
    (c) 상기 영상들로부터 각각의 경계 데이터를 추출하고, 추출된 상기 각각의 경계 데이터를 N개의 데이터로 서브샘플링하는 단계;
    (d) 상기 투사 불변형 파라미터를 최소화하는 단계;
    (e) 최소화된 상기 투사 불변형 파라미터에 응답해서 상기 영상들 중 이후에 취득된 영상을 이전 영상으로 변환하는 단계;
    (f) 상기 영상에 대한 변환 전·후의 길이의 비를 고려하여 상기 경계 데이터간의 길이를 재조정하는 단계; 및
    (g) 상기 경계선들간의 유사성을 비교하여, 상기 영상들간의 대응점을 결정하는 단계를 포함하는 것을 특징으로 하는 영상간의 대응점 추출 방법.
  13. 제 12 항에 있어서,
    상기 오차는 가우시안 노이즈 모델(Gaussian noise model)을 이용하여 정의되는 것을 특징으로 하는 영상간의 대응점 추출 방법.
  14. 제 12 항에 있어서,
    상기 영상간의 대응점 추출 방법은, 상기 오차가 소정의 범위에 들어올 때까지 상기 (d)내지 상기 (f) 단계를 반복하여 수행하는 것을 특징으로 하는 영상간의 대응점 추출 방법.
  15. 제 1 항 내지 제 14 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR10-2002-0072695A 2002-11-21 2002-11-21 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법 KR100468857B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR10-2002-0072695A KR100468857B1 (ko) 2002-11-21 2002-11-21 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법
US10/706,936 US7019825B2 (en) 2002-11-21 2003-11-14 Hand/eye calibration method using projective invariant shape descriptor of 2-dimensional image
DE10355283A DE10355283A1 (de) 2002-11-21 2003-11-18 Hand/Auge-Kalibrierverfahren und zugehöriges Punktextraktionsverfahren
FR0313536A FR2847696A1 (fr) 2002-11-21 2003-11-19 Procede d'etalonnage main/oeil utilisant un descripteur de forme invariant en projection pour une image bidimensionnelle
US11/300,435 US7151853B2 (en) 2002-11-21 2005-12-15 Hand/eye calibration method using projective invariant shape descriptor of 2-dimensional image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0072695A KR100468857B1 (ko) 2002-11-21 2002-11-21 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법

Publications (2)

Publication Number Publication Date
KR20040044620A KR20040044620A (ko) 2004-05-31
KR100468857B1 true KR100468857B1 (ko) 2005-01-29

Family

ID=36263152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0072695A KR100468857B1 (ko) 2002-11-21 2002-11-21 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법

Country Status (4)

Country Link
US (2) US7019825B2 (ko)
KR (1) KR100468857B1 (ko)
DE (1) DE10355283A1 (ko)
FR (1) FR2847696A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102111655B1 (ko) * 2019-11-01 2020-06-04 주식회사 뉴로메카 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
WO2021086108A1 (ko) * 2019-11-01 2021-05-06 주식회사 뉴로메카 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623685B2 (en) * 2004-08-20 2009-11-24 The Regents Of The University Of Colorado Biometric signatures and identification through the use of projective invariants
KR100929475B1 (ko) * 2005-02-23 2009-12-02 파나소닉 전공 주식회사 입상물체의 검사방법 및 그 방법을 실시하는 검사장치
CN1330466C (zh) * 2005-04-21 2007-08-08 上海交通大学 基于运动选择的机器人在线手眼标定方法
DE102006005958A1 (de) * 2006-02-08 2007-08-16 Kuka Roboter Gmbh Verfahren zum Erzeugen eines Umgebungsbildes
US7684025B2 (en) * 2006-10-19 2010-03-23 Xerox Corporation Auto-adjust of imaging module mechanical setup
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
EP2808645B1 (en) * 2012-01-23 2019-02-20 Nec Corporation Camera calibration device, camera calibration method, and camera calibration program
EP2728374B1 (de) 2012-10-30 2016-12-28 Technische Universität Darmstadt Erfindung betreffend die Hand-Auge-Kalibrierung von Kameras, insbesondere Tiefenbildkameras
EP2981397B1 (en) 2013-04-05 2017-06-14 ABB Schweiz AG A robot system and method for calibration
US9652833B2 (en) * 2014-03-18 2017-05-16 Honeywell International, Inc. Point spread function estimation for motion invariant images
CN104864807B (zh) * 2015-04-10 2017-11-10 深圳大学 一种基于主动双目视觉的机械手手眼标定方法
CN104842371B (zh) * 2015-05-29 2016-08-24 山东大学 一种基于非最小化的最优化算法的机器人手眼标定方法
CN105215972A (zh) * 2015-09-18 2016-01-06 中国科学院合肥物质科学研究院 一种破拆机器人手眼协调定位装置及方法
US10076842B2 (en) * 2016-09-28 2018-09-18 Cognex Corporation Simultaneous kinematic and hand-eye calibration
CN106695796B (zh) * 2016-11-02 2019-04-05 北京信息科技大学 基于ransac的便携式激光扫描测量臂手眼标定方法
CN110288660B (zh) * 2016-11-02 2021-05-25 北京信息科技大学 一种基于凸松弛全局优化算法的机器人手眼标定方法
KR102576842B1 (ko) 2017-01-04 2023-09-12 삼성전자주식회사 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치
CN106920261B (zh) * 2017-03-02 2019-09-03 江南大学 一种机器人手眼静态标定方法
CN107053177B (zh) * 2017-04-13 2020-07-17 北京邮电大学 改进的基于筛选和最小二乘法的手眼标定算法
CN110998235B (zh) * 2017-07-28 2024-03-01 高通股份有限公司 在机器人式运载工具中的图像输出调整
CN107993227B (zh) * 2017-12-15 2020-07-24 深圳先进技术研究院 一种获取3d腹腔镜手眼矩阵的方法和装置
CN108393887B (zh) * 2018-01-31 2019-03-19 湖北工业大学 一种用于工件手眼标定方法
CN108748146A (zh) * 2018-05-30 2018-11-06 武汉库柏特科技有限公司 一种机器人手眼标定方法及系统
CN108994832B (zh) * 2018-07-20 2021-03-02 上海节卡机器人科技有限公司 一种基于rgb-d相机的机器人手眼系统及其自标定方法
CN109493389B (zh) * 2018-10-15 2021-11-09 同济大学 一种基于深度学习的相机标定方法及系统
CN109702738B (zh) * 2018-11-06 2021-12-07 深圳大学 一种基于三维物体识别的机械臂手眼标定方法及装置
CN109859275B (zh) * 2019-01-17 2022-08-02 南京邮电大学 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN110000790B (zh) * 2019-04-19 2021-11-16 深圳市科瑞软件技术有限公司 一种SCARA机器人eye-to-hand手眼系统的标定方法
CN110238849B (zh) * 2019-06-13 2021-11-12 深圳市汇川技术股份有限公司 机器人手眼标定方法及装置
CN110370272B (zh) * 2019-06-20 2021-08-31 重庆大学 一种基于垂直反射的机器人tcp标定系统
CN110500990B (zh) * 2019-07-09 2020-08-18 同济大学 一种六自由度测量系统及方法
CN110238820A (zh) * 2019-07-12 2019-09-17 易思维(杭州)科技有限公司 基于特征点的手眼标定方法
CN110555889B (zh) * 2019-08-27 2021-01-15 西安交通大学 一种基于CALTag和点云信息的深度相机手眼标定方法
CN110853103B (zh) * 2019-11-12 2022-06-10 佛山智能装备技术研究院 一种用于深度学习姿态估计的数据集制作方法
CN111152223A (zh) * 2020-01-09 2020-05-15 埃夫特智能装备股份有限公司 一种全自动机器人手眼标定方法
CN111815634A (zh) * 2020-09-09 2020-10-23 苏州浪潮智能科技有限公司 基于机器视觉内存对位接插方法与系统、设备、存储介质
CN112067337B (zh) * 2020-09-21 2022-09-23 郑州轻工业大学 基于标准球双目机器人的快速手眼标定装置及标定方法
CN112022355B (zh) * 2020-09-27 2022-06-10 平安科技(深圳)有限公司 基于计算机视觉的手眼标定方法及装置、存储介质
CN112454332B (zh) * 2020-11-25 2022-02-22 中科新松有限公司 一种用于手眼标定的机器人轨迹点生成方法
CN112936301B (zh) * 2021-01-26 2023-03-03 深圳市优必选科技股份有限公司 一种机器人手眼标定方法、装置、可读存储介质及机器人
DE102021211185A1 (de) 2021-10-05 2023-04-06 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern eines Roboters
CN114147728B (zh) * 2022-02-07 2022-05-06 杭州灵西机器人智能科技有限公司 通用的机器人眼在手上标定方法和系统
CN114227700B (zh) * 2022-02-23 2022-05-20 杭州灵西机器人智能科技有限公司 机器人的手眼标定方法和系统
KR102585332B1 (ko) * 2022-12-06 2023-10-05 성형원 로봇 핸드와 로봇 핸드와 분리된 카메라 간의 캘리브레이션을 수행하는 방법 및 디바이스

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5329469A (en) * 1990-05-30 1994-07-12 Fanuc Ltd. Calibration method for a visual sensor
JPH0882505A (ja) * 1994-09-12 1996-03-26 Mazda Motor Corp カメラパラメーターのキャリブレーション方法および物体の位置計測方法
US5523663A (en) * 1992-05-15 1996-06-04 Tsubakimoto Chain Co. Method for controlling a manipulator relative to a moving workpiece
JPH08272414A (ja) * 1995-03-29 1996-10-18 Fanuc Ltd ロボットとハンドカメラを用いた視覚センサのキャリブレーション方法
US6321137B1 (en) * 1997-09-04 2001-11-20 Dynalog, Inc. Method for calibration of a robot inspection system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
US5550376A (en) * 1995-05-22 1996-08-27 General Electric Company Method of calibration of imaging devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5329469A (en) * 1990-05-30 1994-07-12 Fanuc Ltd. Calibration method for a visual sensor
US5523663A (en) * 1992-05-15 1996-06-04 Tsubakimoto Chain Co. Method for controlling a manipulator relative to a moving workpiece
JPH0882505A (ja) * 1994-09-12 1996-03-26 Mazda Motor Corp カメラパラメーターのキャリブレーション方法および物体の位置計測方法
JPH08272414A (ja) * 1995-03-29 1996-10-18 Fanuc Ltd ロボットとハンドカメラを用いた視覚センサのキャリブレーション方法
US6321137B1 (en) * 1997-09-04 2001-11-20 Dynalog, Inc. Method for calibration of a robot inspection system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102111655B1 (ko) * 2019-11-01 2020-06-04 주식회사 뉴로메카 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
WO2021086108A1 (ko) * 2019-11-01 2021-05-06 주식회사 뉴로메카 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
US11642789B2 (en) 2019-11-01 2023-05-09 Neuromeka Automatic calibration method and device for robot vision system

Also Published As

Publication number Publication date
FR2847696A1 (fr) 2004-05-28
US20060095226A1 (en) 2006-05-04
US20040102911A1 (en) 2004-05-27
DE10355283A1 (de) 2004-06-17
US7151853B2 (en) 2006-12-19
KR20040044620A (ko) 2004-05-31
US7019825B2 (en) 2006-03-28

Similar Documents

Publication Publication Date Title
KR100468857B1 (ko) 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법
JP6573354B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR100493159B1 (ko) 이동체의 효율적 자기 위치 인식을 위한 랜드마크 및 이를이용한 자기 위치 인식 장치 및 방법
EP2479726B1 (en) Image comparison system and image comparison method
EP2459959B1 (en) Position and orientation calibration method and apparatus
US6438507B1 (en) Data processing method and processing device
US5706419A (en) Image capturing and processing apparatus and image capturing and processing method
KR101857472B1 (ko) 카메라 보정 방법 및 이에 대한 시스템
JP2003346157A (ja) 物体追跡装置及び方法
JPH10253322A (ja) 空間内で物体を位置指定する方法および装置
JP2008304269A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
CN111524194B (zh) 一种激光雷达和双目视觉相互融合的定位方法及终端
EP1964412B1 (en) Method for determining dense disparity fields in stereo vision
JP2002063567A (ja) 物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
KR20050061115A (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
JP7121936B2 (ja) カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法およびプログラム
US6931145B1 (en) Method and apparatus for measuring motion of an object surface by multi-resolution analysis using a mesh model
JPH07244735A (ja) 3次元形状復元方法および装置
KR100438818B1 (ko) 2차원 물체 이미지의 표현자 생성방법 및 2차원 물체 이미지의인식방법
US20240046593A1 (en) Modelling method for making a virtual model of a user's head
US20230368409A1 (en) Storage medium, model training method, and model training device
Halmetschlager-Funek et al. Towards autonomous auto calibration of unregistered RGB-D setups: The benefit of plane priors
KR100469622B1 (ko) 푸시브룸 영상에 대한 에피폴라 기하모델의 획득방법
Shahbazi 2. 5D Feature Tracking and 3D Motion Modeling

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121210

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20131217

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20141224

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20161220

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20181218

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 16