KR101064224B1

KR101064224B1 - 인식과 추적의 결합을 통한 물체의 포즈 실시간 추정 방법

Info

Publication number: KR101064224B1
Application number: KR1020090134625A
Authority: KR
Inventors: 이석한; 이승
Original assignee: 성균관대학교산학협력단
Priority date: 2009-12-30
Filing date: 2009-12-30
Publication date: 2011-09-14
Also published as: KR20110077937A

Abstract

본 발명은 인식과 추적의 결합을 통한 물체의 포즈 실시간 추정 방법에 관한 것이다. 일 구현 예에 있어서, 물체 포즈 실시간 추정 방법이 제공된다. 물체 포즈 실시간 추정 방법은 (a) 물체를 촬영한 영상을 입력받는 단계; (b) 상기 영상으로부터 코너 포인트를 구하는 단계; 및 (c) 상기 (b) 단계와 병렬적으로 수행되며, 상기 (b) 단계에서 구해진 상기 코너 포인트가 새로이 제공되는 경우에는 제공된 상기 코너 포인트를 상기 (b) 단계의 수행에 소요되는 시간만큼 보상함으로써 얻어진 보상된 코너 포인트를 구하고, 상기 보상된 코너 포인트에 따라 상기 물체의 포즈를 추정하고 상기 물체를 추적하며, 그러하지 아니하는 경우에는 상기 영상에 따라 상기 포즈를 추정하고 상기 물체를 추적하는 단계를 구비한다.

Description

인식과 추적의 결합을 통한 물체의 포즈 실시간 추정 방법{method for estimating real-time object pose by integrating tracking into recognition}

본 발명은 인식과 추적의 결합을 통한 물체의 포즈 실시간 추정 방법에 관한 것이다.

물체 포즈 추정 방법에 관한 종래기술로서 한국등록특허공보 제10-0526018호, 및 논문 "Tracking objects using recognition, Randal C. Nelson, Issac A. Green, pp. 1025-1030"에 개시된 기술이 있다. 또한, 물체 포즈 실시간 추정 방법에 관한 종래기술로서, 본 발명의 발명자와 동일인이 저자인 논문 "Integration of object recognition and tracking for natural landmark based visual servo, Seung Lee, Sukhan Lee, 39th international symposium on robotics 2008, pp. 130-135"에 개시된 기술이 있다. 이러한 종래 기술은 개선의 여지가 있다.

일 구현 예에 있어서, 물체 포즈 실시간 추정 방법이 제공된다. 물체 포즈 실시간 추정 방법은 (a) 물체를 촬영한 영상을 입력받는 단계; (b) 상기 영상으로부터 코너 포인트를 구하는 단계; 및 (c) 상기 (b) 단계와 병렬적으로 수행되며, 상기 (b) 단계에서 구해진 상기 코너 포인트가 새로이 제공되는 경우에는 제공된 상기 코너 포인트를 상기 (b) 단계의 수행에 소요되는 시간만큼 보상함으로써 얻어진 보상된 코너 포인트를 구하고, 상기 보상된 코너 포인트에 따라 상기 물체의 포즈를 추정하고 상기 물체를 추적하며, 그러하지 아니하는 경우에는 상기 영상에 따라 상기 포즈를 추정하고 상기 물체를 추적하는 단계를 구비한다.

예로서, 상기 (c) 단계는 (c1) 상기 (b) 단계에서 구해진 상기 코너 포인트가 새로이 제공되는지 여부를 판단하는 단계; (c2) 상기 (c1) 단계가 참인 경우에, 제공된 상기 코너 포인트를 지연 보상 정보에 따라 보상함으로써 상기 보상된 코너 포인트를 구하는 단계; (c3) 상기 (c1) 단계가 참인 경우에, 상기 보상된 코너 포인트에 따라 트래킹 포인트를 초기화하는 단계; (c4) 상기 (c1) 단계가 참인 경우에는 초기화된 상기 트래킹 포인트에 따라 상기 포즈를 추정하고 상기 물체를 추적하고, 상기 (c1) 단계가 거짓인 경우에는 상기 영상 및 기존의 상기 트래킹 포인트에 따라 상기 포즈를 추정하고 상기 물체를 추적하는 단계; 및 (c5) 상기 (c4) 단계에서 구해진 상기 포즈에 따라 상기 지연 보상 정보를 생성하는 단계를 구비한다. 또한, 상기 지연 보상 정보는 △P는 △P(T+(N-1)D)·△P(T+(N-2)D)·...·△P(T+D)·△P(T)·Psift(T)와 같이 구해지며, 여기에서 △P(t)는 시간 t와 시간 (t+D) 사이의 상대적인 상기 포즈를 나타내며, Psift(t)는 상기 (b) 단계에서 구해지며 t 초의 상기 영상에 대응하는 SIFT를 이용하여 추정한 포즈를 나타내며, T는 소정의 시간을 나타내며, D는 상기 (c) 단계가 수행되는 주기를 나타내며, N은 상기 (b) 단계가 1회 수행되는 동안에 상기 (c) 단계가 수행되는 횟수를 나타낸다. 또한, 상기 (b) 단계에서 구해진 상기 코너 포인트는 3차원 코너 포인트이며, 상기 (c2) 단계는 (c6) 상기 3차원 코너 포인트에 상기 지연 보상 정보를 곱함으로써 보상된 상기 3차원 코너 포인트를 얻는 단계; 및 (c7) 보상된 상기 3차원 코너 포인트를 2차원 코너 포인트로 변환함으로써, 상기 (c3) 단계에서 사용되는 상기 보상된 코너 포인트를 얻는 단계를 포함한다.

예로서, 상기 (b) 단계는 (b1) 상기 영상으로부터 SIFT 포인트를 추출하는 단계; 및 (b2) 상기 SIFT 포인트로부터 상기 코너 포인트를 추출하는 단계를 포함한다. 또한, 상기 (b1) 단계에서 SIFT를 이용하여 물체의 포즈도 추정되며, 상기 (b2) 단계에서 구해지는 상기 코너 포인트는 3차원 코너 포인트이다.

이하, 본 발명을 도면을 참조하여 상세하게 설명하고자 한다. 다음에 소개되는 실시예들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되어지는 것이다. 따라서 본 발명은 이하 설명된 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 그리고 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장되어 표현될 수도 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.

도 1은 본 발명의 실시 예에 의한 물체 포즈 실시간 추정 시스템을 나타내는 도면이다. 도 1을 참조하면, 물체 포즈 실시간 추정 시스템은 영상 입력부(110), 물체 인식부(120) 및 물체 추적부(130)를 구비한다. 영상 입력부(110)는 물체의 영상을 획득한다. 영상 입력부(110)는 예로서 CCD(charge coupled device) 카메라, CIS(CMOS image sensor) 카메라일 수 있다. 물체 인식부(120)는 영상 입력부(110)로부터 제공받은 영상과 물체의 모델을 이용하여 SIFT 매칭을 통해 인식을 수행한다. 또한, 물체 인식부(120)는 인식 결과로 얻은 물체의 포즈 및 물체의 모델과 매칭되는 SIFT 포인트를 추출하며, 추출된 SIFT 포인트에 상응하는 코너 포인트를 추출한다. 물체 추적부(130)는 물체 인식부(120)로부터 제공받은 코너 포인트 및 영상 입력부(110)로부터 제공받은 영상을 이용하여 물체의 물체를 추적한다.

물체 인식부(120) 및 물체 추적부(130)는 병렬 처리에 의하여 동시에 수행된다. 예로서, 물체 인식부(120) 및 물체 추적부(130)는 서로 다른 프로세서에 의하여 동시에 수행될 수도 있다. 또한, 한 프로세서에 의하여 물체 인식부(120) 및 물체 추적부(130)가 병렬적으로 수행될 수도 있다. 이 경우, 물체 인식부(120) 및 물체 추적부(130)는 물리적으로 구분되지 아니하며, 논리적으로 구분된다.

만일 물체 인식부(120)로부터 새로운 코너 포인트가 물체 추적부(130)로 제공되지 아니하면 물체 추적부(130)는 영상 입력부(110)로부터 제공받은 영상을 이용하여 물체를 추적한다. 만일 물체 인식부(120)로부터 새로운 코너 포인트가 물체 추적부(130)로 제공되면 물체 추적부(130)는 제공받은 새로운 코너 포인트를 이용하여 물체를 추적한다. 물체 추적부(130)는 새로운 코너 포인트를 이용하여 물체를 추적하기에 앞서, 새로운 코너 포인트를 새로운 코너 포인트의 획득에 소요된 시간만큼 보상한다.

도 2는 도 1에 표현된 물체 포즈 실시간 추정 시스템에 의하여 수행되는 물체 포즈 실시간 추정 방법의 순서도이다. 도 2를 참조하면, 먼저 물체를 촬영한 영상이 입력된다(S210). 입력된 영상은 물체의 인식 단계(S220)와 물체의 추적 단계(S230)에 동시에 사용되며, 물체의 인식 단계(S220)와 물체의 추적 단계(S230)는 병렬처리로 동시에 수행된다.

물체의 인식 단계(S220)에서, 입력된 영상으로부터 코너 포인트가 추출된다. 이를 위하여 물체의 인식 단계(S220)는 SIFT(Scale Invariant Feature Transformation; 크기 불변 특징 변환)를 이용하여 추정한 포즈 및 SIFT 포인트 추출 단계(S222) 및 코너 포인트 추출 단계(S224)를 구비한다. SIFT를 이용하여 추정한 포즈 및 SIFT 포인트 추출 단계(S222)에서, SIFT를 이용하여 추정한 포즈 및 모델과 매칭되는 SIFT 포인트가 추출된다. 코너 포인트 추출 단계(S224)에서, 매칭된 SIFT 포인트에 상응하는 코너 포인트가 추출된다. 코너 포인트는 예로서 논문 "J. Shi, C. Tomasi, Good Features to Track, IEEE Conference on Computer Vision and Pattern Recognition 1994, pp. 593 - 600"에 개시된 알고리즘을 사용하여 수행될 수 있고, SIFT 포인트를 중심으로 일정 픽셀 범위 안에 있는 코너 포인트가 구해질 수 있다. 코너 포인트는 예로서 3차원 코너 포인트이다.

물체의 추적 단계(S230)에서, 입력된 영상 및 코너 포인트로부터 물체 포즈가 추정된다. 이를 위하여 물체의 추적 단계(S230)는 새로운 코너 포인트 제공 여부 판단 단계(S231), 포즈 추정 및 물체 추적 단계(S232 내지 S234) 및 지연 보상 정보 생성 단계(S235)를 포함한다. 새로운 코너 포인트 제공 여부 판단 단계(S231)에서, 물체의 인식 단계(S220)의 수행으로 인하여 추출된 새로운 코너 포인트가 제공되었는지 여부를 판단한다.

판단 결과 새로운 코너 포인트가 제공되었으면, 새로운 코너 포인트에 의해 물체의 포즈가 추정되고 물체가 추적된다(S232 내지 S234). 이를 위하여 물체 추적부(130)는 새로운 코너 포인트를 지연 보상 정보에 따라 보상함으로써, 보상된 코너 포인트를 획득한다(S232). 예로서, 물체 추적부(130)는 물체 인식부(120)로부터 제공되는 3차원 코너 포인트를 지연 보상 정보에 따라 보상하고, 보상을 수행함으로써 얻어진 보상된 3차원 코너 포인트를 보상된 2차원 코너 포인트로 변환함으로써, 보상된 2차원 코너 포인트를 얻을 수 있다. 그 후, 물체 추적부(130)는 트래킹 포인트(tracking point)를 보상된 코너 포인트에 따라 초기화한다(S233). 예로서, 보상된 코너 포인트가 트래킹 포인트로서 사용된다. 그 후, 물체 추적부(130)는 단계 S233에서 획득된 트래킹 포인트를 사용하여 물체의 포즈를 추정하고 물체를 추적한다(S234). 판단 결과 새로운 코너 포인트가 제공되지 않았으면, 입력된 영상에 따라 기존의 트랙킹 포인트를 이용하여 물체의 포즈가 추정되고 물체가 추적된다(S234). 단계 S234에서, 예로서 KLT 알고리즘 또는 LK 알고리즘이 사용될 수 있 다. KLT 알고리즘은 논문 "Carlo Tomasi and Takeo Kanade, Detection and Tracking of Point Features, Carnegie Mellon University Technical Report CMU-CS-91-132, April 1991" 및 "Jianbo Shi and Carlo Tomasi, Good Features to Track, IEEE Conference on Computer Vision and Pattern Recognition, pages 593-600, 1994"에 개시되어 있다. 또한, LK 알고리즘은 논문 "Bruce d. Lucas and Takeo Kanade, An iterative image registration technique with an application to stereo vision, international joint conference on artificial interlligence, pp. 674-679, 1981"에 개시되어 있다.

지연 보상 정보 생성 단계(S235)에서, 단계 S232에서 사용될 지연 보상 정보를 생성한다. 지연 보상 정보는 새로운 코너 포인트의 획득에 소요된 시간만큼 새로운 코너 포인트를 보상하기 위한 정보이다.

도 3은 지연이 발생하는 원인 및 지연 보상 정보를 설명하기 위한 도면이다. 도 3의 (a)는 물체 인식 단계(S220)에서 발생하는 지연을 설명하기 위한 도면이고, 도 3의 (b)는 물체 추적 단계(S230)가 수행되는 주기를 설명하기 위한 도면이다. 도면에서, T는 소정의 기준의 시간이고, D는 물체 추적 단계(S230)가 수행되는 주기이다. 도면에는 물체 인식 단계(S220)에 소요되는 시간이 물체 추적 단계(S230)가 수행되는 주기(D)의 5배인 예가 도시되어 있다. D는 예로서 50 ms이다. △P(t)는 시간 t와 시간 (t+D) 사이의 상대적인 포즈를 나타낸다. Psift(t)는 물체 인식부(120)에서 구해진 t 초의 영상에 대응하는 SIFT를 이용하여 추정한 물체의 포즈 이다.

도면을 참조하면, 물체 인식부(120)는 T 초에 영상을 입력받고, (T+5D) 초에 입력받은 영상에 대응하는 코너 포인트를 추출한다. 도면에 표현되어 있지 아니하지만, 물체 인식부(120)는 (T+5D) 초에 영상을 입력받고, (T+10D) 초에 입력받은 영상에 대응하는 코너 포인트를 추출한다. 물체 추적부(130)는 T 초에 첫째 물체 추적을 수행한다. 또한, 물체 추적부(130)는 (T+D) 초, (T+2D) 초, (T+3D) 초 및 (T+4D) 초에, 둘째, 셋째, 넷째 및 다섯째 물체 추적을 각각 수행한다.

결과적으로 T 초의 영상에 대응하는 코너 포인트 및 SIFT를 이용하여 추정한 물체의 포즈는 (T+5D) 초에 물체 추적부(130)로 전달된다. 만일 물체 추적부(130)가 (T+5D) 초에 T 초의 영상에 대응하는 코너 포인트를 이용하여 물체의 포즈 추적을 수행하면 물체 추적부(130)는 5D 초 동안의 물체의 움직임을 고려하지 못하는 잘못된 결과를 얻을 수 있다. 따라서, 물체 추적부(130)는 물체 인식부(120)로부터 받은 T초의 영상에 대응하는 코너 포인트를 (T+5D) 초의 영상에 대응하는 코너 포인트로 보정할 필요가 있다. 이러한 보정을 통하여 보다 정확한 코너 포인트가 얻어질 수 있으며, 보다 정확한 물체의 포즈가 추정될 수 있다.

지연 보상 정보 생성 단계(S235)에서 생성되는 지연 보상 정보(△P)는 예로서 수학식 1과 같다.

△P = △P(T+4D)·△P(T+3D)·△P(T+2D)·△P(T+D)·△P(T)·Psift(T)

지연 보상 정보 생성 단계(S235)에서 생성되는 지연 보상 정보(△P)를 일반 화하면 수학식 2와 같다.

△P = △P(T+(N-1)D)·△P(T+(N-2)D)·...·△P(T+D)·△P(T)·Psift(T)

상기 수학식에서, N은 단계 S220이 1회 수행되는 동안에 단계 S230이 수행되는 회수를 나타낸다. 또한, 새로운 코너 포인트 보상 단계(S232)에서는, 물체 인식부(120)에서 전달된 새로운 3차원 코너 포인트에 지연 보상 정보(△P)를 곱함으로써, 보정된 3차원 코너 포인트가 구해진다.

상술한 바와 같이, 본 발명의 실시예에 따른 물체 포즈 실시간 추정 방법은 병렬적으로 수행되는 물체의 인식과 물체의 추적 간의 시간 차에 의하여 발생하는 오차를 줄임으로써 보다 정확한 물체의 포즈를 추정할 수 있다는 장점을 가진다.

이상에서 살펴본 바와 같이 본 발명을 다양한 실시예를 들어 상세히 기술하였지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구 범위에 정의된 본 발명의 정신 및 범위를 벗어나지 않으면서 본 발명을 여러 가지로 변형하여 실시할 수 있을 것이다. 따라서 본 발명의 앞으로의 실시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.

도 1은 본 발명의 실시 예에 의한 물체 포즈 실시간 추정 시스템을 나타내는 도면이다.

도 2는 도 1에 표현된 물체 포즈 실시간 추정 시스템에 의하여 수행되는 물체 포즈 실시간 추정 방법의 순서도이다.

도 3은 지연이 발생하는 원인 및 지연 보상 정보를 설명하기 위한 도면이다.

Claims

(a) 물체를 촬영한 영상을 입력받는 단계;

(b) 상기 영상으로부터 코너 포인트를 구하는 단계; 및

(c) 상기 (b) 단계와 병렬적으로 수행되며, 상기 (b) 단계에서 구해진 상기 코너 포인트가 새로이 제공되는 경우에는 제공된 상기 코너 포인트를 상기 (b) 단계의 수행에 소요되는 시간만큼 보상함으로써 얻어진 보상된 코너 포인트를 구하고, 상기 보상된 코너 포인트에 따라 상기 물체의 포즈를 추정하고 상기 물체를 추적하며, 그러하지 아니하는 경우에는 상기 영상에 따라 상기 포즈를 추정하고 상기 물체를 추적하는 단계

를 구비하는 물체 포즈 실시간 추정 방법.
제1 항에 있어서,

상기 (c) 단계는

(c1) 상기 (b) 단계에서 구해진 상기 코너 포인트가 새로이 제공되는지 여부를 판단하는 단계;

(c2) 상기 (c1) 단계가 참인 경우에, 제공된 상기 코너 포인트를 지연 보상 정보에 따라 보상함으로써 상기 보상된 코너 포인트를 구하는 단계;

(c3) 상기 (c1) 단계가 참인 경우에, 상기 보상된 코너 포인트에 따라 트래킹 포인트를 초기화하는 단계;

(c4) 상기 (c1) 단계가 참인 경우에는 초기화된 상기 트래킹 포인트에 따라 상기 포즈를 추정하고 상기 물체를 추적하고, 상기 (c1) 단계가 거짓인 경우에는 상기 영상 및 기존의 상기 트래킹 포인트에 따라 상기 포즈를 추정하고 상기 물체를 추적하는 단계; 및

(c5) 상기 (c4) 단계에서 구해진 상기 포즈에 따라 상기 지연 보상 정보를 생성하는 단계를 구비하는 물체 포즈 실시간 추정 방법.
제2 항에 있어서,

상기 지연 보상 정보는 △P는 △P(T+(N-1)D)·△P(T+(N-2)D)·...·△P(T+D)·△P(T)·Psift(T)와 같이 구해지며, 여기에서 △P(t)는 시간 t와 시간 (t+D) 사이의 상대적인 상기 포즈를 나타내며, Psift(t)는 상기 (b) 단계에서 구해지며 t 초의 상기 영상에 대응하는 SIFT(Scale Invariant Feature Transformation; 크기 불변 특징 변환)를 이용하여 추정한 포즈를 나타내며, T는 소정의 시간을 나타내며, D는 상기 (c) 단계가 수행되는 주기를 나타내며, N은 상기 (b) 단계가 1회 수행되는 동안에 상기 (c) 단계가 수행되는 횟수를 나타내는 물체 포즈 실시간 추정 방법.
제3 항에 있어서,

상기 (b) 단계에서 구해진 상기 코너 포인트는 3차원 코너 포인트이며,

상기 (c2) 단계는

(c6) 상기 3차원 코너 포인트에 상기 지연 보상 정보를 곱함으로써 보상된 상기 3차원 코너 포인트를 얻는 단계; 및

(c7) 보상된 상기 3차원 코너 포인트를 2차원 코너 포인트로 변환함으로써, 상기 (c3) 단계에서 사용되는 상기 보상된 코너 포인트를 얻는 단계를 포함하는 물체 포즈 실시간 추정 방법.
제1 항에 있어서,

상기 (b) 단계는

(b1) 상기 영상으로부터 SIFT(Scale Invariant Feature Transformation; 크기 불변 특징 변환) 포인트를 추출하는 단계; 및

(b2) 상기 SIFT 포인트로부터 상기 코너 포인트를 추출하는 단계를 포함하는 물체 포즈 실시간 추정 방법.
제5 항에 있어서,

상기 (b1) 단계에서 SIFT를 이용하여 물체의 포즈도 추정되며,

상기 (b2) 단계에서 구해지는 상기 코너 포인트는 3차원 코너 포인트인 물체 포즈 실시간 추정 방법.