KR20120032681A - 3차원 물체 추적 방법 및 장치 - Google Patents

Abstract

3차원 물체 추적 방법 및 장치를 개시한다. 일 측면에 따르면 추적하고자 하는 물체의 모델을 다각형(polygon) 형태의 다수의 면(Plane)으로 구분하고, 이 다수의 면 각각의 텍스처(texture) 정보와 다수의 면 상호 간의 기하학적 정보를 이용하여 물체를 추적함으로서 더욱 정확한 물체의 추적이 이루어질 수 있도록 한다. 이를 위해, 3차원 물체 추적 방법은, 추적하고자 하는 물체를 복수의 면으로 모델링하고; 복수의 면 각각을 추적함으로써 물체를 추적하되, 이 때 모델링은, 복수의 면 각각에서 점들을 선택하고; 선택한 점들을 이용하여 투사 불변량을 계산하는 것을 더 포함한다.

Description

3차원 물체 추적 방법 및 장치{METHOD AND APPARATUS FOR 3D OBJECT TRACKING}

본 발명은 3차원 물체 추적 방법에 관한 것으로, 카메라 등의 비전 시스템을 통해 물체의 움직임을 추적하는 방법에 관한 것이다.

3D 모델 기반 추적은, 추적하려는 물체의 3D 모델을 생성하고 이 모델을 영상의 에지 기반 추적을 수행한다. 즉, 카메라의 특성을 이용하여 이전 모델의 위치에 대한 3차원 강체 변환(Rigid Body Transform)을 이용하여 영상에 모델을 투영하며, 3차원 모델의 모서리(edge)의 공간 상의 수직 방향으로 영상의 모서리를 찾아준다. 이러한 모서리와 모델의 거리 오차가 최소가 되는 3차원 강체 변환 행렬(Rigid Body Transform Matrix)를 구한다. 이러한 작업을 매 프레임(Frame) 마다 적용하여 3D 모델을 추적한다.

앞서 언급한 것과 같이, 3D 모델의 3차원 강체 변환을 구하기 위하여, 3D 모델을 이전 위치를 기반으로 영상에 투영을 한 다음, 모서리에서 다수의 포인트(Point)를 샘플링 한다. 이렇게 샘플링 된 포인트에서 3D 모델의 공간 상의 수직 방향으로 영상의 모서리와 만나는 점을 구하며, 이 점들까지의 거리의 합이 최소화가 되는 3차원 강체 변환을 구하면 된다. 이렇게 구한 3차원 강체 변환은 모서리의 점들의 매칭이 잘못되면 전체적으로 잘못된 3차원 강체 변환이 구해져서 물체의 정확한 추적이 이루어지지 못한다.

일 측면에 따르면 추적하고자 하는 물체의 모델을 다각형(polygon) 형태의 다수의 면(Plane)으로 구분하고, 이 다수의 면 각각의 텍스처(texture) 정보와 다수의 면 상호 간의 기하학적 정보를 이용하여 물체를 추적함으로서 더욱 정확한 물체의 추적이 이루어질 수 있도록 한다.

3차원 물체 추적 방법은, 추적하고자 하는 물체를 복수의 면으로 모델링하고; 복수의 면 각각을 추적함으로써 물체를 추적한다.

또한, 상술한 모델링은, 복수의 면 각각에서 점들을 선택하고; 선택한 점들을 이용하여 투사 불변량을 계산하는 것을 더 포함한다.

또한, 상술한 복수의 면 각각의 추적은 모델 기반 추적을 통해 이루어진다.

또한, 상술한 복수의 면 각각을 추적할 때 추적 실패율이 일정 수준 미만이면, 추적에 실패한 면의 가상 면을 생성하고, 이 가상 면을 이용하여 물체를 추적하는 것을 더 포함한다.

또한, 상술한 복수의 면 각각을 추적할 때 추적 실패율이 일정 수준 이상이면, 추적 실패 경고를 발생시키고 추적을 중단하는 것을 더 포함한다.

또한, 상술한 일정 수준이 50%이다.

3차원 물체 추적 장치는, 추적하고자 하는 물체의 영상을 획득하기 위항 영상 장치와; 물체를 복수의 면으로 모델링하고, 복수의 면 각각을 추적함으로써 물체를 추적하는 제어부를 포함한다.

또한, 상술한 제어부는, 모델링을 위해, 복수의 면 각각에서 점들을 선택하고, 선택한 점들을 이용하여 투사 불변량을 계산한다.

또한, 상술한 복수의 면 각각의 추적은 모델 기반 추적을 통해 이루어진다.

또한, 상술한 제어부는, 복수의 면 각각을 추적할 때 추적 실패율이 일정 수준 미만이면, 추적에 실패한 면의 가상 면을 생성하고, 이 가상 면을 이용하여 물체를 추적하는 것을 더 포함한다.

또한, 상술한 제어부는, 복수의 면 각각을 추적할 때 추적 실패율이 일정 수준 이상이면, 추적 실패 경고를 발생시키고 추적을 중단하는 것을 더 포함한다.

또한, 상술한 일정 수준이 50%이다.

일 측면 따르면 추적하고자 하는 물체의 모델을 다각형(polygon) 형태의 다수의 면(Plane)으로 구분하고, 이 다수의 면 각각의 텍스처(texture) 정보와 다수의 면 상호 간의 기하학적 정보를 이용하여 물체를 추적함으로서 더욱 정확한 물체의 추적이 이루어진다.

도 1은 비주얼 서보잉 기술을 적용하기 위한, 영상 기반 로봇 조작 시스템의 일 예를 나타낸 도면.
도 2는 본 발명의 일 실시 예에 따른 영상 기반 로봇 조작 시스템에서의 투사 불변량(Projective Invariant)을 설명하기 위한 도면.
도 3은 본 발명의 일 실시 예에 따른 3차원 물체 추적 방법을 나타낸 도면.
도 4는 본 발명의 일 일시 예에 따른 물체의 가상 면 생성을 설명하기 위한 도면.

도 1은 비주얼 서보잉 기술을 적용하기 위한 영상 기반 로봇 조작 시스템의 일례를 나타낸 도면이다. 도 1에 나타낸 바와 같이, 산업용으로 사용되는 로봇 핸드(100)의 말단 부분에는 적어도 하나 이상의 CCD(charge-coupled device) 카메라(110)(즉 영상 장치)가 부착되어 있어, 로봇 핸드(100)의 움직임에 따라 취득된 영상의 분석 결과에 의해서 로봇 핸드(100)의 움직임을 파악하고 제어하게 된다. 10은 로봇 핸드(100)가 취급하고자 하는 물체이다.

제어부(102)는 카메라(110)로부터 이미지를 제공받아 물체(10)를 추적하고, 이 추적의 결과에 근거하여 로봇 핸드(100)의 움직임을 제어하기 위한 제어 명령을 발생시켜 로봇 핸드(100)에 제공함으로써, 로봇 핸드(100)가 물체(10)를 대상으로 목적하는 정확한 동작을 취할 수 있도록 한다. 즉, 제어부(102)는, 추적하고자 하는 물체(3D 모델)를 직사각형 등의 복수의 면(Plane)으로 모델링 한다. 또한, 모델링된 복수의 면 각각의 내부의 점들을 선택하고, 이 점들을 추적하여 두 위치에서 투사 불변량(Projective Invariant)을 계산한다. 이러한 방법을 통하여 평면과 그 평면에 존재하는 점들로 이루어진 모델을 생성할 수 있다. 모델링이 완료되면 물체(10)의 트래킹을 수행하는데, 이를 위해 생성된 모델의 복수의 면 각각을 추적한다. 복수의 면 각각을 추적하면서, 복수의 면 각각의 기하학적 구속 조건(Geometric Constraint)을 확인한다. 즉 복수의 면 각각은 물체의 형상에 따라 공간 상에 일정한 관계를 갖는데, 기하학적 구속 조건이라 함은 직육면체의 경우 각 면이 서로 90도의 관계인 것 등을 예로 들 수 있다. 물체를 추적하는 동안, 추적 실패율이 일정 비율 이상이면 추적 실패 경고를 발생시키고, 추적을 중단한다. 반대로 추적 실패율이 일정 비율 미만이면 물체의 추적의 정확도가 신뢰할만한 수준이라고 판단하고, 추적에 실패한 면의 가상 면을 생성한다. 가상 면의 생성은 추적의 정확도가 가장 높은 면 즉 거리 오차의 합이 최소인 면을 기준으로 하여 이로부터 추적에 실패한 면의 가상 면을 생성한다. 가상 면의 생성을 위해 복수의 면 각각의 기하학적 구속 조건(Geometric Constraint)을 이용한다. 한편, 복수의 면 각각을 추적하는 것과 별개로, 앞서 선택한 점들을 추적한다. 추적에 실패한 면의 가상 면의 생성이 완료되면, 생성된 가상 면을 포함하는 모든 면의 위치를 최적화한다. 이 최적화는 모든 면의 3차원 강체 변환을 구하고, Newton의 방법을 이용하여 거리 오차의 합이 최소가 되도록 한다. 최적화가 완료되면, 추정 면을 기준으로 물체 전체의 최적화된 위치를 구한다. 이 때 투사 불변량이 일정 수준 이상인 면만을 이용하여 위치를 구하되, 투사 불변량이 일정 수준 이하가 되는 면은 제외한다. 추적이 완료되면 추적을 종료한다.

도 2는 본 발명의 일 실시 예에 따른 영상 기반 로봇 조작 시스템에서의 투사 불변량(Projective Invariant)을 설명하기 위한 도면이다. 도 2에 나타낸 바와 같이, 임의의 2차원 형상으로부터 투사 불변형 표현자(I)를 구하는 방법은, 영상에서 2차원 형상의 외곽선을 추출하고, 이 외곽선 상의 점들의 좌표로부터 투사 불변형 표현자를 계산한다. 아래의 식은 두 개의 2차원 이미지 각각으로부터 투사 불변형 표현자를 계산하기 위한 수식이다.

도 3은 본 발명의 일 실시 예에 따른 3차원 물체 추적 방법을 나타낸 도면이다. 도 3에서, 302는 추적하고자 하는 물체(3D 모델)의 모델링 과정을 나타낸 것이고, 310은 물체의 추적 과정을 나타낸 것이다.

먼저, 추적하고자 하는 물체(3D 모델)를 직사각형 등의 복수의 면(Plane)으로 모델링 한다(304). 이를 위해 캘리브레이션이 이루어진 서로 다른 위치에서의 해당 물체의 두 개 이상의 영상을 획득한다. 또한, 모델링된 복수의 면 각각의 내부의 점들을 선택하고(306), 이 점들을 추적하여 두 위치에서 투사 불변량(Projective Invariant)을 계산한다(308). 이러한 방법을 통하여 평면과 그 평면에 존재하는 점들로 이루어진 모델을 생성할 수 있다.

참조 부호 310은 물체의 트래킹 과정을 나타낸 것이다. 트래킹 과정(310)에서는, 302에서 생성된 모델에 대해 먼저 복수의 면 각각을 추적한다(312).

복수의 면 각각을 추적하면서, 복수의 면 각각의 기하학적 구속 조건(Geometric Constraint)을 확인한다(314). 즉 복수의 면 각각은 물체의 형상에 따라 공간 상에 일정한 관계를 갖는데, 기하학적 구속 조건이라 함은 직육면체의 경우 각 면이 서로 90도의 관계인 것 등을 예로 들 수 있다.

물체를 추적하는 동안, 추적 실패율이 50% 이상이면(316의 예) 추적 실패 경고를 발생시키고(318), 추적을 중단한다. 즉, 추적하는 면의 수가 2n개일 때 n개 이상의 면에 대한 추적이 실패하면 50% 이상의 면에 대한 추적이 실패한 것인데, 이 경우에는 물체의 추적의 정확도가 너무 낮으므로 물체의 추적에 실패한 것으로 인정하여 추적을 중단한다.

반대로 추적 실패율이 50% 미만이면(316의 아니오) 물체의 추적의 정확도가 신뢰할만한 수준이라고 판단하고, 추적에 실패한 면의 가상 면을 생성한다(320). 가상 면의 생성은 추적의 정확도가 가장 높은 면 즉 거리 오차의 합이 최소인 면을 기준으로 하여 이로부터 추적에 실패한 면의 가상 면을 생성한다. 가상 면의 생성을 위해 복수의 면 각각의 기하학적 구속 조건(Geometric Constraint)을 이용한다.

한편, 312에서 복수의 면 각각을 추적하는 것과 별개로, 306에서 선택한 점들을 추적한다(322).

추적에 실패한 면의 가상 면의 생성이 완료되면, 생성된 가상 면을 포함하는 모든 면의 위치를 최적화한다(324). 이 최적화는 모든 면의 3차원 강체 변환을 구하고, Newton의 방법을 이용하여 거리 오차의 합이 최소가 되도록 한다.

최적화가 완료되면, 추정 면을 기준으로 물체 전체의 최적화된 위치를 구한다(326). 이 때 투사 불변량이 일정 수준 이상인 면만을 이용하여 위치를 구하되, 투사 불변량이 일정 수준 이하가 되는 면은 제외한다.

추적이 완료되면 추적을 종료하고(328의 예), 추적을 계속하는 경우에는(328의 아니오) 312-326의 추적 과정을 반복한다.

도 4는 본 발명의 일 일시 예에 따른 물체의 가상 면 생성을 설명하기 위한 도면이다. 도 4에 나타낸 바와 같이, 추적에 실패한 면(402)의 가상 면(404)을 생성할 때, 추적의 정확도가 가장 높은 면 즉 모서리(Edge)의 거리의 합이 최소인 면을 기준으로 하여 이로부터 추적에 실패한 면의 가상 면을 생성한다. 가상 면의 생성을 위해 복수의 면 각각의 기하학적 구속 조건(Geometric Constraint)을 이용한다.

10 : 물체
100 : 로봇 핸드
102 : 제어부
110 : 카메라
402 : 추적에 실패한 면
404 : 가상 면

Claims (12)

1. 추적하고자 하는 물체를 복수의 면으로 모델링하고;
   상기 복수의 면 각각을 추적함으로써 상기 물체를 추적하는 3차원 물체 추적 방법.
2. 제 1 항에 있어서, 상기 모델링은,
   상기 복수의 면 각각에서 점들을 선택하고;
   상기 선택한 점들을 이용하여 투사 불변량을 계산하는 것을 더 포함하는 3차원 물체 추적 방법.
3. 제 1 항에 있어서,
   상기 복수의 면 각각의 추적은 모델 기반 추적을 통해 이루어지는 3차원 물체 추적 방법.
4. 제 3 항에 있어서,
   상기 복수의 면 각각을 추적할 때 추적 실패율이 일정 수준 미만이면, 추적에 실패한 면의 가상 면을 생성하고, 이 가상 면을 이용하여 상기 물체를 추적하는 것을 더 포함하는 3차원 물체 추적 방법.
5. 제 4 항에 있어서,
   상기 복수의 면 각각을 추적할 때 추적 실패율이 일정 수준 이상이면, 추적 실패 경고를 발생시키고 추적을 중단하는 것을 더 포함하는 3차원 물체 추적 방법.
6. 제 5 항에 있어서,
   상기 일정 수준이 50%인 3차원 물체 추적 방법.
7. 추적하고자 하는 물체의 영상을 획득하기 위항 영상 장치와;
   상기 물체를 복수의 면으로 모델링하고, 상기 복수의 면 각각을 추적함으로써 상기 물체를 추적하는 제어부를 포함하는 3차원 물체 추적 장치.
8. 제 7 항에 있어서, 상기 제어부는,
   상기 모델링을 위해, 상기 복수의 면 각각에서 점들을 선택하고, 상기 선택한 점들을 이용하여 투사 불변량을 계산하는 것을 더 포함하는 3차원 물체 추적 장치.
9. 제 7 항에 있어서,
   상기 복수의 면 각각의 추적은 모델 기반 추적을 통해 이루어지는 3차원 물체 추적 방법.
10. 제 9 항에 있어서, 상기 제어부는,
    상기 복수의 면 각각을 추적할 때 추적 실패율이 일정 수준 미만이면, 추적에 실패한 면의 가상 면을 생성하고, 이 가상 면을 이용하여 상기 물체를 추적하는 것을 더 포함하는 3차원 물체 추적 장치.
11. 제 10 항에 있어서, 상기 제어부는,
    상기 복수의 면 각각을 추적할 때 추적 실패율이 일정 수준 이상이면, 추적 실패 경고를 발생시키고 추적을 중단하는 것을 더 포함하는 3차원 물체 추적 장치.
12. 제 11 항에 있어서,
    상기 일정 수준이 50%인 3차원 물체 추적 장치.

Images