KR20100006324A - 복수 객체 추적 방법과 장치 및 저장매체 - Google Patents

Abstract

본 발명은 복수 객체 추적 방법과 장치 및 저장매체에 관한 것이다. 보다 상세하게는 추적하고자 하는 객체의 개수(N)에 관계없이 각 카메라 영상당 한 서브셋의 객체 인식 처리만 수행하여 결과적으로 입력 영상당 한 서브셋의 객체 인식을 수행하고, 객체 인식이 수행되는 동안 영상 간 모든 객체 추적을 수행함으로써 복수 객체추적을 실시간으로 할 수 있는 복수 객체 추적 방법과 장치 및 저장매체에 관한 것이다.

이를 위하여 본 발명은 복수의 객체를 추적하는 방법에 있어서, (a) 특정 시점에서의 입력 영상에 대하여 복수의 객체 중 한 서브셋의 객체에 대해서만 객체 인식을 수행하는 단계; 및 (b) 상기 (a)단계가 수행되는 동안 상기 입력 영상 내의 모든 객체들에 대해서 상기 특정 시점의 이전 시점의 영상으로부터 영상 간 모든 객체를 추적하는 단계를 포함하는 것을 특징으로 하는 복수 객체 추적 방법을 제공한다.

증강현실, 객체 인식, 객체 추적, 시분할, 키 프레임, 키 포인트

Description

복수 객체 추적 방법과 장치 및 저장매체{Methods and Devices for tracking multiple 3D object, Storage medium storing the same}

본 발명은 복수 객체 추적 방법과 장치 및 저장매체에 관한 것이다. 보다 상세하게는 추적하고자 하는 객체의 개수(N)에 관계없이 각 카메라 영상당 한 서브셋의 객체 인식 처리만 수행하여 결과적으로 입력 영상당 한 서브셋의 객체 인식을 수행하고, 객체 인식이 수행되는 동안 영상 간 모든 객체 추적을 수행함으로써 복수 객체추적을 실시간으로 할 수 있는 복수 객체 추적 방법과 장치 및 저장매체에 관한 것이다.

증강현실(Augmented Reality)은 가상현실(Virtual Reality)의 한 분야로, 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 기법이다.

증강현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상현실과 달리, 현실세계의 기반위에 가상의 사물을 합성하여 현실세계 만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가지고 있다. 즉, 가상현실기술은 일반적으로 사용자로 하여금 가상의 환경에 몰입하게 하므로 사용자는 실제 환경을 볼 수 없는 반면, 증강현실기술에서는 사용자가 실제 환경을 볼 수 있으며, 실제 환경과 가상의 객체가 혼합된 형태를 띤다. 다시 말하면, 가상현실은 현실세계를 대체하여 사용자에게 보여주지만 증강현실은 현실세계에 가상의 물체를 중첩함으로서 현실세계를 보충하여 사용자에게 보여준다는 차별성을 가지며, 가상현실에 비해 사용자에게 보다 나은 현실감을 제공한다는 특징이 있다. 이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상현실과 달리 다양한 현실환경에 응용이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.

가상의 사물을 증강하기 위한 실제 환경으로는 종래부터 사각형 마커가 많이 사용되었다. 이는 검정색 테두리 안에 특정 패턴의 마커를 인식 및 추적하도록 한 것으로, 다수의 마커 인식이 가능하다는 장점이 있다. 그러나, 마커의 일부가 가려지면 추적이 힘들고, 흑백의 강한 대비에 의해 마커가 시선을 집중시킴으로써 사용자의 시해를 저해하며, 사용자의 몰입감을 저하시킨다는 단점이 있다.

이러한 사각형 마커의 단점을 극복하기 위해 실제 객체를 이용하는 방법이 등장하였다. 이는 사각형 마커 대신, 실제 물체의 그림 또는 무늬와 같은 자체적 텍스쳐(texture)를 인식과 추적에 이용하는 것으로, 실제 객체의 자연스러운 특징(natural feature)을 이용하므로 객체의 일부가 가려지더라도 추적에 강하고 사용자에게 몰입감을 제공한다.

도 1은 종래의 단일 객체 인식을 이용한 다수 객체 추적 방법의 흐름도이다.

도 1을 참조하면, N개의 객체를 인식하고 추적하기 위해서 카메라 영상은 N 개의 객체 인식 처리를 거치게 된다. 즉, 시점 t에서의 입력 영상에 대하여 객체 1을 인식한 후 객체 2를 인식하는 과정을 반복하여 객체 N까지 인식하면 시점 t에서 인식된 객체의 목록(객체 1~N)과 자세가 도출된다. 다음으로, 시점 t+1에서의 입력 영상에 대하여 객체 1부터 객체 N까지 인식하는 과정을 되풀이하여 시점 t+1에서 인식된 객체의 목록(객체 1~N)과 자세가 도출된다. 필요로 하는 시점만큼 이러한 과정을 반복하게 된다. 따라서, 이러한 방법에 의하면 입력 영상당 1개의 객체를 인식하는 경우에 비하여 전체적인 성능이 1/N으로 저하된다.

이러한 실제 객체 추적 알고리즘은 카메라의 영상에 단일 객체만이 존재하는 경우로 최적화되어 있다. 상기 알고리즘에 의하면 입력 영상으로부터 인식하고자 하는 단일 객체의 존재 여부를 판단한 후, 존재하는 경우 그 객체의 3축 위치, 3축 방위를 포함하는 3차원 자세를 추정한다. 상기 알고리즘은 이러한 과정을 거치는 관계로 단일 객체에 적용하기 적합하다. 상기 알고리즘이 다수 객체의 추적에 사용되면 입력 영상마다 추적하고자 하는 모든 객체에 대하여 존재 여부를 판단하여야 하므로 객체의 수에 비례하여 처리 속도가 감소하므로, 실시간으로 운용하기 어렵다는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 단일 객체뿐만 아니라 다수의 객체를 동시에 추적하면서도 전체적인 추적의 성능이 저하되지 않고, 다수의 객체를 이용하여 각 객체를 움직이며 동적으로 변화를 줄 수 있는 증강 현실 응용이 가능하도록 하는 복수 객체 추적 방법과 장치 및 저장매체를 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위해 안출된 본 발명에 따른 복수 객체 추적 방법은 각 입력 영상당 한 서브셋의 객체에 대해서만 객체 인식(object detection)을 수행하는 것을 특징으로 한다.

또한, 본 발명에 따른 복수 객체 추적 방법은 (a) 특정 시점에서의 입력 영상에 대하여 복수의 객체 중 한 서브셋의 객체에 대해서만 객체 인식을 수행하는 단계; 및 (b) 상기 (a)단계가 수행되는 동안 상기 입력 영상 내의 모든 객체들에 대해서 상기 특정 시점의 이전 시점의 영상으로부터 영상 간 모든 객체를 추적하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 (b)단계는 상기 입력 영상의 객체에서 특징점을 추출하고, 상기 이전 시점의 영상으로부터 추출된 특징점과 매칭시킴으로써 영상 간 모든 객체를 추적할 수 있다.

본 발명에 따른 복수 객체 추적 장치는 특정 시점에서의 입력 영상에 대하여 복수의 객체 중 한 서브셋의 객체에 대해서만 객체 인식을 수행하는 인식부; 및 상기 객체 인식부에서 객체 인식이 수행되는 동안 상기 입력 영상 내의 모든 객체들에 대해서 상기 특정 시점의 이전 시점의 영상으로부터 영상 간 모든 객체를 추적하는 추적부를 포함하는 것을 특징으로 한다.

또한, 상기 인식부와 상기 추적부는 각기 독립된 쓰레드(thread)에서 동작되어 멀티 코어 CPU 상에서 병렬적으로 수행될 수 있다.

또한, 상기 추적부는 상기 입력 영상의 객체에서 특징점을 추출하고, 상기 이전 시점의 영상으로부터 추출된 특징점과 매칭시킴으로써 영상 간 모든 객체를 추적할 수 있다.

본 발명에 의하면 단일 객체뿐만 아니라 다수의 객체를 동시에 추적하면서도 전체적인 추적의 성능이 저하되지 않고, 다수의 객체를 이용하여 각 객체를 움직이며 동적으로 변화를 줄 수 있는 증강 현실 응용이 가능하도록 하며, 영상 간의 객체 추적을 접목시켜 현재의 카메라 영상만으로 추정된 객체의 자세에 비해 안정성이 향상될 수 있도록 하는 효과가 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

객체 인식(object detection)은 객체의 수에 비례하여 처리 속도가 저하되지만, 영상 간에 다수 객체의 3차원 움직임을 추적하는 것은 상대적으로 성능 저하가 작다. 객체 인식 기법은 추적 애플리케이션을 보다 강건하게 하나, 실시간으로 처리될 수 있도록 해야 하는 제약이 따른다. 본 발명은 연속되는 프레임에서 다수의 객체를 인식하는 시간을 분배함으로써 실시간으로 객체 인식이 이루어질 수 있도록 한다. 현재 프레임에 존재하는 객체 중에서 인식되지 않은 객체들은 이후의 프레임 중 어느 하나에서 인식된다. 이러한 과정에서 약간의 지연이 발생할 수 있으나, 실제로 사용자는 이를 거의 인식하기 어렵다. 따라서, 사용자는 이러한 객체 인식이 실시간으로 이루어지는 것으로 파악하게 된다.

새로운 객체가 등장할 때 이러한 객체는 프레임간 추적(frame-by-frame tracking)을 초기화하는 시스템에 의해 즉시 인식된다. 새로운 객체가 인식된 후에는 프레임간 추적이 초기화(시작)된다. 이를 위해 "시간적 키 포인트(temporal keypoints)"를 이용한다. 시간적 키 포인트는 객체 표면에서 검출된 특징점으로, 연속되는 프레임들에 대하여 상기 시간적 키 포인트와 프레임간 매칭(matching)을 수행한다. 이러한 방법에 의하면 추적이 초기화(시작)된 객체는 객체가 인식되지 않을 때에도 객체의 자세(pose)를 정확하게 산출할 수 있고, 객체 인식에 비해 시 간이 덜 소요된다.

이와 같이 프레임간 추적이 이루어지는 동안 객체 인식이 수행되며, 프레임간 추적이 이미 수행되고 있는 경우에도 객체 인식이 수행될 수 있다. 이러한 방법에 의하면 빠른 움직임 또는 가림(occlusion)에 의해 트랙이 소실되는 것을 방지할 수 있다. 인식과 추적은 구분되며 각각 병렬 프로세서의 서로 다른 코어에서 수행될 수 있다.

도 2는 본 발명의 바람직한 실시예에 따른 객체 추적 방법의 흐름도이다.

본 발명의 바람직한 실시예에 따른 객체 추적 방법은, 도 2를 참조하면, 추적하고자 하는 객체의 개수(N)에 관계없이 각 카메라 영상당 한 서브넷의 객체 인식 처리만 수행하여 결과적으로 입력 영상당 한 서브넷의 객체 인식을 수행한다. 즉, N개의 객체를 추적하고자 할 경우 총 N회의 영상 입력마다 한 서브넷의 객체가 인식되어 시분할 객체 인식이 이루어진다. 각 객체가 인식되는 시간 간격 동안은 영상 간 모든 객체 추적이 수행되며, 이는 인식된 객체의 움직임을 추적하는 것이다.

보다 상세하게는, 시점 t에서의 입력 영상에 대하여 다수의 객체 중 집합 1에 속하는 객체에 대해서만 객체 인식을 수행하고, 집합 1에 속하는 객체를 포함한 모든 객체들에 대해서 이전 시점(t-1, t-2,...)의 영상에 대하여 영상 간 모든 객체를 추적함으로써, 집합 1에 속하는 객체를 인식함과 동시에 시점 t에서의 모든 객체의 자세를 산출한다.

또한, 시점 t+1의 입력 영상에 대하여 다수의 객체 중 집합 2에 속하는 객체 에 대해서만 객체 인식을 수행하고, 집합 2에 속하는 객체를 포함한 모든 객체에 대해서 이전 시점(t, t-1,...)의 영상에 대하여 영상 간 모든 객체를 추적함으로써, 집합 2에 속하는 객체를 인식함과 동시에 시점 t+1에서의 모든 객체의 자세를 산출한다.

이러한 과정을 시점 t+N+1의 입력 영상까지 반복하여 집합 N에 속하는 객체를 인식하고 영상 간 모든 객체를 추적한다.

즉, 1번째 영상에서는 집합 1에 속하는 객체의 인식을 수행하고, N번째 영상에서는 집합 N에 속하는 객체의 인식을 수행한다. N+1번째 영상에서는 다시 집합 1에 속하는 객체를 인식하는 방법으로 반복된다. 결과적으로 각 객체가 1/N 프레임당 한 번씩만 인식되므로, 인식되지 않는 동안에는 영상 간 객체 추적에 의해 지속적으로 자세 추적이 이루어진다.

도 3은 본 발명의 바람직한 실시예에 따른 각 과정의 세부 흐름도이다.

객체 인식과 영상 간 추적은 각기 독립된 쓰레드(thread)에서 동작시켜 멀티 코어 CPU 상에서 병렬적으로 수행될 수 있다. 즉, 도 3에서 Thread 1에서는 객체 인식을 수행하고 Thread 2에서는 영상 간 객체 추적을 수행한다.

Thread 1에서는 Thread 2에서 입력 영상으로부터 추출한 키 포인트를 키 프레임 부분집합과 매칭함으로써 시분할 객체 인식을 수행하고, 이를 이용하여 객체 자세 추정(pose estimation)을 수행한다.

Thread 2에서는 입력 영상으로부터 키 포인트를 추출하고 이전 프레임과 매칭을 수행하여 영상 간 각 객체의 특징점을 매칭함으로써 객체 자세 추정을 수행한 다.

도시되지 않았으나, 본 발명의 일 실시예에 따른 복수 객체 추적 방법을 수행하는 복수 객체 추적 장치로 구현할 경우, Thread 1은 특정 시점에서의 입력 영상에 대하여 복수의 객체 중 한 서브넷의 객체에 대해서만 객체 인식을 수행하는 인식부, Thread 2는 인식부에서 객체 인식이 수행되는 동안 입력 영상 내의 모든 객체들에 대해서 특정 시점의 이전 시점 영상으로부터 영상 간 모든 객체를 추적하는 추적부를 포함하여 구현된다. 인식부는 객체의 외관을 저장하고 있는 키 프레임 집합을 구성하는 키 프레임 형성부, 키 프레임으로부터 키 포인트를 추출하고 추출된 키 포인트의 3D 위치를 산출하는 키 포인트 추출부, 입력 영상에서 추출된 특징점과 키 프레임의 키 포인트를 매칭하고 객체의 자세를 산출하는 자세 산출부를 포함한다. 추적부는 입력 영상의 객체에서 특징점을 추출하고, 이전 시점의 영상으로부터 추출된 특징점과 매칭시킴으로써 영상 간 모든 객체를 추적한다.

객체 모델은 기하학적 정보(geometrical information)와 목표 객체의 외관(appearance)을 포함한다. 기하학적 정보는 삼각형들의 리스트 형태로 저장되는 3D 모델로, 영상으로부터 이러한 3D 모델을 얻을 수 있는 소프트웨어가 다수 존재한다.

외관 부분은 키 프레임 집합으로 구성된다. 키 프레임 집합은 여러 시점으로부터의 객체 형상을 저장하고 있어 객체의 대부분을 커버할 수 있다. 일반적으로 3~4개의 키 프레임이면 모든 방향에 대해 객체를 커버하기에 충분하다. 각 키 프레임에서 키 포인트라고 불리는 특징점을 추출하고, 추출된 키 포인트를 3D 모델 상 에 백-프로젝팅(back-projecting)함으로써 키 포인트의 3D 위치를 용이하게 산출할 수 있다. 키 포인트와 3D 위치는 인식 과정에서 사용하기 위해 저장된다. 이하에서는 객체 인식과 영상 간 객체 추적에 대하여 보다 상세하게 설명한다.

순차적인 객체 인식

① 키 프레임 선택

모든 키 프레임을 부분집합(subset)으로 나누고, 부분집합을 각 카메라 영상과 매치시킨다. 예컨대, 각 부분집합은 다음과 같다.

κ_j는 키 프레임, f는 프레임 속도에서 다루어질 수 있는 키 프레임 수, N은 키 프레임의 총 수를 나타낸다.

각 입력 프레임은 부분집합 S_i중 어느 하나의 키 프레임과 매칭된다. 부분집합은 하나씩 반복적으로 고려되며, N/f 프레임이 끝나면 다시 S₁부터 시작한다.

도 4와 도 5는 객체 A, B, C가 독립 객체이고, 각각의 움직임(6DOF;Degrees Of Freedom)이 동시에 추적되는 예를 도시한 개념도이다.

도 6은 다수의 3D 객체 추적을 위해 사용되는 키 프레임의 예를 도시한 도면이다.

실시예에서 총 키 프레임 집합은 9개의 키 프레임을 포함한다. 하나의 부분집합은 키 프레임 중 하나를 포함하고 있으며, 9개의 부분집합을 구성한다. 하나의 부분집합은 카메라 프레임과 매치된다. 인식 성능에 따라 하나의 부분집합이 여러 개의 키 프레임을 포함할 수 있다.

도 7은 다수의 3D 객체 추적을 보여주는 사진이다.

도 7에서 모든 3개의 객체는 영상 내에 존재하고 동시에 추적된다. 객체의 자세는 손으로 객체를 이동시키거나 객체 사이에 부분적인 폐색(occlusion)이 있을 경우에도 정확하게 산출된다. 추적하는 동안 객체들은 계속하여 인식된다. 모든 프레임에 대하여 3D 모델은 산출된 3D 자세가 투사되며, 흰 선으로 도시되어 있다.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(fun ction al) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명은 모바일을 비롯하여 증강현실이 지원되는 정보기기, 멀티미디어 신호처리, 신호 및 영상 처리 분야에 널리 적용될 수 있다.

도 1은 종래의 단일 객체 인식을 이용한 다수 객체 추적 방법의 흐름도,

도 2는 본 발명의 바람직한 실시예에 따른 객체 추적 방법의 흐름도,

도 3은 본 발명의 바람직한 실시예에 따른 각 과정의 세부 흐름도,

도 4와 도 5는 객체 A, B, C가 독립 객체이고, 각각의 움직임이 동시에 추적되는 예를 도시한 개념도,

도 6은 다수의 3D 객체 추적을 위해 사용되는 키 프레임의 예를 도시한 도면,

도 7은 다수의 3D 객체 추적을 보여주는 사진이다.

Claims (7)

1. 복수의 객체를 추적하는 방법에 있어서,

   각 입력 영상당 한 서브셋(subset)의 객체에 대해서만 객체 인식(object detection)을 수행하는 것을 특징으로 하는 복수 객체 추적 방법.
2. 복수의 객체를 추적하는 방법에 있어서,

   (a) 특정 시점에서의 입력 영상에 대하여 복수의 객체 중 한 서브셋의 객체에 대해서만 객체 인식을 수행하는 단계; 및

   (b) 상기 (a)단계가 수행되는 동안 상기 입력 영상 내의 모든 객체들에 대해서 상기 특정 시점의 이전 시점의 영상으로부터 영상 간 모든 객체를 추적하는 단계

   를 포함하는 것을 특징으로 하는 복수 객체 추적 방법.
3. 제2항에 있어서, 상기 (b)단계는

   상기 입력 영상의 객체에서 특징점을 추출하고, 상기 이전 시점의 영상으로부터 추출된 특징점과 매칭시킴으로써 영상 간 모든 객체를 추적하는 것을 특징으로 하는 복수 객체 추적 방법.
4. 복수의 객체를 추적하는 장치에 있어서,

   특정 시점에서의 입력 영상에 대하여 복수의 객체 중 한 서브셋의 객체에 대해서만 객체 인식을 수행하는 인식부; 및

   상기 인식부에서 객체 인식이 수행되는 동안 상기 입력 영상 내의 모든 객체들에 대해서 상기 특정 시점의 이전 시점의 영상으로부터 영상 간 모든 객체를 추적하는 추적부

   를 포함하는 것을 특징으로 하는 복수 객체 추적 장치.
5. 제4항에 있어서,

   상기 인식부와 상기 추적부는 각기 독립된 쓰레드(thread)에서 동작되어 멀티 코어 CPU 상에서 인식과 추적이 병렬적으로 수행되는 것을 특징으로 하는 복수 객체 추적 장치.
6. 제4항에 있어서, 상기 추적부는

   상기 입력 영상의 객체에서 특징점을 추출하고, 상기 이전 시점의 영상으로부터 추출된 특징점과 매칭시킴으로써 영상 간 모든 객체를 추적하는 것을 특징으로 하는 복수 객체 추적 장치.
7. 제1항 내지 제3항 중 어느 한 항에 따른 복수 객체 추적 방법이 프로그램으로 수록된 컴퓨터가 판독가능한 저장매체.

Images