KR20050082252A - 객체 추적 방법 및 그 장치 - Google Patents

Abstract

객체 추적 방법 및 장치가 개시된다. 본 발명에 따른 객체 추적 방법은 연속 입력 영상으로부터 객체가 위치하는 영역의 세그먼트를 분할하고, 세그먼트에 대해 소정 측정 정보를 얻는 단계; 세그먼트를 중심으로 복수의 탐색 영역을 결정하고, 탐색 영역들에서 이전 프레임의 측정 정보를 기반으로하여 현재 프레임에서 세그먼트의 파라미터들을 예측하는 단계; 예측 결과들로부터 소정 탐색 영역들을 부분 탐색 후보 영역들로 선택하는 단계; 세그먼트에 대한 비주얼 큐를 측정하는 단계; 및 부분 탐색 후보 영역들에서 비주얼 큐 및 예측 결과들을 기반으로하여 현재 프레임에 대한 세그먼트의 파라미터들을 추정하고, 추정결과 가장 큰 값을 갖는 파라미터들을 세그먼트의 파라미터들로 결정하는 단계를 포함함을 특징으로한다.

Description

객체 추적 방법 및 그 장치{Object tracking method and apparatus}

본 발명은 객체 추적 방법 및 그 장치에 관한 것으로, 특히 스테레오 영상을 이용하여 움직이는 객체를 추적하는 방법 및 그 장치에 관한 것이다.

컴퓨터 비젼을 이용하여 인간의 행동을 분석하는 분야는 수십년동안 연구되어왔고, 그 연구 결과는 영상 감시(videp surveillance), 컨텐츠 기반의 영상 서비스, 가상 현실(vitual reality), 고객 관계 관리(customer relationship management), 바이오메트릭(biometrics) 및 지능형 인터페이스(intelligent interface) 등에 적용되었다. 최근에는 노년 인구나 개인의 안전과 같은 사회적인 요구, 스마트 홈(smart home) 또는 유비쿼터스 컴퓨팅(ubiquitous computing)과 같은 새로운 컴퓨팅 환경 등으로 인해 인간 행동에 대한 영상 분석 연구가 더욱 활발해지고 있다.

여러 사람에 대한 비쥬얼 추적(visual tracking)은 인간 분석(human analysis)에 있어서 기본적인 요소이다. 비쥬얼 추적은 많은 사람들 또는 그들의 몸의 일부분들에 대한 움직임 궤적(trajectory)을 제공하고, 인간 행동 분석에 대한 주요 입력 요소가 된다.

객체로서, 사람을 추적하는 것은 카메라의 구성에 따라 여러 분야에서 접근할 수 있다. 최근에는 여러 관찰 결과들을 확률적인 토대(probabilistic framework)에서 융합할 수 있다는 효율성 때문에 확률적 추적 접근 방법이 주목을 받고 있다. 확률적 추적 접근 방법은 크게 결정 탐색 방법(deterministic searching method)과 스토캐스틱 탐색 방법(stochastic searching method)의 두가지로 나눌 수 있다.

결정 탐색 방법은 객체 추적에 빠르다는 특징이 있고, 움직임을 가우시안(Gaussian) 함수로 모델링하는 경우에 적용가능하다.

스토캐스틱 탐색 방법은 영상에 복잡한 배경 클러터(clutter)가 있을 때 움직임 모델을 비가우시안(non-Gaussian) 함수로 확장한 것이다. 스토캐스틱 탐색 방법에는 입자 필터(particl filter)가 사용된다. 입자 필터는 복잡한 해석적인(analytic) 계산을 하지않고, 몬테-카를로 시뮬레이션(Monte-Carlo simulation)을 기반으로하여 비선형, 비가우시안 시스템에서 상태 추정(state estimation)에 적합한 틀(framework)을 제공하므로 인간의 몸을 추적하는데 적절하다.

그러나 입자 필터는 고차원의 상태공간을 샘플링하는데 비현실적으로(unpractically) 많은 입자들, 즉 랜덤 샘플들(random samples) 또는 관심 변수들(multiple copies of the variables of interest)을 필요로한다. 만일 입자 수가 작다면, 상태 공간에서의 샘플링 공백(depletion)때문에 추적 실패를 회복하기가 어렵게 되는 문제점이 발생한다. 또한 입자 필터는 정확한 모델 초기화가 필요한데, 이는 수동으로(manually) 이루어져야하므로 현실적으로 응용하기가 쉽지않다. 또한, 입자 필터를 이용한 스토캐스틱 탐색 방법은 입자 수와 개별 문제들에 맞춰진 모델링을 잘 다루지않으면 아주 느려질 수 있다는 문제가 있다.

본 발명이 이루고자하는 기술적 과제는 1차원의 결정 탐색으로 객체의 이동 후보 지역을 감소시키고, 후보 지역들에 대해 2차원의 스토캐스틱 탐색으로 객체의 위치와 스캐일을 추정하는 복수의 객체 추적 방법 및 그 장치를 제공하는데 있다.

상기 기술적 과제를 이루기위한, 본 발명의 객체 추적 방법은 연속 입력 영상으로부터 객체가 위치하는 영역의 세그먼트를 분할하고, 상기 세그먼트에 대해 소정 측정 정보를 얻는 단계; 상기 세그먼트를 중심으로 복수의 탐색 영역을 결정하고, 상기 탐색 영역들에서 이전 프레임의 측정 정보를 기반으로하여 현재 프레임에서 상기 세그먼트의 파라미터들을 예측하는 단계; 예측 결과들로부터 소정 탐색 영역들을 부분 탐색 후보 영역들로 선택하는 단계; 상기 세그먼트에 대한 비주얼 큐를 측정하는 단계; 및 상기 부분 탐색 후보 영역들에서 상기 비주얼 큐 및 상기 예측 결과들을 기반으로하여 현재 프레임에 대한 상기 세그먼트의 파라미터들을 추정하고, 추정결과 가장 큰 값을 갖는 파라미터들을 상기 세그먼트의 파라미터들로 결정하는 단계를 포함함을 특징으로한다.

상기 기술적 과제를 이루기위한, 본 발명의 객체 추적 장치는 영상을 연속하여 입력하는 영상 입력부; 상기 영상에서 객체가 위치하는 영역의 세그먼트를 감지하여 분할하고, 상기 세그먼트에 대해 소정 측정정보를 얻는 영상 분할부; 상기 세그먼트를 중심으로 복수의 탐색 영역을 결정하고, 상기 탐색 영역들에서 이전 프레임의 측정 정보를 기반으로하여 현재 프레임에서 상기 세그먼트의 파라미터들을 예측하는 예측부; 상기 세그먼트에 대한 평균 깊이 정보, 칼라 정보, 움직임 정보 및 윤곽 정보에 대한 확률들중 적어도 하나를 포함하는 비주얼 큐를 측정하는 비주얼 큐 측정부; 및 상기 예측부의 예측 결과들로부터 소정 탐색 영역들을 부분 탐색 후보 영역들로 선택하고, 상기 부분 탐색 후보 영역들에서 상기 비주얼 큐 및 상기 예측 결과들을 기반으로하여 현재 프레임에 대한 상기 세그먼트의 파라미터들을 추정하고, 추정결과 가장 큰 값을 갖는 파라미터들을 상기 세그먼트의 파라미터들로 결정하는 추적부를 포함함을 특징으로한다.

이하에서 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명하기로한다.

도 1은 본 발명에 따른 객체 추적 장치에 대한 블록도이다. 도시된 바에 따른 객체 추적 장치는 영상 입력부(10), 영상 분할부(11), 초기화부(12), 데이터베이스(13), 비주얼 큐 측정부(14), 예측부(15) 및 추적부(16)를 포함한다.

상기 구성에 따른 동작을 도 2의 흐름도를 참조하여 설명하기로한다. 도 2는 본 발명에 따른 객체 추적 방법에 대한 흐름도이다.

영상 입력부(10)는 두 카메라를 이용하여 일정한 시간마다 스테레오 영상을 입력받는다(20단계). 두 카메라는 도 3a에 도시된 바와 같이 목표 장소의 상부에 설치되어 위에서 아래로 향하는 시야(탑다운 뷰(top-down view))를 갖는다. 도 3b는 객체들의 탑다운 뷰를 개략적으로 도시한 것으로, 사람의 경우 참조번호 3-2와 같이 타원 형태로 머리와 어깨부분을 도시할 수 있다. 참조번호 3-1은 고정된 물체이다.

영상 분할부(11)는 입력된 스테레오 영상에서 객체를 감지하고 영상으로부터 감지된 부분을 분할한다(21단계). 객체 감지는 기존의 어떠한 객체 감지 방법으로도 이루어질 수 있으며, 스테레오 영상에서 깊이를 이용하여 깊이의 변화 패턴 또는 변화 범위를 참조하여 이루어질 수도 있다. 여기서, 깊이는 카메라로부터 객체까지의 거리를 말한다. 예를 들어, 깊이가 어깨-머리-어깨의 패턴에 따라 깊이의 패턴이 요철형태로 나타난다면 객체인 것으로 감지할 수도 있다. 분할(segmentation)은 영상에서 사람의 머리와 어깨부분에 대해 이루어지는데, 이 부분은 사람의 움직임에 대한 탑-다운 뷰에서 움직임이 거의 없는 부분이다.

초기화부(12)는 데이터베이스(13)를 참조하여 감지된 객체가 새로운 객체인지를 판별하고(22단계), 새로운 객체이면 데이터베이스(13)에 새로운 객체의 ID와 관련정보를 저장하며(23단계), 초기화한다(24단계). 여기서 객체 관련정보는 분할된 부분, 즉 세그먼트에 대한 깊이정보 y₀ ^깊이와 칼라정보 y₀ ^칼라 를 포함한다. 깊이 정보는 1차원 깊이 맵으로서, 도 4에 도시된 바와 같이 세그먼트(41)에서 어느 한 방향의 일직선(42)을 따라서 측정된 깊이를 평균한 값을 말한다. 칼라 정보는 분할된 부분(41)에 포함된 칼라 히스토그램을 말한다.

초기화부(12)는 감지된 객체의 깊이 및 칼라 정보가 상기 데이터베이스(13)에 저장된 값들과 실질적으로 동일한지를 판별하고, 실질적으로 동일하지않다면 감지된 객체를 새로운 객체인 것으로 판별한다. 세그먼트(41)는 사각형의 폭과 높이의 평균 길이의 제곱으로 정규화된다. 따라서 객체가 영상으로부터 분할되었을 때, 회전변화(rotation change)에 불변하고 세그먼트의 스케일(scale)에 민감하지않은 것으로 간주할 수 있다. 즉, 비대칭 분할(non-symmetric segmentation)이어도 잘(reasonably) 동작한다.

추적을 위해 초기상태에서 세그먼트(41)의 중심위치 (x₀, y₀)와 스케일은 와 같이 저장된다. 여기서, x₀, y₀는 세그먼트의 중심에 대한 x,y 위치를 나타내고, 스케일은 초기 세그먼트의 폭과 길이를 기준으로하고 그 값을 1.0으로 지정한다. 이하에서 위치 및 스케일을 위치로 약하여 기술하기로한다.

예측부(15)는 이전 프레임의 측정값들로부터 현재 프레임에서 입자들의 위치에 대한 사전 확률(prior probability)을 구하여, 객체의 위치를 예측한다.

예측부(15)는 초기에 초기화부(12)에 의해 초기화된다. 기준 세그먼트에 대해 초기위치 의 주변에서 N개의 위치를 샘플링하여 입자들을 생성하고, 에 객체가 존재할 확률을 로 정한다. 이 때, p₀는 1/N이다. 여기서, 초기위치의 주변이라 함은 초기위치를 중심으로 소정 범위내에서 정해지는 영역으로 본 실시예에서는 추후 설명될 탐색 타원을 말한다.

입자들에 대한 사전확률 및 추후 설명될 사후 확률에 대한 계산을 입자의 전파(propagation)라고 하며, 일반적으로 전파는 객체의 알려진 또는 학습된 움직임의 동력학(dynamics)에 따라 모델링된다. 그러나, 잡음이 있는 환경하에서 이전 프레임에서 객체에 대한 관찰은 다음 프레임에서 객체의 위치를 예측하는데는 충분히 정확하지않다. 더우기, 객체가 교차하거나(crossing) 빠르게 움직이는 것과 같이 복잡하게 움직이는 경우, 복잡한 움직임에 대한 동력학을 모델링하기가 쉽지 않다. 몇몇 연구자들은 몇가지 예를 이용하여 동력학 모델링을 학습하도록하는 연구를 수행하였으나, 컴퓨터 등의 장치가 모든 가능한 상황을 학습한다는 것은 쉽지않을 뿐더러 시간 소모적인 작업이다.

따라서 본 발명에서는 먼저 회전/스케일에 어느 정도 불변하는 특징(semi rotation/scale-invariant feature)을 갖는 1차원의 결정 탐색(determinstic search)을 수행한다.

결정 탐색을 위해, 먼저, 도 5에 도시된 바와 같이 (k-1)번째 프레임에서 추정된 객체의 위치 를 중심으로하는 탐색 타원을 결정하고, 결정된 타원에서 12방향의 위치를 각각 선정한다(25단계). 다음으로, 12방향의 탐색 라인(51)에 대해 사전 확률을 구한다(26단계). 탐색 타원의 크기는 카메라의 높이에 따른 카메라의 기하(geometry)에 의해 결정될 수 있다.

본 실시예에 따른 결정 탐색에서는 사전 확률로서 상술한 바 있는 1차원 깊이 맵을 이용한 깊이 확률(depth probability)을 채택한다. 깊이 확률은 다음 식과 같이 나타낼 수 있다.

[수학식 1]

여기서, 는 (k-1)번째 프레임에서 측정된 객체의 깊이 정보로부터 예측되는 k번째 프레임에서 객체의 위치를 나타내는 깊이 확률, 는 프레임의 변화에 따른 위치 변화 확률, 는 (k-1)번째 프레임의 객체의 위치 에서 깊이 정보 가 측정될 확률이다. 는 현재 프레임에서 객체에 대해 부분적으로 얻어진 깊이정보를 나타낸다.

또한 은 다음 식과 같이 기준 깊이 맵, 즉 해당 객체가 처음 화면에 나타났을 때의 세그먼트, 즉 기준 세그먼트의 1차원 깊이 맵에 따른 깊이 정보인 과 k번째 프레임에서 의 주변에 대한 1차원 깊이 맵의 상관(correlation)의 평균으로 계산될 수 있다.

[수학식 2]

여기서, T는 전치(transposition)이다.

예측부(15)는 수학식 1에서 깊이 확률이 소정 값 이상인 위치들 또는 깊이 확률이 큰 순서대로 정해진 개수만큼 선택된 위치들을 탐색 후보로 선택한다. 예를 들어 도 5의 참조번호 52로 표현된 위치들이 탐색 후보로 선택된다.

추적부(16)는 선택된 탐색 후보들에 대해서, 입자 수를 결정하고, 결정된 입자 수만큼 입자들을 생성한다(27단계). 입자 수는 깊이 확률로부터 계산될 수 있다. 즉, 최대 입자 수 N을 깊이 확률로부터 다음 식과 같이 얻어지는 비 r을 곱함으로써 얻어진다.

[수학식 3]

여기서, 은 (k-1)번째 프레임에서 해당 객체에 대한 탐색 타원의 중심이다.

물리적으로, r은 깊이 확률을 반영한 깊이 분포(depth distribution)에서의 입자들의 위치 분산과 일정한 분포(uniform distribution)하에서의 위치 분산의 비로 결정된다. 즉, 1차원 탐색에 의해 입자들을 보다 국부적(localized)으로 위치시키게 되어, 일정한 분포를 고려하는 경우보다 필요한 입자 수는 작아질 것이다.

비주얼 큐 측정부(14)는 예측에 따른 객체의 위치 추정을 위해 세그먼트에 대한 비주얼 큐를 측정한다(28단계). 여기서, 비주얼 큐는 객체에 대한 평균 깊이 정보, 칼라 정보, 움직임 정보 또는 윤곽(shape) 정보를 포함하고, 보다 정확하게는 k시간의 객체의 위치 에 대해 각 정보를 가질 확률을 말한다. 이 때 확률은, 각 세그먼트가 갖는 스케일에 의해 정규화된 값을 의미한다.

평균 깊이 확률 은 k번재 프레임에서 측정된 깊이와 초기 세그먼트에서의 기준 깊이(reference depth)의 차를 평균한 값으로 계산된다. 움직임 확률 은 영상의 픽셀 분산(pixel variance)에 대해 관찰된 픽셀과 배경 영상의 기준 픽셀과의 거리를 평균한 값으로 계산된다. 칼라 확률 은 칼라 히스토그램이 적용될 수 있다. 윤곽 확률 은 세그먼트(41)에 대해 2차 미분(Laplacian) 연산을 수행하여 얻은 객체의 윤곽 정보와 데이터베이스(13)에 저장된 해당 객체의 윤곽 정보의 유사도(similarity)를 구함으로써 얻어진다.

도 6(a) 내지 도 6(c)는 복수의 입자들에 대해 객체의 세그먼트로부터 얻은 각 확률의 예를 도시한 것으로, 각각 깊이 확률, 칼라 확률, 움직임 확률을 나타내고, 도 6(d)는 도 6(a) 내지 도 6(c)의 확률들을 모두 곱한 결과를 도시한 것이다. 예를 들어, 도 6(d)에서 가장 높은 값에 해당하는 입자의 위치에 현재 프레임에서 객체가 위치할 확률이 가장 높다고 할 수 있다.

추적부(16)는 비주얼 큐 측정부(14)에서 출력되는 평균 깊이 확률, 움직임 확률, 윤곽 확률 및 칼라 확률중 어느 하나 이상 또는 모두를 이용하여 각 입자에 대해 k번째 프레임에서의 위치와 스케일에 대한 사후 확률 을 다음 식과 같이 계산한다(29단계).

[수학식 4]

여기서, 은 (k-1)번째 프레임의 깊이 정보에 대해 k번째 프레임에서의 각 측정값의 확률로서, 사후 확률에 대한 정규화(normalization)를 위한 것이다.

각 탐색 후보에 속하는 입자들에 대해 수학식 4에 따라 객체의 위치 및 스케일이 갱신되면, 갱신된 확률중 가장 큰 값에 해당하는 위치 및 스케일이 객체의 현재 프레임에서 객체의 위치 및 스케일이 되고, 이는 다음 프레임에서 이전 프레임의 객체의 위치 및 스케일이 된다(30단계).

객체의 위치 및 스케일이 갱신되면, 객체에 대해 마스킹 과정이 더 수행될 수 있다(31단계). 마스킹은 탑-다운 뷰로부터 객체를 추적하는 동안 객체들이 동시에 동일한 위치를 점유하지 않으므로 추적 대상의 객체가 다른 객체에 의해 가리워지는 경우가 없다는 점에 착안하여 현재 추적중인 객체를 마스킹하는 것을 말한다.

따라서 다른 객체에 의해 점유된 지역을 지원 마스크(support mask)라고 명명한 이진 마스크(binary mask)를 이용하여 마스킹한다. 그 과정은, 먼저, 영상과 동일한 크기의 맵(map)을 1로 설정한다. 추적대상의 객체와 해당 객체에 의해 점유된 것으로 추정되는 지역을 0으로 마스킹한다. 다음 객체를 추적하는 경우, 마스킹된 지역은 고려대상에서 제외한다. 단, 단일 객체를 추적하는 동안 추정 오차(estimation error)를 허용하기위해서 객체간의 작은 중첩(overlap)은 허용할 수도 있다. 도 7은 깊이 영상(depth image)에 중첩된 지원 마스크의 예를 도시한 것이다. 도 7(a)는 탑-다운 뷰를 갖는 깊이 영상을 나타내고, 도 7(b) 내지 도 7(d)는 각각 추적되는 첫번째, 두번째, 세번째 객체를 각각 마스킹한 결과를 도시한 것이다.

현재 추적중인 객체에 대해 마스킹이 완료되면, 현재 프레임의 모든 객체에 대한 추적이 완료되었는지를 점검하여(32단계), 다른 객체가 더 남아있다면 마스킹된 지역이외의 다른 지역의 객체로 이동하여(33단계) 22단계 내지 31단계를 수행한다. 모든 객체를 처리하였다면, 이전 프레임과 비교하여 화면밖으로 이동한 객체가 있는지를 점검하고(34단계), 그러한 경우라면 데이터베이스에서 삭제한다(35단계).

도 8(a)는 깊이 영상을 나타내고, 도 8(b)는 객체에 대해 추적된 궤적을 나타낸 것이다. 도시된 바에 따르면, 복수의 움직이는 객체에 대해서도 추적이 잘 이루어짐을 알 수 있다.

다음 표들은 본 발명에 따른 실험 결과를 설명하는 것이다. 본 실험에서 카메라는 바닥에서 2.6m 떨어진 천정에 설치되었고, 5m x 4m 크기의 뷰(view)를 갖는다. 또한, 카메라는 초당 5프레임의 영상을 출력한다. 실험은 복수의 사람들이 다양한 속도로 여러 방향으로 지나가는 단순한 경우와 U-턴, 잠깐 정지(pause), 교차 또는 물건의 동반 등과 같은 복잡한 경우로 나누어 실험하였다.

표 1은 1인, 2~-3인 또는 4인 이상이 화면에서 움직이는 경우에 대한 실험 회수를 나타내고, 표 2는 표 1의 각 경우에 대한 평균 추적 성공률을 보인 것이다.

[표 1]

명수		간단	복잡
1인		4회	6회
2-3인		4회	10회
4인 이상		3회	4회

[표 2]

성공률	간단	복잡
1인	100	83.333
2-3인	70.833	81.667
4인 이상	95.237	87.728

표에 따르면, 전체 평균 85%의 성공률을 얻었음을 알 수 있다.

본 발명에 따르면, 영상에서 객체에 대한 지역을 분할하고, 분할된 세그먼트를 기반으로 결정 탐색을 수행하여 탐색 후보 영역 및 입자 수를 결정하며, 탐색 후보 영역에 대해서 스토캐스틱 탐색 방법을 이용하여 비주얼 큐를 추정하고, 추정된 값을 기반으로하여 세그먼트의 위치 및 스케일을 갱신함으로써 보다 정확한 객체 추적이 가능하다. 또한 지원 마스크를 사용함으로써 다른 객체를 추적하는 경우 마스킹된 지역을 제외함으로써 빠른 탐색이 가능하고, 보다 정확한 추적이 가능하다.

도 1은 본 발명에 따른 객체 추적 장치에 대한 블록도이다.

도 2는 본 발명에 따른 객체 추적 방법에 대한 흐름도이다.

도 3a는 객체 추적을 위해 특정 장소에 카메라가 설치된 모습을 도시한 것이다.

도 3b는 도 3a에 도시된 카메라에서 출력되는 영상을 개략적으로 도시한 것이다.

도 4는 도 3a에 도시된 카메라로부터 얻은 영상에서 분할되는 지역과 해당 지역에서 어느 한 방향의 일직선을 따라 1차원 깊이 정보를 얻는 과정을 개략적으로 도시한 것이다.

도 5는 결정 탐색을 위한 탐색 라인과 타원을 도시한 것이다.

도 6(a) 내지 도 6(c)는 복수의 입자들에 대해 객체 세그먼트로부터 얻은 각 확률의 예를 도시한 것이다.

도 7(a)는 탑-다운 뷰를 갖는 깊이 영상을 나타낸다.

도 7(b) 내지 도 7(d)는 각각 추적되는 첫번째, 두번째, 세번째 객체를 각각 마스킹한 결과를 도시한 것이다.

도 8(a)는 깊이 영상을 나타내고, 도 8(b)는 객체에 대해 추적된 궤적을 나타낸 것이다.

*도면의 주요부분에 대한 부호의 설명

10: 영상 입력부 11: 영상 분할부 12:초기화부

13:데이터베이스 14: 비주얼 큐 측정부 15: 예측부

16: 추적부 41: 영상의 세그먼트

42: 세그먼트서 어느 한 방향에 따른 일직선

Claims (21)

1. 연속 입력 영상으로부터 객체가 위치하는 영역의 세그먼트를 분할하고, 상기 세그먼트에 대해 소정 측정 정보를 얻는 단계;

   상기 세그먼트를 중심으로 복수의 탐색 영역을 결정하고, 상기 탐색 영역들에서 이전 프레임의 측정 정보를 기반으로하여 현재 프레임에서 상기 세그먼트의 파라미터들을 예측하는 단계;

   예측 결과들로부터 소정 탐색 영역들을 부분 탐색 후보 영역들로 선택하는 단계;

   상기 세그먼트에 대한 비주얼 큐를 측정하는 단계; 및

   상기 부분 탐색 후보 영역들에서 상기 비주얼 큐 및 상기 예측 결과들을 기반으로하여 현재 프레임에 대한 상기 세그먼트의 파라미터들을 추정하고, 추정결과 가장 큰 값을 갖는 파라미터들을 상기 세그먼트의 파라미터들로 결정하는 단계를 포함함을 특징으로하는 객체 추적 방법.
2. 제1항에 있어서, 상기 탐색 영역들은

   상기 세그먼트를 중심으로 상기 영상을 입력하는 수단의 기하학으로부터 결정되는 크기의 타원을 복수의 방향으로 구분한 영역임을 특징으로하는 객체 추적 방법.
3. 제1항에 있어서, 상기 세그먼트의 측정 정보는

   상기 세그먼트에서 어느 한 방향의 일직선을 따라서 측정된 영상의 깊이 정보를 평균한 값임을 특징으로하는 객체 추적 방법.
4. 제3항에 있어서,

   k번째 프레임의 깊이 정보가 이고, 상기 세그먼트의 파라미터들이 로 표현되면, 상기 예측은 다음 식과 같은 사전확률

   여기서,는 현재 프레임에서 객체에 대해 부분적으로 얻어진 깊이정보

   로 나타나는 것을 특징으로하는 객체 추적 방법.
5. 제4항에 있어서, 상기 수학식의 은 다음 식

   여기서, 는 기준 세그먼트의 1차원 깊이 맵에 따른 깊이 정보 , 는 k번째 프레임에서 의 주변에 대한 깊이 맵에 따른 깊이 정보

   와 같이 계산됨을 특징으로하는 객체 추적 방법.
6. 제5항에 있어서,

   상기 객체가 현재 프레임에서 처음 등장한 새로운 객체라면, 상기 세그먼트의 초기위치 를 중심으로하는 상기 탐색 영역에서 N개의 위치를 샘플링하고, 상기에 대한 사전확률 를 1/N로 결정하는 것을 특징으로하는 객체 추적 방법.
7. 제6항에 있어서,

   상기 새로운 객체의 ID와 상기 세그먼트에 대한 깊이 정보 및 칼라 정보를 포함하는 화상 정보를 데이터베이스에 저장하여 초기화하는 단계를 더 포함함을 특징으로하는 객체 추적 방법.
8. 제7항에 있어서, 상기 새로운 객체인지에 대한 판별은

   상기 화상 정보를 구하는 단계; 및

   상기 화상 정보를 상기 데이터베이스에 저장된 값들과 비교하여 실질적으로 동일한 값이 없다면 새로운 객체로 판별하는 단계를 포함함을 특징으로하는 객체 추적 방법.
9. 제7항에 있어서, 상기 초기화는

   상기 새로운 객체의 ID, 상기 화상 정보, 상기 세그먼트의 중심의 위치 및 스케일을 포함하는 정보를 저장하는 것을 특징으로하는 객체 추적 방법.
10. 제1항에 있어서, 상기 부분 탐색 후보 영역들은

    상기 예측결과가 소정 값 이상인 영역들이거나, 상기 예측 결과가 큰 순서로 소정 개수에 포함되는 영역들임을 특징으로하는 객체 추적 방법,
11. 제1항에 있어서, 상기 비주얼 큐는

    상기 세그먼트에 대해 측정되는 칼라 히스토그램, 평균 깊이 정보, 움직임 정보 및 윤곽 정보에 대한 확률들중 적어도 하나를 포함함을 특징으로하는 객체 추적 방법.
12. 제11항에 있어서, 상기 추정된 파라미터들은

    이전 프레임에서 상기 객체에 대해 측정된 깊이 정보에 대해 현재 프레임에서 칼라 히스토그램, 평균 깊이 정보, 움직임 정보 및 윤곽 정보중 적어도 하나를 포함하여 측정할 확률에 의해 정규화되는 것을 특징으로하는 객체 추적 방법.
13. 제1항에 있어서,

    상기 세그먼트를 마스킹하는 단계;

    상기 영상에서 마스킹된 세그먼트 이외의 지역을 탐색하여 다른 객체를 찾는 단계; 및

    다른 객체가 있다면, 상기 단계들을 반복수행하는 단계를 더 포함함을 특징으로하는 객체 추적 방법.
14. 제13항에 있어서,

    상기 영상에 나타난 모든 객체에 대해 상기 단계들을 수행하였다면, 상기 객체들에 대한 정보를 저장하는 데이터베이스를 참조하여 상기 데이터베이스에 저장된 객체들중에서 현재 영상에 나타나지않은 객체를 찾고, 해당 객체를 상기 데이터베이스에서 삭제하는 단계를 더 포함함을 특징으로하는 객체 추적 방법.
15. 영상을 연속하여 입력하는 영상 입력부;

    상기 영상에서 객체가 위치하는 영역의 세그먼트를 감지하여 분할하고, 상기 세그먼트에 대해 소정 측정정보를 얻는 영상 분할부;

    상기 세그먼트를 중심으로 복수의 탐색 영역을 결정하고, 상기 탐색 영역들에서 이전 프레임의 측정 정보를 기반으로하여 현재 프레임에서 상기 세그먼트의 파라미터들을 예측하는 예측부;

    상기 세그먼트에 대한 평균 깊이 정보, 칼라 정보, 움직임 정보 및 윤곽 정보에 대한 확률들중 적어도 하나를 포함하는 비주얼 큐를 측정하는 비주얼 큐 측정부; 및

    상기 예측부의 예측 결과들로부터 소정 탐색 영역들을 부분 탐색 후보 영역들로 선택하고, 상기 부분 탐색 후보 영역들에서 상기 비주얼 큐 및 상기 예측 결과들을 기반으로하여 현재 프레임에 대한 상기 세그먼트의 파라미터들을 추정하고, 추정결과 가장 큰 값을 갖는 파라미터들을 상기 세그먼트의 파라미터들로 결정하는 추적부를 포함함을 특징으로하는 객체 추적 장치.
16. 제15항에 있어서, 상기 예측부는

    상기 세그먼트를 중심으로 상기 영상 입력부의 기하학으로부터 결정되는 크기의 타원을 복수의 방향으로 구분한 영역을 상기 탐색 영역들로 선택하는 기능을 포함함을 특징으로하는 객체 추적 장치.
17. 제16항에 있어서, 상기 영상 분할부는

    상기 세그먼트에서 어느 한 방향의 일직선을 따라서 측정된 영상의 깊이 정보를 평균한 값을 상기 세그먼트의 측정 정보로 얻는 기능을 포함함을 특징으로하는 객체 추적 장치.
18. 제17항에 있어서, 상기 예측부는

    k번째 프레임의 깊이 정보가 이고, 상기 세그먼트의 파라미터들이 로 표현되면, 다음 식과 같은 사전확률

    여기서,는 현재 프레임에서 객체에 대해 부분적으로 얻어진 깊이정보

    에 따라 상기 파라미터들을 예측하는 기능을 포함함을 특징으로하는 객체 추적 장치.
19. 제18항에 있어서, 상기 예측부는

    상기 수학식의 를 다음 식

    여기서, 는 기준 세그먼트의 1차원 깊이 맵에 따른 깊이 정보 , 는 k번째 프레임에서 의 주변에 대한 깊이 맵에 따른 깊이 정보

    에 따라 구하는 기능을 포함함을 특징으로하는 객체 추적 장치.
20. 제15항에 있어서,

    데이터베이스; 및

    상기 객체가 새로운 객체이면 상기 세그먼트로부터 깊이 정보 및 칼라 정보를 상기 새로운 객체의 ID와 함께 상기 데이터베이스에 저장하고, 상기 세그먼트의 파라미터들을 초기화하는 초기화부를 더 포함함을 특징으로하는 객체 추적 장치.
21. 제20항에 있어서, 상기 추적부는

    상기 세그먼트의 파라미터들을 결정한 경우, 상기 세그먼트를 상기 영상의 다른 지역과 구별하도록 마스킹하는 마스크를 더 포함함을 특징으로하는 객체 추적 장치.