KR101901487B1 - 저사양 영상 기기에서의 실시간 객체 추적 시스템 및 방법 - Google Patents

Abstract

저사양 영상 기기에서의 실시간 객체 추적 시스템 및 방법이 제공된다. 본 발명의 일 실시예에 따른 객체 추적 방법은, 전역적 외형 모델과 지역적 외형 모델을 기초로 영상 내 객체의 위치와 크기를 추정하고, 전역적 외형 모델을 업데이트 한다. 이에 의해, 추적 대상 객체의 갑작스런 크기 변화와 가려짐 문제에 강건한 객체 추적이 가능해진다.

Description

저사양 영상 기기에서의 실시간 객체 추적 시스템 및 방법{Real-Time Object Tracking System and Method for in Lower Performance Video Devices}

본 발명은 실시간 객체 기술에 관한 것으로, 더욱 상세하게는 지능형 자동차의 저사양 영상 기기에 적용가능한 실시간 객체 추적 시스템 및 방법에 관한 것이다.

1. 계산량 문제

영상 기반의 객체 추적은, 객체의 외형을 학습 시 대부분의 기계학습(machine learning)에 기반을 둔다. 이는, 도 1에 도시된 바와 같이, positive 샘플과 negative 샘플을 객체 주변에서 랜덤하게 획득하여 객체와 배경을 가장 잘 분리할 수 있는 객체 외형 모델을 학습한다.

하지만, 계산량 문제로 제한적인 수의 샘플만 외형 학습에 사용 가능하며, 샘플 획득은 랜덤하게 이루어지기 때문에 현재 객체의 외형을 가장 잘 표현하는 샘플 획득이 어렵다.

2. 크기 변화 문제

기계학습 방법에 기반을 둔 대부분의 객체 추적 방법은, 객체를 배경으로부터 구별하는 외형 모델을 온라인으로 학습하므로 객체의 위치 추정에는 효과적이나 객체의 크기 변화 추정에는 대응하기 어렵다.

즉, 도 2의 (a)-(b)에 나타난 바와 같이, 객체의 외형 크기가 변하는 경우 객체 추적의 성능이 낮아짐을 알 수 있다.

3. 가려짐(occlusion) 문제

객체 추적 시 영상 내의 구조물이나 다른 객체에 의해 객체 가려짐 문제가 발생한다. 이런 경우 객체의 외형 정보를 학습하게 되면 추적 객체가 객체를 가린 구조물이나 객체의 외형 정보가 학습되어, 도 3의 (b)-(c)에 나타난 바와 같이, 일정 시간이 지나서 추적 객체가 다시 출현할 경우 객체 재인식에 실패하게 된다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 고사양 컴퓨터 플랫폼이 아닌 저전력/저사양 영상기기에서, 추적 대상 객체의 갑작스런 크기 변화와 가려짐 문제 등에 강건한 실시간 객체 추적 시스템 및 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 객체 추적 방법은, 전역적 외형 모델(Global Appearance Model)과 지역적 외형 모델(Local Appearance Model)을 기초로, 영상 내 객체의 위치와 크기를 추정하는 단계; 및 상기 전역적 외형 모델을 업데이트 하는 단계;를 포함한다.

그리고, 상기 전역적 외형 모델은 영상 내 객체의 위치를 추정하기 위한 모델이고, 상기 지역적 외형 모델은 영상 내 객체의 크기를 추정하기 위한 모델일 수 있다.

또한, 추정 단계는, 다음의 객체 모션 모델 p(x_t｜z_{1 :t})을 최대화하는 객체의 위치와 크기 x_t를 산출하며,

z_t는 입력 영상, P_occ(x_t)는 가려짐(occlusion) 확률, P_m(x_t)은 이전 시간에서 객체 모션, p_L(z_t｜x_t)은 지역적 외형 모델, p_G(z_t｜x_t)는 전역적 외형 모델일 수 있다.

그리고, 상기 전역적 외형 모델 p_G(z_t｜x_t)는, 다음의 식으로 표현되며,

는 주파수 역변환,

은 주파수 변환, h는 학습된 상관도 필터, ⊙는 원소 연산(element-wise) 처리,

는 커널(kernel) 함수일 수 있다.

또한, 상기 지역적 외형 모델 p_L(z_t｜x_t)은, 이전 시간의 특징점 간의 상대 거리와 현재 시간의 특징점 간의 상대 거리 비율일 수 있다.

그리고, 상기 가려짐 확률 P_occ(x_t)는, 추적 중인 특징점의 손실 비율이 정해진 비율을 초과하면 P₁ 이고, 정해진 비율 미만이면 P₂(>P₁)이며, 상기 업데이트 단계는, 상기 손실 비율을 기초로, 상기 전역적 외형 모델을 업데이트 할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 객체 추적 시스템은, 영상을 입력받는 입력부; 및 전역적 외형 모델(Global Appearance Model)과 지역적 외형 모델(Local Appearance Model)을 기초로 영상 내 객체의 위치와 크기를 추정하고, 상기 전역적 외형 모델을 업데이트 하는 프로세서;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 지역적 외형 모델을 같이 활용하기 때문에, 자동차 주행 환경에서 자동차의 움직임에 의해 전방에 출현하는 객체(교통 표지판 등)의 크기 변화가 심한 경우에도, 객체 추적이 가능해진다.

또한, 본 발명의 실시예들에 따르면, 지역적 외형 모델을 이용하여 객체 가려짐 현상을 추정하고 객체 외형 모델 학습을 중단함으로써 미래에 발생할 수 있는 객체 추적 실패를 사전에 방지할 수 있게 된다.

아울러, 본 발명의 실시예들에 따르면, 객체의 크기 변화나 가려짐 현상을 효과적으로 추정할 수 있는 지역적 외형 모델과 영상의 노이즈나 밝기 변화에 효과적으로 대응할 수 있는 전역적 외형 모델을 함께 활용함으로써 보다 다양한 환경에서 효과적인 객체 추적이 가능하다.

도 1은 객체 외형 모델 학습을 위한 학습샘플(training sample) 획득을 예시한 이미지,
도 2는 객체 크기 변화 문제[(a)-(b)]와 가려짐 문제[(b)-(c)]를 나타낸 이미지,
도 3은 저사양 영상 기기에서의 실시간 객체 추적 방법을 나타낸 도면,
도 4는 회선 연산을 이용한 학습 데이터 획득 방식을 나타낸 도면,
도 5는 객체의 크기 변화에 따른 이전 시간의 특징점 간의 상대 거리와 현재 시간의 특징점 간의 상대거리 변화를 나타낸 도면,
도 6은 객체 가려짐에서 발생하는 특징점 손실을 예시한 도면,
도 7 내지 도 11은, 객체 추적 실험 결과를 나타낸 도면들, 그리고,
도 12는 본 발명의 다른 실시예에 따른 객체 추적 시스템의 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

본 발명의 실시예에서는, 지능형 자동차의 핵심 기술인 보행자 인식, 교통 신호 인식, 차량 인식, 번호판 인식 등의 기능 구현에서 핵심으로 이용되는 객체 추적 방법으로, 고사양 컴퓨터 플랫폼이 아닌 저전력/저사양 영상기기에서 동작 가능한 다중 객체 추적 방법 및 시스템을 제시한다.

본 발명의 실시예에서는, 자동차 플랫폼 영상 획득 환경에서 흔히 발생하는 추적 대상 객체의 갑작스런 크기 변화와 가려짐(occlusion) 문제에 강건한 객체 추적을 추구한다.

도 3은 본 발명의 일 실시예에 따른 저사양 영상 기기에서의 실시간 객체 추적 방법을 나타낸 도면이다. 도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 실시간 객체 추적 방법은, 객체 추적을 위한 주요 외형 모델로, 지역적 외형 모델(Local Appearance Model)과 전역적 외형 모델(Global Appearance Model)을 함께 이용한다.

지역적 외형 모델은, 영상 노이즈나 영상의 밝기 변화에 취약하지만, 객체의 크기 변화나 가려짐 현상을 효과적으로 추정할 수 있다. 반대로, 전역적 외형 모델은 객체의 외형 변화에 느리게 따라가지만, 영상의 노이즈나 밝기 변화에 효과적으로 대응할 수 있다.

이에, 본 발명의 일 실시예에서는, 두 외형 모델의 장점을 함께 활용하여 객체 크기 변화와 가려짐 문제 해결은 물론, 영상 밝기 변화와 노이즈에 의한 객체 추적 실패까지 방지한다.

두 외형 모델을 효과적으로 융합하기 위해 확률 기반 프레임워크를 적용한다.

(1)

위의 식 (1)에서 객체의 상태벡터 x_t={u_t,v_t,s_t}^T는 영상 내의 객체 위치(u_t,v_t)와 크기 s_t로 구성된다. 현재 시간 t까지의 입력 영상은 Z_{1 :t}={z₁, ... , Z_t}로 표현한다. 객체 추적 결과는 사후 확률 p(x_t｜z_{1 :t})를 최대화(maximization)하는

이다. 사후 확률 p(x_t｜z_{1 :t})을 유도하면, 다음과 같이 수식화된다.

(2)

여기서, 공산 예측 확률 분포(predicted distribution) p(x_t｜z_{1 :t-1})는 다음과 같이 표현된다.

(3)

위의 식(3)에서 p(x_t｜x_{t -1})는 객체의 모션 모델로 다양한 객체의 움직임을 예측하기 위해 랜덤 워크 모델(Random Walk Model)로 정의한다. 식 (2)에서 공산 p(z_t｜x_t)는 지역적 외형 모델 p_L(z_t｜x_t)과 전역적 외형 모델 p_G(z_t｜x_t)로 설계되며 다음과 같이 표현 가능하다.

(4)

위의 식 (4)에서, P_occ(x_t)는 가려짐(occlusion) 확률로, 다음과 같이 정의 된다. P_occ(x_t)∈{0,1}. 객체가 가려진 상황이라고 추정되면 1의 값을 갖게 되며, 그 외의 상황에서는 0의 값을 갖는다. 가려짐 확률이 1인 경우, 공산 P_m(x_t)은 이전 시간에서 객체의 선형 움직임 정보를 이용하여 표현한 가우시안 분포로 가정한다.

전역적 외형 모델 p_G(z_t｜x_t)은 영상 내의 객체 위치를 추정하는 것을 목적으로 한다. 전역적 외형 모델 p_G(z_t｜x_t)의 학습을 위해서 positive 샘플과 negative 샘플을 랜덤하게 획득하는 방법을 이용하기 보다는 상관도 필터(Correlation Filter)를 이용하여, 도 4와 같이 객체 샘플을 조밀하게 획득하여 외형 모델을 학습한다. 구체적으로, 검색 영역에서 1픽셀 차이로 템플릿(template)을 움직이며 학습 데이터를 획득한다. 도 4와 같이 조밀하게 학습 데이터를 획득하는 방식은 회선(convolution) 연산으로 표현 가능하다. 회선 연산은 주파수 영역에서 단순한 원소 연산(element-wise) 처리로 변환하여, 조밀한 학습 데이터 획득은 물론 계산량을 최적화를 동시에 만족시킨다.

도 4에도 표시된 바와 같이, 학습 과정을 회선 연산 *으로 표현하면 다음과 같다.

r*h=g (5)

g는 각 템플릿의 확률 라벨인데, 검색 영역에서 객체가 위치하고 있는 중심 위치의 확률 값을 가장 높게 설정하기 위해 g는 가우시안 분포를 사용한다. 결과적으로 올바르게 학습된 상관도 필터 h는 객체가 존재하는 새로운 영상정보가 입력으로 들어오면 객체의 중심위치에 가장 높은 확률 값을 갖게 한다. 위의 식 (5)를 주파수 영역에서 처리하면 다음과 같이 원소 연산(element-wise) 처리 ⊙로 표현 가능하다.

(6)

여기서

은 주파수 변환이다. 상관도 필터 h는 다음과 같이 연산된다.

(7)

위의 식에서

는 주파수 역변환이다. 학습된 상관도 필터 h를 기반으로 전역적 외형 모델을 수식화하면 다음과 같다.

(8)

위의 식 (7)과 (8)에서,

는 커널(kernel) 함수로, 다음의 수학식 (9)로 정의되는 가우시안 커널(Gaussian Kernel) 함수를 사용할 수 있다.

(9)

지역적 외형 모델 p_L(z_t｜x_t)은 객체의 크기를 추정하는 것을 목적으로 한다. 지역적 외형 모델은 객체 내의 영상 특징점을 개별적으로 추적하여 객체 간의 상대거리를 추정하는 방식이다. 객체 내에서 획득한 영상 특징점 집합

을 매 프레임 마다 추정하며, 도 5에 나타난 바와 같이, 이전 시간의 특징점 간의 상대 거리와 현재 시간의 특징점 간의 상대 거리 비율로 연산한다.

(10)

여기서 N_t는 특징점 수이다.

특징점 추적을 함으로써 객체의 크기뿐 아니라 객체의 가려짐도 추정 가능하다. 도 6에 나타난 바와 같이, 객체의 가려짐이 발생하면 추적 중인 특징점의 수가 일정 비율이상 줄어든다. 이런 경향성을 이용하여 특징점 손실 비율을 측정함으로써 가려짐 현상을 추정한다.

(11)

(12)

식 (11)과 (12)에서처럼 특징점 손실 비율이 0.5 이상인 경우 가려짐이 발생했다고 추정한다. 한편, 가려짐 발생의 기준이 되는 손실 비율 0.5와 가려짐 발생 여부에 따른 P_ooc(x_t)의 값 0,1은 다른 값으로 대체될 수 있음은 물론이다.

(13)

그리고, 특징점 손실 비율에 기반을 둔 객체 가려짐 비율을 이용하여, 객체의 전역적 외형 모델[식 (8)]을 위의 식 (13)을 기반으로 학습하여 업데이트 한다.

도 7 내지 도 9에는 객체 추적 실험 결과를 예시하였다. 도 7 내지 도 9에서, 빨간색 템플릿은 본 발명의 실시예에 따른 객체 추적 방법의 결과이고, 파란색 템플릿은 전역적 외형 모델만 사용한 객체 추적 결과이며, 녹색 템플릿은 지역적 외형 모델만 사용한 객체 추적 결과이다. 본 발명의 실시예에 따른 객체 추적 방법이 객체의 크기 변화, 가려짐 현상, 노이즈 및 밝기 변화에 훨씬 더 강건함을 도 7 내지 도 9를 통해 확인할 수 있다. 본 발명의 실시예에 따른 객체 추적 방법의 성능이 우수함은, 도 10 및 도 11에 제시한 위치 에러와 겹치는 영역 비율을 통해서도 확인 가능하다.

도 12는 본 발명의 다른 실시예에 따른 객체 추적 시스템의 블럭도이다. 본 발명의 실시예에 따른 객체 추적 시스템은, 도 12에 도시된 바와 같이, 영상 입력부(110), 프로세서(120), 저장부(130) 및 출력부(140)를 포함한다.

영상 입력부(110)는 카메라를 통해 촬영되는 영상을 실시간으로 입력받고, 입력되는 영상을 프로세서(120)에 인가한다. 영상 입력부(110)에 입력되는 영상은 실시간 영상이 아니어도 무방하다. 즉, 외부 기기/네트워크에 저장된 영상이 영상 입력부(110)에 입력되어 프로세서(120)에 인가되는 경우도, 본 발명의 기술적 사상이 적용될 수 있다.

프로세서(120)는 위에서 설명한 객체 추적 방법을 실행하기 위한 GPU와 CPU를 포함한다. 저장부(130)는 프로세서(120)가 객체 추적을 수행함에 있어 필요한 저장 공간을 제공한다.

출력부(140)는 프로세서(120)에 의해 수행된 객체 추적 결과를 표시하기 위한 디스플레이와 외부 기기/네트워크로 전달하기 위한 통신 인터페이스를 포함한다.

지금까지, 저사양 영상 기기에서의 실시간 객체 추적 시스템 및 방법에 대해 바람직한 실시예들을 들어 상세히 설명하였다.

본 발명의 실시예에 따른 실시간 객체 추적 시스템 및 방법은, 지능형 자동차의 핵심 기능인 객체 추적을 고사양 컴퓨터 플랫폼이 아닌 저전력/저사양 영상기기에서 동작 가능하게 하는 기술이다.

특히, 자동차 플랫폼 영상획득 환경에서 흔히 발생하는 추적 대상 객체의 갑작스런 크기 변화와 가려짐 문제를 극복하며, 자동차 주행 환경 뿐만 아니라 증강 현실이나 CCTV용 객체 추적 등에도 널리 활용 가능하다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

전역적 외형 모델(Global Appearance Model)
지역적 외형 모델(Local Appearance Model)
객체 위치 및 크기 추정
객체 가려짐 추정
전역적 외형 모델 업데이트

Claims (6)

1. 전역적 외형 모델(Global Appearance Model)과 지역적 외형 모델(Local Appearance Model)을 기초로, 영상 내 객체의 위치와 크기를 추정하는 단계; 및
   상기 전역적 외형 모델을 업데이트 하는 단계;를 포함하고,
   추정 단계는,
   다음의 객체 모션 모델 p(x_t｜z_1:t)을 최대화하는 객체의 위치와 크기 x_t를 산출하며,
   

   

   
   z_t는 입력 영상, P_occ(x_t)는 가려짐(occlusion) 확률, P_m(x_t)은 이전 시간에서 객체 모션, p_L(z_t｜x_t)은 지역적 외형 모델, p_G(z_t｜x_t)는 전역적 외형 모델인 것을 특징으로 하는 객체 추적 방법.
   
2. 청구항 1에 있어서,
   상기 전역적 외형 모델은 영상 내 객체의 위치를 추정하기 위한 모델이고,
   상기 지역적 외형 모델은 영상 내 객체의 크기를 추정하기 위한 모델인 것을 특징으로 하는 객체 추적 방법.
   
3. 삭제
4. 청구항 1에 있어서,
   상기 지역적 외형 모델 p_L(z_t｜x_t)은,
   이전 시간의 특징점 간의 상대 거리와 현재 시간의 특징점 간의 상대 거리 비율인 것을 특징으로 하는 객체 추적 방법.
   
5. 청구항 4에 있어서,
   상기 가려짐 확률 P_occ(x_t)는,
   추적 중인 특징점의 손실 비율이 정해진 비율을 초과하면 P₁ 이고, 정해진 비율 미만이면 P₂(>P₁)이며,
   상기 업데이트 단계는,
   상기 손실 비율을 기초로, 상기 전역적 외형 모델을 업데이트 하는 것을 특징으로 하는 객체 추적 방법.
   
6. 영상을 입력받는 입력부; 및
   전역적 외형 모델(Global Appearance Model)과 지역적 외형 모델(Local Appearance Model)을 기초로 영상 내 객체의 위치와 크기를 추정하고, 상기 전역적 외형 모델을 업데이트 하는 프로세서;를 포함하고,
   프로세서는,
   다음의 객체 모션 모델 p(x_t｜z_1:t)을 최대화하는 객체의 위치와 크기 x_t를 산출하며,
   

   

   
   z_t는 입력 영상, P_occ(x_t)는 가려짐(occlusion) 확률, P_m(x_t)은 이전 시간에서 객체 모션, p_L(z_t｜x_t)은 지역적 외형 모델, p_G(z_t｜x_t)는 전역적 외형 모델인 것을 특징으로 하는 객체 추적 시스템.
   

Images