KR102175491B1

KR102175491B1 - 상관 필터 기반 객체 추적 방법

Info

Publication number: KR102175491B1
Application number: KR1020190053779A
Authority: KR
Inventors: 주영훈
Original assignee: 군산대학교산학협력단
Priority date: 2019-05-08
Filing date: 2019-05-08
Publication date: 2020-11-06

Abstract

본 발명은 폐색, 대규모 변동 및 모델 드리프트 발생에 따른 영향이 최소화된 객체 추적 동작을 지원할 수 있는 상관 필터 기반 객체 추적 방법에 관한 것으로, 이는 현재 프레임의 관심 영역을 추출하고, 다중 채널 특징을 획득한 후, 제1 상관 필터를 통해 상관 응답을 획득하는 단계; 상기 프레임이 초기 구간 프레임이면, 최대 상관 응답을 기반으로 타겟 위치를 결정하는 단계; 상기 프레임이 초기 구간 프레임이 아니면 가우시안 분포를 산출한 후 고정 임계값과 비교하고, 상기 고정 임계값 보다 크면 최대 상관 응답을 기반으로 타겟 위치로 추정하고, 그렇지 않으면 개략-미세 변환 추정을 통해 타겟 위치를 추정하는 단계; 상기 타겟 위치를 기반으로 상기 제1 상관 필터를 학습 및 업데이트하는 단계; 및 샘플 패치 크기를 조정하면서 제2 상관 필터를 통해 상관 응답을 획득 및 비교한 후, 최적 응답이 획득되는 샘플 패치 크기를 타겟 크기로 재조정하는 단계를 포함할 수 있다.

Description

상관 필터 기반 객체 추적 방법{Method and apparatus for tracking object based on correlation filter}

본 발명은 폐색, 대규모 변동 및 모델 드리프트 발생에 보다 강인한 객체 추적이 가능하도록 하는 상관 필터 기반 객체 추적 방법에 관한 것이다.

시각 추적(VISUAL TRACKING)은 컴퓨터 비전 및 비디오 처리 분야의 중요한 연구 분야이다. 보행자 추적, 감시 시스템, 인간 - 컴퓨터 상호 작용, 보행자 감지, 동작 인식, 교통 제어, 로봇 공학, 의료용 영상 및 무인 항공기 등 다양한 실용적인 응용 분야를 가진다.

그러나 객체 추적은 과도한 폐색(heavy occlusion), 변형(deformation), 조명 변화(illumination changes), 배경 잡음 및 카메라 움직임 등의 발생 등으로 여전히 어려운 점이 있다. 이러한 문제를 극복하기 위해, 지난 몇 년 동안 추적기의 견고성을 향상시키기 위한 몇 가지 흥미로운 추적 방법이 개발되었다.

일반적으로 객체 추적기는 단일 객체 추적기(SOT)와 다중 객체 추적기(MOT)로 분류할 수 있다. 또한, 시각 추적의 주요 목적은 비디오 또는 프레임 시퀀스에서 타겟 위치를 예측하는 것이다. 일반적으로 첫 번째 프레임에서 타겟의 실제값(ground truth values)이 제공되고, 추적기는 나머지 프레임에서의 타겟 위치를 추정한다.

시각 객체 추적 알고리즘은 생성 추적(Generative Tracking)과 차별 추적(Discriminative Tracking)으로 구분된다. 최근에 상관필터 기반의 차별 추적 방법은 시각 추적 연구 커뮤니티에 대한 관심이 증가하고 있다. 상관필터 기반 추적 기법은 시간 영역보다는 주파수 영역에서 모든 계산을 구현하여 계산 비용을 관리한다.

일반적으로 상관필터(Correlation Filter)는 시퀀스의 첫 번째 프레임에서 추출한 타겟 샘플로 초기화된다. 추적하는 동안, 현재 프레임에서 타겟의 위치는 이전 프레임의 타겟 위치에 기초하여 추정된다. 추적기의 성능은 타겟 샘플에서 특징을 추출하여 크게 향상된다. 주파수 영역에서 고속 푸리에 변환(FFT)을 사용하여, 상관 응답 맵(correlation response map)은 학습 필터와 추정된 타겟 패치 사이의 요소 단위 곱셈으로서 계산된다. 마지막으로, 상관필터는 모델 업데이트 전략을 사용하여 업데이트된다.

Bolme은 출력 제곱 오차 합(MOSSE)을 최소화함으로써 적응 상관필터를 제안했다. 특히, MOSSE 추적기는 초당 수백 프레임에서 실행되는 적응형 체계를 사용하여 CF를 훈련한다.

Henriques는 필터 훈련을 위해 샘플의 순환 구조 (CSK)를 도입하여 MOSSE를 향상시키고, 커널을 확장하여 고속 추적이 가능하도록 한다.

또한, Henriques는 다중 채널 HOG 기술자와 커널 능선 회귀로 조명 강도 특징을 대체함으로써 CSK를 수정한다. 그러나 상관필터 기반 추적 방법에는 몇 가지 제약 사항이 있다. 추적하는 동안, 타겟의 모양은 폐색, 빠른 동작 및 대규모 변동으로 인해 시간이 지남에 따라 변경될 수 있다. 추적기의 성능은 입력 이미지에 나타나는 디지털 노이즈로 인해 저하될 수 있다.

1. D. S. Bolme, J. R. Beveridge, B. A. Draper, and Y. M. Lui, "Visual object tracking using adaptive correlation filters," in Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on, pp. 2544-2550, IEEE, 2010. 2. J. F. Henriques, R. Caseiro, P. Martins, and J. Batista, "Exploiting the circulant structure of tracking-by-detection with kernels," in European conference on computer vision, pp. 702-715, Springer, 2012. 3. J. F. Henriques, R. Caseiro, P. Martins, and J. Batista, "High-speed tracking with kernelized correlation filters," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 37, no. 3, pp. 583-596, 2015.

이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 폐색, 대규모 변동 및 모델 드리프트 발생에 따른 영향이 최소화된 객체 추적 동작을 지원할 수 있는 상관 필터 기반 객체 추적 방법을 제공하고자 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면 현재 프레임의 관심 영역을 추출하고, 다중 채널 특징을 획득한 후, 제1 상관 필터를 통해 상관 응답을 획득하는 단계; 상기 프레임이 초기 구간 프레임이면, 최대 상관 응답을 기반으로 타겟 위치를 결정하는 단계; 상기 프레임이 초기 구간 프레임이 아니면 가우시안 분포를 산출한 후 고정 임계값과 비교하고, 상기 고정 임계값 보다 크면 최대 상관 응답을 기반으로 타겟 위치로 추정하고, 그렇지 않으면 개략-미세 변환 추정을 통해 타겟 위치를 추정하는 단계; 상기 타겟 위치를 기반으로 상기 제1 상관 필터를 학습 및 업데이트하는 단계; 및 샘플 패치 크기를 조정하면서 제2 상관 필터를 통해 상관 응답을 획득 및 비교한 후, 최적 응답이 획득되는 샘플 패치 크기를 타겟 크기로 재조정하는 단계를 포함하는 상관 필터 기반 객체 추적 방법을 제공한다.

상기 방법은 PSR(Peak-to-sidelobe ratio)를 산출 및 분석하여, 폐색 발생 여부를 확인하는 단계를 더 포함하는 것을 특징으로 한다.

상기 다중 채널 특징은 HOG 특징 및 칼라-네이밍 특징인 것을 특징으로 한다.

상기 개략-미세 변환 추정을 통해 타겟 위치를 추정하는 단계는 이전 프레임들에 대한 최대 상관 응답의 평균 및 표준 편차를 기반으로 가우시안 분포를 계산한 후, 상기 고정 임계값과 비교하는 단계; 상기 고정 임계값 보다 작으면, 이전 타겟 위치 근처를 개략적 타겟 위치로 검출하는 단계; 상기 개략적 타겟 위치를 기반으로 기 설정 크기의 타겟 샘플을 다수개 추출하는 단계; 및 상기 타겟 샘플 각각에 대한 최대 상관 응답을 획득 및 비교 분석하여 타겟 위치를 추정하는 단계를 포함하는 것을 특징으로 한다.

상기 제1 상관 필터를 학습 및 업데이트하는 단계는 상기 제1 상관 필터를

,

에 따라 학습 및 업데이트 하며, 상기 x 는 타겟 위치의 x 좌표, 상기 α는 필터 가중치 , 상기 ψ는 학습 속도, 상기 t는 프레임 인덱스인 것을 특징으로 한다.

상기 타겟 크기로 재조정하는 단계는 상기 프레임으로부터 서로 상이한 크기를 가지는 다수의 샘플 패치를 추출하는 단계; 상기 샘플 패치 각각의 HOG 특징을 추출한 후, 제2 상관 필터를 통해 상기 샘플 패치 각각의 상관 응답을 획득하는 단계; 상기 샘플 패치 각각의 상관 응답을 기반으로 최적 응답을 발생시키는 샘플 패치를 선택한 후, 상기 선택된 샘플 패치의 크기를 타겟 크기로 재설정하는 단계를 포함하는 것을 특징으로 한다.

본 발명은 상관 응답 분포를 기반으로 타겟 위치를 예측하는 상관필터를 이용함으로써, 보다 강력한 객체 추적이 가능하도록 한다. 그리고 제1 상관필터를 HOG 및 칼라-네이밍 특징과 같은 다중 채널 특징으로 학습시킴으로써, 타겟 지역화 및 정확도가 보다 향상되도록 한다. 그리고 입력 이미지의 상관 응답이 제약 조건을 갖는 가우시안 분포를 따르도록 계산함으로써, 모델 드리프트 문제가 최소화될 수 있도록 한다. 또한 적응형 크기 추정 기법을 이용하여 타겟 크기 변화를 추정하도록 하고, 이를 통해 이미지 시퀀스의 대규모 변동을 최소화시킨다. 더하여, 효율적인 폐색 검출 방법을 도입하여 심각한 객체 폐색을 극복할 수도 있도록 한다.

도 1 및 도 2는 본 발명의 일 실시예에 따른 상관 필터 기반 객체 추적 방법을 설명하기 위한 도면이다.
도 3은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면이다.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1 및 도 2는 본 발명의 일 실시예에 따른 상관 필터 기반 객체 추적 방법을 설명하기 위한 도면으로, 도 1는 동작 흐름도, 도 2는 소스 코드이다.

도 1 및 도 2를 참고하면, 본 발명의 객체 추정 방법은 현재 프레임의 관심 영역을 추출하고, 다중 채널 특징을 획득하는 단계(S10), 제1 상관 필터를 통해 상관 응답을 획득하고, 상기 프레임이 초기 구간 프레임이면, 최대 상관 응답을 기반으로 타겟 위치를 결정하는 단계(S20), 상기 프레임이 초기 구간 프레임이 아니면, PSR를 통해 폐색 발생을 검출하는 단계(S30), 상기 프레임이 초기 구간 프레임이 아니면 가우시안 분포를 산출한 후 고정 임계값과 비교하고, 상기 고정 임계값 보다 크면 최대 상관 응답을 기반으로 타겟 위치로 추정하고, 그렇지 않으면 개략-미세 변환 추정을 통해 타겟 위치를 추정하는 단계(S40), 상기 타겟 위치를 기반으로 상기 제1 상관 필터를 학습 및 업데이트하는 단계(S50), 및 샘플 패치 크기를 조정하면서 제2 상관 필터를 통해 상관 응답을 획득 및 비교한 후, 최적 응답이 획득되는 샘플 패치 크기를 타겟 크기로 재조정하는 단계(S60) 등을 포함한다.

즉, 본 발명은 상관 필터를 이용하여 객체 추적 동작을 보다 강력하고 효율적으로 수행할 수 있도록 한다. 이를 위해, 상관필터를 다중 채널 특징으로 학습시켜 타겟 지역화 및 정확도를 향상시키고, 입력 이미지의 상관관계 응답이 가우시안 분포를 따르도록 함으로써, 드리프트 문제가 최소화되도록 한다.

또한 별도의 상관 필터를 추가 구비하고, 이를 통해 타겟 크기를 조정함으로써, 이미지 시퀀스의 대규모 변동을 최소화시킨다. 뿐 만 아니라, 효율적인 폐색 검출 방법을 도입하여 심각한 객체 폐색을 극복할 수도 있도록 한다.

먼저, 본 발명의 이해를 돕기 위해, 본 발명에서 이용하고자 하는 상관 필터(CF, Correlation Filter)에 대해 상세히 살펴보기로 한다.

Correlation Filter

CF를 훈련시키는 주요 목적은 함수 f(x_i) = w^tx_i를 관찰하는 것이다. 이 함수는 입력 패치 및 회귀 타겟 y_i에서 추출된 특징을 나타내는 샘플 x_i에 대한 제곱 오류를 최소화하기 위한 함수이다. 기본 샘플 x의 순환 시프트는 CF를 학습하는 데 사용된다.

초기화시 x는 n-차원 벡터 x = [x₁, x₂, ..., x_n]라고 가정하고, 기본 샘플에 순환 시프트를 적용하면, P_x = [x_n, x₁, x₂, ..., x_n-1]이 되며, 이때 P는 순열 행렬이다.

CF의 목적 함수는 수학식1과 같이 선형 리지 회귀(linear ridge regression)로 공식화될 수 있다.

[수학식 1]

이때, w 는 상관필터 벡터, η_i 는 여유 변수(slack variable), G는 상수이다.

수학식1에 라그랑주 기법(Lagrangian)을 적용함으로써, 수학식 2를 얻을 수 있다.

[수학식 2]

이때, W ×H 는 이미지 크기, i는 픽셀 인덱스, β_i는 라그랑주 팩터, λ> 0 는 라그랑주 파라메타, λG²는 상수이다.

커널 리지 회귀 문제의 해답은 수학식 3과 같이 표현된다.

[수학식 3]

이때, α= [α₁, α₂, ..., α_n]^t, α_i =

, y = [y₁, y₂, ... ,y_n]^t, K는 K_ij = Φt(xi)Φ(xj)에 의해 얻어진 원소의 커널 상관 행렬이다.

그리고 w에 대한 해답은 수학식 4에서와 같이 학습 표본과 필터 가중치α의 선형 조합으로 표현된다.

[수학식 4]

한편, 수학식 3에서의 필터 가중치 α는 수학식 5로 재정의될 수 있다.

[수학식 5]

이때,

는 요소 단위의 나눗셈을 의미하고,

는 □의 DFT(Discrete Fourier Transform)을 나타내고, k^xx는 커널 매트릭스 K의 첫 번째 행으로 정의된다.

CF의 전체적인 복잡성은 O(nlogn)이 되는 것을 유도한다. 가우시안 커널은 수학식 6와 같이 커널 상관 벡터 k^xx'을 공식화하기 위해 적용된다.

[수학식 6]

이때,

는 요소 단위 곱셈,

는

의 공액 복소수,

는 IFFT (Inverse Fast Fourier Transform)이다.

이전 프레임의 타겟 위치에서의 이미지 z의 특징 맵을 추출하고, 푸리에 변환을 통해 수학식 7과 같이 계산되는 상관 응답을 획득한다.

[수학식 7]

이때, k^xz는 이미지 패치의 모든 픽셀값을 포함하는 커널 매트릭스를 나타낸다.

객체 추적이 수행되는 동안, 상관필터 및 타겟 출현은 학습 속도 ψ로 업데이트된다.

[수학식 8]

이때, t는 프레임 인덱스이다.

이러한 CF의 제한 조건은 다음과 같다.

CF의 제한 조건

종래의 상관필터 기반 추적기는 상관 응답 분포를 정확하게 모델링하지 않으나, 본 발명에서는 상관 응답을 계산하여 타겟 위치를 찾도록 하며, 이를 통해 객체 추적 성능이 크게 향상될 수 있다.

그리고 커널 리지 회귀 분석을 이용하여 잡음 샘플 감소를 위한 가우시안 가정(Gaussian assumption)을 모델링하고, 라그랑주 기법을 적용하여 시퀀스의 현재(t 번째) 프레임에 대한 수학식1의 목적 함수를 수학식 9 및 10로 표현한다.

[수학식 9]

[수학식 10]

수학식 9의 두 번째 항은 CF 응답의 가우시안 분포를 위해 도입된다.

y_i는 t 번째 프레임의 i 번째 샘플 Φ(x_i)에 대한 가우시안 함수 라벨이며, 이의 유효성은 다음과 같다.

상관 응답의 가우시안 분포(Gaussian distribution of CF response): CF 응답이 가우시안 분포를 가지도록 제약 조건을 도출한다.

[수학식 11]

이때, μ 과 σ²는 가우시안 모델

의 평균과 분산이다.

는 w^t와 수학식 7에 기반하여 타겟 영상의 상관 응답을 나타내는 새로운 변수이다.

기존 확률 이론의 최대 우도 기법과 유사하게, 가우시안도 [(

-μ^t)^2/2(σ^t)²]+[ln(2πσ^t)/2]를 최소화함으로써, 대체 해석 가능하다. 여기서 [(

-μ^t)^2/2(σ^t)²]는 변수 μ^t및(σ²)^t 의 최적화에 관련되며, 반복 해석된다.

단순성을 위해 σ^t는 t번째 프레임의 상수로 간주된다. 본 발명에서는 (

-μ^t)²의 최소화가 필요하며,

는 커널화된 타겟 특징으로써 Φ(x)를 이용하여

= (w^t)^TΦ(x) 로 재정의될 수 있다. ((w^t)^TΦ(x) - μ^t)²를 최소화하기 위해, 본 발명은 다음의 명제(Theorem)를 활용한다.

명제(Theorem): ((w^t)^TΦ(x) - μ^t)²의 최소화는 ||w^{t -} w^t-1||²를 최소화하기 위해 전달된다.

이 명제는 학습된 타겟의 형상이 2개의 연속 프레임에서 큰 변화가 없다는 가정 하에 근사치 μ^{t -} (w^t-1)^TΦ(x) 로 표현될 수 있다.

따라서 수학식 9의 마지막 항은 수학식 11의 가우스 분포의 역할을 한다.

수학식 9의 최적화 해법(Solution of the optimization): 수학식 9에 대한 라그랑주는 수학식 12로 정의된다.

[수학식 12]

문제 최소화를 위한 KKT(Karush-Kuhn-Tucker) 조건은 수학식 13 및 14로 표현된다.

[수학식 13]

[수학식 14]

수학식 14에 기반하면,

이고, 수학식 12의 ||w^{t -} w^t-1||²는

로 대체 가능하며, 이때 k는 상수이다.

수학식 12의 w^t, η_i 를 제거함으로써, 이중 함수는 수학식 15로 표현된다.

[수학식 15]

및

를

및

로 재정의하면, 수학식 16의 최적화 문제가 된다.

[수학식 16]

이는 수학식 17와 같이 보다 단순히 표현될 수 있다.

[수학식 17]

K는 순환 연산자(circulant operator)에 의해 계산된 K_ij의 요소를 가진 커널 매트릭스다. α^t 의 그라이언트(gradient)를 수학식 18로 정의한 후, 그라이언트를 "0"으로 만들면, 수학식 19 및 20이 도출된다.

[수학식 18]

[수학식 19]

[수학식 20]

α^t의 FFT는 수학식 21로 계산된다.

[수학식 21]

k'는 K의 첫째 열이다. 수학식 21은 수학식 22로 재정의될 수 있다.

[수학식 22]

ψ는 수학식 23으로 정의하여, α^t의 FFT는 수학식 24으로 최종 정의된다.

[수학식 23]

[수학식 24]

이하, 각 단계에 대해 보다 상세히 살펴보면 다음과 같다.

단계 S10

먼저, 프레임이 입력되면, 현재 프레임이 첫 번째 프레임인지 확인한다. 현재 프레임이 첫 번째 프레임이면, 첫 번째 프레임에 기입된 타겟 위치를 기반으로 관심 영역을 추출하고, 그렇지 않으면, 이전 프레임의 타겟 위치를 기반으로 관심 영역을 추출한다(S11).

단계 S11을 통해 추출된 관심 영역으로부터 HOG(Histogram of Oriented Gradients)과 칼라-네이밍 특징을 포함하는 다중 채널 특징을 획득한다(S12).

특징은 시각 객체 검출 및 추적 영역에서 중요한 역할을 하며, 다중 채널 특징은 배경에서 전경 객체를 추출하는 데 더 효율적이다. 상관필터는 가우시안 커널을 사용하여, 커널 트릭을 사용하여 다중 채널 특징을 학습하는 상관 필터를 지원하는 벡터 표준 및 내적을 계산한다.

이에 본 발명은 관심 영역으로부터 HOG(Histogram of Oriented Gradients)과 칼라-네이밍 특징을 추출한 후, 이들을 융합 이용하여 객체 추적을 수행한 후, 객체 추적 결과를 기반으로 상관 필터를 학습하도로 한다. HOG 특징 설명자는 객체 추적 및 사람 감지에 주로 사용되는 것으로, 본 발명에서는 이미지의 로컬 위치에서 그라이언트 발생을 계산하고 셀에 저장하여, 설명자를 만든다. 칼라-네이밍은 색상 라벨을 사람이 색상을 특성화하기 위해 할당하는 또 다른 특징 추출 방법이다.

단계 S20

제1 상관 필터를 통해 다중 채널 특징에 대한 푸리에 변환 및 역푸리에 변환을 수행하여 수학식 7에서와 같은 다중 채널 특징에 대한 상관 응답맵을 획득한다(S21,S22).

그리고 획득된 상관 응답맵들을 검색하여 최대 응답이 발생된 이미지 영역을 파악한다(S23).

그리고 현재 프레임이 초기 구간 프레임이 속하는 지를 추가 확인한 후, 만약 현재 프레임이 초기 구간 프레임이 속한다면, 현재 최대 상관 응답맵이 획득된 이미지 영역을 타겟 위치(x^t, y^t)로 결정한다(S24). 이때 프레임 초기 구간은 영상 처리 환경에 따라 임의 결정 또는 조정될 수 있으며, 예를 들어 1~20번째 프레임을 초기 구간 프레임으로 설정할 수 있다.

단계 S30

현재 프레임이 초기 구간 프레임이 아니라면, PSR(Peak-to-sidelobe ratio)를 계산하고, 이를 기반으로 폐색 발생 여부를 확인한다. 이때, PSR은 이미지의 피크 상관 응답을 찾는데 주로 사용되는 값으로, 예를 들어 6 이하의 값을 가질 경우, 폐색 발생여부를 검출할 수 있다.

참고로, 폐색 검출 및 처리는 객체 인식 및 추적에서 중요한 요소이다. 이에 본 발명에서는 폐색된 객체를 찾기 위한 폐색 검출 전략으로 PSR를 채택하도록 한다. PSR은 신호 처리에서 신호의 품질을 측정하는 데 널리 사용된다. 상관필터 기반 추적 방법에서 상관 응답 맵의 최대 강도는 추적 정확도를 예측하는 PSR을 계산하여 결정된다.

이에 본 발명에서는 상관 최대 지점의 주변 영역을 타겟 이미지의 중심으로부터 추출하고, 사각형 영역내 픽셀들을 피크(peak)와 사이드 로브(sidelobe)로 구분한다. 이때, 피크는 최대치를 가지는 픽셀이고, 사이드 로브는 픽셀의 나머지 부분이다.

그리고 수학식 33을 기반으로 PSR 계산하도록 한다.

[수학식 33]

여기서 μ_Φ는 평균, σ_Φ는 사이드 로브의 표준 편차, z는 입력 이미지 패치이고, f(z)는 상관 필터의 응답 맵이다. 피크 주위의 사이드 로브 크기는 Φ로 표시된다.

단계 S40

그리고 현재 프레임의 가우시안 분포를 기반으로 개략-미세 방식으로 타겟 위치를 추정한다.

먼저, 모든 이전 프레임에 대한 필터의 최대 상관 응답의 평균 및 표준 편차를 획득한 후, 수학식 25에 따라 이에 대응되는 가우시안 분포를 계산한다(S41).

그리고 수학식 26에서와 같이 가우시안 분포 결과가 고정 임계값 보다 작으면, 이전 타겟 위치 근처를 개략적 타겟 위치로 검출하도록 한다(S42).

타겟 위치가 프레임 단위로 계속 변경되면 추적 장치는 후속 프레임에서 개체를 추적하지 못할 수 있다. CF 기반 추적기는 장애를 감지하기 위해 상관 응답 출력에 고정 임계값을 사용하기 때문에, 잡음이 많은 이미지에는 적용 불가능하다.

본 발명은 임계값을 사용하여 실패를 감지하는 기존의 추적 방법과 달리, 상관 응답에 대한 가우시안 분포를 포함하여 드리프트 문제를 방지하도록 한다. 즉, 타겟 샘플은 응답 출력이 상관 응답에 기반한 가우시안 분포에 속한 경우에만 선택되도록 함으로써, 드리프트 문제 발생을 사전 차단하도록 한다.

[수학식 25]

[수학식 26]

이때, 고정 임계값 T_h 는 1.6로 사전 정의될 수 있다. μ^t 및 σ^t 는 이전 프레임 모두에 대한 필터의 최대 상관 응답의 평균 및 표준 편차이다.

현재 프레임이 초기 구간 프레임에 속하는 경우, 본 발명은 수학식 26의 비교 동작없이 제1 상관 필터의 최대 상관 응답에 따라 타겟 위치를 결정하나, 그렇지 않은 경우 입력 영상 검색 절차 대신 미세-조정(fine-tuning) 절차를 통해 특정 타겟 선택을 위한 타겟 위치를 추정하도록 한다.

본 발명에서는 추적기가 가우시안 분포를 초과하는 최대 상관 응답을 검색할 때, 미세 조정 프로세스가 초기화되도록 하고, 초기화시 이전 프레임의 타겟 위치 근처가 타겟의 개략적 영역으로 검출되도록 한다.

그리고 개략적 타겟 위치를 기반으로 타겟 위치 미세 검출을 수행하도록 한다(S43). 본 발명에서는 높은 처리 효율을 보장하기 위해 단계별 검색 방법을 사용하는데, 이때 타겟 센터(u₀ , v₀)로부터의 단계는 다음의 수학식 27,28로 정의된다.

[수학식 27]

[수학식 28]

이때, ▽T는 거리 스텝(distance step), ▽Θ는 그라이언트 스텝(angle step) 각각을 나타낸다. i 범위는 [1, m]의 간격으로 제한되고, m 은 "

"로 계산될 수 있으며, 이때 r_d는 원의 반지름이다. 변수 j는 [1, n]의 범위를 가지며, n은

이다.

그리고 타겟 센터 (u₀ , v₀) 주변 영역에 대응되는 m × n 크기의 타겟 샘플이 수학식 29에 따라 다수개 추출되면, 타겟 샘플 각각의 최대 상관 응답은 수학식 30을 통해 계산한다.

[수학식 29]

[수학식 30]

그리고 타겟 샘플 각각의 최대 확률은 수학식31에 따라 비교 분석하여, 타겟 샘플 중 하나를 타겟으로 최종 검출하도록 한다.

[수학식 31]

이와 같이, 본 발명은 개략-미세 조정 과정을 거쳐, 타겟 위치를 보다 미세하게 추정하도록 한다.

단계 S50

타겟 위치가 결정되면, 이를 반영하여 제1 상관 필터를 업데이트한다. 즉, 수학식 8을 통해

및

을 업데이트하고,

의 업데이트 결과를 반영하여 수학식 24의

의 FFT도 업데이트하도록 한다.

단계 S60

크기 변수는 객체 추적에서 필수적이고 도전적인 태스크(task)이다.

이에 기존의 추적 알고리즘에서는 타겟의 템플릿 크기를 고정값을 가지도록 하나, 본 발명에서는 적응형 크기 추정 기법을 이용하여 타겟 크기 변화를 추정하도록 하고, 이를 통해 이미지 시퀀스의 대규모 변동을 최소화시킨다.

이에 본 발명은 우선 프레임 간의 타겟 전달을 추정하는 제1 상관 필터를 학습하여 타겟 위치를 결정한 후, 그리고 나서 제2 상관필터를 통해 타겟 크기 변화를 추정하도록 한다.

이를 위해, 본 발명은 입력 프레임으로부터 서로 상이한 크기를 가지는 다수의 샘플 패치를 추출하도록 한다(S61). 샘플 패치 각각에 대응되는 템플릿 크기를 s = (s_h, s_w)로 설정하고, 샘플 패치의 크기 집합은 S_p = {p₁, p₂, ..., p_k}로 표시하도록 한다. 이때, s_w 및 s_h는 각각 수평 및 수직 크기를 의미한다.

즉, 원본 이미지 공간에서의 타겟 크기 s^t는 {p_ks^t | p_k ∈ S_p}의 범위내에서 k 크기로 재샘플링된다. 이때, 크기 집합 S_p는 0.980에서 1.015 사이의 상수 값으로 설정되는 것이 바람직하나, 이는 장치 구현 환경 등을 고려하여 차후 임의 변경될 수 있음은 물론 당연하다.

그리고 샘플 패치 각각의 HOG 특징을 추출한 후(S62), 제2 상관 필터를 통해 샘플 패치 각각에 대응되는 상관 응답을 획득한다(S63).

그리고 샘플 패치 각각에 대응되는 상관 응답을 비교 분석하여, 최적의 응답을 발생시키는 샘플 패치를 파악하고, 이의 크기를 타겟 크기로 재설정하도록 한다(S64).

[수학식 32]

이때, b^pk는 p_ks^t의 크기를 가지는 샘플 패치이며, s에 따라 크기 조정된다.

도 3은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다. 예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.

컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다.

또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다.

또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)을 포함할 수 있다. 여기서, 입력 디바이스(들)(1140)은 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)은 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다.

또한, 컴퓨팅 디바이스(1100)는 컴퓨팅 디바이스(1100)가 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다. 여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다.

상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크(1200)에 의해 상호접속될 수도 있다.

본 명세서에서 사용되는 "구성요소", "모듈", "시스템", "인터페이스" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다. 예를 들어, 구성요소는 프로세서 상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터 상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

현재 프레임의 관심 영역을 추출하고, 다중 채널 특징을 획득한 후, 제1 상관 필터를 통해 상관 응답을 획득하는 단계;
상기 프레임이 초기 구간 프레임이면, 최대 상관 응답을 기반으로 타겟 위치를 결정하는 단계;
상기 프레임이 초기 구간 프레임이 아니면 가우시안 분포를 산출한 후 고정 임계값과 비교하고, 상기 고정 임계값 보다 크면 최대 상관 응답을 기반으로 타겟 위치로 추정하고, 그렇지 않으면 개략-미세 변환 추정을 통해 타겟 위치를 추정하는 단계;
상기 타겟 위치를 기반으로 상기 제1 상관 필터를 학습 및 업데이트하는 단계; 및
샘플 패치 크기를 조정하면서 제2 상관 필터를 통해 상관 응답을 획득 및 비교하여 타겟 크기 변화를 최소화시키는 샘플 패치 크기를 획득한 후, 타겟 크기로 재조정하는 단계를 포함하는 상관 필터 기반 객체 추적 방법.
제1항에 있어서,
PSR(Peak-to-sidelobe ratio)를 산출 및 분석하여, 폐색 발생 여부를 확인하는 단계를 더 포함하는 것을 특징으로 하는 상관 필터 기반 객체 추적 방법.
제1항에 있어서, 상기 다중 채널 특징은
HOG 특징 및 칼라-네이밍 특징인 것을 특징으로 하는 상관 필터 기반 객체 추적 방법.
제1항에 있어서, 상기 개략-미세 변환 추정을 통해 타겟 위치를 추정하는 단계는
이전 프레임들에 대한 최대 상관 응답의 평균 및 표준 편차를 기반으로 가우시안 분포를 계산한 후, 상기 고정 임계값과 비교하는 단계;
상기 고정 임계값 보다 작으면, 이전 타겟 위치 기반으로 개략적 타겟 위치를 설정하는 단계;
상기 개략적 타겟 위치를 기반으로 기 설정 크기의 타겟 샘플을 다수개 추출하는 단계; 및
상기 타겟 샘플 각각에 대한 최대 상관 응답을 획득 및 비교 분석하여 타겟 위치를 추정하는 단계를 포함하는 것을 특징으로 하는 상관 필터 기반 객체 추적 방법.
제1항에 있어서, 상기 제1 상관 필터를 학습 및 업데이트하는 단계는
상기 제1 상관 필터를 하기 수학식 8과 수학식 24에 따라 학습 및 업데이트 하는 것을 특징으로 하는
[수학식 8]

[수학식 24]

상기 x 는 타겟 위치의 x 좌표, 상기 α는 필터 가중치, 상기 ψ는 학습 속도, 상기 t는 프레임 인덱스인 것을 특징으로 하는 상관 필터 기반 객체 추적 방법.
제1항에 있어서, 상기 타겟 크기로 재조정하는 단계는
상기 프레임으로부터 서로 상이한 크기를 가지는 다수의 샘플 패치를 추출하는 단계;
상기 샘플 패치 각각의 HOG 특징을 추출한 후, 제2 상관 필터를 통해 상기 샘플 패치 각각의 상관 응답을 획득하는 단계; 및
상기 샘플 패치 각각의 상관 응답을 획득 및 비교하여 타겟 크기 변화를 최소화시키는 샘플 패치 크기를 획득한 후, 상기 획득된 샘플 패치의 크기를 타겟 크기로 재설정하는 단계를 포함하는 것을 특징으로 하는 상관 필터 기반 객체 추적 방법.