KR102275452B1

KR102275452B1 - 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치

Info

Publication number: KR102275452B1
Application number: KR1020170033140A
Authority: KR
Inventors: 이재영
Original assignee: 한국전자통신연구원
Priority date: 2017-03-16
Filing date: 2017-03-16
Publication date: 2021-07-12
Also published as: US20180268559A1; US10282853B2; KR20180105876A

Abstract

색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치가 개시된다. 본 발명에 따른 실시간 영상 추적 장치는 입력영상을 기반으로 상관 필터 모델 및 색상 확률 밀도 모델 중 적어도 하나를 생성하고, 입력영상에 상관 필터 모델을 적용하여 산출된 상관 필터 반응값을 기반으로 추적 대상의 초기 위치 및 초기 크기를 판단하고, 상관 필터 반응값과 색상 확률 밀도 모델을 기반으로 산출된 색상 객체 확률을 기반으로 결합 확률을 산출하고, 초기 위치 및 초기 크기에 결합 확률을 적용하여 판단된 추적 대상에 대한 최종 위치 및 최종 크기를 기반으로 추적 대상에 상응하는 객체 모델을 갱신할 수 있다.

Description

색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치 {METHOD FOR TRACKING IMAGE IN REAL TIME CONSIDERING BOTH COLOR AND SHAPE AT THE SAME TIME AND APPARATUS THEREFOR}

본 발명은 영상에서 특정 영역 또는 특정 객체를 추적하는 기술에 관한 것으로, 특히 상관필터의 반응값과 색상 확률 정보를 결합하여 연산의 실시간성을 보장하면서 대상에 대한 추적 정확도 및 추적 안정성을 높일 수 있는 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치에 관한 것이다.

영상 추적 기술이라 함은, 입력되는 비디오 영상 또는 라이브 카메라 영상에서 특정 영역 또는 객체를 놓치지 않고 추적하는 기술로서 초기 대상의 위치는 사용자가 설정한 영역 또는 물체인식 알고리즘에 의해 감지된 영역으로 주어지는 것이 일반적이다. 이러한 영상 추적 기술은 다양한 비전 응용의 핵심 기술 중 하나로서 무인 비행체에서의 지상 이동체 탐지 및 추적, 방송용 드론에서의 피사체 추적, 스포츠 경기 분석을 위한 선수 추적 등 다양한 응용을 갖는다.

이 때, 영상 추적 기술의 실제 응용에 있어서는, 움직이는 대상을 놓치지 않기 위한 추적 기술의 정확도와 더불어 연산의 실시간성을 동시에 확보하는 것이 무엇보다 중요할 수 있다. 하지만 종래의 대부분의 영상 추적 기술들은 추적의 정확도를 높이기 위해 복잡한 알고리즘을 사용함으써 연산에 걸리는 시간이 증가하였고, 이로 인해 추적의 실시간성을 확보하지 못하는 문제점이 존재하였다.

종래의 영상 추적 기술 중 실시간 추적이 가능한 대표적인 방법으로는 색상 정보를 이용한 MeanShift 추적 방법이 있다. MeanShift 방법은 색상 히스토그램(color histogram)의 유사도를 이용하여 대상을 추적하는 방법이다. 좀더 구체적으로는 영상으로부터 대상 물체를 구성하고 있는 색상들의 확률분포를 구한 후, 이를 현재의 입력 영상에 역으로 투영하여(histogram backprojection) 각 픽셀 색상에 대응하는 객체 확률을 계산한다. 이후, 확률 이미지 내에서 지역적으로 확률 밀도가 최대가 되는 지점을 탐색함으로써 물체를 추적하는 방법이다.

MeanShift 방법과 같이 물체의 색상 정보를 이용한 추적 방법은 구현이 간단하고 빠르며 물체의 형태 변화에 대해 강인한 장점을 갖는다. 하지만 물체의 형태 정보를 잃어버리기 때문에 배경에 물체와 유사한 색상이 존재하는 경우에는 대상을 놓치기 쉬우며, 대상의 크기 변화에도 취약한 문제점이 있다. 이러한 문제점은 MeanShift 방법에 국한된 문제점이 아니며 색상 기반으로 대상을 추적하는 기술들의 공통적인 특징이다.

최근 발표된 SumShift 기술은 MeanShift의 문제점을 보완한 기술로서 확률 밀도가 최대가 되는 지점을 탐색하는 대신에 지역적으로 확률 밀도의 합(sum)이 최대가 되는 지점을 탐색한다. SumShift 기술은 연산의 실시간성(VGA 영상 기준 600 ~ 700 fps)을 유지하면서도 추적의 정확도를 크게 개선한 기술에 해당한다, 하지만 SumShift 기술 또한 대상의 색상 히스토그램을 이용하기 때문에 이로 인한 성능의 한계를 가지며, 여전히 영상 내 대상의 크기 변화에 취약한 문제점이 있다.

종래의 실시간 추적이 가능한 또 하나의 대표적인 방법으로 최근 발표된 KCF(Kernelized Correlation Filter) 추적 방법이 있다. KCF는 물체를 탐지할 수 있는 상관필터(correlation filter)를 학습하여 물체를 추적하는 방법이다. 좀더 구체적으로는 현재 입력 영상에 대한 상관(correlation) 필터링 결과값의 분포가 가우시안(Gaussian) 함수와 같은 커널 함수 형태가 나오도록 필터를 학습할 수 있다. 이 때, 필터 학습은 FFT(Fast Fourier Transform)를 이용하여 고속으로 계산되며, 학습된 상관 필터를 다음 영상 프레임에 적용하여 필터링 결과의 최대점을 탐색함으로써 물체를 추적할 수 있다. KCF는 빠른 연산속도(200 ~ 300 fps)와 높은 추적 정확도로 인해 DSST, SAMF 등 최근에 나온 고성능 추적 기술들의 기초(base) 추적기로서 널리 활용되고 있다.

그러나, KCF 추적 기술도 학습된 상관 필터를 통해 물체의 형태 정보를 유지함으로써 배경과의 구분력이 높고 대상의 크기 변화를 추적할 수 있는 장점이 있는 반면에 대상의 형태 변화 및 회전 변화에 대해서는 상대적으로 취약하다는 문제점이 존재한다.

정리하면, 색상 히스토그램 방법은 대상의 형태 변화에 강인한 반면 배경과의 구분력이 떨어지거나 크기 변화를 추적할 수 없다는 문제점이 있으며, 상관필터 방법은 배경과의 구분력이 높고 대상의 크기 변화를 추적할 수는 있지만 대상의 형태 변화에 취약한 문제점이 존재한다.

한국 공개 특허 제10-1999-0060993호, 1999년 7월 26일 공개(명칭: 상관기법에 의한 영상 추적창 조절방법)

본 발명의 목적은 임베디드 시스템과 같은 저사양의 컴퓨팅 환경에서도 고속의 추적 구현이 가능하도록 하는 것이다.

또한, 본 발명의 목적은 추적할 대상의 크기 변화, 형태 변화, 가려짐 및 회전 변화에 구애 받지 않고 뛰어난 추적 성능을 제공하는 기술을 제공하는 것이다.

또한, 본 발명의 목적은 서로 상호 보완적인 객체의 색상 정보와 형태 정보를 결합하여 객체를 추적함으로써 영상에서의 객체 추적 성능을 향상시키는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 실시간 영상 추적 장치는 입력영상을 기반으로 추적 대상의 형태를 고려한 상관 필터 모델 및 상기 추적 대상의 색상을 고려한 색상 확률 밀도 모델 중 적어도 하나를 생성하는 생성부; 상기 입력영상에 상기 상관 필터 모델을 적용하여 산출된 상관 필터 반응값을 기반으로 상기 추적 대상에 대한 초기 위치 및 초기 크기를 판단하는 판단부; 상기 상관 필터 반응값과 상기 색상 확률 밀도 모델을 기반으로 산출된 색상 객체 확률을 기반으로 결합 확률을 산출하는 산출부; 및 상기 초기 위치 및 초기 크기에 상기 결합 확률을 적용하여 상기 추적 대상에 대한 최종 위치 및 최종 크기를 판단하고, 상기 최종 위치 및 최종 크기를 기반으로 상기 추적 대상에 상응하는 객체 모델을 갱신하는 갱신부를 포함한다.

이 때, 산출부는 상기 입력영상을 구성하는 복수개의 픽셀들 각각에 대한 상기 상관 필터 반응값을 기반으로 상기 복수개의 픽셀들 각각에 대한 상기 색상 객체 확률의 가중 평균(weighted average)을 계산하여 상기 결합 확률을 산출할 수 있다.

이 때, 갱신부는 상기 초기 위치를 기준으로 상기 결합 확률의 확률 밀도가 최대가 되는 지점을 상기 최종 위치로 판단하고, 상기 초기 크기를 그대로 상기 최종 크기로 판단할 수 있다.

이 때, 판단부는 상기 복수개의 픽셀들 중 상기 상관 필터 반응값이 최대인 어느 하나의 픽셀에 상응하는 지점을 상기 초기 위치로 판단하고, 상기 입력영상에 대한 상기 상관 필터 반응값이 최대가 될 때에 해당하는 상기 입력영상의 스케일의 역수와 상기 입력영상에 대한 이전 프레임에서의 상기 추적 대상의 크기를 곱한 결과를 상기 초기 크기로 판단할 수 있다.

이 때, 산출부는 상기 입력영상에 상기 색상 확률 밀도 모델을 역투영하여 상기 복수개의 픽셀들 각각에 대한 상기 색상 객체 확률을 산출할 수 있다.

이 때, 생성부는 상기 추적 대상에 상응하는 영역정보를 획득하고, 상기 입력영상에 대한 전체영역 중 상기 영역정보에 상응하는 객체영역에 대해 상기 상관 필터 모델 및 상기 색상 확률 밀도 모델 중 적어도 하나를 생성할 수 있다.

이 때, 영역정보는 사용자 설정 및 물체 감지 모듈 중 적어도 하나를 기반으로 획득될 수 있다.

이 때, 생성부는 상기 추적 대상이 최초로 설정된 경우 및 상기 추적 대상이 재설정된 경우 중 적어도 하나의 경우에 상기 상관 필터 모델 및 상기 색상 확률 밀도 모델 중 적어도 하나를 생성할 수 있다.

이 때, 생성부는 상기 객체영역에 대해 상관 필터 연산을 수행한 결과가 커널 함수인 필터를 상기 상관 필터 모델로 생성할 수 있다.

이 때, 생성부는 상기 객체영역에 상응하는 색상 히스토그램의 값을 상기 객체영역을 구성하는 픽셀의 총 수로 나누어 상기 색상 확률 밀도 모델을 생성할 수 있다.

이 때, 갱신부는 상기 추적 대상에 상응하는 이전 객체 모델과 상기 최종 위치 및 최종 크기에 의한 신규 객체 모델의 가중 평균을 수행한 결과에 상응하게 상기 객체 모델을 갱신할 수 있다.

또한, 본 발명의 일실시예에 따른 실시간 영상 추적 방법은, 색상과 형태를 동시에 고려한 실시간 영상 추적 장치를 이용한 실시간 영상 추적 방법에 있어서, 상기 실시간 영상 추적 장치가, 입력영상을 기반으로 추적 대상의 형태를 고려한 상관 필터 모델 및 상기 추적 대상의 색상을 고려한 색상 확률 밀도 모델 중 적어도 하나를 생성하는 단계; 상기 실시간 영상 추적 장치가, 상기 입력영상에 상기 상관 필터 모델을 적용하여 산출된 상관 필터 반응값을 기반으로 상기 추적 대상에 대한 초기 위치 및 초기 크기를 판단하는 단계; 상기 실시간 영상 추적 장치가, 상기 상관 필터 반응값과 상기 색상 확률 밀도 모델을 기반으로 산출된 색상 객체 확률을 기반으로 결합 확률을 산출하는 단계; 및 상기 실시간 영상 추적 장치가, 상기 초기 위치 및 초기 크기에 상기 결합 확률을 적용하여 상기 추적 대상에 대한 최종 위치 및 최종 크기를 판단하고, 상기 최종 위치 및 최종 크기를 기반으로 상기 추적 대상에 상응하는 객체 모델을 갱신하는 단계를 포함한다.

이 때, 산출하는 단계는 상기 입력영상을 구성하는 복수개의 픽셀들 각각에 대한 상기 상관 필터 반응값을 기반으로 상기 복수개의 픽셀들 각각에 대한 상기 색상 객체 확률의 가중 평균(weighted average)을 계산하여 상기 결합 확률을 산출할 수 있다.

이 때, 갱신하는 단계는 상기 초기 위치를 기준으로 상기 결합 확률의 확률 밀도가 최대가 되는 지점을 상기 최종 위치로 판단하는 단계; 및 상기 초기 크기를 그대로 상기 최종 크기로 판단하는 단계를 포함할 수 있다.

이 때, 판단하는 단계는 상기 복수개의 픽셀들 중 상기 상관 필터 반응값이 최대인 어느 하나의 픽셀에 상응하는 지점을 상기 초기 위치로 판단하는 단계; 및 상기 입력영상에 대한 상기 상관 필터 반응값이 최대가 될 때에 해당하는 상기 입력영상의 스케일의 역수와 상기 입력영상에 대한 이전 프레임에서의 상기 추적 대상의 크기를 곱한 결과를 상기 초기 크기로 판단하는 단계를 포함할 수 있다.

이 때, 산출하는 단계는 상기 입력영상에 상기 색상 확률 밀도 모델을 역투영하여 상기 복수개의 픽셀들 각각에 대한 상기 색상 객체 확률을 산출할 수 있다.

이 때, 생성하는 단계는 상기 추적 대상에 상응하는 영역정보를 획득하고, 상기 입력영상에 대한 전체영역 중 상기 영역정보에 상응하는 객체영역에 대해 상기 상관 필터 모델 및 상기 색상 확률 밀도 모델 중 적어도 하나를 생성할 수 있다.

이 때, 생성하는 단계는 상기 객체영역에 대해 상관 필터 연산을 수행한 결과가 커널 함수인 필터를 상기 상관 필터 모델로 생성하는 단계; 및 상기 객체영역에 상응하는 색상 히스토그램의 값을 상기 객체영역을 구성하는 픽셀의 총 수로 나누어 상기 색상 확률 밀도 모델을 생성하는 단계를 포함할 수 있다.

이 때, 갱신하는 단계는 상기 추적 대상에 상응하는 이전 객체 모델과 상기 최종 위치 및 최종 크기에 의한 신규 객체 모델의 가중 평균을 수행한 결과에 상응하게 상기 객체 모델을 갱신할 수 있다.

본 발명에 따르면, 임베디드 시스템과 같은 저사양의 컴퓨팅 환경에서도 고속의 추적 구현이 가능하도록 할 수 있다.

또한, 본 발명은 추적할 대상의 크기 변화, 형태 변화, 가려짐 및 회전 변화에 구애 받지 않고 뛰어난 추적 성능을 제공하는 기술을 제공할 수 있다.

또한, 본 발명은 서로 상호 보완적인 객체의 색상 정보와 형태 정보를 결합하여 객체를 추적함으로써 영상에서의 객체 추적 성능을 향상시킬 수 있다.

도 1은 본 발명의 일실시예에 따른 색상과 형태를 동시에 고려한 실시간 영상 추적 장치를 나타낸 블록도이다.
도 2 내지 도 7은 본 발명의 일실시예에 따른 실시간 영상 추적 과정을 개략적으로 나타낸 도면이다.
도 8은 본 발명에 따른 실시간 영상 추적 방법과 종래의 영상 추적 방법들 간의 성능을 비교한 결과를 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 색상과 형태를 동시에 고려한 실시간 영상 추적 방법을 나타낸 동작흐름도이다.
도 10은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 색상과 형태를 동시에 고려한 실시간 영상 추적 장치를 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 실시간 영상 추적 장치는 생성부(110), 판단부(120), 산출부(130), 갱신부(140) 및 저장부(150)를 포함한다.

생성부(110)는 입력영상을 기반으로 추적 대상의 형태를 고려한 상관 필터 모델 및 추적 대상의 색상을 고려한 색상 확률 밀도 모델 중 적어도 하나를 생성한다.

이 때, 입력영상은 영상을 입력받는 별도의 영상 입력 모듈을 기반으로 입력 받을 수 있다. 예를 들어, 영상 입력 모듈에서는 실시간으로 영상 추적 작업을 수행할 영상을 입력 받을 수 있다. 이 때, 입력되는 영상은 이미지 파일의 형태로 입력될 수도 있고, 비디오 파일 또는 카메라 영상신호의 형태로 입력될 수도 있다. 그러나, 구체적인 입력영상의 포맷 및 입력 인터페이스 형태는 한정되지 않을 수 있다.

이 때, 상관 필터 모델과 색상 확률 밀도 모델은 모두 추적 대상에 대한 객체 모델(object model)에 상응하는 것으로, 추적 대상을 추적하기 위한 객체 모델에 상응할 수 있다.

이 때, 추적 대상에 상응하는 영역정보를 획득하고, 입력영상에 대한 전체영역 중 영역정보에 상응하는 객체영역에 대해 상관 필터 모델 및 색상 확률 밀도 모델 중 적어도 하나를 생성할 수 있다.

이 때, 영역정보는 사용자 설정 및 물체 감지 모듈 중 적어도 하나를 기반으로 획득될 수 있다. 예를 들어, 사용자 설정의 경우에는 사용자가 직접 입력영상의 화면 내에서 추적 대상의 위치, 크기 및 경계 등을 설정하는 방법으로 영역정보를 입력할 수 있다. 다른 예를 들어, 물체 감지 모듈의 경우에는 물체 감지 모듈을 통해 입력영상에서 추적 대상을 감지함으로써 추적 대상에 대한 영역정보를 획득할 수도 있다.

이 때, 추적 대상이 최초로 설정된 경우 및 추적 대상이 재설정된 경우 중 적어도 하나의 경우에 상관 필터 모델 및 색상 확률 밀도 모델 중 적어도 하나를 생성할 수 있다.

이 때, 상관 필터 모델은 입력영상에 대해 상관 필터 연산을 수행하였을 경우에 그 결과가 커널 함수(kernel function)가 되는 필터에 상응할 수 있다. 다시 말해서, 객체영역에 대해 상관 필터 연산을 수행한 결과가 커널 함수인 필터를 상관 필터 모델로 생성할 수 있다.

이 때, 커널 함수란, 수학적으로 원점을 중심으로 대칭이면서 그 함수값이 항상 0 이상(non-negative)이고, 적분값이 1에 상응하는 함수일 수 있다. 예를 들어, 가우시안(Gaussian), Epanechnikov, uniform 함수 등이 대표적인 커널 함수에 해당할 수 있다.

즉, 본 발명에서 생성하고자 하는 상관 필터 모델은 입력영상에 대해 상관 필터 연산을 수행하였을 경우에 그 결과 값이 추적 대상의 위치에서 피크(peak)를 이루고, 추적 대상으로부터 멀어질수록 낮은 값을 갖는 커널 함수의 형태가 되도록 하는 상관 필터를 의미할 수 있다.

예를 들어, 입력영상에서 추적 대상에 대한 영역을 x, 커널 함수를 y라고 가정한다면 이에 대한 상관 필터 f는 다음의 [수학식 1]과 같이 계산할 수 있다.

[수학식1]

이 때, [수학식 1]에서

는 x에 대한 이산 푸리에 변환(Discrete Fourier Transform)을, 위 첨자 *는 켤레 복소수(complex-conjugate)를 나타내고,

는 원소 별(element-wise) 곱을, 나눗셈은 원소 별 나눗셈을, λ는 f의 크기(norm)를 제한하기 위한 regulization 파라미터에 상응할 수 있다.

이 때, 색상 확률 밀도 모델은 추적 대상을 구성하고 있는 색상 분포(color distribution)에 대한 확률 밀도 함수(probability density function)를 모델링 한 것에 상응할 수 있다.

이 때, 객체영역에 상응하는 색상 히스토그램의 값을 객체영역을 구성하는 픽셀의 총 수로 나누어 색상 확률 밀도 모델을 생성할 수 있다. 입력영상에서 색상 확률 밀도를 구하는 가장 손쉬운 방법은 정규화된 색상 히스토그램(normalized color histogram)을 이용하는 것에 해당할 수 있다.

이 때, 색상 히스토그램은 색상들의 범위를 구간별로 나눈 후 각 구간에 해당하는 픽셀들의 개수를 센 것으로, 입력영상에서 추적 대상을 구성하고 있는 복수개의 픽셀들에 대한 색상 히스토그램을 구한 후 색상 히스토그램의 값을 객체 픽셀의 총 수로 나눔으로써 색상 확률 밀도를 산출할 수 있다.

이러한 색상 확률 밀도 모델은 색상 정보를 이용하여 영상 추적을 수행하는 MeanShift 방법과 같이 객체 전체에 대한 단일 히스토그램으로 모델링 될 수도 있고, SumShift 방법과 같이 객체를 구성하는 부분 영역 별 히스토그램들로 모델링 될 수도 있으며 그 구현은 제한되지 않을 수 있다.

판단부(120)는 입력영상에 상관 필터 모델을 적용하여 산출된 상관 필터 반응값을 기반으로 추적 대상에 대한 초기 위치 및 초기 크기를 판단한다.

이 때, 복수개의 픽셀들 중 상관 필터 반응값이 최대인 어느 하나의 픽셀에 상응하는 지점을 초기 위치로 판단하고, 입력영상에 대한 상관 필터 반응값이 최대가 될 때에 해당하는 입력영상의 스케일의 역수(multiplicative inverse)와 입력영상에 대한 이전 프레임에서의 추적 대상의 크기를 곱한 결과를 초기 크기로 판단할 수 있다.

즉, 상관 필터 반응값은 입력영상을 구성하는 복수개의 픽셀들 각각에 대해 계산될 수 있다. 예를 들어, 상관 필터 모델을 f, 입력영상을 I라고 가정한다면 픽셀(x, y)에서의 상관 필터 반응값 R(x, y)은 [수학식 2]와 같이 산출될 수 있다.

[수학식 2]

이 때, 추적 대상의 초기 위치는 상관 필터 반응값 R(x, y)이 최대가 되는 지점으로 설정하는 것이 바람직할 수 있다.

또한, 추적 대상의 초기 크기는 입력영상을 다양한 스케일(scale)로 변화시키면서 상관 필터 반응값을 계산하되, 그 중에서 가장 큰 상관 필터 반응값을 산출하는 입력영상 스케일의 역수와 입력영상에 대한 이전 프레임에서의 추적 대상의 크기를 곱한 결과로 설정하는 것이 바람직할 수 있다.

예를 들어, 추적 대상의 이미지를 1.1배 확대하였을 때에 상관 필터 반응값이 최대가 되었고, 직전 영상 프레임에서 추적 대상의 크기가 s였다고 가정한다면 현재 영상 프레임에서의 추적 대상의 초기 크기는 s/1.1로 설정할 수 있다.

산출부(130)는 상관 필터 반응값과 색상 확률 밀도 모델을 기반으로 산출된 색상 객체 확률을 기반으로 결합 확률을 산출한다.

이 때, 입력영상을 구성하는 복수개의 픽셀들 각각에 대한 상관 필터 반응값을 기반으로 복수개의 픽셀들 각각에 대한 색상 객체 확률의 가중 평균(weighted average)을 계산하여 결합 확률을 산출할 수 있다.

예를 들어, 추적 대상에 해당하는 현재의 객체 모델을 이용하여 픽셀 (x, y)에 대해 계산된 상관 필터링 반응값을 R(x, y), 픽셀 (x, y)의 색상값에 대해 계산된 색상 확률 밀도 값을 H(x, y) 라 가정할 수 있다. 이 때, H(x, y)는 추적 대상의 색상 정보에 기반한 색상 객체 확률을 나타낼 수 있고, R(x, y)는 객체의 형태 정보에 기반한 확률을 의미할 수 있다. 이와 같은 두 상보적 특성을 결합한 결합 확률 p(x, y)는 다양한 방식으로 계산될 수 있으나, 바람직하게는 다음의 [수학식 3]과 같이 두 확률값의 가중 평균으로 계산될 수 있다.

[수학식 3]

이 때, w는 0 ≤ w ≤ 1 사이의 상수로서 상황에 따라 자유롭게 조절될 수 있는 파라미터에 상응할 수 있다.

이 때, 입력영상에 색상 확률 밀도 모델을 역투영하여 입력영상을 구성하는 복수개의 픽셀들 각각에 대한 색상 객체 확률을 산출할 수 있다.

갱신부(140)는 초기 위치 및 초기 크기에 결합 확률을 적용하여 추적 대상에 대한 최종 위치 및 최종 크기를 판단하고, 최종 위치 및 최종 크기를 기반으로 추적 대상에 상응하는 객체 모델을 갱신한다.

이 때, 초기 위치를 기준으로 결합 확률의 확률 밀도가 최대가 되는 지점을 최종 위치로 판단하고, 초기 크기를 그대로 최종 크기로 판단할 수 있다.

이 때, 확률 밀도가 최대가 되는 최대 객체 확률의 위치는 다양한 방식으로 계산될 수 있으며, 구체적인 방법은 제한되지 않을 수 있다.

예를 들어, MeanShift 방법을 적용해서 결합 확률 분포가 지역적으로 극대가 되는 지점을 탐색할 수도 있고, SumShift 방법을 적용해서 결합 확률 분포값의 지역적 합(local sum)이 최대가 되는 지점을 찾을 수도 있다. 이 때, SumShift 방법과 같이 지역적 확률의 합이 최대가 되는 지점을 최종 위치로 결정하는 것이 MeanShift 방법을 적용할 때보다 영상 추적의 정확도를 향상시킬 수 있다.

또한, 추적 대상의 최종 크기는 결합 확률을 통해 다시 계산할 수도 있으나, 추적 대상의 크기는 색상 정보에 의한 확률보다는 형태 정보에 기반하여 결정하는 것이 바람직하기 때문에 상관 필터 모델을 기반으로 판단한 초기 크기를 그대로 사용하는 것이 바람직할 수 있다.

이 때, 추적 대상에 상응하는 이전 객체 모델과 최종 위치 및 최종 크기에 의한 신규 객체 모델의 가중 평균을 수행한 결과에 상응하게 객체 모델을 갱신할 수 있다.

즉, 현재 입력영상에서 최종 결정된 추적 대상의 위치 및 크기에 의한 영상영역으로부터 객체 모델을 새로 생성한 후 기존에 유지하고 있던 객체 모델과의 가중 평균을 이용하여 객체 모델을 갱신할 수 있다. 예를 들어, 이전 객체 모델을 M^t ^-1, 새롭게 생성한 신규 객체 모델을 M, 갱신된 객체 모델을 M^t라고 가정한다면, M^t는 다음의 [수학식 4]와 같이 계산될 수 있다.

[수학식 4]

이 때, μ는 모델 갱신 속도를 조절하는 파라미터로서, 0과 1 사이의 임의의 값으로 설정할 수 있지만 통상적으로는 0.01 정도의 작은 값을 사용하는 것이 바람직할 수 있다.

이 때, 본 발명의 일실시예에 따른 객체 모델은 상관 필터 모델과 색상 확률 밀도 모델 2가지로 구성되기 때문에, [수학식 4]에 따른 객체 모델 갱신 과정도 상관 필터 모델과 색상 확률 밀도 모델 각각에 대해 수행될 수 있으며, 갱신 속도 파라미터 μ는 모델 별로 서로 다른 값을 사용할 수 있다.

저장부(150)는 상술한 바와 같이 본 발명의 일실시예에 따른 실시간 영상 추적 장치에서 발생하는 다양한 정보를 저장한다.

실시예에 따라, 저장부(150)는 실시간 영상 추적 장치와 독립적으로 구성되어 실시간 영상 추적을 위한 기능을 지원할 수 있다. 이 때, 저장부(150)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다.

한편, 실시간 영상 추적 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

이와 같은 실시간 영상 추적 장치를 통해, 임베디드 시스템과 같은 저사양의 컴퓨팅 환경에서도 고속의 추적 구현이 가능하도록 할 수 있다.

또한, 대상의 크기 변화, 형태 변화, 가려짐 및 회전 변화에 구애 받지 않고 뛰어난 추적 성능을 제공하는 기술을 제공할 수 있으며 서로 상호 보완적인 객체의 색상 정보와 형태 정보를 결합하여 객체를 추적함으로써 영상에서의 객체 추적 성능을 향상시킬 수도 있다.

도 2 내지 도 7은 본 발명의 일실시예에 따른 실시간 영상 추적 과정을 개략적으로 나타낸 도면이다.

도 2 내지 도 7을 참조하면, 본 발명의 일실시예에 따른 실시간 영상 추적 과정은 KCF(Kernelized Correlation Filter) 추적 방식과 Sumshift 추적 방식을 결합하여 실시간으로 영상 추적을 수행하는 것을 알 수 있다.

이 때, 도 3에 도시된 R(x, y)는 현재의 상관 필터 모델(311)을 입력영상(200)에 적용하여 영역정보(210)에 상응하는 객체 영역에 대해 계산한 상관 필터링 반응값 및 상관 필터링 추적 결과(310)를 나타낸 것이고, H(x, y)는 색상 히스토그램으로 표현되는 색상 확률 밀도 모델(321)을 입력영상(200)에 역투영(histogram backprojection)하여 얻어진 색상 객체 확률을 나타낸 것일 수 있다.

즉, R(x, y)는 KCF(Kernelized Correlation Filter) 추적 방식에 의한 영상 추적 결과에 해당하고, H(x, y)는 Sumshift 추적 방식에 의한 영상 추적 결과에 해당할 수 있다.

이 때, 본 발명에 따른 실시간 영상 추적 방법은 R(x, y)와 H(x, y)를 결합한 결합 확률 p(x, y)을 기반으로 실시간 영상 추적을 수행할 수 있으며, 최종 추적 결과(330)와 같이 결과 값을 제공할 수 있다.

또한, 본 발명에 따른 실시간 영상 추적 방법은 최종 추적 결과(330)를 추적 대상에 해당하는 객체 모델, 즉 현재 입력영상의 상관 필터 모델과 색상 확률 밀도 모델을 갱신하는데 사용할 수도 있다.

이와 같은 방법으로 도 4에 도시된 입력영상(400)에 대해서도 실시간 영상 추적을 수행하여 도 5에 도시된 것과 같이 영역정보(410)에 대한 KCF 추적 결과(510)와 SumShift 추적 결과(520)를 각각 산출하고, 이를 결합하여 본 발명에 따른 SumShift + KCF 추적 결과(530)를 생성할 수 있다.

또한, 도 6에 도시된 입력영상(600)에 대해서도 도 7에 도시된 것과 같이 실시간 영상 추적을 수행할 수 있다.

도 8은 본 발명에 따른 실시간 영상 추적 방법과 종래의 영상 추적 방법들 간의 성능을 비교한 결과를 나타낸 도면이다.

도 8을 참조하면, 본 발명에 따른 실시간 영상 추적 방법의 효과를 검증하기 위해 영상 추적 분야의 대표적 국제대회인 VOT(Visual Object Tracking) 2016 챌린지에 사용된 데이터셋을 사용하여 Sumshift에 의한 영상 추적 방법, KCF에 의한 영상 추적 방법 및 본 발명의 의한 영상 추적 방법 각각의 성능을 평가하였다.

이 때, 성능 지표는 VOT 챌린지와 동일한 방법을 사용하여 60개의 테스트 비디오 데이터에 대한 평균 추적 정확도 (average tracking accuracy)와 총 추적 실패 횟수로 평가하였다.

이 때, 본 발명에 따른 일 실시예의 일부 과정 중 상관 필터 계산은 KCF 방법을 사용하고, 색상 확률 밀도의 계산은 Sumshift 방법을 적용하였다.

이에 따라, 도 8에 도시된 성능 실험 결과를 확인하면, 본 발명에 따른 실시간 영상 추적 방법을 적용할 경우, 기존의 KCF 방법이나 SumShift 방법보다 추적 정확도 및 추적 안정성(실패 횟수)이 크게 향상됨을 확인할 수 있다.

이 때, 도 8의 실시예에서는 상관 필터 추적기의 한 예로써 KCF 추적기를, 색상 확률 모델 추적기의 한 예로써 SumShift 추적기를 활용하였지만, 본 발명에 따른 상관 필터 추적 및 색상 확률 모델 추적을 위한 모듈의 구현은 특정한 기술에 한정되지 않을 수 있다.

도 9는 본 발명의 일실시예에 따른 색상과 형태를 동시에 고려한 실시간 영상 추적 방법을 나타낸 동작흐름도이다.

도 9를 참조하면, 본 발명의 일실시예에 따른 색상과 형태를 동시에 고려한 실시간 영상 추적 방법은 색상과 형태를 동시에 고려한 실시간 영상 추적 장치가, 입력영상을 기반으로 추적 대상의 형태를 고려한 상관 필터 모델 및 추적 대상의 색상을 고려한 색상 확률 밀도 모델 중 적어도 하나를 생성한다(S910).

[수학식1]

이 때, [수학식 1]에서

또한, 본 발명의 일실시예에 따른 색상과 형태를 동시에 고려한 실시간 영상 추적 방법은 실시간 영상 추적 장치가, 입력영상에 상관 필터 모델을 적용하여 산출된 상관 필터 반응값을 기반으로 추적 대상에 대한 초기 위치 및 초기 크기를 판단한다(S920).

[수학식 2]

또한, 본 발명의 일실시예에 따른 색상과 형태를 동시에 고려한 실시간 영상 추적 방법은 실시간 영상 추적 장치가, 상관 필터 반응값과 색상 확률 밀도 모델을 기반으로 산출된 색상 객체 확률을 기반으로 결합 확률을 산출한다(S930).

[수학식 3]

또한, 본 발명의 일실시예에 따른 색상과 형태를 동시에 고려한 실시간 영상 추적 방법은 실시간 영상 추적 장치가, 초기 위치 및 초기 크기에 결합 확률을 적용하여 추적 대상에 대한 최종 위치 및 최종 크기를 판단하고, 최종 위치 및 최종 크기를 기반으로 추적 대상에 상응하는 객체 모델을 갱신한다(S940).

[수학식 4]

또한, 도 9에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 색상과 형태를 동시에 고려한 실시간 영상 추적 방법은 상술한 바와 같이 본 발명의 일실시예에 따른 실시간 영상 추적 과정에서 발생하는 다양한 정보를 저장한다.

또한, 본 발명의 일실시예에 따른 실시간 영상 추적 방법은 컴퓨터 상에서 수행되는 프로그램 형태, 프로그램을 저장하는 메모리 및 프로그램을 수행하는 프로세서를 포함한 독립된 장치 형태 또는 SoC 전용 칩(chip) 형태 등 다양한 형태로 구현할 수 있으며, 구체적인 구현 형태는 한정되지 않을 수 있다.

이와 같은 실시간 영상 추적 방법을 이용함으로써, 임베디드 시스템과 같은 저사양의 컴퓨팅 환경에서도 고속의 추적 구현이 가능하도록 할 수 있다.

도 10은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.

도 10을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 10에 도시된 바와 같이, 컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 입력 장치(1040), 사용자 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.

이상에서와 같이 본 발명에 따른 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

110: 생성부 120: 판단부
130: 산출부 140: 갱신부
150: 저장부 200, 400, 600: 입력영상
210, 410, 610: 영역정보
310: 상관 필터링 추적 결과 311: 상관 필터 모델
320: 색상 객체 확률 321: 색상 확률 밀도 모델
330: 최종 추적 결과 510, 710: KCF 추적 결과
520, 720: SumShift 추적 결과 530, 730: Sumshift+KCF 추적 결과
1000: 컴퓨터 시스템 1010: 프로세서
1020: 버스 1030: 메모리
1031: 롬 1032: 램
1040: 사용자 인터페이스 입력 장치 1050: 사용자 인터페이스 출력 장치
1060: 스토리지 1070: 네트워크 인터페이스
1080: 네트워크

Claims

입력영상을 기반으로 추적 대상의 형태를 고려한 상관 필터 모델 및 상기 추적 대상의 색상을 고려한 색상 확률 밀도 모델 중 적어도 하나를 생성하는 생성부;
상기 입력영상에 상기 상관 필터 모델을 적용하여 산출된 상관 필터 반응값을 기반으로 상기 추적 대상에 대한 초기 위치 및 초기 크기를 판단하는 판단부;
상기 상관 필터 반응값과 상기 색상 확률 밀도 모델을 기반으로 산출된 색상 객체 확률을 기반으로 결합 확률을 산출하는 산출부; 및
상기 초기 위치 및 초기 크기에 상기 결합 확률을 적용하여 상기 추적 대상에 대한 최종 위치 및 최종 크기를 판단하고, 상기 최종 위치 및 최종 크기를 기반으로 상기 추적 대상에 상응하는 객체 모델을 갱신하는 갱신부
를 포함하는 것을 특징으로 하는 실시간 영상 추적 장치.
청구항 1에 있어서,
상기 산출부는
상기 입력영상을 구성하는 복수개의 픽셀들 각각에 대한 상기 상관 필터 반응값을 기반으로 상기 복수개의 픽셀들 각각에 대한 상기 색상 객체 확률의 가중 평균(weighted average)을 계산하여 상기 결합 확률을 산출하는 것을 특징으로 하는 실시간 영상 추적 장치.
청구항 1에 있어서,
상기 갱신부는
상기 초기 위치를 기준으로 상기 결합 확률의 확률 밀도가 최대가 되는 지점을 상기 최종 위치로 판단하고, 상기 초기 크기를 그대로 상기 최종 크기로 판단하는 것을 특징으로 하는 실시간 영상 추적 장치.
청구항 2에 있어서,
상기 판단부는
상기 복수개의 픽셀들 중 상기 상관 필터 반응값이 최대인 어느 하나의 픽셀에 상응하는 지점을 상기 초기 위치로 판단하고, 상기 입력영상에 대한 상기 상관 필터 반응값이 최대가 될 때에 해당하는 상기 입력영상의 스케일의 역수와 상기 입력영상에 대한 이전 프레임에서의 상기 추적 대상의 크기를 곱한 결과를 상기 초기 크기로 판단하는 것을 특징으로 하는 실시간 영상 추적 장치.
청구항 2에 있어서,
상기 산출부는
상기 입력영상에 상기 색상 확률 밀도 모델을 역투영하여 상기 복수개의 픽셀들 각각에 대한 상기 색상 객체 확률을 산출하는 것을 특징으로 하는 실시간 영상 추적 장치.
청구항 1에 있어서,
상기 생성부는
상기 추적 대상에 상응하는 영역정보를 획득하고, 상기 입력영상에 대한 전체영역 중 상기 영역정보에 상응하는 객체영역에 대해 상기 상관 필터 모델 및 상기 색상 확률 밀도 모델 중 적어도 하나를 생성하는 것을 특징으로 하는 실시간 영상 추적 장치.
청구항 6에 있어서,
상기 영역정보는
사용자 설정 및 물체 감지 모듈 중 적어도 하나를 기반으로 획득되는 것을 특징으로 하는 실시간 영상 추적 장치.
청구항 1에 있어서,
상기 생성부는
상기 추적 대상이 최초로 설정된 경우 및 상기 추적 대상이 재설정된 경우 중 적어도 하나의 경우에 상기 상관 필터 모델 및 상기 색상 확률 밀도 모델 중 적어도 하나를 생성하는 것을 특징으로 하는 실시간 영상 추적 장치.
청구항 6에 있어서,
상기 생성부는
상기 객체영역에 대해 상관 필터 연산을 수행한 결과가 커널 함수인 필터를 상기 상관 필터 모델로 생성하는 것을 특징으로 하는 실시간 영상 추적 장치.
청구항 6에 있어서,
상기 생성부는
상기 객체영역에 상응하는 색상 히스토그램의 값을 상기 객체영역을 구성하는 픽셀의 총 수로 나누어 상기 색상 확률 밀도 모델을 생성하는 것을 특징으로 하는 실시간 영상 추적 장치.
청구항 1에 있어서,
상기 갱신부는
상기 추적 대상에 상응하는 이전 객체 모델과 상기 최종 위치 및 최종 크기에 의한 신규 객체 모델의 가중 평균을 수행한 결과에 상응하게 상기 객체 모델을 갱신하는 것을 특징으로 하는 실시간 영상 추적 장치.
색상과 형태를 동시에 고려한 실시간 영상 추적 장치를 이용한 실시간 영상 추적 방법에 있어서,
상기 실시간 영상 추적 장치가, 입력영상을 기반으로 추적 대상의 형태를 고려한 상관 필터 모델 및 상기 추적 대상의 색상을 고려한 색상 확률 밀도 모델 중 적어도 하나를 생성하는 단계;
상기 실시간 영상 추적 장치가, 상기 입력영상에 상기 상관 필터 모델을 적용하여 산출된 상관 필터 반응값을 기반으로 상기 추적 대상에 대한 초기 위치 및 초기 크기를 판단하는 단계;
상기 실시간 영상 추적 장치가, 상기 상관 필터 반응값과 상기 색상 확률 밀도 모델을 기반으로 산출된 색상 객체 확률을 기반으로 결합 확률을 산출하는 단계; 및
상기 실시간 영상 추적 장치가, 상기 초기 위치 및 초기 크기에 상기 결합 확률을 적용하여 상기 추적 대상에 대한 최종 위치 및 최종 크기를 판단하고, 상기 최종 위치 및 최종 크기를 기반으로 상기 추적 대상에 상응하는 객체 모델을 갱신하는 단계
를 포함하는 것을 특징으로 하는 실시간 영상 추적 방법.
청구항 12에 있어서,
상기 산출하는 단계는
상기 입력영상을 구성하는 복수개의 픽셀들 각각에 대한 상기 상관 필터 반응값을 기반으로 상기 복수개의 픽셀들 각각에 대한 상기 색상 객체 확률의 가중 평균(weighted average)을 계산하여 상기 결합 확률을 산출하는 것을 특징으로 하는 실시간 영상 추적 방법.
청구항 12에 있어서,
상기 갱신하는 단계는
상기 초기 위치를 기준으로 상기 결합 확률의 확률 밀도가 최대가 되는 지점을 상기 최종 위치로 판단하는 단계; 및
상기 초기 크기를 그대로 상기 최종 크기로 판단하는 단계를 포함하는 것을 특징으로 하는 실시간 영상 추적 방법.
청구항 13에 있어서,
상기 판단하는 단계는
상기 복수개의 픽셀들 중 상기 상관 필터 반응값이 최대인 어느 하나의 픽셀에 상응하는 지점을 상기 초기 위치로 판단하는 단계; 및
상기 입력영상에 대한 상기 상관 필터 반응값이 최대가 될 때에 해당하는 상기 입력영상의 스케일의 역수와 상기 입력영상에 대한 이전 프레임에서의 상기 추적 대상의 크기를 곱한 결과를 상기 초기 크기로 판단하는 단계를 포함하는 것을 특징으로 하는 실시간 영상 추적 방법.
청구항 13에 있어서,
상기 산출하는 단계는
상기 입력영상에 상기 색상 확률 밀도 모델을 역투영하여 상기 복수개의 픽셀들 각각에 대한 상기 색상 객체 확률을 산출하는 것을 특징으로 하는 실시간 영상 추적 방법.
청구항 12에 있어서,
상기 생성하는 단계는
상기 추적 대상에 상응하는 영역정보를 획득하고, 상기 입력영상에 대한 전체영역 중 상기 영역정보에 상응하는 객체영역에 대해 상기 상관 필터 모델 및 상기 색상 확률 밀도 모델 중 적어도 하나를 생성하는 것을 특징으로 하는 실시간 영상 추적 방법.
청구항 17에 있어서,
상기 영역정보는
사용자 설정 및 물체 감지 모듈 중 적어도 하나를 기반으로 획득되는 것을 특징으로 하는 실시간 영상 추적 방법.
청구항 17에 있어서,
상기 생성하는 단계는
상기 객체영역에 대해 상관 필터 연산을 수행한 결과가 커널 함수인 필터를 상기 상관 필터 모델로 생성하는 단계; 및
상기 객체영역에 상응하는 색상 히스토그램의 값을 상기 객체영역을 구성하는 픽셀의 총 수로 나누어 상기 색상 확률 밀도 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 실시간 영상 추적 방법.
청구항 12에 있어서,
상기 갱신하는 단계는
상기 추적 대상에 상응하는 이전 객체 모델과 상기 최종 위치 및 최종 크기에 의한 신규 객체 모델의 가중 평균을 수행한 결과에 상응하게 상기 객체 모델을 갱신하는 것을 특징으로 하는 실시간 영상 추적 방법.