KR20150055433A - 대상물체의 극심한 가려짐 및 불확실한 초기 조건하에서 돌극성 기반의 물체 추적 방법 - Google Patents

Abstract

본 발명은 영상에서 물체를 추적(object tracking)하는 기술에 관한 것으로, 특히 추적 시에 단순히 물체 모델을 구성하고 가장 유사한 부분을 찾는 것이 아니라 돌극성(saliency)의 개념을 도입하여 두드러지는 부분을 학습하고 이를 종합적으로 고려하여 강건하게 물체의 위치를 판단하여 추적해나가는 방법이다. 본 발명은 극심한 가려짐 및 부정확한 초기 조건 하에서도 이러한 종합적인 판단 및 두드러짐 학습을 통하여 물체를 올바르게 추적한다. 본 발명에 따른 돌극성 기반의 물체 추적 방법을 적용하면 다양한 상황, 특히 추적대상 물체의 초기 위치가 부정확하게 주어지거나 추적 중간에 일시적으로 추적대상 물체가 완전히 가려지더라도 우수한 성능으로 물체를 추적할 수 있는 장점이 있다.

Description

대상물체의 극심한 가려짐 및 불확실한 초기 조건하에서 돌극성 기반의 물체 추적 방법{Saliency-Based Object Tracking Method under Severe Occlusions and Uncertain Initializations}

본 발명은 영상에서 물체를 추적(object tracking)하는 기술에 관한 것으로, 특히 추적 시에 단순히 물체 모델을 구성하고 가장 유사한 부분을 찾는 것이 아니라 돌극성(saliency)의 개념을 도입하여 두드러지는 부분을 학습하고 이를 종합적으로 고려하여 강건하게 물체의 위치를 판단하여 추적해나가는 방법이다. 본 발명은 극심한 가려짐 및 부정확한 초기 조건 하에서도 이러한 종합적인 판단 및 두드러짐 학습을 통하여 물체를 올바르게 추적한다.

종래로부터 입력 영상으로부터 어떠한 물체영역을 선택할 경우 지속적으로 이를 추적하는 물체 추적 알고리듬에 대한 연구가 이루어져 왔다. 예를 들어, PTZ(Pan-Tilt-Zoom) 감시 카메라에서 사람을 선택할 경우 이를 자동적으로 추적하는 기술을 들 수 있다.

이처럼 물체 추적 분야에 있어서는 종래로부터 많은 알고리즘 개발이 진행되어 왔다. 종래의 기술들은 물체 추적 시에 발생하는 비-강체 변화, 부분적인 가려짐, 드리프팅(drifting) 등의 문제들을 주로 다루어왔다. 하지만, 추적대상 물체가 심하게 가려지는 경우에 대해서는 종래의 기술들은 일반적으로 열악한 성능을 나타낸다.

가려짐과 관련된 종래의 연구로는 부분적인 표현들의 집합으로 전체를 표현하는 방식과 가려짐을 고려한 모델링을 기반으로 하는 방식이 있었다. 하지만 이들 방식은 최소한 물체의 일부분이 입력 영상에서 보여야 한다는 단점을 지니며, 특히 심한 가려짐의 경우에는 제대로 동작하지 않는다.

종래기술에서의 일부 연구에서 입력 영상에 추적 대상 물체가 부분적으로 가려지는 경우를 넘어서 전체적으로 추적 대상 물체가 보이지 않을 경우에도 물체를 추적할 수 있도록 하는 방법이 제안되었다. 하지만, 해당 종래기술에서 제안되었던 방법은 일반적인 물체 추적 방법을 사용하여 대상 물체의 주변을 교사학습으로 학습하는 방법으로서 구체적으로 어떠한 추적 방법이 사용되었는지에 따라 추적 성능이 가변적이라는 단점을 지닌다.

특히 종래의 물체 추적에 관한 연구는 일반적으로 첫 프레임에서 물체가 완전하게 제공되었다고 가정하는데, 실제 상황에서는 드문 일이다. 일반적으로는 처음에 물체를 추적할 때 완전하지 못한, 즉 오차를 어느 정도 포함한 정보를 제공받은 상태에서 물체 추적을 개시할 수 밖에 없으며, 이러한 경우 종래 기술에서는 물체 추적의 정확도가 상당히 떨어지게 된다.

또한, 부정확한 초기화 문제의 경우에 종래 기술에서는 별달리 주목하지 않은 사항인데, 실제 물체 추적 시스템이 구현되었을 때 그러한 부정확한 초기화에 대해 매우 취약한 모습을 보인다. 즉, 물체 추적이 일어날 경우 대상 물체의 초기 위치는 부정확하게 주어지기 마련인데 이러한 경우 기존의 추적 방법들은 상대적으로 성능이 많이 떨어지게 된다.

이상의 문제들에 대한 종래 기술의 일 접근방법으로서 자동 초기화 방법을 활용하는 방법도 제안되었다. 하지만 자동 초기화 방법을 비롯한 각종의 종래 기술들은 미리 정해진 규칙에 따라 추적대상 물체를 정할 뿐이고 여전히 초기화에 의해 큰 영향을 받는다는 단점이 있다.

그에 따라, 이처럼 추적대상 물체의 초기 위치가 부정확하게 주어지는 상황에도 성능 저하 없이 입력 영상에서 물체를 추적할 수 있고, 물체 추적 중간에 일시적으로 추적대상 물체가 완전히 가려지더라도 강건하게 물체를 추적할 수 있는 기술의 개발이 종래로부터 요구되어 왔다.

본 발명의 목적은 영상에서 물체를 추적할 때 단순히 물체 모델을 구성하고 가장 유사한 부분을 찾는 것이 아니라 돌극성의 개념을 도입하여 두드러진 부분을 학습하고 이를 종합적으로 고려하여 강건하게 물체의 위치를 판단하여 추적해나가는 기술을 제공하는 것이다. 즉, 본 발명의 목적은 대상 물체의 극심한 가려짐이나 부정확한 초기 조건 하에서도 종합적인 판단 및 두드러짐 학습을 통하여 물체를 올바르게 추적할 수 있는 기술을 제공하는 것이다.

이상과 같은 과제를 달성하기 위한 본 발명에 따른 돌극성 기반의 물체 추적 방법은 허프 변환과 로컬 특징을 기반으로 돌극성 판단을 통해 입력 영상으로부터 물체 추적을 달성한다. 본 발명에서 허프 변환은 각 로컬 특징마다 물체라고 의심되는 대상의 중심 위치에 보팅을 하게 되고 이를 축적하여 물체의 최종적인 위치를 판단하는 방식으로 처리된다.

또한, 본 발명에 따른 컴퓨터로 판독가능한 기록매체는 상기와 같은 돌극성 기반의 물체 추적 방법을 실행시키기 위한 물체 추적 영상처리 프로그램을 기록한 것이다.

본 발명에 따른 돌극성 기반의 물체 추적 방법을 적용하면 다양한 상황, 특히 추적대상 물체의 초기 위치가 부정확하게 주어지거나 추적 중간에 일시적으로 추적대상 물체가 완전히 가려지더라도 우수한 성능으로 물체를 추적할 수 있는 장점이 있다.

[도 1]은 본 발명에 따른 돌극성 기반의 물체 추적 방법의 전체 흐름을 개념적으로 나타내는 도면.
[도 2]는 본 발명에서 적용하는 디스크립터 돌극성과 모션 돌극성의 개념을 나타내기 위한 일 예.
[도 3]은 다양한 랜덤 초기 조건 하에서 종래기술의 알고리즘과 본 발명을 비교 실험한 결과를 나타내는 도면.
[도 4]는 물체의 대부분이 가려진 경우에 종래기술의 알고리즘과 본 발명을 비교 실험한 결과를 나타내는 도면.
[도 5]는 다양한 입력 이미지에 대해서 종래기술의 알고리즘과 본 발명을 비교 실험한 결과를 나타내는 도면.

이하, 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 발명에서는 허프 변환(Hough Transform)과 로컬 특징(local feature)을 기반으로 하며 여기에 부가적으로 두드러짐 정도를 나타내는 돌극성이라는 개념이 추가된다. 허프 변환은 보팅 기반 방법으로, 어떠한 해(solution)를 구하고자 할 경우 이와 관련된 가능성이 있는 모든 해들을 보팅 차원에 축적한 후 이중 가장 좋은 결과를 선택하는 방법이다. 본 발명의 방법의 경우 각 로컬 특징마다 물체라고 의심되는 대상의 중심 위치에 보팅을 하게 되고 이를 축적하여 물체의 최종적인 위치를 판단한다.

또한, 로컬 특징은 영상에서 어떠한 특징이 되는 지점을 의미하며 일반적으로 이를 표현하기 위한 디스크립터(descriptor, 기술자)와 함께 사용된다. 본 발명은 바람직하게는 SURF 특징을 사용하였다.

[도 1]은 본 발명에 따른 돌극성 기반의 물체 추적 방법의 전체 흐름을 개념적으로 나타내는 도면이다.

[도 1]을 참조하면, 본 발명에서는 입력 영상(입력 이미지)에 대하여 로컬 특징을 획득한 후 이를 데이터베이스에 학습하게 된다. 이때, 특징의 경우 일반적으로 SURF (Speeded Up Robust Features)나 SIFT (Scale Invariant Feature Transform)와 같이 변형에 강인한 특징을 사용하며, 추후 새로 입력 영상에서 획득하는 특징 들을 이들과 비교함으로써 기술자 측면에서의 두드러짐, 즉 디스크립터 돌극성을 구하게 된다.

또한 각 특징 별로 움직임을 획득하여 해당 움직임들을 현재 학습된 데이터베이스를 이용하여 얼마나 물체의 움직임과 유사하고 배경으로부터 두드러지는지를 나타내는 모션 돌극성을 구한다. 이후 이들 두가지 돌극성을 이용하여 허프 보팅(Hough Voting)을 수행하고, 최종적으로 물체의 위치를 획득한 후 다시 이를 이용하여 데이터베이스를 업데이트 한다.

본 발명에서 적용하는 디스크립터 돌극성과 모션 돌극성에 대해 살펴보면 다음과 같다.

먼저, 디스크립터 돌극성(Descriptor Saliency)의 경우 지속적으로 데이터베이스와 매칭을 하면서 해당 특징이 최종 추적 결과를 계산하는데 얼마나 기여하였는가를 학습한다. 즉, 허프 보팅 결과를 역투영(back-projection)하여 해당 데이터베이스 항목을 업데이트 한다. 데이터베이스의 경우 모든 특징을 다 기억할 수 없으므로 가장 이 학습된 디스크립터 돌극성이 우수한 일부만을 기억한다. 이 데이터베이스에 학습되는 정보는 특징 디스크립터, 물체 중심과의 상대적 위치인 보팅 벡터(voting vector), 특징이 얼마나 데이터베이스에 남아있었는지를 알려주는 에이지(age), 학습된 기여도인 디스크립터 돌극성이다.

다음으로, 모션 돌극성(Motion Saliency)은 모션 스페이스(motion space)에서의 보팅 후 이를 역투영하여 획득한다. 즉, 각 검출된 특징점 위치에서 이전 프레임과의 관계를 통하여 옵티컬 플로우(optical flow)를 계산하고, 각 플로우를 dx, dy 평면에 보팅한다. 이때 보팅 가중치(voting weight)는 각 특징을 데이터베이스와 매칭 시켜서 획득한 디스크립터 돌극성의 역이 되도록 하여 보팅을 수행한다. 이후 최종 보팅 결과에서 특징이 보팅한 위치의 최종 축적된 값의 역이 모션 돌극성, 즉 움직임 측면에서 주변으로부터 두드러지는 정도가 된다.

이처럼 본 발명에서 적용하는 디스크립터 돌극성과 모션 돌극성의 개념은 [도 2]에 잘 나타나 있다. [도 2] (a)는 각 로컬 특징의 디스크립터 돌극성을 나타내고, [도 2] (b)는 디스크립터를 이용하여 보팅을 수행한 모션 보팅 맵(motion voting map)을 나타내고, [도 2] (c)는 이상의 모션 보팅 맵을 통해 역투영으로 얻은 모션 돌극성을 나타낸다.

그리고 나서, 본 발명에서는 이상의 결과에 기초하여 최종적으로 물체 추적 결과를 도출한다. 즉, 이들 두가지 돌극성(디스크립터 돌극성, 모션 돌극성)의 곱을 가중치로 하여 모든 검출된 로컬 특징들을 이용하여 보팅을 수행하고, 그 축적된 보팅 결과가 최대인 포인트를 물체의 위치로 예측한다.

이상과 같은 본 발명에 따른 돌극성 기반의 물체 추적 방법을 적용하면 다양한 상황, 특히 추적대상 물체의 초기 위치가 부정확하게 주어지거나 추적 중간에 일시적으로 추적대상 물체가 완전히 가려지더라도 우수한 성능으로 물체를 추적할 수 있는 장점이 있다. 이와 같은 본 발명의 우수성을 [도 3] 내지 [도 5]에 나타낸 테스트 결과를 통해 확인할 수 있다.

[도 3]은 본 발명을 다양한 랜덤 초기 조건 하에서 종래기술의 알고리즘과 비교 실험한 결과를 나타내는 도면이다. [도 3]에서 본 발명에서 제안된 알고리즘은 X축에서 "PROP"으로 표시하였다.

[도 3] (a)는 올바르게 추적된 프레임의 비율이고, [도 3] (b)는 평균오차의 값이다. 전체적으로 살펴볼 때, 최고 성능의 면에서는 대부분의 알고리듬이 비슷하지만 평균 성능의 면에서는 본 발명의 물체 추적 기술이 압도적으로 우수함을 볼 수 있다. 이는 두가지 돌극성이 유기적으로 작동하여 단순히 처음에 주어진 부분을 찾는 것이 아닌 처음에 주어진 값을 바탕으로 두드러지는 부분을 지속적으로 학습하기 때문이다. 더불어 전체적인 학습을 통해 주변의 특징과의 인과관계도 학습하기 때문에 완전히 가려진 상황에서도 주변의 로컬 특징들의 도움을 받아 물체를 추적하는 것이 본 발명에서는 가능하다.

[도 4]는 추적대상 물체의 대부분이 일시적으로 가려진 경우에 종래기술의 알고리즘과 본 발명을 비교 실험한 결과를 나타내는 도면이고, [도 5]는 다양한 입력 이미지(입력 영상)에 대해서 종래기술의 알고리즘과 본 발명을 비교 실험한 결과를 나타내는 도면이다. [도 4]와 [도 5]에서 본 발명에 따른 물체 추적 결과는 오렌지 색상으로 표시되어 있는데, 종래기술에 따른 여러 알고리즘에 비해 물체추적 성능이 훨씬더 우수함을 확인할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현하는 것이 가능하다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 캐리어웨이브(예: 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산된 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드, 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상과 같이, 본 명세서와 도면에는 본 발명의 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예가 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명하다.

Claims (1)

1. 입력 영상에 대해 로컬 특징을 추출하는 단계;
   상기 추출된 로컬 특징을 특징 데이터베이스에 학습시키는 단계;
   상기 로컬 특징에 대해 디스크립터 돌극성을 추출하는 단계;
   상기 로컬 특징 별로 움직임을 획득하고 상기 움직임을 특징 데이터베이스에 조회하여 물체의 움직임과 유사하고 배경으로부터 두드러지는 정도를 나타내는 모션 돌극성을 획득하는 단계;
   상기 디스크립터 돌극성과 상기 모션 돌극성에 기초한 허프 보팅을 통하여 상기 입력 영상으로부터 추출된 상기 로컬 특징의 각각에 대해 물체라고 의심되는 대상의 중심 위치에 보팅하는 단계;
   상기 보팅 결과에 따라 상기 입력 영상으로부터 물체를 식별하는 단계;
   를 포함하여 구성되는 대상물체의 극심한 가려짐 및 불확실한 초기 조건하에서 돌극성 기반의 물체 추적 방법.

Images