KR20160078545A - 객체 검출과 추적을 결합한 객체 추적 방법 및 장치 - Google Patents

Abstract

객체 검출과 추적을 결합한 객체 추적 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 객체 추적 장치는, 추적기의 추적 결과에 대한 추적 신뢰도 및 검출기의 검출 결과에 대한 검출 신뢰도를 계산하고, 추적 결과와 추적 신뢰도 및 검출 결과와 검출 신뢰도를 기반으로 객체 위치를 결정한다. 이에 의해, 복잡한 환경에서도 정확한 객체 추적이 가능해짐은 물론, 가려짐이 발생하는 경우에도 강인한 객체 추적을 할 수 있게 된다.

Description

객체 검출과 추적을 결합한 객체 추적 방법 및 장치{Method and Apparatus for Object Tracking with Object Detection and Tracking}

본 발명은 객체 추적에 관한 것으로, 더욱 상세하게는 관심 대상이 되는 객체를 추적하는 방법 및 장치에 관한 것이다.

기존의 객체 추적에서는, 먼저 영상으로부터 객체를 검출하고, 검출된 결과와 추적하고자 하는 객체의 유사성을 측정하여, 추적 대상 객체를 결정한다. 하지만, 도 1에 나타난 바와 같이, 객체 검출의 경우 오검출률이 높고, 또는 찾고자하는 객체가 검출되지 않을 수 있기 때문에 추적의 성공을 보장할 수 없다.

또한, 객체 추적기만을 이용하는 경우 추적 객체가 가려지게 되면 추적이 제대로 이루어지지 않으며, 추적 객체가 다시 나타난 경우 다시 객체를 추적하는 것이 어렵다.

이에, 복잡한 환경이나 가려짐 발생에도 강인한 특성을 보이는 객체 추적을 위한 방안의 모색이 요청된다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 객체 검출 결과와 추적 결과 및 결과들에 대한 신뢰도를 기반으로 객체 위치를 결정하는 객체 추적 방법 및 장치를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 객체 추적 장치는, 영상에서 객체를 추적하는 추적기; 상기 영상에서 상기 객체를 검출하는 검출기; 상기 추적기의 추적 결과에 대한 추적 신뢰도 및 상기 검출기의 검출 결과에 대한 검출 신뢰도를 계산하는 계산부; 및 상기 추적 결과와 상기 추적 신뢰도 및 상기 검출 결과와 상기 검출 신뢰도를 기반으로 객체 위치를 결정하는 결정부;를 포함한다.

그리고, 본 발명의 일 실시예에 따른 객체 추적 장치는, 상기 객체의 움직임을 예측하여 객체 위치를 예측하는 예측기;를 더 포함하고, 상기 계산부는, 상기 예측 결과에 대한 예측 신뢰도를 더 계산하고, 상기 결정부는, 상기 예측 결과와 상기 예측 신뢰도를 더 참조하여, 상기 객체 위치를 결정할 수 있다.

또한, 상기 결정부는, 상기 추적 결과에 의한 객체 위치에 상기 추적 신뢰도를 가중하고, 상기 검출 결과에 의한 객체 위치에 상기 검출 신뢰도를 가중하며, 상기 예측 결과에 의한 객체 위치에 상기 예측 신뢰도를 가중하여, 신뢰도들이 가중된 위치들로부터 상기 객체 위치를 결정할 수 있다.

그리고, 상기 결정부는, 대각선 성분들은 상기 추적 결과, 상기 검출 결과 및 상기 예측 결과와 추적 대상 객체의 유사도를 나타내는 성분들이고, 비대각선 성분들은 결과들 간의 거리를 나타내는 성분들인 행렬을 이용하여, 상기 신뢰도들을 계산

또한, 상기 결정부는, 상기 행렬을 고유치 분해하여 가장 큰 고유치를 갖는 고유치 벡터를 찾아, 상기 신뢰도들을 계산할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 객체 추적 방법은, 영상에서 객체를 추적하는 단계; 상기 영상에서 상기 객체를 검출하는 단계; 추적 결과에 대한 추적 신뢰도 및 검출 결과에 대한 검출 신뢰도를 계산하는 단계; 및 상기 추적 결과와 상기 추적 신뢰도 및 상기 검출 결과와 상기 검출 신뢰도를 기반으로 객체 위치를 결정하는 단계;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 객체 검출 결과와 추적 결과 및 결과들에 대한 신뢰도를 기반으로 객체 위치를 결정하여, 복잡한 환경에서도 정확한 객체 추적이 가능해진다. 나아가, 가려짐이 발생하는 경우에도 강인한 객체 추적을 할 수 있게 된다.

도 1은 종래의 방법에 의한 객체 추적 결과를 예시한 사진,
도 2는 본 발명의 일 실시예에 따른 객체 추적 장치의 블럭도,
도 3은 객체 추적/검출 결과들을 예시한 사진,
도 4는 결과들에 대한 신뢰도들을 예시한 그래프, 그리고,
도 5 내지 도 7은, 도 2에 도시된 객체 추적 장치에 의한 객체 추적 결과를 예시한 사진들이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 2는 본 발명의 일 실시예에 따른 객체 추적 장치의 블럭도이다. 본 발명의 실시예에 따른 객체 추적 장치는, 객체 검출 결과와 추적 결과를 이용하여 추적하고자 하는 객체의 위치를 결정한다.

이를 위해, 본 발명의 실시예에 따른 객체 추적 장치는, 다양한 검출기와 추적기를 이용하여 획득한 추적 결과들에 대해 신뢰도를 계산하는데, 신뢰도는 추적 대상 객체의 외형 모델과의 유사도 및 추적 결과들 간의 공간적 유사도를 고려하여 계산한다. 객체 추적의 성공률을 높이기 위함이다.

이와 같은 기능을 수행하는 본 발명의 실시예에 따른 객체 추적 장치는, 객체 추적기(Object Tracker)(110), 객체 검출기(Object Detector)(120), 속도 모델 기반 예측기(Velocity Model based Predictor)(130), 신뢰도 계산부(Confidence Estimator)(140) 및 객체 위치 결정부(150)를 포함한다.

객체 추적기(110)는 영상에서 추적 대상 객체를 추적한다. 객체 추적기(110)는, 컬러 히스토그램을 이용한 입자 필터(particle filter) 기반의 객체 추적 기법, 외곽정보 특징량을 이용한 입자 필터 기반의 객체 추적 등을 사용가능하며, 그 밖의 다른 객체 추적 기법을 더 사용하는 것을 배제하지 않는다.

객체 검출기(120)는 영상에서 추적 대상 객체를 검출한다. 객체 검출기(120)로, HoG 기법, SVM 기법 등을 사용하며, 추적 대상 객체와 비슷한 외형을 갖는 객체를 영상으로부터 찾는다.

속도 모델 기반 예측기(130)는 이전의 객체 추적 결과들을 이용하여 객체의 움직임을 예측함으로써, 추적 대상 객체의 위치를 예측한다.

객체 추적기(110), 객체 검출기(120) 및 속도 모델 기반 예측기(130)에 의해 추적 대상 객체에 대한 위치 정보들과 크기 정보들이 획득된다.

신뢰도 계산부(140)는 객체 추적기(110)의 추적 결과에 대한 추적 신뢰도, 객체 검출기(120)의 검출 결과에 대한 검출 신뢰도, 속도 모델 기반 예측기(130)의 예측 결과에 대한 예측 신뢰도를 계산한다.

이를 위해, 신뢰도 계산부(140)는 먼저 아래의 수학식 1에 제시된 행렬 S를 생성한다.

[수학식 1]

행렬 S의 대각선 성분들은, 추적 대상 객체의 외곽 정보 모델, 컬러 모델 및 학습된 분류기를 기반으로 계산한 유사도를 나타낸다. 또한, 행렬 S의 비대각선 성분들은 추적 결과, 검출 결과 및 예측 결과 간의 거리 차이를 나타낸다.

이에, 행렬 S의 대각선 성분들은 추적 대상 객체에 대한 외형의 유사도를, 행렬 S의 비대각선 성분들은 추적/검출/예측 결과들 간의 공간적 유사도를 각각 나타낸다. 이에, 추적 대상 객체와 추적/검출/예측 결과가 유사할 경우 대각선 성분들은 큰 값을 가지게 된다. 또한, 다른 결과와 공간적으로 유사할 경우 비대각선 성분의 값이 커지게 된다.

이에 따라, 각 추적/검출/예측 결과들에 대한 신뢰도 ω는 아래의 수학식 2를 이용하여 ω^TSω를 최대로 하는 벡터를 계산하여, 각 결과들에 대한 신뢰도를 결정할 수 있다.

[수학식 2]

신뢰도 ω 계산은, 먼저 행렬 S를 고유치 분해(eigenvalue decomposition)하고, 이로부터 가장 큰 고유치(eigenvalue)를 갖는 고유치 벡터(eigenvector)를 찾는 과정에 의한다.

이에 의해, 객체 추적기(110)의 추적 결과에 대한 추적 신뢰도, 객체 검출기(120)의 검출 결과에 대한 검출 신뢰도, 속도 모델 기반 예측기(130)의 예측 결과에 대한 예측 신뢰도가 계산된다.

객체 위치 결정부(150)는 추적 결과와 추적 신뢰도, 검출 결과와 검출 신뢰도, 예측 결과와 예측 신뢰도를 기반으로 객체 위치를 결정한다. 구체적으로, 객체 위치 결정부(150)는, 추적 결과에 의한 객체 위치에 추적 신뢰도를 가중하고, 검출 결과에 의한 객체 위치에 검출 신뢰도를 가중하며, 예측 결과에 의한 객체 위치에 예측 신뢰도를 가중하여, 신뢰도들이 가중된 위치들로부터 최종 객체 위치를 결정한다.

즉, 최종 객체 위치

는 아래의 수학식 3으로 나타낼 수 있다.

[수학식 3]

여기서, x_i는 추적/검출/예측 결과에 의한 객체 위치를 나타내며, w_i는 추적/검출/예측 신뢰도를 나타낸다.

도 2에 도시된 객체 추적 장치를 이용한 객체 추적/검출/예측 결과들을 도 3에 예시하였고, 이 결과들에 대한 신뢰도들을 도 4에 예시하였다.

한편, 도 2에 도시된 객체 추적 장치를 이용한 객체 추적 결과를 도 5 내지 도 7에 제시하였다. 도 5 내지 도 7에 제시된 바와 같이, 도 2에 도시된 객체 추적 장치는 가려짐이 발생하거나 복잡한 환경에서도 강인하게 대상 객체를 정확하게 추적함을 확인할 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110 : 추적기(Object Tracker)
120 : 객체 검출기(Object Detector)
130 : 속도 모델 기반 예측기(Velocity Model based Predictor)
140 : 신뢰도 계산부(Confidence Estimator)
150 : 객체 위치 결정부

Claims (6)

1. 영상에서 객체를 추적하는 추적기;
   상기 영상에서 상기 객체를 검출하는 검출기;
   상기 추적기의 추적 결과에 대한 추적 신뢰도 및 상기 검출기의 검출 결과에 대한 검출 신뢰도를 계산하는 계산부; 및
   상기 추적 결과와 상기 추적 신뢰도 및 상기 검출 결과와 상기 검출 신뢰도를 기반으로 객체 위치를 결정하는 결정부;를 포함하는 것을 특징으로 하는 객체 추적 장치.
   
2. 청구항 1에 있어서,
   상기 객체의 움직임을 예측하여 객체 위치를 예측하는 예측기;를 더 포함하고,
   상기 계산부는,
   상기 예측 결과에 대한 예측 신뢰도를 더 계산하고,
   상기 결정부는,
   상기 예측 결과와 상기 예측 신뢰도를 더 참조하여, 상기 객체 위치를 결정하는 것을 특징으로 하는 객체 추적 장치.
   
3. 청구항 2에 있어서,
   상기 결정부는,
   상기 추적 결과에 의한 객체 위치에 상기 추적 신뢰도를 가중하고, 상기 검출 결과에 의한 객체 위치에 상기 검출 신뢰도를 가중하며, 상기 예측 결과에 의한 객체 위치에 상기 예측 신뢰도를 가중하여, 신뢰도들이 가중된 위치들로부터 상기 객체 위치를 결정하는 것을 특징으로 하는 객체 추적 장치.
   
4. 청구항 3에 있어서,
   상기 결정부는,
   대각선 성분들은 상기 추적 결과, 상기 검출 결과 및 상기 예측 결과와 추적 대상 객체의 유사도를 나타내는 성분들이고, 비대각선 성분들은 결과들 간의 거리를 나타내는 성분들인 행렬을 이용하여, 상기 신뢰도들을 계산하는 것을 특징으로 하는 객체 추적 장치.
   
5. 청구항 4에 있어서,
   상기 결정부는,
   상기 행렬을 고유치 분해하여 가장 큰 고유치를 갖는 고유치 벡터를 찾아, 상기 신뢰도들을 계산하는 것을 특징으로 하는 객체 추적 장치.
   
6. 영상에서 객체를 추적하는 단계;
   상기 영상에서 상기 객체를 검출하는 단계;
   추적 결과에 대한 추적 신뢰도 및 검출 결과에 대한 검출 신뢰도를 계산하는 단계; 및
   상기 추적 결과와 상기 추적 신뢰도 및 상기 검출 결과와 상기 검출 신뢰도를 기반으로 객체 위치를 결정하는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.

Images