KR20090093119A - 움직이는 객체 추적을 위한 다중 정보의 융합 방법 - Google Patents

Abstract

본 발명은 객체에 대한 다수의 정보를 융합하여 비정형 객체를 추적함에 있어서 다른 객체와 겹쳐진 후 계속 추적할 수 있는 방법을 제시한다. 기본적으로 색 정보 기반의 CAMshift 알고리즘을 바탕으로 각 프레임마다 컬러 템플릿(color template)를 업데이트하여 현재의 객체와 템플릿(template)을 비교하고, 업데이트 된 컬러 템플릿을 바탕으로 색 분포를 사용하여 CAMshift 결과를 비교하여 추적하는 물체를 보다 정확하게 판별할 수 있도록 한다.

Description

움직이는 객체 추적을 위한 다중 정보의 융합 방법 {Multiple Information Fusion Method for Moving Object Tracking}

본 발명이 속하는 기술 분야인 영상 감시 시스템은 컴퓨터 비젼 연구에 있어서 가장 활발하고 흥미로운 활용 영역이다. 영상 감시 시스템은 객체 분리 (foreground segmentation), 객체 검출(object detection), 객체 추적(object detection), 객체 분석(human or object analysis), 행동 분석(activity analysis)등 컴퓨터 비젼의 여러 핵심적인 주제들과 연관돼 있다. 이러한 각각의 영역의 연구들이 밀집되어 지능적이고 효율적인 감시 시스템을 구성하게 된다.

영상 감시 시스템의 성능에 있어 핵심적인 것 중의 하나는 정확성이다. 객체를 정확하게 검출하기 위해서는 먼저 배경을 정확하게 모델링하는 것이 필요하다. 먼저 영상의 각 화소에 대해 배경일 경우 어떠한 값을 갖게 되는지를 배경 영상으로 기억한다. 그 후에 새롭게 들어오는 입력영상의 각 화소의 색 정보를 이미 기억시켜둔 배경 영상에 대한 정보와 비교함으로 입력 영상에 나타난 물체의 영역을 찾아내게 되는 것이다. 이러한 물체 검출 방법을 배경 차분(background subtraction)이라고 한다. 이 때 배경은 시간이 지남에 따라 변화하게 된다. 예를 들어 구름이 지나가면 햇빛의 밝기가 변하고 그에 따라 배경의 값들도 변한다. 또한 어떤 경우에는 배경에 주차된 차가 이동하기도 한다. 따라서 배경 모델은 실제 배경을 정확히 나타내도록 시간에 따라 지속적으로 학습되어야 한다. 그렇지 않다면 나타난 물체를 정확히 검출해낼 수 없다. 이렇게 시간에 따라 변화하는 배경을 모델링하여 배경과 배경에 등장한 물체를 구분해 내는 방법을 적응적 배경 차분(adaptive background subtraction)이라 한다. 이 방법은 장면 차분(frame differencing)이나 물체가 없는 배경 상태를 설정하여 이미 학습된 배경과의 차를 구하는 배경 차분과 달리 물체의 움직임이 없거나 배경이 변화하는 경우에도 물체의 전체 영역을 찾아낼 수 있다. 다양한 방법으로 객체를 검출하여 검출된 객체의 정보를 이용할 수 있지만, 예를 들어 자동차가 주차를 하거나 주차된 차가 이동하게 되는 경우에는 잘못된 배경 정보를 사용하게 되는 단점이 있다. 객체 행위의 시간적 모델을 구축하기 위해, 객체 검출에 의해 검출된 각 객체는 비디오 시퀀스의 프레임 사이에서 서로 비교하여 시간 경과에 따라 추적한다. 객체의 추적을 통하여 변화하는 영역의 대표 움직임에 대한 상대적인 움직임을 표시하고 이 값을 추정한다. 상대적 움직임의 추정은 절대 움직임 값의 추정에 비하여 신뢰도와 정확성이 높다. 움직임 추정은 시공간 칼만 필터(patio-temporal Kalman filter)를 적용하여 수행한다. 감시 영역 중에서 제한된 일부 영역에서만 움직이는 객체가 존재한다면, 시공간 칼만 필터를 적용한 정교한 움직임 추정을 실시간 구현하는 것이 가능하다. 물체 추적 궤도 분석은 합법적 이동 객체와 잡음 또는 클러터 와 구별하여 오경보(false alarm)를 줄이기 위해 도움이 된다.

검출된 변화영역의 각 화소에서 움직임이 추정되면, 움직임 값을 바탕으로 객체의 영역을 소 영역(subregion)으로 분류하고, 소 영역의 움직임 패턴을 저장한다. 변화 검출, 움직임 추적, 움직임 추정을 통하여 추출되는 움직이는 객체의 형태는 감시영역에서 실시간 업데이트한다. 검출된 객체를 추적하는 과정에서 객체 간의 겹침 현상이 발생하게 되면 원래의 객체를 놓치게 되는 문제점이 발생한다.

본 발명에서는 객체가 멈춘 경우에 객체를 배경 모델에 계층적으로 추가하여 보다 정확한 객체를 검출하고, 계층적으로 더해진 객체의 정보를 사용할 수 있는 방법을 제공한다. 또한, 객체를 추적함에 있어 배경 영상에서 객체를 검출한 후 객체들 간의 겹침 현상 시 객체를 판별하지 못하거나 겹침 현상 후 객체를 놓치게 되어 새로운 객체로 오인하는 경우가 발생하게 된다면 객체 추적의 정확성이 떨어지게 된다. 이러한 문제점을 해결하기 위해 영상에서의 객체의 지역 기반에 추적에 알맞은 새로운 알고리즘으로 CAMshift 알고리즘과 모션 템플릿(motion template)를 이용하여 객체를 정확히 판별 할 수 있게 하는 방법을 제공한다.

본 발명에서 제공하는 지역 정보와 모션 템플릿(motion template) 정보 및 색정보를 융합한 객체 추적 방법은 객체 추적시 겹침 현상이 없을 경우 객체의 지역 정보만 사용하여 객체를 추적하고 겹침 현상이 발생한 경우 Gary R. Bradski 의 CAMshift방법으로 객체가 겹치기 전까지 업데이트 된 객체의 색 정보를 이용하여 객체를 추적한다. 객체 간 겹침 현상이 발생한 후 객체를 추적하기 위해서는 ADVISOR의 Reading People Tracker의 지역 정보, Gary R. Bradski 의 CAMshift의 색 정보, Ismail Haritaoglu의 W4알고리즘의 모션 템플릿 정보를 모두 이용하여 추적을 실행한다.

본 발명에서 제공하는 방법은 계층적으로 객체를 검출하여 배경 업데이트를 하고 다양한 정보를 이용한 객체 추적은 보다 정확하게 객체를 추적하여 감시 시스템의 정확도에 기여하는데 있어 효과적이다. 기존 방법으로 배경 업데이트를 하지 않거나 픽셀 기반의 업데이트가 이루어질 경우의 문제점을 개선하기 위해 멈춰있는 객체의 이동이나 이동하는 객체의 멈추는 현상을 지역 기반의 계층적으로 객체를 배경에 업데이트 시켰다. 그 결과 객체를 보다 빠른 시간에 정확히 업데이트 하여 객체 검출의 정확도를 향상시켰다. 또한 객체를 추적함에 있어 기존 방법인 지역 정보, 모션 템플릿 정보, 색 정보를 이용했을 경우의 문제점을 해결하기 위해 각 정보를 객체의 상태에 따라 정보를 융합하여 객체를 추적하여 연산량의 측면에서 효율적이고, 겹침 현상 시에 보다 정확하게 객체를 추적할 수 있도록 하였다. 계층적 객체 검출 및 업데이트와 정보 융합을 통한 객체 추적의 결과의 효율성은 시뮬레이션 실험을 통하여 입증하였다.

1) 도 1은 지역정보 기반 추척의 문제점으로 객체의 나뉨 (a), 객체의 뭉침 (b), 추적하던 객체를 놓침(c)

2) 도 2는 모션 템플릿 업데이트 영상으로 (a)는 입력 영상, (b)는 모션 템플릿 업데이트 영상, (c)는 업데이트 가중치 영상

3) 도 3은 색 정보를 이용한 객체 추적

4) 도 4는 본 발명에서 제공하는 정보 융합을 이용한 객체 추적 알고리즘

5) 도 5는 지역 정보 기반 객체 추적 알고리즘

6) 도 6은 지역 정보 기반 객체 추적 예

7) 도 7은 객체 간 겹침 현상이 발생하였을 경우 색 정보를 이용한 객체 추적 영상으로 (a)는 정의되지 않은 교합 영상, (b)는 객체 결과 영상, (c)는 객체 1의 색 히스토그램, (d)는 객체 2의 색 히스토그램, (e)는 객체 1의 확률 영상, (f)는 객체 2의 확률 영상

8) 도 8은 객체 간 겹침 현상 후 나뉘었을 경우 객체 추적 영상으로 (a)는 정의되지 않은 객체의 영상, (b)는 객체 추적 결과 영상, (c)는 객체 1 모션 템플릿, (d)는 객체 2 모션 템플릿

9) 도 9는 지역 정보를 이용한 객체 추적

10) 모션 템플릿을 이용한 객체 추적

11)색 정보를 이용한 객체 추적

12) 본 발명에서 제공하는 알고리즘을 이용한 객체 추적

본 발명에서 제공하는 추적 방법에 기반이 된 지역 기반 추적, 모션 템플릿을 이용한 추적, 색 정보를 이용한 추적 방법에 대해서 기술하고, 다음으로 본 발명에서 제공하는 객체 추적을 설명한다.

가.기반 알고리즘

(1) 객체의 지역기반 추적

배경에서 객체를 추출한 후 객체를 계속해서 추적하는 방법 중에 객체의 지역정보를 이용한 추적방법이 ADVISOR의 Reading People Tracker([선행 논문 조사 분석서 1])에서 사용된다. 배경에서 객체를 추출할 때 잡음으로 인해 객체가 정확하게 추출되지 못하는 부분을 해결한다. 예를 들어 비슷한 픽셀 값의 배경과 객체가 겹치게 되거나 두 개 이상의 객체가 겹치면 실제 객체의 지역 정보는 정확하지 못하게 된다. 따라서 추적된 객체의 지역정보를 정확히 판단하기 위해 두 개의 지역을 융합하거나 하나의 지역을 나누는 방법을 사용한다. 지역정보를 이용하여 추적하는 과정에서 식 (1)과 같은 지역 매칭 점수(matching score)의 방식으로 이전에 추적된 객체와 동일성의 여부를 파악한다.

(1)

하지만 지역정보 기반 객체 추적의 문제는 [도 1]에 나타난 것과 같이 추적되던 하나의 객체가 두 개 이상으로 나뉘는 경우와 두 개 이상의 객체가 하나로 뭉치게 되는 경우, 그리고 두 개 이상의 추적 되는 객체를 놓쳐 실제 추적하던 객체를 알 수 없게 되는 문제가 있다.

[도 1]에서 (a)는 객체의 나뉨, (b)는 객체의 뭉침, (c)는 추적하던 객체를 놓침을 나타낸다.

(2) 객체의 모션 템플릿을 이용한 추적

추적되는 객체를 배경에서 추출한 후 형태와 객체의 픽셀 값을 이용하여 객체의 모션 템플릿을 형성한다([선행 논문 조사 분석서 2]). 모션 템플릿을 사용하는 이유는 추적되는 객체가 다른 물체에 가려서 하나의 객체가 나뉘게 되는 경우에 템플릿(template)를 근거로 하여 추적할 수 있게 한다. 템플릿을 업데이트 하는 식 (2)에서 결과 값은 템플릿의 값으로 [도 2]의 (b)에 표현하였고, I값은 현재 입력객체의 각 픽셀의 밝기 값이다. 또한, [도 2]의 (c)에 표현된 w는 템플릿에서 픽셀 값의 빈도로 가중치를 나타낸다.

(2)

[도 2]는 모션 템플릿 업데이트 영상을 보여준다. [도 2]의 (a)는 입력 영상이고 (b)는 모션 템플릿 업데이트 영상이며 (c)는 업데이트 가중치 영상을 나타낸다.

아래의 식 (3)에서는 현재 입력객체와 템플릿 간의 비용함수로 객체를 판단하는 기준이다.

(3)

여기서 p는 현재 p는 현재 입력객체이고 r은 추적된 객체의 템플릿이다.

(3) 색 정보를 이용한 추적

객체를 추적하는 방법 중에 색(Hue)정보를 바탕으로 추적하는 알고리즘인 CAMshift는 원하는 부분의 색 정보를 추출하여 계속되는 영상에서 색 정보를 비교하여 원하는 부분을 추적할 수 있도록 하는 알고리즘이다. Gary R. Bradski이 개발하여 openCV에 주어진 CAMshift([선행 논문 조사 분석서 3])는 [도 3]과 같은 방법으로 수행된다.

각 객체의 색 확률 값을 계산하여 다수의 객체인 경우와 독립된 객체의 추적 시 객체의 추적근거로 확률을 사용한다[7]. 객체의 색 히스토그램의 확률 [식 (4)]과 업데이트의 방법[식 (5)]은 다음과 같다.

(4)

(5)

히스토그램을 통한 객체를 판별하는 과정은 식 (6)을 통해 객체를 판별할 수 있다.

(6)

[도 3]은 색정보를 이용한 객체 추적 방법의 동작 흐름도를 표시하고 있다.

나. 지역 정보와 모션 템플릿 정보 및 색 정보를 융합한 객체 추적

앞서 살펴본 여러 가지 방법의 객체 추적에는 문제점이 있다. 지역 정보를 이용한 객체 추적을 하는 경우에는 추적하는 두 개 이상의 객체가 겹치는 경우 하나의 물체로 오인하는 현상이 발생하고, 모션 템플릿만을 이용한다면 두 개 이상의 객체가 겹친 후 다시 나눠지는 시간이 길어지면 기존의 모션 템플릿을 적용하더라도 정확한 객체를 찾지 못한다. 또한 색 정보를 이용하는 경우 비슷한 색을 가진 객체일 경우 계속하여 정확한 추적이 불가능하다.

다음과 같은 문제를 해결하기 위해서 본 발명에서는 지역 정보와 객체의 모션 템플릿, 그리고 색 정보를 계층적으로 사용하여 정확한 객체 추적이 가능할 수 있는 방안을 제공한다.

[도 4]는 본 발명에서 제공하는 방법인 정보 융합을 이용한 객체 추적 알고리즘의 동작 흐름도를 나타낸다.

(1) 겹침 현상이 없을 경우 객체 추적

독립적인 객체가 겹침 없이 이동할 경우에는 기본적으로 ADVISOR의 Reading People Tracker([선행 논문 조사 분석서 1])에서 사용된 객체의 지역 정보만 사용하여 객체를 추적한다. 각 프레임에서 검출된 객체를 지역으로 설정하여 객체를 추적하는 것을 기본으로 한다. 찾아진 객체는 이전에 추적하던 객체의 지역 정보의 프레임 내의 위치와 속도를 통한 예측된 정보와 비교하여 추적 여부를 결정한다. [도 6]에서 시간 n-1의 프레임에 처음으로 나타난 객체는 정의되지 않은 객체(undefined object)로 설정된다. 하지만 기존에 추적하던 객체가 없기 때문에 n-1의 객체는 id를 1로 설정하여 객체 데이터베이스에 지역 정보를 저장한다. 그 다음 시간 n의 프레임에서 검출된 객체를 정의되지 않은 객체로 설정하여 데이터베이스에 있는 객체 1과 지역 정보를 식(7)의 비용함수를 통해 객체의 추적 여부를 결정하여 객체의 id를 동일하게 부여하여 객체의 추적을 계속한다.

(7)

식 (7)에서 식 (1)과의 차이는 페널티 함수인 p(r)이다. 페널티 함수는 움직임이 없는 객체가 계층적으로 배경에 포함되기 전에 사용되는 것으로 정지한 사물이 있으면 비용함수가 높아지므로 움직이는 객체가 정지한 객체와 겹침 현상이 있더라도 정지한 객체의 지역 정보와는 일치하지 않게 한다.

[도 5]는 지역 정보 기반 객체 추적 알고리즘이고, [도 6]은 지역 정보 기반 객체 추적의 예를 보여준다.

또한 겹침 현상이 없을 때는 객체의 지역 정보 뿐 아니라 색 정보 및 모션 템플릿 정보를 데이터베이스에 저장한다.

(2) 겹침 현상이 발생한 경우 객체 추적

객체 간 겹침 현상이 발생하였을 경우에는 지역 정보를 기본적으로 이용하여 추적을 하지만 정확하게 추적할 수 없게 된다. Gary R. Bradski 의 CAMshift([선행 논문 조사 분석서 3])방법으로 객체가 겹치기 전까지 업데이트 된 객체의 색 정보를 이용하여 객체를 추적하여야 한다. 겹쳐진 객체의 전체 지역을 검출하여 지역 내부에서 색 정보를 통해 식(6)을 이용하여 색 확률을 구한 후 확률이 가장 높은 점을 기준으로 하여 기존 추적되던 객체의 지역정보를 이용하여 객체의 지역을 재정련한다. 객체 간 겹침 있는 상황에서는 색 정보와 지역 정보로 객체를 추적한 후 객체의 모션 템플릿 정보만 업데이트 하지 않고, 추적 과정이 끝난 객체의 지역 정보와 색 정보를 업데이트 한다. 그림 8은 객체 간 겹침 현상이 발생하였을 때 객체 추적한 예를 나타낸 것으로 객체 각각의 색 정보인 색(HUE) 히스토그램을 바탕으로 확률 값을 구하여 중심과 그 주변 범위를 녹색의 타원으로 나타내었다. 이를 바탕으로 정의되지 않은 교합(undefined occlusion) 영역을 기존에 추적하던 객체로 나타낸 결과로 보여준다.

[도 7]은 객체 간 겹침 현상이 발생하였을 경우 색정보를 이용한 객체 추적을 보여준다. [도 7]의 (a)는 정의되지 않은 교합 영상, (b)는 객체 결과 영상, (c)는 객체 1의 색 히스토그램, (d)는 객체 2의 색 히스토그램, (e)는 객체 1의 확률 영상, (f)는 객체 2의 확률 영상을 나타낸다.

(3) 겹침 현상 후 나뉘었을 경우 객체 추적

객체 간 겹침 현상이 발생한 후 객체를 추적하기 위해서는 ADVISOR의 Reading People Tracker의 지역 정보([선행 논문 조사 분석서 1]), Gary R. Bradski 의 CAMshift의 색 정보([선행 논문 조사 분석서 3]), Ismail Haritaoglu의 W4알고리즘의 모션 템플릿 정보([선행 논문 조사 분석서 2])를 모두 이용한다. 겹침 현상시 업데이트한 지역 정보를 이용하여 기본적으로 객체를 추적하고, 객체가 나뉘고 난 후 객체를 판단하기 위해서 겹침 현상시 업데이트 한 색 정보와 겹침 현상이 발생하기 전까지 업데이트된 모션 템플릿 정보를 이용한다. n-5 프레임부터 n 프레임까지 객체 간 겹침 현상이 있었다면 n 프레임까지 업데이트된 색 정보를 이용하여 식 (6)을 이용하여 객체를 판단한다. 하지만 추적하는 객체들의 확률 값이 비슷하여 지정한 범위 내의 경우 n-6 프레임까지 업데이트된 모션 템플릿을 사용하여 현재 입력된 영상에서 추출된 객체와 중심을 맞춰 픽셀 값을 이용한 비용함수인 식 (3)을 바탕으로 객체를 정확하게 추적한다. 객체 간 겹친 현상 후 나뉘었을 경우 임의의 프레임 수만큼 위의 과정을 수행하여 객체 추적의 정확성을 높인다. 본 발명에서는 n+1 프레임에서 n+4 프레임까지 3 프레임 동안 모든 정보가 융합된 추적 과정을 수행한다.

3 프레임 동안 추적이 끝난 후 객체의 색 정보와 모션 템플릿을 업데이트 하여 다음 객체 간 겹침 현상을 준비한다.

[도 8]는 객체 간 겹침 현상 후 나뉘었을 경우 추적의 근거인 모션 템플릿 정보를 나타내었다. [도 8]의 (a)는 정의되지 않은 객체의 영상, (b)는 객체 추적 결과 영상, (c)는 객체 1 모션 템플릿, (d)는 객체 2 모션 템플릿을 나타내는 영상이다.

다. 본 발명의 효과를 확인하기 위한 실험 및 결과

(1) 실험 환경 및 실험 방법

실험은 펜티엄 3.20 GHz pentium(R) D PC를 이용하였다. 영상은 소니(Sony)사의 handycam HDR-SR1카메라를 통해 얻어진 320*240의 입력을 사용하였다. 영상은 PETS 2001 의 표준 영상을 사용하고, 배경의 변화가 없는 환경인 운동장에서 획득하여 제안한 방법이 움직이던 객체가 멈추어 배경에 추가되는 경우와 배경에 있던 객체가 움직여 배경이 비게 되는 경우에 보다 효율적으로 객체를 검출 여부를 검토하였다. 또한 객체 간 겹침 현상에서 객체 추적 여부를 검토하였다.

(2) 실험 결과

시뮬레이션 실험은 동일한 영상을 바탕으로 지역정보를 이용한 객체 추적, 모션 템플릿 매칭을 이용한 객체 추적, 색 정보를 이용한 객체 추적과 제안하는 알고리즘을 바탕으로 하는 객체 추적을 비교하였다.

[도 9]는 지역정보를 바탕으로 하는 객체추적의 결과이다. 객체간의 겹침이 발생하면 하나의 객체로 인식하고 겹침 후 두 객체가 나눠지면 추적되던 1번 객체가 새로운 객체인 3번 객체로 되는 문제점과 위치와 방향성의 원인으로 2번 객체가 1번 객체로 되어버리는 문제점들이 발생한다.

[도 10]는 모션 템플릿를 이용한 객체 추적의 결과이다. 겹쳐진 시간이 길어지므로 원래 추적하던 템플릿과 비교할 수 없게 되어 추적되던 객체 1이 새로운 객체 3으로 오인되는 문제가 발생한다.

[도 11]은 색 정보를 이용한 객체 추적의 결과이다. 두 객체의 색(Hue)정보가 비슷하기 때문에 같은 객체로 오인하는 문제가 발생한다.

제안하는 알고리즘으로 시뮬레이션 한 결과는 [도 12]에 나타나 있다. 겹치기 전에 추적하던 객체는 겹침 현상이 나타났을 때와 겹침 후 나뉘었을 때도 정확한 객체로 추적할 수 있는 것을 알 수 있다.

제공하는 알고리즘인 지역정보, 컬러 정보, 모션 템플릿 정보를 융합한 객체추적은 기존의 객체추적 방법의 장점을 모두 유지하면서 추적하는 객체를 보다 정확하게 인식할 수 있다.

Claims (1)

1. [발명의 내용]에서 설명한 지역 정보와 모션 템플릿 정보 및 색 정보를 융합하는방법과 이를 이용한 객체 추적의 아이디어 및 알고리즘