KR20160110773A

KR20160110773A - 칼만 필터 모델을 이용한 이동 객체 추적 방법 및 장치

Info

Publication number: KR20160110773A
Application number: KR1020150034333A
Authority: KR
Inventors: 윤용익; 천지애
Original assignee: 숙명여자대학교산학협력단
Priority date: 2015-03-12
Filing date: 2015-03-12
Publication date: 2016-09-22

Abstract

본 발명에 따라서, 칼만 필터를 이용하여 CCTV를 통해 탐지되는 이동 객체의 움직임을 예측하기 위한 방법이 제공된다. 상기 방법은 CCTV를 통해 이동 객체를 탐지하여 데이터를 수집하는 단계와; 상기 수집된 데이터 중 탐지된 이동 객체의 중심축의 좌표를 이동 객체의 위치좌표로 정의하여 초기값을 선정하고, 오차 공분산과 칼만 이득 계산에 이용하기 위한 오차 변수 및 잡음 변수를 계산하는 평가 단계와; 칼만 필터링 과정에 따라 예측값과, 오차 공분산 예측, 추정값 계산, 오차 공분산과 칼만 이득을 계산하여 추정값과 오차 공분산을 갱신하는 과정을 반복적으로 수행하는 칼만 필터링 단계를 포함하며, 상기 평가 단계에서, 칼만 필터에 따라 예측값과 측정값을 계산한 후, 두 값의 오차 변수 δ_k에 대한 미분값

을 오차변수로 계산하고, 상기 잡음 변수는 하기 수학식에 따라 계산되며,

상기 식에서,

c_ij는 j번째 규칙의 i번째 입력에 대한 가우시안 소속 함수의 중심값,σ_ij는 폭, A_ij는 소속도 μ_ij(x_i)를 갖는 가우시안 소속함수,
상기 칼만 필터링 단계에서,
상기 계산된 오차 변수와 잡음 변수를 측정값에 대한 잡음의 공분산 행렬에 연계시켜, 상기 오차 공분산과 칼만 이득을 계산하는 것을 특징으로 한다.

Description

칼만 필터 모델을 이용한 이동 객체 추적 방법 및 장치{METHOD AND APPARATUS FOR TRACKING MOVING OBJECT BY USING KALMAN FILTER}

본 발명은 이동 객체 추적 방법 및 장치에 관한 것으로서, 보다 구체적으로는 칼만 필터를 이용한 이동 객체 추적 방법 및 장치에 관한 것이다.

카메라를 이용하여 이동 객체를 추적하는 기술이 알려져 있다(예컨대, 등록번호 제10-777199호).

디지털 영상 기술이 발전하면서 CCTV는 단순히 영상을 수집하여 전송하는 역할을 넘어 사람, 차량, 사물 등 객체의 종류를 분류하고 식벽된 객체에 대한 정보가 제공되거나 특정 행위나 움직임을 탐지 또는 식별하여 알람을 표시하거나 적절한 대응을 제안하는 지능형 CCTV로 발전하고 있다.

예를 들면, 군에서의 활용 사례를 살펴보면, 과학과 경계 시스템 구축을 추진하면서 경계시 감시 자산으로 CCTV를 활용하여 인식된 객체의 이동 방향을 예측하거나 현재의 행위를 분류한 후 이 객체의 행위가 안전한지 혹은 위협이 될 수 있는 요소인지 판단하고, 위협의 요소로 판단되면, 알람을 통해 적절한 대응을 할 수 있도록 하는 등의 적극적인 경계 시스템으로의 발전 방향을 모색하고 있다. 이렇게 다양한 자산을 통해 수집된 영상에서 추출되는 데이터들이 군 경계 상황에서 위험에 대한 감지와 추적을 위한 프로세스를 통해 의사 결정의 도구로 활용되기 위해서는, 기존의 객체 인식 및 추적 알고리즘을 적용 환경(예컨대, 군 환경)에 적합한 알고리즘으로 개선할 필요가 있다.

한편, 이동 객체의 예측 및 추적과 관련하여, 칼만 필터(Kalman Filter)라고 하는 알고리즘이 활용되고 있다. 칼만 필터는 선형 동적 시스템에서 백색 잡음을 포함하여, 시스템의 상태를 재귀식으로 예측하는 알고리즘이다. 그러나, 객체의 움직임이 급격히 불규칙하게 변하는 경우, 오차, 즉 예측값과 실제값의 차이가 커져, 이동 객체의 추적이 제대로 이루어지지 않는 제한이 있다. 따라서, 이동 객체의 움직임 예측시, 이러한 오차를 줄일 수 있는 기술에 대한 요구가 있으나, 현재까지는 이러한 요구를 충족시킬 수 있는 기술이 제안되지 않고 있다.

본 발명은 상기한 종래 기술에서 나타나는 한계를 극복하기 위한 것으로서, 그 한 가지 목적은 소정의 변화(예컨대, 급격한 변화)를 나타내는 이벤트 발생시 예측값과 측정값의 오차를 줄일 수 있는 이동 객체 추적 방법 및 장치를 제공하는 것이다.

본 발명의 다른 목적은 이동 객체 추적시 널리 사용되고 있는 칼만 필터를 이용하여 이동 객체를 추적하는 방법 및 장치를 제공하는 것이다.

상기 목적을 달성하기 위하여, 본 발명에 따라서, 칼만 필터를 이용하여 CCTV를 통해 탐지되는 이동 객체의 움직임을 예측하기 위한 방법이 제공된다. 상기 방법은 CCTV를 통해 이동 객체를 탐지하여 데이터를 수집하는 단계와; 상기 수집된 데이터 중 탐지된 이동 객체의 중심축의 좌표를 이동 객체의 위치좌표로 정의하여 초기값을 선정하고, 오차 공분산과 칼만 이득 계산에 이용하기 위한 오차 변수 및 잡음 변수를 계산하는 평가 단계와; 칼만 필터링 과정에 따라 예측값과, 오차 공분산 예측, 추정값 계산, 오차 공분산과 칼만 이득을 계산하여 추정값과 오차 공분산을 갱신하는 과정을 반복적으로 수행하는 칼만 필터링 단계를 포함하며, 상기 평가 단계에서, 칼만 필터에 따라 예측값과 측정값을 계산한 후, 두 값의 오차 변수 δ_k에 대한 미분값

상기 식에서,

c_ij는 j번째 규칙의 i번째 입력에 대한 가우시안 소속 함수의 중심값,σ_ij는 폭, A_ij는 소속도 μ_ij(x_i)를 갖는 가우시안 소속함수,

상기 칼만 필터링 단계에서,

상기 계산된 오차 변수와 잡음 변수를 측정값에 대한 잡음의 공분산 행렬에 연계시켜, 상기 오차 공분산과 칼만 이득을 계산하는 것을 특징으로 한다.

도 1은 칼만 필터의 개략적인 알고리즘을 보여주는 도면이다.
도 2는 확장 칼만 필터(EKF)의 전체 과정을 보여주는 도면이다.
도 3은 영상에서 객체 인식을 3단계로 구분하여 보여주는 도면이다.
도 4는 본 발명에 따라 제안되는 센서티브 칼만 필터의 이동 객체 추적 프로세스를 모식적으로 보여주는 도면이다.
도 5는 이동 객체를 추적하는 장치의 구성을 개략적으로 보여주는 블록도이다.
도 6은 상기 장치의 이동 객체 추적부에서 이루어지는 센서티브 칼만 필터 프로세스를 보여주는 도면이다.
도 7, 도 8 및 도 9는 각 상황별 사용한 영상과 추출된 위치 데이터, 데이터 분석 결과를 보여주는 도면이다.
도 10은 확장 칼만 필터와 센서티브 칼만 필터 알고리즘으로 객체의 위치를 추정하고 예측한 결과를 통해 두 알고리즘의 성능을 비교 분석한 결과를 보여주는 도면이다.
도 11은 상황 1의 추정값 결과를 비교하여 보여주는 도면이다.
도 12는 상황 2의 추정값 결과를 비교하여 보여주는 도면이다.
도 13은 상황 3의 추정값 결과를 비교하여 보여주는 도면이다.
도 14는 상황 1의 예측값 결과를 비교하여 보여주는 도면이다.
도 15는 상황 2의 예측값 결과를 비교하여 보여주는 도면이다.
도 16은 상황 3의 예측값 결과를 비교하여 보여주는 도면이다.
도 17은 상황 1 내지 3의 예측 위치 오차를 비교하여 보여주는 도면이다.

이하에서는, 첨부 도면을 참조하여 본 발명의 실시 형태를 구체적으로 설명한다. 이하의 설명에 있어서, 이동 객체를 추적하는 기술 분야에서 널리 알려진 기술적 구성, 알고리즘 등에 대한 구체적인 설명은 생략한다. 특히, 칼만 필터 알고리즘 자체는 이미 널리 알려진 것으로서, 그 알고리즘의 흐름, 알고리즘에 적용되는 각종 관계식 및 그 관계식에 사용되는 항목 등에 대한 설명은 본 발명의 구성을 이해할 수 있는 범위 내에서 생략한다. 이러한 설명을 생략하더라도, 당업자라면, 이하의 설명을 통해 본 발명의 특징적 구성을 쉽게 이해할 수 있을 것이다.

본 발명은 기본적으로 기존의 칼만 필터를 개선하여 이동 객체를 예측하는 방법 및 장치를 제공한다. 따라서, 본 발명의 이해를 돕기 위하여, 이하에서는 기존의 이동 객체 예측에 이용되고 있는 칼만 필터에 대해 설명한 후, 본 발명의 특징적 구성을 도면과 함께 설명한다.

1. 칼만 필터

칼만 필터란 잡음이 포함되어 있는 선형 역학계의 상태를 추적하는 재귀 필터로 1960년에 개발자의 이름인 루돌프 칼만(Rudolf E. Kalman)에서 이름을 따서 소개되었다. 칼만 필터는 컴퓨터 비전, 로봇 공학, 레이더 등의 여러 분야에 사용되며, 많은 분야에서 효율적인 성능을 보여준다. 칼만 필터는 지금까지 다양하게 개발되고 있는데 칼만의 원래 공식은 현재는 단순 칼만 필터 또는 칼만 필터라고 부르고, 이후 보완 발전된 칼만 필터의 종류로는 쉬미츠가 정리한 확장 칼만 필터(Extended Kalman Filter), 적응형 칼만 필터(Adaptive Kalman Filter), 그 외 Bierman, Thornton에 의한 information 필터와 square-root 필터 등이 알려져 있다.

칼만 필터는 이산시간 선형 동적 시스템을 기반으로 동작하며, 각 시간에서의 상태 벡터는 이전 시간의 벡터들에 대해서만 관계한다는 마르코프 연쇄를 가정으로 하고 있다. 특정 시간 k에서의 상태벡터를 x_k라고 정의하고 그 시간에서의 사용자 입력을 u_k라고 정의할 때 칼만 필터는 식(1)과 같이 표현된다.

여기에서 F_k는 이전상태에 기반을 둔 해당시간의 상태전이 행렬, B는 사용자 입력에 의한 상태 전이행렬, 그리고 w_k는 공분산 행렬 Q_k를 가지는 다변수 정규분포 w_k ~ N(0, Q_k) 잡음 변수이다. 또한 상태벡터 x_k와 그 벡터를 측정했을 때 실제로 얻어진 벡터 z_k는 식(2)와 같이 표현된다.

H_k는 해당시간에서 측정에 관계된 행렬, v_k는 공분산 행렬 R_k을 가지는 다변수 정규분포 v_k ~ N(0, R_k) 잡음 변수이다. 여기에서 초기상태와 각 잡음 변수 x_k, w_k, v_k는 모두 상호 독립접인 가정이 성립되어야 한다.

도 1은 칼만 필터의 개략적인 알고리즘을 보여주는 도면이다.

칼만 필터는 크게 예측과정과 추정과정으로 이루어지는데 이전시간에 추정된 상태에 대해 그 상태에서 사용자가 입력을 가했을 때 예상되는 상태를 예측(Prediction)이라 하고, 앞서 계산된 예측상태와 실제로 측정된 상태를 토대로 정확한 상태를 계산하여 갱신하는 것을 추정(Estimation)이라 한다. 예측단계에서는 직전 추정값(

)과 오차 공분산(

)을 입력으로 받아서 최종결과로 예측값(

,

)를 계산하고 이 값들은 추정과정에서 사용하게 된다. 도 1의 I 단계가 예측 과정에 해당된다. 도 1의 II, III, IV 단계는 추정 과정이다. 추정 과정에서는 입력값으로 예측과정에서 계산된 예측값(

,

) 뿐 아니라 측정값(Z_k)를 전달받아서 추정값(

)와 오차 공분산(

)이 출력된다. 따라서 칼만 필터 알고리즘은 다음 시각에 상태와 오차 공분산이 어떤 값이 될지를 예측하고 측정값과 예측값의 차이를 보상해서 새로운 추정값을 계산하는 두 과정을 반복하게 된다.

선형시스템을 기반으로 개발된 알고리즘인 칼만 필터를 비선형 시스템에 적용하기 위해 비선형 모델을 선형화하여 적용하는 선형화 칼만 필터가 있다. 선형화 칼만필터 알고리즘은 칼만 필터와 동일하며 단지 비선형 모델을 얼마나 선형화 할 수 있는지가 선형화 칼만 필터의 성능으로 이어진다. 따라서 선형화 모델이 유효한 범위 내에서 사용하여 성능을 보장해야 한다.

칼만 필터를 비선형 시스템까지 확대 적용한 대표 알고리즘이 확장 칼만 필터이다. 비선형시스템의 선형화 방법에는 섭동법(perturbation method), 의사 선형법(quasilinearization), 추계적 선형법(stochastic linearization) 등이 사용되며 섭동법에 의한 방법이 확장 칼만 필터이다. 칼만 필터에서 잡음이나 기준 변수들의 분포가 가우시안 분포일 경우에는 단순 칼만 필터를 사용하고 비선형성을 띄는 부분이 있다면 선형화하여 확장 칼만 필터를 사용하게 된다.

확장 칼만 필터(EKF)가 선형화 칼만 필터와 다른 점은 확장 칼만 필터는 미리 지정한 선형화 기준점을 사용하지 않고 직전 추정값을 선형화의 기준으로 삼는다는 것이다. 시스템의 실제 상태와 가장 가까운 값은 직전 추정 값이라고 보고 이 값을 기준으로 선형모델을 계산하므로 선형화의 기준점을 사전에 결정하기 어려운 시스템에 적합하다. 반면 선형화의 기준점을 미리 정할 수 있는 시스템, 예를 들어 일정한 궤도를 도는 위성이나 궤적이 미리 정해져 있는 위성 발사체 등은 확장 칼만 필터보다는 선형화 칼만 필터가 적절하다.

확장 칼만 필터(EKF)의 전체 과정이 도 2에 도시되어 있다. 확장 칼만 필터 알고리즘은 선형 칼만 필터 알고리즘과 동일하지만 두 가지의 차이점이 있다. 첫 번째는 칼만 필터에서 사용한 선형모델 식의 Ax_k와 Hx_k 자리에 비선형 모델식 f(x_k)와 h(x_k)를 사용한다는 점이고, 두 번째는 비선형 모델의 자코비안으로 행렬 A와 H를 구한다는 것이며 이 자코비안 행렬은 앞에서 설명한 바와 같이 직전 추정값을 기준으로 계산한다.

칼만 필터는 최소 분산 상태 추정 알고리즘으로서 가우시안 잡음을 사용하여 선형 동적 시스템을 예측한다. 선형 시스템에 적용되는 한계를 극복하기 위해서 보완된 대표적인 칼만 필터로는 확장 칼만 필터(EKF), Unscented 칼만 필터, 제곱근 칼만 필터(Square root Kalman Filter), 적응형 칼만 필터(Adaptive Kalman Filter) 등이 있다. 칼만 필터는 상기한 바와 같이, 선형 시스템을 기반으로 하고 있으며 비선형 시스템에 대한 보완방향으로 비선형 시스템을 선형화하여 적용하는 선형화 칼만 필터와 예측과 추정시 바로 이전 시점을 기준으로 선형화하여 확장 칼만 필터가 있다. 그리고 선형화가 어려운 경우 몇몇 정보를 샘플링하여 샘플링 된 정보들을 다시 가우시안 분포로 가정하여 계산하는 것이 Unscented 칼만 필터이다.

칼만 필터는 적용하는 시스템에 알맞게 보완된 칼만 필터가 많이 연구되고 발표되고 있어 활용 영역을 넓혀가고 있다. 카메라 추적(camera tracking), 고장진단(fault diagnosis), 화학적 프로세스(chemical processes), 시각 기반 시스템(vision-based system), 표적추적 시스템(target tracking), 생물의학 시스템(biomedical system), 로보틱스(robotics), 네비게이션(navigation) 등의 활용에 관하여 연구되고 있다.

영상을 통한 객체인식의 프로세스를 살펴보면 카메라를 통해 움직이는 객체가 탐지되면 객체의 위치를 추정하고 추적을 실시하면서 발생되는 이벤트에 대한 판단 및 대응을 하게되는 과정을 거친다. 영상에서 객체 인식을 3단계로 구분하면 도 3에 도시한 것과 같이, 윤곽선이나 색상 등의 정보를 활용하여 객체를 인식하는 탐지(Detecting) 단계, 인식된 객체를 분류하는 분류(Classification) 단계, 마지막으로 수집된 정보를 가지고 객체의 동작, 위협이나 이동방향을 예측하는 등의 판단을 할 수 있는 추적(Tracking) 단계로 나눌 수 있다.

이 과정에서도 객체와 배경을 분리하기 위하여 가우시안 기법을 기반으로 칼만 필터나 파티클 필터 등의 필터링 기법들이 사용되고 이렇게 식별된 객체는 메타정보를 이용하여 객체의 이벤트를 탐지하는 과정이 객체를 인식하는 탐지(Detection)단계이다. 이렇게 식별된 객체는 객체에 대한 정보, 이벤트의 종류 등을 통하여 객체를 분류한다.

움직이는 객체를 추적하는 방법은 여러 가지가 있다. 대부분의 이동객체 추적 기법들은 연속하는 프레임에서 객체의 이동에 관한 정보를 수집하여 다음 시점의 위치를 예측하기 위한 기법이며 칼만 필터는 이러한 예측을 수행하는데 효율적인 방법이다. 칼만 필터는 모델링된 상태 벡터로 움직임을 표현한다. 그러나 실세계에서는 모델링 결과만으로 표현할 수 없는 제약들이 있다. 특히, 이동하는 객체에 대해서는 객체의 이동 전체를 표현하는 것이 아니라 부분적으로 표현하는 것이기 때문에 모델링된 결과와 실제는 차이가 있을 수 있다.

이러한 문제점을 위해 다양한 기법들이 연구되고 있다. 움직이는 물체가 추출되면 칼만 필터를 이용하여 움직이는 물체의 정확한 좌표를 추정하고, 칼만 필터링을 위하여 인식된 객체의 요소들, 즉 객체의 크기, 위치, 속도, 분류 등을 활용하여 객체를 추적하고 예측한다. 카메라를 통해 인식된 객체가 사람일 경우 사람의 동공을 기준으로 추적하는 데에도 칼만 필터를 이용하기도 한다.

또한 선형 시스템의 한계를 극복하기 위해 확장 칼만 필터를 기반으로 하여 객체를 식별하고 추적하는 기술도 있다. 이외에도 비선형 모델을 위한 필터링에는 확장 칼만 필터를 사용하지만 비선형성이 큰 추정 모델에 대한 정확도는 다소 떨어지므로 비행하는 객체에 대한 정보 추정을 위해서는 Unscented 칼만 필터를 사용하는 것에 대해 제안도 있다.

고전적인 칼만 필터를 보완하여 제안된 칼만 필터들도 다양하다. 다수의 연구결과가 발표되고 있는 칼만 필터의 종류로는 구조적 칼만 필터(Structured Kalman Filter), 적응형 칼만 필터(Adaptive Kalman Filter), 퍼지이론을 접목한 지능형 칼만 필터(Intelligent Kalman Filter)등이 있다. 구조적 칼만 필터(Structured Kalman Filter)는 셀 칼만 필터와 관계 칼만 필터로 구성되어 있으며 이것은 폐색과 같은 열악한 조건에서도 측정이 가능하도록 이동하는 객체를 구성하는 부분 영역사이의 관계정보를 활용하여 다음 상태에 대한 사전 예측을 하는 방법이다. 폐색이 발생하지 않는다면 관계 필터가 활성화 되지 않기 때문에 기존의 칼만 필터와 동일하게 동작하지만 물체가 심하게 폐색 될수록 관계정보의 의존도가 증가하여 물체의 사전 예측 수행을 위해 관계필터를 활용하게 된다.

적응형 칼만 필터(Adaptive Kalman Filter)를 이용한 사례로서, 비행 목표물의 경우 비선형성의 특징으로 확장 칼만 필터로도 필터의 분산이 발산되는 경우가 많아 MTI(Moving Target Indicator) 레이더에서 적용하는데 많은 문제점을 야기하고 있어 속도의 변화를 나타내는 백색잡음을 상태변수로 하는 일반적인 칼만 필터를 사용하되 기동이 탐지되었을 때는 일반적인 칼만 필터 상태 변수외의 가속도 성분을 상태변수로 하는 증가 시스템 칼만 필터를 사용하는 것이 제안되었다. 또한 비행 상태 등 비선형성이 큰 모델에서의 정확도 향상을 위해서 적응 필터 기법을 이용하여 확장 칼만 필터의 비선형 정확도를 보완하고 측정오차 공분산을 추정하는 적응 비선형 칼만 필터도 제안되고 있다.

군사적으로 활용된 사례를 살펴보면 대전차 위협체의 상태 추정이나 탄도 미사일 등의 비행하는 객체에서 적용한 경우가 있다. 객체의 인식과 추정을 위한 방법으로 제안된 퍼지규칙 기반의 적응형 칼만 필터는 대전차 위협체의 상태추정을 위해 제안되었다. 이것은 위협이 되는 객체의 상태추정에 있어서 퍼지이론을 사용하여 위협체의 속도 변화 특성에 따라 칼만 필터의 노이즈 파라미터를 적응적으로 변화시키는 방법으로 제안된 필터이다. 지상에서 운용되는 대전차 위협차는 크게 유도미사일과 대전차 로켓탄으로 분류할 수 있는데 이 두 가지 모두 마지막 단계에서 궤적상의 변화보다는 속도의 변화가 다양하게 나타나는 위협체를 추적하기 위해서 특정모델을 가정하여 추적필터를 설계하기보다는 퍼지이론을 이용하여 위협체의 속도 변이량의 범위 내에서 위협체의 가속 특성에 대해 적절히 반응할 수 있도록 설계된 필터이다.

이와 같이, 급격한 변화를 보이는 객체의 추적을 위해서 가변차수 기법, 입력추정 기법, 다중 모델 기법 등이 있으나 본 발명에서는 여러 기법 중에서도 수학적으로 성능이 증명되어 있는 칼만 필터를 기반으로 하여 객체를 추적하는 시스템의 환경과 도메인에 적합한 보완된 칼만 필터를 제시한다.

2. 본 발명의 실시예

상기한 바와 같이, 칼만 필터는 영상 객체 인식의 3단계인 탐지, 분류 및 추적 중 마지막 추적 단계에서 이동하는 객체에 대한 예측에 활용된다. 그러나, 객체의 움직임이 급격히 불규칙하게 변하는 경우, 오차가 커져 추적이 제대로 이루어지지 않는 제한이 있다. 칼만 필터는 초기값 또는 이전 단계에서 예측된 값과, 오차를 포함한 측정값을 통해 새로운 추정값을 얻도록 되어 있다. 따라서, 오차를 줄여서 안정적으로 이동 객체를 예측하기 위해서는 최근 시점의 급격한 변화를 반영하는 새로운 방법이 요구된다.

예측 상황에서는 정상으로 판단되는 시간에 비하면 변화가 감지되고 이 변화의 위험 여부를 판단할 만한 이벤트가 발생하는 것은 짧은 시간이다. 환언하면, 짧은 시간동안 나타나는 큰 변화를 얼마나 민감하게 감지하고 빠른 시간 내에 대응할 수 있도록 하는 지가, 이동 객체 추적 기술의 성능을 좌우하게 된다.

본 발명에서는 이러한 예측 방법의 성능을 향상시키기 위해서 칼만 필터를 사용하여, 움직이는 객체의 위치와 이동 속도를 예측할 때, 측정된 값과 예측했던 값의 차이를 변화의 속도가 예상 범위보다 더 많이 증가하거나 감소하는 변화에 대해 이를 추정값에 반영하여 변화량에 민감하게 반응하도록 보완된 센서티브 칼만 필터를 제공한다.

본 발명은 크게 세 가지 특징적 기술을 제공한다. 첫 번째는 움직이는 객체를 인식하여 추적하는 기술이다. 영상을 통해 객체를 인식하는 과정은 우선 객체를 탐지하고, 인식된 객체를 분류하여, 수집된 정보를 가지고 객체의 동작이나 위협, 이동 방향 등을 예측하는 등의 추적 단계로 나눌 수 있으며, 예측을 위한 추적 단계에서 본 발명이 적용된다. 두 번째 기술은 이동객체 추적시 연속하는 프레임에서 객체의 이동에 관한 정보를 수집하여, 다음 시점의 위치를 예측하는 기법이다. 칼만 필터는 모델링된 상태 벡터로 객체의 움직임을 표현한다. 세 번째 기술은 이동 객체를 추적하여 위험 여부를 판단할 때, 짧은 시간 동안 나타나는 변화를 민감하게 감지하여 빠른 시간 내에 대응할 수 있는 기술이다.

상기 첫 번째 기술과 관련하여, 본 발명에 따르면, 추적 단계에서 칼만 필터를 실행하기 위해서는 탐지 단계에서 객체를 인식하면서 수집된 데이터를 초기값으로 활용하기 위한 초기화 단계와 칼만 필터를 통해 예측값 및 추정값을 구하는 칼만 필터 프로세스 단계를 거치게 된다. 본 발명에 따라 제공되는 센서티브 칼만 필터는 평가 단계(estimation step)과 칼만 필터링(Kalman filtering) 두 단계로 나누어 이동 객체를 추적하도록 구성된다. 칼만 필터 프로세스를 진행하기 위해서는 초기값이 산정되어야 하며 영상을 통해 인식되는 객체의 경우 영상인식의 탐지 단계에서 인식된 객체의 위치 좌표 등이 초기값으로 설정된다. 이것은 칼만 필터 프로세스 이전에 수행되는 과정으로서 초기화(Initialization) 단계라고 지칭한다. 이렇게 선정된 초기값을 통해 기존의 칼만 필터와 달리 칼만 이득과 추정값 계산에 반영되는 오차변수 및 잡음변수를 계산하는 등 시스템 변수를 산정하는 과정을 평가 단계(estimation step)로 정의한다. 이렇게 산정된 초기값 및 시스템 변수들을 활용하여 칼만 필터를 적용하여 예측이 이루어진다.

상기 두 번째 기술과 관련하여, 본 발명에 따르면, 영상에서 x, y 좌표값을 산출하고 이 두 값을 벡터로 구성하여 두 벡터의 합을 계산하여 이동속도로 계산한다. 초기화 단계에서는 인식한 객체의 중심축의 좌표를 객체의 위치좌표(x, y)로 정의하여 초기값을 선정한다. 객체의 가로 X축과 세로 Y축이 만나는 교차점의 좌표 (X, Y)를 가지고 위치에 대한 상태변수 px와 py, 속도에 대한 상태변수 vx, vy로 정의한다.

상기 세 번째 기술과 관련하여, 본 발명에 따르면, 추정값 예측시 예측값과 측정값의 오차를 가중치로 반영하기 위해 오차에 대한 변화량을 가중치로 반영한다. 객체 인식 과정에서 얻어진 위치 데이터를 통해 t시점에서 위치와 속도를 구하고 t+1 시점에서 객체의 위치와 속도를 예측하였을 때 사전에 예측했던 값과 측정된 값의 차이를 다음 시점의 값을 예측할 때 가중치로 반영하도록 하여, 변화의 증가 또는 감소를 반영시켜 오차를 줄인다.

도 4는 본 발명에 따라 제안되는 센서티브 칼만 필터의 이동 객체 추적 프로세스를 모식적으로 보여주는 도면이다. 도 4에 도시한 바와 같이, 본 발명에 따르면, 평가 단계와 칼만 필터를 적용하는 칼만 필터링의 두 단계를 통해 이동 객체의 추적이 이루어진다. 평가 단계에서는 초기화 단계에서 수집된 데이터 중 초기값을 선정하고 오차 공분산과 칼만 이득 계산에 활용될 오차변수 및 잡음변수 계산의 단계가 수행된다. 칼만 필터링 과정에서는 기본적인 칼만 필터의 과정을 따르며 예측값과 오차 공분산 예측, 추정값 계산, 오차 공분산과 칼만 이득을 계산하여 추정값과 오차 공분산을 갱신하는 과정이 반복적으로 수행된다.

도 5는 상기한 본 발명의 특징을 구현하여, 이동 객체를 추적하는 장치의 구성을 개략적으로 보여주는 블록도이고, 도 6은 상기 장치의 이동 객체 추적부(140)에서 이루어지는 센서티브 칼만 필터 프로세스를 보여주는 도면이다.

도시한 바와 같이, 본 발명의 이동 객체 추적 장치는 데이터 수집부(110), 데이터 변환부(120), 저장부(130), 이동 객체 추적부(센서티브 칼만 필터)(140) 및 결과 알림부(150)를 포함한다.

데이터 수집부(110)는 CCTV를 통해 검출 데이터를 수집하고, 데이터 변환부(120)는 수집된 데이터를 매핑하고 보정하며, 이전 데이터 또는 메타 데이터와 비교한다. 수집된 데이터 및 변환된 데이터는 데이터 저장부(130)에 저장된다. 상기 데이터 변환부(120)에서 변환된 데이터는 이동 객체 추적부(140)로 전달되고, 이동 객체 추적부(140)는 그 데이터를 이용하여 이동 객체의 움직임을 예측하도록 구성된다. 객체를 검출하고 그 이동을 탐지하여 이동 객체 추적부(140)에 데이터가 전달되는 과정은 통상의 공지의 과정이다. 따라서, 그 상세한 설명은 생략한다. 본 발명은 이동 객체 추적부(140)에 전달된 데이터를 처리하여, 이동 객체의 움직임을 예측하는 기술로서, 이하, 도 5를 참조하여, 이동 객체 추적부(140)에서 이루어지는 이동 객체 움직임을 예측하는 프로세스를 좀 더 상세하게 설명한다.

이동 객체 추적부(140)는 영상 인식 탐지 단계에서 인식된 객체와 관련된 데이터 중 위치 값을 초기값으로 설정하고, 오차 공분산과 칼만 이득 계산에 활용될 오차 변수 및 잡음 변수를 계산하는 평가 단계와, 예측값과 오차 공분산 예측, 추정값 계산, 오차 공분산과 칼만 이득을 계산하여 추정값과 오차 공분산을 갱신하는 단계를 반복적으로 수행하는 칼만 필터링 단계를 수행하도록 구성되어 있다.

이동 객체 추적부(140)는 칼만 필터의 기본 알고리즘에 잡음변수를 적용하고 현재의 변화를 오차 공분산 계산에 반영하기 위해서 오차변수를 추가하여 기존의 확장 칼만 필터와 구별된다. 이동 객체 추적부(140)는 잡음 변수와 함께 오차변수를 오차 공분산 계산과정에서 이용하도록 구성된다. 이동 객체 추적부(140)는 오차 공분산에서 시스템 행렬 Q와 결합하여 위치와 속도의 변화에 대한 가속도의 가중치를 부여하여 예측된 값보다 더 큰 변화를 보이는 경우 이 변화량을 반영할 수 있도록 구성된다. 객체 인식 과정에서 얻어진 위치 데이터를 통해 t시점에서 위치와 속도를 구하고 t+1 시점에서 객체의 위치와 속도를 예측하였을 때 사전에 예측했던 값과 측정된 값의 차이를 다음 시점의 값을 예측할 때 가중치로 반영하면 변화의 속도가 반영되어 오차를 줄일 수 있다. 이동 객체 추적부(140)에서 이루어지는 각 프로세스를 설명하면 다음과 같다.

이동 객체 추적부(140)의 평가 유닛(142)은 평가 단계에 있어서, 먼저 초기값을 선정하도록 되어 있다. 즉, 인식한 객체의 중심축의 좌표를 객체의 위치좌표(x, y)로 정의하여 초기값을 선정한다. 객체의 가로 X축과 세로 Y축이 만나는 교차점의 좌표 (X, Y)를 가지고 위치에 대한 상태변수 p_x와 p_y, 속도에 대한 상태변수 v_x, v_y를 정의하면 수학식 3 및 4와 같다.

이어서, 평가 유닛(142)은 수학식 1에서 나타낸 칼만 필터의 기본식을 확장 칼만 필터로 적용하여 예측값과 측정값의 시스템 모델을 다음 수학식 5와 같이 구성한다.

이어서, 이동 객체 추적부(140)의 이동 객체 예측 유닛(센서티브 칼만 필터)(144)는 칼만 필터에서처럼 상태 변수와 계수를 따로 분리하지 않고 비선형 모델의 함수로 바꾸어 사용하도록 구성된다. 즉 객체의 움직임을 선형화하는 과정을 거쳐서 시스템 모델을 산정하고 이것을 확장 칼만 필터의 자코비안 행렬로 적용한다. 수학식 5에서 상태 변수를 정의하는 시스템 모듈을 유도하면, 시스템 행렬 F와 H는 수학식 6으로 나타내어진다.

이동 객체 예측 유닛(144)은 이어서, 직전 추정값(

)과 오차 공분산(

)을 입력으로 받아서 최종결과로 예측값(

,

)을 계산한다.

이어서, 평가 유닛(142)은 오차 변수를 계산한다. 오차변수는 시스템 모델을 통해 예측값과 측정값을 계산한 후 두 값의 오차변수 δ_k에 대한 미분값

을 오차변수로 사용하는데 이것은 예측한 값보다 실제 측정값에 대한 위치 변화량을 변수로 사용하므로 칼만 이득에 가중치를 부여하는 역할을 한다.

이어서, 평가 유닛(144)은 잡음 변수를 계산한다. 지능형 칼만 필터에서 적용한 퍼지이론을 적용한 잡음변수 유도과정은 다음과 같다. 필터에서 잡음은 불확실성 때문에 모델링이 제한되므로 퍼지 시스템을 적용하여 비선형성을 포함하되 효과적으로 근사화할 수 있는 방법을 사용한다. 퍼지 시스템의 입력값을 각각 x₁, x₂라고 하고 출력을 y라고 하면 퍼지 규칙은 다음과 같다.

Rule j : IF x₁ is A_1j and x₂ is A_2j, THEN y is q_j

상기 퍼지 규칙에서 두 개의 입력은 각각 필터의 잔여치와 변화율을 나타내며 출력 변수는 j번째 규칙에 대한 프로세스 잡음의 시변분산 q_j를 나타내는 실수값이고 A_ij는 소속도 μ_ij(x_i)를 갖는 가우시안 소속함수(Gaussian membership function)이다.

수학식 8에서, c_ij는 j번째 규칙의 i번째 입력에 대한 가우시안 소속 함수의 중심값을 나타내고 σ_ij는 폭을 나타낸다. 수학식 8에 의한 추론 결과는 수학식 9와 같다.

지능형 칼만 필터에서는 퍼지 추론 모델을 통한 오차 변수 모델의 유도 과정을 통해 수학식 10과 같이 정의하였다.

이동 객체 예측 유닛(144)은 상기와 같이 유도된 지능형 칼만 필터의 잡음 오차 변수 모델식인 수학식 10을 잡음 변수 계산에 사용하도록 구성된다. 먼저, 추정 과정에서 오차 공분산을 계산하기 위하여, 수학식 11을 이용하도록 구성된다.

기존의 칼만 필터에서 오차 공분산 계산에 필요한 행렬 Q는 측정값 Zk에 대한 잡음 vk의 공분산 행렬이다. 수학식 11을 통해 오차 공분산을 계산하면 수학식 12에 따라 칼만 이득을 계산하는데 수학식 12의 R은 잡음에 관한 시스템 모델이다.

적용하는 시스템에서 잡음의 특성을 정확히 해석하여 R을 설정하는 것이 원칙이지만 오차의 발생은 복합적인 요소로 만들어지므로 이 잡음에 대해 보완하여 확장 칼만 필터의 오차를 줄일 필요가 있다. 따라서 본 발명에 따르면, 오차 공분산을 계산하는 수학식 11에서 오차를 줄이기 위하여 행렬 Q에 대한 가중치를 부여한다. 행렬 Q에 대한 가중치를 부여하면 다음과 같은 결과의 차이를 가져온다. 오차 공분산 예측값 계산에서 행렬 Q가 커지면 오차 공분산 예측값도 커지고 칼만 이득도 커진다. 즉, 예측값은 값의 변화량에 대한 가중치를 포함하게 되고 칼만 이득 또한 측정값의 영향을 더 받아 변화에 민감한 추정값을 얻게 된다. 이와 같이 계산한 오차 공분산을 수학식 12의 칼만 이득 계산에 사용한다.

아울러, 이동 객체 예측 유닛(144)은 잡음에 대한 보완을 위하여 측정값의 시스템 모델 H에 잡음을 더하여 칼만 이득을 계산하고 최종적으로 추정값과 오차 공분산을 새로 갱신하여 이 과정을 반복하면서 다음 시점의 위치와 속도를 예측한다.

이하에서는, 상기한 본 발명의 이동 객체 추적 장치를 실제로 적용한 구체예를 설명한다.

상기한 이동 객체 추정부(140)에서 이루어지는 프로세스 검증을 위해 대비 가능한 상황을 가정하여 영상을 수집하였다. 움직이는 객체의 뚜렷한 속도의 변화를 보이기 위하여 식별되는 객체를 차량으로 사용하고 도로상의 정지선을 가상의 접근 제한 지점으로 설정하여 이 정지선을 통과하는 것을 경계대상에 접근하여 충돌하는 것으로 가정하였다. 이 실험은 기존의 확장 칼만 필터와 상기 센서티브 칼만 필터에서 오차를 비교하여 효과성을 입증하는 것이므로 절대적인 위치나 속도의 산출은 고려하지 않고 같은 조건하에서 상대적인 위치와 속도를 이용하여 알고리즘 비교를 위한 데이터만 산출하였다. 움직이는 객체의 위치 데이터는 차량 전면의 중앙 지점이 통과하는 것을 접근 또는 충돌로 고려할 수 있으므로 전면 중앙지점을 위치의 기준으로 사용하였다. 각 프레임마다 차량의 중앙지점을 지나는 가로축과 세로축을 추가하여 이 두 축의 교차지점에 대한 픽셀 값을 객체의 위치값으로 산출하였다. 검증을 위한 설정된 상황은 변속하면서 정지하는 경우와 감속하면서 정지하는 경우, 그리고 가속하여 충돌하는 3가지 경우로 설정하여 영상을 수집하였고 내용은 <표 1>과 같다.

상황	구분	내 용	프레임수	시간간격
상황1	정지	변속하다가 정지하는 경우	11	0.238초
상황2	정지	감속하면서 정지하는 경우	11	0.238초
상황3	통과	가속하면서 통과하는 경우	12	0.238초

실험에 사용된 영상은 0.238초의 프레임 간 간격을 두고 연속 촬영된 영상이며 상황 1과 상황 2는 초기값 산정을 위한 한 개의 프레임과 추정값 도출을 위한 10개의 프레임, 총 11장의 영상을 사용하고 상황 3은 정지선을 완전히 지나간 프레임을 추가하여 12장의 프레임을 사용하였다.

인식된 객체의 위치데이터를 칼만 필터를 이용해 잡음을 제거한 추정값을 산출한다. 다음시점을 예측하기 위해서는 현재 위치를 기준으로 현재 객체의 접근속도가 예측을 위한 요소이다. 이러한 과정을 수행하기 위해 각각의 영상에서 추출한 위치 데이터를 이용하여 기초데이터를 분석했다.

영상에서 x, y 좌표를 산출하고 두 좌표 값의 이전 프레임의 좌표와 비교하여 위치의 변화량을 계산한 후 위치 변화량을 시간으로 나누어 객체의 이동속도를 계산한다. x와 y를 벡터로 보고 두 벡터의 합을 계산하여 이동속도로 계산한다. 단, 고정된 카메라에서 원근을 고려하여 계산된 이동속도는 프레임번호의 역수를 곱하여 접근속도를 계산했다. 이렇게 계산된 기초데이터들은 다음 시점에 대한 예측과 위험도 판단에서 활용될 수 있다.

구 분	내 용
fn	프레임 번호
Px	영상에서 추출한 객체의 x좌표
Py	영상에서 추출한 객체의 y좌표
x	이전 프레임과의 x좌표 변화량
y	이전 프레임과의 y좌표 변화량
x속도	x / 프레임 간격 시간(0.238)
y속도	y / 프레임 간격 시간(0.238)
속도	x, y의 벡터값 (
조정속도	속도 * 1/fn

<기초 데이터 분석 요소와 내용>

도 7 내지 도 9는 각 상황별 사용한 영상과 추출된 위치 데이터, 데이터 분석 결과를 보여준다.

본 발명에서 제안한 방법을 MATLAB으로 구현한 코드를 표 3과 표 4에 나타내었다. 초기화 단계의 영상에서 객체의 위치데이터를 입력 값으로 주고 입력 값에 대한 추정값을 반환하는 기본형의 칼만 필터 코드에 센서티브 칼만 필터에서 추가되는 오차변수와 잡음변수를 입력값에 추가하여 반환되는 추정 값을 비교하여 센서티브 칼만 필터가 기존의 칼만 필터보다 오차가 작은 것을 확인하였다. 앞에서 설명한 대로 구현한 시스템 모델을 <표 3>과 같이 변수로 지정하고 행렬의 형태로 입력하였다.

%% 시스템 모델 설정
if isempty(firstRun)
dt = 1;

F = [ 1 dt 0 0
0 1 0 0
0 0 1 dt
0 0 0 1 ];

H = [ 1 0 0 0
0 0 1 0 ];

Q = 1.0*eye(4);

R = [ 5 0; 0 5 ];

x = [0, 0, 0, 0]';
P = 100*eye(4);

firstRun = 1;
end

%% 예측값과 오차 공분산 계산(오차 변수, 잡음 변수 추가)
xp = F*x;
Pp = F*P*F' + Q*d*q;

%% 칼만 이득
K = Pp*H'*inv(H*Pp*H' + R);

%% 추정값과 오차 공분산 계산
z = [px py]';
x = xp + K*(z - H*xp);
P = Pp -K*H*Pp;

%% x,y 추정값 변환
xh = x(1);
yh = x(3);

칼만 필터의 프로세스를 위한 단계별 계산식은 <표 4>와 같이 계산식을 그대로 적용했다. 센서티브 칼만 필터는 확장 칼만 필터와 거의 동일하나 오차 공분산 계산식에 잡음 변수와 오차변수가 추가되었다.

이렇게 구현한 칼만 필터를 사용하여 측정값 산출결과를 영상에서 추출한 위치데이터와 비교하여 확장 칼만 필터와 센서티브 칼만 필터 알고리즘이 가지는 오차의 범위를 비교해 보고 현재 위치와 속도를 통해 다음 시점의 위치를 예측한 추정값을 실제 데이터와 비교하여 얼마나 정확도가 개선되는지 비교해 보았다.

알고리즘의 성능 비교를 위하여 영상에서 산출된 위치데이터와 알고리즘 실행 후 산출된 위치데이터, 그리고 위치 데이터들을 통하여 <표 5>의 데이터들을 계산하였다. 위치데이터를 통하여 다음 프레임까지 위치의 변화량을 통해 프레임간 객체의 이동속도를 계산하였다. 그리고 확장 칼만 필터와 센서티브 칼만 필터에서 각각 위치와 속도의 오차를 비교하였다. 다음시점 예측을 위해서 위치와 속도데이터를 사용하여 다음 시점의 추정값을 얻기 위해서는 현재 속도를 기준으로 프레임간의 시간만큼 얼마큼의 거리를 이동할 것인지 계산하여 현재위치에서 예상이동거리를 더해주면 된다. 객체의 이동은 현재 시점을 기준으로 하므로 두 가지 알고리즘은 모두 확장 칼만 필터를 기반으로 하고 있으므로 객체의 이동의 선형성을 고려하지 않는다.

예상되는 위치 = 추정된 현재위치 + (현재 속도 * 시간)

이것은 시스템 모델 F행렬에서 시간값 dt를 측정값 계산 시에는 프레임 간의 간격인 0.238로 바꾸면 같은 시스템 모델을 사용하여 계산할 수 있다.

확장 칼만 필터와 센서티브 칼만 필터 알고리즘으로 객체의 위치를 추정하고 예측한 결과를 통해 두 알고리즘의 성능을 비교 분석했다. 도 10에서 원으로 표시된 것이 각 프레임에서의 위치이다. 동일한 시간 동안에 이동거리가 길어질수록 프레임간의 간격이 멀어지므로 원 사이의 거리가 객체의 속도를 의미한다고 할 수 있다. 도 10의 첫 번째 그래프인 상황 1에서는 fn 5와 fn 6 사이에 속도가 크게 증가하였다. 상황 2는 큰 변화 없이 일정한 속도로 움직이고 있으며 상황 3은 점점 가속하며 이동하는 것을 확인할 수 있다. 속도의 변화가 큰 시점이 칼만 필터를 통해서 추정 및 예측되는 데이터의 오차를 확인하면 얼마나 오차를 수렴하는가에 따라 칼만 필터의 성능을 알 수 있다. X축과 Y축의 좌표값을 기준으로 실제데이터와 확장 칼만 필터, 센서티브 칼만 필터를 적용했을 때의 위치를 비교하기 위해 하나의 그래프 상에 표현하여 오차를 비교할 수 있도록 하였다.

상황 1에서는 초기값과 비교하여 센서티브 칼만 필터의 추정값이 거의 일치하고 있고 오차율 또한 0.3% 미만의 작은 오차를 보이고 있다. 반면 확장 칼만 필터는 전체적으로 위치의 추정은 같은 형태를 보이고 있으나 오차율이 0.77 ~ 14.14%의 범위로 센서티브 칼만 필터에 비해서는 큰 오차가 발생하는 것을 알 수 있다. CCTV 등 영상을 통한 감시구역이 직선거리 100m를 넘지 않는 정도의 감시반경에서 오차율 1%는 1m이상의 거리를 의미하므로 오차율은 두 알고리즘의 성능을 평가하는 척도가 된다.

도 11을 보면 상황 1의 추정값은 위치데이터와 같은 형태의 그래프를 그리고 있으며 특히 fn 5와 fn 6 사이에서 급가속 하면서 이동한 결과가 센서티브 칼만 필터에서는 거의 오차 없는 추정값이 산출되었으나 확장 칼만 필터는 실제 데이터의 위치 이동을 따라가지 못하고 있다.

도 12에서 상황 2의 추정값을 비교하면 확장 칼만 필터는 0.32~8.2%의 오차율을 보이고 있으며 센서티브 칼만 필터는 0 또는 0.32%의 오차율을 보이고 있다.센서티브 칼만 필터는 실제 객체의 움직임과 오차가 크지 않아 그래프에서 보면 아주 가까운 위치에 분포되어 있는 것을 알 수 있다. 반면 확장 칼만 필터는 실제 움직임을 나타낸 그래프에서 벗어난 위치를 보이고 있어 센서티브 칼만 필터가 위치 추정의 성능이 좋은 것을 알 수 있다.

도 13에서, 상황 3의 경우도 상황 1과 상황 2에서와 같이 센서티브 칼만 필터의 성능이 우수한 것을 알 수 있다. 특히 상황 3에서는 센서티브의 칼만 필터의 오차는 상황1에서처럼 0 또는 0.37%의 작은 오차를 보이고 있는 확장 칼만 필터는 오차의 범위가 센서티브 칼만 필터에 비해 넓게 나타난다. 상황 3의 추정값이 일정한 속도로 움직이다가 fn 6부터 가속하여 이동한 상황을 그대로 반영하여 확장 칼만 필터는 fn 0부터 fn 6의 위치는 밀집되어 나타나고 fn 6이후부터 가속된 데이터가 반영되었으나 센서티브 칼만 필터에 비해서 점점 오차가 커지고 있음을 볼 수 있다.

도 14 내지 도 16은 칼만 필터를 통해 산출된 추정값을 기준으로 객체의 접근 속도와 프레임 간격의 시간과 곱으로 다음 프레임에서의 위치를 예측하여 실제 영상에서 추출된 데이터와 비교를 실시하여 알고리즘의 성능을 분석한 결과이다.

도 14를 보면 속도가 크게 변한 프레임일수록 예측값의 오차가 크게 나타났고 이때 확장 칼만 필터에 비해서 센서티브 칼만 필터의 오차가 작은 것을 알 수 있다.

도 15에서, 상황 2에서는 큰 속도의 변화 없이 이동한 객체의 예측값에 대한 오차는 각 알고리즘별로 큰 편차 없이 오차가 발생하였으나 센서티브 칼만 필터의 오차가 확장 칼만 필터의 오차보다 고르게 낮게 분포하고 있다.

도 16에서, 상황 3에서는 객체가 급가속하여 이동하기 시작한 fn 6부터 오차가 증가하는데 오차의 증가 범위가 센서티브 칼만 필터에 비해서 확장 칼만 필터는 큰 폭으로 오차가 증가하고 있다. 급변하는 객체의 움직임의 예측시 오차를 줄여서 예측의 정확도를 높이기 위해 설계된 센서티브 칼만 필터의 우수한 성능을 잘 보여준다.

표 6은 활장 칼만 필터와 센서티브 칼만 필터의 예측 위치 오차를 비교하여 주는 표이다. 표를 통해 알 수 있는 바와 같이, 예측값에 대한 오차를 비교해 보면 센서티브 칼만 필터의 오차가 눈에 띄게 낮은 것을 볼 수 있다.

도 17은 <표 6>을 그래프로 나타내어 각 상황에서 확장 칼만 필터와 센서티브 칼만 필터의 오차를 비교한 것이다. 모든 상황에서 센서티브 칼만 필터의 오차가 아래쪽에 위치하는 것을 볼 수 있다. 특히 속도의 변화량이 큰 경우에 두 알고리즘의 오차의 간격이 더 크게 벌어지는 것을 그래프를 통해 확인할 수 있다. 도 17의 상측 도면에서 5번째 프레임과 6번째 프레임 사이에서 오차가 상승한 것은 5번째 프레임과 6번째 프레임 사이의 급격한 속도의 변화에 따른 것이다. 확장 칼만 필터와 센서티브 칼만 필터 모두 5번째 이전까지의 오차보다는 상승하였으나 확장 칼만 필터에 비해서 센서티브 칼만 필터는 오차의 상승폭이 작고 7번째 프레임에서는 다시 오차가 급가속 이전 수준으로 감소하였다.

도 17의 중앙 도면은 일정한 속도로 접근하여 정지한 상황 2에 대한 것이다. 첫 번째 프레임에서의 예측은 이전까지 변화량이 0이기 때문에 객체가 탐지되어 예측이 시작되는 프레임은 급격한 변화로 볼 수 있어 오차가 나타나지만 2번째 프레임부터 오차는 감소한다. 도 17을 보면 4번째 프레임에서 확장 칼만 필터는 다시 오차가 상승하였다. 도 8의 위치데이터를 보면 3번째 프레임과 4번째 프레임간의 속도는 그 이전 프레임간 속도보다 약 2.5배가 상승하였다. 이러한 속도의 변화를 확장 칼만 필터는 오차로 반영하고 있고 센서티브 칼만 필터는 이 변화를 수렴하여 확장 칼만 필터에 비해 오차가 작은 결과값을 산출하였다.

도 18의 하측 도면은 프레임의 숫자가 증가할수록 가속하여 접근한 상황 3에 대한 것이다. 5번째 프레임까지는 속도의 변화가 거의 없어 두 알고리즘의 오차가 수렴되었으나 6번째 프레임부터 속도와 가속도가 증가하자 오차도 함께 상승하였다. 비록 오차가 상승하여도 센서티브 칼만 필터의 오차는 확장 칼만 필터에 비해 오차의 상승폭이 작아 변화를 반영하여 예측하는 필터로서 더 나은 성능을 보여주었다.

결과적으로 위치추정을 위한 추정값의 경우에도 3가지 상황 모두 확장 칼만 필터는 분산된 오차범위를 보이는 반면에 센서티브 칼만 필터는 1% 미만의 오차를 보여주고 있다. 또한 다음시점의 위치를 예측한 경우에도 센서티브 칼만 필터의 오차 범위가 확장 칼만 필터의 오차보다 범위가 작아 안정되어 있고 속도의 변화가 큰 시점에서는 둘 다 오차가 증가하지만 센서티브 칼만 필터의 오차가 확장 칼만 필터보다 낮은 수준을 보이는 것을 볼 수 있다. 위의 실험들을 통하여 제안하는 센서티브 칼만 필터는 이 알고리즘의 기반이 되는 확장 칼만 필터보다 움직이는 객체에서 위치 추적에 훨씬 우수한 성능을 보이는 것을 확인할 수 있다.

이와 같이, 본 발명에 의하면, 칼만 필터는 이전 결과를 활용하는 재귀식의 형태로 초기값이 선정된 이후 알고리즘 수행을 위한 프로세스가 반복되는 동안 지금까지 계산된 데이터들이 다음단계의 결과 값에 영향을 미친다. 즉, 과거에 대한 기록을 분석하여 미래를 예측하는 알고리즘이므로 예측되는 범위를 벗어나는 경우 큰 오차가 발생하게 되고 한번 큰 오차가 발생한 이후에는 이러한 오차까지도 하나의 잡음 데이터가 되어 이후 산출되는 데이터에 계속 영향을 미치게 된다. 따라서 정확성을 높이기 위해서는 평균화된 데이터를 통한 예측보다는 최근의 변화에 가중치를 두고 예측하는 것이 효율적이다. 이를 위해 센서티브 칼만 필터에서는 예측값과 측정값의 차이인 오차변수와 지금까지의 오차를 잡음으로 간주하고 확률적 잡음평균을 잡음변수로 추가하였다. 이 두 변수는 오차 공분산에 반영되는데 이 두 변수는 오차 공분산에서 시스템 모델중 하나인 행렬 Q에 가중치로 반영되었다. 행렬 Q가 커지면 칼만 이득도 커지게 되어 예측값보다 측정값이 더 많이 반영되는 결과를 가져온다. 따라서 예측된 데이터보다 측정된 값이 더 많이 반영되어 최근 데이터일수록 가중치를 부여하는 결과를 가져와서 변화가 큰 모델의 예측에서 잡음을 더 효과적으로 제거하고 오차가 줄어드는 결과를 기대할 수 있다.

Claims

칼만 필터를 이용하여 CCTV를 통해 탐지되는 이동 객체의 움직임을 예측하기 위한 방법으로서,
CCTV를 통해 이동 객체를 탐지하여 데이터를 수집하는 단계와;
상기 수집된 데이터 중 탐지된 이동 객체의 중심축의 좌표를 이동 객체의 위치좌표로 정의하여 초기값을 선정하고, 오차 공분산과 칼만 이득 계산에 이용하기 위한 오차 변수 및 잡음 변수를 계산하는 평가 단계와;
칼만 필터링 과정에 따라 예측값과, 오차 공분산 예측, 추정값 계산, 오차 공분산과 칼만 이득을 계산하여 추정값과 오차 공분산을 갱신하는 과정을 반복적으로 수행하는 칼만 필터링 단계
를 포함하며,
상기 평가 단계에서,
칼만 필터에 따라 예측값과 측정값을 계산한 후, 두 값의 오차 변수 δ_k에 대한 미분값
을 오차변수로 계산하고,
상기 잡음 변수는 하기 수학식에 따라 계산되며,

상기 식에서,

c_ij는 j번째 규칙의 i번째 입력에 대한 가우시안 소속 함수의 중심값,σ_ij는 폭, A_ij는 소속도 μ_ij(x_i)를 갖는 가우시안 소속함수,
상기 칼만 필터링 단계에서,
상기 계산된 오차 변수와 잡음 변수를 측정값에 대한 잡음의 공분산 행렬에 연계시켜, 상기 오차 공분산과 칼만 이득을 계산하는 것을 특징으로 하는 이동 객체 추적 방법.