KR101280348B1

KR101280348B1 - 다중 표적 추적 방법

Info

Publication number: KR101280348B1
Application number: KR1020120005611A
Authority: KR
Inventors: 정영헌; 곽동민; 김도종; 고정호
Original assignee: 국방과학연구소
Priority date: 2012-01-18
Filing date: 2012-01-18
Publication date: 2013-07-01

Abstract

운동학적 상태 벡터와 기하학적 영상특징 상태 벡터를 예측하는 표적 상태 예측 단계; 상기 표적 상태 예측 단계에서 제공되는 운동학적 상태 벡터와 기하학적 영상특징 상태 벡터의 합을 통한 NN 측정치를 선택하는 NN 측정치 선택 단계; 상기 NN 측정치 선택 단계에 의해 선택된 NN 측정치를 사용한 상태 벡터 추정을 최신화하는 상태 벡터 추정 최신화 단계를 포함하여 이루어지는 다중 표적 추적 방법.

Description

다중 표적 추적 방법{multiple target tracking method}

본 발명은 다중 표적 추적(Mulitple Target Tracking) 방법에 관한 것으로서, 더욱 상세하게는 적외선 영상에서 표적의 기하학적(geometric) 특징을 이용한 다중 표적 추적 방법에 관한 것이다.

적외선 감시정찰장비를 통한 원거리 표적추적을 위해서는 입력된 영상에서 표적들을 추출하는 탐지과정을 거치게 된다. 표적 탐지과정을 통해 출력된 표적 후보들중에는 실제 표적들로부터 발생한 것뿐만 아니라, 적외선 검출기의 열잡음(thermal noise)과 표적과 유사한 밝기를 가진 표적 이외의 물체들로 인한 거짓 표적이 존재한다. 이런 거짓 표적을 클러터(clutter)라 부르며, 정확한 표적추적을 방해하는 요소로 작용한다.

따라서, 적외선 영상을 이용한 원거리 표적추적은 탐지된 여러 표적 후보들중에서 표적 이외의 클러터들로부터 표적을 잘 구분하고, 구분된 표적 정보를 이용하여 표적의 이동 궤적을 정확히 추정하는 기법으로서 감시정찰장비에서 표적들의 위협도 분석 등에 사용되는 필수적인 기능이다.

일반적으로 적외선 영상을 이용한 원거리 다중 표적 추적에는 표적의 운동학적(kinematic) 정보, 즉 위치, 속도 등의 정보를 이용한 칼만필터가 활용되고 있다. 또한, 여러 측정 중 표적에서 발생한 측정과 클러터에서 발생한 측정을 구분하기 위해 데이터 연관방법이 사용된다. 대표적인 데이터 연관방법으로는 탐지된 표적 후보군들중 칼만필터에서 예측한 위치와 가장 가까운 표적 후보를 추적하고자 하는 표적이라고 단정하여 표적을 추적하는 NNF(Nearest Neighbor Filter)가 있다. 최근에는 표적의 운동학적 정보뿐만 아니라, 신호 세기 및 표적의 형상정보를 활용하는 기법들이 소개되고 있으나, 대공표적과 같이 배경 영상이 단순하고, 먼곳에서 접근하는 점표적(Point Target)에서 사용되고 있는 실정이다.

적외선 영상을 이용한 표적 추적 장치는 도 1에 도시된 바와 같이, 적외선 영상 생성장치(110), 적외선 영상으로부터 표적 후보들을 검출하는 표적 탐지 컴퓨터(120), 탐지된 표적 후보들의 진북 기준 좌표를 계산하기 위한 항법장치(130), 표적 후보들로부터 실제 표적의 이동 궤적을 생성하는 표적 추적 컴퓨터(140)로 구성된다. 상기 항법장치(130)는 GPS(131), 관성측정장치(internal measurement unit: IMU)(132) 및 전자 나침반(Digital compass)(133)으로부터 제공된 데이터를 이용한다.

위와 같은 구성의 표적 추적 장치를 이용한 적외선 영상을 이용한 원거리 다중 표적 추적 방법은 도 2의 흐름도와 같이 이루어진다.

영상 입력을 처리하고, 이전 프레임 영상과 현재 프레임 영상을 비교하여 차영상을 추출하는 전처리 과정을 수행한다 (S201).

추출된 차영상에서 문턱값 처리를 통해 이진화된 영상을 획득하고, 레이블링을 통해 픽셀단위가 아닌 하나의 물체단위로 표적후보들을 검출한다. 영상 내의 검출된 표적 후보들의 수와 위치, 그리고 물체들의 면적, 밝기 평균, 종횡비등의 속성들을 계산하고 추출한다 (S202).

칼만필터를 이용하여 표적의 상태를 예측한다 (S203),

추출한 표적후보들과 연산된 표적상태 예측값을 이용하여, 추출된 표적후보들 중 표적과 연관된 측정을 선택하고, 클러터를 제거한다 (S204).

선택한 측정치를 이용하여 표적 상태를 갱신한다 (S205).

이러한 다중 표적 추적 방법은 표적과 클러터를 구분하는 능력에 따라 성능에 크게 영향을 미치게 된다. 기존의 표적의 운동학적 특성만을 고려하여 원거리 표적을 추적하는 경우에는 추적하고자 하는 표적 근처의 클러터에 의해 추적 정확도가 저하되는 문제점을 가진다. 특히, 지상 감시정찰장비의 경우, 바다나 대공을 감시하는 경우에 비해 배경 영상이 매우 복잡하고 클러터 밀도가 높아 추적을 정확히 유지할 수 없다.

본 발명은 기존의 표적 추적 방법에 사용되어 왔던 운동학적 정보뿐만 아니라, 표적 영상에서 추출되는 기하학적 정보를 이용함으로써, 표적과 클러터를 보다 정확하게 구분하여 추적 성능을 향상시킬 수 있는 다중 표적 추적 방법을 제공하는 것이다.

이러한 목적들을 이루기 위한 본 발명에 따른 다중 표적 추적 방법은 표적의 운동학적 특성뿐만 아니라, 표적의 면적, 밝기 평균, 종횡비와 같은 표적의 기하학적 영상특징들을 수학적으로 정교하게 모델링하여 추적필터에 적용하는 것을 특징으로 한다.

본 발명에 따른 다중 표적 추적 방법은 표적의 기학학적 영상특징을 지수적 상관함수를 갖는 랜덤프로세서(random process)로 모델링하고, 그 모델링을 기반으로 이산시간 상태방정식을 유도하고, 최종적으로 표적추적을 위한 칼만필터를 구성하는 방법으로 이루어지는 것을 특징으로 한다.

본 발명에 따른 다중 표적 추적 방법의 세부적 특징은 상기 표적의 k시간 기하학적 특징은, 표적의 면적 f₁(k), 밝기 평균 f₂(k), 종횡비 f₃(k)를 포함하는 점이다.

본 발명에 따른 다중 표적 추적 방법의 다른 세부적 특징은 상기 영상특징은 다음의 식

과 같은 지수적 자기상관함수 (autocorrelation function)를 갖는 랜덤 프로세서로 모델링하는 점이다. 여기에서 m_i는 평균, σ² _i는 분산, α_i는 i번째 영상특징의 시간적 상관도를 나타내는 시상수이다. α_i값을 크게 설정할수록 시간에 따른 변화가 크다는 것을 의미한다.

본 발명에 따른 다중 표적 추적 방법의 다른 세부적 특징은 상기 지수적 자기상관함수를 갖는 랜덤프로세서로 모델링을 기반으로 영상특징들의 이산시간 상태방정식을 유도하면 다음의 식

과 같이 유도된다. 여기에서 T는 영상 프레임 시간 간격이며, w_i는 이산시간 백색과정 잡음이다.

본 발명에 따른 다중 표적 추적 방법의 다른 세부적 특징은 상기 이산시간 상태 방정식은 다음의 식

과 같이 유도되는 점이다.

본 발명에 따른 다중 표적 추적 방법의 다른 특징은 운동학적 상태 벡터와 기하학적 영상특징 상태 벡터를 예측하는 표적 상태 예측 단계; 상기 표적 상태 예측 단계를 통해 제공되는 운동학적 상태 벡터와 기하학적 영상특징 상태 벡터의 예측치를 이용한 NN 측정치를 선택하는 NN 측정치 선택 단계; 상기 NN 측정치 선택 단계에서 선택된 NN 측정치를 사용한 상태 벡터 추정을 최신화하는 상태 벡터 추정 최신화 단계를 포함하여 이루어지는 것을 특징으로 한다.

본 발명에 따른 다중 표적 추적 방법의 세부적 특징은 상기 NN 측정치 선택 단계에서 운동학적 정규화된 예측오차 D_p(z)와 기학학적 정규화된 예측오차 D_g(z)의 합을 구하고, D_p(z)+D_g(z)가 가장 작은 측정을 NN측정으로 선택하는 점이다.

본 발명에 따른 다중 표적 추적 방법은 다음과 같은 효과를 가질 수 있다.

첫째, 표적과 클러터를 효과적으로 구분하여 추적의 정확도를 높일 수 있다.

둘째, 클러터 측정이 표적의 예측지점에 가까이 발생하는 경우, 추정의 정확도가 급격히 떨어지고 심지어 표적을 상실하게 되는 것을 방지할 수 있다.

도 1은 일반적인 다중 표적 추적 장치의 구성을 나타낸 블럭도이다.
도 2는 일반적인 다중 표적 추적 방법의 진행과정을 나타낸 흐름도이다.
도 3은 본 발명에 따른 다중 표적 추적 방법의 진행과정을 나타낸 흐름도이다.
도 4는 칼만필터 추정 흐름도를 나타낸 예시도이다.
도 5는 NN 데이터 연관방법을 나타낸 예시도이다.
도 6은 일반 영상특징과 표적확률 가중치 관계를 나타낸 예시도이다.
도 7은 정교하게 모델링된 영상특징을 이용한 데이터 연관방법을 나타낸 예시도이다.

이하 본 발명의 바람직한 실시 예를 도면을 참조하여 상세히 설명한다.

도 3은 본 발명에 따른 다중 표적 추적 방법의 진행과정을 나타낸 흐름도이다.

다중 표적 추적 방법에 있어서, (a)표적의 운동학적 상태 벡터와 표적의 기하학적 영상 특징의 상태 벡터를 예측하는 표적 상태 예측 단계(S301), (b)상기 표적 상태 예측 단계(S301)를 통해 제공되는 운동학적 상태 벡터와 기하학적 영상특징 상태 벡터 예측치를 이용한 NN 측정치를 선택하는 NN 측정치 선택 단계(S302), (c)상기 NN 측정치 선택 단계(S302)에 의해 선택된 NN 측정치를 사용한 상태 벡터 추정을 최신화하는 상태 벡터 추정 최신화 단계(S303)를 포함하여 이루어진다.

도 4는 칼만 필터를 이용한 추정과정을 식으로 표현한 것으로, 상태방정식(state equation)과 측정방정식(measurement equation)이 있어야만 표적상태 예측 및 추정을 반복 수행할 수 있다. 즉, 상태방정식에 있는 상태천이행렬 F(k), 입력벡터 u(k)와, 측정방정식에 있는 측정행렬 H(k)를 알아야 칼만 필터를 구성할 수 있다.

상태천이행렬 F(k), 입력벡터 u(k)를 얻기 위해서는 상태 벡터 x(k)의 시간적 변화를 모델링하여야 한다. 이 모델링이 정확할수록 칼만필터의 예측치가 정확하게 된다.

따라서, k시간에서의 표적의 기하학적 특징은, 표적의 면적 f₁(k), 밝기평균 f₂(k),종횡비 f₃(k)를 포함하고, 시간적 변화를 수학적으로 모델링한다. 상기 표적의 기하학적 영상특징 f_i(k), i=1,2,3는 각각 아래 (식1)과 같은 지수적 자기상관함수(autocorrelation function)를 갖는 평균은 mi이고 분산은 σ² _i인 랜덤 프로세서(random process)로 모델링한다.

………(식1)

여기에서, f₁은 k시간 표적의 면적, f₂은 k시간 표적의 평균, f₃은 k시간 표적의 종횡비, m_i는 평균, σ² _i는 분산, α_i는 i번째 영상특징의 시간적 상관도를 나타내는 시상수이다.

α_i는 i번째 영상특징의 시간적 상관도를 나타내는 시상수로써, α_i값을 크게 설정할수록 시간에 따른 상관도가 없다는 것을 뜻한다. 예를 들어, α_i=∞로 두면 t시간에서의 영상특징과 t+τ시간에서의 영상특징은 서로 상관성이 없고 독립적이라는 의미이고, 반대로 α_i=0이면 완벽히 상관되어 있다는 의미이다.

상기 모델링된 영상특징들을 기반으로 기하학적 영상특징들의 이산시간 상태방정식을 유도하면 아래 (식2)과 같이 유도된다.

………(식2)

여기에서, f₁은 k시간 표적의 면적, f₂은 k시간 표적의 평균, f₃은 k시간 표적의 종횡비, m_i는 평균, α_i는 i번째 영상특징의 시간적 상관도를 나타내는 시상수, T는 영상 프레임 간격 시간, w_i는 이산시간 백색과정잡음이다.

k 시간에서 표적의 운동학적 상태 벡터 x_p(k)를 X축과 Y축의 표적 위치 (x(k), y(k))와 속도

로 정의하면,

와 같이 구성된다. 그리고 표적의 기하학적 상태 벡터 x_f(k)를 표적의 면적 f₁(k), 밝기 평균 f₂(k), 종횡비 f₃(k)로 정의하면,

와 같이 구성된다. 운동학적 상태 벡터와 기하학적 영상특징 상태 벡터의 합을 전체 상태 벡터 x(k)로 두면

와 같다. 상기에서 유도된 기하학적 특징들의 이산시간 상태방정식을 행렬식으로 표현한 전체 상태방정식 및 측정방정식은 아래와 같다.

: 상태방정식

: 측정방정식

여기서 상태천이행렬 F(k)와 입력벡터 u(k)는,

이며, 표적 후보 추출부(S202)에서 표적의 위치 성분뿐만 아니라, 물체들의 면적, 밝기 평균, 종횡비가 측정가능하기 때문에 측정방정식에 있는 측정행렬 H(k)는

로 쓰여진다. 얻어진 상태천이행렬 F(k), 입력 u(k), 측정행렬 H(k)를 이용하여 표적상태 예측 및 추정을 반복하게 된다. 또한, η(k)는 센서 측정오차를 나타내는 이산시간 측정잡음이다.

칼만필터를 이용한 표적 추적에서는 측정 z(k)가 필요한데, 표적에서 발생한 측정뿐만 아니라, 클러터에 의한 측정도 있기 때문에, 여러 표적후보중 표적에서 발생한 측정과 클러터에서 발생한 측정을 구분하기 위해 데이터 연관방법이 사용된다.

도 5는 NN 데이터연관 방법을 도식적으로 나타낸 것이다.

z₁(k), z₂(k), z₃(k)를 표적 후보라 하고,

를 측정 예정치라고 할 때, NN 측정치는

과 같이 나타난다.

NN 데이터연관방식은 칼만 필터에서 연산된 예측값과 가장 거리가 가까운 측정을 실제 표적에서 발생한 측정이라고 단정짓는 방식으로, 연산량이 적으면서도 효과적인 방법으로 알려져 있다. 하지만, 기존의 운동학적 상태 벡터로 구성된 추적방식은 클러터 측정이 표적의 예측위치에 가까이 발생하는 경우 추정의 정확도가 급격히 떨어지고 심지어 표적을 상실하게 될 수 있다. 최근에 보다 정확한 추적성능을 보이기 위해, 운동학적(kinematic) 위치 정보 외에 면적, 종횡비와 같은 영상특징을 이용한 방법이 시도되었다. 하지만, 단순히 면적이 크고, 도 6에서 보는 바와 같이 종횡비가 1에 가장 가까운 표적후보를 표적이라고 단정짓는 방식으로써, 클러터 밀도가 낮고 먼곳에서 접근하는 대공 점표적(point target) 추적에 초점이 맞추어져 있기 때문에 배경 영상이 매우 복잡한 지상표적의 추적에는 적합지 않은 방법이다.

위에서 유도된 운동학적 상태변수들과 기하학적 영상특징 상태변수들의 이산시간 상태방정식과 측정방정식을 이용하여 표적 상태 예측단계(S301)에서는 표적의 운동학적 상태 벡터뿐만 아니라, 기하학적 영상특징벡터도 예측하게 된다. NN측정치 선택단계(S302)에서는 운동학적 상태 벡터와 기하학적 특징벡터를 융합한 NN측정치를 구하기 위해 모든 측정에 대해, 운동학적 정규화된 예측오차 D_p(z)와 기학학적 정규화된 예측오차 D_g(z)의 합을 구하고, D_p(z)+D_g(z)가 가장 작은 측정을 NN측정으로 선택한다.

도 7에는 기하학적 영상특징을 사용하여 데이터 연관의 정확도를 향상시킨 실시 예를 나타내었다. 도 7a는 이전 프레임 영상을 도 7b는 현재 프레임 영상을 나타낸 것이다. 운동학적 정보만 이용한 경우 클러터에 의한 측정이 표적이라고 잘못 판단할 수 있으나, 기하학적 특징을 추가적으로 이용한 경우 표적에 의한 측정이 정확히 데이터 연관됨을 확인할 수 있다. 상태 벡터 추정 최신화 단계(S303)에서는 선택된 NN측정치를 이용하여 칼만필터 추정식을 통해 표적의 상태 벡터를 추정하게 된다.

Claims

다중 표적 추적 방법에 있어서,
(a)표적의 운동학적 상태 벡터와 표적의 기하학적 영상 특징의 상태 벡터를 예측하는 표적 상태 예측 단계;
(b)상기 표적 상태 예측 단계에서 제공되는 운동학적 상태 벡터와 기하학적 영상특징 상태 벡터의 합을 통한 NN 측정치를 선택하는 NN 측정치 선택 단계;
(c)상기 NN 측정치 선택 단계에 의해 선택된 NN 측정치를 사용한 상태 벡터 추정을 최신화하는 상태 벡터 추정 최신화 단계;
를 포함하되,
상기 표적의 기하학적 영상특징은, 표적의 면적 f₁(k), 밝기 평균 f₂(k), 종횡비 f₃(k)를 포함하는 것을 특징으로 하는 다중 표적 추적 방법.
삭제
제 1 항에 있어서,
상기 표적의 기하학적 영상특징은 아래의 수식과 같은 지수적 자기상관함수 (autocorrelation function)를 갖는 평균이 m_i이고 분산이 σ² _i인 랜덤 프로세서(random process)로 모델링한 것을 특징으로 하는 다중 표적 추적 방법.

여기에서, f₁은 k시간 표적의 면적, f₂은 k시간 표적의 평균, f₃은 k시간 표적의 종횡비, m_i는 평균, σ² _i는 분산, α_i는 i번째 영상특징의 시간적 상관도를 나타내는 시상수이다.
제 1 항에 있어서,
상기 표적의 기하학적 영상특징에 대한 이산시간 상태 방정식은 아래의 수식과 같이 유도되는 것을 특징으로 하는 다중 표적 추적 방법.

여기에서, f₁은 k시간 표적의 면적, f₂은 k시간 표적의 평균, f₃은 k시간 표적의 종횡비, m_i는 평균, α_i는 i번째 영상특징의 시간적 상관도를 나타내는 시상수, T는 영상 프레임 간격 시간, w_i는 이산시간 백색과정잡음이다.
제 4 항에 있어서,
상기 이산시간 상태방정식을 행렬식으로 표현한 전체 상태방정식은
과 같고, 측정방정식은
과 같으며,
상기 상태방정식과 측정방정식에 사용되는 상태천이행렬 F(k), 입력벡터u(k) 및 측정행렬 H(k)는 각각,

,
,

과 같은 것을 특징으로 하는 다중 표적 추적 방법.
여기에서, m_i는 평균, α_i는 i번째 영상특징의 시간적 상관도를 나타내는 시상수, T는 영상 프레임 간격 시간, i=1,2,3을 나타낸다. 또한, η(k)는 센서 측정오차를 나타내는 이산시간 측정잡음이다.
삭제
제 1 항에 있어서,
상기 NN 측정치 선택 단계는,
운동학적 정규화된 예측오차 D_p(z)와 기학학적 정규화된 예측오차 D_g(z)의 합을 구하고, D_p(z)+D_g(z)가 가장 작은 측정을 NN측정으로 선택하는 것을 특징으로 하는 다중 표적 추적 방법.