KR101913214B1 - 가림환경에서의 표적 형상정보를 활용한 표적 추적 방법 - Google Patents

Abstract

본 발명에 따른 가림환경에서의 운동학 및 형상 정보를 활용한 다중 표적 추적 방법은, 입력 데이터 중 영상정보를 기반으로 표적 추적환경의 가림유무를 판단하는 가림유무 판단단계; 가림 환경 유무에 의해 위치 정보에 따른 거리 정보를 기반으로 게이트라는 사전에 정의된 반경내에 존재하는 거리 측정치를 갖는 표적들만을 고려하기 위해 게이트닝하는 게이트닝 단계; 상기 게이트닝을 통하여 유효화하다고 판단되는 거리 측정치를 갖는 표적들과 상기 표적들에 해당하는 이미지 형상 정보 및 결합 확률 데이터 연관(JPDA: Joint Probability Data-Association) 기법을 이용하여 유효 행렬 및 연관 확률을 생성하기 위해 데이터 연관을 수행하는 데이터 연관 수행 단계; 및 연관 확률 결과를 칼만필터에 반영하여 다수의 잠적 항적을 갱신하는 갱신 단계를 포함하여, 가림 시의 표적의 이동경로에 대한 예측 및 감시영역 확장으로 인하여, 가림 후 표적이 나타났을 때도 항적의 끊김 형상을 방지 할 수 있어 항적 유지율이 향상된다.

Description

가림환경에서의 표적 형상정보를 활용한 표적 추적 방법{Target tracking method using feature information in target occlusion condition}

본 발명은 가림환경에서의 다중 표적 추적 기술에 관한 것으로서, 더 상세하게는 표적의 형상정보를 활용한 가림 판단 및 칼만필터, JPDA(Joint Probability Data-Association: 결합 확률 데이터 연관) 기법을 이용한 표적의 예측 추적 방법에 대한 것이다.

가림 판단 및 예측 추적 기법은 표적의 부분 또는 완전한 가림이 발생한 경우에도 안정적으로 표적을 추적하는 기술이다. 가림으로 인해 표적 추적이 끊기는 경우, 표적의 초기화를 재 수행함으로써 발생하는 항적 생성 시간 지연, 끊김 항적으로 인해 기존 항적을 새로운 항적으로 표적을 할당하는 항적할당 오류 문제 등을 방지하기 위하여 정확한 가림 판단 및 예측 추적 기술의 필요성이 대두된다.

각 표적들로부터 탐지된 결과는 이동 물체의 거리와 속도 가속도 등의 운동학 정보를 통하여 얻을 수 있다. 탐지된 결과를 기반으로 초기 항적을 생성하는 항적초기화 과정과, 지속적으로 입력되는 탐지결과와 생성된 항적의 관계를 정의해 주는 데이터 연관기법과, 각 항적을 시간에 따라 개선해 나가는 필터 기법, 항적들의 유지 생성 제거를 수행하는 항적 관리로 표적의 추적을 수행할 수 있다. 이를 보여주는 도면이 도 1의 단계에 도시된다.

특히 가림환경에서는 가림으로 인한 표적의 형상 변형과 탐지결과 부재로 인하여 항적 끊김 현상 시 항적 초기화 과정과 항적을 예측하는 필터 기법에 의해 표적의 추적성능이 달라진다. 가림 발생 시 표적의 형상이 가림으로 인해 변형됨에 따라 입력된 형상정보를 활용하면 가림환경이 판단 가능하며, 가림시 표적의 예측 추적을 통해 항적의 끊김 및 재초기화를 방지 할 수 있어 항적 유지율도 향상 시킬 수 있다.

따라서 가림환경에서 사전에 가림을 판단하여 항적을 예측하여 표적이 다시 나타났을 때 신속, 정확하고, 견실하게 표적을 추적하는 알고리즘의 개발이 필요하다.

본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 가림환경에서 표적의 탐지 결과 중 거리 측정 정보만을 기반으로 표적의 항적을 추적하던 것을, 표적들의 형상정보를 혼용하여 가림환경을 사전 판단하고 가림 시 적응형 추적필터를 적용하여 항적을 신속, 정확하고, 견실하게 표적을 추적하는 방법을 제공하는데 그 목적이 있다.

상기와 같은 과제를 해결하기 위한 본 발명에 따른, 가림환경에서의 운동학 및 형상 정보를 활용한 다중 표적 추적 방법은, 입력 데이터 중 영상정보를 기반으로 표적 추적환경의 가림유무를 판단하는 가림유무 판단단계; 가림 환경 유무에 의해 위치 정보에 따른 거리 정보를 기반으로 게이트라는 사전에 정의된 반경내에 존재하는 거리 측정치를 갖는 표적들만을 고려하기 위해 게이트닝하는 게이트닝 단계; 상기 게이트닝을 통하여 유효화하다고 판단되는 거리 측정치를 갖는 표적들과 상기 표적들에 해당하는 이미지 형상 정보 및 결합 확률 데이터 연관(JPDA: Joint Probability Data-Association) 기법을 이용하여 유효 행렬 및 연관 확률을 생성하기 위해 데이터 연관을 수행하는 데이터 연관 수행 단계; 및 상기 연관 확률의 결과를 칼만필터에 반영하여 다수의 잠적 항적을 갱신하는 갱신 단계를 포함하여, 가림 시의 표적의 이동경로에 대한 예측 및 감시영역 확장으로 인하여, 가림 후 표적이 나타났을 때도 항적의 끊김 형상을 방지 할 수 있어 항적 유지율이 향상된다.

일 실시예에 따르면, 상기 가림유무 판단단계 이전에, 영상 센서를 이용하여 표적에 대한 영상을 탐지하는 탐지 단계; 탐지된 영상을 이용하여 위치 정보 및 이미지 형상 정보를 입력 데이터로 생성하는 입력 데이터 생성 단계를 더 포함할 수 있다.

일 실시예에 따르면, 상기 이미지 형상 정보는 상기 탐지된 영상의 이미지 크기값을 이용하여 상관도 값을 구함으로써 생성되는 상기 표적들간의 형상 유사도 정보인 것을 특징으로 할 수 있다.

일 실시예에 따르면, 상기 가림유무 판단단계는, 상기 형상정보를 기반으로 표적의 추적환경의 가림유무를 판단하기 위해 이차원 이미지 상관도 값을 활용하여 가림판단을 수행할 수 있다.

일 실시예에 따르면, 상기 가림유무 판단단계는, 가림 판단 시, 가림 후 표적 예측 추적을 위한 상태변환 행렬 변경 방법을 수행하는 상태변환 행렬 변경 단계를 더 포함할 수 있다.

일 실시예에 따르면, 가림 후 재 포착 시 표적의 추적을 용이하게 하기 위한 적응형 게이트 설정을 위한 이노베이션 공분산 행렬 생성 방법을 수행하는 이노베이션 공분산 행렬 생성 단계를 더 포함할 수 있다.

일 실시예에 따르면, 상기 적응형 이노베이션 공분산 행렬 변환으로 인한 유효화 영역의 증가에 대응하는 상기 게이트 영역의 반경에 따른 가림 이후, 표적 재 탐지를 용이하게 하기 위한 유효화 영역 반경 설정 방법을 수행하는 유효화 영역 반경 설정 단계를 더 포함할 수 있다.

본 발명의 다른 양상에 따른, 다중 표적 추적 장치는, 표적에 대한 영상을 탐지하는 영상 센서; 및 탐지된 영상을 이용하여 위치 정보 및 이미지 형상 정보를 입력 데이터로 생성하고, 상기 입력 데이터 중 영상정보를 기반으로 표적 추적환경의 가림유무를 판단하고, 가림 환경 유무에 의해 위치 정보에 따른 거리 정보를 기반으로 게이트라는 사전에 정의된 반경내에 존재하는 거리 측정치를 갖는 표적들만을 고려하기 위해 게이트닝하고, 상기 게이트닝을 통하여 유효화하다고 판단되는 거리 측정치를 갖는 표적들과 상기 표적들에 해당하는 이미지 형상 정보 및 결합 확률 데이터 연관(JPDA: Joint Probability Data-Association) 기법을 이용하여 유효 행렬 및 연관 확률을 생성하기 위해 데이터 연관을 수행하는 제어부를 포함한다. 이때, 상기 제어부는 프로세서에 의해 대체될 수 있다.

일 실시예에 따르면, 상기 제어부는 상기 연관 확률에 대한 결과를 칼만필터에 반영하여 다수의 잠적 항적을 갱신할 수 있다.

일 실시예에 따르면, 상기 제어부는 상기 형상정보를 기반으로 표적의 추적환경의 가림유무를 판단하기 위해 이차원 이미지 상관도 값을 활용하여 가림판단을 수행할 수 있다.

일 실시예에 따르면, 상기 제어부는 가림 판단 시, 가림 후 표적 예측 추적을 위한 상태변환 행렬 변경 방법을 수행할 수 있다.

일 실시예에 따르면, 상기 제어부는 가림 후 재 포착 시 표적의 추적을 용이하게 하기 위한 적응형 게이트 설정을 위한 이노베이션 공분산 행렬 생성 방법을 수행할 수 있다.

일 실시예에 따르면, 상기 제어부는 상기 적응형 이노베이션 공분산 행렬 변환으로 인한 유효화 영역의 증가에 대응하는 상기 게이트 영역의 반경에 따른 가림 이후, 표적 재 탐지를 용이하게 하기 위한 유효화 영역 반경 설정 방법을 수행할 수 있다.

본 발명에 따르면, 제안 추적기술은 가림 상황을 영상의 상관도 정보를 기반으로 판단하여, 이를 통해 가림 시의 표적의 이동경로에 대한 예측 및 감시영역 확장으로 인하여, 가림 후 표적이 나타났을 때도 항적의 끊김 형상을 방지 할 수 있어 항적 유지율이 향상되는 장점이 있다.

또한, 본 발명에 따르면 항적 초기화 과정으로 인해 소요되는 처리시간을 단축 할 수 있어 가림 후 표적 재 포착 시 신속하게 항적을 나타낼 수 있다는 장점이 있다.

도 1은 본 발명에 따른 거리정보 기반 다중 표적 추적 방법의 흐름도를 나타낸다.
도 2는 본 발명의 일실시예에 따른 가림환경에서의 형상정보 및 거리 정보 기반의 다중 표적 추적 방법의 흐름도이다.
도 3은 본 발명에 따른 다중 표적 추적 장치의 세부 구성을 도시한다.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.

제1, 제2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈", "블록" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다. 하기에서 본 발명의 실시 예를 설명함에 있어, 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

먼저, 본 발명에 따른 거리와 형상정보를 활용한 다중표적추적 방법에 관하여 간단히 설명하기로 하자. 이와 관련하여, 도 1은 본 발명에 따른 다중 표적 추적 방법의 흐름도를 나타낸다.

이와 관련하여, 상기 다중 표적 추적 방법은 항적 초기화 과정(S110), 잠정 항적 생성 과정(S120), 게이트닝 과정(S130), 새 트랙 생성 과정(S140), 데이터 연관 과정(S150), 항적 갱신 과정(S160), 및 항적 제거 및 관리 과정(S170)을 포함한다. 한편, 상기 다중 표적 추적 방법은 입력 데이터 수신 과정(S121)을 더 포함할 수 있다. 이와 관련하여, 상기 과정들은 프로세서 또는 제어부에 의해 수행될 수 있다. 한편, 상기 입력 데이터 수신 과정(S121)과 같은 입력/출력 과정은 인터페이스부에 의해 수행될 수 있다.

먼저, 상기 항적 초기화 단계(S110) 및 상기 잠정 항적 생성 단계(S120)에서, 측정치가 탐지되었을 때 필터를 생성하고 초기치를 입력함으로써 항적을 생성하게 된다. 모든 추적필터는 표적을 추적하기 위해서는 각 표적의 항적 초기치를 얻은 후 수행 가능하게 된다. 본 발명에서 적용한 초기화 기법은 서로 다른 시간의 측정치를 이용하여 표적의 초기치를 구하는 기법인 Two Step Initialization(TSI) 기술이다. TSI는 한 스텝의 측정치만을 이용하여 표적의 초기치를 생성하는 One Step Initialization(OSI)와 달리 서로 다른 시간의 측정치를 이용하여 표적의 초기치를 구한다. OSI 보다 표적 여부를 판별하기 위해 한 스텝 더 소요되고 계산량이 증가하는 반면 클러터가 많은 환경에서 더 높은 항적 초기화 정확도를 보인다.

TSI 초기화를 위한 표적의 상태 및 측정치는 다음식과 같다.

TSI는 이전 측정치와 현재 측정치를 동시에 고려한다. 현재 시간

와 이전 시간

에서의 측정치

이 주어졌을 때 상태벡터

는 다음과 같이 정해진다. 이때

는

축 좌표와 각 축 속도를 의미한다. TSI는 시스템에서의 표적 운용 시간 차이를 안다고 가정하면 시간 차이만큼 표적이 움직일 수 있는 반경이 나타나게 된다. 현재 측정치를 기준으로 과거 측정치와의 거리차가 이동 가능한 반경 내에 존재하는 측정치만 초기 트랙으로 할당한다. 이미 초기화로 할당된 트랙 외에 동일한 방법으로 이전 측정치로부터 이동 가능한 거리 내에 존재하면서 기존 트랙으로 할당되지 않는 현재 측정치가 존재하면 초기화를 통해 새로운 트랙으로 할당한다. 따라서 본 발명을 통해 가림환경에서의 항적 추정이 지속되면, 항적 유지율이 향상되어 항적의 끊김이 일어나지 않고 초기화 과정을 통해 항적이 재생성 되기까지 소요되는 추적 수행시간 지연도 막을 수 있는 효과를 얻을 수 있다.

초기화 과정을 통해 생성된 항적은 간단한 추적 필터를 통해 지속적으로 항적이 될 가능성이 있는 잠적 항적을 생성하게 된다.

시간

까지의 측정치 집합이 주어졌을 때 표적

의 상태 벡터

에 대한 예측치 및 이와 관련된 오차 공분산 행렬

는 다음식과 같다.

여기서 표적의 상태 벡터

, 즉, 표적의 위치정보로 표현된다.

는 표적의 동적 운동 모델이 대해 이미 알고 있는 상태변환 행렬이고,

는 표적 운동의 과정 잡음의 공분산 행렬이다.

시간의 유효측정 영역 내의 측정치 개수를

이라 할 때 각

번째 측정치

와 표적

에 대한 예측치

의 차이인 이노베이션을 다음식과 같이 구한다.

이렇게 구해진 이노베이션 값들을 기준으로 표적

와

번째 측정치에 관한 이노베이션 값

이 유효영역인 일정 게이트

내에 존재하면 유효측정치라고 판단하는 상기 게이트닝 과정(S130)을 수행한다. 유효하다고 판단하는 유효 행렬

을 생성한다. 유효 측정치

는 아래식에 의해 정의된다.

탐지된 결과를 기반으로 항적은 유효측정치와 항적의 관계를 정의해주는 데이터연관 기법을 이용하여 상기 데이터 연관 과정(S150)을 수행하게 되는데, 본 발명에서는 복잡도는 높지만 정확한 추적 성능을 보이는 Joint Probabilistic Data Association (JPDA) 기법을 적용하여 다중표적추적 시스템을 구성한다.

JPDA 데이터 연관기법의 상세 구현 과정, 즉, 유효화 행렬 생성 및 연곽확률 연산 과정은 이미 널리 알려져 있으므로, 생략하도록 한다.

요약하면, 획득된 유효 행렬로부터 발생 가능한 모든 결합 사건

들을 구하게 되며,

는

가 표적

에 연관될 확률은 어떤 사건

을 포함하는 모든 복합 사건

에 대한 복합 확률의 합,

표적

로부터 아무런 측정치도 발생하지 않을 확률로써 다음식과 같이 표현된다.

여기서,

는

번째 측정치와

번째 항적에 대해 발생 가능한 사건

에 대한 유효화 행렬을 나타내며,

그때의 연관확률을 의미하여 다음식과 같이 표현된다.

여기서,

는 단일화 상수,

는 클러터 개수,

는 게이트 크기,

는 탐지확률을 의미한다. 획득된 연관확률을 기반으로 측정치와 연관된 항적의 위치는 아래의 추적필터 과정을 통해 예측된다.

표적

에 대한 상태 추정치와 이와 관련된 오차 공분산 행렬은 다음과 같다.

여기서,

여기서,

는 이노베이션의 오차공분산 행렬,

은 필터게인,

은 측정잡음의 공분산 행렬을 나타낸다. 또한,

은 측정치와 상태변수의 관계를 나타내는 상태변환행렬로, 적용 시스템마다 다르게 정의 될 수 있으며,

는

의 역행렬을 의미한다.

그리고

이노베이션의 가중 합으로 수학식5를 통해 획득한 연관확률이 추적필터의 가중치로 적용되며 다음식과 같다.

상기된 기존의 다중 표적 추적 기법은 가림현상이 발생하는 경우 지속적인 측정치가 획득되지 않아 항적 끊김 현상이 발생하며, 가림 후 표적이 재탐지 되더라도 항적초기화 과정을 재처리하게 되어 추적처리 지연현상 현상이 발생하는 문제점이 있다.

도 2는 본 발명의 일실시예에 따른 가림환경에서의 형상정보 및 거리 정보 기반의 다중 표적 추적 방법의 흐름도이다. 도 2을 참조하면, 본 발명은 영상센서로부터 입력된 영상정보를 이미지 상관도로 연산하여 거리 정보와 함께 사용한다 (단계 S200, S210).

번째 시간에 표적

에 대한 상태 벡터

는 다음과 같이 표현된다.

여기서,

은 기존과 동일한 표적의 위치 정보이며,

는 표적의 형상 정보를 활용하기 위한 이미지 크기값(intensity)에 대한 정보이다.

영상센서 기반 추적시스템에서는 거리, 속도의 정보만을 기반으로 추적을 수행한 것과 달리 본 발명에서는 영상센서로부터 입력된 표적 형상의 이미지상관도정보를 추가로 활용한다. 이미지상관도 정보는 이전 영상에서 획득한 표적과 현재 영상에서의 획득한 표적의 형상변화를 나타내는 정보로 본 발명에서 해결하고자 하는 가람환경에서 표적이 가림으로 인한 급격한 형상 변화 발생 시 이를 판단하는 유력한 기준이 될 수 있다. 따라서 본 발명에서는 이미지 상관도 정보를 가림을 판단하는 기준으로 사용한다.

본 발명에서 사용하는 이미지상관도란 이미지의 크기 값을 이용한 영상유사도(image correlation)을 의미하며 수식은 아래와 같다.

여기서

는

번째 표적에 대한 대표 템플릿

와

번째 측정치 영상

와의 이차원 영상상관도를 의미한다. 본 발명에서는 실험적 결과를 토대로 이차원상관도 값이 0.7 미만이면 가림추적이 시작된다고 가정한다(단계 S220).

단계 S230에서, 본 발명의 일실시예는 가림추적 환경에서 표적의 항적을 지속적으로 예측 추적하게 된다. 기존의 JPDA기반 추적 필터는 수학식1 및 2처럼 표적의 항적을 예측하고 수학식 7처럼 표적의 JPDA의 연관확률을 통해 항적을 추정하게 된다. 하지만 본 발명에서 고려하는 가림환경은 지속적으로 측정치가 들어오지 않기 때문에 측정치 기반 데이터 연관기법인 JPDA를 적용하여 연관확률이 획득되지 못하고, 단순히 표적의 이동량을 예측하여 다음 표적의 위치를 추정하는 과정(Prediction)만 수행된다.

여기서 본 발명은 가림환경에서 표적의 이동 추정은 가림 전의 이동량을 고려하여 표적의 위치를 추정하던 기존 기술과 다르게 가림환경에서의 표적의 이동방향을 예측하기 힘들다는 가정 하에 추정되는 위치의 변화량을 줄이고, 재 탐지될 영역은 넓게 설정하여 가림 후 재 포착 시 탐지를 용이하고 하고자 한다. 특히 인원표적 기반 가림환경에서의 다중표적 추적시스템에서는 기동표적과는 다르게 움직임이 빠르고 움직이는 방향의 예측이 어려워 다음과 같은 가정은 타당하게 된다.

이를 위해 우선 수학식2의 표적상태 방정식은 가림 시 다음과 같이 변환된다.

이전

는 표적의 동적 운동 모델이 대해 이미 알고 있는 상태변환 행렬로 위치 및 속도 또는 가속도를 고려하는 시스템 모델을 정의할 때 시스템 파라미터로 정의된다. 본 발명에서는 가림추적이 시작되면

행렬에서 정의된 속도 변화를 아래식과 같이 1/2로 줄인다. 이때의 변환 행렬은

로 정의한다.

본 발명에서 상태변환 행렬을 포함하는 오차행렬 P 정의에서는 변환된 상태변환행렬 대신 기존의 상태변환행렬 F를 그대로 사용한다. 이는 표적의 예측위치에 대한 변화는 줄이지만, 이를 기반으로 생성된 오차 행렬 P와 이노베이션의 오차 공분산 행렬 S가 줄어들게 되면 가림 후 재탐지시 표적의 탐지하고자 하는 영역, 즉, 게이트가 줄어들게 되기 때문이다.

본 발명에서는 가림 후 표적의 이동방향에 대한 불 예측성에 대비하여 위하여 게이트 반경을 확장하여 그 영역에 표적이 탐지될 확률을 높인다. 표적과 연관된 측정치가 존재 가능한 영역, 즉 게이트

는 아래 식과 같이 정의된다.

이때

는 측정치의

좌표를

는 표적의 추정된

좌표를 의미하며, 해당 수식은 이노베이션의 공분산 행렬

값에 의해 normalize 되며

축과

축이 서로 독립적이라는 가정 하에

과

의 원소 값을

축과

축의 기준점으로 반경

를 가지는 타원방정식으로 풀이된다. 따라서

값의 변화는

축 좌표에서의 측정치와 표적예측

좌표와의 거리를 의미하며

는

축에서의 측정치와 예측치의 거리를 의미하게 된다. 보통의 추적필터에서

는 수학식7과 같이 공분산 행렬

와 측정잡음 공분산 행렬

에 의해 지속적으로 갱신되지만, 본 특허에서 고려하는 표적의 이동가능성이 높은 예측 방향으로의 게이트 크기를 확대하고자 한다. 예를 들어 보통의 인원표적 가림환경에서는 장애물 및 은폐지역에서 가로방향으로의 표적이동량이 세로방향의 이동량보다 많다. 따라서 게이트의 크기가 동일하게 증가하는게 아니라 가로축 즉,

축 방향으로의 변화를 크게 주게 되면 가림 후 재 탐지시 표적을 더 빠르고 정확하게 탐지 할 수 있다.

따라서 가림이라 판단될 때 예상 이동량을 가중치로 적용한 이노베이션 공분산 행렬

는 아래와 같다.

이노베이션 공분산 행렬

의 변화로 게이트 영역의 확장 형상이 변화하며, 그 반경

또한 다음식에 따라 변화한다.

여기서

는 측정치를 정의하는 차원(dimension of measurement) 으로 본 발명에서는 이차원 즉

를 사용한다.

따라서, 이노베이션 공분산행렬

의 적응형 확장은 유효화 영역의 확장 형태도 변화시키지만, 유효화 영역의 볼륨도 변화시키게 되어 표적의 재 탐지 시 표적의 게이트내에 존재 할 확률 (probability mass)이 증가하게 된다. 또한 수학식6 과 같이 JPDA의 데이터 연관확률 연산에도 적용되며, 이는 좀 더 넓은 영역의 측정치까지 고려한 연관확률 생성을 가능하게 한다.

이상에서는 가림환경에서의 운동학 및 형상 정보를 활용한 다중 표적 추적 방법에 대해 살펴보았다. 한편, 이러한 전술된 다중 표적 추적 방법은 아래에서 설명될 다중 표적 추적 장치를 구현할 수 있다.

이와 관련하여, 도 3은 본 발명에 따른 다중 표적 추적 장치의 세부 구성을 도시한다. 도 3에 도시된 바와 같이, 상기 다중 표적 추적 장치는 영상 센서(310), 인터페이스부(320) 및 제어부(330)를 포함한다.

상기 영상 센서(310)는 표적에 대한 영상을 탐지한다. 상기 인터페이스부(320)는 상기 탐지된 영상을 상기 영상 센서(310)로부터 수신한다.

상기 제어부(330)는 탐지된 영상을 이용하여 위치 정보 및 이미지 형상 정보를 입력 데이터로 생성하고, 상기 입력 데이터 중 영상정보를 기반으로 표적 추적환경의 가림유무를 판단한다. 또한, 상기 제어부(330)는 가림 환경 유무에 의해 위치 정보에 따른 거리 정보를 기반으로 게이트라는 사전에 정의된 반경내에 존재하는 거리 측정치를 갖는 표적들만을 고려하기 위해 게이트닝한다. 또한, 상기 제어부(330)는 상기 게이트닝을 통하여 유효화하다고 판단되는 거리 측정치를 갖는 표적들과 상기 표적들에 해당하는 이미지 형상 정보 및 결합 확률 데이터 연관(JPDA: Joint Probability Data-Association) 기법을 이용하여 유효 행렬 및 연관 확률을 생성하기 위해 데이터 연관을 수행한다. 또한, 상기 제어부(330)는 상기 연관 확률에 대한 결과를 칼만필터에 반영하여 다수의 잠적 항적을 갱신하는 갱신할 수 있다.

또한, 상기 제어부(330)는 상기 형상정보를 기반으로 표적의 추적환경의 가림유무를 판단하기 위해 이차원 이미지 상관도 값을 활용하여 가림판단을 수행할 수 있다.

또한, 상기 제어부(330)는 가림 후 재 포착 시 표적의 추적을 용이하게 하기 위한 적응형 게이트 설정을 위한 이노베이션 공분산 행렬 생성 방법을 수행할 수 있다.

또한, 상기 제어부(330)는 상기 적응형 이노베이션 공분산 행렬 변환으로 인한 유효화 영역의 증가에 대응하는 상기 게이트 영역의 반경에 따른 가림 이후, 표적 재 탐지를 용이하게 하기 위한 유효화 영역 반경 설정 방법을 수행할 수 있다.

또한, 상기 제어부(330)는 상기 다중 표적 추적 방법에서 전술된 모든 절차들을 수행할 수 있다.

본 발명의 일실시예에서는 거리 정보뿐만 아니라 영상정보를 활용하여 표적의 가림상황을 판단하고, 이를 기반으로 가림 시 표적의 신속한 재 탐지 및 예측 추적을 위하여 시스템 상태변환 행렬과 이노베이션 공분산 행렬에 가증치를 적용하는 방안을 제안한다.

본 발명의 적어도 일 실시예에 따르면, 제안 추적기술은 가림 상황을 영상의 상관도 정보를 기반으로 판단하여, 이를 통해 가림 시의 표적의 이동경로에 대한 예측 및 감시영역 확장으로 인하여, 가림 후 표적이 나타났을 때도 항적의 끊김 형상을 방지 할 수 있어 항적 유지율이 향상되는 장점이 있다.

또한, 본 발명의 적어도 일 실시예에 따르면, 항적 초기화 과정으로 인해 소요되는 처리시간을 단축 할 수 있어 가림 후 표적 재 포착 시 신속하게 항적을 나타낼 수 있다는 장점이 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능뿐만 아니라 각각의 구성 요소들은 별도의 소프트웨어 모듈로도 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부(controller) 또는 프로세서(processor)에 의해 실행될 수 있다.

Claims (6)

1. 가림환경에서의 운동학 및 형상 정보를 활용한 다중 표적 추적 방법에 있어서,
   영상 센서를 이용하여 표적에 대한 영상을 탐지하는 탐지 단계;
   탐지된 영상을 이용하여 위치 정보 및 이미지 형상 정보를 입력 데이터로 생성하는 입력 데이터 생성 단계;
   상기 입력 데이터 중 영상정보를 기반으로 표적 추적환경의 가림유무를 판단하는 가림유무 판단단계;
   가림 환경 유무에 의해 위치 정보에 따른 거리 정보를 기반으로 게이트라는 사전에 정의된 반경내에 존재하는 거리 측정치를 갖는 표적들만을 고려하기 위해 게이트닝하는 게이트닝 단계;
   상기 게이트닝을 통하여 유효화하다고 판단되는 거리 측정치를 갖는 표적들과 상기 표적들에 해당하는 이미지 형상 정보 및 결합 확률 데이터 연관(JPDA: Joint Probability Data-Association) 기법을 이용하여 유효 행렬 및 연관 확률을 생성하기 위해 데이터 연관을 수행하는 데이터 연관 수행 단계; 및
   상기 연관 확률의 결과를 칼만필터에 반영하여 다수의 잠적 항적을 갱신하는 갱신 단계를 포함하고,
   상기 가림유무 판단단계는,
   가림 판단 시, 가림 이전의 제1 상태 변환 행렬

   

   에서, 가림 후 표적 예측 추적을 위한 제2 상태변환 행렬인

   

   로 상태변환 행렬 변경 방법을 수행하는 상태변환 행렬 변경 단계를 포함하고,
   상기 게이트닝 단계는,
   상기 가림 판단 시, 가림 후 재 포착 시 표적의 추적을 용이하게 하기 위한 적응형 게이트 설정을 위한 제2 이노베이션 공분산 행렬

   

   를 생성하는 이노베이션 공분산 행렬 생성 단계를 포함하고,
   상기 제2 공분산 행렬

   

   는 가림 이전의 제1 공분산 행렬 S에 대해 상기 가림 판단시 예상 이동량을 가중치로 적용하는 것을 특징으로 하는 다중 표적 추적 방법.
2. 제 1 항에 있어서,
   상기 이미지 형상 정보는 상기 탐지된 영상의 이미지 크기값을 이용하여 상관도 값을 구함으로써 생성되는 상기 표적들간의 형상 유사도 정보인 것을 특징으로 하는 다중 표적 추적 방법.
3. 제 1항에 있어서,
   상기 가림유무 판단단계는,
   상기 형상정보를 기반으로 표적의 추적환경의 가림유무를 판단하기 위해 이차원 이미지 상관도 값을 활용하여 가림판단을 수행하는 다중 표적 추적 방법.
4. 삭제
5. 삭제
6. 제 1항에 있어서,
   상기 제2 이노베이션 공분산 행렬 변환으로 인한 유효화 영역의 증가에 대응하는 상기 적응형 게이트의 반경에 따른 가림 이후, 표적 재 탐지를 용이하게 하기 위한 유효화 영역 반경 설정 방법을 수행하는 유효화 영역 반경 설정 단계를 더 포함하는 다중 표적 추적 방법.

Images