KR101087592B1 - Ｉｒ 영상추적기의 단일표적 추적성능 향상 방법 - Google Patents

Abstract

본 발명은 IR 영상추적기의 단일표적 추적성능 향상 방법에 관한 것으로서, 구체적으로는 현재 입력영상에서 표적과 배경의 밝기 차이를 나타내는 대조비(contrast)를 판별하는 단계와, 상기 대조비를 고려하여 표적을 배경으로부터 추출함으로서 표적의 이진 마스크 이미지를 획득하는 단계와, 상기 이진 마스크 이미지를 기반으로 기설정된 추적 과정을 수행하여 표적의 무게중심을 계산하는 단계와, 상기 표적의 이진 마스크 이미지와 무게중심을 바탕으로 추적창의 크기를 조절하는 단계와, 상기 추적창의 크기가 조절된 표적이 포함된 블록을 참조영상으로 등록하는 단계를 포함하며, 상기 기설정된 추적과정은, 무게중심 추적 과정과, 투영기반 추적 과정과, 투영기반 분할 추적 과정과, 투영기반 기억 추적 과정을 포함한다.
본 발명에 따른 IR 영상추적기의 단일표적 추적 성능 향상 방법을 이용하면, 표적의 중심을 산출하는 데 있어 낮은 계산복잡도를 가지고, 신뢰도 높은 표적 변위를 추출할 수 있으며, 표적 추출 과정에서 얻을 수 있는 장애물 탐지 효과와 투영기반 움직임 예측을 이용한 광역 탐색이 가능하다.

Description

ＩＲ 영상추적기의 단일표적 추적성능 향상 방법{METHOD FOR IMPROVING THE SINGLE TARGET TRACKING PERFORMANCE OF IR-BASED IMAGE TRACKER}

본 발명은 IR(Infrared) 영상추적기의 단일표적 추적성능 향상 방법에 관한 것으로서, 보다 상세하게는 무게중심 추적 기법과 상관 추적 기법을 융합하여 신뢰도 높은 표적 변위를 산출하는 IR 영상추적기의 단일표적 추적성능 향상 방법에 관한 것이다.

국내외에서 군사적 목적으로 통용되는 IR(Infrared) 영상추적기에 적용되는 추적 기법은, 표적의 변위를 계산하는 방식을 기준으로 크게 나누면 무게중심(Centroid) 추적 기법과 상관(Correlation) 추적 기법으로 나누어진다.

상기 무게중심 추적 기법은 분할된 표적의 무게중심을 산출하는 기본 처리방식에 따라 시변공간에서 이동하는 표적을 안정적으로 배경으로부터 추출하는 것이 성능목표이며, 표적을 식별하고 배경과 구분하기 위하여 입력영상의 밝기 정보를 사용한다. 이러한 무게중심 추적 기법을 사용하면, 빠른 처리속도와 구현의 용이함에 그 장점이 있는 반면, 배경변화에 민감하여 지향하는 표적의 중심 위치에 대한 신뢰도가 낮다는 단점이 있다.

또한, 상관 추적 기법은 참조영상(표적영역)과 탐색영역(표적을 포함한 처리영역)의 정합을 기본 처리방식으로 하여 연속 영상에서의 표적의 변위를 매 프레임마다 블록정합을 통하여 탐색하는 구조이며, 상관도 산출보다는 구조적 측면에서의 정합 방식의 개선과 참조형상에 현재 표적의 정보를 효과적으로 반영하는 기술이 전체 추적 성능을 크게 좌우한다. 이러한 상관 추적 기법을 사용하면, 블록 정합을 기본으로 하는 상관도(Correlation coefficient)를 제공함으로써 표적의 중심 위치에 대한 신뢰도가 높다는 장점이 있으나, 그 계산이 복잡하여 처리비용이 높으며, 표적이나 배경이 급변하는 경우에 대한 대응이 취약하다는 단점이 있다.

본 발명의 목적은 낮은 계산복잡도를 가지며 보다 신뢰도 높은 표적 변위를 추출하는 IR 영상추적기의 단일표적 추적 성능 향상 방법을 제공하는 데 있다.

상기 본 발명의 목적을 이루기 위한 IR 영상추적기의 단일표적 추적 성능 향상 방법은 현재 입력영상에서 표적과 배경의 밝기 차이를 나타내는 대조비(contrast)를 판별하는 단계와, 상기 대조비를 참조하여 표적을 배경으로부터 추출함으로서 표적의 이진 마스크 이미지를 획득하는 단계와, 상기 이진 마스크 이미지를 기반으로 기설정된 추적 과정을 수행하여 표적의 무게중심을 계산하는 단계와, 상기 표적의 이진 마스크 이미지와 무게중심을 바탕으로 추적창의 크기를 조절하는 단계와, 상기 추적창의 크기가 조절된 표적이 포함된 블록을 참조영상으로 등록하는 단계를 포함하며, 상기 기설정된 추적과정은, 무게중심 추적 과정과, 투영기반 추적 과정과, 투영기반 분할 추적 과정과, 투영기반 기억 추적 과정을 포함한다.

본 발명에 따른 IR 영상추적기의 단일표적 추적 성능 향상 방법을 이용하면, 표적의 중심을 산출하는 데 있어 낮은 계산복잡도를 가지고, 신뢰도 높은 표적 변위를 추출할 수 있으며, 표적 추출 과정에서 얻을 수 있는 장애물 탐지 효과와 투영기반 움직임 예측을 이용한 광역 탐색이 가능하다.

도 1은 종래 기술에 따른 일반적인 무게중심(Centroid) 추적 기법의 흐름도이다.
도 2는 종래 기술에 따른 일반적인 추적창(Target Window)의 구조를 나타낸 도면이다.
도 3은 종래 기술에 따른 일반적인 상관도(Correlation) 추적 기법의 일 실시예를 나타낸 도면이다.
도 4는 본 발명에 따른 IR 영상추적기의 단일표적 추적성능 향상 방법의 흐름도이다.
도 5는 입력영상에 표적과 유사한 특성을 가지는 클러터의 침입을 나타내는 도면이다.
도 6은 본 발명에 따른 투영기반 움직임 추정(ME: Motion Estimation)을 위한 투영 방법의 일 실시예를 나타낸 도면이다.
도 7은 일반적인 정합시와 투영 방법을 이용한 정합시의 연산량을 비교한 도면이다.
도 8은 일반적인 상관도 추적 기법과 기억추적 모드에서의 탐색영역을 나타낸다.

이하, 본 발명의 바람직한 실시예를 도면을 참조하여 상세하게 설명한다.

도 1은 종래 기술에 따른 일반적인 무게중심(Centroid) 추적 기법의 흐름도이다. 도 1에 도시된 바와 같이, 무게중심 추적 기법은 대조비(contrast)를 판별하는 단계와, 표적을 배경으로부터 추출하는 단계와, 상기 추출한 표적으로부터 상기 표적의 중심점을 계산하는 단계와, 상기 표적의 형태 및 크기 변화에 대처하기 위하여 추적창의 크기를 조절하는 단계를 포함한다.

각 단계의 구체적인 동작은 다음과 같다. 먼저, 상기 대조비를 판별하는 단계에서는 입력영상에서 표적과 배경의 밝기 차이를 나타내는 대조비를 판별한다. 그리고, 상기 표적을 배경으로부터 추출하는 단계에서는 상기 대조비, 불필요한 배경 잡음 및 클러터의 밝기를 참조하여 표적을 배경으로부터 추출하며, 상기 추출의 결과 표적의 이진 마스크 이미지를 획득하게 된다 (J. Kittler and J. Illingworth, Minimum Error Thresholding, Pattern Recognition, vol. 19, No. 1, pp41-47 (1986) 참조). 이때, 상기 이진 마스크 이미지는 표적의 중심을 산출하고 표적 가림 유무를 판별하기 위한 입력값으로도 사용된다.

다음으로, 상기 추출한 표적으로부터 상기 표적의 중심점을 계산하는 단계에서는 상기 이진 마스크 이미지로부터 표적의 무게중심을 계산하며 그 과정은 수학식 1에 나타난다.

다음으로, 상기 추적창의 크기를 조절하는 단계를 설명하기 위하여 도 2를 참조한다. 도 2는 종래 기술에 따른 일반적인 추적창(Target Window)의 구조를 나타낸 도면이다. 도 2에 도시된 바와 같이, 표적창(210)은 배경창(211), 경계창(212) 및 추적창(213)을 포함한다. 그리고, 상기 추적창(213)의 크기를 조절하는 단계(S104)에서는, 상기 표적창(210) 내에서의 표적 점유율을 항상 일정하게 유지시켜 평행을 유지하려는 평형점 원리를 근거로 표적의 중심과 표적창의 중심은 항상 일치한다고 가정하며, 이때 추적창(211)의 크기는 표적창(210)에서의 표적 점유율에 따라 좌우 또는 상하 대칭으로 확대 또는 축소된다. 이때, 배경창(211)은 표적정보와 배경정보를 비교할 때 이상적인 결과를 얻을 수 있도록 표적추출 알고리즘과 연동하여 추적창 대비 면적비율이 결정되고, 배경창(211)에 속한 입력영상은 표적추출을 위한 배경정보 제공 뿐 아니라 표적의 가림 여부를 미리 판단하는 수단이 된다.

도 3은 종래 기술에 따른 일반적인 상관도(Correlation) 추적 기법의 일 실시예를 나타낸 도면이다. 도 3에 도시된 바와 같이, 일반적인 상관도 추적 기법에서는, 최초 입력영상에서 표적이 위치한 영역의 블록을 참조영상(Reference Image)으로 등록하고, 참조영상이 현재 프레임의 어느 위치로 이동하였는지 탐색한다. 현재 프레임에서 표적이 위치한 영역의 블록은 이전 참조영상과 융합하여 새로운 참조영상을 만들고, 다음 프레임의 입력영상에서 정합점이 최대인 좌표를 찾아서 목표를 추적한다. 이 기법은 블록내의 모든 화소가 동일 방향으로 이동하고, 회전 또는 크기의 변화가 없다고 가정한다. 움직임을 추정하기 위한 방법은, 기준영상의 크기가 N×N이고 한 블록에서 프레임간의 최대 이동거리를 w화소라고 하면, 이동거리는 상하 좌우 방향으로 최대 w화소만큼 움직임이 발생할 수 있다. 즉, 정합점이 최대인 점을 추정하기 위해서는 (2w+N)×(2w+N) 화소수를 탐색하여야 한다.

이때, 상기 참조영상은 표적이 속한 블록을 탐색영역 내에서 정합하기 위하여 사용된다.

본 발명에서는 구조적으로 다른 무게중심 추적 기법과 상관 추적 기법을 융합하여 각 기법의 장점을 취하도록 한다.

본 발명에 따른 IR 영상추적기의 단일표적 추적성능 향상 방법은 a) 현재 입력영상에서 표적과 배경의 밝기 차이를 나타내는 대조비(contrast)를 판별하는 단계(S410)와, b) 상기 대조비를 참조하여 표적을 배경으로부터 추출함으로서 표적의 이진 마스크 이미지를 획득하는 단계(S420)와, c) 상기 이진 마스크 이미지를 기반으로 기설정된 추적 과정을 수행하여 표적의 무게중심을 계산하는 단계(S430)와, d) 상기 표적의 이진 마스크 이미지와 무게중심을 바탕으로 추적창의 크기를 조절하는 단계(S440)와, e) 상기 추적창의 크기가 조절된 표적이 포함된 블록을 참조영상으로 등록하는 단계(S450)를 포함하며, 상기 기설정된 추적과정은, 무게중심 추적 과정과, 투영기반 추적 과정과, 투영기반 분할 추적 과정과, 투영기반 기억 추적 과정을 포함한다. 또한, 상기 a) 내지 e) 단계를 최종 영상 프레임까지 반복하여 수행하도록 구성할 수도 있다. 이때, 본 발명에 따른 IR 영상추적기의 단일표적 추적성능 향상 방법은 f) 현재 영상이 최종 영상인지 여부를 판단하는 단계(S460)를 더 포함하도록 구성할 수 있다.

각 단계를 구체적으로 살펴보면 다음과 같다.

먼저, 상기 대조비를 판별하는 단계(S410)와, 상기 표적의 이진 마스크 이미지를 획득하는 단계(S420)는 상술한 무게중심 추적 기법에서 설명한 바와 같다.

다음으로, 상기 표적의 무게중심을 계산하는 단계(S430)에서의 기설정된 추적 과정에 대하여 살펴보기로 한다.

본 발명에 따른 IR 영상추적기의 단일표적 추적성능 향상 방법에서는 최초 입력영상을 대상으로 종래 기술에 따른 무게중심 추적 과정을 수행하여 표적 이진 마스크 이미지를 산출하게 되며, 산출된 상기 표적 이진 마스크 이미지를 포함하는 블록을 참조영상으로 등록한다. 그리고, 그 후의 입력영상에 대하여는 상기 참조영상을 바탕으로 클러터의 침입이 없거나 미미한 경우에는 종래 기술에 따른 무게중심 추적 과정과 같이 상기 이진 마스크 이미지로부터 표적의 무게중심을 계산하여 표적을 추적하게 되며, 클러터의 침입이 감지되어 표적의 중심점 계산에 문제가 있다고 판단되는 경우에는 투영기반 추적 과정을 수행하여 표적을 추적하게 된다. 즉, 상기 이진 마스크 이미지의 상태변화를 기반으로, 즉, 추적창 내에서 표적과의 유사특성으로 인하여 표적으로 잘못 분리되는 클러터의 면적을 반영하여 아래와 같은 과정을 달리 수행하도록 하고, 각각의 과정은 추적 모드를 결정하는 파라미터로 사용한다.

각 과정은 다음과 같다. 먼저, 클러터 침입 비중이 낮아 배경과 표적이 일정하게 분리되어 무게중심 추적이 정상적으로 수행될 수 있는 상태를 정상추적 과정이라고 한다. 이와 같은 클러터의 침입 비중을 판단하기 위하여, 상기 무게중심 추적 과정은 표적 추출 단계에서 표적 주변의 클러터를 제거하기 위하여 라벨링(Labeling)을 수행하는데, 제거 대상인 클러터와 표적이 인접하여 제거할 수 없는 클러터가 존재할 수 있다. 따라서, 본 발명에 따른 IR 영상추적기의 단일표적 추적성능 향상 방법에서는, 상기 클러터의 존재 여부 및 존재 비중에 따라 표적의 중심 추적 과정을 달리한다.

구체적으로, 상기 정상추적 과정은, 상기 이진 마스크 이미지로부터 판단하여 표적과 비인접한 클러터의 면적이 전후좌우 4방향 각각의 배경창 면적의 20% 이하일 때 수행된다. 이때는 클러터의 침입을 고려하지 않으므로, 상기 이진 마스크 이미지로부터 표적의 무게중심을 계산한다. 이때, 경계창(212)은 상기 경계창(212) 내 표적의 면적을 30%로 유지하여 표적을 추적창(213) 내부에 위치하도록 유도하고, 배경창(211)은 배경과 표적을 분할하기 위하여 배경의 밝기 정보를 제공한다. 상기 경계창(212)과 배경창(211)의 위치와 크기는 표적 분할의 목적에 부합하여 결정되지만, 상기 표적 분할의 목적 이외에도 추적의 전체 흐름을 제어하기 위하여 표적과 유사한 밝기를 가지는 클러터를 감시할 수 있는 기능에 대하여 상기와 같은 정량적 판단 기준의 추가가 가능한 구조를 가지도록 한다.

도 5는 입력영상에 표적과 유사한 특성을 가지는 클러터의 침입을 나타내는 도면이다. 도 5에 도시된 바와 같이, 입력영상에서 클러터가 점유하는 면적이 임계값 이상일 때, 클러터가 표적 중심을 산출하는데 큰 영향을 미치게 되므로 하부(bottom) 방향의 추적창을 사용하여 표적의 중심점을 산출한다. 이때, 임계값은 상기 클러터가 발생한 배경창 면적의 20%를 의미한다. 본래 무게중심 추적은 표적으로 분할되는 면적이 일정하지 않기 때문에 상관도를 이용한 추적방식보다 표적 중심에 대한 오차가 크다.

무게중심 추적의 표적 이진 마스크 이미지의 형태가 일정하지 않은 근본적인 이유는 무게중심 추적이 히스토그램 기반의 임계 분할을 사용하기 때문이고, 매 프레임마다 다른 임계점을 적용하기 때문이다. 이는 표적 주변의 배경 히스토그램 변화에 적응하여 표적을 배경으로부터 명확하게 분리하기 위한 작업이지만, 일정하지 않은 표적 마스크의 형상은 상관도 방식의 적용을 방해함은 물론, 표적과 유사한 특성을 가지는 클러터를 표적으로 인식할 가능성도 있다.

다음으로, 투영기반 추적 과정에 대하여 설명하도록 한다. 상기 투영기반 추적 과정은 종전 참조영상이 생성되어 있는 경우에 한하여 수행되며, 상기 이진 마스크 이미지로부터 판단하여 표적과 비인접한 클러터의 침입 면적이 전후좌우 4방향 각각의 배경창 면적의 20%를 초과할 때 개시된다. 이것은, 클러터의 침입 면적이 배경창 면적의 30%를 초과하는 것에 의한 경계창 기능상실에 대한 대비로, 추적창 크기 조절을 동결하고, 표적 중심의 오차를 줄이기 위하여 투영기반 추적 과정으로 전환된다. 이와 같은 상기 투영기반 추적 과정은 무게중심 추적이 사용하는 이진표적 마스크의 상태를 반영하여 동작함으로써, 무게중심 추적 과정에 따른 경우의 처리속도 저하를 최소화하는 범위 내에서 그 단점을 보완한다.

표준 영상압축 기술인 H.264에서 블록의 움직임을 추정하기 위하여 수행하는 투영의 방향은 vertical, horizontal, diagonal down-left, diagonal down-right, vertical-left, vertical-right, horizontal-down, horizontal-up으로 구성되어 있으며, 본 발명에 따른 투영기반 추적 과정에서의 투영방향을 결정하기 위해서는 무게중심 추적 과정에 속하는 표적 추출 방식과 표적 추출의 결과로 생성되는 마스크 이미지의 특성을 이해하는 것이 중요하다. 즉, 무게중심 추적 기법의 표적 추출 단계(S102)에서 얻어지는 표적의 이진 마스크 이미지는 표적을 중심으로 밀집한 형태를 가지며, 이것은 투영기반 움직임 추정 결과를 얻기 위한 이상적인 형태로서 추적기에 필요한 수직성분 변위와 수평성분 변위는 수직(vertical)과 수평(horizontal) 방향의 투영기반 움직임 추정만으로 얻어질 수 있다.

상기 투영기반 추적 과정의 구체적인 진행에 대해서는 도 6과 도 7을 참조하여 설명하도록 한다. 도 6은 본 발명에 따른 투영기반 움직임 추정(ME: Motion Estimation)을 위한 투영 방법의 일 실시예를 나타낸 도면이고, 도 7은 일반적인 정합시와 투영 방법을 이용한 정합시의 연산량을 비교한 도면이다. 한편, 상기와 같이 표적의 중심점 추적을 위한 움직임 추정 연산이 커짐에 따라 가장 많은 부담이 되는 것은 상관도 계산을 위한 픽셀간 차이의 절대값을 합산하는 과정이다. 예를 들어, 일반적으로 좌표 하나의 상관도를 구하기 위한 16×16 크기 블록의 픽셀간 차이의 절대값을 합산하기 위해서는 각각 256번의 뺄셈 연산, 절대값 연산, 덧셈 연산이 요구된다. 이와 달리, 도 6에 도시된 것처럼 투영기반 움직임 추정을 위한 투영 방법을 이용하면, 현재 블록과 참조 블록의 2차원 이미지들을 각각 1차원으로 투영시킨 후, 우선적인 1차원 비교를 통하여 추후의 2차원 비교 대상을 선별함으로써 과도한 2차원 비교 연산을 줄일 수 있다. 결과적으로, 도 7에 도시된 바와 같이, 16×16 크기 블록에 대한 연산에 있어, 본 발명에 따른 투영기반 추적 과정을 이용한 정합시 연산량이 일반적인 정합시의 연산량에 비하여 1/16만큼 감소하였음을 알 수 있다. 이때, 2차원 블록의 1차원으로의 투영 자체에 대한 계산이 부가적인 부담이 될 수도 있겠지만, 이미 계산된 투영값을 다음 검색 위치에서 재사용함으로써 투영 연산 자체를 최소화할 수 있다.

이때, 상기 참조영상은 표적이 속한 블록을 탐색영역 내에서 정합하기 위하여 사용되며, 투영 기반 움직임 추정을 위하여 전처리 과정을 거쳐야 한다. 전처리 과정은 수평방향 투영 과정과 수직방향 투영 과정을 포함하며, H.264에서 화면간 블록을 결정하는 참조영상 분할은, 참조영상 전체를 하나의 블록으로 가정하고 참조블록의 폭을 W, 높이를 H로 가정할 때, W×H, W/2×H, W×H/2, W/2×H/2의 사이즈로 수행된다. 또한, 탐색영역은 참조영상의 수평방향과 수직방향의 누적합 연산과 차 연산을 수반한다. 상기 전처리 과정은 일정구간의 방향성분에 따라 누적된 참조영상과 비교하기 위한 구조로 구성된다. 최초 탐색영역을 관리하는 프로세스는 참조영상과 비교할 탐색영역을 지정하고, 상기 참조영상의 폭(W)과 높이(H)만큼을 누적한 값을 해당 픽셀에 저장한다. 이와 같은 과정은 탐색영역 전체를 수평방향과 수직방향으로 누적하는 계산과 상기 참조영상의 폭과 높이만큼 떨어진 픽셀들의 차를 구하는 것에 의하여 구현이 가능하다. 이때, 탐색영역에 가림이 발생한 경우 참조블록과 탐색영역간의 정합을 정확히 수행하기 위하여, 참조블록을 등록할 때 탐색영역의 이진화 임계치를 고정할 필요가 있으며, 상기 이진화 임계치는 참조영상에 대한 가림이 일어나기 직전 프레임에 대한 이진화 수치 범위가 된다.

상기 투영기반 추적 과정에서는 상기 탐색영역의 중심을 기준으로 하고, 상기 이진 마스크 이미지의 1차원 수평투영정합 및 1차원 수직투영정합에 의하여 획득한 표적의 상대적 위치를 이용하여 표적의 무게중심을 계산한다. 구체적으로 설명하면 다음과 같다. 우선, 투영된 참조블록이 상기 탐색영역 내에서 최대 상관도를 갖는 탐색점을 찾는 것으로부터 시작한다. 즉, 상기 최대 상관도를 갖는 탐색점을 찾기 위하여, 상기 참조블록의 탐색영역으로의 수평투영 정합과 상기 참조블록의 탐색영역으로의 수직투영 정합은 순차적으로 수행되며, 상기 수평투영 정합에 의하여 표적의 상대적인 수직위치(y)를 산출하고 상기 수직투영 정합에 의하여 표적의 상대적인 수평위치(x)를 산출한다. 그리고, 상기 탐색영역의 중심을 기준으로 상기 산출한 표적의 상대위치를 이용하여 표적의 무게중심을 계산하게 된다.

다음으로, 투영기반 분할 추적 단계에 대하여 살펴본다. 구체적으로, 상기 투영기반 분할 추적 단계는 종전 참조영상이 생성되어 있는 경우에 한하여 수행되며, 지속적인 클러터의 침입 단계, 즉 상기 이진 마스크 이미지로부터 판단하여 표적과 연결된 인접 클러터의 면적이 표적 면적의 25%를 초과할 때 개시된다. 이것은, 클러터가 발생한 배경창 방향의 추적창 오염이 확산되는 단계로서, 이때 상기 투영기반 분할 추적은 상기 클러터가 발생한 배경창의 반대방향 50% 면적의 추적창의 참조블록을 구성하여 수행된다.

상기 투영기반 분할 추적의 목적은 표적의 국부변형과 가림 현상 발생시 왜곡되는 표적의 중심점을 보정하기 위하여 사용되며, 클러터의 간섭(clutter interference)이 발생한 표적 부위를 제외한 나머지 표적 영역을 대상으로 상기 투영기반 추적 과정을 수행하여 표적의 무게중심을 구하는 것을 기본 동작으로 한다. 상기 표적의 왜곡을 판별하는 기준과 방법은 다양하지만, 가장 단순하게는 무게중심 추적의 경우, 추적창과 배경창에서의 표적과 클러터가 점유하는 면적을 참조하는 것이고, 상관도 추적의 경우 추적창을 일정한 크기의 블록으로 분할하여 각각의 블록에서의 정합 오차를 산출하는 것이다. 결국에는 신뢰할 수 있는 표적의 일부를 표적 중심점 추정에 사용함으로써, 표적 전체를 사용할 때 발생할 수 있는 표적의 중심점 추정시의 오차를 줄일 수 있게 된다.

다음으로, 상기 투영기반 기억 추적 과정은 종전 참조영상이 생성되어 있는 경우에 한하여 수행되며, 배경의 변화로 정상적인 표적 추출이 불가능한 상태에서 수행된다. 여기서, 상기 배경의 변화로 정상적인 표적 추출이 불가능한 상태라 함은, 상기 이진 마스크 이미지로부터 판단하여 배경창에서의 클러터 비중은 제외하고 경계창 내부의 표적과 인접한 클러터 면적이 표적 면적의 60%를 초과할 때를 의미하며, 이때가 추적창 오염의 확산으로 분할 추적이 불가능한 상태이며, 서보(servo)의 등속 운동을 유지하면서 표적 재포착을 수행하는 기억 추적 단계로 전환되는 때이다. 여기서, 표적 재포착이라 함은 정상적인 표적추출이 가능한 상태로 복귀한 상태, 즉 탐색영역 내에 표적이 탐지되어 이전의 표적 신뢰도로 복귀한 상태를 의미한다. 한편, 상관도 추적에서의 표적가림은 표적의 신뢰도(상관도)가 떨어져 화면에서 표적이 사라진 상태를 의미한다. 표적 가림이 발생한 이후 표적 재포착까지의 시간을 가림시간(Blind Time)이라고 하면, 표적의 위치를 찾기 위해 검색하는 탐색영역은 상기 가림시간에 비례하여 크기를 늘리게 된다. 즉, 상기 투영기반 기억추적 과정에서는 상기 가림시간(Blind Time) 동안 상기 가림시간 직전의 표적 이진 마스크 이미지를 사용하여 표적 재포착 작업을 수행하게 된다. 무게중심 추적의 경우, 표적 재포착을 위한 탐색영역 확장은 처리량의 압박이 적은 대신 재포착한 표적에 대한 신뢰도가 낮으며, 상관도 추적의 경우, 표적 재포착을 위한 탐색영역 확장은 처리량의 증폭으로 이어진다.

상기 투영기반 추적 기법에 사용하는 히스토그램 분할 임계값은 투영기반 추적 단계로 진입하는 프레임의 임계값을 취함으로써 표적의 마스크 변형을 최소화한다. 투영기반 추적 또는 정상추적에서의 분할 추적으로의 연계는 표적중심 산출의 오차와 기억추적 진입 빈도를 최소화하고 재포착 확률을 최대화하여 추적의 지속성을 보장한다.

상기 투영기반 추적 기법의 장점은 빠르고 신뢰성 있는 표적 재포착 성능이다. 분할 추적을 수행하는 분할 블록에 대해 경계창 내부의 표적과 인접한 클러터의 침입 면적이 표적 면적의 60%를 초과하는 경우, 기억 추적 단계로 진입하여 최초 투영기반 추적 단계로 진입한 시점의 표적 마스크를 재사용하여 기억 추적 단계 이후의 표적 재포착 작업을 수행한다.

무게중심 추적 단계의 경우 빠른 처리속도로 재포착을 위한 탐색영역 확장이 가능하나, 지상 표적을 대상으로 할 경우 유사 클러터 발생 확률이 높아 표적의 신뢰도가 현저히 낮아진다. 한편, 상관도 추적 단계의 경우 재포착한 표적에 대한 신뢰도가 높으나 처리량의 한계로 탐색영역 확장에 제한이 있으며 지상 표적을 대상으로 할 경우 일정하지 않은 표적 궤도로 인하여 표적 손실 가능성이 높다.

다음으로, 상기 추적창의 크기를 조절하는 단계(S440)는 상술한 무게중심 추적 기법에서의 추적창 크기 조절 단계(S104)와 같은 기능을 수행한다.

다음으로, 상기 추적창의 크기가 조절된 표적이 포함된 블록을 참조영상으로 등록하는 단계(S450)에서는 다음 프레임과의 정합을 위하여 현재 추적된 표적 영상이 포함된 블록을 참조영상으로 등록하며, 탐색영역에 가림이 발생한 경우에는 참조영상의 범위를 고정하기 위하여 탐색영역의 이진화 임계치를 고정한다. 그리고, 탐색영역의 이진화 임계치는 참조영상과 탐색영역의 제대로 된 정합을 수행하기 위하여 참조영상에 대한 가림이 일어나기 직전 프레임에 대한 이진화 수치 범위로 설정한다.

마지막으로, 현재 영상이 최종 영상인지 여부를 판단하는 단계(S460)를 더 포함하도록 구성할 수 있는데, 이는 본 발명이 처음 영상프레임부터 최종 영상프레임까지 이동하는 표적을 추적하도록 구성하기 위한 단계이다.

도 8은 일반적인 상관도 추적 기법과 기억추적 모드에서의 탐색영역을 나타낸다. 도 8에 도시된 바와 같이, 투영기반 추적은 1차원 비교를 수행하므로 2차원 비교를 요구하는 상관 추적에 비해 광범위한 영역을 탐색영역으로 설정할 수 있고, 이에 따라 표적손실 확률이 낮고 빠른 재포착으로 기억추적 모드 재진입에 요구되는 표적의 궤적 산출에 유리하다.

이상에서 설명한 바와 같이, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용이 가능함은 당업자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

211 : 배경창 212 : 경계창
213 : 추적창

Claims (10)

1. a) 현재 입력영상에서 표적과 배경의 밝기 차이를 나타내는 대조비(contrast)를 판별하는 단계;
   b) 상기 대조비를 참조하여 표적을 배경으로부터 추출함으로써 표적의 이진 마스크 이미지를 획득하는 단계;
   c) 상기 이진 마스크 이미지를 기반으로 기설정된 추적 과정을 수행하여 표적의 무게중심을 계산하는 단계;
   d) 상기 표적의 무게중심을 기준으로 표적창에서의 상기 표적의 이진 마스크 이미지의 점유율에 대응하여 추적창의 크기를 조절하는 단계; 및
   e) 상기 추적창의 크기가 조절된 표적이 포함된 블록을 참조영상으로 등록하는 단계를 포함하며,
   상기 기설정된 추적과정은,
   무게중심 추적 과정과, 투영기반 추적 과정과, 투영기반 분할 추적 과정과, 투영기반 기억 추적 과정을 포함하는 것을 특징으로 하는 IR 영상추적기의 단일표적 추적 성능 향상 방법.
2. 제 1 항에 있어서,
   상기 a) 내지 e) 단계를 최종 영상 프레임까지 각 영상 프레임마다 반복하여 수행하는 것을 특징으로 하는 IR 영상추적기의 단일표적 추적 성능 향상 방법.
3. 제 1 항에 있어서,
   상기 무게중심 추적 과정은, 상기 이진 마스크 이미지로부터 판단하여 표적과 비인접한 클러터의 면적이 전후좌우 4방향 각각의 배경창 면적의 20% 이하일 때 수행되는 것을 특징으로 하는 IR 영상추적기의 단일표적 추적 성능 향상 방법.
4. 제 1 항에 있어서,
   상기 투영기반 추적 과정은, 종전 참조영상이 생성되어 있는 경우에 한하여 수행되며, 상기 이진 마스크 이미지로부터 판단하여 표적과 비인접한 클러터의 침입 면적이 전후좌우 4방향 각각의 배경창 면적의 20%를 초과할 때 수행되는 것을 특징으로 하는 IR 영상추적기의 단일표적 추적 성능 향상 방법.
5. 제 1 항에 있어서,
   상기 투영기반 분할 추적 과정은, 종전 참조영상이 생성되어 있는 경우에 한하여 수행되며, 상기 이진 마스크 이미지로부터 판단하여 표적과 인접한 클러터의 면적이 표적 면적의 25%를 초과할 때 수행되는 것을 특징으로 하는 IR 영상추적기의 단일표적 추적 성능 향상 방법.
6. 제 1 항에 있어서,
   상기 투영기반 기억추적 과정은, 종전 참조영상이 생성되어 있는 경우에 한하여 수행되며, 상기 이진 마스크 이미지로부터 판단하여 배경창에서의 클러터 비중은 제외하고 경계창 내부의 표적과 인접한 클러터의 면적이 표적 면적의 60%를 초과할 때 수행되는 것을 특징으로 하는 IR 영상추적기의 단일표적 추적 성능 향상 방법.
7. 제 1 항에 있어서,
   상기 투영기반 추적 과정에서 탐색영역에 가림이 발생한 경우에는, 상기 무게중심 추적 과정의 이진 마스크 이미지를 참조영상으로 등록할 때, 상기 탐색영역의 이진화 임계치를 고정하는 것을 특징으로 하는 IR 영상추적기의 단일표적 추적 성능 향상 방법.
8. 제 1 항에 있어서,
   상기 투영기반 추적 과정에서는 탐색영역의 중심을 기준으로 하고, 상기 이진 마스크 이미지의 1차원 수평투영정합 및 1차원 수직투영정합에 의하여 획득한 표적의 상대적 위치를 이용하여 표적의 무게중심을 계산하는 것을 특징으로 하는 IR 영상추적기의 단일표적 추적 성능 향상 방법.
9. 제 1 항에 있어서,
   상기 투영기반 분할 추적 과정에서는 클러터의 간섭이 발생한 표적 부위를 제외하고 나머지 표적 영역을 대상으로 투영기반 추적 과정을 수행하여 표적의 무게중심을 계산하는 것을 특징으로 하는 IR 영상추적기의 단일표적 추적 성능 향상 방법.
10. 제 1 항에 있어서,
    상기 투영기반 기억추적 과정에서는 가림시간(Blind Time) 동안 상기 가림시간 직전의 표적 이진 마스크 이미지를 사용하여 표적 재포착 작업을 수행하는 것을 특징으로 하는 IR 영상추적기의 단일표적 추적 성능 향상 방법.

Images