KR20100041169A - 영상 추적 장치 및 그의 클러터 제거 방법 - Google Patents

Abstract

영상 추적 장치 및 영상 추적 장치에 의한 클러터 제거 방법이 개시된다. 본 발명에 따라 추적창의 영상에서 직접 표적 추출과정을 수행하지 않고, 2차 가우스 가중함수에 의해 영상 처리를 수행하고, 2차 가우스 가중함수가 적용된 영상에 대하여 표적 추출을 수행함으로써 클러터의 영향이 제거된 영상을 얻을 수 있고, 클러터가 제거된 영상으로부터 원하는 표적만을 정밀하게 추출할 수 있다.

영상 추적 장치, 가우스 가중 함수

Description

영상 추적 장치 및 그의 클러터 제거 방법{IMAGE TRACKING APPARATUS AND METHOD FOR ELIMINATING CLUTTERS THEREOF}

본 발명은 영상 추적 장치 및 그의 클러터 제거 방법에 관한 것으로서, 더욱 상세하게는 센서로부터 입력된 영상에 가중함수를 통해 영상 처리함으로써 클러터를 제거할 수 있도록 한 영상 추적 장치 및 그의 클러터 제거 방법에 관한 것이다.

일반적으로, 영상 추적 장치는 적외선 센서로부터 획득된 영상정보를 이용하여 표적의 이동변위를 실시간으로 계산하여 지속적으로 조준선(LOS: Line of Sight)이 표적을 지향하도록 센서 플랫폼을 제어하므로, 항공이나 해상 분야뿐만 아니라 지상에서도 주/야에 관계없이 정지 또는 이동 표적을 자동으로 추적할 수 있는 장점이 있다.

이러한 항공, 해상 및 지상용 표적 등을 추적하기 위한 표적의 이동변위를 실시간으로 연산하기 위한 방법으로 무게 중심법을 흔히 사용하고 있다. 이러한 영상 추적 장치의 무게 중심법에 있어서, 표적 추출 방법들은 표적이 배경과 경계가 명확히 존재할 것이라는 가정에서 사용되고 있다. 이러한 가정 하에, 표적과 배경이 구분되는 환경에서는 상기의 표적 추출 성능이 우수하고, 표적 중심점을 정확하 게 산출할 수 있다.

그러나, 차기전차와 같이 지상 환경에서 주로 운용되는 지상무기체계의 경우는 표적과 유사 밝기 특성을 포함하는 클러터(Clutter) 등의 배경 성분에 영향을 받는다. 따라서, 지상 환경에서와 같이 표적 주위에 표적과 유사 밝기 특성을 포함하는 지상 클러터 등에 의해 경계가 명확히 구분되지 않게 됨으로써 세밀하게 표적을 추출하지 못하는 문제점이 있다.

본 발명은 입력 영상 내의 추적창에 포함된 배경 또는 클러터의 영향을 최소화하여 표적 추출 시 표적과 배경의 오분류 확률을 감소시켜 표적 추출의 정확도를 높일 수 있도록 한 영상 추적 장치 및 그의 클러터 제거 방법을 제공함에 그 목적이 있다.

또한, 본 발명은 입력 영상에서 추적창 내부의 영상에 대해서 2차원 가우스 가중함수 처리를 수행하여 추적하고자 하는 표적 주변에 표적과 유사한 밝기 특성을 갖는 지상 클러터를 제거할 수 있도록 한 영상 추적 장치 및 그의 클러터 제거 방법을 제공함에 또 다른 목적이 있다.

상기 목적을 달성하기 위한 본 발명에 따른 영상 추적 장치는 입력 영상 내에 추적창을 생성하고, 상기 추적창 내부 영상에 가중함수를 근거로 영상 처리하여 출력하는 영상 처리 유닛과, 상기 영상 처리 유닛으로부터 출력된 영상으로부터 히스토그램을 획득하는 히스토그램 획득 유닛과, 상기 히스토그램을 근거로 표적을 추출하는 표적 추출 유닛을 포함하여 구성된다.

또한, 본 발명에 따른 영상 추적 장치의 클러터 제거 방법은 입력 영상 내에 추적창을 생성하고, 2차원 가우스 가중함수를 근거로 상기 추적창을 영상 처리하는 단계와, 상기 영상 처리된 추적창으로부터 히스토그램을 획득하는 단계와, 상기 히스토그램을 근거로 표적을 추출하는 단계를 포함하여 구성된다.

본 발명에 따라 추적창의 영상에서 직접 표적 추출과정을 수행하지 않고, 2차 가우스 가중함수에 의해 영상 처리를 수행함으로써 클러터의 영향이 제거된 영상을 얻을 수 있는 효과가 있다.

또한, 본 발명에 따라 2차 가우스 가중함수가 적용된 영상에 대하여 표적 추출을 수행함으로써 클러터가 제거된 영상으로부터 원하는 표적만을 정밀하게 추출할 수 있는 장점이 있다.

본 발명에 따른 영상 추적 장치는 입력 영상 내에 추적창을 생성하고, 상기 추적창 내부 영상에 가중함수를 근거로 영상 처리하여 출력하는 영상 처리 유닛과, 상기 영상 처리 유닛으로부터 출력된 영상으로부터 히스토그램을 획득하는 히스토그램 획득 유닛과, 상기 히스토그램을 근거로 표적을 추출하는 표적 추출 유닛을 포함하여 구성된다.

이하, 첨부한 도면을 참조하여 본 발명에 따른 영상 추적 장치 및 그의 클러터 제거 방법을 상세히 설명한다.

도 1은 본 발명에 따른 영상 추적 장치의 구성을 개략적으로 도시한 구성도로서, 이에 도시한 바와 같이, 본 발명에 따른 영상 추적 장치는 입력 영상 내에 추적창을 생성하고, 상기 추적창 내부 영상에 가중함수를 근거로 영상 처리하여 출력하는 영상 처리 유닛(300)과, 상기 영상 처리 유닛으로부터 출력된 영상으로부터 히스토그램을 획득하는 히스토그램 획득 유닛(400)과, 상기 히스토그램을 근거로 표적을 추출하는 표적 추출 유닛(500)을 포함하여 구성된다. 또한, 영상 입력 유닛(100)과, 대조비 판단 유닛(200)과, 표적 중심점 연산 유닛(600)과, 표적 이동변위 연산 유닛(700)과, 추적창 조정 유닛(800)을 더 포함하여 구성된다.

상기 영상 입력 유닛(100)은 매 프레임 주기(예를 들어 30Hz 또는 60Hz)마다 디지털 영상데이터를 수신한다. 상기 대조비 판단 유닛(200)은 상기 영상 입력 유닛(100)을 통해 수신된 입력 영상으로부터 추적하고자하는 표적이 배경에 비해 밝은지 어두운지를 판단하기 위해 표적과 배경의 대조비를 판단한다.

상기 영상 처리 유닛(300)은 상기 대조비 판단 유닛(200)을 거친 상기 추적창 내부 영상에 가중함수를 근거로 영상 처리한다. 즉, 상기 영상 처리 유닛(300)은 도 2와 같은 2차원 가우스 함수 형태의 가중함수를 입력 영상의 추적창 내부 영상과 곱하여 영상 처리한 다음, 출력한다. 이를 통해 지상에 존재하는 클러터의 영향이 어느 정도 제거된 영상을 제공할 수 있다. 상기 영상을 이용하여 표적 추출 과정을 수행하게 되면 원하는 표적만을 정교하게 추출할 수 있다.

상기 영상 처리 유닛(300)은 도 2에 도시한 바와 같은 가우스 함수 형태의 가중함수를 사용하며, 가중함수의 중심점은 추적필터의 출력인 표적의 예측 중심점과 일치하도록 적용된다. 이 경우에, 가우스 함수의 형태를 결정하는 변수인 표준편차 값은 표적의 크기에 대응되는 변수로서 표적창의 크기 값에 따라 자동으로 결정되는 적응형 방식을 사용한다. 가우스 가중함수는 임의의 시간에 입력되는 영상이 2차원의 데이터 구조를 가지므로 수학식 1의 2차원 가우스 함수를 사용하는 것이 바람직하다.

여기서, f(x,y)는 화소 위치 (x,y)에서 함수의 크기를 나타내고,

는 수평 및 수직방향의 평균을 나타내고,

는 수평 및 수직방향의 표준편차를 각각 나타낸다. 그리고,

는 각 방향 분포의 상관계수를 나타낸다. 추적창 내의 표적이 이동시 표적의 방향을 고려하여 적절한 가우스 함수를 적용하면 효과적으로 물체를 추출할 수 있다. 그러나, 이 경우에는 매 입력 영상의 프레임마다 표적의 방향을 계산하여야 하므로 연산 시간이 많이 필요하게 된다. 여기서, 일반적인 2차원 가우스 함수를 사용할 수 있으나, 상관계수 값을 0으로 사용하는 것이 바람직하다. 즉, 화면상의 두 축에 대하여 표적의 각 방향의 크기 변수는 독립이라고 가정하고, 함수의 크기는 1로 정규화한다. 이 경우에, 가우스 가중함수는 수학식 2와 같이 2개의 1차원 가우스 함수의 곱으로 표현된다.

도 2는 도 1에서의 2차원 가우스 가중함수를 도시한 도로서, 두 방향의 상관계수가 0인 경우의 가우스 가중함수의 형태를 나타낸다.

상기 히스토그램 획득 유닛(400)은 입력 영상에서 추적창 내부의 그레이 화소의 빈도수를 계산한다. 일반적으로 영상의 밝기레벨이 256 그레이 레벨인 경우 히스토그램도 256개의 밝기 레벨에 해당하는 화소의 농담 분포를 갖는다.

상기 표적 추출 유닛(500)은 무게 중심법에서 가장 핵심적인 구성요소로서, 상기 히스토그램 정보를 활용하여 추적창 내부에서 표적과 배경을 적절히 분리하는 역치화(thresholding) 작업을 수행하고 이진화 영상을 생성한다. 이때 역치화점을 기준으로 어느 쪽을 표적으로 분류하고 어느 쪽을 배경으로 분류하는가는 상기 대조비 판별에 의해 결정되어진다. 만일 상기 대조비 판별에 의해 표적이 배경보다 밝은 경우는 역치화점보다 큰 값을 가지는 그레이 화소들은 표적으로 분류가 된다.

상기 표적 중심점 연산 유닛(600)은 상기 표적 추출을 통해 구해지는 이진화 영상에서 기하학적인 무게중심법 계산방식을 이용하여 표적의 중심을 계산한다.

상기 표적 이동변위 연산 유닛(700)은 상기 표적 중심점 연산 유닛(600)으로부터 표적의 중심 값을 전달받아 이전 프레임에서 계산된 표적의 중심 값과의 차이를 계산하여 표적의 이동변위를 산출한다.

상기 추적창 조정 유닛(800)은 표적의 형태 및 크기변화에 따라 적응적으로 표적의 수평, 수직방향 크기를 구해 표적창의 크기를 먼저 산출한다. 그리고 추적창은 표적의 이동속도를 고려하여 다음 프레임에서 표적이 추적창 내부에 충분히 포함되도록 상기 표적창의 크기와 영상 프레임 사이에 표적의 최대 이동량을 더해서 산출한다. 여기서 표적의 최대 이동량은 표적의 특성에 따라 운용자에 의해 결정되는 변수이다.

이하에서는 본 발명에 따른 영상 추적 장치의 클러터 제거 방법을 도 1 내지 도3을 참조하여 설명한다.

본 발명에 따른 영상 추적 장치의 클러터 제거 방법은 입력 영상 내에 추적창을 생성하고, 2차원 가우스 가중함수를 근거로 상기 추적창을 영상 처리하는 단계와, 상기 영상 처리된 추적창으로부터 히스토그램을 획득하는 단계와, 상기 히스토그램을 근거로 표적을 추출하는 단계를 포함하여 구성된다. 또한, 센서로부터 영상을 수신하는 단계와, 수신된 영상으로부터 대조비를 판단하는 단계와, 추출된 표적으로부터 표적 중심점을 연산하는 단계와, 표적의 이동변위를 연산하는 단계와, 추적창을 조정하는 단계를 더 포함하여 구성된다.

상기 센서로부터 영상을 수신하는 단계는 매 프레임 주기(예를 들어 30Hz 또는 60Hz)마다 디지털 영상데이터를 수신한다. 예를 들어 카메라, 적외선 센서 등의 프레임 주기가 30Hz이면 1초에 30회의 영상 프레임을 영상 신호의 형태로 수신한다. 이때, 아날로그 영상을 디지털 영상 신호로 변환함에 있어서 A/D 컨버터(Analog-Digital Converter)가 사용될 수 있다.

상기 수신된 영상으로부터 대조비를 판단하는 단계는 상기 수신된 입력 영상으로부터 추적하고자하는 표적이 배경에 비해 밝은지 어두운지를 판단하기 위해 표적과 배경의 대조비를 판단한다.

상기 2차원 가우스 가중함수를 곱하는 상기 대조비 판단 유닛(200)을 거친 상기 추적창 내부 영상에 가중함수를 근거로 영상 처리한다. 즉, 상기 영상 처리 유닛(300)은 도 2와 같은 2차원 가우스 함수 형태의 가중함수를 입력 영상의 추적 창 내부 영상과 곱하여 영상 처리한 다음, 출력한다. 이를 통해 지상에 존재하는 클러터의 영향이 어느 정도 제거된 영상을 제공할 수 있다. 상기 영상을 이용하여 표적 추출 과정을 수행하게 되면 원하는 표적만을 정교하게 추출할 수 있다.

상기 영상 처리하는 단계는 상기 도 2에 도시한 바와 같은 가우스 함수 형태의 가중함수를 사용하며, 가중함수의 중심점은 추적필터의 출력인 표적의 예측 중심점과 일치하도록 적용된다. 이 경우에, 가우스 함수의 형태를 결정하는 변수인 표준편차 값은 표적의 크기에 대응되는 변수로서 표적창의 크기 값에 따라 자동으로 결정되는 적응형 방식을 사용한다. 가우스 가중함수는 임의의 시간에 입력되는 영상이 2차원의 데이터 구조를 가지므로 수학식 1의 2차원 가우스 함수를 사용하는 것이 바람직하다. 즉, 상기 2차원 가우스 가중함수는, 수직 및 수평 방향에 대한 1차원 가우스 함수의 곱이고, 표적의 수평 및 수직 중심점을 평균값으로 갖고, 상기 표적에 따라 결정된 표적창의 수직 및 수평 크기의 절반을 표준편차로 갖는다. 또한, 상기 영상 처리하는 단계는 상기 2차원 가우스 가중함수를 곱하여 영상 처리된 추적창 내부 영상으로부터 클러터를 제거하는 단계를 포함한다.

상기 히스토그램 획득하는 단계는 영상 처리된 추적창 내부의 그레이 화소의 빈도수를 계산한다. 일반적으로 영상의 밝기레벨이 256 그레이 레벨인 경우 히스토그램도 256개의 밝기 레벨에 해당하는 화소의 농담 분포를 갖는다.

상기 표적을 추출하는 단계는 상기 히스토그램 정보를 활용하여 추적창 내부에서 표적과 배경을 적절히 분리하는 역치화(thresholding) 작업을 수행하고 이진화 영상을 생성한다.

상기 표적의 중심점을 연산하는 단계는 상기 표적 추출을 통해 구해지는 이진화 영상에서 기하학적인 무게중심법 계산방식을 이용하여 표적의 중심을 계산한다.

상기 표적의 이동변위를 연산하는 단계는 상기 표적의 중심 값을 수신하여 이전 프레임에서 계산된 표적의 중심 값과의 차이를 계산하여 표적의 이동변위를 산출한다.

상기 추적창을 조정하는 단계는 표적의 형태 및 크기변화에 따라 적응적으로 표적의 수평, 수직방향 크기를 구해 표적창의 크기를 먼저 산출한다. 그리고 추적창은 표적의 이동속도를 고려하여 다음 프레임에서 표적이 추적창 내부에 충분히 포함되도록 상기 표적창의 크기와 영상 프레임 사이에 표적의 최대 이동량을 더해서 산출한다. 여기서 표적의 최대 이동량은 표적의 특성에 따라 운용자에 의해 결정되는 변수이다.

도 3은 도 2의 2차원 가우스 가중함수를 이용하여 입력 영상을 처리하는 것을 개략적으로 도시한 도이다. 도 3에 도시한 바와 같이, 본 발명에 따른 영상 추적 장치의 클러터 제거 방법은 추적창 영상의 수평, 수직방향에 대해 2개의 1차원 가우스 함수를 이용하여 지상의 클러터를 제거한다. 여기서, 가우스 함수의 평균값

은 상기 표적 중심점 연산 단계에서 계산된 표적의 수평, 수직 중심점에 의해 산출되고, 표준편차

는 상기 추적창을 조정하는 단계에서 산출되는 표적창의 수평, 수직 크기의 값이며 표적의 크기 변화에 따라 적응적으로 산출된다. 상 기와 같이, 2중 가우스 가중함수를 추적창 영상과 곱하여 지상 클러터를 제거한다.

이상에서 설명한 바와 같이, 본 발명에 따라 지상 환경에서 운용되는 지상무기체계의 경우에 있어서도 2중 가우스 가중함수를 이용하여 표적과 유사 밝기 특성을 포함하는 클러터 등의 배경 성분의 영향을 최소화함으로써 더욱 정밀하게 표적을 추출할 수 있다.

도 1은 본 발명에 따른 영상 추적 장치의 구성을 개략적으로 도시한 구성도;

도 2는 도 1에서의 2차원 가우스 가중함수를 도시한 도;

도 3은 도 2의 2차원 가우스 가중함수를 이용하여 입력 영상을 처리하는 것을 개략적으로 도시한 도이다.

<도면의 주요 부분에 대한 부호의 설명>

100: 영상 입력 유닛 200: 대조비 판단 유닛

300: 영상 처리 유닛 400: 히스토그램 획득 유닛

500: 표적 추출 유닛 600: 표적 중심점 연산 유닛

700: 표적 이동변위 연산 유닛 800: 추적창 조정 유닛

Claims (10)

1. 입력 영상 내에 추적창을 생성하고, 상기 추적창 내부 영상에 가중함수를 근거로 영상 처리하여 출력하는 영상 처리 유닛;

   상기 영상 처리 유닛으로부터 출력된 영상으로부터 히스토그램을 획득하는 히스토그램 획득 유닛; 및

   상기 히스토그램을 근거로 표적을 추출하는 표적 추출 유닛;을 포함하는 영상 추적 장치.
2. 제1 항에 있어서, 상기 영상 처리 유닛은,

   2차원 가우스 가중함수를 이용하여 상기 추적창 내부를 영상 처리하는 것을 특징으로 하는 영상 추적 장치.
3. 제2 항에 있어서, 상기 표적 추출 유닛은,

   상기 영상 처리된 추적창 내부 영상으로부터 표적을 추출하는 것을 특징으로 하는 영상 추적 장치.
4. 제2 항에 있어서, 상기 영상 처리 유닛은,

   상기 영상 처리된 추적창 내부 영상으로부터 클러터를 제거하는 것을 특징으로 하는 영상 추적 장치.
5. 제2 항에 있어서, 상기 2차원 가우스 가중함수는,

   수직 및 수평 방향에 대한 1차원 가우스 함수의 곱인 것을 특징으로 하는 영상 추적 장치.
6. 제5 항에 있어서, 상기 2차원 가우스 가중함수는,

   표적의 수평 및 수직 중심점을 평균값으로 갖고, 상기 표적에 따라 결정된 표적창의 수직 및 수평 크기의 절반을 표준편차로 갖는 것을 특징으로 하는 영상 추적 장치.
7. 입력 영상 내에 추적창을 생성하고, 2차원 가우스 가중함수를 근거로 상기 추적창을 영상 처리하는 단계;

   상기 영상 처리된 추적창으로부터 히스토그램을 획득하는 단계; 및

   상기 히스토그램을 근거로 표적을 추출하는 단계;를 포함하는 영상 추적 장치의 클러터 제거 방법.
8. 제7 항에 있어서, 상기 영상 처리하는 단계는,

   상기 2차원 가우스 가중함수를 곱하여 영상 처리된 추적창 내부 영상으로부터 클러터를 제거하는 단계;를 포함하는 영상 추적 장치의 클러터 제거 방법.
9. 제7 항에 있어서, 상기 2차원 가우스 가중함수는,

   수직 및 수평 방향에 대한 1차원 가우스 함수의 곱인 것을 특징으로 하는 영상 추적 장치.
10. 제7 항에 있어서, 상기 2차원 가우스 가중함수는,

    표적의 수평 및 수직 중심점을 평균값으로 갖고, 상기 표적에 따라 결정된 표적창의 수직 및 수평 크기의 절반을 표준편차로 갖는 것을 특징으로 하는 영상 추적 장치.

Images