KR101040306B1

KR101040306B1 - 영상 추적 장치 및 이를 이용한 표적 탐지 방법

Info

Publication number: KR101040306B1
Application number: KR1020100118344A
Authority: KR
Inventors: 박장한; 이완재; 윤동준
Original assignee: 삼성탈레스 주식회사
Priority date: 2010-11-25
Filing date: 2010-11-25
Publication date: 2011-06-10

Abstract

본 발명은 영상 추적 장치 및 이를 이용한 표적 탐지 방법에 관한 것으로서, 표적을 포함한 영상을 센싱하는 센서부와, 상기 센싱된 영상의 필터링을 통해 밝기값이 가우시안 형태를 갖는 표적의 템플릿을 획득하는 필터부와, 상기 획득된 템플릿으로부터 표적 영상의 분할을 통해 표적 영상과 비표적 영상을 구분한 영상 데이터를 생성하는 표적 분할부와, 상기 생성된 영상 데이터를 레이블링하고, 레이블링된 표적 영상으로부터 표적과 유사한 밝기값을 갖는 영역인 클러터의 제거를 통해 표적을 포착하는 클러터 제거부를 구성한다. 상기와 같은 영상 추적 장치 및 이를 이용한 표적 포착 방법에 의하면, 표적의 적외선/열과 색상으로부터 획득된 영상으로부터 밝기값이 가우시안 형태를 갖는 표적의 템플릿을 사용하여 표적을 포착함으로써, 외란에 의한 영향을 최소화시켜 표적을 정확하게 포착할 수 있는 효과가 있다.

Description

영상 추적 장치 및 이를 이용한 표적 탐지 방법{IMAGE TRACKING APPARATUS AND METHOD FOR SEARCHING TARGET USING THE APPARATUS}

본 발명은 영상 추적 장치에 관한 것으로서, 좀 더 상세하게는 표적을 탐지하는 영상 추적 장치 및 이를 이용한 표적 탐지 방법에 관한 것이다.

표적을 요격하기 위한 장치들 중 하나로 유도탄(missile)은 목표에 도달할 때까지 특정 방법에 의해 유도되는 장치를 갖는 무기이다. 유도탄은 추진력을 갖는 비행 물체이고, 탄두 등을 운반하는 군사용 로켓 등이 될 수 있다.

유도탄을 발사하는 발사점부터 표적까지 유도탄을 정확하게 보내기 위해서 유도탄과 표적의 정보를 획득 처리하고 유도 명령을 계산하여 전달하는 유도 방법은 사용 목적, 운용 개념, 요구 성능 등에 따라 다양할 수 있다.

유도탄에는 표적 추적을 위한 다양한 영상 추적 장치가 탑재되어 있다. 유도 탄이 스스로 표적을 추적하기 위한 표적 영상 데이터를 영상 추적 장치로부터 획득할 수 있다.

영상 추적 장치는 유도탄에 표적에 관련된 표적 영상 데이터를 생성하기 위해 표적을 탐지하여야 한다. 유도탄은 표적을 요격하기 위해 비행, 즉 이동 운동하는 물체이다. 그러므로, 영상 추적 장치는 유도탄의 표적 요격 성능을 향상시키기 위해 실시간으로 정확히 표적을 탐지해야 할 필요성이 있다.

본 발명의 목적은 표적을 정확하게 탐지하기 위한 영상 추적 장치를 제공하는 데 있다.

본 발명의 다른 목적은 상기 영상 추적 장치를 이용한 표적 탐지 방법을 제공하는 데 있다.

상술한 본 발명의 목적에 따른 영상 추적 장치는, 표적을 포함한 영상을 센싱하는 센서부와, 상기 센싱된 영상의 필터링을 통해 밝기값이 가우시안 형태를 갖는 표적의 템플릿을 획득하는 필터부와, 상기 획득된 템플릿으로부터 표적 영상의 분할을 통해 표적 영상과 비표적 영상을 구분한 영상 데이터를 생성하는 표적 분할부와, 상기 생성된 영상 데이터를 레이블링하고, 레이블링된 표적 영상으로부터 표적과 유사한 밝기값을 갖는 영역인 클러터의 제거를 통해 표적을 탐지하는 클러터 제거부를 포함하도록 구성된다. 여기에서, 상기 센서부는, 적외선 영상(Imaging Infrared, IIR)을 통해 상기 표적의 적외선을 센싱하기 위한 적외선 센서와, 전하 결합 소자(CCD) 영상을 통해 상기 표적의 색상을 센싱하기 위한 전하 결합 소자 센서를 포함하도록 구성될 수 있다. 그리고 상기 필터부는, 상기 표적의 템플릿을 획득하기 위해 하기의 수학식 3을 통해 미리 결정된 윈도우를 통해 상기 영상을 필터링하고, 상기 수학식 3은

이고, 상기

은 공분산(covariance)이고, 상기

는

의 윈도우 크기로서 필터링된 영상이고,

는 필터링된 영상의 표준 편차인 것으로 구성될 수 있다. 또한, 상기 표적 분할부는, 상기 템플릿을 사용하여 밝기값의 평균을 기준으로 표준 편차의 정수배의 범위 내에서 표적을 분할한 영상 데이터를 생성하고, 상기 영상 데이터는 영상 내 표적을 '1'로 설정하고, 영상 내 배경을 '0'으로 설정한 데이터인 것으로 구성될 수 있다. 그리고 상기 클러터 제거부는, 하나의 영상 내에서 표적으로 추정되는 하나의 객체를 검출할 때마다 레이블링 카운트를 증가시켜 복수의 객체들을 검출하도록 구성될 수 있다. 그리고 상기 클러터 제거부는, 상기 객체들의 공간 정보와 시간 정보에 근거하여 표적이 아닌 객체의 제거를 통해 표적을 탐지하도록 구성될 수 있다.

상술한 본 발명의 다른 목적에 따른 영상 추적 장치를 이용한 표적 탐지 방법은, 표적을 포함한 영상을 센싱하는 단계와, 상기 센싱된 영상의 필터링을 통해 밝기값이 가우시안 형태를 갖는 표적의 템플릿을 획득하는 단계와, 상기 획득된 템플릿으로부터 표적 영상의 분할을 통해 표적 영상과 비표적 영상을 구분한 영상 데이터를 생성하는 단계와, 상기 생성된 영상 데이터를 레이블링하고, 레이블링된 표적 영상으로부터 표적과 유사한 밝기값을 갖는 영역인 클러터의 제거를 통해 표적을 탐지하는 단계를 포함하도록 구성될 수 있다.

상기와 같은 영상 추적 장치 및 이를 이용한 표적 탐지 방법에 의하면, 표적의 열과 색상으로부터 획득된 영상으로부터 밝기값이 가우시안 형태를 갖는 표적의 템플릿을 사용하여 표적을 탐지함으로써, 외란에 의한 영향을 최소화시켜 표적을 정확하게 탐지할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 영상 추적 장치를 사용하여 표적을 요격하는 유도탄을 도시한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 유도탄의 구조도이다.
도 3은 본 발명의 일 실시예에 따른 영상 추적 장치의 구조도이다.
도 4는 본 발명의 일 실시예에 따른 표적 탐지부의 구조도이다.
도 5는 본 발명의 일 실시예에 따른 유도탄과 표적 간의 거리에 따른 적외선(IIR) 영상을 도시한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 탐색 윈도우를 도시한 개념도이다.
도 7은 본 발명의 일 실시예에 따른 쌍임계화 방식을 적용을 위한 밝기 그래프이다.
도 8은 본 발명의 일 실시예에 따른 링 형태의 버퍼를 도시한 개념도이다.
도 9는 본 발명의 실시예에 따른 레이블링 수행 동작을 설명하기 위한 개념도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제 1, 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 표적 추적을 통해 표적을 요격하는 유도탄을 도시한 개념도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 유도탄(100)은 영상 추적 장치를 탑재할 수 있다. 유도탄(100)은 표적(10)을 요격하기 위해서 탑재된 영상 추적 장치를 사용하여 표적(10)을 탐지 및 추적할 수 있다. 일예로, 표적(20)은 벙커, 건물, 경장갑 등이 될 수 있다.

유도탄(100)은 영상 추적 장치에서 출력되는 표적 영상 데이터를 사용하여 표적(10)으로 유도할 수 있다. 일예로, 유도탄(100)은 로켓, 미사일 등을 포함할 수 있다.

도 2는 본 발명의 일 실시예에 따른 유도탄의 구조도이다.

도 2를 참조하면, 유도탄(100)은 영상 추적 장치(110), 유도 장치(120), 조종 장치(130), 구동 장치(140), 및 조종 센서(150)를 포함한다.

영상 추적 장치(110)는 유도탄의 비행 운동에 따른 지형, 지물들로부터 표적의 탐지, 결정, 및 탐지 등을 통해 표적 영상 데이터를 생성한다. 영상 추적 장치는 구동 장치(140)로부터 피드백되는 유도탄의 구동 정보를 이용하여 표적 영상 데이터를 생성할 수 있다. 영상 추적 장치(110)는 표적 영상 데이터를 유도 장치(120)로 출력한다.

유도 장치(120)는 표적 영상 데이터에 따라 유도탄의 운동을 표적으로 유도하기 위한 유도 명령을 생성한다. 유도 장치(120)는 내부 메모리 등에 저장된 항법 정보 또는 외부로부터 수신된 항법 정보를 사용하여 유도 명령을 생성할 수 있다. 유도 장치(120)는 유도 명령을 조종 장치(130)로 출력한다.

조종 장치(130)는 유도 정보에 따라 로켓의 구동을 위한 조종 명령을 생성한다. 또한, 조종 명령 생성 시에 조종 장치(130)는 조종 센서(150)에 의해 피드백되는 조종 제어 정보를 이용할 수 있다. 조종 장치(130)는 조종 명령을 구동 장치(140)로 출력한다.

구동 장치(140)는 로켓 구동을 위한 추진체 등을 포함한다. 구동 장치(140)는 구동 명령을 수신하고, 구동 명령에 따라 유도탄(100)의 비행 운동을 위해 추진체를 구동할 수 있다. 구동 장치(140)는 유도탄(100)의 비행 운동에 따른 구동 정보를 생성하여 조종 센서(150) 또는 영상 추적 장치(110)로 피드백할 수 있다.

조종 센서(150)는 구동 정보를 사용하여 조종 장치로 유도탄(100)의 비행 운동에 따른 조종 제어 정보를 생성한다. 즉, 유도탄(100)을 표적으로 정확히 유도하기 위해, 조종 센서(140)는 조종 제어 정보를 통해 유도탄(100)의 실시간 구동 정보를 비행 운동에 반영할 수 있다.

또한, 유도탄(100)은 탄두를 탑재하기 위한 공간을 구비하거나 탄두를 포함할 수 있다.

도 3는 본 발명의 일 실시예에 따른 영상 추적 장치의 구조도이다.

도 3을 참조하면, 영상 추적 장치(110)는 표적 탐지부(111), 표적 결정부(112), 및 표적 추적부(113)를 포함한다.

표적 탐지부(111)는 영상 정보 센싱을 통해 표적을 포함한 영상 정보를 획득하고, 획득된 영상 정보로부터 표적을 포착한다. 표적 탐지부(111)는 표적을 포착한 탐지 영상 데이터를 표적 결정부(112)로 출력한다.

표적 결정부(112)는 표적 포착 영상 데이터로부터 표적을 결정한다. 표적 결정부(112)는 표적을 결정한 결정 영상 데이터를 표적 추적부(113)로 출력한다.

표적 추적부(113)는 결정 영상 데이터로부터 표적을 추적하여 표적 영상 데이터를 생성한다. 표적 추적부는 유도 장치(120)로 표적 영상 데이터를 출력한다.

표적 탐지부(111), 표적 결정부(112), 및 표적 추적부(113) 중 적어도 하나는 표적의 탐지, 결정, 및 추적을 위해 구동 정보(일예로, 유도탄의 속도 정보, 가속도 정보 등)를 수신하고, 수신된 구동 정보를 이용할 수 있다.

본 발명에서는 표적 탐지부(111)의 표적 포착 동작을 상세히 설명하기로 한다.

도 4은 본 발명의 일 실시예에 따른 표적 탐지부의 구조도이다.

도 4를 참조하면, 표적 탐지부(111)는 센서부(210), 필터부(220), 표적 분할부(230) 및 클러터 제거부(240)를 포함한다.

센서부(210)는 유도탄 비행 운동에 따른 영상 정보를 센싱한다.

센서부(210)는 적외선/열과 색상을 이용하여 표적을 탐지할 수 있다. 센서부(210)는 적외선을 사용하여 표적을 탐지하는 적외선(Imaging Infrared, 이하 'IIR'이라 칭하기로 함) 센서(211)와 색상을 이용하여 표적을 탐지하는 전하 결합 소자(charge-coupled device, 이하 'CCD'라 칭하기로 함) 센서(212)를 포함한다.

센서부(210)는 IIR 센서(211)를 통해 IIR 영상을 획득할 수 있고, CCD 센서(212)를 통해 CCD 영상을 획득할 수 있다.

IIR 영상은 표적의 적외선/열상(온도에 따른 형상)이 가우시안 형태를 갖고, 표적은 밝은 밝기값을 갖는다. 센서부(210)에서 표적과의 거리에 따라 획득한 IIR영상을 하기의 도 5에서 설명한다.

이에 비해, CCD 영상은 밝기값이 표적의 색상과 관련된다. 따라서 CCD 영상은 표적과 표적 주변의 배경 간의 색상 차이로부터 표적을 탐지한다. 따라서 CCD 영상은 IIR 영상을 통해 탐지되지 못하는 표적을 탐지한다.

그러므로, CCD 센서(212)는 IIR 센서(211)를 통해 탐지되지 않는 표적을 탐지하기 위한 보조 센서 역할을 할 수 있다.

한편, 센서부(210)는 IIR 센서(211)와 CCD 센서(212) 중 하나가 동작할 수도 있다.

센서부(210)는 획득된 영상을 필터부(220)로 출력한다. 센서부(210)는 서로 다른 센서들(211, 212)를 통해 획득한 서로 다른 영상들을 필터부(220)로 출력할 수 있다.

필터부(220)는 영상(일예로, IIR 영상 또는 CCD 영상)의 필터링을 통해 영상 내에서 표적을 중심으로 가우시안 형태의 밝기값을 갖는 템플릿을 획득한다.

필터부(220)는 일예로, 디미닝 필터(demeaning filter)로 구현될 수 있다. 디미닝 필터는 디미닝 동작을 통해 영상을 필터링할 수 있다. 디미닝 동작을 통해 필터부(220)는 영상 내에서 각 픽셀의 밝기값을 지역 평균값으로 감산할 수 있다. 따라서 필터부(220)는 밝기값의 분포를 표적을 중심으로 하는 가우시안 분포로 근사화시킬 수 있다.

필터부(220)는 디미닝 동작을 수행하기 위해 슬라이딩 윈도우 방식과 그리드 방식 중 하나의 디미닝 윈도우 방식을 사용할 수 있다.

슬라이딩 윈도우 방식은 각 픽셀마다 지정된 윈도우 크기에 해당하는 픽셀의 평균값을 획득하는 방식이다. 슬라이딩 윈도우 방식은 해당 픽셀을 중심으로 특정 윈도우 내에 존재하는 밝기값을 모두 고려한다.

그리드 방식은 구분된 블록들 각각에 포함된 픽셀들의 밝기값을 전체 블록들의 밝기값의 평균으로 감산하는 방식이다. 그리드 방식은 전체 영상을 정수개의 블록(일예로, 윈도우)으로 분할하는 방식이다.

필터부(220)는 지역 평균값을 획득하기 위한 윈도우(즉, 디미닝 윈도우)의 크기를 설정한다. 필터부(220)는 영상의 확률 분포를 가우시안 분포를 따르도록 하기 위해 디미닝 동작을 수행한다. 따라서 확률 분포가 가우시안 분포에 가까울수록 영상의 3차 모멘트 값은 '0'에 가까워진다.

필터부(220)는 후보 디미닝 윈도우 크기들 중에서 3차 모멘트 값이 '0'에 가장 가까운 후보 디미닝 윈도우 크기를 최적의 디미닝 윈도우 크기로 설정할 수 있다. 최적의 디미닝 윈도우 크기(

)는 하기의 수학식 1에 나타내었다.

여기서,

은 공분산(covariance)이고, 상기

는

의 윈도우 크기로서 필터링(또는 디미닝)된 영상을 나타낸다.

는 필터링(또는 디미닝)된 영상의 표준 편차이다.

순차적으로 입력되는 영상에 대해 매 프레임마다 최적의 디미닝 윈도우 크기(

)를 계산하는 것은 많은 연산을 필요로 한다. 그러므로, 필터부(220)는 미리 결정된 최적의 디미닝 윈도우 크기를 최적의 디미닝 윈도우 크기로 사용할 수 있다.

필터부(220)는 디미닝 범위를 설정할 수 있다. 여기서, 디미닝 범위는 디미닝 동작을 수행하기 위한 영역을 나타낸다. 일예로, 필터부(220)는 영상 전체를 디미닝 범위로 설정하거나, 탐색 윈도우를 디미닝 범위로 설정할 수 있다. 탐색 윈도우를 디미닝 범위로 설정하는 경우, 필터부(220)는 영상 전체를 디미닝 범위로 설정하는데 비해 연산량을 감소시킬 수 있다. 디미닝 범위 설정을 위한 탐색 윈도우는 하기의 도 6에서 설명한다.

필터부(220)는 디미닝 동작을 통해 템플릿을 획득할 수 있다. 여기서, 템플릿은 객체(표적) 템플릿과 배경 템플릿으로 구분될 수 있다.

객체 템플릿은 표적을 추적하기 위한 표적의 대표값이다. 객체 템플릿의 밝기값의 분포는 실제 표적에 대한 밝기값의 분포와 유사해야 한다. 배경 템플릿은 추적을 위한 표적을 제외한 배경의 대표값이다. 배경 템플릿은 표적에 해당하는 부분이 최소화된 값을 갖는다.

필터부(220)는 통계적인 모델링을 통해 객체 템플릿을 획득할 수 있다.

객체 템플릿을 통계적인 모델링을 통해 획득하는 경우, 필터부(220)는 2차원의 가우시안 분포를 갖는 하기의 수학식 2를 사용할 수 있다.

여기서,

와

는 표준 편차이다.

는 최대 밝기값이다.

은 템플릿의 크기이다.

예를 들어, 영상에서 표준 편차들(

와

)이

의 범위를 갖는다.

이때, 객체 템플릿의 크기는 실제 표적보다 큰 값을 갖는다. 그러므로, 필터부(220)는

은 3(3X3) 내지 7(7X7) 사이의 값을 갖도록 설정할 수 있다. 그러므로, 객체 템플릿은 표적보다 클수록 안정될 수 있고, 표적 템플릿 분산 이하의 물체를 정확히 탐지할 수 있다.

필터부(220)는 이전 영상으로부터 배경 템플릿을 획득할 수 있다. 필터부(220)는 이전 영상에서 동일한 영역을 배경 템플릿으로 결정할 수 있다. 만약, 표적이 움직이는 경우, 필터부(220)는 현재 영상과 이전 영상의 픽셀의 밝기값 차이를 이용하여 배경 템플릿을 획득한다. 표적의 픽셀이 아닌 배경의 픽셀에서는 현재 영상과 이전 영상 간의 차이가 없으나, 표적의 픽셀에서는 현재 영상과 이전 영상 간의 차이(밝기 변화)가 있다. 필터부(220)는 이전 영상과 현재 영상 간의 픽셀의 밝기값을 사용하여 배경 템플릿을 획득할 수 있다. 필터부(220)는 한 개의 이전 영상뿐만 아니라 복수개의 이전 영상들을 사용하여 배경 템플릿을 획득할 수도 있다.

필터부(220)는 메모리(미도시)로부터 이전 영상을 획득할 수 있다. 여기서, 메모리는 필터부(220) 내부 또는 필터부(220) 외부에 존재할 수 있다.

즉, 필터부(220)는 입력된 영상으로부터 표적에 대해 가우시안 형태를 갖도록 생성된 템플릿을 생성한다. 필터부(220)는 생성된 템플릿을 표적 분할부(230)로 출력한다.

한편, 필터부(220)는 디미닝 필터뿐만 아니라 톱햇(tophat) 필터 또는 페이셋 기반(facet-based) 필터로 구현될 수도 있다.

표적 분할부(230)는 표적 결정을 위해 템플릿을 통해 표적을 분할(segmentation)하게 된다. 이때, 표적 분할부(230)는 표적과 비표적을 구분하는 임계화(thresholding) 기법을 사용할 수 있다. 일예로, 표적 분할부(230)는 임계화 기법 중에서도 쌍임계화(bi-thresholding) 기법을 사용할 수 있다.

표적 분할부(230)는 쌍임계화 기법을 통해 밝기값의 평균과 표준 편차를 사용하여 밝기값 그래프에서 분할을 위한 최적의 임계값을 획득한다. 표적 분할부(230)는 밝기값의 평균을 기준으로 표준 편차의 정수배 범위 내에서 표적 분할을 위한 최적의 경계값을 획득할 수 있다. 표적 분할을 위한 밝기값 그래프는 하기의 도 7에 도시하였다.

표적 분할부(230)는 템플릿(일예로, 객체 템플릿과 배경 템플릿)에 근거한 영상에서 획득된 최적의 경계값을 사용하여 표적을 분할한다.

표적 분할부(230)는 표적의 분할을 통해 일예로, 영상 내 표적(객체 또는 물체)를 '1'로 설정하고, 영상 내 배경을 '0'으로 설정할 수 있다. 표적 분할부(230)는 '0'과 '1'의 이진 데이터로 변환된 영상 데이터를 클러터 제거부(240)로 출력할 수 있다.

클러터 제거부(240)는 이진화된 영상 데이터에서 클러터를 제거할 수 있다. 클러터는 영상 내에서 표적과 유사한 공간적인 밝기값의 분포를 갖는 영역이다. 즉, 클러터는 표적의 잡음 성분이다. 일예로, 클러터는 표적을 제외한 영역을 포함할 수 있다. 그러므로, 클러터는 배경을 포함할 수도 있다.

클러터 제거부(240)는 클러터 제거를 위해 레이블링(labeling)을 수행한다. 레이블링을 위해 클러터 제거부(240)는 링 형태를 갖는 버퍼를 포함할 수 있다. 일예로, 링 형태의 버퍼는 하기의 도 8에서 설명한다.

클러터 제거부(240)는 버퍼를 사용하여 레이블링을 수행한다. 영상에 포함된 각 픽셀들 각각에 레이블링을 통해 영상 내에서 객체의 정보를 확인할 수 있다. 클러터 제거부(240)에서 레이블링을 수행하는 동작을 하기의 도 9에서 설명한다.

클러터 제거부(240)는 영상 내에서 미리 설정된 밝기값을 갖는 픽셀과, 해당 픽셀 주변에 미리 설정된 기준(일예로, 미리 설정된 밝기값 이상)을 만족하는 픽셀들을 검색한다. 클러터 제거부(240)는 픽셀들의 검색을 통해 객체를 검출한다.

즉, 클러터 제거부(240)는 레이블링을 통해 검출된 객체에 대한 정보를 획득할 수 있다. 클러터 제거부(240)는 객체의 크기, 모양, 형태, 위치 등을 획득할 수 있다.

클러터 제거부(240)는 객체들 중에서 표적을 검색하기 위해 표적이 아닌 클러터를 제거한다. 클러터 제거부(240)는 공간 정보와 시간 정보 중 적어도 하나를 사용하여 클러터를 제거한다.

클러터 제거부(240)는 공간 정보를 사용하여 클러터를 제거할 수 있다. 예를 들어, 클러터 제거부(240)는 표적의 예상 크기(2x2 내지 6x6)보다 큰 객체를 제거할 수 있다. 클러터 제거부(240)는 긴 형태(가로/세로 비율인 지름비(aspect ratio))의 객체를 제거할 수 있다. 클러터 제거부(240)는 영상의 가장자리에 검출된 객체를 제거할 수 있다.

클러터 제거부(240)는 시간 정보를 사용하여 클러터를 제거할 수 있다. 클러터 제거부(240)는 영상에서 표적의 위치를 결정한다. 이때, 위치가 결정되는 표적은 복수개가 될 수 있으며, 결정된 표적들 중에서 클러터가 포함될 수 있다. 클러터 제거부(240)는 큰 에너지를 갖는 표적들을 미리 결정된 개수만큼 선택한다. 클러터 제거부(240)는 입력 영상과 필터링 동작 수행을 통해 획득된 영상을 사용할 수 있다. 즉, 클러터 제거부(240)는 입력 영상과 필터링된 영상들 각각에서 큰 에너지를 갖는 표적들을 미리 결정된 개수만큼 선택하고, 선택된 표적들 각각에 대해서 수신되는 다음의 입력 영상과 필터링된 영상을 사용하여 트랙(경로)를 생성 및 업데이트한다.

클러터 제거부(240)는 트랙 생성 시 획득한 거리 지도 정보를 사용하여 유효 거리 내에서 트랙을 업데이트할 수 있다. 유효 거리가 동일한 표적에 대해서는 에너지 차이가 최소인 표적을 사용하여 트랙을 업데이트한다.

클러터 제거부(240)는 트랙의 생성 및 업데이트를 통해 시간적인 연관성이 적은 표적(즉, 클러터)을 제거한다.

클러터 제거부(240)는 영상에 포함된 클러터를 제거하여 탐지 영상 데이터를 생성한다. 클러터 제거부(240)는 탐지 영상 데이터를 표적 결정부로 출력할 수 있다.

본 발명의 영상 추적 장치는 표적의 적외선/열과 색상으로부터 획득된 영상으로부터 밝기값이 가우시안 형태를 갖는 표적의 템플릿을 사용하여 표적을 탐지함으로써 표적의 정확한 탐지가 가능하다. 이를 위해, 영상 추적 장치는 영상을 가우시안 분포를 갖도록 미리 설정된 윈도우를 통해 필터링할 수 있다.

또한, 본 발명의 영상 추적 장치는 영상 내에서 표적과 유사한 공간적인 밝기값의 분포인 클러터 성분을 제거함으로서 표적을 더욱 정확하게 탐지할 수 있다.

또한, 본 발명의 영상 추적 장치는 서로 다른 영상 추적 방식의 조합을 통해 표적을 포착함으로써, 외란에 의한 영향을 최소화시켜 표적을 정확하게 포착할 수 있다.

도 5는 본 발명의 일 실시예에 따른 유도탄과 표적 간의 거리에 따른 IIR 영상을 도시한 예시도이다.

도 5를 참조하면, 센서부(210)는 표적(20)과의 거리에 따라 일예로, IIR 필터를 통해 (a), (b), 및 (c)의 영상을 획득할 수 있다.

(a)에서, 유도탄(100)과 표적(10)과의 거리가 1.2km일 때의 표적 블록(310)을 좌측에 나타나있다. 표적 블록(310)은 2 x 2 크기를 갖는다.

(b)에서, 유도탄(100)과 표적(10)과의 거리가 800m일 때의 표적 블록(320)은 좌측에 나타나있다. 표적 블록(320)은 5 x 5 크기를 갖는다.

(c)에서, 유도탄(100)과 표적(10)과의 거리가 500m일 때의 표적 블록은 좌측에 나타나있다. 표적 블록(330)은 6 x 6 크기를 갖는다.

IIR 표적의 표적 특징은 하기의 표 1에 나타내었다.

거리	2km - 1.2km	1.2km	800m	500m
표적 크기	2 x 2 이하	2 x 2	5 x 5	6 x 6

그러므로, IIR 영상은 표적과 거리가 가까울수록 표적의 영상이 크게 표시된다. 일예로, 표적 크기가 2x2 이상이 되는 2km 이내에서 표적 탐지부(111)가 동작할 수 있다.

여기서는 밝기값을 (a), (b), 및 (c)에 도시하지 않았으나 영상 내 표적 중심 위치에서 최대 밝기값을 갖고, 최대 밝기값을 중심으로 2차원의 가우시안 형태를 가질 수 있다.

도 6은 본 발명의 일 실시예에 따른 탐색 윈도우를 도시한 개념도이다.

도 6을 참조하면, 필터부(220)는 디미닝 범위를 탐색 윈도우(420)로 설정할 수 있다. 일예로, 탐색 윈도우(420)보다 큰 크기를 갖는 디미닝 윈도우(410)가 도시되어 있다.

탐색 윈도우(420)를 디미닝 범위로 설정하여 디미닝 동작을 수행하는 경우, 필터부(220)는 탐색 윈도우 내의 영상의 밝기값을 디미닝 윈도우(410)로부터 획득된 지역 평균값으로 감산함으로서 디미닝 동작을 수행할 수 있다.

일예로, 디미닝 윈도우(410)와 탐색 윈도우(420)의 크기는 표적의 윈도우(430)보다 큰 값을 가질 수 있다.

도 7은 본 발명의 일 실시예에 따른 쌍임계화 방식을 적용을 위한 밝기 그래프이다.

도 7을 참조하면, 밝기 그래프(일예로, 밝기 히스토그래프)의 가로축은 각 픽셀의 인덱스(i)를 나타내고, 세로축은 픽셀의 밝기값(p[i])을 나타낸다.

표적 분할부(230)는 표적 영상을 분할하기 위한 최적의 경계값을 획득할 수 있다. 표적 분할부(230)는 밝기값의 평균(

)을 기준으로 표준 편차(

)의 정수배의 범위 내에서 최적의 경계값을 획득할 수 있다.

밝기값의 평균(

) 이하의 임계값은

이고, 밝기값의 평균(

) 이상의 임계값은

이다. 그러므로, 두 개의 임계값들

와

사이에서 최적의 경계값 (

,

)을 획득할 수 있다.

표적 분할부(230)는 밝기값의 평균(

)을 기준으로 획득된 최적의 경계값 (

,

)을 사용하여 표적을 분할할 수 있다.

도 8은 본 발명의 일 실시예에 따른 링 형태의 버퍼를 도시한 개념도이다.

도 8을 참조하면, 링 형태의 버퍼는 입력된 데이터를 저장하고, 저장된 데이터를 입력된 순서로 출력한다. 버퍼는 선입력선출력(FIFO: First Input First Out) 버퍼이다. 그러므로, 버퍼에서 출력되는 데이터는 버퍼에서 입력된 데이터의 순서로 출력된다.

버퍼의 입력 데이터가 '14, 25, 12, 24, 11, 3, 99, 5'이면, 버퍼의 출력 데이터는 '14, 25, 12, 24, 11, 3, 99, 5'이다. 즉, 데이터의 입력 순서와 데이터의 출력 순서는 동일하다.

클러터 제거부(240)는 레이블링을 위해 링 형태로 구현된 버퍼를 포함하거나, 링 형태로 구현된 버퍼를 이용할 수 있다.

도 9는 본 발명의 실시예에 따른 레이블링 수행 동작을 설명하기 위한 개념도이다.

도 9를 참조하면, 클러터 제거부(240)는 '4 x 4' 영역으로 이진화된 영상 데이터를 다음과 같은 순서로 레이블링한다.

첫 번째 단계인 (a)에서, 클러터 제거부(240)는 '4 x 4' 영역으로 이진화된 영상 데이터를 '4 x 4' 영역으로 레이블링하기 위해 버퍼내에 저장 공간을 할당한다. 좌측 최상단에 위치한 픽셀을 기준으로 클러터 제거부(240)는 왼쪽에서 오른쪽 방향으로 검색하고, 위에서 아래 방향으로 픽셀들을 검색한다. 클러터 제거부(240)는 레이블링 결과가 '0'이고, 밝기값이 '0'이 아닌 픽셀을 검색한다. 여기서, '0'의 값을 갖는 레이블링 결과는 레이블링이 되지 않거나, 해당 좌표에 속한 픽셀의 이진화 결과가 '0'인 것을 의미한다.

두 번째 단계인 (b)에서, 클러터 제거부(240)는 레이블링이 되어 있지 않으면서, 픽셀의 이진화 결과가 '1'인 픽셀의 좌표(0, 0)를 버퍼에 저장한다. 클러터 제거부(240)는 버퍼에 저장된 좌표의 위치에 대한 레이블링 카운트를 '1' 증가시킨다. 레이블링 카운트는 객체의 개수를 나타내므로, 최초에는 '0'의 값으로 초기화되어 있다. 새로운 객체가 나타나면 클러터 제거부(240)는 레이블링 카운트를 '1'만큼 증가시킨다. 클러터 제거부(240)는 좌표(0, 0)에 위치한 픽셀의 레이블링 카운트를 '1'만큼 증가시킨다. 이때, 레이블링 카운트는 '1'이 된다.

세 번째 단계인 (c)에서, 클러터 제거부(240)는 새롭게 레이블링된 좌표(0, 0)에 대해서 동일한 객체로 간주되는 픽셀들에 대해서 동일한 레이블링 결과를 설정한다. 이를 위해, 클러터 제거부(240)는 버퍼에 저장된 좌표 중에서 하나를 로딩한다. 클러터 제거부(240)는 로딩된 좌표에 해당하는 픽셀 주위의 화소에 대해서 동일한 객체로 간주되는지 판단한다. 클러터 제거부(240)는 동일한 객체로 판단되는 픽셀의 위치는 버퍼에 입력한다. 일예로, 클러터 제거부(240)는 이진화 값이 '1'이고, 레이블링 결과가 '0'인 상태에서, 연결 관계(8 픽셀 연결관계)를 갖는 픽셀이면 동일한 객체로 판단한다. 여기서, 클러터 제거부(240)는 하나의 픽셀을 기준으로 인접한 픽셀은 최대 8개(일예로, 8픽셀 연결관계)가 될 수 있으므로, 하나의 픽셀에 대해 인접한 픽셀들이 동일한 객체인지를 판단한다.

네 번째 단계인 (d)에서, 클러터 제거부(240)는 새로운 객체에 대해서 두 번째 단계와 세 번째 단계의 동작을 반복한다. 클러터 제거부(240)는 좌표(2, 2)에 위치한 픽셀의 레이블링 카운트를 '1'만큼 증가시킨다. 여기서, 레이블링 카운트는 '2'가 된다.

(a) 내지 (d)에서 왼쪽은 원래의 영상 데이터를 나타내고, 오른쪽은 각 픽셀이 어떤 객체에 포함되는지를 나타내는 레이블링 결과 영상 데이터이다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

표적을 포함한 영상을 센싱하는 센서부;
상기 센싱된 영상을 디미닝 필터링(demeaning filtering)함으로써, 상기 표적을 중심으로 하여 가우시안 형태의 밝기값을 갖는 템플릿을 획득하는 필터부;
상기 획득된 템플릿을 사용하여 밝기값의 평균을 기준으로 표준 편차의 정수배의 범위 내에서 표적을 구분함으로써, 상기 표적과 비표적을 구분한 영상 데이터를 생성하는 표적 분할부 및
상기 생성된 영상 데이터를 연결성분 레이블링(connedcted components labeling)하고, 연결성분 레이블링된 표적 영상으로부터 클러터를 제거하여 표적을 탐지하는 클러터 제거부를 포함하는 영상 추적 장치.
제1항에 있어서, 상기 센서부는,
적외선(IIR)/열 영상을 통해 상기 표적의 적외선/열을 센싱하기 위한 적외선 센서 및
전하 결합 소자(CCD) 영상을 통해 상기 표적의 색상을 센싱하기 위한 전하 결합 소자 센서를 포함하는 것을 특징으로 하는 영상 추적 장치.
제2항에 있어서, 상기 필터부는,
상기 표적의 템플릿을 획득하기 위해 하기의 수학식 3을 통해 미리 결정된 윈도우를 통해 상기 영상을 필터링하고,
상기 수학식 3은
이고, 상기
은 공분산(covariance)이고, 상기
는
의 윈도우 크기로서 필터링된 영상이고,
는 필터링된 영상의 표준 편차인 것을 특징으로 하는 영상 추적 장치.
제1항에 있어서, 상기 표적 분할부는,
상기 영상 내 표적을 '1'로 설정하고, 상기 영상 내 배경을 '0'으로 설정함으로써, 상기 표적과 상기 비표적을 구분한 영상 데이터를 생성하는 것을 특징으로 하는 영상 추적 장치.
제1항에 있어서, 상기 클러터 제거부는,
하나의 영상 내에서 표적으로 추정되는 하나의 객체를 검출할 때마다 레이블링 카운트를 증가시켜 복수의 객체들을 검출하는 것을 특징으로 하는 영상 추적 장치.
제5항에 있어서, 상기 클러터 제거부는,
가로와 세로의 비율인 지름비(aspect ratio)가 소정 크기 이상인 객체를 제거하여 표적을 탐지하는 것을 특징으로 하는 영상 추적 장치.
표적을 포함한 영상을 센싱하는 단계;
상기 센싱된 영상을 디미닝 필터링(demeaning filtering)함으로써, 상기 표적을 중심으로 하여 가우시안 형태의 밝기값을 갖는 템플릿을 획득하는 단계;
상기 획득된 템플릿을 사용하여 밝기값의 평균을 기준으로 표준 편차의 정수배의 범위 내에서 표적을 구분함으로써, 상기 표적과 비표적을 구분한 영상 데이터를 생성하는 단계 및
상기 생성된 영상 데이터를 연결성분 레이블링(connedcted components labeling)하고, 연결성분 레이블링된 표적 영상으로부터 클러터를 제거하여 표적을 탐지하는 단계를 포함하는 영상 추적 장치의 표적 탐지 방법.