KR101797028B1 - Ir 및 sar 영상을 이용한 표적 탐지 장치 및 방법 - Google Patents

Ir 및 sar 영상을 이용한 표적 탐지 장치 및 방법 Download PDF

Info

Publication number
KR101797028B1
KR101797028B1 KR1020160036266A KR20160036266A KR101797028B1 KR 101797028 B1 KR101797028 B1 KR 101797028B1 KR 1020160036266 A KR1020160036266 A KR 1020160036266A KR 20160036266 A KR20160036266 A KR 20160036266A KR 101797028 B1 KR101797028 B1 KR 101797028B1
Authority
KR
South Korea
Prior art keywords
image
target
maps
map
sar
Prior art date
Application number
KR1020160036266A
Other languages
English (en)
Other versions
KR20170111248A (ko
Inventor
김소현
임윤지
김태훈
김성호
김경태
송우진
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020160036266A priority Critical patent/KR101797028B1/ko
Publication of KR20170111248A publication Critical patent/KR20170111248A/ko
Application granted granted Critical
Publication of KR101797028B1 publication Critical patent/KR101797028B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G01S13/9035—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/904—SAR modes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은 IR(Infrared) 센서 및 SAR(Synthetic Aperture Radar) 센서로부터 생성되는 표적의 이미지를 이용하여 표적 탐지를 수행하는 장치 및 방법에 대한 것으로, IR 영상 및 SAR 영상을 입력받는 영상 입력부와, 입력된 영상의 종류에 따라 입력된 영상들을 전처리하고, 전처리된 영상들을 컬러 채널과 방향 채널에 각각 입력하여 기 설정된 복수의 밝기 기준값 및 기 설정된 복수의 방향각 중 적어도 하나에 따른 복수의 부울맵(boolean map)을 생성하고, 생성된 부울맵들에 근거하여 상기 IR 영상과 SAR 영상 각각에 대한 융합 맵(Fusion Map)들을 생성하는 채널링부와, 상기 융합 맵들 각각으로부터, 각 픽셀에 대응되는 값이, 기 설정된 기준값 이상이면 그 값을 가지고, 기 설정된 기준값 미만이면 0의 값을 가지는 표적 추출 맵(Target Extracted Map)들을 생성 및, 상기 표적 추출 맵들로부터 표적이 검출된 영역들의 중심 좌표들을 추출하는 표적 좌표 추출부, 및, 상기 추출된 중심 좌표들에 근거하여, 상기 IR 영상 및 SAR 영상을 서로 정합하고, 정합된 IR 영상과 SAR 영상을 AND 융합 또는 OR 융합 한 결과에 따라 표적을 탐지한 결과를 출력하는 제어부를 포함하는 것을 특징으로 한다.

Description

IR 및 SAR 영상을 이용한 표적 탐지 장치 및 방법{APPARATUS AND METHOD FOR TARGET DETECTION BASED INFRARED AND SAR(SYNTHETIC APERTURE RADAR) IMAGE}
본 발명은 IR(Infrared) 센서 및 SAR(Synthetic Aperture Radar) 센서로부터 생성되는 표적의 이미지를 이용하여 표적 탐지를 수행하는 장치 및 방법에 대한 것이다.
IR 영상 및 SAR 영상 기반의 지상 표적 탐지 기술은 자동 감시 분야에서 주로 이용된다. IR 센서는 수동 센싱 방식을 이용해 적에게 노출될 위험이 적고, 주/야에 관계없이 고해상도 영상의 획득이 가능하며, 표적의 특징 정보를 획득할 수 있다는 강점이 있다. 그러나 IR 센서는 날씨 및 습도 등의 대기효과에 민감한 특성을 가지며, 거리에 의존적이라는 한계를 가진다.
반면 SAR 센서는 주/야에 관계없이 고해상도 영상의 획득이 가능하며, 날씨에 민감하지 않고 2D 또는 3D 영상화가 가능하다는 강점이 있다. 그러나 SAR 센서는 능동 센싱 방식으로 인해 적에게 노출될 위험이 높으며, 표적의 특징정보 획득이 어렵다는 한계점을 가진다. 따라서 각 센서의 강점과 한계점을 상호보완적으로 융합하는 것이 표적 탐지 능력의 향상에 있어 중요한 의미를 가진다.
센서 융합은 크게 픽셀 수준의 융합, 특징 수준의 융합, 의사 결정 수준의 융합이 고려될 수 있다. 그런데 SAR 영상과 IR 영상의 경우, 서브픽셀 수준의 오차를 가지는 매우 정확한 수준의 정합이 어렵기 때문에 픽셀 수준의 융합을 하기에는 어려움이 있다. 또한 상기 SAR 영상과 IR 영상은 특징 정보의 유사성이 낮기 때문에, 양 영상으로부터 추출된 특징 정보를 이용하여 영상을 정합하기에는 또한 어려움이 있다.
따라서 SAR 영상과 IR 영상의 융합은 의사 결정 수준에서의 센서 융합이 가장 적합하다. 여기서 의사 결정 수준의 센서 융합은, 각 센서에 구비된 검출기의 검출 결과를 바탕으로 센서 융합을 수행하는 것이며, 이에 따라 각 센서, 즉 IR 센서 및 SAR 센서에 구비된 검출기의 성능에 의해 그 성능이 크게 좌우될 수 있다. 따라서 IR 및 SAR 센서에 대해 우수한 탐지 성능을 가지는 검출기가 필수적이다.
한편 IR 센서에서는 인간의 시각적 처리과정을 모델링 한 BMVT(Boolean Map Visual Thoery) 검출기가 IR 영상에서의 소형표적 탐지에 있어 우수한 탐지 성능을 가지는 것으로 알려져 있다. 그러나 상기 BMVT 검출기는 IR 영상에서의 소형 표적 탐지를 위해 제안된 것으로, 대형 크기의 표적 탐지에 적용하기에는 무리가 있으며, SAR 영상에 위 BMVT 검출기를 그대로 사용할 경우, 클러터(clutter)의 발생으로 인한 오탐지율이 매우 높아진다는 문제점이 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 하는 것으로, IR 및 SAR 단일 센서 기반의 표적 탐지보다 높은 성능을 제공하는 표적 탐지 장치 및 그 방법을 제공함에 있다.
또한 본 발명의 목적은, IR 영상 뿐 아니라 SAR 영상에서도 그 성능이 우수한 검출기를 이용하여 IR 및 SAR 센서가 의사 결정 수준에서 융합될 수 있도록 하는 표적 탐지 장치 및 그 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 표적 탐지 장치는, IR(Infrared) 영상 및 SAR(Synthetic Aperture Radar) 영상을 입력받는 영상 입력부와, 입력된 영상의 종류에 따라 입력된 영상들을 전처리하고, 전처리된 영상들을 컬러 채널과 방향 채널에 각각 입력하여 기 설정된 복수의 밝기 기준값 및 기 설정된 복수의 방향각 중 적어도 하나에 따른 복수의 부울맵(boolean map)을 생성하고, 생성된 부울맵들에 근거하여 상기 IR 영상과 SAR 영상 각각에 대한 융합 맵(Fusion Map)들을 생성하는 채널링부와, 상기 융합 맵들 각각으로부터, 각 픽셀에 대응되는 값이, 기 설정된 기준값 이상이면 그 값을 가지고, 기 설정된 기준값 미만이면 0의 값을 가지는 표적 추출 맵(Target Extracted Map)들을 생성 및, 상기 표적 추출 맵들로부터 표적이 검출된 영역들의 중심 좌표들을 추출하는 표적 좌표 추출부, 및, 상기 추출된 중심 좌표들에 근거하여, 상기 IR 영상 및 SAR 영상을 서로 정합하고, 정합된 IR 영상과 SAR 영상을 AND 융합 또는 OR 융합 한 결과에 따라 표적을 탐지한 결과를 출력하는 제어부를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 채널링부는, 메디안(Median) 필터를 더 포함하고, SAR 영상이 입력되는 경우, 상기 전처리로 상기 메디안 필터를 이용한 필터링을 수행하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 표적 좌표 추출부는, 모폴로지(Morphology) 필터를 더 포함하고, 상기 표적 추출 맵들 각각에 대해 상기 모폴로지 필터를 이용한 필터링을 수행한 결과 생성되는 모폴로지 영상들로부터 표적이 검출된 영역들의 중심 좌표들을 추출하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, WCM(Warp Consensus Matching)에 근거하여, 상기 추출된 표적의 중심 좌표들 중 호모그래피(homography)를 검출하기 위한 복수의 좌표쌍과 정합 에러를 계산하기 위한 1개의 좌표쌍을 미리 선정하고, 가능한 모든 경우의 수에 대해 호모그래피를 모두 계산 및, 호모그래피의 계산에 이용되지 않은 에러 계산용 좌표 쌍의 거리 오차를 측정한 후, 오차가 가장 작은 호모그래피를 기반으로 상기 영상 정합을 수행하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 채널링부는, 상기 전처리된 영상들을 그레이 스케일(gray scale) 영상으로 변환하고, 상기 그레이 스케일 변환된 영상들을 컬러 채널과 방향 채널에 각각 입력하고, 기 설정된 복수의 밝기 기준값 및 기 설정된 복수의 방향각 중 적어도 하나에 근거하여 상기 그레이 스케일 변환된 영상들 각각에 대응되는 복수의 부울맵(boolean map)들을 생성하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 채널링부는, 부울맵이 생성되면, 생성된 부울맵에 포함된 0 또는 1의 개수에 따라 가중치를 더 부여하며, 상기 가중치는, 부울맵에 포함된 0의 개수가 많을수록 보다 높은 값을 가지는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 표적 탐지 방법은, IR(Infrared) 영상 및 SAR(Synthetic Aperture Radar) 영상을 입력받는 단계와, 상기 입력된 영상의 종류에 따라 입력된 영상들을 전처리하는 단계와, 상기 전처리된 영상들을 컬러 채널과 방향 채널에 각각 입력하는 단계와, 기 설정된 복수의 밝기 기준값 및 기 설정된 복수의 방향각 중 적어도 하나에 따라 상기 전처리된 영상들 각각에 대응되는 각 채널별 복수의 부울맵(boolean map)들을 생성하는 단계와, 입력된 영상의 종류와 채널 별로, 상기 복수의 부울맵들의 서로 대응되는 픽셀값들의 평균을 산출한 결과들로 이루어지는 제1 융합 맵(Fusion Map)들을 생성하는 단계와, 상기 융합 맵들을, 동일한 종류에 대응되는 서로 다른 채널의 제1 융합 맵을 서로 곱하여, 상기 IR 영상에 대한 제2 융합 맵 및 상기 SAR 영상에 대한 제2 융합 맵을 생성하는 단계와, 상기 제2 융합 맵들 각각으로부터, 각 픽셀에 대응되는 값이, 기 설정된 기준값 이상이면 그 값을 가지고, 기 설정된 기준값 미만이면 0의 값을 가지는 표적 추출 맵(Target Extracted Map)들을 생성하는 단계와, 상기 표적 추출 맵들로부터 각각 표적이 검출된 영역들의 중심 좌표들을 추출하는 단계와, 상기 추출된 중심 좌표들에 근거하여, 상기 IR 영상 및 SAR 영상을 서로 정합하는 단계, 및, 정합된 IR 영상과 SAR 영상을 AND 융합 또는 OR 융합 한 결과에 따라 표적을 탐지한 결과를 출력하는 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 부울맵을 생성하는 단계는, 생성된 부울맵에 가중치를 부여히는 단계를 더 포함하며, 상기 제1 융합 맵들은, 상기 가중치가 부여된 부울맵들에 근거하여 생성되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 가중치는, 부울맵에 포함된 0의 개수가 많을수록 보다 높은 값을 가지는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 전처리 단계는, 입력된 영상이 SAR 영상인 경우 메디안(Median) 필터링을 수행하는 단계를 더 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 표적의 중심 좌표들을 추출하는 단계는, 상기 표적 추출 맵들 각각에 대해 모폴로지(Morphology) 필터링을 수행하는 단계, 및, 상기 모폴로지 필터링을 수행한 결과에 따라 생성된 모폴로지 영상들로부터 상기 표적이 검출된 영역들의 중심 좌표들을 추출하는 단계를 더 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 IR 영상 및 SAR 영상을 서로 정합하는 단계는, 상기 추출된 중심 좌표들 중 호모그래피(homograph)를 검출하기 위한 복수의 좌표쌍과 정합 에러를 계산하기 위한 1개의 좌표쌍을 선정하는 단계와, 가능한 모든 경우의 수에 대해 호모그래피를 모두 계산 및, 호모그래피의 계산에 이용되지 않은 에러 계산용 좌표 쌍의 거리 오차를 측정하는 단계, 및, 상기 오차 측정 결과 오차가 가장 작은 호모그래피를 기반으로 영상 정합을 수행하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 표적 탐지 장치 및 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 IR 센서와 SAR 센서를, 상기 IR 센서와 SAR 센서로부터 출력된 영상으로부터 표적을 검출한 결과에 근거하여 의사 결정 수준에서 상기 IR 센서와 SAR 센서가 서로 융합될 수 있도록 함으로써, 상기 IR 센서와 SAR 센서의 강점과 한계점을 상호보완하여 표적의 탐지 성능과 신뢰성을 보다 향상시킬 수 있도록 하는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 표적 탐지 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 실시 예에 따른 표적 탐지 장치에서, IR 영상과 SAR 영상을 융합하여 표적을 탐지한 결과를 출력하는 동작을 도시한 흐름도이다.
도 3은, 도 2에서 도시한 과정들 중, BMVT-M(Boolean Map Visual Thoery - Mopology/Median) 방법을 이용하여 IR 영상 및 SAR 영상으로부터 표적의 중심 좌표를 추출하는 동작을 도시한 흐름도이다.
도 4는 본 발명의 실시 예에 따른 표적 탐지 장치에서, 컬러 채널로 입력된 영상들로부터 융합 컬러 맵을 생성하는 동작 과정을 도시한 흐름도이다.
도 5는 본 발명의 실시 예에 따른 표적 탐지 장치에서, 방향 채널로 입력된 영상들로부터 융합 방향 맵을 생성하는 동작 과정을 도시한 흐름도이다.
도 6a는 종래 IR 영상 및 SAR 영상에서 탐지된 표적의 예를 도시한 예시도이다.
도 6b는 본 발명의 실시 예에 따른 표적 탐지 장치에서, IR 영상 및 SAR 영상에서 탐지된 표적의 예를 도시한 예시도이다.
도 7은 종래 기술과 본 발명의 실시 예에 따른 IR 및 SAR 영상을 이용하여 표적을 탐지한 결과를 ROC(Receiver Operational Characteristic curve)로 비교한 도면이다.
도 8은 본 발명의 실시 예에 따른 표적 탐지 장치에서, 추출된 표적의 중심 좌표에 따라 IR 영상과 SAR 영상을 정합 및 융합하는 예를 도시한 예시도이다.
도 9a 내지 도 9c는 본 발명의 실시 예에 따른 표적 탐지 장치에서, 본 발명의 실시 예에 따라 IR 영상과 SAR 영상을 융합한 결과에 따라 표적의 오탐지 결과가 제거된 표적 탐지 결과를 도시한 예시도들이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하도록 한다.
우선 도 1은 본 발명의 실시 예에 따른 표적 탐지 장치의 구성을 도시한 블록도이다.
도 1을 참조하여 살펴보면, 본 발명의 실시 예에 따른 표적 탐지 장치(100)는 연결된 각 구성 요소를 제어하는 제어부(110) 및, 상기 제어부(110)와 연결되는 영상 입력부(120), 채널링부(130), 표적 좌표 추출부(140), 출력부(150)를 포함하여 구성될 수 있다. 도 1에 도시된 구성요소들은 본 발명의 실시 예에 따른 표적 탐지 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 표적 탐지 장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
우선 영상 입력부(120)는, IR 영상 및 SAR 영상을 수신하고, 수신된 IR 영상 및 SAR 영상을 제어부(110)에 입력할 수 있다. 여기서 IR 영상은 IR 센서로부터 획득된 영상일 수 있으며, SAR 영상은 SAR 센서로부터 획득된 영상일 수 있다. 이를 위해 상기 영상 입력부(120)는 IR 영상부(122)와 SAR 영상부(124)를 포함할 수 있으며, 상기 IR 영상부(122)는 직접 IR 센서를 구비하여 구비된 IR 센서를 통해 IR 영상을 획득하거나, 또는 별도로 형성된 IR 센서가 있는 경우 상기 별도로 형성된 IR 센서에서 감지된 IR 영상을 획득하기 위한 것일 수 있다. 마찬가지로 상기 SAR 영상부(124)는 직접 SAR 센서를 구비하여 구비된 SAR 센서를 통해 SAR 영상을 획득하거나, 또는 별도로 형성된 SAR 센서가 있는 경우 상기 별도로 형성된 SAR 센서에서 감지된 SAR 영상을 획득하기 위한 것일 수 있다. 그리고 상기 IR 영상부(122) 및 SAR 영상부(124)에서 획득된 IR 영상 및 SAR 영상을 제어부(110)로 입력할 수 있다.
한편 상기 입력된 IR 영상 및 SAR 영상은, 제어부(110)에 의해 채널링부(130)로 입력될 수 있다. 채널링부(130)는 상기 IR 영상 및 SAR 영상이 입력되면, 입력된 영상들을 전처리부(134)를 통해 입력된 영상들의 종류에 따라 전처리하고, 전처리된 영상들을 각각 컬러 채널 맵 생성부(132) 및 방향 채널 맵 생성부(136)에 입력할 수 있다.
여기서 컬러 채널 맵 생성부(132)는 상기 입력된 IR 영상 및 SAR 영상을 그레이 스케일(gray scale) 영상으로 변환할 수 있다. 그리고 변환된 그레이 스케일 영상의 밝기 값과 기 설정된 복수의 밝기 기준값에 따라 입력된 영상에 대응되는 부울맵(boolean map)을 생성할 수 있다. 여기서 부울맵은 1(true or positive),0(false or negative) 로 구성되어 양자화된 맵으로서, 부울맵은 기 설정된 문턱치, 즉 기 설정된 밝기 기준값보다 픽셀의 밝기값이 크면 1, 작으면 0으로 영상의 각 픽셀들을 양자화한 맵을 의미하는 것일 수 있다. 하기 수학식 1은 이처럼 부울맵을 생성하는 것을 수식으로 도시한 것이다.
Figure 112016029045056-pat00001
여기서 상기 밝기 기준값들은 임의로 설정될 수 있다. 예를 들어 픽셀의 밝기 기준이 0 ~ 255까지 256단계로 구분된다고 가정하고, 사용자가 간격 기준을 '4'로 설정하는 경우, 상기 밝기 기준값은 0, 4, 8, 12 ... 사용자가 설정한 간격 기준('4')에 따라 64개의 밝기 기준값들이 생성될 수 있다. 이러한 경우 상기 64개의 밝기 기준값 각각에 따라 부울맵들이 생성될 수 있으므로, IR 영상 및 SAR 영상은 각각 64개의 부울맵들이 형성될 수 있다. 이러한 경우 상기 Fi(x,y)는 i번째 Feature Map을 의미 하며, Tj 는 j번째 밝기 기준값을 의미한다. 컬러 채널에서의 Feature Map은 그레이 스케일 영상에서 현재 설정된 밝기 기준값에 따라 생성된 영상을 의미한다.
한편 상기 컬러 채널 맵 생성부(132)는 상기 부울맵들이 생성될 때마다 가중치를 부여할 수 있다. 예를 들어 컬러 채널 맵 생성부(132)는 부울맵에 포함된 '0'의 개수가 많을수록 보다 높은 가중치를 부여할 수 있다. 이는 기 설정된 밝기 기준값 보다 어두운 부분이 영상에 많이 포함되어 있을수록, 표적이 포함되어 있을 가능성이 높은 밝은 부분이 보다 명확하게 구분될 수 있기 때문이다. 예를 들어 제어부(110)는 하기 수학식 2에 따라 부울맵에 가중치를 부여하고, 가중치가 부여된 부울맵을 생성할 수 있다.
Figure 112016029045056-pat00002
여기서 Nlabel과 Nmap는 각각 1로 라벨링된 픽셀의 수(부울맵에서 1로 양자화된 픽셀의 수), 전체 픽셀의 수(부울맵의 전체 픽셀의 수)룰 의미할 수 있다.
Figure 112016029045056-pat00003
여기서 Bij는 밝기 기준값이 Tj인 경우의 부울맵임.
그리고 상기 설정된 밝기 기준값들에 근거하여 모든 부울맵들이 생성되면, 컬러 채널 맵 생성부(132)는 형성된 부울맵들을 하기 수학식 4에 따라 융합하여 융합 컬러 맵(Fused Color Map)을 생성할 수 있다. 이러한 경우 상기 융합 컬러 맵은, 밝기 기준값에 따라 생성된 복수의 부울맵을 평균한 결과일 수 있으며, IR 영상 및 SAR 영상 각각에 대해 생성될 수 있다.
Figure 112016029045056-pat00004
여기서
Figure 112016029045056-pat00005
는 Feature Map의 수를 의미함.
한편, 상기 전처리부(134)는 상기 IR 영상 및 SAR 영상을 방향 채널 맵 생성부(136)에 입력하기 전에 수행하는 전처리 과정으로, 상기 IR 영상 및 SAR 영상에 대한 메디안(median) 필터링을 수행할 수 있다. 이에 따라 메디안 효과에 의해 노이즈(noise)가 제거된 IR 영상 및 SAR 영상이 상기 방향 채널 맵 생성부(136)로 입력될 수 있다.
한편 방향 채널 맵 생성부(136)는 현재 설정된 방향각 기준값에 따라 입력된 영상에 대해 2차 방향 미분 필터링을 수행할 수 있다. 예를 들어 이러한 2차 방향 미분 필터링으로 하기 수학식 5에서 제시된 SODD(Second Order Directional Derivative) 필터등이 사용될 수 있다.
Figure 112016029045056-pat00006
그리고 상기 2차 방향 미분 필터링이 완료되면, 상기 방향 채널 맵 생성부(136)는 방향 미분 필터링된 영상에 대해 복수의 부울맵들을 생성할 수 있다. 여기서 상기 방향 채널 맵 생성부(136)에서 생성되는 부울맵은 상기 컬러 채널 맵 생성부(132)에서 부울맵을 생성하는 방식과 유사하게 생성될 수 있다. 즉, 상기 방향 채널 맵 생성부(136)는 기 설정된 밝기 기준값보다 픽셀의 밝기값이 크면 1, 작으면 0으로 영상의 각 픽셀들을 양자화한 맵을 생성할 수 있으며, 사용자가 설정한 간격 기준에 따른 복수의 밝기 기준값 각각마다 부울맵을 생성할 수 있다.
한편 방향 채널 맵 생성부(136)는 현재 설정된 방향각에 따라 생성된 영상에 대해, 기 설정된 복수의 밝기 기준값 모두에 대해 부울맵이 생성되는 경우, 상기 방향각을 변경할 수 있다. 이러한 방향각은 사용자에 의해 설정된 일정 각에 의해 결정될 수 있는데, 예를 들어 사용자가 상기 방향각을 설정하기 위한 각을 45로 설정하는 경우, 방향 채널 맵 생성부(136)는 0도(360도), 45도, 90도, 135도, 180도, 225도, 270도, 315도의 8개 방향각을 설정할 수 있다.
그리고 현재 설정된 방향각에 의해 2차 방향 미분 필터링된 영상에 따른 부울맵들이 모두 형성된 경우(복수의 밝기 기준값 모두에 대한 부울맵이 생성된 경우)라면, 방향각을 변경 및 변경된 방향각에 따른 2차 방향 미분 필터링을 수행하고, 변경된 방향각에 따라 2차 방향 미분 필터링이 수행된 영상에 부울맵들을 생성하는 과정을 반복할 수 있다. 따라서 현재 사용자에 의해 설정된 각이 45도이며, 64개의 밝기 기준값들이 설정되어 있는 경우, 상기 방향 채널 맵 생성부(136)는 입력된 영상에 대해, 8 × 64, 즉 512개의 부울맵을 생성할 수 있다. 따라서 방향 채널 맵 생성부(136)에 전처리된 IR 영상 및 SAR 영상이 입력되면, 각 영상에 대응되는 1024개의 부울맵(IR 영상의 부울맵 512개, SAR 영상의 부울맵 512개)들이 생성될 수 있다.
한편 상기 방향 채널 맵 생성부(136)는 생성된 부울맵들을 융합하여 융합 방향 맵(Fused Orientation Map)을 형성할 수 있다. 상기 융합 방향 맵을 생성하는 과정은, 상기 컬러 채널 맵 생성부(132)와 유사하게 이루어질 수 있다. 즉, 방향 채널 맵 생성부(136)는 부울맵들이 생성될 때마다 가중치를 부여할 수 있으며, 부울맵에 포함된 '0'의 개수가 많을수록 보다 높은 가중치를 부여할 수 있다. 그리고 현재 설정된 각도에 따른 모든 방향각들 및 모든 밝기 기준값들에 따른 부울맵들이 형성되면, 방향 채널 맵 생성부(136)는 생성된 부울맵들을 융합하여 융합 방향 맵을 생성할 수 있다. 이처럼 융합 방향 맵을 생성하는 과정은 IR 영상 및 SAR 영상에 대해 각각 이루어질 수 있으며, 이에 따라 IR 영상에 대응되는 융합 방향 맵과 SAR 영상에 대응되는 융합 방향 맵이 생성될 수 있다. 이하 상기 융합 방향 맵과 상기 융합 컬러 맵을 서로 구분하기 위해, 융합 컬러 맵은 BC F, 융합 방향 맵은 BO F라고 칭하기로 한다.
따라서 채널링부(130)에서는 입력된 IR 영상에 대한 융합 컬러 맵(IR BC F)과 융합 방향 맵(IR BO F)이 출력될 수 있다. 그리고 입력된 SAR 영상에 대한 융합 컬러 맵(SAR BC F)과 융합 방향 맵(SAR BO F)이 출력될 수 있다. 그러면 출력된 상기 IR BC F, IR BO F, SAR BC F, 및 SAR BO F는 제어부(110)로 입력될 수 있다.
한편 제어부(110)는 입력된 융합 맵들을 각 영상의 종류별로 서로 융합할 수 있다. 예를 들어 제어부(110)는 IR 영상에 대해, 상기 IR BC F와 IR BO F를 서로 곱하여 IR 영상에 대한 융합 맵(IR BF)을 생성할 수 있다. 그리고 SAR 영상에 대해, 상기 SAR BC F와 SAR BO F를 서로 곱하여 SAR 영상에 대한 융합 맵(SAR BF)을 생성할 수 있다. 그러면 제어부(110)는 상기 IR 융합 맵 및 SAR 융합 맵을 표적 좌표 추출부(140)에 입력할 수 있다.
표적 좌표 추출부(140)는 상기 제어부(110)로부터 IR 융합 맵 및 SAR 융합 맵이 입력되면, 입력된 맵에 포함된 표적의 좌표를 강화하는 과정을 수행할 수 있다. 예를 들어 표적 좌표 추출부(140)는, 상기 융합 맵들의 각 픽셀에 대응되는 값이, 기 설정된 기준값 이상이면 그 값을 그대로 가지고, 기 설정된 기준값 미만이면 0의 값을 가지는 표적 추출 맵(Target Extracted Map)을 생성할 수 있다. 하기 수학식 6 및 수학식 7은 이처럼 융합 맵으로부터 표적 추출 맵을 생성하기 위한 것이다.
Figure 112016029045056-pat00007
여기서
Figure 112016029045056-pat00008
는 IR 영상의 융합 맵 또는 SAR 영상의 융합 맵 임.
Figure 112016029045056-pat00009
그리고 표적 좌표 추출부(140)는 IR 융합 맵으로부터 생성된 표적 추출 맵과, SAR 융합 맵으로부터 생성된 표적 추출 맵에 대해 모폴로지(Morphology) 필터링을 수행할 수 있다. 이러한 경우 상기 생성된 표적 추출 맵에서, 검출된 표적의 내부 영역이 상기 모폴로지 필터링에 의해 메꾸어진 모폴로지 맵들(IR 모폴로지 맵, SAR 모폴로지 맵)이 생성될 수 있다.
이에 따라 표적 좌표 추출부(140)는 상기 모폴로지 맵들으로부터 각각 표적이 포함된 영역을 검출할 수 있다. 그리고 상기 검출된 영역의 중심 좌표들을 각각 추출할 수 있다. 그리고 표적 좌표 추출부(140)는 추출된 표적의 중심 좌표들을 제어부(110)에 입력할 수 있다.
한편 제어부(110)는 표적 좌표 추출부(140)로부터 입력된 표적의 중심 좌표들에 근거하여 상기 영상 입력부(120)에서 입력된 IR 영상과 SAR 영상을 서로 정합할 수 있다. 그리고 정합이 완료된 IR 영상과 SAR 영상을 의사 결정 수준에서 AND 와 OR 결합을 수행할 수 있다. 이러한 의사 결정 수준에서 상기 정합된 IR 영상 및 SAR 영상의 융합은 하기 수학식 8과 같이 이루어질 수 있다.
Figure 112016029045056-pat00010
여기서 DIR과 DSAR은 각각 IR 영상에서 탐지된 결과 및 SAR 영상에서 탐지된 결과를 의미함.
그리고 제어부(110)는 융합된 IR 영상과 SAR 영상으로부터 표적을 탐지한 결과를 출력부(150)를 통해 출력할 수 있다. 이에 따라 본 발명은 IR 영상과 SAR 영상, 즉 IR 센서 및 SAR 센서를 융합하여 표적을 탐지한 결과를 얻을 수 있으며, 이러한 융합에 따라 표적의 오탐지율을 크게 감소시킬 수 있도록 한다.
한편 도 2는 본 발명의 실시 예에 따른 표적 탐지 장치(100)에서, IR 영상과 SAR 영상을 융합하여 표적을 탐지한 결과를 출력하는 동작을 도시한 흐름도이다.
도 2를 참조하여 살펴보면, 제어부(110)는 IR 센서 및 SAR 센서로부터 획득된 영상들(IR 영상 및 SAR 영상)을 입력받을 수 있다(S200). 그리고 입력된 IR 영상 및 메디안 필터링 처리된 SAR 영상으로부터, 기 설정된 복수의 밝기 기준값 및 기 설정된 복수의 방향각 중 적어도 하나에 근거하여 부울맵들을 생성하고, 생성된 부울맵들에 근거하여 IR 영상의 융합 맵과 SAR 영상의 융합 맵을 생성 및, 생성된 맵들에 모폴로지 필터링을 수행하여 얻어진 IR 모폴로지 맵과 SAR 모폴로지 맵으로부터 표적의 중심 좌표를 추출할 수 있다(S202). 이하 이처럼 입력된 IR 영상 및 메디안 필터링 처리된 SAR 영상으로부터 IR 모폴로지 맵과 SAR 모폴로지 맵을 생성 및, 표적의 중심 좌표를 추출하는 과정을 본 발명의 실시 예에 따른 BMVT-M(Boolean Map Visual Thoery - Mopology/Median)이라고 칭하기로 한다. 이하 상기 BMVT-M의 보다 상세한 동작 과정에 대해서는 하기 도 3을 통해 보다 자세하기 기술하기로 한다.
한편 상기 S202 단계에서 BMVT-M 과정에 의해 IR 영상 및 SAR 영상에 포함된 표적의 중심 좌표들이 추출되면, 제어부(110)는 추출된 중심 좌표들에 근거하여 IR 영상과 SAR 영상을 서로 정합할 수 있다(S204). 이러한 정합을 위해 제어부(110)는 상기 S204 단계에서, 상기 두 영상들의 호모그래피(homography)를 계산할 수 있다. 이 때, 검출된 표적의 순서가 실제 IR 영상 및 SAR 영상에서 정확하게 매칭되지 않는 경우, 또는 검출된 표적의 수가 서로 다르게 나타난 경에는 이러한 호모그래피 계산이 불가능하므로, 본 발명에서는 최적의 호모그래피를 찾기 위해 WCM(Warp Consensus Matching) 방식을 이용할 수 있다.
이러한 경우 제어부(110)는 추출된 표적의 중심 좌표들 중 호모그래피를 검출하기 위한 4개의 좌표쌍과 정합 에러를 계산하기 위한 1개의 좌표쌍을 미리 선정할 수 있다. 그리고 가능한 모든 경우의 수에 대해 호모그래피를 모두 계산 및, 호모그래피의 계산에 이용되지 않은 에러 계산용 좌표 쌍의 거리 오차를 측정할 수 있다. 그리고 오차가 가장 작은 호모그래피를 기반으로 영상 정합을 수행할 수 있다.
그리고 상기 계산된 호모그래피에 따라 IR 영상과 SAR 영상이 정합되면, 제어부(110)는 정합된 각 영상에 대해 AND 결합 및 OR 결합을 수행할 수 있다. 이러한 AND 결합 및 OR 결합에 따라 상기 IR 영상과 SAR 영상은 서로 융합될 수 있으며, 상기 융합의 결과로 오탐지된 결과들이 제거될 수 있다. 그리고 제어부(110)는 상기 오탐지된 결과들이 제거된 IR 영상과 SAR 영상의 융합 결과를 출력할 수 있다(S206).
한편 도 3은, 도 2에서 도시한 과정들 중, BMVT-M(Boolean Map Visual Thoery - Mopology/Median) 방법을 이용하여 IR 영상 및 SAR 영상으로부터 표적의 중심 좌표를 추출하는 동작을 도시한 흐름도이다.
도 3을 참조하여 살펴보면, 본 발명의 실시 예에 따른 표적 탐지 장치(100)의 제어부(110)는 상기 S200 단계에서 IR 영상 및 SAR 영상이 입력되면, 입력된 영상들을 각 영상의 종류에 따라 전처리할 수 있다(S300). 예를 들어 제어부(110)는 입력된 영상이 SAR 영상인 경우, 상기 S300 단계에서 메디안 필터링 처리를 할 수 있다. 그리고 제어부(110)는 상기 전처리된 영상들을 컬러 채널과 방향 채널에 각각 입력할 수 있다(S302). 이에 따라 상기 IR 영상은 바로 컬러 채널과 방향 채널에 입력될 수 있으나, SAR 영상은 먼저 메디안 필터링 처리가 이루어진 후 상기 컬러 채널 및 방향 채널에 입력될 수 있다. 한편 상기 컬러 채널 및 방향 채널에 영상들을 입력하는 S302 단계는, 제어부(110)의 제어에 따라 채널링부(130)가 상기 입력된 영상들을 컬러 채널 맵 생성부(132)에 입력하는 과정 및, 상기 입력된 영상들을 방향 채널 맵 생성부(136)에 입력하는 단계가 될 수 있다.
한편 제어부(110)는 상기 IR 영상 및 SAR 영상이, 각각 컬러 채널과 방향 채널로 입력되면, 입력된 영상들 각각에 대응되는 융합 컬러 맵들과 융합 방향 맵들을 생성할 수 있다(S304). 즉, 제어부(110)는 상기 S304 단계에서 기 설정된 값에 따라 결정되는 복수의 밝기 기준값에 따라 상기 입력된 IR 영상 및 SAR 영상으로부터 복수의 부울맵들을 생성 및 생성된 복수의 부울맵들에 근거하여 IR 융합 컬러 맵(IR BC F)과 SAR 융합 컬러 맵(SAR BC F)을 생성할 수 있다.
그리고 제어부(110)는 복수의 밝기 기준값과 기 설정된 각도에 따라 결정되는 복수의 방향각에 근거하여 IR 융합 방향 맵(IR BO F)과 SAR 융합 방향 맵(SAR BO F)를 생성할 수 있다. 여기서 상기 융합 컬러 맵들(IR BC F, SAR BC F)과 융합 방향 맵들(IR BO F, SAR BO F)을 생성하는 동작 과정은 서로 다른 채널(서로 다른 맵 생성부(132, 136))에서 각각 독립적으로 진행될 수 있으므로, 서로 동시에 진행될 수 있음은 물론이다. 이하 하기 도 4 및 도 5를 참조하여, 본 발명의 실시 예에 따른 표적 탐지 장치(100)에서 융합 컬러 맵이 생성되는 과정과 융합 방향 맵을 생성하는 과정을 보다 자세히 살펴보기로 한다.
한편 제어부(110)는 상기 S304 단계에서, 입력된 영상들 각각에 대응되는 융합 컬러 맵들과 융합 방향 맵들이 생성되면, 맵들을 서로 융합하여 입력된 영상에 대응되는 융합 맵을 생성할 수 있다(S306). 즉, 제어부(110)는 상기 S306 단계에서 IR 영상의 융합 컬러 맵(IR BC F)과 융합 방향 맵(IR BO F)을 서로 곱하여 IR 영상의 융합 맵(Fused Map)을 생성할 수 있다. 그리고 SAR 영상의 융합 컬러 맵(SAR BC F)과 융합 방향 맵(SAR BO F)을 서로 곱하여 SAR 영상의 융합 맵(Fused Map)을 생성할 수 있다.
그리고 제어부(110)는 상기 S306단계의 융합 결과 산출된 IR 영상의 융합 맵과 SAR 영상의 융합 맵 각각에 대해, 기 설정된 기준값에 근거하여 표적이 포함된 영역을 강화할 수 있다(S308). 예를 들어 상기 S308 단계는 융합 맵의 각 픽셀별로 산출된 값 중 기 설정된 기준값 이상을 가지는 픽셀은 그 값을 그대로 유지하고, 기 설정된 기준값 미만을 가지는 픽셀의 값은 0으로 매핑함으로써, 각 융합 맵에서 표적이 포함된 영역을 강화할 수 있다. 이러한 표적 강화에 따라 표적이 검출되는 영역이 확장될 수 있으며, 확장된 크기의 표적이 탐지될 수 있다.
한편 상기 S308 단계에서 표적의 강화가 완료되면, 제어부(110)는 표적의 내부 영역이 끊어져서 검출되는 것을 방지하기 위해, 상기 표적 강화된 IR 융합 맵(IR 영상의 표적 추출 맵)과 SAR 융합 맵(SAR 영상의 표적 추출 맵) 각각에 대해, 모폴로지 필터의 일종인 클로징 필터(Closing filter)와 이로전 필터(Erosion filter) 처리를 수행할 수 있다. 이에 따라 제어부(110)는 상기 IR 영상의 표적 추출 맵과 SAR 영상의 표적 추출 맵 각각으로부터 상기 표적의 내부 영역이 메꾸어진 모폴로지 맵들(IR 모폴로지 맵, SAR 모폴로지 맵)을 생성할 수 있다(S310).
한편 상기 S310 단계에서, IR 모폴로지 맵, SAR 모폴로지 맵이 생성되면, 제어부(110)는 상기 생성된 맵들 각각으로부터 표적이 포함된 영역의 중심 좌표를 추출할 수 있다(S312). 그리고 제어부(110)는 상기 도 2의 S204단계로 진행하여, 상기 각 추출된 표적의 중심 좌표들을 기준으로 IR 영상과 SAR 영상의 정합을 수행할 수 있다.
한편 도 4는 본 발명의 실시 예에 따른 표적 탐지 장치(100)에서, 컬러 채널로 입력된 영상들로부터 융합 컬러 맵을 생성하는 동작 과정을 도시한 흐름도이다.
도 4를 참조하여 살펴보면, 본 발명의 실시 예에 따른 표적 탐지 장치(100)의 제어부(110)는, 융합 컬러 맵을 생성하기 위한 영상이 입력되면 입력된 영상을 그레이 스케일 영상으로 변환할 수 있다(S400). 그리고 제어부(110)는 상기 그레이 스케일 영상의 각 픽셀별 밝기 값을 현재 설정된 밝기 기준값과 비교한 결과에 따라 각 픽셀이 0 또는 1로 양자화된 부울맵을 생성할 수 있다(S402). 여기서 생성된 부울맵은 현재 설정된 밝기 기준값에 대응되는 부울맵일 수 있다.
한편 부울맵이 생성되면, 제어부(110)는 생성된 부울맵에 가중치를 부여하여, 가중치 부울맵을 생성할 수 있다(S404). 여기서 상기 가중치는, 상기 부울맵에 포함된 0의 개수가 전체 픽셀에서 차지하는 비중이 클수록 보다 큰 가중치가 부여될 수 있다. 이는 상술한 바와 같이 기 설정된 밝기 기준값 보다 어두운 부분이 영상에 많이 포함되어 있을수록, 표적이 포함되어 있을 가능성이 높은 밝은 부분이 보다 명확하게 구분될 수 있기 때문이다.
한편 상기 S404 단계에서 가중치 부울맵의 생성이 완료되면, 제어부(110)는 모든 밝기 기준값들에 따른 가중치 부울맵들이 생성되었는지 여부를 확인할 수 있다(S406). 이에 따라 아직 부울맵이 생성되지 않은 밝기 기준값이 있는 경우라면, 제어부(110)는 아직 부울맵이 생성되지 않은 밝기 기준값들 중 다음 순서에 따른 값으로 밝기 기준값을 변경하고, 다시 S402 단계로 진행하여 변경된 밝기 기준값에 따른 부울맵을 생성할 수 있다. 그리고 다시 S404 단계로 진행할 수 있다. 이에 따라 기 설정된 복수의 밝기 기준값 각각에 대응되는 모든 부울맵(S402 단계) 및 그 부울맵에 대응되는 가중치 부울맵(S404 단계)이 생성될 때까지, 상기 S402 단계에서 S408단계에 이르는 과정이 반복될 수 있다.
그리고 상기 S406 단계의 확인 결과, 기 설정된 복수의 밝기 기준값 각각에 대응되는 모든 가중치 부울맵들이 생성된 경우라면, 제어부(110)는 상기 생성된 가중치 부울맵들을 서로 융합하여 융합 컬러 맵을 생성할 수 있다(S410). 예를 들어 상기 S410 단계의 융합 컬러 맵을 생성하는 단계는, 상기 산출된 모든 가중치 부울맵들을, 부울맵들의 개수로 평균, 즉 상기 가중치 부울맵들의 각 픽셀별 값들을 상기 가중치 부울맵들의 수로 평균한 값을, 각 픽셀의 값으로 가지는 맵을 생성하는 단계일 수 있다.
한편, 도 5는 본 발명의 실시 예에 따른 표적 탐지 장치(100)에서, 방향 채널로 입력된 영상들로부터 융합 방향 맵을 생성하는 동작 과정을 도시한 흐름도이다.
도 5를 참조하여 살펴보면, 본 발명의 실시 예에 따른 표적 탐지 장치(100)의 제어부(110)는, 융합 방향 맵을 생성하기 위한 영상이 입력되면 입력된 영상에 대해 기 설정된 방향각에 따른 2차 방향 미분 필터링을 수행할 수 있다(S500).
여기서 상기 방향각은 기 설정된 각도에 따라 복수개 결정될 수 있다. 예를 들어 상기 기 설정된 각도가 45도인 경우라면, 방향각은 0도(360도), 45도, 90도, 135도, 180도, 225도, 270도, 315도의 8개가 결정될 수 있다. 그리고 상기 S500 단계가 처음으로 수행되는 경우라면, 제어부(110)는 최초로 설정된 방향각, 즉 0도에 근거하여 2차 방향 미분 필터링을 수행 및, 그 결과에 따른 영상을 생성할 수 있다.
그리고 제어부(110)는 상기 2차 방향 미분 필터링된 영상을 그레이 스케일 영상으로 변환할 수 있다(S502). 그리고 그레이 스케일 영상으로 변환된 영상으로부터, 상기 도 4의 융합 컬러 맵을 형성하는 과정들(S402 단계 내지 S408 단계)과 유사하게 복수의 밝기 기준값들에 대응되는 부울맵들을 생성할 수 있다(S504 단계 내지 S510 단계).
그리고 상기 S508 단계의 확인 결과, 기 설정된 복수의 밝기 기준값 각각에 대응되는 모든 가중치 부울맵들이 생성된 경우라면, 제어부(110)는 모든 방향각에 따른 가중치 부울맵들이 생성되었는지 여부를 확인할 수 있다(S512). 그리고 상기 S512 단계의 확인 결과, 부울맵들이 생성되지 않은 방향각이 있는 경우라면, 제어부(110)는 아직 부울맵들이 생성되지 않은 방향각들 중 다음 순서에 따른 방향각으로 방향각을 변경할 수 있다(S514). 그리고 제어부(110)는 다시 S500 단계로 진행하여, 입력된 영상에 대해 현재 설정된 방향각에 따라 다시 2차 방향 미분 필터링된 영상을 생성할 수 있다. 그리고 S502 단계에서 S512 단계에 이르는 과정을 반복 수행할 수 있다.
한편 상기 S512 단계의 확인 결과, 기 설정된 모든 방향각들에 대해 2차 방향 미분 필터링된 영상이 생성되고, 생성된 영상들에 대해 각각 가중치 부울맵들이 생성된 경우라면, 제어부(110)는 상기 생성된 가중치 부울맵들을 서로 융합하여 융합 방향 맵을 생성할 수 있다(S516). 여기서 상기 S516 단계의 융합 방향 맵을 생성하는 단계 역시, 상기 산출된 모든 가중치 부울맵들을, 부울맵들의 개수로 평균, 즉 상기 가중치 부울맵들의 각 픽셀별 값들을 상기 가중치 부울맵들의 수로 평균한 값을, 각 픽셀의 값으로 가지는 맵을 생성하는 단계가 될 수도 있다.
한편 도 6a는 종래 IR 영상 및 SAR 영상에서 탐지된 표적의 예를 도시한 예시도이다. 그리고 도 6b는 본 발명의 실시 예에 따른 표적 탐지 장치에서, IR 영상 및 SAR 영상에서 탐지된 표적의 예를 도시한 예시도이다.
우선 도 6a의 (a)는 종래 기술에 따라 IR 영상에서 표적을 탐지한 결과를 보이고 있는 것이며, 도 6a의 (b)는 종래 기술에 따라 SAR 영상에서 표적을 탐지한 결과를 보이고 있는 것이다. 도 6a의 (a) 및 (b)에서 보이고 있는 것과 같이, 종래 기술에서는 표적의 탐지 영역이 협소하고, 이에 따라 확장된 크기의 표적을 검출하기 어려움을 알 수 있다.
이에 반해 도 6b의 (a)는 본 발명의 실시 예에 따른 표적 탐지 장치(100)에서, IR 영상으로부터 표적이 탐지된 결과를 보이고 있는 것이다. 그리고 도 6b의 (b)는 본 발명의 실시 예에 따른 표적 탐지 장치(100)에서, SAR 영상으로부터 표적이 탐지된 결과를 보이고 있는 것이다. 도 6b의 (a) 및 (b)에서 보이고 있는 것과 같이, 본 발명의 실시 예에 따른 표적 탐지 장치(100)의 탐지 결과에서는 표적의 탐지 영역이 확장하고, 확장된 크기의 표적에도 적용 가능함을 알 수 있다.
한편 도 7은 종래 기술과 본 발명의 실시 예에 따른 IR 및 SAR 영상을 이용하여 표적을 탐지한 결과를 ROC(Receiver Operational Characteristic curve)로 비교한 도면이다.
우선 도 7의 (a)는 종래 기술에 따른 IR 영상에서 표적이 검출된 결과(710)와 본 발명의 실시 예에 따른 IR 영상에서 표적이 검출된 결과(700)를 비교한 도면으로, 본 발명의 실시 예에 따른 표적 탐지 장치(100)에서 IR 영상의 표적 검출 능력이 현저히 높음을 알 수 있다.
그리고 도 7의 (b)는 종래 기술에 따른 SAR 영상에서 표적이 검출된 결과(760)와 본 발명의 실시 예에 따른 SAR 영상에서 표적이 검출된 결과(750)를 비교한 도면으로, 본 발명의 실시 예에 따른 표적 탐지 장치(100)에서 SAR 영상의 표적 검출 능력이 현저히 높음을 알 수 있다.
한편 도 8은 본 발명의 실시 예에 따른 표적 탐지 장치(100)에서, 추출된 표적의 중심 좌표에 따라 IR 영상과 SAR 영상을 정합 및 융합하는 예를 도시한 예시도이다.
우선 도 8의 (a)는 SAR 영상(800)에서 표적(802)을 탐지한 결과를 보이고 있는 것이며, 도 8의 (b)는 IR 영상(850)에서 표적(852)을 탐지한 결과를 보이고 있는 것이다. 그리고 상기 SAR 영상(도 8의 (a))과 IR 영상(도 8의 (b))을, 도 8의 (c)에서 보이고 있는 것처럼 본 발명의 실시 예에 따라 정합하는 경우, 상기 SAR 영상에서 탐지된 표적들(802)의 위치와, IR 영상에서 탐지된 표적들(852)의 위치가 서로 일치함을 알 수 있다. 이에 따라 IR 센서 기반의 표적 검출 결과와 SAR 센서 기반의 표적 검출 결과가, 본 발명의 실시 예에 의해 성공적으로 정합될 수 있음을 알 수 있다.
한편 도 9a 내지 도 9c는 본 발명의 실시 예에 따른 표적 탐지 장치에서, 본 발명의 실시 예에 따라 IR 영상과 SAR 영상을 융합한 결과에 따라 표적의 오탐지 결과가 제거된 표적 탐지 결과를 도시한 예시도들이다.
우선 도 9a를 참조하여 살펴보면, 도 9a의 (a)는 본 발명의 실시 예에 따른 표적 탐지 장치(100)가, IR 영상(900)으로부터 표적을 탐지한 결과를 보이고 있는 것이고, 도 9a의 (b)는 SAR 영상(902)으로부터 표적을 탐지한 결과를 보이고 있는 것이다.
그리고 도 9a의 (c)는 본 발명의 실시 예에 따라 상기 IR 영상(900)과 SAR 영상(902)을 본 발명의 실시 예에 따라 정합한 예를 보이고 있는 것이다. 이처럼 IR 영상(900)과 SAR 영상(902)이 서로 정합되어 있는 상태인 경우, 도 9a의 (c)에서 보이고 있는 것처럼, 오탐지된 표적들(904)이 검출될 수 있다.
한편 이처럼 오탐지된 표적들(904)은 본 발명의 실시 예에 따른 의사 결정 수준의 영상 융합(AND 융합, OR 융합) 단계에서 제거될 수 있다. 도 9a의 (d)는 이처럼 IR 영상(900)과 SAR 영상(902)의 융합으로 인해 오탐지된 표적들(904)이 제거된 예를 보이고 있는 것이다.
도 9b 및 도 9c 역시 이와 유사한 예를 보이고 있는 것이다.
먼저 도 9b의 (a)는 본 발명의 실시 예에 따른 표적 탐지 장치(100)가, IR 영상(910)으로부터 표적을 탐지한 결과를 보이고 있는 것이고, 도 9b의 (b)는 SAR 영상(912)으로부터 표적을 탐지한 결과를 보이고 있는 것이다. 그리고 도 9b의 (c)는 상기 IR 영상(910)과 SAR 영상(912)이 정합된 예를 보이고 있는 것이다. 그리고 도 9b의 (d)는 정합된 IR 영상(910)과 SAR 영상(912)의 융합에 따라 오탐지된 표적들(914)이 제거된 예를 보이고 있는 것이다.
또한 도 9c의 (a)는 본 발명의 실시 예에 따른 표적 탐지 장치(100)가, IR 영상(920)으로부터 표적을 탐지한 결과를 보이고 있는 것이고, 도 9c의 (b)는 SAR 영상(922)으로부터 표적을 탐지한 결과를 보이고 있는 것이다. 그리고 도 9c의 (c)는 상기 IR 영상(920)과 SAR 영상(922)이 정합된 예를 보이고 있는 것이다. 그리고 도 9c의 (d)는 정합된 IR 영상(920)과 SAR 영상(922)의 융합에 따라 오탐지된 표적들(924)이 제거된 예를 보이고 있는 것이다.
한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 특히 본 발명의 실시 예에서는 2차 방향 미분 필터의 일종인 SODD 필터를 사용하는 것을 예로 들어 설명하였으며, 또한 모폴로지 필터의 예로 클로징 필터와 이로전 필터를 사용하는 것을 예로 들어 설명하였으나, 본 발명이 이에 한정되는 것이 아님은 물론이다. 즉, 얼마든지 다양한 2차 방향 미분 필터가 사용되거나 또는 다른 모폴로지 필터가 사용될 수도 있음은 물론이다. 뿐만 아니라 호모그래피를 기반으로 영상 정합을 수행하기 위해 본 발명에서 사용한 WCM과는 다른 방식으로 상기 영상 정합이 이루어지는 경우 역시 본 발명의 권리범위에 포함될 수 있음은 물론이다.
이와 같이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 표적 탐지 장치 110: 제어부
120 : 영상 입력부 122 : IR 영상부
124 : SAR 영상부 130 : 채널링부
132 : 컬러 채널 맵 생성부 134 : 전처리부
136 : 방향 채널 맵 생성부 138 : 2차 방향 미분 필터링부
140 : 표적 좌표 추출부 150 : 출력부

Claims (12)

  1. IR(Infrared) 영상 및 SAR(Synthetic Aperture Radar) 영상을 입력받는 영상 입력부;
    입력된 영상의 종류에 따라 입력된 영상들을 전처리하고, 전처리된 영상들을 컬러 채널과 방향 채널에 각각 입력하여 기 설정된 복수의 밝기 기준값 및 기 설정된 복수의 방향각 중 적어도 하나에 따른 복수의 부울맵(boolean map)을 생성하고, 생성된 부울맵들에 근거하여 상기 IR 영상과 SAR 영상 각각에 대한 융합 맵(Fusion Map)들을 생성하는 채널링부;
    상기 융합 맵들 각각으로부터, 각 픽셀에 대응되는 값이, 기 설정된 기준값 이상이면 그 값을 가지고, 기 설정된 기준값 미만이면 0의 값을 가지는 표적 추출 맵(Target Extracted Map)들을 생성 및, 상기 표적 추출 맵들로부터 표적이 검출된 영역들의 중심 좌표들을 추출하는 표적 좌표 추출부; 및,
    상기 추출된 중심 좌표들에 근거하여, 상기 IR 영상 및 SAR 영상을 서로 정합하고, 정합된 IR 영상과 SAR 영상을 AND 융합 또는 OR 융합하여 오탐지된 결과들을 제거한 결과를 출력하는 제어부를 포함하며,
    상기 제어부는,
    상기 추출된 표적의 중심 좌표들 중 호모그래피(homography)를 검출하기 위한 복수의 좌표쌍과 정합 에러를 계산하기 위한 1개의 좌표쌍을 미리 선정하고, 가능한 모든 경우의 수에 대해 호모그래피를 모두 계산 및, 호모그래피의 계산에 이용되지 않은 에러 계산용 좌표 쌍의 거리 오차를 측정하며, 측정된 오차가 가장 작은 호모그래피를 기반으로 상기 영상 정합을 수행하는 것을 특징으로 하는 표적 탐지 장치.
  2. 제1항에 있어서, 상기 채널링부는,
    메디안(Median) 필터를 더 포함하고,
    SAR 영상이 입력되는 경우, 상기 전처리로 상기 메디안 필터를 이용한 필터링을 수행하는 것을 특징으로 하는 표적 탐지 장치.
  3. 제1항에 있어서, 상기 표적 좌표 추출부는,
    모폴로지(Morphology) 필터를 더 포함하고,
    상기 표적 추출 맵들 각각에 대해 상기 모폴로지 필터를 이용한 필터링을 수행한 결과 생성되는 모폴로지 영상들로부터 표적이 검출된 영역들의 중심 좌표들을 추출하는 것을 특징으로 하는 표적 탐지 장치.
  4. 제1항에 있어서, 상기 제어부는,
    WCM(Warp Consensus Matching)에 근거하여, 상기 영상 정합을 수행하는 것을 특징으로 하는 표적 탐지 장치.
  5. 제1항에 있어서, 상기 채널링부는,
    상기 전처리된 영상들을 그레이 스케일(gray scale) 영상으로 변환하고, 상기 그레이 스케일 변환된 영상들을 컬러 채널과 방향 채널에 각각 입력하고, 기 설정된 복수의 밝기 기준값 및 기 설정된 복수의 방향각 중 적어도 하나에 근거하여 상기 그레이 스케일 변환된 영상들 각각에 대응되는 복수의 부울맵(boolean map)들을 생성하는 것을 특징으로 하는 표적 탐지 장치.
  6. 제1항에 있어서, 상기 채널링부는,
    부울맵이 생성되면, 생성된 부울맵에 포함된 0 또는 1의 개수에 따라 가중치를 더 부여하며,
    상기 가중치는,
    부울맵에 포함된 0의 개수가 많을수록 보다 높은 값을 가지는 것을 특징으로 하는 표적 탐지 장치.
  7. IR(Infrared) 영상 및 SAR(Synthetic Aperture Radar) 영상을 입력받는 단계;
    상기 입력된 영상의 종류에 따라 입력된 영상들을 전처리하는 단계;
    상기 전처리된 영상들을 컬러 채널과 방향 채널에 각각 입력하는 단계;
    기 설정된 복수의 밝기 기준값 및 기 설정된 복수의 방향각 중 적어도 하나에 따라 상기 전처리된 영상들 각각에 대응되는 각 채널별 복수의 부울맵(boolean map)들을 생성하는 단계;
    입력된 영상의 종류와 채널 별로, 상기 복수의 부울맵들의 서로 대응되는 픽셀값들의 평균을 산출한 결과들로 이루어지는 제1 융합 맵(Fusion Map)들을 생성하는 단계;
    상기 융합 맵들을, 동일한 종류에 대응되는 서로 다른 채널의 제1 융합 맵을 서로 곱하여, 상기 IR 영상에 대한 제2 융합 맵 및 상기 SAR 영상에 대한 제2 융합 맵을 생성하는 단계;
    상기 제2 융합 맵들 각각으로부터, 각 픽셀에 대응되는 값이, 기 설정된 기준값 이상이면 그 값을 가지고, 기 설정된 기준값 미만이면 0의 값을 가지는 표적 추출 맵(Target Extracted Map)들을 생성하는 단계;
    상기 표적 추출 맵들로부터 각각 표적이 검출된 영역들의 중심 좌표들을 추출하는 단계;
    상기 추출된 중심 좌표들에 근거하여, 상기 IR 영상 및 SAR 영상을 서로 정합하는 단계; 및,
    정합된 IR 영상과 SAR 영상을 AND 융합 또는 OR 융합하여 오탐지된 결과들을 제거하는 단계를 포함하며,
    상기 IR 영상 및 SAR 영상을 서로 정합하는 단계는,
    상기 추출된 중심 좌표들 중 호모그래피(homograph)를 검출하기 위한 복수의 좌표쌍과 정합 에러를 계산하기 위한 1개의 좌표쌍을 선정하는 단계;
    가능한 모든 경우의 수에 대해 호모그래피를 모두 계산 및, 호모그래피의 계산에 이용되지 않은 에러 계산용 좌표 쌍의 거리 오차를 측정하는 단계; 및,
    상기 오차 측정 결과 오차가 가장 작은 호모그래피를 기반으로 영상 정합을 수행하는 단계를 포함하는 것을 특징으로 하는 표적 탐지 방법.
  8. 제7항에 있어서,
    상기 부울맵을 생성하는 단계는,
    생성된 부울맵에 가중치를 부여히는 단계를 더 포함하며,
    상기 제1 융합 맵들은,
    상기 가중치가 부여된 부울맵들에 근거하여 생성되는 것을 특징으로 하는 표적 탐지 방법.
  9. 제8항에 있어서, 상기 가중치는,
    부울맵에 포함된 0의 개수가 많을수록 보다 높은 값을 가지는 것을 특징으로 하는 표적 탐지 방법.
  10. 제7항에 있어서, 상기 전처리 단계는,
    입력된 영상이 SAR 영상인 경우 메디안(Median) 필터링을 수행하는 단계를 더 포함하는 것을 특징으로 하는 표적 탐지 방법.
  11. 제7항에 있어서, 상기 표적의 중심 좌표들을 추출하는 단계는,
    상기 표적 추출 맵들 각각에 대해 모폴로지(Morphology) 필터링을 수행하는 단계; 및,
    상기 모폴로지 필터링을 수행한 결과에 따라 생성된 모폴로지 영상들로부터 상기 표적이 검출된 영역들의 중심 좌표들을 추출하는 단계를 더 포함하는 것을 특징으로 하는 표적 탐지 방법.
  12. 삭제
KR1020160036266A 2016-03-25 2016-03-25 Ir 및 sar 영상을 이용한 표적 탐지 장치 및 방법 KR101797028B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160036266A KR101797028B1 (ko) 2016-03-25 2016-03-25 Ir 및 sar 영상을 이용한 표적 탐지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160036266A KR101797028B1 (ko) 2016-03-25 2016-03-25 Ir 및 sar 영상을 이용한 표적 탐지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170111248A KR20170111248A (ko) 2017-10-12
KR101797028B1 true KR101797028B1 (ko) 2017-11-13

Family

ID=60141457

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160036266A KR101797028B1 (ko) 2016-03-25 2016-03-25 Ir 및 sar 영상을 이용한 표적 탐지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101797028B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11682232B2 (en) 2018-02-12 2023-06-20 Samsung Electronics Co., Ltd. Device and method with image matching

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102102369B1 (ko) * 2019-03-08 2020-04-20 국방과학연구소 정합 성능 추정 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11682232B2 (en) 2018-02-12 2023-06-20 Samsung Electronics Co., Ltd. Device and method with image matching

Also Published As

Publication number Publication date
KR20170111248A (ko) 2017-10-12

Similar Documents

Publication Publication Date Title
Chadwick et al. Distant vehicle detection using radar and vision
US10127448B2 (en) Method and system for dismount detection in low-resolution UAV imagery
US20100295948A1 (en) Method and device for camera calibration
US10789495B2 (en) System and method for 1D root association providing sparsity guarantee in image data
CN110264495B (zh) 一种目标跟踪方法及装置
KR101104199B1 (ko) 가시광선 및 적외선 영상신호 융합장치 및 그 방법
CN110210541B (zh) 图像融合方法及设备、存储装置
CN102982334B (zh) 基于目标边缘特征与灰度相似性的稀疏视差获取方法
CN105335955A (zh) 对象检测方法和对象检测装置
Bu et al. Pedestrian planar LiDAR pose (PPLP) network for oriented pedestrian detection based on planar LiDAR and monocular images
RU2528140C1 (ru) Cпособ автоматического распознавания объектов на изображении
CN106504289B (zh) 一种室内目标检测方法及装置
Tuominen et al. Cloud detection and movement estimation based on sky camera images using neural networks and the Lucas-Kanade method
CN107679542B (zh) 一种双摄像头立体视觉识别方法及系统
KR101797028B1 (ko) Ir 및 sar 영상을 이용한 표적 탐지 장치 및 방법
Choi et al. A sensor fusion system with thermal infrared camera and LiDAR for autonomous vehicles: Its calibration and application
Guo et al. Visibility detection approach to road scene foggy images
CN107958202B (zh) 人体检测设备、人体检测设备的控制方法和存储介质
KR101862994B1 (ko) 자율차량을 위한 정지선 검출 방법
Shimoni et al. Detection of vehicles in shadow areas
Abraham et al. Vehicle detection and classification from high resolution satellite images
Seng et al. A two-stage image fusion method for enhanced through-the-wall radar target detection
Boerner et al. Brute force matching between camera shots and synthetic images from point clouds
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
JP2015184944A (ja) 人物検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant