KR101172283B1 - 해상 표적 검출 방법 - Google Patents

해상 표적 검출 방법 Download PDF

Info

Publication number
KR101172283B1
KR101172283B1 KR1020120058439A KR20120058439A KR101172283B1 KR 101172283 B1 KR101172283 B1 KR 101172283B1 KR 1020120058439 A KR1020120058439 A KR 1020120058439A KR 20120058439 A KR20120058439 A KR 20120058439A KR 101172283 B1 KR101172283 B1 KR 101172283B1
Authority
KR
South Korea
Prior art keywords
target
image
pixel value
area
determining
Prior art date
Application number
KR1020120058439A
Other languages
English (en)
Inventor
김경수
최경택
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020120058439A priority Critical patent/KR101172283B1/ko
Application granted granted Critical
Publication of KR101172283B1 publication Critical patent/KR101172283B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은 영상을 이용하여 해상 표적을 검출하는 방법에 관한 것이다. 본 발명의 일 실시 예에 따른 해상 표적 검출 방법은, 영상을 획득하는 단계; 상기 획득된 영상이 고공에서 획득된 영상인지 해면에서 획득된 영상인지 판단하는 단계; 상기 획득된 영상이 고공에서 획득된 영상인 경우, 상기 획득된 영상의 히스토그램(histogram)을 이용하여 상기 획득된 영상의 화소 값을 검출하는 단계; 상기 획득된 영상이 해면에서 획득된 영상인 경우, 상기 해면을 기준으로 표적 영역의 범위를 계산하고, 상기 획득된 영상에서 상기 표적 영역의 범위의 화소 값을 검출하는 단계; 및 상기 검출된 화소 값을 이용하여 표적 영역을 결정하는 단계를 포함한다.

Description

해상 표적 검출 방법{METHOD FOR DETECTING MARITIME TARGETS}
본 발명은 영상을 이용하여 해상 표적을 검출하는 방법에 관한 것이다.
영상을 이용하여 해상 표적을 검출하는 기존의 방법은, 대부분 표적의 형상 정보를 사전에 장입하고, 영상에서 사전에 장입된 표적의 형상을 찾음으로써 표적을 검출했다.
하지만 현실적으로 표적의 형상 정보를 사전에 취득하기 어려운 경우가 대다수이다. 또한, 표적의 형상 정보를 사전에 취득할 수 있더라도, 장입된 표적의 형상 정보와 현재 취득된 표적의 형상 사이에는 괴리감이 있다.
예를 들어, 표적의 자세 변화, 기후나 외부광의 변화와 같은 외적 요인 변화 및 표적 자체의 형상 변화 등으로 인해 장입된 표적의 형상 정보와 현재 취득된 표적의 형상은 차이가 크게 발생할 수 있다. 이에 따라, 표적의 형상 정보 없이도 영상을 이용하여 표적을 검출하는 방법의 필요성이 대두되었다.
본 발명의 목적은 해상 표적에 관련된 사전 정보 없이 영상을 이용하여 해상 표적을 검출하는 방법을 제공하는 데 있다.
본 발명의 일 실시 예에 따른 해상 표적 검출 방법은, 영상을 획득하는 단계; 상기 획득된 영상이 고공에서 획득된 영상인지 해면에서 획득된 영상인지 판단하는 단계; 상기 획득된 영상이 고공에서 획득된 영상인 경우, 상기 획득된 영상의 히스토그램(histogram)을 이용하여 상기 획득된 영상의 화소 값을 검출하는 단계; 상기 획득된 영상이 해면에서 획득된 영상인 경우, 상기 해면을 기준으로 표적 영역의 범위를 계산하고, 상기 획득된 영상에서 상기 표적 영역의 범위 내에서 화소 별 또는 blob 별 표적일 가능성을 계산하는 단계; 및 상기 검출된 가능성 값을 이용하여 표적 영역을 결정하는 단계를 포함한다.
실시 예에 있어서, 상기 획득된 영상이 고공에서 획득된 영상인 경우, 상기 획득된 영상의 히스토그램을 이용하여 화소 값을 검출하는 단계는, 상기 획득된 영상을 이용하여 히스토그램(histogram)을 그리는 단계; 및 상기 히스토그램의 피크(peak) 값을 검출하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 검출된 화소 값을 이용하여 표적 영역을 결정하는 단계는, 상기 히스토그램의 피크 값에 대응하는 화소 값 및 상기 획득된 영상의 화소 값을 이용하여 상기 획득된 영상을 두 개의 영역으로 분할하는 단계; 및 상기 분할된 두 개의 영역 중 많은 화소 수를 가지는 영역을 수면 영역으로 결정하고, 다른 영역을 표적 후보 영역으로 결정하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 검출된 화소 값을 이용하여 표적 영역을 결정하는 단계는, 상기 획득된 영상에서 상기 표적 후보 영역의 화소 값을 검출하는 단계; 및 상기 검출된 화소 값의 시축상 변화율을 측정하고, 상기 시축상 변화율이 기 설정된 값 미만인 영역을 상기 표적 영역으로 결정하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 검출된 화소 값을 이용하여 표적 영역을 결정하는 단계는, 상기 표적 후보 영역이 복수 개인 경우, 상기 획득된 영상에서 상기 복수의 표적 후보 영역들 각각의 화소 값을 검출하는 단계; 상기 복수의 표적 후보 영역들의 평균 화소 값을 계산하는 단계; 및 상기 검출된 화소 값이 상기 평균 화소 값과 기 설정된 값 이상의 차이가 나는 표적 후보 영역을 상기 표적 영역으로 결정하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 획득된 영상이 해면에서 획득된 영상인 경우, 상기 해면을 기준으로 표적 영역의 범위를 계산하고, 상기 획득된 영상에서 상기 표적 영역의 범위에서 표적일 가능성을 계산하는 단계는, 상기 획득된 영상에서 수평선 또는 해안선을 검출하는 단계; 상기 검출된 수평선 또는 해안선을 기준으로 표적 영역의 범위를 계산하는 단계; 상기 표적 영역의 범위를 복수의 영역들로 분할하는 단계; 및 상기 복수의 영역들 각각에 다수의 constraints를 적용 표적일 가능성을 계산하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 검출된 수평선 또는 해안선을 기준으로 표적 영역의 범위를 계산하는 단계는, 표적을 탐지하는 센서 본체의 고도 값, 상기 센서 본체와 상기 표적 간의 거리 범위 및 상기 표적의 크기 범위를 이용하여 상기 표적 영역의 범위를 계산할 수 있다.
실시 예에 있어서, 상기 검출된 화소 값을 이용하여 표적 영역을 결정하는 단계는, 상기 복수의 영역들 중 서로 이웃하는 영역들의 화소 값 차이가 기 설정된 값 이하인 경우 상기 이웃하는 영역들을 하나의 영역으로 통합하는 단계; 및 상기 통합된 하나의 영역 및 다른 영역 중 많은 화소 수를 가지는 영역을 수면 영역으로 결정하고, 다른 영역을 상기 표적 영역으로 결정하는 단계를 포함할 수 있다.
본 발명에 의하면, 해상 표적에 관련된 사전 정보 없이 영상을 이용하여 해상 표적을 검출할 수 있다. 이에 따라, 해상 표적에 관련된 사전 정보를 구축하는 비용이 절감될 수 있으며, 해상 표적의 크기 변화, 자세 변화 및 형상 변화와 무관하게 해상 표적이 검출될 수 있다.
도 1은 해상에서 표적과 영상 센서 간의 위치 관계 및 위치 관계에 따른 획득된 영상을 보여주는 개념도들이다.
도 2는 고공에서 획득된 영상에 대한 히스토그램을 보여주는 개념도들이다.
도 3은 고공에서 획득된 영상인 경우 영상이 분할되는 예를 보여주는 개념도들이다.
도 4는 해면에서 획득된 영상인 경우 영상 센서의 회전에 의한 수평선과 영상 센서의 FPA 면에 투영되는 수평선과의 관계를 보여주는 개념도이다.
도 5는 해면에서 획득된 영상인 경우 표적 영역의 범위를 계산하는 예를 보여주는 개념도이다.
도 6은 해면에서 획득된 영상인 경우 표적 영역의 범위를 보여주는 개념도이다.
도 7은 해면에서 획득된 영상인 경우 표적을 검출하는 예를 보여주는 개념도들이다.
도 8 내지 도 11은 본 발명이 적용되는 시스템을 보여주는 블록도들이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세하게 설명하기 위하여, 본 발명의 실시 예가 첨부된 도면을 참조하여 설명한다. 하지만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통해 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 해상에서 표적과 영상 센서 간의 위치 관계 및 위치 관계에 따른 획득된 영상을 보여주는 개념도들이다.
도 1을 참조하면, 영상 센서를 이용하여 해상 표적을 촬영하는 데 있어서 중요한 고려 사항은 영상 센서와 표적 간의 위치 관계이다. 이를 위해, 우선, 획득된 영상이 고공에서 획득된 영상인지 해면에서 획득되는 영상인지 판단되는 단계가 진행된다.
(a)와 같이 영상 센서가 고공에서 영상을 획득하는 경우, 예를 들어, 항공 촬영인 경우, 왼쪽 그림에 도시된 바와 같이, 비교적 배경이 단순하여 표적 영역(100)의 검출이 용이하다.
즉, 영상에서 표적 영역(100)은 수면 영역에 둘러싸여 있는데, 이때 태양광 반사가 없다면 수면 영역은 균일(homogeneous)한 영역이기 때문에 표적 영역(100)은 쉽게 검출될 수 있다. 따라서, 수면 영역을 검출한 뒤, 수면 영역에 둘러싸여 있으면서 수면 영역과 특성이 다른 영역을 표적 영역(100)으로서 검출할 수 있다.
반면, (b)와 같이 영상 센서가 해면에서 영상을 획득하는 경우, 예를 들어, 항만 감시 또는 유도탄의 배면 밀착 비행인 경우, 오른쪽 그림에 도시된 바와 같이, 표적 영역(100) 주변의 배경으로 물, 육지, 하늘 등이 존재할 수 있으므로 단순한 영상 분할 방법으로는 표적 영역(100)을 검출할 수 없다.
도 2 및 도 3은 획득된 영상이 고공에서 획득된 영상인 경우에 대한 해상 표적 검출 방법을 보여주는 개념도들이다. 구체적으로, 도 2는 고공에서 획득된 영상에 대한 히스토그램을 보여주는 개념도들이고, 도 3은 영상이 분할되는 예를 보여주는 개념도들이다.
여기에서, 수면 영역은 물이라는 단일 물질로 구성되는 균일한 영역이다. 수면 영역을 영상 센서로 촬영하는 경우, 그 화소 값이 동일하며, 만약 수면 영역의 화소 값이 크게 차이 나는 경우, 태양광에 의해 수면에 빛이 반사되어 반짝임(glint)이 발생하는 경우를 의미한다.
도 2에 도시된 바와 같이, 획득된 영상을 이용하여 히스토그램을 그릴 수 있다. 히스토그램에서 피크 값이 검출될 수 있는데, 수면 영역은 획득된 영상에서 큰 영역을 차지하므로 히스토그램에서 피크 값을 형성할 수 있다.
다음으로, 피크 값을 기준으로 임계치가 설정될 수 있다. 이때, 수면의 화소 변화율을 고려하여 수동으로 임계치가 설정될 수도 있고, Otsu-threshold등과 같은 보편적인 자동 임계치 설정 알고리즘을 적용하여 임계치가 설정될 수도 있다.
이후, 임계치를 이용한 영상은 도 3에 도시된 바와 같이, 복수의 영역, 예를 들어, 두 개의 영역으로 분할될 수 있다. 이때, 히스토그램의 피크 값에 대응하는 화소 값 및 획득된 영상의 화소 값을 이용하여, 획득된 영상은 피크 값에 대응하는 화소 값을 갖는 영역 및 다른 영역, 즉, 두 개의 영역으로 분할될 수 있다.
이후, 두 개의 영역 중 많은 화소 수를 가지는 영역은 수면 영역으로 결정되고, 다른 영역은 표적 후보 영역으로 결정될 수 있다. 표적 후보 영역에서 태양광에 의한 수면의 반짝임이 발생된 영역의 제거를 통해 표적 영역이 결정될 수 있다.
태양광에 의한 수면의 반짝임이 발생된 영역을 제거하는 첫 번째 방법으로서, 표적 후보 영역의 화소 값의 시축상 변화율을 이용하는 방법이 있다. 구체적으로, 수면의 반짝임은 수면파(water ripple)에 의해 발생되는 바, 반짝임이 발생된 영역의 화소 값은 시간 축으로 보면 그 값이 변화함을 알 수 있다. 이는, 수면파에 의해 영상의 동일 지점에 태양광의 반사가 주기적으로 일어나기 때문이다. 즉, 각 화소 값의 시축상 변화율이 검출되며, 검출된 시축상 변화율에 따라, 반짝임이 발생된 영역이 제거될 수 있다.
이때, 영상의 동일 지점의 시축상 화소 값의 변화는 영상 센서의 기하학적 위치가 시 불변일 때는 쉽게 측정될 수 있지만, 그렇지 않은 경우 이미지 처리(image registration) 과정을 요한다. 영상 센서가 이동 중인 물체에 탑재되고, 물체의 자세 정보가 측정 가능한 경우, 이동 중인 물체의 자세 정보를 이용하여 이미지가 처리될 수 있다.
태양광에 의한 수면의 반짝임이 발생된 영역을 제거하는 두 번째 방법으로서, 복수의 표적 후보 영역들의 화소 값을 이용하는 방법이 있다. 일반적으로, 태양광에 의한 수면의 반짝임이 발생된 영역은 복수 개이며, 이러한 복수의 영역들의 화소 값은 유사하다. 이는, 파도에 의해 발생하는 수면파가 수면에 고르게 퍼지기 때문이다. 또한, 태양은 대부분 원거리에서 수면을 고르게 비추는 광원이므로, 수면파에 의한 태양광 반사로 생기는 수면의 반짝임은 그 화소 값이 유사하게 된다.
따라서, 복수의 표적 후보 영역들의 평균 화소 값을 계산한 뒤, 검출된 복수의 표적 후보 영역들 중에서 평균 화소 값과 기 설정된 화소 값 이상의 차이가 나는 표적 후보 영역이 표적 영역으로 결정될 수 있다. 즉, 평균 화소 값과 유사한 화소 값을 가지는 표적 후보 영역은 반짝임이 발생된 영역으로 결정될 수 있다.
도 4 내지 도 7은 획득된 영상이 해면에서 획득된 영상인 경우에 대한 해상 표적 검출 방법을 보여주는 개념도들이다. 구체적으로, 도 4는 해면에서 획득된 영상인 경우 영상 센서의 회전에 의한 수평선과 영상 센서의 FPA 면에 투영되는 수평선과의 관계를 보여주는 개념도이고, 도 5는 표적 영역의 범위를 계산하는 예를 보여주는 개념도이다. 도 6은 표적 영역의 범위를 보여주는 개념도이고, 도 7은 표적을 검출하는 예를 보여주는 개념도들이다.
여기에서, 해상 표적은 수평선 또는 해안선을 중심으로 수평선에 접하거나 그 하단 영역에 존재할 수 있다. 수면 영역은 물이라는 단일 물질로 구성되는 균일한 영역으로, 수면 영역을 영상 센서로 촬영하는 경우, 그 화소 값이 동일하며, 만약 수면 영역의 화소 값이 크게 차이 나는 경우, 태양광에 의해 수면에 빛이 반사되어 반짝임(glint)이 발생하는 경우를 의미한다.
획득된 영상이 해면에서 획득된 영상인 경우, 영상에서 수평선 또는 해안선이 검출될 수 있다. 이를 위해, 획득된 영상만 이용될 수도 있고, 부수적인 센서가 이용될 수도 있다.
영상에서의 수평선은 영상 센서의 광축이 수면에 평행일 때 광축과 수면이 만나는 점을 지나는 직선으로서, 지구의 반지름이 상대적으로 매우 커 수면이 평면이라고 가정하면 영상 센서로부터 무한대의 거리에 떨어진 직선이다. 영상 센서의 roll 각도 및 pitch 각도를 측정할 수 있는 센서, 예를 들어, 유도탄의 자이로 센서가 구비되는 경우, 도 4에 도시된 바와 같이, roll 각도(수평선의 기울기 결정)와 pitch 각도(수평선의 영상 공간상에서 Y축 상 위치 결정)를 통해 영상에서의 정확한 수평선의 위치를 계산할 수 있다.
1. 영상 센서가 각 축을 기준으로 회전하지 않는 경우, 아래의 수학식 1을 참조하면, 수평선은 y=0인 직선이 될 수 있다. (FPA 면의 중심이 원점(0, 0)인 경우)
Figure 112012043743626-pat00001
여기에서,
Figure 112012043743626-pat00002
는 영상 좌표계에서의 수평선 좌표, f는 초점 거리, X는 world coordinate에서 수평선의 X 좌표를 의미한다.
2. 영상 센서가 Z 축을 기준으로 α도 회전한 경우, 아래의 수학식 2를 참조하면, 수평선은 기울기가 tanα인 직선이 될 수 있다.
Figure 112012043743626-pat00003
3. 영상 센서가 Y 축을 기준으로 β도 회전한 경우, 아래의 수학식 3을 참조하면, 수평선은 y=0인 직선이 될 수 있다.
Figure 112012043743626-pat00004
4. 영상 센서가 X 축을 기준으로 γ도 회전한 경우, 아래의 수학식 4를 참조하면, 수평선은 Y 축으로 -tanγ 만큼의 offset이 존재하는 직선이 될 수 있다.
Figure 112012043743626-pat00005
다음으로, 영상에서 표적을 검출할 표적 후보 영역이 설정될 수 있다.
표적 후보 영역을 설정하는 방법으로, 도 5에 도시된 바와 같이, 검출된 수평선을 기준으로 수평선 영역 및 그 하단이 ROI(Region of Interest)로 설정될 수 있다. 이를 위해, 표적을 탐지하는 영상 센서의 고도 값, 영상 센서와 표적 간의 거리 범위, 표적의 크기 범위를 이용할 수 있다. 일반적인 기하학적 수식에 의해 영상의 수평선과 수직인 축 상에서 표적이 존재할 수 있는 범위가 계산 가능하다.
영상 센서와 수평선 간의 거리는 영상 센서의 고도 및 지구의 반지름으로 계산 가능하다. 도 5에 도시된 Φ1, Φ2를 이용하여 설정되는 ROI는 영상 센서의 roll 각이 0도일 때 수평선의 Y축 위치 y'를 중심으로 도 6에 도시된 바와 같이 -ftanΦ1에서 -ftanΦ2의 범위를 갖는다.
본 발명이 적용되는 환경에 따라 부수적인 정보가 주어질 경우 ROI 영역은 더욱 축소될 수 있다. 예를 들어, 마이크로 웨이브 센서와 같이 각도 해상도가 낮은 센서가 1차적으로 표적을 탐지한 경우이거나, 표적이 탐지되었지만 전파 등의 영향으로 탐지 결과에 신뢰도가 떨어질 때 마이크로 웨이브 센서의 빔 폭 각도 이내로 ROI가 설정될 수 있다. 도 6에서 해안선(110), ROI(120) 및 마이크로 웨이브 정보를 이용한 ROI(130)가 도시된다.
앞서 설명한 바와 같이, 수평선은 영상 센서의 pitch 각도 및 roll 각도에 의해 수학적으로 계산될 수 있다. 단, 배경에 육지가 존재하는 경우, 영상에서 수평선은 나타나지 않고 도 6에 도시된 해안선(110)이 나타난다. 이러한 해안선(110)은 ROI 내에서 일반적인 line detection 알고리즘을 통해 쉽게 검출될 수 있다.
이후, 표적 후보 영역 내에서 표적 영역이 검출되는 방법에 대해 설명한다.
우선, 개략적으로 영상이 분할되는 단계가 진행된다.
영상 센서와 표적 간의 거리 범위 및 표적의 크기 범위 외에 표적에 대한 사전 정보가 없기 때문에, 알고리즘은, 이전 단계에서 구한 표적 후보 영역 내에서 영상을 분할하고, 분할된 영상 blob 중에서 주변과 다른 특성을 갖는 blob를 표적 영역으로 검출하는 방법을 취한다.
일반적인 영상 분할 알고리즘은 비교적 단순한 히스토그램에 기반을 둔 방법을 제외하고는 많은 연산량을 필요로 하며, 특히 배경이 복잡한 경우 히스토그램에 기반을 둔 방법을 적용할 때 검출 오차가 크다.
본 발명은, 고속 정밀 영상 분할을 하기 위해 ⅰ) 개략적으로 영상을 분할하는 단계, ⅱ) blob 별 constraint를 계산하는 단계 및 ⅲ) blob 단위의 정밀 영상을 분할하는 단계를 수행한다.
ⅰ) 개략적으로 영상을 분할하는 단계
구체적으로, 개략적인 영상 분할을 위해 영상의 화소 값을 일정 구간으로 나누어 분할하고, 각 분할된 영역(blob)의 평균 화소 값 또는 최 빈도 화소 값을 구할 수 있다. 각 분할된 영역(blob)들 중 서로 이웃하는 영역들의 화소 값 차이가 기 설정된 값 이하인 경우, 이웃하는 영역들을 하나의 영역으로 통합할 수 있다.
통합된 하나의 영역 및 다른 영역 중 많은 화소 수를 가지는 영역은 수면 영역으로 결정될 수 있고, 다른 영역은 표적 영역으로 결정될 수 있다.
개략적인 영상 분할을 하여 표적을 대략적으로 검출할 수 있는 이유는 영상 센서로부터 원거리에 위치한 표적은 표적에서 반사되는 광자가 좁은 영역의 FPA 면에 맺힘으로써 광자들이 중첩되어 선명도가 떨어지고 그로 인해 좁은 범위 화소 값 구간을 갖기 때문이다. 따라서, 일정 구간으로 나누고 binning 오류를 줄이기 위해 영역별로 합치는 과정만을 수행해도 대부분의 표적 영역이 검출될 수 있다.
ⅱ) blob 별 constraint를 계산하는 단계
표적의 크기 범위 및 영상 센서와 표적 간의 거리 범위를 알고 있으므로, 전술한 바와 같은 개략적인 영상 분할 후, blob의 장, 단축 화소 수만을 이용하여도 어느 정도는 표적 blob를 식별할 수 있다. 하지만, 배면 밀착 비행의 경우 육지에 존재하는 장애물(clutter)이나 수면파에 의한 반사 등은 표적의 크기 범위와 유사할 수 있기 때문에, 크기 constraint만을 가지고 표적을 검출하는 것은 부족할 수 있다. 이에 따라, 아래에서, 이러한 clutter를 제거할 수 있는 몇 가지 constraints를 제안한다.
Constraint 1: ROI내에 표적이 아닌 배경의 화소 값은 ROI와 인접한 바깥 영역의 화소 값과 유사하다. 참고 문헌 <Likelihood-based dual threshold selection for imaging target trackers>를 참조하면, Constraint 1을 적용하여 ROI 내의 각 화소에 대해 표적일 가능성을 계산하는 방법을 알 수 있다. 이 방법을 이용하여, 본 발명에서, 각 화소가 속한 blob가 표적일 가능성을 계산할 수 있다. 예를 들어, 각 blob에 속해 있는 화소가 표적일 가능성의 평균값을 계산할 수 있다.
Constraint 2: 배경에 존재하는 다수의 clutter들은 그 특성이 유사하다. 수면 위의 태양광 반사에 의해 생기는 반짝임은 해수면의 특정 위치에 존재하는 것이 아니라 Salt & Pepper Noise처럼 전 영역에 퍼져있고, 그 특성은 지역적으로 유사하다. Constraint 2를 적용하는 방법으로는 각 blob의 중심 좌표를 구하고 각 blob에서 반경 R 이내에 존재하는 이웃 blob들을 가지고 각 blob의 평균 화소 값을 예측할 수 있다. 예측된 평균 화소 값과 각 blob의 실제 화소 값의 차이가 크면 선택된 중심 blob가 배경과 상이하므로, 선택된 중심 blob는 표적일 확률이 높다. 즉, 각 blob와 이웃 blob와의 화소 값 차이를 구하여 이를 이용할 수 있다.
Constraint 3: 수평선 또는 해안선 위에 존재하는 blob가 해상 표적이려면 해당 blob는 수평선 또는 해안선과 접해야 한다.
Constraint 4: 표적의 수면 위의 높이 범위(예를 들어, 선박의 높이)를 알고 탐지 거리 범위를 알면 영상에 나타나는 표적의 높이에 대한 화소 수의 범위가 결정되고, 영상 센서의 고도가 낮은 경우 표적이 수평선 또는 해안선 위로 존재해야 하는 최소 및 최대 높이가 결정된다.
Constraint 5: 해상의 표적 영상에서 배경은 비교적 단순하다. 따라서 배경 제거 필터 등을 이용하여 배경과 상이한 영역을 추출할 수 있다. 이때, 필터로는 Double Layered Background Removal Filter가 이용될 수 있다.
Additional Constraints 1: 부수적인 센서, 예를 들어, 마이크로 웨이브 센서가 표적의 대략적인 존재 위치를 알려주면 그 위치를 중심으로 ROI를 설정하고 부수적인 센서의 위치 정확도에 따라 ROI 영역의 각 blob에 대해 표적일 확률을 계산할 수 있다.
Additional Constraints 2: 앞서 Constraint 2에서, blob 단위로 각 blob의 화소 값을 이웃하는 blob의 화소 값을 통해 예측하고, 각 blob의 평균 화소 값과 예측된 화소 값의 차이를 blob가 표적일 확률을 계산하는데 이용할 수 있다는 내용을 설명하였다. 이를 blob 단위로 처리하는 대신 화소 단위로 처리하여 알고리즘의 정확성을 높일 수 있다.
ⅲ) blob 단위의 정밀 영상을 분할하는 단계
multiple-constraints를 고려하여 최적의 표적과 배경을 분리하는 알고리즘은 Graph-Cut, Belief Propagation 등 여러 종류가 있고, 그 중에 Graph-Cut을 이용한 표적 검출 결과는 도 7과 같다. 도 7의 왼쪽 그림에 도시된 바와 같이, 표적(100)이 검출될 수 있다. 도 7의 오른쪽 그림에 도시된 바와 같이, 이진화 영상에서 표적(100)이 검출될 수 있다.
도 8 내지 도 11은 본 발명이 적용되는 시스템을 보여주는 블록도들이다.
본 발명에 의하면, 해상 표적에 관련된 사전 정보 없이 영상을 이용하여 해상 표적을 검출할 수 있다. 이에 따라, 해상 표적에 관련된 사전 정보를 구축하는 비용이 절감될 수 있으며, 해상 표적의 크기 변화, 자세 변화 및 형상 변화와 무관하게 해상 표적이 검출될 수 있다.
또한, 본 발명은, 비록 해상표적을 대상으로 하지만 다양한 시스템에 적용될 수 있다. 그 예로 도 8 및 도 9와 같이 영상 센서가 지상의 특정 위치에 고정되어 있는 항만 감시 정찰 시스템, 도 10 및 도 11과 같이 표적 검출 시스템이 이동하는 물체에 탑재되는 대함 유도탄 시스템에 적용될 수 있다.
도 8에 도시된 바와 같이, 시스템은 지상의 특정 위치에 고정되어 설치될 수 있으며, 도 9에 도시된 바와 같이, 시스템이 지상의 특정 위치에 설치되며 pan/tilt 구동부와 결합될 수도 있다.
또한, 도 10에 도시된 바와 같이, 시스템이 이동하는 물체에 탑재될 수도 있으며, 도 11에 도시된 바와 같이, 시스템이 부수적인 표적 검출기와 함께 이동하는 물체에 탑재될 수도 있다.
상기와 같이 해상 표적 검출 방법은 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (8)

  1. 영상을 획득하는 단계;
    상기 획득된 영상이 고공에서 획득된 영상인지 해면에서 획득된 영상인지 판단하는 단계;
    상기 획득된 영상이 고공에서 획득된 영상인 경우, 상기 획득된 영상의 히스토그램(histogram)에서 피크(peak) 화소 값을 검출하는 단계;
    상기 획득된 영상이 해면에서 획득된 영상인 경우, 상기 해면을 기준으로 표적 영역의 범위를 계산하고, 상기 획득된 영상의 상기 표적 영역의 범위에서 각 화소별 또는 Blob별 표적일 가능성 값을 계산하는 단계; 및
    상기 검출된 피크 화소 값 및 상기 계산된 가능성 값 중 적어도 하나를 이용하여 표적 영역을 결정하는 단계를 포함하는 해상 표적 검출 방법.
  2. 제 1 항에 있어서,
    상기 획득된 영상이 고공에서 획득된 영상인 경우, 상기 획득된 영상의 히스토그램에서 피크 화소 값을 검출하는 단계는;
    상기 획득된 영상을 이용하여 상기 히스토그램(histogram)을 그리는 단계; 및
    상기 히스토그램의 상기 피크 화소 값을 검출하는 단계를 포함하는 것을 특징으로 하는 해상 표적 검출 방법.
  3. 제 2 항에 있어서,
    상기 검출된 피크 화소 값 및 상기 계산된 가능성 값 중 적어도 하나를 이용하여 표적 영역을 결정하는 단계는,
    상기 히스토그램의 피크 화소 값 및 상기 획득된 영상의 화소 값을 이용하여 상기 획득된 영상을 두 개의 영역으로 분할하는 단계; 및
    상기 분할된 두 개의 영역 각각에 대한 화소 수에 근거하여, 상기 분할된 두 개의 영역 중 어느 하나를 수면 영역으로 결정하고, 다른 하나를 표적 후보 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 해상 표적 검출 방법.
  4. 제 3 항에 있어서,
    상기 검출된 피크 화소 값 및 상기 계산된 가능성 값 중 적어도 하나를 이용하여 표적 영역을 결정하는 단계는,
    상기 획득된 영상에서 상기 표적 후보 영역의 화소 값을 검출하는 단계; 및
    상기 검출된 상기 표적 후보 영역의 화소 값의 시축상 변화율을 측정하고, 상기 시축상 변화율이 기 설정된 값 미만인 영역을 상기 표적 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 해상 표적 검출 방법.
  5. 제 3 항에 있어서,
    상기 검출된 피크 화소 값 및 상기 계산된 가능성 값 중 적어도 하나를 이용하여 표적 영역을 결정하는 단계는,
    상기 표적 후보 영역이 복수 개인 경우, 상기 획득된 영상에서 상기 복수의 표적 후보 영역들 각각의 화소 값을 검출하는 단계;
    상기 복수의 표적 후보 영역들의 평균 화소 값을 계산하는 단계; 및
    상기 검출된 상기 복수의 표적 후보 영역들 각각의 화소 값이 상기 평균 화소 값과 기 설정된 값 이상의 차이가 나는 표적 후보 영역을 상기 표적 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 해상 표적 검출 방법.
  6. 제 1 항에 있어서,
    상기 획득된 영상이 해면에서 획득된 영상인 경우, 상기 해면을 기준으로 표적 영역의 범위를 계산하고, 상기 획득된 영상의 상기 표적 영역의 범위에서 표적일 가능성 값을 계산하는 단계는,
    상기 획득된 영상에서 수평선 또는 해안선을 검출하는 단계;
    상기 검출된 수평선 또는 해안선을 기준으로 표적 영역의 범위를 계산하는 단계;
    상기 표적 영역의 범위를 복수의 영역들로 분할하는 단계; 및
    상기 복수의 영역들 각각에 다수의 constraints를 적용 표적일 가능성 값을 계산하는 단계를 포함하는 것을 특징으로 하는 해상 표적 검출 방법.
  7. 제 6 항에 있어서,
    상기 검출된 수평선 또는 해안선을 기준으로 표적 영역의 범위를 계산하는 단계는,
    표적을 탐지하는 센서 본체의 고도 값, 상기 센서 본체와 상기 표적 간의 거리 범위 및 상기 표적의 크기 범위를 이용하여 상기 표적 영역의 범위를 계산하는 것을 특징으로 하는 해상 표적 검출 방법.
  8. 제 7 항에 있어서,
    상기 검출된 피크 화소 값을 및 상기 계산된 가능성 값 중 적어도 하나를 이용하여 표적 영역을 결정하는 단계는,
    상기 복수의 영역들 중 서로 이웃하는 영역들의 화소 값 차이가 기 설정된 값 이하인 경우 상기 이웃하는 영역들을 하나의 영역으로 통합하는 단계; 및
    상기 통합된 하나의 영역 및 다른 영역 각각에 대한 화소 수에 근거하여, 상기 두 개의 영역 중 어느 하나를 수면 영역으로 결정하고, 다른 하나를 상기 표적 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 해상 표적 검출 방법.

KR1020120058439A 2012-05-31 2012-05-31 해상 표적 검출 방법 KR101172283B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120058439A KR101172283B1 (ko) 2012-05-31 2012-05-31 해상 표적 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120058439A KR101172283B1 (ko) 2012-05-31 2012-05-31 해상 표적 검출 방법

Publications (1)

Publication Number Publication Date
KR101172283B1 true KR101172283B1 (ko) 2012-08-09

Family

ID=46880212

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120058439A KR101172283B1 (ko) 2012-05-31 2012-05-31 해상 표적 검출 방법

Country Status (1)

Country Link
KR (1) KR101172283B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160020779A (ko) 2014-08-14 2016-02-24 국방과학연구소 음향센서를 이용한 다중모드 탐색기
KR101944631B1 (ko) * 2017-09-26 2019-01-31 주식회사 한화 사수의 조준 오차를 보정하는 무유도 로켓 조준 장치 및 그 방법
CN113705501A (zh) * 2021-09-02 2021-11-26 浙江索思科技有限公司 一种基于图像识别技术的海上目标检测方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100994991B1 (ko) 2008-10-13 2010-11-18 국방과학연구소 영상 추적 장치 및 그의 영상 추적 방법
KR101026410B1 (ko) 2010-07-29 2011-04-07 엘아이지넥스원 주식회사 표적 추출 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
JP2012063195A (ja) 2010-09-15 2012-03-29 Mitsubishi Space Software Kk 目標物検出画像生成装置、目標物検出装置、クラッタ画像生成装置、目標物検出画像生成プログラム、目標物検出プログラム、クラッタ画像生成プログラム、目標物検出画像生成装置の目標物検出画像生成方法、目標物検出装置の目標物検出方法およびクラッタ画像生成装置のクラッタ画像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100994991B1 (ko) 2008-10-13 2010-11-18 국방과학연구소 영상 추적 장치 및 그의 영상 추적 방법
KR101026410B1 (ko) 2010-07-29 2011-04-07 엘아이지넥스원 주식회사 표적 추출 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
JP2012063195A (ja) 2010-09-15 2012-03-29 Mitsubishi Space Software Kk 目標物検出画像生成装置、目標物検出装置、クラッタ画像生成装置、目標物検出画像生成プログラム、目標物検出プログラム、クラッタ画像生成プログラム、目標物検出画像生成装置の目標物検出画像生成方法、目標物検出装置の目標物検出方法およびクラッタ画像生成装置のクラッタ画像生成方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160020779A (ko) 2014-08-14 2016-02-24 국방과학연구소 음향센서를 이용한 다중모드 탐색기
KR101944631B1 (ko) * 2017-09-26 2019-01-31 주식회사 한화 사수의 조준 오차를 보정하는 무유도 로켓 조준 장치 및 그 방법
CN113705501A (zh) * 2021-09-02 2021-11-26 浙江索思科技有限公司 一种基于图像识别技术的海上目标检测方法和系统
CN113705501B (zh) * 2021-09-02 2024-04-26 浙江索思科技有限公司 一种基于图像识别技术的海上目标检测方法和系统

Similar Documents

Publication Publication Date Title
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
CN107272019B (zh) 基于激光雷达扫描的路沿检测方法
CN111712731B (zh) 目标检测方法、系统及可移动平台
Musman et al. Automatic recognition of ISAR ship images
RU2669652C1 (ru) Устройство оценки собственной позиции и способ оценки собственной позиции
US9507028B1 (en) Positioning apparatus and method for vehicle
TWI710798B (zh) 被搭載於移動體處之雷射掃描系統、被搭載於移動體處之雷射掃描器之雷射掃描方法及雷射掃描程式
US9134127B2 (en) Determining tilt angle and tilt direction using image processing
JP6589926B2 (ja) 物体検出装置
US10760907B2 (en) System and method for measuring a displacement of a mobile platform
CN106908040B (zh) 一种基于surf算法的双目全景视觉机器人自主定位方法
WO2019238127A1 (zh) 一种测距方法、装置及系统
CN109801302A (zh) 一种基于双目视觉的高压输电线路异物检测方法
CN110926474A (zh) 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法
US8503730B2 (en) System and method of extracting plane features
WO2012037528A2 (en) Systems and methods for automated water detection using visible sensors
CN110595476A (zh) 一种基于gps和图像视觉融合的无人机降落导航方法及装置
US11029399B2 (en) System and method for calibrating light intensity
WO2015160287A1 (en) A method and system for estimating information related to a vehicle pitch and/or roll angle
CN112150620A (zh) 使用距离传感器多次扫描和来自连续图像帧的多视图几何结构的密集映射
US10109074B2 (en) Method and system for inertial measurement having image processing unit for determining at least one parameter associated with at least one feature in consecutive images
CN109612333B (zh) 一种面向可重复使用火箭垂直回收的视觉辅助导引系统
CN107710091B (zh) 用于选择移动平台的操作模式的系统和方法
KR101172283B1 (ko) 해상 표적 검출 방법
CN111175761A (zh) 水下机器人定位声纳数据的配准方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160801

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 7