KR20170121515A - 적외선 영상 기반의 해상 물체 탐지 장치 및 방법 - Google Patents

적외선 영상 기반의 해상 물체 탐지 장치 및 방법 Download PDF

Info

Publication number
KR20170121515A
KR20170121515A KR1020160050034A KR20160050034A KR20170121515A KR 20170121515 A KR20170121515 A KR 20170121515A KR 1020160050034 A KR1020160050034 A KR 1020160050034A KR 20160050034 A KR20160050034 A KR 20160050034A KR 20170121515 A KR20170121515 A KR 20170121515A
Authority
KR
South Korea
Prior art keywords
image
frequency
infrared
infrared image
unit
Prior art date
Application number
KR1020160050034A
Other languages
English (en)
Other versions
KR101807852B1 (ko
Inventor
김진환
박정홍
조용훈
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160050034A priority Critical patent/KR101807852B1/ko
Publication of KR20170121515A publication Critical patent/KR20170121515A/ko
Application granted granted Critical
Publication of KR101807852B1 publication Critical patent/KR101807852B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

본 발명은 적외선 카메라에 의해 촬영된 해상의 적외선 영상을 입력받아 수평선을 탐지하고, 이 탐지된 수평선을 바탕으로 하여 관심영역을 추출하고, 웨이블릿 변환을 통해 주파수 성분으로 변환하여 수평성분을 제외시켜서 주파수 공간상의 영상을 생성하고, 공간 필터를 통해 잡음을 제거하여 표적 및 장애물을 식별하는, 적외선 영상 기반의 해상 물체 탐지 장치 및 방법에 관한 것이다. 본 발명에 의한, 적외선 영상 기반의 해상 물체 탐지 장치는 적외선 카메라가 해상에서 촬영한 해상의 적외선 영상을 한 프레임씩 입력시키도록 구성된 적외선 영상 입력부; 상기 적외선 영상 입력부로부터 해상의 적외선 영상을 입력받아 수평선을 탐지하고 이 탐지된 수평선을 이용하여 관심 영역을 추출하도록 구성된 관심 영역 추출부; 상기 관심 영역 추출부로부터 추출된 관심 영역을 웨이블릿 변환을 통해 주파수 성분으로 변환하여 수평성분을 제외시켜서 주파수 공간상의 영상을 생성하도록 구성된 주파수 공간상 영상 생성부; 상기 주파수 공간상 영상 생성부로부터 수평성분이 제외된 주파수 공간상의 영상을 입력받아 필터링하여 잡음을 제거하도록 구성된 공간 필터링부; 및 상기 공간 필터링부에서 잡음이 제거된 주파수 공간상의 영상을 입력받아 표적 및 장애물을 식별하도록 구성된 표적 및 장애물 식별부를 포함한다.

Description

적외선 영상 기반의 해상 물체 탐지 장치 및 방법{APPARATUS AND METHOD FOR DETECTING OBJECT OF SEA BASED ON INFRARED IMAGE}
본 발명은 적외선 영상 기반의 해상 물체 탐지 장치 및 방법에 관한 것으로서, 특히 적외선 카메라에 의해 촬영된 해상의 적외선 영상을 입력받아 수평선을 탐지하고 이 탐지된 수평선을 바탕으로 하여 관심영역을 추출하고, 웨이블릿 변환을 통해 주파수 성분으로 변환하여 수평성분을 제외시켜서 주파수 공간상의 영상을 생성하고, 공간 필터를 통해 잡음을 제거하여 표적 및 장애물을 식별하는, 적외선 영상 기반의 해상 물체 탐지 장치 및 방법에 관한 것이다.
최근, 무인시스템 및 다양한 센서의 발전과 더불어 기존의 위험한 유인 해상 임무에 대하여 무인으로 대체하려는 연구가 지속되고 있다. 특히 무인선의 임무에 적절한 센서를 사용하여 주변 환경을 인식하며, 장애물 및 표적을 탐지 및 추적하는 임무는 무인선의 자율운항 및 자율임무 수행에 있어 매우 중요하다. 그 중 화상 카메라와 적외선 카메라의 경우 무인선 내에서 인체의 눈과 같은 역할을 하는, 장애물 및 표적의 실제 형상을 관측 가능한 센서이다. 해상에서의 자율운항 및 자율임무 수행에 있어서, 적외선 카메라는 수동형 센서로서 적에게 노출될 염려가 적고, 화상 카메라와는 달리 열에 의한 밝기 정보를 제공함으로써 야간과 같은 어두운 환경에서도 물체의 형상 정보를 제공할 수 있다.
그러나 적외선 카메라는 화상카메라에 비해 다소 뭉개진 영상을 출력하여 물체의 인식이 어렵고, 출력이 낮은 신호를 기반으로 하여 잡음에 민감하며, 영상 내에서의 해상 고유의 외란(후류 항적, 빛의 반사, 조도변화) 등은 적외선 카메라에 의해 촬영된 적외선 영상에서 장애물 및 표적의 탐지를 어렵게 하는 중요한 요인 중의 하나이다.
종래의 적외선 영상 처리 방법은, 예컨대 국내 특허 공개 2014-0120918호에 개시된 바와 같이, 복수의 픽셀에서 감지되는 적외선 검출 값에 대응하는 제 1 해상도의 데이터를 생성하는 단계, 상기 제 1 해상도의 데이터를 보간 처리하여 제 2 해상도의 데이터를 생성하는 단계, 및 상기 제 2 해상도의 데이터를 출력하는 단계를 포함하여 구성됨으로써, 화질을 향상시키는 방법에 대해서 제시하고 있다.
그러나 종래의 적외선 영상 처리 방법은 영상에 존재하는 물체를 탐지하는 속도에 대해서 전혀 고려되지 않았으며, 잡음 제거에 대한 효과적인 대책을 제시하지 못했다.
따라서 본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 적외선 카메라에 의해 촬영된 해상의 적외선 영상에서 표적 및 장애물을 신속하게 정확하게 탐지할 수 있게 하며, 적외선 영상에 존재하는 잡음을 효과적으로 제거할 수 있게 하는, 적외선 영상 기반의 해상 물체 탐지 장치 및 방법을 제공하는 데에 있다.
상기의 목적을 달성하기 위해 본 발명의 실시형태에 의한, 적외선 영상 기반의 해상 물체 탐지 장치는 적외선 카메라가 해상에서 촬영한 해상의 적외선 영상을 한 프레임씩 입력시키도록 구성된 적외선 영상 입력부; 상기 적외선 영상 입력부로부터 해상의 적외선 영상을 입력받아 수평선을 탐지하고 이 탐지된 수평선을 이용하여 관심 영역을 추출하도록 구성된 관심 영역 추출부; 상기 관심 영역 추출부로부터 추출된 관심 영역을 웨이블릿 변환을 통해 주파수 성분으로 변환하여 수평성분을 제외시켜서 주파수 공간상의 영상을 생성하도록 구성된 주파수 공간상 영상 생성부; 상기 주파수 공간상 영상 생성부로부터 수평성분이 제외된 주파수 공간상의 영상을 입력받아 필터링하여 잡음을 제거하도록 구성된 공간 필터링부; 및 상기 공간 필터링부에서 잡음이 제거된 주파수 공간상의 영상을 입력받아 표적 및 장애물을 식별하도록 구성된 표적 및 장애물 식별부를 포함하는 것을 특징으로 한다.
상기 실시형태에 의한, 적외선 영상 기반의 해상 물체 탐지 장치는 상기 표적 및 장애물 식별부에 입력된 영상이 마지막 프레임인지의 여부를 판단하도록 구성된 적외선 영상 프레임 판단부를 더 포함할 수 있다.
상기 실시형태에 의한, 적외선 영상 기반의 해상 물체 탐지 장치에 있어서, 상기 관심 영역 추출부는 RANSAC(Random Sample Consensus) 기법을 이용하여 상기 해상의 적외선 영상 내에서 수평선을 탐지하고, 상기 탐지된 수평선을 바탕으로 한 사전정보를 이용하여 상기 해상의 적외선 영상 내에서 표적 및 장애물이 존재할 가능성이 있는 관심영역을 추출하도록 구성될 수 있다
상기 실시형태에 의한, 적외선 영상 기반의 해상 물체 탐지 장치에 있어서, 상기 주파수 공간상 영상 생성부는 상기 관심 영역을 웨이블릿 변환을 통해 주파수 성분으로 변환하고, 상기 변환된 주파수 성분의 정규화 과정을 거쳐 주파수 성분 중 수직 성분과 대각 성분을 추출하여 합성하여서 수평성분이 제외된 주파수 공간상의 영상을 생성하도록 구성될 수 있다.
상기 실시형태에 의한, 적외선 영상 기반의 해상 물체 탐지 장치에 있어서, 상기 공간 필터링부는 상기 수평성분이 제외된 주파수 공간상의 영상에 웨이블릿 에너지 함수를 적용하고, 상기 영상 내에서 물체가 있을 확률이 높은 영역에 강도 가중치를 부여하며, 가우시안 필터를 이용하여 상기 영상을 필터링하며, 상기 필터링된 영상을 문턱값을 이용하여 이진화시키며, 상기 이진화된 영상의 이미지 영역 및 홀을 모포로지 필터링에 의해 백색으로 채우며, 상기 백색으로 채워진 이진화된 영상에서 모포로지 필터링에 의해 설정된 크기 이하의 오브젝트를 제거하도록 구성될 수 있다.
상기의 목적을 달성하기 위해 본 발명의 다른 실시형태에 의한, 적외선 영상 기반의 해상 물체 탐지 방법은 적외선 영상 입력부에 의해 적외선 카메라가 해상에서 촬영한 해상의 적외선 영상이 한 프레임씩 입력되는 단계; 관심 영역 추출부가 상기 적외선 영상 입력 단계에서 입력되는 해상의 적외선 영상에서 수평선을 탐지하고 이 탐지된 수평선을 이용하여 관심 영역을 추출하는 단계; 주파수 공간상 영상 생성부가 상기 관심 영역 추출 단계로부터 추출된 상기 관심 영역을 웨이블릿 변환을 통해 주파수 성분으로 변환하고 수평성분을 제외시켜서 주파수 공간상의 영상을 생성하는 단계; 공간 필터링부가 상기 주파수 공간상 영상 생성 단계에서 생성된 수평성분이 제외된 주파수 공간상의 영상을 입력받아 필터링하여 잡음을 제거하는 단계; 및 표적 및 장애물 식별부가 상기 잡음 제거 단계에서 잡음이 제거된 주파수 공간상의 영상을 입력받아 표적 및 장애물을 식별하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 실시형태에 의한, 적외선 영상 기반의 해상 물체 탐지 방법은 적외선 영상 프레임 판단부가 상기 표적 및 장애물 식별 단계에서 입력된 영상이 마지막 프레임인지의 여부를 판단하는 단계를 더 포함할 수 있다.
상기 다른 실시형태에 의한, 적외선 영상 기반의 해상 물체 탐지 방법은 상기 마지막 프레임 여부 판단 단계에서 입력된 영상이 마지막 프레임이 아니면 상기 적외선 영상 입력 단계로 진행될 수 있다.
상기 다른 실시형태에 의한, 적외선 영상 기반의 해상 물체 탐지 방법에 있어서, 상기 관심 영역 추출 단계는 RANSAC(Random Sample Consensus) 기법을 이용하여 상기 해상의 적외선 영상 내에서 수평선을 탐지하는 단계, 및 상기 수평선 탐지 단계에서 탐지된 수평선을 바탕으로 한 사전정보를 이용하여 상기 해상의 적외선 영상 내에서 표적 및 장애물이 존재할 가능성이 있는 관심영역을 추출하는 단계를 포함할 수 있다.
상기 다른 실시형태에 의한, 적외선 영상 기반의 해상 물체 탐지 방법에 있어서, 상기 주파수 공간상 영상 생성 단계는 상기 관심 영역 추출 단계에서 추출된 상기 관심 영역을 웨이블릿 변환을 통해 주파수 성분으로 변환하는 단계, 및 상기 변환된 주파수 성분의 정규화 과정을 거쳐 주파수 성분 중 수직 성분과 대각 성분을 추출하여 합성하여서 수평성분이 제외된 주파수 공간상의 영상을 생성하는 단계를 포함할 수 있다.
상기 다른 실시형태에 의한, 적외선 영상 기반의 해상 물체 탐지 방법에 있어서, 상기 잡음 제거 단계는 상기 주파수 공간상 영상 생성 단계에서 생성된 상기 수평성분이 제외된 주파수 공간상의 영상에 웨이블릿 에너지 함수를 적용하는 단계, 상기 웨이블릿 에너지 함수 적용 단계에서 웨이블릿 에너지 함수가 적용된 상기 영상 내에서 물체가 있을 확률이 높은 영역에 강도 가중치를 부여하는 단계, 상기 강도 가중치 부여 단계에서 강도 가중치가 부여된 영상을 가우시안 필터를 이용하여 필터링하는 단계, 상기 필터링 단계에서 필터링된 영상을 문턱값을 이용하여 이진화시키는 단계, 상기 이진화 단계에서 이진화된 영상의 이미지 영역 및 홀을 모포로지 필터링에 의해 백색으로 채우는 단계, 및 상기 백색으로 채우는 단계에서 상기 모포로지 필터링에 의해 백색으로 채워진 이진화된 영상에서 모포로지 필터링에 의해 설정된 크기 이하의 오브젝트를 제거하는 단계를 포함할 수 있다.
본 발명의 실시형태에 의한, 적외선 영상 기반의 해상 물체 탐지 장치 및 방법에 의하면, 적외선 영상 입력부에 의해 해상의 적외선 영상이 입력되고, 관심 영역 추출부가 수평선을 탐지하고 이 탐지된 수평선을 바탕으로 한 사전 정보를 이용하여 영상 내 표적 및 장애물이 존재할 가능성이 있는 관심 영역을 추출하는 구성을 가짐으로써, 적외선 카메라에 의해 촬영된 해상의 적외선 영상에서 표적 및 장애물을 탐지함에 있어서 탐지 시간이 단축될 뿐 아니라 물체의 탐지율 및 탐지의 신뢰성을 향상시킬 수 있다는 뛰어난 효과가 있다.
또한, 본 발명의 실시형태에 의한, 적외선 영상 기반의 해상 물체 탐지 장치 및 방법에 의하면, 주파수 공간상 영상 생성부가 추출된 해상의 적외선 영상에 있어서의 관심 영역을 웨이블릿 변환을 통해 주파수 성분으로 변환하여 수평성분을 제외시켜서 주파수 공간상의 영상을 생성하고, 공간 필터링부가 수평성분이 제외된 주파수 공간상의 영상을 입력받아 필터링하여 잡음을 제거하도록 구성됨으로써(즉 2중으로 적외선 영상에 존재하는 잡음을 제거하도록 구성됨으로써), 적외선 영상에서 효과적으로 잡음을 제거할 수 있다는 뛰어난 효과가 있다.
도 1은 본 발명의 실시예에 의한, 적외선 영상 기반의 해상 물체 탐지 장치의 블록 구성도이다.
도 2는 본 발명의 실시예에 의한, 적외선 영상 기반의 해상 물체 탐지 장치에 의해 구현된, 적외선 영상 기반의 해상 물체 탐지 방법을 설명하기 위한 플로우챠트이다.
도 3은 도 2의 스텝(S400)에 대한 상세 플로우챠트이다.
도 4는 해상의 적외선 영상이 웨이블릿 변환을 통해 주파수 성분으로 변환된 영상을 나타내는 도면이다.
도 5는 주파수 성분 중 수직 성분과 대각 성분을 추출하여 합성하여서 수평성분이 제외된 주파수 공간상의 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 6은 공간 필터링부에서 잡음을 제거하는 과정을 설명하기 위한 도면이다.
이하, 본 발명의 실시예를 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 의한, 적외선 영상 기반의 해상 물체 탐지 장치의 블록 구성도이고, 도 4는 해상의 적외선 영상이 웨이블릿 변환을 통해 주파수 성분으로 변환된 영상을 나타내는 도면이며, 도 5는 주파수 성분 중 수직 성분과 대각 성분을 추출하여 합성하여서 수평성분이 제외된 주파수 공간상의 영상을 생성하는 과정을 설명하기 위한 도면이며, 도 6은 공간 필터링부에서 잡음을 제거하는 과정을 설명하기 위한 도면이다.
본 발명의 실시예에 의한, 적외선 영상 기반의 해상 물체 탐지 장치는 적외선 영상 입력부(100), 관심 영역 추출부(200), 주파수 공간상 영상 생성부(300), 공간 필터링부(400), 표적 및 장애물 식별부(500) 및 적외선 영상 프레임 판단부(600)를 포함한다.
적외선 영상 입력부(100)는 적외선 카메라가 해상에서 촬영한 해상의 적외선 영상을 한 프레임씩 관심 영역 추출부(200)에 입력시키는 역할을 하며, 적외선 영상 프레임 판단부(600)에 의해 입력하는 영상이 마지막 프레임이라고 판단될 때 적외선 영상의 입력을 중지하게 된다.
관심 영역 추출부(200)는 적외선 영상 입력부(100)로부터 해상의 적외선 영상을 입력받아 수평선을 탐지하고, 이 탐지된 수평선을 이용하여 관심 영역을 추출하는 역할을 한다. 좀 더 상세하게 설명하면, 관심 영역 추출부(200)는 RANSAC(Random Sample Consensus) 기법을 이용하여 해상의 적외선 영상 내에서 수평선을 탐지하고, 탐지된 수평선을 바탕으로 한 사전정보를 이용하여 해상의 적외선 영상 내에서 표적 및 장애물이 존재할 가능성이 있는 관심영역을 추출하는 역할을 한다. 즉, 영상을 탐지함에 있어서 수평선을 기준으로 아래 부분에 대해서 중점적으로 표적 및 장애물을 탐색하게 함으로써, 탐지 시간이 단축될 뿐 아니라 물체의 탐지율 및 탐지의 신뢰성을 향상시킬 수 있다.
주파수 공간상 영상 생성부(300)는 관심 영역 추출부(200)로부터 추출된 관심 영역을 웨이블릿 변환을 통해 주파수 성분으로 변환하여 수평성분을 제외시켜서 주파수 공간상의 영상을 생성하는 역할을 한다. 주파수 공간상 영상 생성부(300)에 의해 이루어지는 수평성분이 제외된 주파수 공간상의 영상을 생성하는 과정에 대해 도 4 및 도 5를 참조하여 설명하기로 한다. 먼저, 관심 영역 추출부(200)로부터 추출된 관심 영역에 대한 해상의 적외선 영상(도 4의 ①)이 입력되고, 이 추출된 관심 영역에 대한 해상의 적외선 영상은 웨이블릿 변환을 통해 수평, 수직, 대각 방향의 주파수 성분(도 4의 ②, ③, ④)으로 변환되며, 변환된 주파수 성분의 정규화(Normalization)과정을 거쳐 이 주파수 성분 중 수직 성분(도 5의 ⑤)과 대각 성분(도 5의 ⑥)이 추출되어 합성되면 수평성분이 제외된 주파수 공간상의 영상(도 5의 ⑦)이 생성된다.
공간 필터링부(400)는 주파수 공간상 영상 생성부(300)로부터 수평성분이 제외된 주파수 공간상의 영상을 입력받아 필터링하여 잡음을 제거하는 역할을 한다. 공간 필터링부(400)에 의해 이루어지는 잡음 제거 과정에 대해 도 6을 참조하여 설명하기로 한다. 먼저, 수평성분이 제외된 주파수 공간상의 영상(도 5의 ⑦)이 입력되고, 이 수평성분이 제외된 주파수 공간상의 영상에 웨이블릿 에너지(Wavelet energy) 함수가 적용하고, 이 영상 내에서 물체가 있을 확률이 높은 영역에 강도 가중치가 부여되며(Energy weight), 가우시안 필터가 이용되어 영상이 필터링되어서 도 6의 ⑧과 같은 필터링된 영상이 얻어지고, 이 필터링된 영상은 문턱값이 이용되어 이진화시키면 도 6의 ⑨와 같은 이진화된 영상이 얻어지며, 이 이진화된 영상의 이미지 영역 및 홀이 모포로지 필터링에 의해 백색으로 채워지게 되어 도 6의 ⑩과 같은 백색으로 채워진 이진화된 영상이 얻어지며, 이 백색으로 채워진 이진화된 영상은 모포로지 필터링에 의해 설정된 크기 이하의 오브젝트가 제거되어 도 6의 ⑪과 같은 영상이 얻어지게 됨으로써, 적외선 영상에서 장애물 및 표적의 탐지를 용이하게 한다.
표적 및 장애물 식별부(500)는 공간 필터링부(400)에서 잡음이 제거된 주파수 공간상의 영상을 입력받아 표적 및 장애물을 식별하는 역할을 한다.
적외선 영상 프레임 판단부(600)는 표적 및 장애물 식별부(500)에 입력된 영상이 마지막 프레임인지의 여부를 판단하고, 마지막 프레임일 경우 적외선 영상 입력부(100)에서 적외선 영상이 입력되는 것을 중지하게 하는 한편, 마지막 프레임이 아닐 경우 적외선 영상 입력부(100)에서 다음 프레임의 해상의 적외선 영상을 관심 영역 추출부(200)에 입력시키도록 한다.
상기와 같이 구성된 본 발명의 실시예에 의한, 적외선 영상 기반의 해상 물체 탐지 장치에 구현된, 적외선 영상 기반의 해상 물체 탐지 방법에 대해 설명하기로 한다.
도 2는 본 발명의 실시예에 의한, 적외선 영상 기반의 해상 물체 탐지 장치에 의해 구현된, 적외선 영상 기반의 해상 물체 탐지 방법을 설명하기 위한 플로우챠트이고, 도 3은 도 2의 스텝(S400)에 대한 상세 플로우챠트로서, 여기서 S는 스텝(step)을 의미한다.
먼저, 적외선 영상 입력부(100)에 의해 적외선 카메라가 해상에서 촬영한 해상의 적외선 영상이 한 프레임씩 관심 영역 추출부(200)에 입력된다(S100).
이어서, 관심 영역 추출부(200)가 상기 스텝(S100)에서 입력되는 해상의 적외선 영상에서 수평선을 탐지하고, 이 탐지된 수평선을 이용하여 관심 영역을 추출한다(S200). 스텝(S200)은 관심 영역 추출부(200)가 RANSAC(Random Sample Consensus) 기법을 이용하여 해상의 적외선 영상 내에서 수평선을 탐지하는 스텝(S210)과, 상기 스텝(S210)에서 탐지된 수평선을 바탕으로 한 사전정보를 이용하여 해상의 적외선 영상 내에서 표적 및 장애물이 존재할 가능성이 있는 관심영역을 추출하는 스텝(S220)을 포함한다.
이후, 주파수 공간상 영상 생성부(300)가 상기 스텝(S200)으로부터 추출된 관심 영역을 웨이블릿 변환을 통해 주파수 성분으로 변환하고, 수평성분을 제외시켜서 주파수 공간상의 영상을 생성한다(S300). 스텝(S300)은 상기 스텝(S200)에서 추출된 관심 영역을 웨이블릿 변환을 통해 주파수 성분으로 변환하는 스텝(S310)과, 변환된 주파수 성분의 정규화 과정을 거쳐 주파수 성분 중 수직 성분과 대각 성분을 추출하여 합성하여서 수평성분이 제외된 주파수 공간상의 영상을 생성하는 스텝(S320)을 포함한다.
이어서, 공간 필터링부(400)가 상기 스텝(S300)에서 생성된 수평성분이 제외된 주파수 공간상의 영상을 입력받아 필터링하여 잡음을 제거한다(S400). 스텝(S400)은, 도 3에 도시된 바와 같이, 상기 스텝(S300)에서 생성된 수평성분이 제외된 주파수 공간상의 영상에 웨이블릿 에너지 함수를 적용하는 스텝(S410)과, 상기 스텝(S410)에서 웨이블릿 에너지 함수가 적용된 영상 내에서 물체가 있을 확률이 높은 영역에 강도 가중치를 부여하는 스텝(S420)과, 상기 스텝(S420)에서 강도 가중치가 부여된 영상을 가우시안 필터를 이용하여 필터링하는 스텝(S430)과, 상기 스텝(S430)에서 필터링된 영상을 문턱값을 이용하여 이진화시키는 스텝(S440)과, 상기 스텝(S440)에서 이진화된 영상의 이미지 영역 및 홀을 모포로지 필터링에 의해 백색으로 채우는 스텝(S450)과, 상기 스텝(S450)에서 백색으로 채워진 이진화된 영상에서 모포로지 필터링에 의해 설정된 크기 이하의 오브젝트를 제거하는 스텝(S460)을 포함한다.
이후, 표적 및 장애물 식별부(500)가 상기 스텝(S400)에서 잡음이 제거된 주파수 공간상의 영상을 입력받아 표적 및 장애물을 식별한다(S500).
스텝(S600)에서는 적외선 영상 프레임 판단부(600)가 상기 스텝(S500)에서 표적 및 장애물 식별부(500)에 입력된 영상이 마지막 프레임인지의 여부를 판단한다.
상기 스텝(S600)에서 입력된 영상이 마지막 프레임이 아니면(NO) 상기 스텝(S100)으로 진행되는 한편, 입력된 영상이 마지막 프레임이면(YES) 모든 스텝을 종료한다.
상기와 같이 구성된 본 발명의 실시예에 의한, 적외선 영상 기반의 해상 물체 탐지 장치 및 방법에 의하면, 적외선 영상 입력부에 의해 해상의 적외선 영상이 입력되고, 관심 영역 추출부가 수평선을 탐지하고 이 탐지된 수평선을 바탕으로 한 사전 정보를 이용하여 영상 내 표적 및 장애물이 존재할 가능성이 있는 관심 영역을 추출하는 구성을 가짐으로써, 적외선 카메라에 의해 촬영된 해상의 적외선 영상에서 표적 및 장애물을 탐지함에 있어서 탐지 시간이 단축될 뿐 아니라 물체의 탐지율 및 탐지의 신뢰성을 향상시킬 수 있다. 더욱이, 주파수 공간상 영상 생성부가 추출된 해상의 적외선 영상에 있어서의 관심 영역을 웨이블릿 변환을 통해 주파수 성분으로 변환하여 수평성분을 제외시켜서 주파수 공간상의 영상을 생성하고, 공간 필터링부가 수평성분이 제외된 주파수 공간상의 영상을 입력받아 필터링하여 잡음을 제거하도록 구성됨으로써(즉 2중으로 적외선 영상에 존재하는 잡음을 제거하도록 구성됨으로써), 적외선 영상에서 효과적으로 잡음을 제거할 수 있다.
도면과 명세서에는 최적의 실시예가 개시되었으며, 특정한 용어들이 사용되었으나 이는 단지 본 발명의 실시형태를 설명하기 위한 목적으로 사용된 것이지 의미를 한정하거나 특허 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 적외선 영상 입력부
200: 관심 영역 추출부
300: 주파수 공간상 영상 생성부
400: 공간 필터링부
500: 표적 및 장애물 식별부
600: 적외선 영상 프레임 판단부

Claims (11)

  1. 적외선 카메라가 해상에서 촬영한 해상의 적외선 영상을 한 프레임씩 입력시키도록 구성된 적외선 영상 입력부;
    상기 적외선 영상 입력부로부터 해상의 적외선 영상을 입력받아 수평선을 탐지하고 이 탐지된 수평선을 이용하여 관심 영역을 추출하도록 구성된 관심 영역 추출부;
    상기 관심 영역 추출부로부터 추출된 관심 영역을 웨이블릿 변환을 통해 주파수 성분으로 변환하여 수평성분을 제외시켜서 주파수 공간상의 영상을 생성하도록 구성된 주파수 공간상 영상 생성부;
    상기 주파수 공간상 영상 생성부로부터 수평성분이 제외된 주파수 공간상의 영상을 입력받아 필터링하여 잡음을 제거하도록 구성된 공간 필터링부; 및
    상기 공간 필터링부에서 잡음이 제거된 주파수 공간상의 영상을 입력받아 표적 및 장애물을 식별하도록 구성된 표적 및 장애물 식별부를 포함하는, 적외선 영상 기반의 해상 물체 탐지 장치.
  2. 제 1 항에 있어서,
    상기 표적 및 장애물 식별부에 입력된 영상이 마지막 프레임인지의 여부를 판단하도록 구성된 적외선 영상 프레임 판단부를 더 포함하는, 적외선 영상 기반의 해상 물체 탐지 장치.
  3. 제 1 항에 있어서,
    상기 관심 영역 추출부는,
    RANSAC(Random Sample Consensus) 기법을 이용하여 상기 해상의 적외선 영상 내에서 수평선을 탐지하고,
    상기 탐지된 수평선을 바탕으로 한 사전정보를 이용하여 상기 해상의 적외선 영상 내에서 표적 및 장애물이 존재할 가능성이 있는 관심영역을 추출하도록 구성된, 적외선 영상 기반의 해상 물체 탐지 장치.
  4. 제 1 항에 있어서,
    상기 주파수 공간상 영상 생성부는,
    상기 관심 영역을 웨이블릿 변환을 통해 주파수 성분으로 변환하고,
    상기 변환된 주파수 성분의 정규화 과정을 거쳐 주파수 성분 중 수직 성분과 대각 성분을 추출하여 합성하여서 수평성분이 제외된 주파수 공간상의 영상을 생성하도록 구성된, 적외선 영상 기반의 해상 물체 탐지 장치.
  5. 제 1 항에 있어서,
    상기 공간 필터링부는,
    상기 수평성분이 제외된 주파수 공간상의 영상에 웨이블릿 에너지 함수를 적용하고,
    상기 영상 내에서 물체가 있을 확률이 높은 영역에 강도 가중치를 부여하며,
    가우시안 필터를 이용하여 상기 영상을 필터링하며,
    상기 필터링된 영상을 문턱값을 이용하여 이진화시키며,
    상기 이진화된 영상의 이미지 영역 및 홀을 모포로지 필터링에 의해 백색으로 채우며,
    상기 백색으로 채워진 이진화된 영상에서 모포로지 필터링에 의해 설정된 크기 이하의 오브젝트를 제거하도록 구성된, 적외선 영상 기반의 해상 물체 탐지 장치.
  6. 제 1 항에 기재된 적외선 영상 기반의 해상 물체 탐지 장치에 의해 구현되는, 적외선 영상 기반의 해상 물체 탐지 방법으로서:
    적외선 영상 입력부에 의해 적외선 카메라가 해상에서 촬영한 해상의 적외선 영상이 한 프레임씩 입력되는 단계;
    관심 영역 추출부가 상기 적외선 영상 입력 단계에서 입력되는 해상의 적외선 영상에서 수평선을 탐지하고 이 탐지된 수평선을 이용하여 관심 영역을 추출하는 단계;
    주파수 공간상 영상 생성부가 상기 관심 영역 추출 단계로부터 추출된 상기 관심 영역을 웨이블릿 변환을 통해 주파수 성분으로 변환하고 수평성분을 제외시켜서 주파수 공간상의 영상을 생성하는 단계;
    공간 필터링부가 상기 주파수 공간상 영상 생성 단계에서 생성된 수평성분이 제외된 주파수 공간상의 영상을 입력받아 필터링하여 잡음을 제거하는 단계; 및
    표적 및 장애물 식별부가 상기 잡음 제거 단계에서 잡음이 제거된 주파수 공간상의 영상을 입력받아 표적 및 장애물을 식별하는 단계를 포함하는, 적외선 영상 기반의 해상 물체 탐지 방법.
  7. 제 6 항에 있어서,
    적외선 영상 프레임 판단부가 상기 표적 및 장애물 식별 단계에서 입력된 영상이 마지막 프레임인지의 여부를 판단하는 단계를 더 포함하는, 적외선 영상 기반의 해상 물체 탐지 방법.
  8. 제 7 항에 있어서,
    상기 마지막 프레임 여부 판단 단계에서 입력된 영상이 마지막 프레임이 아니면 상기 적외선 영상 입력 단계로 진행되는, 적외선 영상 기반의 해상 물체 탐지 방법.
  9. 제 6 항에 있어서,
    상기 관심 영역 추출 단계는,
    RANSAC(Random Sample Consensus) 기법을 이용하여 상기 해상의 적외선 영상 내에서 수평선을 탐지하는 단계, 및
    상기 수평선 탐지 단계에서 탐지된 수평선을 바탕으로 한 사전정보를 이용하여 상기 해상의 적외선 영상 내에서 표적 및 장애물이 존재할 가능성이 있는 관심영역을 추출하는 단계를 포함하는, 적외선 영상 기반의 해상 물체 탐지 방법.
  10. 제 6 항에 있어서,
    상기 주파수 공간상 영상 생성 단계는,
    상기 관심 영역 추출 단계에서 추출된 상기 관심 영역을 웨이블릿 변환을 통해 주파수 성분으로 변환하는 단계, 및
    상기 변환된 주파수 성분의 정규화 과정을 거쳐 주파수 성분 중 수직 성분과 대각 성분을 추출하여 합성하여서 수평성분이 제외된 주파수 공간상의 영상을 생성하는 단계를 포함하는, 적외선 영상 기반의 해상 물체 탐지 방법.
  11. 제 6 항에 있어서,
    상기 잡음 제거 단계는,
    상기 주파수 공간상 영상 생성 단계에서 생성된 상기 수평성분이 제외된 주파수 공간상의 영상에 웨이블릿 에너지 함수를 적용하는 단계,
    상기 웨이블릿 에너지 함수 적용 단계에서 웨이블릿 에너지 함수가 적용된 상기 영상 내에서 물체가 있을 확률이 높은 영역에 강도 가중치를 부여하는 단계,
    상기 강도 가중치 부여 단계에서 강도 가중치가 부여된 영상을 가우시안 필터를 이용하여 필터링하는 단계,
    상기 필터링 단계에서 필터링된 영상을 문턱값을 이용하여 이진화시키는 단계,
    상기 이진화 단계에서 이진화된 영상의 이미지 영역 및 홀을 모포로지 필터링에 의해 백색으로 채우는 단계, 및
    상기 백색으로 채우는 단계에서 상기 모포로지 필터링에 의해 백색으로 채워진 이진화된 영상에서 모포로지 필터링에 의해 설정된 크기 이하의 오브젝트를 제거하는 단계를 포함하는, 적외선 영상 기반의 해상 물체 탐지 방법.
KR1020160050034A 2016-04-25 2016-04-25 적외선 영상 기반의 해상 물체 탐지 장치 및 방법 KR101807852B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160050034A KR101807852B1 (ko) 2016-04-25 2016-04-25 적외선 영상 기반의 해상 물체 탐지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160050034A KR101807852B1 (ko) 2016-04-25 2016-04-25 적외선 영상 기반의 해상 물체 탐지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170121515A true KR20170121515A (ko) 2017-11-02
KR101807852B1 KR101807852B1 (ko) 2018-01-18

Family

ID=60383172

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160050034A KR101807852B1 (ko) 2016-04-25 2016-04-25 적외선 영상 기반의 해상 물체 탐지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101807852B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101950436B1 (ko) * 2018-06-29 2019-02-20 한화시스템 주식회사 중적외선 영상에서의 물체 검출 장치
KR101950433B1 (ko) * 2018-02-27 2019-05-02 한화시스템 주식회사 중적외선 영상에서의 물체 검출 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101307431B1 (ko) * 2012-06-01 2013-09-12 한양대학교 산학협력단 부호화 장치 및 프레임 기반 적응적 루프 필터의 사용 여부 결정 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101950433B1 (ko) * 2018-02-27 2019-05-02 한화시스템 주식회사 중적외선 영상에서의 물체 검출 방법 및 장치
KR101950436B1 (ko) * 2018-06-29 2019-02-20 한화시스템 주식회사 중적외선 영상에서의 물체 검출 장치

Also Published As

Publication number Publication date
KR101807852B1 (ko) 2018-01-18

Similar Documents

Publication Publication Date Title
AU2014346263B2 (en) Complex background-oriented optical character recognition method and device
CN107993488B (zh) 一种基于鱼眼相机的车位识别方法、系统及介质
US20120249801A1 (en) Image generation apparatus, image generation method and image generation program
Lipschutz et al. New methods for horizon line detection in infrared and visible sea images
KR101586452B1 (ko) 거리 적응적 탐지 문턱값 적용에 의한 적외선 해상 표적 탐지장치 구현 방법
Chen et al. Vision-based line detection for underwater inspection of breakwater construction using an ROV
CN103761731A (zh) 一种基于非下采样轮廓波变换的红外空中小目标检测方法
KR101737430B1 (ko) 동적 배경을 가진 영상의 대상 객체 검출 방법
CN102156881B (zh) 基于多尺度图像相位信息的海难搜救目标检测方法
Wang et al. A robust infrared dim target detection method based on template filtering and saliency extraction
KR102257006B1 (ko) 딥러닝을 이용한 선박 충돌 방지 자율회피 시스템
KR101807852B1 (ko) 적외선 영상 기반의 해상 물체 탐지 장치 및 방법
Li et al. Underwater object detection and tracking based on multi-beam sonar image processing
KR101696086B1 (ko) 소나 이미지 내의 물체 부분 추출 방법 및 장치
Libe et al. Comparison of methods for horizon line detection in sea images
JPWO2020194650A1 (ja) 異物検出装置、異物検出方法、およびプログラム
CN111062229A (zh) 用于风力发电机组外转子识别的方法及装置
Pehere et al. Detection of pothole by image processing using UAV
JP2018072884A (ja) 情報処理装置、情報処理方法およびプログラム
KR20160091675A (ko) 음향탐지 신호의 영상처리 프로그램이 저장된 기록매체 및 음향탐지 신호의 영상처리 방법
Yao Small target detection under the sea using multi-scale spectral residual and maximum symmetric surround
JP2008107857A (ja) 動体認識方法及び動体認識装置
JP2008040724A (ja) 画像処理装置、及び画像処理方法
JP4106894B2 (ja) 目標検出装置
JP4482623B2 (ja) 時系列航海画像からの船舶の抽出方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration