KR102270834B1 - 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템 - Google Patents
초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템 Download PDFInfo
- Publication number
- KR102270834B1 KR102270834B1 KR1020200183172A KR20200183172A KR102270834B1 KR 102270834 B1 KR102270834 B1 KR 102270834B1 KR 1020200183172 A KR1020200183172 A KR 1020200183172A KR 20200183172 A KR20200183172 A KR 20200183172A KR 102270834 B1 KR102270834 B1 KR 102270834B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- hyperspectral data
- marine
- subsystem
- hyperspectral
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000007781 pre-processing Methods 0.000 claims abstract description 29
- 238000004891 communication Methods 0.000 claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 23
- 238000012937 correction Methods 0.000 claims description 14
- 238000001228 spectrum Methods 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 12
- 239000013535 sea water Substances 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims 1
- 238000007405 data analysis Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013523 data management Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 206010013647 Drowning Diseases 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005021 gait Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 239000013077 target material Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G06K9/20—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2889—Rapid scan spectrometers; Time resolved spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3581—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation
- G01N21/3586—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation by Terahertz time domain spectroscopy [THz-TDS]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
Abstract
본 발명은, 대상 초분광 데이터를 수집하는 단계; 대상 초분광 데이터를 전처리하는 단계; 및 해상객체의 탐지 및 식별의 학습을 통해 훈련된, 해상객체 탐지 및 식별 모델에 기반하여 상기 대상 초분광 데이터에 포함된 대상체를 탐지 및 식별하는 단계를 포함하는 초분광 데이터에 기반하는 해양객체 인식 방법을 개시한다. 본 발명에 따르면, 통신 상태에 따라 실시간으로 수집되는 초분광 데이터의 전처리 및 처리를 상공 또는 지상에서 수행될 수 있다.
Description
본 발명은 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템에 관한 것으로, 더욱 상세하게는 인공지능을 이용하고, 초분광 데이터에 기반하는 해상객체를 인식하는 방법 및 이를 이용하는 시스템에 관한 것이다.
다양한 수색 대상물에 따른 최적화된 식별 능력 향상을 위하여 초분광 영상을 이용하고, 대상물 별 반사광 스펙트럼 분석 실험 결과를 통해 분별도를 향상시켜 해양 사고로 인한 사고 선박 및 실종자의 신속한 수색 작업을 지원할 수 있는 항공 초분광 영상을 이용한 사고 선박 및 익수자 탐지 방법이 종래의 기술에 따라 제공되었다.
종래의 기술은 관측 정보와 탐지된 사고 선박 및 익수자의 각 화소별 위치 정보 및 반사도 값을 추출하고 이를 이미 구축된 라이브러리 정보를 이용하여 표적 물질의 분광 반사값과 관측된 반사값과의 분광 특성의 유사성을 분석하고, 상기 초분광 영상의 각 화소에 대한 구성 물질 및 점유 비율을 추출하여 탐지하기에 탐지 효율이 떨어질 수 있었다. 따라서 대규모 수색 탐지에 이용되지 않았다. 또한, 실측된 분광 라이브러리와 유사도를 비교하는데 그치기에 분광 라이브러리 확장이 수월하지 않았다.
종래 기술에 따르면 항공 초분광 영상을 이용하여 갯녹음을 탐지하는 기법이 공개된 바 있다. 대한민국 등록공고 제10-1672291호에 개시된 기술은, 항공 초분광 영상을 활용하여 갯녹음을 탐지하는 방법에 관한 것으로, 촬영된 초분광 영상과 비교될 갯녹음에 관한 영상 라이브러리를 미리 구비해야 하는데, 영상 라이브러리는 일단 생성되면, 확장이 어렵고, 방대한 양의 라이브러리를 구성하는데 있어 많은 시간이 걸리고 이를 구동하는 데도 많은 부하가 걸리는 것이 문제점으로 지적되었다.
본 발명이 해결하고자 하는 일 과제는, 상공에서 실시간으로 수집된 초분광 데이터를 실시간으로 전처리 및 처리할 수 있는 해양객체 탐지 및 식별 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 일 과제는, 상공의 시스템과 지상의 시스템 간의 통신 상태와 처리 능력에 기반하여 어느 시스템에 얼마의 처리량을 할당할 것인지를 제어할 수 있는 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 일 과제는, 인공지능 기반의 군집화를 이용하여 실시간으로 수집된 대상 초분광 데이터에 포함된 해양객체를 인식하는 방법 및 이를 이용하는 시스템을 제공하는 것이다.
본 발명의 일 실시 예에 따른 초분광 데이터에 기반하는 해양객체 인식 방법은, 대상 초분광 데이터를 수집하는 단계; 대상 초분광 데이터를 전처리하는 단계; 및 해상객체의 탐지 및 식별의 학습을 통해 훈련된, 해상객체 탐지 및 식별 모델에 기반하여 상기 대상 초분광 데이터에 포함된 대상체를 탐지 및 식별하는 단계를 포함하도록 구성될 수 있다.
또한, 초분광 데이터에 기반하는 해상객체 인식 방법은, 대상 초분광 데이터 수집이 실시간으로 이루어짐에 따라 그 뒤의 단계들이 이와 연동하여 실시간으로 이루어지는 것을 특징으로 한다.
또한, 대상 초분광 데이터를 전처리하는 단계는, 대상 초분광 데이터의 방사 보정, 대기 보정 및 기하 보정 중에서 적어도 하나를 포함하도록 구성될 수 있다.
또한, 초분광 데이터에 기반하는 해상객체 인식 방법은, 해상객체 탐지 및 식별 모델의 학습용 데이터를 생성하는 단계; 및 학습용 데이터를 이용하여 상기 학습을 통해 상기 해상객체 탐지 및 식별 모델을 훈련시키는 단계를 포함하도록 구성될 수 있다.
또한, 학습용 데이터를 생성하는 단계는, 초분광 데이터를 이용하여 해양 객체 식별의 학습용 데이터셋을 구성하는 단계; 분석 알고리즘을 이용하여 상기 데이터셋을 분석하는 단계; 분석 결과를 이용하여 상기 객체를 이루는 화소를 관리하는 단계; 및 화소 데이터를 이용하여 학습 데이터를 구축하는 단계를 포함하도록 구성될 수 있다.
또한, 데이터셋을 분석하는 단계는, 머신 러닝 알고리즘을 이용하여 초분광 데이터를 프리스크리닝 하는 단계; 프리스크리닝 결과에 기반하여 해상객체를 탐지하는 단계; 및 탐지된 상기 해상객체를 식별하는 단계를 포함하도록 구성될 수 있다.
또한, 프리스크리닝 하는 단계는, 해양 객체 군집 형성에 관한 파라미터를 변경하면서 군집의 밀집도를 분석하는 단계를 포함하도록 구성될 수 있다.
또한, 해상객체를 탐지하는 단계는, 해양 객체의 밀집도에 기반하여 초분광 데이터에서 해수 영역의 데이터를 제거하는 단계를 포함하도록 구성될 수 있다.
또한, 해상객체를 식별하는 단계는, 군집화 알고리즘을 이용하여 군집 외에서 객체가 형성하는 노이즈를 탐지하는 단계를 더 포함하도록 구성될 수 있다.
또한, 해상객체를 식별하는 단계는, 노이즈에 해당하는 화소의 좌표 값과 스펙트럼에 기반하여 해상객체를 식별하는 단계를 포함하도록 구성될 수 있다.
또한, 화소를 관리하는 단계는, 해양 객체가 형성하는 화소에 라벨링하는 단계를 포함하도록 구성될 수 있다.
또한, 학습 데이터를 구축하는 단계는, 라벨링된 해양 객체가 형성하는 화소 데이터를 분류하는 단계; 및 분류된 상기 화소 데이터를 이용하여 통합 라이브러리를 구축하는 단계를 포함하도록 구성될 수 있다.
또한, 전처리 및 대상체 탐지탐지 및 식별을 위한 데이터 처리는, 상공의 제1 서브 장치 및 지상의 제2 서브 장치 중에서 적어도 하나에 의해 수행되는 것을 특징으로 한다.
또한, 초분광 데이터에 기반하는 해상객체 인식 방법은, 제1 서브 장치와 제2 서브 장치 간의 통신 상태를 탐지하는 단계; 및 통신 상태와 상기 제1 서브 장치와 제2 서브 장치의 처리 속도를 비교하는 단계를 더 포함하고, 비교 결과에 따라, 제1 서브 장치와 제2 서브 장치 중에서 처리될 데이터의 양 및 주체가 결정되는 것을 특징으로 한다.
또한, 초분광 데이터에 기반하는 해상객체 인식 방법은, 통신 상태의 변동에 따라, 데이터 처리 주체를 변경하거나, 상기 제1 서브 장치와 제2 서브 장치 사이에 데이터 처리 비율을 변경하는 단계를 더 포함하도록 구성될 수 있다.
본 발명의 일 실시 예에 따른 초분광 데이터에 기반하는 해상객체 인식 시스템은, 수집된 대상 초분광 데이터를 이용하여 대상체를 탐지하고 식별탐지하는 객체 식별부; 및 대상 초분광 데이터를 보정하는 전처리부를 공통으로 포함하도록 구성되는, 제1 서브 시스템과 제2 서브 시스템; 및 제1 서브 시스템과 제2 서브 시스템 간의 통신 상태를 탐지하고, 통신 상태와 상기 제1 서브 시스템과 제2 서브 시스템치의 처리 속도를 비교하는 제어부를 포함하도록 구성될 수 있다.
또한, 제어부는, 비교 결과에 따라, 제1 서브 시스템과 제2 서브 시스템 중에서 처리될 데이터의 양 및 주체를 결정하는 것을 특징으로 한다. 여기서, 제어부는, 제1 서브 시스템 및 제2 서브 시스템 중에서 적어도 하나에 포함될 수 있다.
기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.
본 발명에 의하면, 통신 상태에 따라 실시간으로 수집되는 초분광 데이터의 전처리 및 처리를 상공 또는 지상에서 수행될 수 있다.
또한, 지상의 시스템에서 완성된 해양객체 탐지 모델과 식별 모델을 상공의 시스템에 탑재 시켜 해양객체 탐지 및 식별에 이용될 수 있고, 다시 지상의 시스템에서 재학습을 거쳐 성능이 업그레이드될 수 있다.
또한, 초분광 데이터를 이용하여 해수 대비 해양 객체의 식별에 소요되는 시간을 줄이고, 아울러 식별률을 높일 수 있다.
또한, 초분광 데이터의 축적에 따라, 머신 러닝 군집화에서 노이즈로 나타나는 해양 객체를 인식하는, 초분광 데이터 기반의 해양 객체 인식 모델의 학습 및 재학습이 가능하다.
도 1은 본 발명의 일 실시 예에 따른 초분광 데이터를 설명하기 위한 예시도이다.
도 2는 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템의 네트워크 관계도이다.
도 3은, 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템에서 제1 서브 시스템의 블록도이다.
도 4는, 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템에서 제2 서브 시스템의 블록도이다.
도 5는 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템에서 제1 서브 시스템의 블록도이다.
도 6은 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템에서 제2 서브 시스템의 블록도이다.
도 7은 본 발명의 일 실시 예에 따른, 초분광 분석 장치의 블록도이다.
도 8은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법의 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법의 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법의 흐름도이다.
도 11은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법이 구현된 애플리케이션 UI의 예시화면이다.
도 12는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법이 구현된 애플리케이션 UI의 예시화면이다.
도 13은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터셋 구성에 관한 애플리케이션 UI의 예시화면이다.
도 14는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터 변환에 관한 애플리케이션 UI의 예시화면이다.
도 15는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터 분석에 관한 애플리케이션 UI의 예시화면이다.
도 16은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터 분석의 결과에 관한 애플리케이션 UI의 예시화면이다.
도 17은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 해상객체 탐지에 관한 애플리케이션 UI의 예시화면이다.
도 18은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 해상객체 탐지율에 관한 애플리케이션 UI의 예시화면이다.
도 19는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 해상객체 인식에 관한 애플리케이션 UI의 예시화면이다.
도 2는 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템의 네트워크 관계도이다.
도 3은, 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템에서 제1 서브 시스템의 블록도이다.
도 4는, 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템에서 제2 서브 시스템의 블록도이다.
도 5는 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템에서 제1 서브 시스템의 블록도이다.
도 6은 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템에서 제2 서브 시스템의 블록도이다.
도 7은 본 발명의 일 실시 예에 따른, 초분광 분석 장치의 블록도이다.
도 8은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법의 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법의 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법의 흐름도이다.
도 11은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법이 구현된 애플리케이션 UI의 예시화면이다.
도 12는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법이 구현된 애플리케이션 UI의 예시화면이다.
도 13은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터셋 구성에 관한 애플리케이션 UI의 예시화면이다.
도 14는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터 변환에 관한 애플리케이션 UI의 예시화면이다.
도 15는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터 분석에 관한 애플리케이션 UI의 예시화면이다.
도 16은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터 분석의 결과에 관한 애플리케이션 UI의 예시화면이다.
도 17은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 해상객체 탐지에 관한 애플리케이션 UI의 예시화면이다.
도 18은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 해상객체 탐지율에 관한 애플리케이션 UI의 예시화면이다.
도 19는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 해상객체 인식에 관한 애플리케이션 UI의 예시화면이다.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.
또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.
또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.
이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 초분광 데이터를 설명하기 위한 예시도이다.
도 1을 참조하면, 각종 이미지 센서를 이용하여 수집할 수 있는 데이터의 예가 나타나 있다. 일반적인 카메라에 포함된 이미지 센서는, 파장에 따른 빛의 여러 영역 중에서 가시광선에 기반하는 RGB 데이터를 이용하여 피사체의 모습을 묘사한다. 근적외선(near-infrared, NIR) 센서는, RGB 데이터 외에 근적외선에 기반하는 NIR 데이터를 추가적으로 생성할 수 있다. 그리고 다중 스펙트럼, 예를 들어 도 1에 도시된 바와 같이 450nm 내지 1000nm 범위 내에서 일정 범위대 파장의 빛에 기반하여 다중 데이터를 생성하는 이미지 센서가 있을 수 있다.
본 발명의 일 실시 예에 따른 초분광 데이터는, 예를 들어 450nm 내지 1000nm의 연속적인 범위의 파장의 빛에 기반하여 생성된 센싱 데이터인 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 초분광 데이터는, 초분광 이미지 센서가 탑재된 카메라를 이용하여 비행기, 드론, 또는 헬리콥터와 같은 비행체를 통해 수집될 수 있으며, 다만 이에만 한정되는 것은 아니므로, 더 범위를 넓혀 우주 범위에서 즉, 인공위성에 의해 수집될 수 있음이 배제되는 것은 아니다.
본 발명의 일 실시 예에 따른 초분광 데이터의 피사체의 범위에, 해양을 비롯하여 육지도 포함될 수 있다. 따라서, 본 발명의 실시 예의 여러 측면들은 해양과 육지를 구분하지 않고, 피사체와 원격지에서 촬영된 영상에 기반하는 객체 인식에 적용될 수 있다.
도 2는 본 발명의 일 실시 예에 따른, 해상객체 인식 시스템의 네트워크 관계도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른, 해상객체 인식 방법을 수행하는, 해상객체 인식 시스템이 도시되어 있다.
본 발명의 일 실시 예에 따른 해상객체 인식 시스템(10)은, 항공기 등에 탑재되어 상공에서도 동작되는 제1 서브 시스템(100), 지상의 제2 서브 시스템(200), 초분광 데이터 분석 장치(700), 이들에 통신 연결될 수 있는 클라이언트에 해당하는 데스크탑(310), 사용자 단말(320) 및 네트워크(400)를 포함하도록 구성될 수 있다.
초분광 데이터에 기반하는 해상객체 인식 시스템(10)(이하, 해상객체 인식 시스템)은 제1 서브 시스템(100)과 제2 서브 시스템(100)으로 나뉘어 구성될 수 있다. 제1 서브 시스템(100)은 비행기, 드론, 헬리콥터 등과 같은 항공 장치에 설치될 수 있고, 제2 서브 시스템(200)은 지상에 설치될 수 있다. 제1 서브 시스템(100)과 제2 서브 시스템(200)은 네트워크(400)를 통해 서로 통신할 수 있다.
제1 서브 시스템(100)은 실시간으로 초분광 데이터를 수집하는 기능을 하고, 제1 서브 시스템(100) 및 제2 서브 시스템(200) 모두 수집된 초분광 데이터를 처리하는 기능을 수행할 수 있다.
제1 서브 시스템(100)은, 하나 이상의 장치, 즉 서버를 포함하도록 구성될 수 있다. 또한, 제2 서브 시스템(200)도, 하나 이상의 장치, 즉 서버를 포함하도록 구성될 수 있다.
초분광 데이터 분석 장치(700)는, 해상객체 인식을 위한 초분광 데이터 인식 방법에 관한 코드가 포함된 명령어를 실행함으로써 초분광 데이터를 처리할 수 있다. 초분광 데이터 분석 장치(700)는 본 발명의 일 실시 예에 따른 해양객체 탐지 모델 및 해양객체 식별 모델의 학습용 데이터를 생성하는 기능을 한다. 그리고 제1 서브 시스템(100) 및 제2 서브 시스템(200)도 초분광 데이터 분석 장치(700)와 동일 기능을 수행할 수 있다.
데스크탑(310)은, 유선의 네트워크를 통해 해상객체 인식을 위한 초분광 데이터 분석 장치(700)에 연결해서, 이의 동작을 제어할 수 있다.
사용자 단말(320)은, 무선의 네트워크를 통해 해상객체 인식을 위한 초분광 데이터 분석 장치(700)에 연결해서, 이의 동작을 제어할 수 있다.
네트워크(400)는 유선 및 무선 네트워크, 예를 들어 시리얼 통신, LAN(local area network), WAN(wide area network), TCP/IP의 인터넷(internet), 인트라넷(intranet) 및 엑스트라넷(extranet), 그리고 모바일 네트워크, 예를 들어 셀룰러, 3G, LTE, WiFi 네트워크, 애드혹 네트워크 및 이들의 조합을 비롯한 임의의 적절한 통신 네트워크 일 수 있다.
네트워크(400)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(400)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(400)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다.
도 3은 해상객체 인식 시스템에서 제1 서브 시스템의 블록도이다.
도 3을 참조하면, 제1 서브 시스템(100)은, 복수의 서버를 이용하여 구현될 수 있다. 제1 서브 시스템(100)은 구성 서버로, 처리 서버(100) 및 운영 서버(120)을 포함하고, 초분광 센서(130), 저장 장치(140)를 더 포함할 수 있다.
처리 서버(110)는 전처리부(111), 탐지 모델(112), 식별 모델(113), 데이터 전송부(114) 및 데이터베이스(115)를 포함하도록 구성될 수 있다.
운영 서버(120)는 모니터링 정보를 이용하여 카탈로깅 현황, 제어 현황, 처리 현황, 탐지 결과 및 식별 결과와 관련된 운영 서비스를 제공할 수 있다.
초분광 센서(130)는 상공에서 해양과 육지를 피사체로 하여 초분광 데이터를 수집하는 기능을 한다. 수집된 초분광 원시 데이터는 저장 장치(140)에 저장된 후, 데이터 전송부(1140)에 의해 제2 서버 시스템(200)으로 전송될 수 있다.
데이터베이스(115)는 원시 데이터 메타정보 및 처리 결과 정보를 저장할 수 있다.
도 4는 해상객체 인식 시스템에서 제1 서브 시스템의 블록도이다.
도 4를 참조하면, 제2 서브 시스템(200)은, 복수의 서버를 이용하여 구현될 수 있다. 제2 서브 시스템(200)은 구성 서버로, 운영 서버(210), 데이터베이스(220), 처리 서버(230), 인공 지능 서버(250), GIS 서버 (260), 저장 장치(270)를 포함하도록 구성될 수 있다.
운영 서버(210)는 모니터링부(211), 모델 재학습 정보 생성부(212), 모델 재학습 요청부(213), 및 전처리 요청부(215)를 포함하도록 구성될 수 있다. 운영 서버(210)는, 데이터의 처리, 수신, 및 저장과 관련된 전반적인 과정을 모니터링하고, 탐지 모델 및 식별 모델에 관한 재학습 용도의 정보를 생성할 수 있다.
모델 재학습 정보 생성부(212)는, 모델의 재학습에 필요한 정보를 생성하는 기능을 하는데, 이러한 의미에서 데이터 분석 장치(700)에 포함된 데이터셋 구성부(762), 데이터 분석부(763), 화소 관리부(764) 및 학습 데이터 생성부(765)를 포함하거나, 이들의 기능을 수행할 수 있다.
재학습 요청부(213)은 인공 지능 서버(250)에 탐지 모델 및 식별 모델의 재학습을 요청할 수 있다.
전처리 요청부(215)는 처리 서버(240)에 초분광 데이터의 전처리를 요청할 수 있다.
데이터베이스(220)는 메타정보, 원시 데이터, 전처리 데이터, 및 모델 결과 데이터 등을 저장하고, 이들 데이터를 관리할 수 있다.
카탈로깅 서버(230)는 사용자에게 카타로깅 서비스 및 처리제어 서비스를 제공한다. 처리제어 서비스는, 처리 서버(240)를 제어하는 기능이다.
카탈로깅 서비스는 원시 데이터, 전처리 데이터 및 모델 결과 데이터를 식별하고, 데이터를 검색하기 위한 서비스이다. 사용자는, 카탈로깅 서비스를 통해 데이터 종류 별로, 특정 장면이 포함된 데이터를 검색할 수 있다.
처리 서버(240)는 초분광 데이터의 전처리 및 처리를 수행한다. 처리 서버(240)는 전처리부(241), 탐지모델 결과 입력 처리부(242), 식별모델 결과 입력 처리부(243) 및 GIS 데이터 등록부(244)를 포함하도록 구성될 수 있다.
인공 지능 서버(250)는 탐지 모델 및 식별 모델을 학습시키고 이를 구동하는 기능을 한다. 인공 지능 서버(250)는 탐지 모델 학습부(251), 식별 모델 학습부(252), 탐지 모델 구동부(253), 식별 모델 구동부(254)를 포함하도록 구성될 수 있다.
GIS 서버(260)는 지오 서버로 불리기도 하는데, 지리적 위치를 갖고 있는 대상에 대한 위치자료와 속성자료를 통합하여 관리하여 지도, 도표 및 그림과 같은 여러 형태의 정보를 사용자에게 제공한다.
위에서 복수의 서버를 포함하도록 구성된 제1 서브 시스템(100)과 제2 서브 시스템(200)에 대한 설명이 있었다. 그러나 제1 서브 시스템(100)과 제2 서브 시스템(200)은 단일의 서버로 구성될 수도 있다. 이하, 설명의 편의를 위해 단일의 서버로 구성된 제1 서브 시스템(500) 및 제2 서브 시스템(600)의 예에 대해 설명하기로 한다.
도 5는 해상객체 인식 시스템에서 제1 서브 시스템의 블록도이다.
도 5를 참조하면, 제1 서브 시스템(500)는 단일 시스템으로 구현될 수 있다. 제1 서브 시스템(500)은 제어부(510), 초분광 센서(520), 입력 장치(530), 출력 장치(540), 저장 장치(550), 통신 장치(560) 및 메모리(170)를 포함하도록 구성될 수 있다. 그리고 메모리(170)는 탐지 및 식별부(571), 전처리부(572), 탐지 모델(573), 식별 모델(574), 모니터링부(575) 및 데이터 관리부(576)를 포함하도록 구성될 수 있다.
제1 서브 시스템(500)에 포함된 구성요소는 제1 서브시스템(100), 서버 및 이에 포함된 구성요소에 대응한다.
도 6은 해상객체 인식 시스템에서 제2 서브 시스템의 블록도이다.
도 6을 참조하면, 제2 서브 시스템(600)은 단일 시스템으로 구현될 수 있다. 제2 서브 시스템(600)은, 제어부(610), 입력 장치(630), 출력 장치(640), 저장 장치(650), 통신 장치(660) 및 메모리(670)를 포함하도록 구성될 수 있다. 그리고 메모리(670)는 탐지 및 식별부(671), 전처리부(672), 탐지 모델(673), 식별 모델(674), 모니터링부(675), 데이터 관리부(676) 및 데이터 운영부(677)를 포함하도록 구성될 수 있다.
제2 서브 시스템(600)에 포함된 구성요소는 제2 서브시스템(200), 서버 및 이에 포함된 구성요소에 대응한다.
도 5에서 제어부(510) 및 도 6에서 제어부(610)는 제1 서브 시스템(100)과 제2 서브 시스템(200) 간의 통신 상태를 탐지하고, 통신 상태와 제1 서브 시스템(100)과 제2 서브 시스템(200)의 처리 속도를 비교할 수 있다.
또한, 제어부(510, 610)는, 비교 결과에 따라, 제1 서브 시스템과 제2 서브 시스템 중에서 처리될 데이터의 양 및 주체를 결정하는 것을 특징한다.
도 7은 본 발명의 일 실시 예에 따른, 해상객체 인식을 위한 초분광 데이터 분석 장치의 블록도이다.
도 7을 참조하면, 해상객체 인식을 위한 초분광 데이터 분석 장치(700)는, 입력 장치(720), 출력 장치(730), 저장 장치(740), 통신 장치(750) 및 메모리(760)를 포함하도록 구성될 수 있다.
메모리(760)는 전처리부(761), 데이터셋 구성부(762), 데이터 분석부(763), 화소 관리부(764) 및 학습 데이터 생성부(765)를 포함하도록 구성될 수 있다.
전처리부(761)는, 제어부(710), 예를 들어 프로세서(processor)와 메모리(760) 간의 데이터 송신, 저장, 수신 및 인터럽트 호출 등의 상호작용을 통해 초분광 데이터의 전처리 기능을 갖는다.
데이터셋 구성부(762)는, 제어부(710), 예를 들어 프로세서(processor)와 메모리(760) 간의 데이터 송신, 저장, 수신 및 인터럽트 호출 등의 상호작용을 통해 초분광 데이터를 이용하여 데이터셋을 구성하는 기능을 갖는다.
데이터 분석부(763)는, 제어부(710), 예를 들어 프로세서(processor)와 메모리(760) 간의 데이터 송신, 저장, 수신 및 인터럽트 호출 등의 상호작용을 통해 초분광 데이터를 분석하는 기능을 갖는다.
화소 관리부(764)는, 제어부(710), 예를 들어 프로세서(processor)와 메모리(760) 간의 데이터 송신, 저장, 수신 및 인터럽트 호출 등의 상호작용을 통해 초분광 데이터에서 추출된 화소를 관리하는 기능을 갖는다.
학습 데이터 생성부(765)는, 제어부(710), 예를 들어 프로세서(processor)와 메모리(760) 간의 데이터 송신, 저장, 수신 및 인터럽트 호출 등의 상호작용을 통해 초분광 데이터를 이용하여, 해상객체 탐지 및 식별 모델의 학습 데이터를 생성하는 기능을 갖는다.
이하 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에 대해 설명하기로 한다. 해상객체 인식 방법을 실행하는 주체는, 도 2에서 제1 서브 시스템(100), 제2 서브 시스템(200) 및 데이터 분석 장치(700) 중에서 적어도 하나가 될 수 있다. 즉, 초분광 데이터의 전처리 및 처리를 통한 학습용 데이터는 제1 서브 시스템(100), 제2 서브시스템(200) 및 데이터 분석 장치(700)에 의해 생성될 수 있다. 이하 데이터 분석 장치(700)를 대표 예로 하여 데이터 전처리 및 처리에 대해 설명하기로 한다.
도 8은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법의 흐름도이다.
도 8을 참조하면, 해상객체 인식 방법(S100)은, 탐지 및 식별 모델의 학습용 데이터 생성(S110), 학습용 데이터를 이용하여 탐지 및 식별 모델을 훈련(S120), 대상 초분광 데이터 수집(S130), 대상 초분광 데이터 전처리 (S140) 및 대상 초분광 데이터에 포함된 대상체 탐지 및 식별(S150)를 포함하도록 구성될 수 있다.
S110 단계에서, 초분광 데이터 분석 장치(700)는, 해상객체 탐지 및 식별 모델의 학습용 데이터를 생성할 수 있다.
S120 단계에서, 초분광 데이터 분석 장치(700)는, 학습용 데이터를 이용하여 학습을 통해 해상객체 탐지 및 식별 모델을 훈련시킬 수 있다.
S130 단계에서, 초분광 데이터 분석 장치(700)는, 대상 초분광 데이터를 수집할 수 있다. 대상 초분광 데이터는, 탐지 및 식별의 대상이 되는 초분광 데이터이다. 대상 초분광 데이터는, 상공에서 비행하는 제1 서브 시스템(100)에 의해 수집된 후, 제2 서브 시스템(200) 또는 데이터 분석 장치(700)에 송신될 수 있다.
S140 단계에서, 초분광 데이터 분석 장치(700)는, 대상 초분광 데이터를 전처리할 수 있다. 전처리는 초분광 데이터의 보정, 예를 들어 방사 보정, 대기 보정 및 기하 보정 등을 포함할 수 있다.
S150 단계에서, 초분광 데이터 분석 장치(700)는, 해상객체의 탐지 및 식별의 학습을 통해 훈련된, 해상객체 탐지 및 식별 모델에 기반하여 대상 초분광 데이터에 포함된 대상체를 탐지 및 식별할 수 있다.
여기서, 전처리(S140) 및 대상체 탐지 및 식별을 위한 데이터 처리(S150)는, 상공의 제1 서브 시스템(500) 및 지상의 제2 서브 시스템(600) 중에서 적어도 하나에 의해 수행될 수 있다.
또한, 제어부(510, 610)는 제1 서브 시스템(500)과 제2 서브 시스템(600) 간의 통신 상태를 탐지하고, 통신 상태와 제1 서브 시스템(500)과 제2 서브 시스템(600)의 처리 속도를 비교할 수 있다.
그리고 비교 결과에 따라, 제1 서브 시스템(500)과 제2 서브 시스템(600) 중에서 처리될 데이터의 양 및 주체가 결정될 수 있다. 예를 들어, 제1 서브 시스템(500)과 제2 서브 시스템(600) 간의 통신 상태가 좋은 경우, 예를 데이터 전송률이 임계 값 이상인 경우, 수집된 초분광 데이터 전체가 제2 서브 시스템(600)에 전송되고, 제2 서브 시스템(600)이 전처리 및 데이터 처리를 수행할 수 있다.
반대로, 통신 상태가 좋지 않은 경우, 즉 데이터 전송률이 임계 값 이하인 경우, 수집된 초분광 데이터 중에서 일부만이 제2 서브 시스템(600)으로 전송되거나, 전송 없이 수집된 초분광 데이터 전체에 대한 전처리 및 데이터 처리가 제1 서브 시스템(500)에 의해 수행될 수 있다.
이후, 통신 상태의 변동, 즉 사정 변경에 따라, 제어부(510, 610)는 데이터 처리 주체를 변경하거나, 제1 서브 시스템(500)과 제2 서브 시스템(600) 사이에 데이터 처리 비율을 변경할 수 있다.
이하 해상객체 탐지 및 식별 모델의 학습용 데이터를 생성하는 단계(S110)에 대해 상세히 설명하기로 한다.
도 9는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법의 흐름도이다.
도 9를 참조하면, 해상객체 인식 방법(S200), 즉 학습용 데이터 생성 방법은, 초분광 데이터의 수집(S210), 초분광 데이터의 전처리(S220), 초분광 데이터를 이용하는 데이터셋 구성(S230), 분석 알고리즘을 이용하는 데이터셋 분석(S240), 분석 결과에 기반하는 화소 데이터 관리(S250) 및 화소 데이터가 포함된 학습 데이터 구축(S260)을 포함하도록 구성될 수 있다.
S210 단계에서, 초분광 데이터 분석 장치(700)(이하, 초분광 데이터 분석 장치)는, 객체 식별 모델을 학습시키는 데 사용될 각종 객체가 나타나 있는 해양 촬영을 통해 초분광 데이터를 수집할 수 있다. 여기서, 수집의 개념은 “수신” 작용을 포함할 수 있다. 따라서, 사용자 입력에 따라 초분광 데이터 분석 장치(700)는 네트워크(400)에 연결된 각종 초분광 데이터 소스로부터 초분광 데이터를 수신할 수 있다.
S220 단계에서, 초분광 데이터 분석 장치(700)는, 초분광 데이터를 전처리할 수 있다. 초분광 데이터의 품질은, 수집 당시의 태양의 고도, 구름의 유무와 양, 날씨 변화에 민감하기 때문에 항상 충분한 빛이 있는 상황에서 수집될 수 없다. 따라서, 수집된 초분광 데이터는, 전처리 과정을 통해, 각종 보정, 예를 들어 방사 보정, 대기 보정 및 기하 보정될 수 있다.
S230 단계에서, 초분광 데이터 분석 장치(700)는, 초분광 데이터를 이용하여 해양 객체 인식의 학습용 데이터셋을 구성할 수 있다.
초분광 데이터 분석 장치(700)는 데이터 파일을 선택하고, 데이터 파일의 분석 범위를 설정하고, 데이터 파일을 변환할 수 있다.
예를 들어, 초분광 데이터 분석 장치(700)는, 초분광 데이터에 포함된 가시광선의 영역의 데이터를 이용하여, 초분광 데이터를 영상으로 시각화할 수 있다. 예를 들어 초분광 데이터는, 분석 영역으로 X축 2점과 Y축 2점의 사각 범위가 설정될 수 있고, 선택된 영역의 초분광 데이터는 가시화될 수 있다. 가시화의 이유는 사용자의 작업 효율을 높이기 위함을 포함한다. 초분광 데이터는, 분석을 위해 DMT 이미지, HIS 이미지, Binary 영상 등으로 변환될 수 있다. 또한, 초분광 데이터는, 명도의 범위를 높이기 위해 HDR 이미지 형태로 변환될 수 있다.
S240 단계에서, 초분광 데이터 분석 장치(700)는, 분석 알고리즘을 이용하여 데이터셋을 분석할 수 있다. 데이터셋의 분석은, 해상객체의 탐지 및 식별을 위한 과정에 해당한다. 해상객체의 탐지란, 해상객체의 존재를 탐지하는 것을 의미하며, 해상객체의 식별이란, 탐지된 해당객체의 정체를 알아내는 것을 말한다. 데이터셋의 분석에 대해서는 도 5를 참조하여 상세히 설명하기로 한다.
도 10은 본 발명의 일 실시 예에 따른, 초분광 데이터에 기반하는 해상객체 인식 방법의 흐름도이다.
도 10을 참조하면, 본 발명의 일 실시 예에 따른 데이터셋을 분석하는 단계는(S300)는, 머신 러닝 알고리즘을 이용하여 초분광 데이터를 프리스크리닝 하는 단계(S310), 프리스크리닝 결과에 기반하여 해상객체를 탐지하는 단계(S320) 및 탐지된 해상객체를 식별하는 단계(S330)를 포함하도록 구성될 수 있다.
S310 단계에서, 데이터 분석 장치(700)는, 머신 러닝 알고리즘을 이용하여 초분광 데이터를 프리스크리닝 할 수 있다. 본 발명의 일 실시 예에서 해상객체의 군집화에 밀도 기반의 클러스터링(Density-based clustering) 기법이 이용될 수 있다. 특히 본 발명의 일 실시 예로서 디비스캔(Density-Based Spatial Clustering of Applications with Noise, DBSCAN) 알고리즘이 이용될 수 있다.
초분광 데이터 분석 장치(700)는, 해상객체 군집 형성에 관한 파라미터를 변경하면서 군집의 밀집도를 분석할 수 있다. 예를 들어 초분광 데이터 분석 장치(700)는, 군집 형성에 관한 HDSCAN의 파라미터인, eps 파라미터의 변경에 따라 군집의 밀집도가 분석될 수 있다. 군집의 밀집도에 따라서, 해상객체는 군집에 속하기도, 속하지 않고 노이즈로 탐지될 수 있다. 또한, 군집에 속하는 최소값에 해당하는 min_samples 파라미터 값의 조정을 통해, 임의의 해상객체는 군집 내에 포함되기도 하고, 아니면 군집 밖에서 노이즈로 취급될 수도 있다.
그 밖에 본 발명의 일 실시 예에서 사용되는 파라미터로 Cores와 Scan Scale이 있다. Cores는 머신 러닝 분석속도와 관련된 파라미터이며, CPU의 사용 코어수를 제어한다. Scan Scale은 한 번에 분석할 수 있는 초분광 데이터의 분석 크기를 지정하는 파라미터이다.
DBSCAN 방식은 화소가 늘어날 때 마다 속도가 곱절로 증가하는 반면, 화소가 너무 낮을 때는 적절한 군집을 형성할 수 없다. 이 파라미터는 머신 러닝의 속도에 관련된 파라미터면서도 추후 항공 영상 자료를 실시간 혹은 준실시간으로 신속히 나누어 연산하는 상황을 고려하여 구현될 수 있다.
S320 단계에서, 초분광 데이터 분석 장치(700)는, 프리스크리닝 결과에 기반하여 해상 객체를 탐지할 수 있다.
예를 들어, 초분광 데이터 분석 장치(700)는, 해양 객체의 밀집도에 기반하여 초분광 데이터에서 해수 영역의 데이터를 제거할 수 있다. 해수는 초분광 데이터 내에서 하나의 해상객체를 형성할 수 있다. 따라서, 해상객체로 취급되는 한에서 해수는 가장 많은 수의 화소를 포함하는 군집에 해당한다. 따라서, 대상체를 식별하기 위해 해수 영역의 초분광 데이터는 제거되어야 할 필요가 있다. 밀집도 분석을 통해 해상 초분광 데이터에서 가장 밀집하게 분포되는 해수에 관한 데이터가 제거될 수 있다.
S330 단계에서, 초분광 데이터 분석 장치(700)는, 탐지된 상기 해상 객체를 식별할 수 있다.
예를 들어, 초분광 데이터 분석 장치(700)는, 군집화 알고리즘을 이용하여 군집 외에서 객체가 형성하는 노이즈를 탐지할 수 있다. 본 발명의 일 실시 예에서 군집에 포함된 객체의 화소는 흰색으로, 군집에 포함되지 않은 객체의 화소는 검은색으로 표시될 수 있다. 군집 외에서 형성되는 노이즈는 대상체가 될 수 있다.
초분광 데이터 분석 장치(700)는, 노이즈에 해당하는 화소의 좌표 값과 스펙트럼에 기반하여 해상객체를 식별할 수 있다. 해상객체에 해당하는 노이즈 영역의 화소의 스펙트럼을 분석해 보면, 해상객체의 종류에 따라, 예를 들어 어선, 구명환, 구명부기, 구명뗏목에 따라 노이즈의 화소는 고유한 스펙트럼을 보인다. 따라서, 화소의 좌표 값과 스펙트럼에 기반하여 해상객체가 식별될 수 있다.
S250 단계에서, 초분광 데이터 분석 장치(700)는, 분석 결과를 이용하여 상기 객체를 이루는 화소를 관리할 수 있다.
초분광 데이터 분석 장치(700)는, 해양 객체가 형성하는 화소에 라벨링할 수 있다. 본 발명의 일 실시 예에 따른 초분광 인식 방법(S200)을 통해 처리된 초분광 데이터는 머신 러닝 알고리즘에 기반하여 해상객체를 탐지하고 식별하는 탐지 및 인식 모델의 학습에 이용될 수 있다. 따라서, 처리 과정에서 해상객체의 탐지 및 식별 결과가 해당 초분광 영상의 화소에 라벨링을 통해 저장될 수 있다.
S260 단계에서, 초분광 데이터 분석 장치(700)는, 화소 데이터를 이용하여 학습 데이터를 구축할 수 있다.
여기서, 화소 데이터를 이용한 학습 데이터를 구축하는 단계(S260)는, 라벨링된 해양 객체가 형성하는 화소 데이터를 분류하는 단계, 및 분류된 상기 화소 데이터를 이용하여 통합 라이브러리를 구축하는 단계를 포함하도록 구성될 수 있다.
또한, 초분광 데이터 분석 장치(700)는 통합 라이브러리에 화소 스펙트럼을 저장할 수 있다. 따라서, 통합 라이브러리는, 초분광 데이터에 대한, 노이즈의 좌표 값 정보, 식별된 해상객체 정보 및 화소 스펙트럼 정보를 포함할 수 있다.
이하 본 발명의 일 실시 예에 따른 초분광 데이터에 기반하는 해상객체 인식 방법(S200)에 관한 코드가 포함된 명령어를 수행하도록 작성된 애플리케이션의 UI의 예시화면에 대해 설명하기로 한다.
도 11은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법을 구현한 애플리케이션 UI의 예시화면이다.
도 11을 참조하면, 사용자의 시각을 통해 보여질 수 있는 형태로 변환된 초분광 데이터가 묘사되어 있다. 영상목록은 본 발명의 일 실시 예에 따른 데이터셋을 나타낸다. 그리고 실시간 수신정보는 초분광 분석 장치(700)가 수신한 초분광 데이터에 관한 수신정보를 나타낸다.
도 12는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법을 구현된 애플리케이션 UI의 예시화면이다.
도 12를 참조하면, 본 발명의 일 실시 예에 따른 초분광 데이터는, 그 피사체에 육지를 포함할 수 있다. 데이터셋이 구성되면(S230) 작업에 필요한 초분광 데이터가 만들어진 데이터셋에 연동된다. 분석하고자 하는 영역의 좌표측이 설정되고, 예를 들어 400nm 내지 900nm 중에서 127개 밴드 대역에서 3가지 밴드 대역이 설정되고, 설정된 영역의 가시화된 이미지가 표출된다. 해당 영역에 대해 머신 러닝 분석이 진행되며, 이 경우 EPS, Cores, Scan Scale 파라미터가 설정될 수 있다. 사용자는, UI를 이용하여 추가적인 연구 진행을 위해 데이터셋 자체를 삭제하거나, 또는 머신 러닝으로 분석된 학습 데이터만을 제거할 수 있다.
도 13은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터셋 구성에 관한 애플리케이션 UI의 예시화면이다.
도 13을 참조하면, 데이터셋 구성의 UI를 통해 초분광 데이터 등록, 이미지 변환 등의 과정이 수행될 수 있다. 도 8은 전곡항에서 수집된 초분광 데이터를 이용한 데이터셋 구성을 묘사하고 있다.
도 14는 본 발명의 일 실시 예에 따른, 초분광 데이터에 기반하는 해상객체 인식 방법에서 데이터 변환에 관한 애플리케이션 UI의 예시화면이다.
도 14를 참조하면, 초분광 데이터의 이미지 변환 과정에 관한 UI가 묘사되어 있다. 초분광 데이터는, 크롭 동작을 통해 일부 영역이 분석에 이용될 수 있다. 분석 영역은, 2점의 X축 좌표와 Y축 좌표 값으로 묘사될 수 있다. UI의 메뉴를 통해 사용자는 RGB 이미지를 HDR 이미지 위치에 표시할 수 있다.
도 15는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터 분석에 관한 애플리케이션 UI의 예시화면이다.
도 15를 참조하면, 본 발명의 일 실시 예에 따른, 초분광 데이터의 분석에 사용되는 머신 러닝 알고리즘의 파라미터 지정과 관련된 UI가 묘사되어 있다. EPS는 0.1로, Cores는 40으로 그리고 Scan Scale은 100으로 각각 지정되어 있음을 확인할 수 있다.
도 16은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 데이터 분석의 결과에 관한 애플리케이션 UI의 예시화면이다.
도 16을 참조하면, 전곡항에서 수집된 초분광 데이터의 분석 결과가 묘사되어 있다. 노이즈에 관한 좌표가 검출되고, 사용자는 스펙트럼 정보를 참조하여, 검출된 노이즈에 대해 라벨링을 수행할 수 있다.
도 17은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 해상객체 탐지에 관한 애플리케이션 UI의 예시화면이다.
도 17을 참조하면, 해상객체 탐지 과정에서 초분광 데이터를 이용한 해수 제거 과정이 묘사되어 있다. 좌측 이미지는 해수가 표현된 이미지이고, 우측 이미지는 해수가 제거된 이미지이다.
도 18은 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 해상객체 탐지율에 관한 애플리케이션 UI의 예시화면이다.
도 18을 참조하면, 초분광 데이터 분석 결과에 따라 바이너리 이미지 상에서 노이즈로 나타나는 해상객체의 화소 분포가 나타나 있다. 지정된 EPS 파라미터 값에 따라 화소의 분포가 다르게 나타난다. DBSCAN의 EPS 파라미터의 값을 0.01~0.03으로 변화시키면서 화소수가 분석될 수 있다. EPS가 증가할수록 DBSCAN을 통해 탐지되는 화소수가 감소된다.
도 19는 본 발명의 일 실시 예에 따른, 해상객체 인식 방법에서 해상객체 식별에 관한 애플리케이션 UI의 예시화면이다.
도 19를 참조하면, 해상객체 중에서 노이즈로 분류된 어선, 구명환, 구명부기, 구명뗏목을 구성하는 화소의 스펙트럼 분포가 묘사되어 있다. 해상객체는 그 종류에 따라 고유의 스펙트럼을 가지므로, 이에 기반하여 해상객체 식별이 가능하다.
이와 같이 본 발명의 일 실시 예에 따르면, 통신 상태에 따라 실시간으로 수집되는 초분광 데이터의 전처리 및 처리를 상공 또는 지상에서 수행될 수 있다.
또한, 지상의 시스템에서 완성된 해양객체 탐지 모델과 식별 모델을 상공의 시스템에 탑재 시켜 해양객체 탐지 및 식별에 이용될 수 있고, 다시 지상의 시스템에서 재학습을 거쳐 성능이 업그레이드될 수 있다.
또한, 초분광 데이터를 이용하여 해수 대비 해양 객체의 식별에 소요되는 시간을 줄이고, 아울러 식별률을 높일 수 있다.
또한, 초분광 데이터의 축적에 따라, 머신 러닝 군집화에서 노이즈로 나타나는 해양 객체를 인식하는, 초분광 데이터 기반의 해양 객체 인식 모델의 학습 및 재학습이 가능하다.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.
100: 해상객체 인식 시스템의 제1 서브 시스템
200: 해상객체 인식 시스템의 제2 서브 시스템
310: 데스크탑(클라이언트)
320: 사용자 단말(클라이언트)
700: 데이터 분석 장치
200: 해상객체 인식 시스템의 제2 서브 시스템
310: 데스크탑(클라이언트)
320: 사용자 단말(클라이언트)
700: 데이터 분석 장치
Claims (16)
- 초분광 데이터에 기반하는 해상 객체 인식 시스템에 의해 수행되는 초분광 데이터에 기반하는 해상 객체 인식 방법으로서,
대상 초분광 데이터를 수집하는 단계;
상기 대상 초분광 데이터를 전처리하는 단계;
해상객체의 탐지 및 식별의 학습을 통해 훈련된, 해상객체 탐지 및 식별 모델에 기반하여 상기 대상 초분광 데이터에 포함된 대상체를 탐지 및 식별하는 단계;
상기 해상객체 탐지 및 식별 모델의 학습용 데이터를 생성하는 단계; 및
상기 학습용 데이터를 이용하여 상기 학습을 통해 상기 해상객체 탐지 및 식별 모델을 훈련시키는 단계;를 포함하며,
상기 학습용 데이터를 생성하는 단계는,
초분광 데이터를 이용하여 해양 객체 식별의 학습용 데이터셋을 구성하는 단계;
분석 알고리즘을 이용하여 상기 데이터셋을 분석하는 단계;
분석 결과를 이용하여 상기 객체를 이루는 화소를 관리하는 단계; 및
화소 데이터를 이용하여 학습 데이터를 구축하는 단계를 포함하고,
상기 데이터셋을 분석하는 단계는,
머신 러닝 알고리즘을 이용하여 초분광 데이터를 프리스크리닝 하는 단계;
상기 프리스크리닝 결과에 기반하여 해상객체를 탐지하는 단계; 및
탐지된 상기 해상객체를 식별하는 단계를 포함하며,
상기 해상객체를 식별하는 단계는,
군집화 알고리즘을 이용하여 군집 외에서 객체가 형성하는 노이즈를 탐지하는 단계; 및
상기 노이즈에 해당하는 화소의 좌표 값과 스펙트럼에 기반하여 해상객체를 식별하는 단계를 포함하며,
상기 해상객체를 식별하기 위해, 노이즈에 해당하는 화소의 좌표 값과 스펙트럼에 기반하여 해상객체를 식별하되, 상기 해상객체에 해당하는 노이즈 영역의 화소의 스펙트럼은 해상 객체의 종류에 따라 고유한 스펙트럼을 보이고,
상기 전처리 및 대상체 탐지 및 식별을 위한 데이터 처리는,
상공의 제1 서브 시스템 및 지상의 제2 서브 시스템 중에서 적어도 하나에 의해 수행되며,
통신 상태의 변동에 따라 제어부는 데이터 처리 주체를 변경하거나, 상기 제1 서브 시스템과 상기 제2 서브 시스템 사이에 데이터 처리 비율을 변경할 수 있도록 구성되는,
초분광 데이터에 기반하는 해상객체 인식 방법. - 제 1 항에 있어서,
상기 대상 초분광 데이터 수집이 실시간으로 이루어짐에 따라 그 뒤의 단계들이 이와 연동하여 실시간으로 이루어지는 것을 특징으로 하는,
초분광 데이터에 기반하는 해상객체 인식 방법. - 제 1 항에 있어서,
상기 대상 초분광 데이터를 전처리하는 단계는,
상기 대상 초분광 데이터의 방사 보정, 대기 보정 및 기하 보정 중에서 적어도 하나를 포함하도록 구성되는,
초분광 데이터에 기반하는 해상객체 인식 방법. - 삭제
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 프리스크리닝 하는 단계는,
해양 객체 군집 형성에 관한 파라미터를 변경하면서 군집의 밀집도를 분석하는 단계를 포함하도록 구성되는,
초분광 데이터에 기반하는 해상객체 인식 방법.
- 제 1 항에 있어서,
상기 해상객체를 탐지하는 단계는,
해양 객체의 밀집도에 기반하여 초분광 데이터에서 해수 영역의 데이터를 제거하는 단계를 포함하도록 구성되는,
초분광 데이터에 기반하는 해상객체 인식 방법.
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 화소를 관리하는 단계는,
상기 해양 객체가 형성하는 화소에 라벨링하는 단계를 포함하도록 구성되는,
초분광 데이터에 기반하는 해상객체 인식 방법.
- 제 1 항에 있어서,
상기 학습 데이터를 구축하는 단계는,
라벨링된 해양 객체가 형성하는 화소 데이터를 분류하는 단계; 및
분류된 상기 화소 데이터를 이용하여 통합 라이브러리를 구축하는 단계를 포함하도록 구성되는,
초분광 데이터에 기반하는 해상객체 인식 방법.
- 삭제
- 제 1 항에 있어서,
상기 제1 서브 시스템과 제2 서브 시스템 간의 통신 상태를 탐지하는 단계; 및
상기 통신 상태와 상기 제1 서브 시스템과 제2 서브 시스템의 처리 속도를 비교하는 단계를 더 포함하고,
상기 비교 결과에 따라, 상기 제1 서브 시스템과 제2 서브 시스템 중에서 처리될 데이터의 양 및 주체가 결정되는 것을 특징으로 하는,
초분광 데이터에 기반하는 해상객체 인식 방법. - 제 14 항에 있어서,
상기 통신 상태의 변동에 따라, 데이터 처리 주체를 변경하거나, 상기 제1 서브 시스템과 제2 서브 시스템 사이에 데이터 처리 비율을 변경하는 단계를 더 포함하도록 구성되는,
초분광 데이터에 기반하는 해상객체 인식 방법. - 삭제
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200183172A KR102270834B1 (ko) | 2020-12-24 | 2020-12-24 | 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템 |
| US17/999,386 US11715286B2 (en) | 2020-12-24 | 2021-08-24 | Method and system for recognizing marine object using hyperspectral data |
| PCT/KR2021/011287 WO2022139111A1 (ko) | 2020-12-24 | 2021-08-24 | 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200183172A KR102270834B1 (ko) | 2020-12-24 | 2020-12-24 | 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102270834B1 true KR102270834B1 (ko) | 2021-06-30 |
Family
ID=76601928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200183172A KR102270834B1 (ko) | 2020-12-24 | 2020-12-24 | 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11715286B2 (ko) |
| KR (1) | KR102270834B1 (ko) |
| WO (1) | WO2022139111A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022139111A1 (ko) * | 2020-12-24 | 2022-06-30 | 한국해양과학기술원 | 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템 |
| KR102495175B1 (ko) * | 2022-04-27 | 2023-02-06 | 한국해양과학기술원 | 웹 기반의 사용자 연동을 통한 초분광 영상 기반 해상객체 인식에 사용되는 학습 데이터셋 구축 장치 및 방법 |
| KR102529044B1 (ko) | 2022-04-29 | 2023-05-03 | 한국해양과학기술원 | 초분광 데이터 관리 시스템 및 이를 이용한 사용 목적별 운영 서비스 제공 방법 |
| US11830248B2 (en) | 2020-12-24 | 2023-11-28 | Korea Institute Of Ocean Science & Technology | Method and apparatus for processing hyperspectral data for identifying marine object |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101621354B1 (ko) * | 2016-03-31 | 2016-05-20 | 주식회사 지오스토리 | 항공 초분광영상을 활용한 수심 보정 방법 |
| KR101672291B1 (ko) | 2016-03-31 | 2016-11-08 | 주식회사 지오스토리 | 항공 초분광영상을 활용한 갯녹음 탐지 기법 |
| KR20180065411A (ko) * | 2016-12-07 | 2018-06-18 | 한국해양과학기술원 | 해상객체의 자동추적 시스템 및 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2866052A1 (en) | 2013-10-23 | 2015-04-29 | Ladar Limited | A system for monitoring a maritime environment |
| CN109544534B (zh) * | 2018-11-26 | 2020-10-16 | 上海联影智能医疗科技有限公司 | 一种病灶图像检测装置、方法和计算机可读存储介质 |
| KR102270834B1 (ko) * | 2020-12-24 | 2021-06-30 | 한국해양과학기술원 | 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템 |
| KR102258903B1 (ko) | 2020-12-24 | 2021-06-02 | 한국해양과학기술원 | 해상객체 식별을 위한 초분광 데이터 처리방법 및 장치 |
-
2020
- 2020-12-24 KR KR1020200183172A patent/KR102270834B1/ko active IP Right Grant
-
2021
- 2021-08-24 US US17/999,386 patent/US11715286B2/en active Active
- 2021-08-24 WO PCT/KR2021/011287 patent/WO2022139111A1/ko active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101621354B1 (ko) * | 2016-03-31 | 2016-05-20 | 주식회사 지오스토리 | 항공 초분광영상을 활용한 수심 보정 방법 |
| KR101672291B1 (ko) | 2016-03-31 | 2016-11-08 | 주식회사 지오스토리 | 항공 초분광영상을 활용한 갯녹음 탐지 기법 |
| KR20180065411A (ko) * | 2016-12-07 | 2018-06-18 | 한국해양과학기술원 | 해상객체의 자동추적 시스템 및 방법 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022139111A1 (ko) * | 2020-12-24 | 2022-06-30 | 한국해양과학기술원 | 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템 |
| US11715286B2 (en) | 2020-12-24 | 2023-08-01 | Korea Institute Of Ocean Science & Technology | Method and system for recognizing marine object using hyperspectral data |
| US11830248B2 (en) | 2020-12-24 | 2023-11-28 | Korea Institute Of Ocean Science & Technology | Method and apparatus for processing hyperspectral data for identifying marine object |
| KR102495175B1 (ko) * | 2022-04-27 | 2023-02-06 | 한국해양과학기술원 | 웹 기반의 사용자 연동을 통한 초분광 영상 기반 해상객체 인식에 사용되는 학습 데이터셋 구축 장치 및 방법 |
| KR102529044B1 (ko) | 2022-04-29 | 2023-05-03 | 한국해양과학기술원 | 초분광 데이터 관리 시스템 및 이를 이용한 사용 목적별 운영 서비스 제공 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11715286B2 (en) | 2023-08-01 |
| WO2022139111A1 (ko) | 2022-06-30 |
| US20230196743A1 (en) | 2023-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102270834B1 (ko) | 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템 | |
| KR102258903B1 (ko) | 해상객체 식별을 위한 초분광 데이터 처리방법 및 장치 | |
| CN106845510B (zh) | 基于深度层级特征融合的中国传统视觉文化符号识别方法 | |
| US11651229B2 (en) | Methods and systems for face recognition | |
| US20240096091A1 (en) | Identifying targets within images | |
| CN110633632A (zh) | 一种基于循环指导的弱监督联合目标检测和语义分割方法 | |
| CN113361495B (zh) | 人脸图像相似度的计算方法、装置、设备及存储介质 | |
| CN110826429A (zh) | 一种基于景区视频的旅游突发事件自动监测的方法及系统 | |
| CN113284144B (zh) | 一种基于无人机的隧道检测方法及装置 | |
| Vetrivel et al. | Towards automated satellite image segmentation and classification for assessing disaster damage using data-specific features with incremental learning | |
| Kuru et al. | Intelligent airborne monitoring of irregularly shaped man-made marine objects using statistical Machine Learning techniques | |
| Dolapcı et al. | Automatic ship detection and classification using machine learning from remote sensing images on Apache Spark | |
| Sumalan et al. | Flood evaluation in critical areas by UAV surveillance | |
| Matos-Carvalho et al. | UAV downwash dynamic texture features for terrain classification on autonomous navigation | |
| KR102495175B1 (ko) | 웹 기반의 사용자 연동을 통한 초분광 영상 기반 해상객체 인식에 사용되는 학습 데이터셋 구축 장치 및 방법 | |
| Castagno et al. | Automatic classification of roof shapes for multicopter emergency landing site selection | |
| Möller et al. | Change detection in marine observatory image streams using bi-domain feature clustering | |
| CN109558771B (zh) | 海上船舶的行为状态识别方法、装置、设备及存储介质 | |
| Xia et al. | A shadow detection method for remote sensing images using affinity propagation algorithm | |
| Jandhyala et al. | Forest Fire Classification and Detection in Aerial Images using Inception-V3 and SSD Models | |
| Cirneanu et al. | CNN based on LBP for evaluating natural disasters | |
| Saxena et al. | Colour detection in objects using NIN implemented CNN | |
| Tamilselvi et al. | A Real-time Fire recognition technique using a Improved Convolutional Neural Network Method | |
| Thevarasa et al. | Weighted Ensemble Algorithm for Aerial Imaging Based Mosquito Breeding Sites Classification | |
| Naseri et al. | Detection of drones with YOLOv4 deep learning algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |