KR20230147893A - System and method for improving detection of vegetation index - Google Patents

System and method for improving detection of vegetation index Download PDF

Info

Publication number
KR20230147893A
KR20230147893A KR1020220046810A KR20220046810A KR20230147893A KR 20230147893 A KR20230147893 A KR 20230147893A KR 1020220046810 A KR1020220046810 A KR 1020220046810A KR 20220046810 A KR20220046810 A KR 20220046810A KR 20230147893 A KR20230147893 A KR 20230147893A
Authority
KR
South Korea
Prior art keywords
data
resolution
spectral data
low
vegetation index
Prior art date
Application number
KR1020220046810A
Other languages
Korean (ko)
Inventor
최연주
염종민
Original Assignee
한국항공우주연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주연구원 filed Critical 한국항공우주연구원
Priority to KR1020220046810A priority Critical patent/KR20230147893A/en
Publication of KR20230147893A publication Critical patent/KR20230147893A/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G01N21/274—Calibration, base line adjustment, drift correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178—Methods for obtaining spatial resolution of the property being measured
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/127—Calibration; base line adjustment; drift compensation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 식생 지수 검출 성능 향상 시스템 및 그 방법에 관한 것으로서, 물리 정보 손실 없이 다중 분광 데이터의 공간 해상도를 향상시켜, 이를 이용한 식생 지수 추출 성능을 향상시킬 수 있는 기술에 관한 것이다.The present invention relates to a system and method for improving vegetation index detection performance, and to a technique for improving the spatial resolution of multi-spectral data without losing physical information and improving vegetation index extraction performance using the same.

Description

식생 지수 검출 성능 향상 시스템 및 그 방법 {System and method for improving detection of vegetation index}Vegetation index detection performance improvement system and method {System and method for improving detection of vegetation index}

본 발명은 식생 지수 검출 성능 향상 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 딥러닝 기반으로, 영상의 물리 정보를 포함하고 있는 다중 분광 데이터의 공간 해상도를 향상시켜, 이를 이용한 식생 지수 검출 성능을 향상시킬 수 있는 식생 지수 검출 성능 향상 시스템 및 그 방법에 관한 것이다.The present invention relates to a system and method for improving vegetation index detection performance, and more specifically, to improve the vegetation index detection performance by improving the spatial resolution of multi-spectral data containing physical information of images based on deep learning. It relates to a system and method for improving vegetation index detection performance that can be improved.

식생 지수(NVDI, Normalized Difference Vegetation Index)는 원하는 지역의 식생 존재 여부를 판단하고, 식생의 생태를 빠르게 확인하기 위해 사용하는 지수를 의미하며, 이는 정밀 농업과 임업 분야 등에서 활발히 이용되고 있다.Vegetation Index (NVDI, Normalized Difference Vegetation Index) refers to an index used to determine the presence or absence of vegetation in a desired area and to quickly check the ecology of vegetation. It is actively used in precision agriculture and forestry fields.

이러한 식생 지수는 통상적으로 인공위성이나 드론 등과 같이, 공중에서 지표면을 촬영한 영상 데이터를 분석하여, 각 파장 대역 별 분광 반사율을 통해 추출하게 된다.This vegetation index is typically extracted by analyzing image data taken of the ground surface from the air, such as from a satellite or drone, and using the spectral reflectance for each wavelength band.

상세하게는, 건강하고 활력이 높거나, 밀도가 높은 식생에서는 식물의 잎에 있는 색소인 엽록소는 광합성을 위해 가시광선 대역을 강하게 흡수하는데, 이에 반해, 잎의 세포 구조는 근적외선 대역을 매우 높게 반사한다는 점을 이용하여, 영상 데이터에 포함되어 있는 분광 반사율을 적용하여 추출하게 된다.Specifically, in healthy, vibrant, or dense vegetation, chlorophyll, a pigment in plant leaves, strongly absorbs visible light for photosynthesis, while the cell structure of the leaf reflects the near-infrared band very highly. Using this fact, the spectral reflectance included in the image data is applied and extracted.

그렇지만, 위성 영상으로 예를 들자면, 위성으로부터 고해상도의 흑백 영상(Panchromatic) 데이터와 가시광선 대역과 근적외선 대역을 포함하는 다중 분광(Multi-spectral bands) 컬러 영상 데이터를 획득하게 된다.However, taking satellite images as an example, high-resolution black-and-white image data and multi-spectral bands color image data including visible light bands and near-infrared bands are obtained from satellites.

다중 분광 컬러 영상 데이터를 이용하여 식생 지수를 추출하게 되는데, 다중 분광 컬러 영상 데이터의 경우, 흑백 영상 데이터에 비해 공간 해상도(GSD, Ground Sampling Distance)가 낮은 문제점이 있다.Vegetation index is extracted using multi-spectral color image data, but multi-spectral color image data has a problem of lower spatial resolution (GSD, Ground Sampling Distance) compared to black-and-white image data.

이에 따라, 통상적으로 저해상도의 다중 분광 컬러 영상 데이터와 고해상도의 흑백 영상 데이터를 결합한 고해상도의 컬러 Pan-sharpened 영상을 생성하고, 이를 식생 지수 추출에 활용하고 있다.Accordingly, a high-resolution color pan-sharpened image is typically created by combining low-resolution multispectral color image data and high-resolution black-and-white image data, and this is used to extract vegetation indices.

그렇지만, Pan-sharpened 고해상도 다중 분광 자료의 경우, 고해상도의 흑백 영상 데이터를 기준으로 저해상도의 다중 분광 컬러 영상 데이터의 RGB 정보만을 추출 및 결합하기 때문에, 다중 분광 컬러 영상 데이터의 각 픽셀 마다 포함되어 있는 물리 정보(radiometry, spectral histogram 등)가 소실되기 때문에, Pan-sharpened 고해상도 다중 분광 자료의 높은 공간 해상도를 가짐에도 불구하고 식생 지수 추출 오차가 큰 문제점이 있다.However, in the case of pan-sharpened high-resolution multi-spectral data, only the RGB information of the low-resolution multi-spectral color image data is extracted and combined based on the high-resolution black-and-white image data, so the physical information contained in each pixel of the multi-spectral color image data Because information (radiometry, spectral histogram, etc.) is lost, there is a problem with large vegetation index extraction errors despite the high spatial resolution of pan-sharpened high-resolution multi-spectral data.

이와 관련해서, 국내등록특허 제10-1089220호("시공간 연속성을 이용한 식생 지수 보정방법")에서는 위성을 이용한 원격 탐사로부터 생성된 연속하는 식생 지수 정보에서 구름 또는 적설에 의한 오염 및 결측, 에어로졸 등에 의한 대기의 영향 및 탐사 잡음 등의 문제점을 제거하는 기술을 개시하고 있다.In this regard, Domestic Patent No. 10-1089220 (“Vegetation index correction method using spatiotemporal continuity”) refers to contamination and omissions due to clouds or snow cover, aerosols, etc. in continuous vegetation index information generated from remote sensing using satellites. Technology is being developed to eliminate problems such as atmospheric effects and exploration noise.

국내등록특허 제10-1089220호(등록일자 2011.11.28.)Domestic registered patent No. 10-1089220 (registration date 2011.11.28.)

본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 영상 데이터를 활용하여 식생 지수를 추출하기 위해, 영상 데이터를 보정하는 과정에서 물리 정보가 손실되는 문제점을 해소하여, 딥러닝 기반으로, 영상의 물리 정보를 포함하고 있는 다중 분광 데이터의 공간 해상도를 향상시켜, 이를 이용한 식생 지수 검출 성능을 향상시킬 수 있는 식생 지수 검출 성능 향상 시스템 및 그 방법을 제공하는 것이다.The present invention was created to solve the problems of the prior art as described above. The purpose of the present invention is to extract the vegetation index using image data, and to solve the problem of physical information being lost in the process of correcting image data. The aim is to provide a vegetation index detection performance improvement system and method that can improve the vegetation index detection performance by improving the spatial resolution of multi-spectral data containing physical information of images based on deep learning. .

본 발명의 일 실시예에 따른 식생 지수 검출 성능 향상 시스템에 있어서, 가시광선 대역과 근적외선 대역을 포함하는 다중 분광 데이터를 입력받는 데이터 입력부, 딥러닝 기반으로, 상기 데이터 입력부에 의한 상기 다중 분광 데이터를 보정하여, 공간 해상도를 향상시키는 데이터 처리부 및 상기 데이터 처리부에 의해 공간 해상도가 향상된 다중 분광 데이터를 분석하여, 식생 지수(NVDI, Normalized Difference Vegetation Index)를 추출하는 데이터 분석부를 포함하는 것이 바람직하다.In the vegetation index detection performance improvement system according to an embodiment of the present invention, a data input unit that receives multi-spectral data including visible light band and near-infrared band, and deep learning-based, the multi-spectral data by the data input unit It is preferable to include a data processing unit that corrects and improves spatial resolution, and a data analysis unit that analyzes multi-spectral data with improved spatial resolution by the data processing unit and extracts a Normalized Difference Vegetation Index (NVDI).

더 나아가, 상기 데이터 처리부는 기저장된 대기 보정 알고리즘을 이용하여, 상기 다중 분광 데이터에 포함되어 있는 대기에 의한 영향을 제거하는 제1 보정부 및 기저장된 딥러닝 모델을 이용하여, 상기 제1 보정부에 의해 대기 보정된 다중 분광 데이터를 전달받아, 공간 해상도(GSD, Ground Sampling Distance)를 향상시키는 제2 보정부를 포함하는 것이 바람직하다.Furthermore, the data processing unit uses a pre-stored atmospheric correction algorithm to remove the influence of the atmosphere included in the multi-spectral data, and a pre-stored deep learning model to remove the influence of the atmosphere included in the multi-spectral data. It is preferable to include a second correction unit that receives multi-spectral data atmospherically corrected and improves spatial resolution (GSD, Ground Sampling Distance).

더 나아가, 상기 식생 지수 검츨 성능 향상 시스템은 기저장된 딥러닝 알고리즘을 이용하여, 입력되는 데이터의 공간 해상도를 향상시키기 위한 모델을 생성 및 관리하는 딥러닝 생성부를 더 포함하며, 상기 제2 보정부는 상기 딥러닝 생성부에 의해 생성된 모델을 이용하는 것이 바람직하다.Furthermore, the vegetation index detection performance improvement system further includes a deep learning generation unit that generates and manages a model for improving the spatial resolution of input data using a pre-stored deep learning algorithm, and the second correction unit It is desirable to use the model generated by the deep learning generation unit.

더 나아가, 상기 딥러닝 생성부는 외부로부터, 데이터의 공간 해상도 향상을 위한 훈련에 적용하고자 하는 다중 분광 데이터를 수집하는 데이터 수집부, 상기 데이터 수집부에 의한 다중 분광 데이터의 전처리를 수행하고, 기저장된 딥러닝 알고리즘을 이용하여, 전처리된 다중 분광 데이터의 학습을 수행하여, 저해상도 다중 분광 데이터를 출력하는 저해상화 모델을 생성하는 LR 모델 생성부, 상기 저해상화 모델로 상기 데이터 수집부에 의한 다중 분광 데이터를 입력하여, 해당하는 다중 분광 데이터에 대한 저해상도 다중 분광 데이터를 출력받아 수집하는 저해상도 수집부 및 기저장된 딥러닝 알고리즘을 이용하여, 상기 저해상도 수집부에 의한 저해상도 다중 분광 데이터와 상기 데이터 수집부에 의한 다중 분광 데이터를 입력받아, 이들에 대한 학습을 수행하여, 고해상도 다중 분광 데이터를 출력하는 고해상화 모델을 생성하는 SR 모델 생성부를 포함하는 것이 바람직하다.Furthermore, the deep learning generation unit includes a data collection unit that collects multi-spectral data to be applied to training to improve the spatial resolution of data from the outside, performs pre-processing of the multi-spectral data by the data collection unit, and pre-stores An LR model generator that performs learning on preprocessed multi-spectral data using a deep learning algorithm to generate a low-resolution model that outputs low-resolution multi-spectral data, and multi-spectral data by the data collection unit with the low-resolution model. By inputting, using a low-resolution collection unit that outputs and collects low-resolution multi-spectral data for the corresponding multi-spectral data and a pre-stored deep learning algorithm, low-resolution multi-spectral data by the low-resolution collection unit and the data collection unit It is desirable to include an SR model generator that receives multi-spectral data, performs learning on them, and generates a high-resolution model that outputs high-resolution multi-spectral data.

더 나아가, 상기 LR 모델 생성부는 상기 데이터 수집부에 의한 다중 분광 데이터를 이용하여, 원본인 저해상도 다중 분광 데이터와 고해상도 처리된 다중 분광 데이터들로 쌍을 이루어 학습 데이터를 생성하는 전처리부, 컨볼루션 신경망으로 구현되며, 상기 학습 데이터에 대한 학습 처리를 수행하여 가상의 저해상도 다중 분광 데이터를 생성하는 생성부 및 컨볼루션 신경망으로 구현되며, 가상의 저해상도 다중 분광 데이터와 원본인 저해상도 다중 분광 데이터를 입력받아, 상기 생성부에 의한 데이터인지 상기 전처리부에 의한 데이터인지 구별하는 판별부를 포함하되, 상기 생성부와 판별부는 각각의 동작에 대해 적대적으로 자발적인 학습이 이루어지는 것이 바람직하다.Furthermore, the LR model generator uses the multi-spectral data generated by the data collection unit, and includes a preprocessor and a convolutional neural network that pair the original low-resolution multi-spectral data with high-resolution processed multi-spectral data to generate learning data. It is implemented as a generator and a convolutional neural network that performs learning processing on the learning data to generate virtual low-resolution multi-spectral data, and receives the virtual low-resolution multi-spectral data and the original low-resolution multi-spectral data as input, Preferably, it includes a discriminator that distinguishes whether the data is generated by the generator or the preprocessor, and the generator and discriminator learn autonomously and adversarially for each operation.

더 나아가, 상기 데이터 처리부는 상기 딥러닝 생성부에 의한 고해상화 모델을 이용하여, 입력되는 다중 분광 데이터의 공간 해상도를 향상시켜 고해상도 다중 분광 데이터를 생성하고, 상기 데이터 분석부는 고해상도 다중 분광 데이터를 전달받아, 각 픽셀 별 포함되어 있는 물리 정보와, 포함되어 있는 대역의 분광 반사도를 분석하여, 식생 지수를 추출하고, 추출한 식생 지수를 가시화 처리하는 것이 바람직하다.Furthermore, the data processing unit generates high-resolution multi-spectral data by improving the spatial resolution of the input multi-spectral data using the high-resolution model provided by the deep learning generation unit, and the data analysis unit delivers high-resolution multi-spectral data. It is desirable to extract the vegetation index by analyzing the physical information included in each pixel and the spectral reflectance of the included band, and to visualize the extracted vegetation index.

본 발명의 또 다른 일 실시예에 따른 컴퓨터로 구현되는 식생 지수 검출 성능 향상 시스템에 의해 각 단계가 수행되는 식생 지수 검출 성능 향상 방법에 있어서, 데이터 입력부에서, 가시광선 대역과 근적외선 대역을 포함하는 다중 분광 데이터를 입력받는 입력 단계(S100), 데이터 처리부에서, 상기 입력 단계(S100)에 의한 다중 분광 데이터에 포함되어 있는 대기에 의한 영향을 제거하는 제1 보정 단계(S200), 데이터 처리부에서, 상기 제1 보정 단계(S200)에 의해 대기 보정된 다중 분광 데이터의 공간 해상도(GSD, Ground Sampling Distance)를 향상시키는 제2 보정 단계(S300) 및 데이터 분석부에서, 상기 제2 보정 단계(S300)에 의해 공간 해상도가 향상된 다중 분광 데이터를 분석하여, 각 픽셀 별 포함되어 있는 물리 정보와, 포함되어 있는 대역의 분광 반사도를 분석하여, 식생 지수(NVDI, Normalized Difference Vegetation Index)를 추출하는 분석 단계(S400)를 포함하는 것이 바람직하다.In a method for improving vegetation index detection performance, in which each step is performed by a computer-implemented vegetation index detection performance improvement system according to another embodiment of the present invention, in the data input unit, multiple signals including a visible light band and a near-infrared band are used. An input step (S100) of receiving spectral data, in a data processing unit, a first correction step (S200) of removing the influence of the atmosphere included in the multi-spectral data by the input step (S100), in a data processing unit, In the second correction step (S300) and data analysis unit to improve the spatial resolution (GSD, Ground Sampling Distance) of the multi-spectral data atmospherically corrected by the first correction step (S200), the second correction step (S300) An analysis step (S400) in which multi-spectral data with improved spatial resolution is analyzed, the physical information contained in each pixel, and the spectral reflectance of the included band are analyzed to extract a vegetation index (NVDI, Normalized Difference Vegetation Index) ) is preferably included.

더 나아가, 상기 제2 보정 단계(S300)는 딥러닝 기반으로 생성된 모델을 이용하여, 상기 제1 보정 단계(S200)에 의해 대기 보정된 다중 분광 데이터의 공간 해상도를 향상시키는 것이 바람직하다.Furthermore, it is preferable that the second correction step (S300) uses a model generated based on deep learning to improve the spatial resolution of the multi-spectral data atmospherically corrected by the first correction step (S200).

더 나아가, 상기 식생 지수 검출 성능 향상 방법은 상기 제2 보정 단계(S300)를 수행하기 전, 딥러닝 생성부에서, 기저장된 딥러닝 알고리즘을 이용하여, 입력되는 데이터의 공간 해상도를 향상시키기 위한 모델을 생성 및 관리하는 모델 생성 단계(S500)를 더 포함하며, 상기 제2 보정 단계(S300)는 상기 모델 생성 단계(S500)에 의해 생성된 고해상화 모델을 이용하는 것이 바람직하다.Furthermore, the method for improving vegetation index detection performance is a model for improving the spatial resolution of input data by using a pre-stored deep learning algorithm in the deep learning generator before performing the second correction step (S300). It further includes a model creation step (S500) of generating and managing, and the second correction step (S300) preferably uses the high-resolution model generated by the model creation step (S500).

더 나아가, 상기 모델 생성 단계(S500)는 외부로부터, 데이터의 공간 해상도 향상을 위한 훈련에 적용하고자 하는 다중 분광 데이터를 수집하는 데이터 수집 단계(S510), 상기 데이터 수집 단계(S510에 의한 다중 분광 데이터를 이용하여, 원본인 저해상도 다중 분광 데이터와 고해상도 처리된 다중 분광 데이터들로 쌍을 이루어 학습 데이터를 생성하는 학습 데이터 생성 단계(S520), 기저장된 딥러닝 알고리즘을 이용하여, 상기 학습 데이터 생성 단계(S520)에 의한 학습 데이터의 학습 처리를 수행하여, 가상의 저해상도 다중 분광 데이터를 생성하는 가상 생성 단계(S530), 기저장된 딥러닝 알고리즘을 이용하여, 상기 가상 생성 단계(S530)에 의한 저해상도 다중 분광 데이터와 상기 데이터 수집 단계(S510)에 의한 원본인 저해상도 다중 분광 데이터를 입력받아, 상기 가상 생성 단계(S530)에 의한 데이터인지 상기 데이터 수집 단계(S510)에 의한 데이터인지 구별하는 판별 단계(S540), 상기 판별 단계(S540)에 의해 완벽하게 구별한다고 가정할 때, 구별 정확도가 최소화하도록 상기 가상 영상 데이터의 생성 동작을 학습하고, 이에 적대적으로 구별 정확도를 높이도록 구별 동작을 학습하는 반복 학습 단계(S550), 상기 반복 학습 단계(S550)의 수행 결과에 따라, 저해상도 다중 분광 데이터를 출력하는 저해상화 모델을 생성하는 LR 모델 생성 단계(S560), 상기 LR 모델 생성 단계(S560)에 의한 저해상화 모델로 상기 데이터 수집 단계(S510)에 의한 다중 분광 데이터를 입력하여, 해당하는 다중 분광 데이터에 대한 저해상도 다중 분광 데이터를 출력받아 수집하는 저해상도 수집 단계(S570) 및 기저장된 딥러닝 알고리즘을 이용하여, 상기 저해상도 수집 단계(S570)에 의한 저해상도 다중 분광 데이터와 상기 데이터 수집 단계(S510)에 의한 다중 분광 데이터를 입력받아, 학습 처리를 수행하여, 고해상도 다중 분광 데이터를 출력하는 고해상화 모델을 생성하는 SR 모델 생성 단계(S580)를 더 포함하는 것이 바람직하다.Furthermore, the model creation step (S500) includes a data collection step (S510) of collecting multi-spectral data to be applied to training to improve the spatial resolution of data from the outside, and the data collection step (S510) of multi-spectral data by Using a learning data generation step (S520) of generating learning data by pairing the original low-resolution multi-spectral data with high-resolution processed multi-spectral data, using a pre-stored deep learning algorithm, the learning data generation step ( A virtual generation step (S530) of generating virtual low-resolution multi-spectral data by performing learning processing of the learning data in S520), and low-resolution multi-spectral data by the virtual generation step (S530) using a pre-stored deep learning algorithm. A determination step (S540) that receives the data and the original low-resolution multi-spectral data from the data collection step (S510) and distinguishes whether it is data from the virtual creation step (S530) or data from the data collection step (S510). , assuming perfect discrimination by the discrimination step (S540), an iterative learning step of learning the generation operation of the virtual image data to minimize the discrimination accuracy, and learning the discrimination operation to increase the discrimination accuracy adversarially ( S550), an LR model generation step (S560) for generating a low-resolution model that outputs low-resolution multi-spectral data according to the results of the iterative learning step (S550), a low-resolution model by the LR model generation step (S560) By inputting the multi-spectral data from the data collection step (S510), low-resolution multi-spectral data for the corresponding multi-spectral data is output and collected (S570) and using a pre-stored deep learning algorithm, An SR model that receives low-resolution multi-spectral data from the low-resolution collection step (S570) and multi-spectral data from the data collection step (S510), performs learning processing, and generates a high-resolution model that outputs high-resolution multi-spectral data. It is desirable to further include a generation step (S580).

상기와 같은 구성에 의한 본 발명의 식생 지수 검출 성능 향상 시스템 및 그 방법은 영상 데이터를 활용하여 식생 지수를 추출하기 위해, 영상 데이터를 보정하는 과정에서 물리 정보가 손실되는 문제점을 해소하여, 딥러닝 기반으로, 영상의 물리 정보를 포함하고 있는 다중 분광 데이터의 공간 해상도를 향상시켜, 이를 이용한 식생 지수 검출 성능을 향상시킬 수 있는 장점이 있다.The vegetation index detection performance improvement system and method of the present invention with the above configuration solve the problem of physical information being lost in the process of correcting image data in order to extract the vegetation index using image data, thereby improving deep learning. Based on this, it has the advantage of improving the spatial resolution of multi-spectral data containing physical information of the image, thereby improving the vegetation index detection performance using this.

특히, 물리 정보를 그대로 유지하면서 다중 분광 데이터 자체의 공간 해상도를 향상시킴으로써, 더 좁은 영역에 대한 식생 지수 및 분석을 정확도 높게 수행할 수 있는 장점이 있다.In particular, by improving the spatial resolution of the multi-spectral data itself while maintaining the physical information, there is an advantage in that vegetation index and analysis for a narrower area can be performed with high accuracy.

도 1은 본 발명의 일 실시예에 따른 식생 지수 검출 성능 향상 시스템을 나타낸 구성 예시도이다.
도 2는 본 발명의 일 실시예에 따른 식생 지수 검출 성능 향상 방법을 나타낸 순서 예시도이다.Figure 1 is an exemplary configuration diagram showing a system for improving vegetation index detection performance according to an embodiment of the present invention.
Figure 2 is a flowchart illustrating a method for improving vegetation index detection performance according to an embodiment of the present invention.

이하 첨부한 도면들을 참조하여 본 발명의 식생 지수 검출 성능 향상 시스템 및 그 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.Hereinafter, the vegetation index detection performance improvement system and method of the present invention will be described in detail with reference to the attached drawings. The drawings introduced below are provided as examples so that the idea of the present invention can be sufficiently conveyed to those skilled in the art. Accordingly, the present invention is not limited to the drawings presented below and may be embodied in other forms. Additionally, like reference numerals refer to like elements throughout the specification.

이때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.At this time, if there is no other definition in the technical and scientific terms used, they have the meaning commonly understood by those skilled in the art to which this invention pertains, and the gist of the present invention is summarized in the following description and attached drawings. Descriptions of known functions and configurations that may be unnecessarily obscure are omitted.

더불어, 시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.In addition, a system refers to a set of components including devices, mechanisms, and means that are organized and interact regularly to perform necessary functions.

종래, 비교적 공간 해상도가 낮은 다중 분광 데이터(다중 분광 컬러 영상 데이터)의 해상도를 향상시키기 위한 pan-sharpened 과정에서, 고해상도의 흑백 영상 데이터(panchromatic)를 기준으로 다중 분광 데이터의 RGB 정보만을 추출하여 진행하기 때문에, 다중 분광 데이터의 각 픽셀 마다 포함되어 있는 물리 정보(radiometry, spectral histogram 등)이 소실되는 문제점이 나타나, 식생 지수 검출 오차가 큰 문제점이 있다.Conventionally, in the pan-sharpened process to improve the resolution of multispectral data (multispectral color image data) with relatively low spatial resolution, only the RGB information of the multispectral data is extracted based on high-resolution black and white image data (panchromatic). Therefore, there is a problem that the physical information (radiometry, spectral histogram, etc.) included in each pixel of the multi-spectral data is lost, resulting in a large vegetation index detection error.

본 발명의 일 실시예에 따른 식생 지수 검출 성능 향상 시스템 및 그 방법은, 상술한 문제점을 해소하기 위하여, 딥러닝 기반으로 고해상도의 흑백 영상 데이터와의 결합 없이, 물리 정보를 그대로 유지하면서 다중 분광 데이터 자체의 공간 해상도를 향상시킴으로써, 더 좁은 영역에 대한 식생 지수 및 분석을 정확도 높게 수행할 수 있는 장점이 있다.In order to solve the above-described problems, the vegetation index detection performance improvement system and method according to an embodiment of the present invention are based on deep learning, without combining with high-resolution black and white image data, while maintaining physical information as is and providing multi-spectral data. By improving its own spatial resolution, it has the advantage of being able to perform vegetation index and analysis for a narrower area with high accuracy.

특히, 물리 정보를 그대로 유지하면서, 가시광선 대역과 근적외선 대역을 포함하는 다중 분광 데이터를 생성할 수 있어, 이를 이용하여 식생 지수 검출 뿐 아니라, 활용 범위를 확장할 수 있는 장점이 있다.In particular, it is possible to generate multi-spectral data including visible and near-infrared bands while maintaining physical information, which has the advantage of not only detecting vegetation indices but also expanding the scope of use.

도 1은 본 발명의 일 실시예에 따른 식생 지수 검출 성능 향상 시스템을 나타낸 구성 예시도로서, 도 1을 참조로 하여 본 발명의 일 실시예에 따른 식생 지수 검출 성능 향상 시스템을 상세히 설명한다.Figure 1 is an exemplary configuration diagram showing a system for improving vegetation index detection performance according to an embodiment of the present invention. Referring to Figure 1, the vegetation index detection performance improvement system according to an embodiment of the present invention will be described in detail.

본 발명의 일 실시예에 따른 식생 지수 검출 성능 향상 시스템은 도 1에 도시된 바와 같이, 데이터 입력부(100), 데이터 처리부(200) 및 데이터 분석부(300)를 포함하여 구성되는 것이 바람직하다. 또한, 각 구성들은 컴퓨터를 포함하는 적어도 하나 이상의 연산처리수단에 각각 또는 통합 포함되어 동작을 수행하는 것이 바람직하다.The vegetation index detection performance improvement system according to an embodiment of the present invention is preferably configured to include a data input unit 100, a data processing unit 200, and a data analysis unit 300, as shown in FIG. 1. In addition, it is preferable that each component is individually or integratedly included in at least one operation processing means including a computer to perform the operation.

먼저, 본 발명의 일 실시예에 따른 식생 지수 검출 성능 향상 시스템은 원활한 설명을 위해, 위성 영상 데이터로 한정하여 후술할 예정이나, 이는 일 실시예에 불과하며, 식생 지수 검출을 위해 영상 데이터를 획득하는 다양한 광학계에 적용 가능하다.First, for smooth explanation, the vegetation index detection performance improvement system according to an embodiment of the present invention will be described later limited to satellite image data, but this is only an embodiment, and image data is acquired to detect vegetation index. It can be applied to various optical systems.

상기 데이터 입력부(100)는 가시광선 대역(RGB)과 근적외선 대역(NIR) 대역을 포함하는 다중 분광(Multi-spectral bands) 데이터를 입력받게 된다. 이 때, 다중 분광 데이터는 광학 위성으로부터 획득되는 데이터로서, 고해상도의 흑백 영상 데이터(panchromatic)보다 공간 해상도(GSD, Ground Sampling Distance)가 낮지만 각 파장 대역 별 분광 반사 정보를 비교적 정확하게 갖고 있다. 뿐만 아니라, 광학 위성으로부터 데이터를 획득하는 과정에서, 각 픽셀 별로 물리 정보(radiometry, spectral histogram 등)를 포함하게 된다.The data input unit 100 receives multi-spectral bands data including visible light band (RGB) and near infrared band (NIR) band. At this time, multi-spectral data is data acquired from optical satellites, and has lower spatial resolution (GSD, Ground Sampling Distance) than high-resolution black-and-white image data (panchromatic), but has relatively accurate spectral reflection information for each wavelength band. In addition, in the process of acquiring data from an optical satellite, physical information (radiometry, spectral histogram, etc.) is included for each pixel.

상기 데이터 처리부(200)는 딥러닝 기반으로, 상기 데이터 입력부(100)에 의한 상기 다중 분광 데이터를 보정하여, 공간 해상도를 향상, 다시 말하자면, 고해상도의 다중 분광 데이터로 생성하게 된다. 이 때, 종래 기술과 비교하자면, 상기 데이터 처리부(200)는 흑백 영상 데이터와 다중 분광 데이터의 결합이 아닌, 딥러닝 기반으로 다중 분광 데이터의 해상도를 향상시킴으로써, 높은 공간 해상도 뿐 아니라, 물리 정보도 그대로 포함하고 있어, 고해상도의 다중 분광 데이터의 활용 범위를 확장시킬 수 있는 장점이 있다.The data processing unit 200 corrects the multi-spectral data generated by the data input unit 100 based on deep learning to improve spatial resolution, in other words, generates high-resolution multi-spectral data. At this time, compared to the prior art, the data processing unit 200 improves the resolution of multi-spectral data based on deep learning rather than combining black-and-white image data and multi-spectral data, thereby providing not only high spatial resolution but also physical information. Since it is included as is, it has the advantage of expanding the scope of use of high-resolution multi-spectral data.

상기 데이터 분석부(300)는 상기 데이터 처리부(200)에 의해 공간 해상도가 향상된 다중 분광 데이터(고해상도의 다중 분광 데이터)를 분석하여, 식생 지수(NVDI, Normalized Difference Vegetation Index)를 추출하는 것이 바람직하다.The data analysis unit 300 preferably analyzes multi-spectral data (high-resolution multi-spectral data) with improved spatial resolution by the data processing unit 200 and extracts a Normalized Difference Vegetation Index (NVDI). .

이 때, 식생 지수란, 지역의 식생 존재 여부를 판단하고, 식생의 상태를 빠르게 확인하기 위해 사용하는 지수로서, 통상적으로, 근적외선 대역에서 얻어진 분광 반사율과 가시광 대역의 적색 영역에서 얻어진 분광 반사율을 이용하여 추출하게 된다.At this time, the vegetation index is an index used to determine the presence or absence of vegetation in an area and to quickly check the status of vegetation. Typically, the spectral reflectance obtained in the near-infrared band and the spectral reflectance obtained in the red region of the visible light band are used. This is done to extract it.

다만, 상술한 바와 같이, 본 발명의 일 실시예에 따른 식생지수 검출 성능 향상 시스템은 상기 데이터 처리부(200)를 통해서, 고해상도의 다중 분광 데이터를 생성하여 이용하기 때문에, 보다 좁은 영역에 대한 식생 지수의 정확도를 향상시킬 수 있을 뿐 아니라, 각 픽셀 별 포함되어 있는 물리 정보를 이용하여, 보다 다양한 지표면 정보를 획득할 수 있다.However, as described above, the vegetation index detection performance improvement system according to an embodiment of the present invention generates and uses high-resolution multi-spectral data through the data processing unit 200, so the vegetation index for a narrower area Not only can the accuracy of the pixel be improved, but more diverse ground surface information can be obtained by using the physical information included in each pixel.

이를 위하여 상기 데이터 처리부(200)는 도 1에 도시된 바와 같이, 제1 보정부(210)와 제2 보정부(220)를 포함하여 구성되게 된다.To this end, the data processing unit 200 is configured to include a first correction unit 210 and a second correction unit 220, as shown in FIG. 1.

상기 제1 보정부(210)는 미리 저장된 대기 보정 알고리즘을 이용하여, 상기 데이터 입력부(100)에 의한 다중 분광 데이터에 포함되어 있는 대기에 의한 영향을 제거하게 된다. 이 때, 미리 저장된 대기 보정 알고리즘으로는, 광학 위성으로부터 획득된 영상 데이터(다중 분광 데이터)에 포함되어 있는 에어로졸, 수증기, 오존 등을 탐지하여 제거할 수 있는 알고리즘으로서, 이에 대해서 한정하는 것은 아니다.The first correction unit 210 uses a pre-stored atmospheric correction algorithm to remove the influence of the atmosphere included in the multi-spectral data generated by the data input unit 100. At this time, the pre-stored atmospheric correction algorithm is an algorithm that can detect and remove aerosol, water vapor, ozone, etc. included in image data (multi-spectral data) acquired from an optical satellite, and is not limited to this.

상기 제2 보정부(220)는 미리 저장된 딥러닝 모델을 이용하여, 상기 제1 보정부(210)에 의해 대기 보정된 다중 분광 데이터를 전달받아, 공간 해상도를 향상시키게 된다. 이 때, 미리 저장된 딥러닝 모델로는 딥러닝 알고리즘을 통해 생성된 초해상화 모델을 의미한다.The second correction unit 220 receives multi-spectral data atmospherically corrected by the first correction unit 210 using a pre-stored deep learning model to improve spatial resolution. At this time, the pre-stored deep learning model refers to a super-resolution model created through a deep learning algorithm.

상세하게는, 초해상화 기술은 저해상도(Low Resolution) 이미지를 이용하여, 고해상도(High Resolution) 이미지로 추정하는 기술로서, AI를 기반으로 하는 초해상화 기술은 기존 방식보다 더 향상된 시각적 품질을 제공하게 된다. 이러한, 고해상 이미지를 생성해주는 AI 모델을 훈련/학습함에 있어서, 원본 영상을 인위적으로 저하시킨 저해상도 영상과 원본 영상을 한꺼번에 활용하여, 원본 영상의 특징점(feature)을 추출하고 이를 훈련하는 방식으로 모델의 학습이 이루어지게 된다.In detail, super-resolution technology is a technology that uses low-resolution images to estimate high-resolution images. AI-based super-resolution technology provides more improved visual quality than existing methods. I do it. In training/learning an AI model that generates such high-resolution images, low-resolution images that artificially degrade the original images and the original images are used simultaneously to extract features of the original images and train them to create the model. Learning takes place.

종래에는, 원본 영상을 인위적으로 저하시킨 저해상도 영상을 생성하기 위하여, 즉, 다운 샘플링을 위하여 blurring이나 noise 추가 등의 방법을 적용하여 왔다. 대부분의 blurring은 bi-cubic과 같은 보간법을 사용하거나, Gaussian blurring을 적용하고 있다. 그렇지만, 원본 영상의 저하 방식에 따라, 생성되는 저해상도 영상 결과 역시 상이하기 때문에, 이를 기반으로 AI 학습한 초해상화 기술의 성능 역시 큰 차이가 발생하게 된다.Conventionally, methods such as blurring or adding noise have been applied to generate low-resolution images that artificially degrade the original images, that is, for downsampling. Most blurring uses interpolation methods such as bi-cubic or applies Gaussian blurring. However, because the low-resolution image results generated are also different depending on the method of degrading the original image, the performance of the super-resolution technology learned by AI based on this also results in significant differences.

일 예를 들자면, 단순한 bi-cubic만을 사용하여 저해상도 영상을 생성하고, 이를 이용한 AI 모델을 훈련시킬 경우, 생성 모델의 추정 이미지(고해상도 이미지)의 선명도가 저하되는 문제가 발생하게 된다.For example, when a low-resolution image is generated using only a simple bi-cubic image and an AI model is trained using it, a problem occurs in which the clarity of the estimated image (high-resolution image) of the generated model is deteriorated.

이러한 점을 고려하여, AI를 기반으로 초해상화 기술이 발달할수록, 이를 훈련/학습시키기 위한 저해상도 이미지를 생성하는 기술, 일명 '저하 모델' 자체를 모델링하는 것이 주요한 주제 중 하나로 연구되고 있다.Considering this, as super-resolution technology based on AI develops, modeling the so-called 'degradation model' itself, a technology for generating low-resolution images for training/learning, is being studied as one of the main topics.

이에 따라, 상기 제2 보정부(220)는 상술한 문제점을 개선한 초해상화 모델을 이용하는 것이 바람직하다.Accordingly, it is desirable that the second correction unit 220 uses a super-resolution model that improves the problems described above.

이를 위해, 본 발명의 일 실시예에 따른 식생 지수 검출 성능 향상 시스템은 도 1에 도시된 바와 같이, 딥러닝 생성부(400)를 더 포함하여 구성되는 것이 바람직하다.To this end, the vegetation index detection performance improvement system according to an embodiment of the present invention is preferably configured to further include a deep learning generator 400, as shown in FIG. 1.

상기 딥러닝 생성부(400)는 미리 저장된 딥러닝 알고리즘을 이용하여, 상술한 문제점을 해소하면서, 입력되는 영상 데이터의 공간 해상도를 향상시키기 위한 모델을 생성 및 관리하는 것이 바람직하다. 이를 통해서, 상기 제2 보정부(220)는 상기 딥러닝 생성부(400)에 의해 생성된 모델(초해상화 모델)을 이용하여 상기 제1 보정부(210)에 의해 대기 보정된 다중 분광 데이터의 해상도를 향상시키게 된다.It is desirable that the deep learning generator 400 uses a pre-stored deep learning algorithm to generate and manage a model for improving the spatial resolution of input image data while solving the above-mentioned problems. Through this, the second correction unit 220 uses the model (super-resolution model) generated by the deep learning generation unit 400 to atmospherically correct the multi-spectral data by the first correction unit 210. improves the resolution.

이러한 상기 딥러닝 생성부(400)는 데이터 수집부(410), LR 모델 생성부(420), 저해상도 수집부(430) 및 SR 모델 생성부(440)를 포함하여 구성되게 된다.The deep learning generation unit 400 includes a data collection unit 410, an LR model generation unit 420, a low-resolution collection unit 430, and an SR model generation unit 440.

상기 데이터 수집부(410)는 외부로부터 영상 데이터의 공간 해상도 향상을 위한 훈련에 적용하고자 하는 다중 분광 데이터를 수집하게 된다.The data collection unit 410 collects multi-spectral data to be applied to training to improve the spatial resolution of image data from the outside.

즉, 외부로부터, 과거 수행되었던 식생 지수 검출에 이용된 고해상도 처리된 Pan-sharpened 다중 분광 데이터와 고해상도 처리되기 전인 원본의 다중 분광 데이터를 수집하게 된다.In other words, high-resolution processed pan-sharpened multi-spectral data used for vegetation index detection performed in the past and original multi-spectral data before high-resolution processing are collected from the outside.

상기 LR 모델 생성부(420)는 상기 데이터 수집부(410)에 의한 영상 데이터들의 전처리를 수행하여 학습 데이터를 생성하고, 미리 저장된 딥러닝 알고리즘을 이용하여, 상기 학습 데이터에 대한 학습 처리를 수행하여, 저해상도 다중 분광 데이터를 출력하는 저해상화 모델을 생성하게 된다.The LR model generator 420 generates training data by performing preprocessing of the image data by the data collection unit 410, and performs learning processing on the training data using a pre-stored deep learning algorithm. , a low-resolution model that outputs low-resolution multi-spectral data is created.

상세하게는, 상기 LR 모델 생성부(420)는 도 1에 도시된 바와 같이, 전처리부(421), 생성부(422) 및 판별부(423)를 포함하게 된다.In detail, the LR model generating unit 420 includes a preprocessing unit 421, a generating unit 422, and a determining unit 423, as shown in FIG. 1.

상기 전처리부(421)는 상기 데이터 수집부(410)에 의한 영상 데이터들을 이용하여, 과거 수행되었던 식생 지수 검출을 기준으로, 고해상도 처리된 Pan-sharpened 다중 분광 데이터와 해당하는 고해상도 처리되기 전인 원본의 다중 분광 데이터를 쌍으로 하여, 각각의 학습 데이터 셋을 생성하게 된다.The pre-processing unit 421 uses the image data from the data collection unit 410 to produce high-resolution processed pan-sharpened multi-spectral data and the original before high-resolution processing based on vegetation index detection performed in the past. By pairing multi-spectral data, each training data set is created.

상기 LR 모델 생성부(420)는 미리 저장된 딥러닝 알고리즘으로 GAN(Generative Adversarial Network)을 사용하여 모델을 구성한다. 간단하게는, 원본의 저해상도 다중 분광 데이터와 동일한 해상도를 갖는 영상을 생성하도록 generator network을 훈련하고, discriminator network에서는 입력받은 원본의 다중 분광 데이터와 생성한 저해상도 다중 분광 데이터를 구별함으로써, generator network의 학습 방향을 진행하게 된다. 이를 통해서, 최종적으로 generator network를 통해서 가상의 저해상도 다중 분광 데이터를 생성하게 되고, 이를 수행하는 저해상화 모델을 생성하게 된다.The LR model generator 420 constructs a model using GAN (Generative Adversarial Network) as a pre-stored deep learning algorithm. Simply, the generator network is trained to generate an image with the same resolution as the original low-resolution multi-spectral data, and the discriminator network learns the generator network by distinguishing between the original input multi-spectral data and the generated low-resolution multi-spectral data. proceed in the direction. Through this, virtual low-resolution multi-spectral data is finally generated through the generator network, and a low-resolution model that performs this is created.

상기 생성부(422)는 컨볼루션 신경망으로 구현되며, 컨볼루션 필터를 이용하여 특징맵을 생성하는 컨볼루션 레이어로 구성되는 것이 바람직하다. 상기 생성부(422)는 상기 전처리부(421)에 의해 전처리된 학습 데이터 셋을 입력받아, 포함되어 있는 특성(feature)의 학습 처리를 수행하게 된다. 학습 결과, 원본의 다중 분광 데이터와 유사한 해상도를 갖는 저해상도 다중 분광 데이터를 생성하는 저해상화 모델을 생성하게 된다.The generator 422 is implemented as a convolutional neural network, and is preferably composed of a convolutional layer that generates a feature map using a convolutional filter. The generating unit 422 receives the learning data set preprocessed by the preprocessing unit 421 and performs learning processing of the included features. As a result of the learning, a low-resolution model is created that generates low-resolution multi-spectral data with a resolution similar to the original multi-spectral data.

상기 판별부(423)는 컨볼루션 신경망으로 구현되며, 컨볼루션 필터들을 이용하여 특징맵을 생성하는 컨볼루션 레이어로 구성되는 것이 바람직하다. 상기 판별부(423)는 상기 생성부(422)에 의한 저해상도 다중 분광 데이터와 상기 전처리부(421)에 의한 원본의 다중 분광 데이터를 입력받아, 상기 생성부(422)에 의한 데이터인지 상기 전처리부(421)에 의한 데이터인지 구별하게 된다. 이를 위해, 완전하게 연결된(fully connected) 적어도 하나의 레이어로 이루어지며, 여기서, fully connected layer는 레이어의 입력 및 출력 특징들의 각 노드들이 모두 서로 연결된 형태인 것이 가장 바람직하다.The determination unit 423 is implemented as a convolutional neural network, and is preferably composed of a convolutional layer that generates a feature map using convolutional filters. The determination unit 423 receives the low-resolution multi-spectral data generated by the generating unit 422 and the original multi-spectral data generated by the pre-processing unit 421, and determines whether the data is generated by the generating unit 422. It is possible to distinguish whether the data is by (421). For this purpose, it consists of at least one layer that is fully connected. Here, the fully connected layer is most preferably in a form in which each node of the input and output features of the layer is all connected to each other.

상기 생성부(422) 및 판별부(423)는 매 반복(iteration) 마다 각각의 동작에 대한 자발적인 학습이 이루어지고, 상기 생성부(422)는 상기 판별부(423)가 완벽하게 구별한다고 가정할 때, 구별 정확도가 가장 최소화가 되도록 상기 저해상도 다중 분광 데이터의 생성 동작을 학습하며, 상기 판별부(423)는 상기 생성부(422)에 대해 적대적으로 구별 정확도를 높이도록 구별 동작을 학습하게 된다.The generating unit 422 and the determining unit 423 assume that voluntary learning of each operation occurs at each iteration, and the generating unit 422 perfectly distinguishes the determining unit 423. In this case, the generation operation of the low-resolution multi-spectral data is learned so that the discrimination accuracy is minimized, and the discrimination unit 423 learns the discrimination operation to increase the discrimination accuracy in an adversarial manner with respect to the generation unit 422.

즉, 매 반복마다 가상의 저해상도 다중 분광 데이터와 원본의 다중 분광 데이터의 차이를 측정하고, 차이가 줄어들도록 컨볼루션 레이어의 웨이트(weight)를 변화시켜, 학습이 진행될수록 가상의 저해상도 다중 분광 데이터와 원본의 다중 분광 데이터 간의 차이 값이 점점 줄어들고, 성능이 향상되게 된다.That is, at each iteration, the difference between the virtual low-resolution multi-spectral data and the original multi-spectral data is measured, and the weight of the convolution layer is changed to reduce the difference. As learning progresses, the virtual low-resolution multi-spectral data and the original multi-spectral data are measured. The difference value between the original multi-spectral data gradually decreases, and performance improves.

상기 저해상도 수집부(430)는 상기 LR 모델 생성부(420)에 의한 저해상화 모델로 상기 데이터 수집부(410)에 의한 다중 분광 데이터를 입력하여, 해당하는 다중 분광 데이터에 대한 가상의 저해상도 다중 분광 데이터를 출력받아 수집하게 된다.The low-resolution collection unit 430 inputs the multi-spectral data from the data collection unit 410 into a low-resolution model by the LR model generation unit 420, and generates a virtual low-resolution multi-spectral data for the corresponding multi-spectral data. Data is output and collected.

상세하게는, 상기 저해상도 수집부(430)는 새롭게 입력되는 영상 데이터가 아닌 상기 데이터 수집부(410)에 의한 영상 데이터를 활용하는 것은, 성능이 개선된 고해상화 모델을 생성하기 위하여, 정답 데이터(학습 데이터 셋)를 이용하여 AI 모델의 훈련 및 학습을 진행하게 된다.In detail, the low-resolution collection unit 430 utilizes the image data from the data collection unit 410 rather than newly input image data in order to generate a high-resolution model with improved performance, the correct answer data ( Training and learning of the AI model are carried out using the learning data set.

상기 SR 모델 생성부(440)는 미리 저장된 딥러닝 알고리즘을 이용하여, 상기 저해상도 수집부(430)에 의한 가상의 저해상도 다중 분광 데이터와 상기 데이터 수집부(410)에 의한 해당하는 다중 분광 데이터(고해상도 처리된 Pan-sharpened 다중 분광 데이터)의 학습 처리를 수행하여, 고해상화 모델을 생성하는 것이 바람직하다.The SR model generator 440 uses a pre-stored deep learning algorithm to collect virtual low-resolution multi-spectral data from the low-resolution collection unit 430 and corresponding multi-spectral data (high-resolution data from the data collection unit 410). It is desirable to generate a high-resolution model by performing learning processing on the processed pan-sharpened multi-spectral data.

즉, 상기 고해상화 모델은 상기 저해상화 모델을 통해서 생성되는 가상의 저해상도 다중 분광 데이터를 입력받아 고해상도 처리된 Pan-sharpened 다중 분광 데이터의 해상도를 갖는 고해상도 다중 분광 데이터를 생성하게 된다.That is, the high-resolution model receives virtual low-resolution multi-spectral data generated through the low-resolution model and generates high-resolution multi-spectral data with the resolution of high-resolution processed pan-sharpened multi-spectral data.

이 때, 미리 저장된 딥러닝 알고리즘으로 영상 처리/분석/추정이 가능한 딥러닝 알고리즘인 것이 바람직하며, 저장되는 알고리즘 자체에 대해서는 한정하는 것은 아니다.At this time, it is preferable that it is a deep learning algorithm capable of image processing/analysis/estimation using a pre-stored deep learning algorithm, and the stored algorithm itself is not limited.

이를 통해서, 상기 데이터 처리부(200)에서 상기 딥러닝 생성부(400)에 의한 학습/훈련에 의한 고해상화 모델을 이용하여, 입력되는 다중 분광 데이터의 공간 해상도를 고해상도 처리된 Pan-sharpened 다중 분광 데이터의 해상도만큼 향상시켜 고해상도 다중 분광 데이터를 생성하게 된다.Through this, the data processing unit 200 uses a high-resolution model through learning/training by the deep learning generation unit 400 to increase the spatial resolution of the input multi-spectral data into high-resolution processed pan-sharpened multi-spectral data. The resolution is improved to produce high-resolution multi-spectral data.

특히, 상기 데이터 처리부(200)에 의한 딥러닝 기반으로 공간 해상도가 향상된 고해상도 다중 분광 데이터는 고해상도의 흑백 영상 데이터(panchromatic)와 저해상도의 다중 분광 데이터와의 결합이 아닌, 저해상도의 다중 분광 데이터 자체의 공간 해상도가 향상되었기 때문에, 상기 데이터 분석부(300)는 각 픽셀 별 포함되어 있는 물리 정보와 고해상도의 분광 반사도를 분석하여, 보다 좁은 영역의 식생 지수를 추출하게 된다. 물론, 이를 가시화 처리하여 외부 사용자(관리자 등)에게 제공하게 된다.In particular, high-resolution multi-spectral data with improved spatial resolution based on deep learning by the data processing unit 200 is not a combination of high-resolution black-and-white image data (panchromatic) and low-resolution multi-spectral data, but the low-resolution multi-spectral data itself. Because the spatial resolution has improved, the data analysis unit 300 analyzes the physical information and high-resolution spectral reflectance included in each pixel to extract the vegetation index of a narrower area. Of course, this is visualized and provided to external users (administrators, etc.).

도 2는 본 발명의 일 실시예에 따른 식생 지수 검출 성능 향상 방법을 나타낸 순서 예시도로서, 도 2를 참조로 하여 본 발명의 일 실시예에 따른 식생 지수 검출 성능 향상 방법을 상세히 설명한다.Figure 2 is a flowchart illustrating a method for improving vegetation index detection performance according to an embodiment of the present invention. The method for improving vegetation index detection performance according to an embodiment of the present invention will be described in detail with reference to Figure 2.

본 발명의 일 실시예에 따른 식생 지수 검출 성능 향상 방법은 도 2에 도시된 바와 같이, 입력 단계(S100), 제1 보정 단계(S200), 제2 보정 단계(S300), 분석 단계(S400)를 포함하게 된다. 본 발명의 일 실시예에 따른 식생 지수 검출 성능 향상 방법은 컴퓨터로 구현되는 식생 지수 검출 성능 향상 시스템에 의해 각 단계가 수행되게 된다.As shown in FIG. 2, the method for improving vegetation index detection performance according to an embodiment of the present invention includes an input step (S100), a first correction step (S200), a second correction step (S300), and an analysis step (S400). will include. In the method for improving vegetation index detection performance according to an embodiment of the present invention, each step is performed by a vegetation index detection performance improvement system implemented on a computer.

각 단계에 대해서 자세히 알아보자면,To learn more about each step,

상기 입력 단계(S100)는 상기 데이터 입력부(100)에서, 가시광선 대역(RGB)과 근적외선 대역(NIR) 대역을 포함하는 다중 분광(Multi-spectral bands) 데이터를 입력받게 된다. 이 때, 다중 분광 데이터는 광학 위성으로부터 획득되는 데이터로서, 고해상도의 흑백 영상 데이터(panchromatic)보다 공간 해상도(GSD, Ground Sampling Distance)가 낮지만 각 파장 대역 별 분광 반사 정보를 비교적 정확하게 갖고 있다. 뿐만 아니라, 광학 위성으로부터 데이터를 획득하는 과정에서, 각 픽셀 별로 물리 정보(radiometry, spectral histogram 등)를 포함하게 된다.In the input step (S100), multi-spectral bands data including visible light band (RGB) and near-infrared band (NIR) band are input from the data input unit 100. At this time, multi-spectral data is data acquired from optical satellites, and has lower spatial resolution (GSD, Ground Sampling Distance) than high-resolution black-and-white image data (panchromatic), but has relatively accurate spectral reflection information for each wavelength band. In addition, in the process of acquiring data from an optical satellite, physical information (radiometry, spectral histogram, etc.) is included for each pixel.

상기 제1 보정 단계(S200)는 상기 데이터 처리부(200)에서, 미리 저장된 대기 보정 알고리즘을 이용하여, 상기 입력 단계(S100)에 의한 다중 분광 데이터에 포함되어 있는 대기에 의한 영향을 제거하게 된다. 이 때, 미리 저장된 대기 보정 알고리즘으로는, 광학 위성으로부터 획득된 영상 데이터(다중 분광 데이터)에 포함되어 있는 에어로졸, 수증기, 오존 등을 탐지하여 제거할 수 있는 알고리즘으로서, 이에 대해서 한정하는 것은 아니다.In the first correction step (S200), the data processing unit 200 uses a pre-stored atmospheric correction algorithm to remove the influence of the atmosphere included in the multi-spectral data obtained in the input step (S100). At this time, the pre-stored atmospheric correction algorithm is an algorithm that can detect and remove aerosol, water vapor, ozone, etc. included in image data (multi-spectral data) acquired from an optical satellite, and is not limited to this.

상기 제2 보정 단계(S300)는 상기 데이터 처리부(200)에서, 상기 제1 보정 단계(S200)에 의해 대기 보정된 다중 분광 데이터를 전달받아, 공간 해상도를 향상시키게 된다.The second correction step (S300) receives the multi-spectral data atmospherically corrected by the first correction step (S200) from the data processor 200 to improve spatial resolution.

상세하게는, 상기 제2 보정 단계(S300)는 미리 저장된 딥러닝 모델을 이용하여, 상기 제1 보정 단계(S200)에 의해 대기 보정된 다중 분광 데이터의 공간 해상도를 향상시키게 된다.In detail, the second correction step (S300) uses a pre-stored deep learning model to improve the spatial resolution of the multi-spectral data atmospherically corrected by the first correction step (S200).

이를 위해, 본 발명의 일 실시예에 따른 식생 지수 검출 성능 향상 방법은 상기 제2 보정 단계(S300)를 수행하기 전, 모델 생성 단계(S500)를 더 수행하게 된다.To this end, the method for improving vegetation index detection performance according to an embodiment of the present invention further performs a model creation step (S500) before performing the second correction step (S300).

상기 모델 생성 단계(S500)는 상기 딥러닝 생성부(400)에서, 미리 저장된 딥러닝 알고리즘을 이용하여, 입력되는 영상 데이터의 공간 해상도를 향상시키기 위한 모델을 생성 및 관리하게 되며, 상기 제2 보정 단계(S300)는 상기 모델 생성 단계(S500)에 의해 생성된 모델(초해상화 모델)을 이용하여 대기 보정된 다중 분광 데이터의 해상도를 향상시키게 된다.In the model creation step (S500), the deep learning generator 400 creates and manages a model to improve the spatial resolution of the input image data using a pre-stored deep learning algorithm, and the second correction is performed. Step (S300) improves the resolution of atmospherically corrected multi-spectral data using the model (super-resolution model) generated in the model generation step (S500).

상기 모델 생성 단계(S500)는 도 2에 도시된 바와 같이, 데이터 수집 단계(S510), 학습 데이터 생성 단계(S520), 가상 생성 단계(S530), 판별 단계(S540), 반복 학습 단계(S550), LR 모델 생성 단계(S560), 저해상도 수집 단계(S570) 및 SR 모델 생성 단계(S580)를 수행하게 된다.As shown in FIG. 2, the model creation step (S500) includes a data collection step (S510), a learning data generation step (S520), a virtual creation step (S530), a discrimination step (S540), and an iterative learning step (S550). , the LR model creation step (S560), the low-resolution collection step (S570), and the SR model creation step (S580) are performed.

상기 데이터 수집 단계(S510)는 외부로부터 영상 데이터의 공간 해상도 향상을 위한 훈련에 적용하고자 하는 다중 분광 데이터를 수집하게 된다.In the data collection step (S510), multi-spectral data to be applied to training to improve the spatial resolution of image data is collected from the outside.

즉, 외부로부터, 과거 수행되었던 식생 지수 검출에 이용된 고해상도 처리된 Pan-sharpened 다중 분광 데이터와 고해상도 처리되기 전인 원본의 다중 분광 데이터를 수집하게 된다.In other words, high-resolution processed pan-sharpened multi-spectral data used for vegetation index detection performed in the past and original multi-spectral data before high-resolution processing are collected from the outside.

상기 학습 데이터 생성 단계(S520)는 상기 데이터 수집 단계(S510)에 의한 영상 데이터들을 이용하여, 과거 수행되었던 식생 지수 검출을 기준으로, 고해상도 처리된 Pan-sharpened 다중 분광 데이터와 해당하는 고해상도 처리되기 전인 원본의 다중 분광 데이터를 쌍으로 하여, 각각의 학습 데이터 셋을 생성하게 된다.The learning data generation step (S520) uses the image data from the data collection step (S510), based on the vegetation index detection performed in the past, and the high-resolution processed pan-sharpened multi-spectral data before the corresponding high-resolution processing. By pairing the original multi-spectral data, each training data set is created.

상기 가상 생성 단계(S530)는 컨볼루션 신경망으로 구현되는 상기 생성부(422)에서, 상기 학습 데이터 생성 단계(S520)에 의한 학습 데이터 셋을 입력받아, 포함되어 있는 특성(feature)의 학습 처리를 수행하게 된다. 학습 결과, 원본의 다중 분광 데이터와 유사한 해상도를 갖는 저해상도 다중 분광 데이터를 생성하는 저해상화 모델을 생성하게 된다.In the virtual generation step (S530), the generator 422 implemented with a convolutional neural network receives the training data set from the learning data generation step (S520) and performs learning processing of the included features. It will be performed. As a result of the learning, a low-resolution model is created that generates low-resolution multi-spectral data with a resolution similar to the original multi-spectral data.

상기 판별 단계(S540)는 컨볼루션 신경망으로 구현되는 상기 판별부(423)에서, 상기 가상 생성 단계(S530)에 의한 저해상도 다중 분광 데이터와 상기 학습 데이터 생성 단계(S520)에 의한 원본의 다중 분광 데이터를 입력받아, 상기 가상 생성 단계(S530)에 의한 데이터인지 상기 학습 데이터 생성 단계(S520)에 의한 데이터인지 구별하게 된다. 이를 위해, 완전하게 연결된(fully connected) 적어도 하나의 레이어로 이루어지며, 여기서, fully connected layer는 레이어의 입력 및 출력 특징들의 각 노드들이 모두 서로 연결된 형태인 것이 가장 바람직하다.The determination step (S540) is performed in the determination unit 423 implemented with a convolutional neural network, low-resolution multi-spectral data from the virtual generation step (S530) and the original multi-spectral data from the learning data generation step (S520). is input, and it is distinguished whether it is data from the virtual generation step (S530) or data from the learning data generation step (S520). For this purpose, it consists of at least one layer that is fully connected. Here, the fully connected layer is most preferably in a form in which each node of the input and output features of the layer is all connected to each other.

상기 반복 학습 단계(S550)는 매 반복(iteration) 마다 상기 가상 생성 단계(S530)와 상기 판별 단계(S540)의 동작에 대한 자발적인 학습이 이루어지도록 하며, 상기 판별 단계(S540)에 의해 상기 판별부(423)에서 완벽하게 구별한다고 가정할 때, 상기 생성부(422)에서, 상기 판별부(423)에서의 구별 정확도가 가장 최소화가 되도록 상기 저해상도 다중 분광 데이터의 생성 동작을 학습하게 된다. 또한, 상기 판별부(423)는 상기 생성부(422)에 대해 적대적으로 구별 정확도를 높이도록 구별 동작을 학습하게 된다.The iterative learning step (S550) allows voluntary learning of the operations of the virtual creation step (S530) and the determination step (S540) at each iteration, and the determination step (S540) allows the discriminator to Assuming perfect discrimination in step 423, the generation unit 422 learns the operation of generating the low-resolution multi-spectral data so that the discrimination accuracy in the determination unit 423 is minimized. In addition, the determination unit 423 learns discrimination operations to increase discrimination accuracy in an adversarial manner with respect to the generation unit 422.

즉, 매 반복마다 가상의 저해상도 다중 분광 데이터와 원본의 다중 분광 데이터의 차이를 측정하고, 차이가 줄어들도록 컨볼루션 레이어의 웨이트(weight)를 변화시켜, 학습이 진행될수록 가상의 저해상도 다중 분광 데이터와 원본의 다중 분광 데이터 간의 차이 값이 점점 줄어들고, 성능이 향상되게 된다.That is, at each iteration, the difference between the virtual low-resolution multi-spectral data and the original multi-spectral data is measured, and the weight of the convolution layer is changed to reduce the difference. As learning progresses, the virtual low-resolution multi-spectral data and the original multi-spectral data are measured. The difference value between the original multi-spectral data gradually decreases, and performance improves.

상기 LR 모델 생성 단계(S560)는 상기 반복 학습 단계(S550)의 수행 결과, 성능이 향상된 저해상도 다중 본광 데이터를 출력하는 저해상화 모델을 생성하게 된다.The LR model generation step (S560) generates a low-resolution model that outputs low-resolution multiple natural light data with improved performance as a result of performing the iterative learning step (S550).

상기 저해상도 수집 단계(S570)는 상기 LR 모델 생성 단계(S560)에 의한 저해상화 모델로 상기 데이터 수집 단계(S510)에 의한 다중 분광 데이터를 입력하여, 해당하는 다중 분광 데이터에 대한 가상의 저해상도 다중 분광 데이터를 출력받아 수집하게 된다.The low-resolution collection step (S570) inputs the multi-spectral data from the data collection step (S510) into the low-resolution model from the LR model generation step (S560), and creates a virtual low-resolution multi-spectral data for the corresponding multi-spectral data. Data is output and collected.

상기 SR 모델 생성 단계(S580)는 미리 저장된 딥러닝 알고리즘을 이용하여, 상기 저해상도 수집 단계(S570)에 의한 가상의 저해상도 다중 분광 데이터와 상기 데이터 수집 단계(S510)에 의한 해당하는 다중 분광 데이터(고해상도 처리된 Pan-sharpened 다중 분광 데이터)의 학습 처리를 수행하여, 고해상화 모델을 생성하는 것이 바람직하다.The SR model generation step (S580) uses a pre-stored deep learning algorithm to generate virtual low-resolution multi-spectral data from the low-resolution collection step (S570) and the corresponding multi-spectral data (high-resolution) from the data collection step (S510). It is desirable to generate a high-resolution model by performing learning processing on the processed pan-sharpened multi-spectral data.

즉, 상기 고해상화 모델은 상기 저해상화 모델을 통해서 생성되는 가상의 저해상도 다중 분광 데이터를 입력받아 고해상도 처리된 Pan-sharpened 다중 분광 데이터의 해상도를 갖는 고해상도 다중 분광 데이터를 생성하게 된다.That is, the high-resolution model receives virtual low-resolution multi-spectral data generated through the low-resolution model and generates high-resolution multi-spectral data with the resolution of high-resolution processed pan-sharpened multi-spectral data.

이 때, 미리 저장된 딥러닝 알고리즘으로 영상 처리/분석/추정이 가능한 딥러닝 알고리즘인 것이 바람직하며, 저장되는 알고리즘 자체에 대해서는 한정하는 것은 아니다.At this time, it is preferable that it is a deep learning algorithm capable of image processing/analysis/estimation using a pre-stored deep learning algorithm, and the stored algorithm itself is not limited.

이를 통해서, 상기 제2 보정 단계(S300)는 상기 모델 생성 단계(S500)에 의한 학습/훈련에 의한 고해상화 모델을 이용하여, 대기 보정된 다중 분광 데이터의 공간 해상도를 고해상도 처리된 Pan-sharpened 다중 분광 데이터의 해상도만큼 향상시켜 고해상도 다중 분광 데이터를 생성하게 된다.Through this, the second correction step (S300) uses the high-resolution model through learning/training in the model creation step (S500) to improve the spatial resolution of the atmospherically corrected multi-spectral data into high-resolution processed Pan-sharpened multi-spectral data. By improving the resolution of the spectral data, high-resolution multi-spectral data is generated.

상기 제2 보정 단계(S300)에 의한 딥러닝 기반으로 공간 해상도가 향상된 고해상도 다중 분광 데이터는 고해상도의 흑백 영상 데이터(panchromatic)와 저해상도의 다중 분광 데이터와의 결합이 아닌, 저해상도의 다중 분광 데이터 자체의 공간 해상도가 향상되었기 때문에, 원본의 다중 분광 데이터에 포함되어 있는 각 픽셀 별 물리 정보를 그대로 포함하게 된다.High-resolution multi-spectral data with improved spatial resolution based on deep learning in the second correction step (S300) is not a combination of high-resolution black-and-white image data (panchromatic) and low-resolution multi-spectral data, but rather the low-resolution multi-spectral data itself. Because the spatial resolution has been improved, the physical information for each pixel included in the original multispectral data is included.

이에 따라, 상기 분석 단계(S400)는 상기 데이터 분석부(300)에서, 상기 제2 보정 단계(S300)에 의한 공간 해상도가 향상된 다중 분광 데이터(고해상도의 다중 분광 데이터)를 분석하여, 식생 지수를 추출하게 된다.Accordingly, in the analysis step (S400), the data analysis unit 300 analyzes multi-spectral data (high-resolution multi-spectral data) with improved spatial resolution by the second correction step (S300) to determine the vegetation index. It is extracted.

특히, 상기 분석 단계(S400)는 공간 해상도가 향상된 다중 분광 데이터의 각 픽셀 별 포함되어 있는 물리 정보와 고해상도의 분광 반사도를 분석하여, 보다 좁은 영역의 식생 지수를 추출하게 된다. 물론, 이를 가시화 처리하여 외부 사용자(관리자 등)에게 제공하게 된다.In particular, the analysis step (S400) analyzes the physical information and high-resolution spectral reflectance included in each pixel of multi-spectral data with improved spatial resolution to extract a vegetation index of a narrower area. Of course, this is visualized and provided to external users (administrators, etc.).

이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described with reference to specific details such as specific components and drawings of limited embodiments, but this is only provided to facilitate a more general understanding of the present invention, and the present invention is not limited to the above-mentioned embodiment. No, those skilled in the art can make various modifications and variations from this description.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be limited to the described embodiments, and all matters that are equivalent or equivalent to the claims of this patent as well as the claims described below shall fall within the scope of the spirit of the present invention. .

100 : 데이터 입력부
200 : 데이터 처리부
210 : 제1 보정부 220 : 제2 보정부
300 : 데이터 분석부
400 : 딥러닝 생성부
410 : 데이터 수집부 420 : LR 모델 생성부
430 : 저해상도 수집부 440 : SR 모델 생성부
421 : 전처리부 422 : 생성부
423 : 판별부100: data input unit
200: data processing unit
210: first correction unit 220: second correction unit
300: Data analysis department
400: Deep learning generation unit
410: Data collection unit 420: LR model creation unit
430: Low-resolution collection unit 440: SR model generation unit
421: Preprocessing unit 422: Generation unit
423: Determination unit

Claims (10)

가시광선 대역과 근적외선 대역을 포함하는 다중 분광 데이터를 입력받는 데이터 입력부;
딥러닝 기반으로, 상기 데이터 입력부에 의한 상기 다중 분광 데이터를 보정하여, 공간 해상도를 향상시키는 데이터 처리부; 및
상기 데이터 처리부에 의해 공간 해상도가 향상된 다중 분광 데이터를 분석하여, 식생 지수(NVDI, Normalized Difference Vegetation Index)를 추출하는 데이터 분석부;
를 포함하는, 식생 지수 검출 성능 향상 시스템.
A data input unit that receives multi-spectral data including visible light bands and near-infrared bands;
A data processing unit that improves spatial resolution by correcting the multi-spectral data generated by the data input unit based on deep learning; and
a data analysis unit that analyzes multi-spectral data with improved spatial resolution by the data processing unit and extracts a Normalized Difference Vegetation Index (NVDI);
Vegetation index detection performance improvement system including.
 제 1항에 있어서,
상기 데이터 처리부는
기저장된 대기 보정 알고리즘을 이용하여, 상기 다중 분광 데이터에 포함되어 있는 대기에 의한 영향을 제거하는 제1 보정부; 및
기저장된 딥러닝 모델을 이용하여, 상기 제1 보정부에 의해 대기 보정된 다중 분광 데이터를 전달받아, 공간 해상도(GSD, Ground Sampling Distance)를 향상시키는 제2 보정부;
를 포함하는, 식생 지수 검출 성능 향상 시스템.
According to clause 1,
The data processing unit
a first correction unit that removes the influence of the atmosphere included in the multi-spectral data using a pre-stored atmospheric correction algorithm; and
A second correction unit that receives multi-spectral data atmospherically corrected by the first correction unit using a pre-stored deep learning model to improve spatial resolution (GSD, Ground Sampling Distance);
Vegetation index detection performance improvement system including.
 제 2항에 있어서,
상기 식생 지수 검츨 성능 향상 시스템은
기저장된 딥러닝 알고리즘을 이용하여, 입력되는 데이터의 공간 해상도를 향상시키기 위한 모델을 생성 및 관리하는 딥러닝 생성부;
를 더 포함하며,
상기 제2 보정부는
상기 딥러닝 생성부에 의해 생성된 모델을 이용하는, 식생 지수 검출 성능 향상 시스템.
According to clause 2,
The vegetation index detection performance improvement system is
A deep learning generation unit that generates and manages a model to improve the spatial resolution of input data using a pre-stored deep learning algorithm;
It further includes,
The second correction unit
A vegetation index detection performance improvement system using the model generated by the deep learning generator.
 제 3항에 있어서,
상기 딥러닝 생성부는
외부로부터, 데이터의 공간 해상도 향상을 위한 훈련에 적용하고자 하는 다중 분광 데이터를 수집하는 데이터 수집부;
상기 데이터 수집부에 의한 다중 분광 데이터의 전처리를 수행하고, 기저장된 딥러닝 알고리즘을 이용하여, 전처리된 다중 분광 데이터의 학습을 수행하여, 저해상도 다중 분광 데이터를 출력하는 저해상화 모델을 생성하는 LR 모델 생성부;
상기 저해상화 모델로 상기 데이터 수집부에 의한 다중 분광 데이터를 입력하여, 해당하는 다중 분광 데이터에 대한 저해상도 다중 분광 데이터를 출력받아 수집하는 저해상도 수집부; 및
기저장된 딥러닝 알고리즘을 이용하여, 상기 저해상도 수집부에 의한 저해상도 다중 분광 데이터와 상기 데이터 수집부에 의한 다중 분광 데이터를 입력받아, 이들에 대한 학습을 수행하여, 고해상도 다중 분광 데이터를 출력하는 고해상화 모델을 생성하는 SR 모델 생성부;
를 포함하는, 식생 지수 검출 성능 향상 시스템.
According to clause 3,
The deep learning generator
A data collection unit that collects multi-spectral data from the outside to be applied to training to improve the spatial resolution of the data;
An LR model that preprocesses multi-spectral data by the data collection unit and learns the pre-processed multi-spectral data using a pre-stored deep learning algorithm to generate a low-resolution model that outputs low-resolution multi-spectral data. generation unit;
a low-resolution collection unit that inputs multi-spectral data from the data collection unit into the low-resolution model, and outputs and collects low-resolution multi-spectral data for the corresponding multi-spectral data; and
Using a pre-stored deep learning algorithm, high resolution data is received by receiving low-resolution multi-spectral data from the low-resolution collection unit and multi-spectral data from the data collection unit, performing learning on them, and outputting high-resolution multi-spectral data. SR model generation unit that generates a model;
Vegetation index detection performance improvement system including.
 제 4항에 있어서,
상기 LR 모델 생성부는
상기 데이터 수집부에 의한 다중 분광 데이터를 이용하여, 원본인 저해상도 다중 분광 데이터와 고해상도 처리된 다중 분광 데이터들로 쌍을 이루어 학습 데이터를 생성하는 전처리부;
컨볼루션 신경망으로 구현되며, 상기 학습 데이터에 대한 학습 처리를 수행하여 가상의 저해상도 다중 분광 데이터를 생성하는 생성부; 및
컨볼루션 신경망으로 구현되며, 가상의 저해상도 다중 분광 데이터와 원본인 저해상도 다중 분광 데이터를 입력받아, 상기 생성부에 의한 데이터인지 상기 전처리부에 의한 데이터인지 구별하는 판별부;
를 포함하되,
상기 생성부와 판별부는
각각의 동작에 대해 적대적으로 자발적인 학습이 이루어지는, 식생 지수 검출 성능 향상 시스템.
According to clause 4,
The LR model generator is
A preprocessor that generates learning data by pairing original low-resolution multi-spectral data with high-resolution processed multi-spectral data using the multi-spectral data generated by the data collection unit;
A generator implemented as a convolutional neural network and performing learning processing on the learning data to generate virtual low-resolution multi-spectral data; and
A determination unit implemented with a convolutional neural network, which receives virtual low-resolution multi-spectral data and original low-resolution multi-spectral data, and distinguishes whether the data is generated by the generator or the preprocessor;
Including,
The generation unit and the determination unit
A vegetation index detection performance improvement system in which adversarial and spontaneous learning is performed for each action.
 제 3항에 있어서,
상기 데이터 처리부는
상기 딥러닝 생성부에 의한 고해상화 모델을 이용하여, 입력되는 다중 분광 데이터의 공간 해상도를 향상시켜 고해상도 다중 분광 데이터를 생성하고,
상기 데이터 분석부는
고해상도 다중 분광 데이터를 전달받아, 각 픽셀 별 포함되어 있는 물리 정보와, 포함되어 있는 대역의 분광 반사도를 분석하여, 식생 지수를 추출하고, 추출한 식생 지수를 가시화 처리하는, 식생 지수 검출 성능 향상 시스템.
According to clause 3,
The data processing unit
Using the high-resolution model generated by the deep learning generator, the spatial resolution of the input multi-spectral data is improved to generate high-resolution multi-spectral data,
The data analysis department
A vegetation index detection performance improvement system that receives high-resolution multi-spectral data, analyzes the physical information contained in each pixel and the spectral reflectance of the included band, extracts the vegetation index, and visualizes the extracted vegetation index.
 컴퓨터로 구현되는 식생 지수 검출 성능 향상 시스템에 의해 각 단계가 수행되는 식생 지수 검출 성능 향상 방법에 있어서,
데이터 입력부에서, 가시광선 대역과 근적외선 대역을 포함하는 다중 분광 데이터를 입력받는 입력 단계(S100);
데이터 처리부에서, 상기 입력 단계(S100)에 의한 다중 분광 데이터에 포함되어 있는 대기에 의한 영향을 제거하는 제1 보정 단계(S200);
데이터 처리부에서, 상기 제1 보정 단계(S200)에 의해 대기 보정된 다중 분광 데이터의 공간 해상도(GSD, Ground Sampling Distance)를 향상시키는 제2 보정 단계(S300); 및
데이터 분석부에서, 상기 제2 보정 단계(S300)에 의해 공간 해상도가 향상된 다중 분광 데이터를 분석하여, 각 픽셀 별 포함되어 있는 물리 정보와, 포함되어 있는 대역의 분광 반사도를 분석하여, 식생 지수(NVDI, Normalized Difference Vegetation Index)를 추출하는 분석 단계(S400);
를 포함하는, 식생 지수 검출 성능 향상 방법.
In the vegetation index detection performance improvement method in which each step is performed by a computer-implemented vegetation index detection performance improvement system,
An input step (S100) of receiving multi-spectral data including a visible light band and a near-infrared band from a data input unit;
In the data processing unit, a first correction step (S200) of removing the influence of the atmosphere included in the multi-spectral data obtained by the input step (S100);
In the data processing unit, a second correction step (S300) of improving the spatial resolution (GSD, Ground Sampling Distance) of the multi-spectral data atmospherically corrected by the first correction step (S200); and
In the data analysis unit, the multi-spectral data with improved spatial resolution through the second correction step (S300) is analyzed, the physical information included in each pixel, and the spectral reflectance of the included band are analyzed, and the vegetation index ( Analysis step (S400) to extract NVDI (Normalized Difference Vegetation Index);
Method for improving vegetation index detection performance, including.
 제 7항에 있어서,
상기 제2 보정 단계(S300)는
딥러닝 기반으로 생성된 모델을 이용하여, 상기 제1 보정 단계(S200)에 의해 대기 보정된 다중 분광 데이터의 공간 해상도를 향상시키는, 식생 지수 검출 성능 향상 방법.
According to clause 7,
The second correction step (S300) is
A method for improving vegetation index detection performance, using a model generated based on deep learning to improve the spatial resolution of multi-spectral data atmospherically corrected by the first correction step (S200).
 제 8항에 있어서,
상기 식생 지수 검출 성능 향상 방법은
상기 제2 보정 단계(S300)를 수행하기 전,
딥러닝 생성부에서, 기저장된 딥러닝 알고리즘을 이용하여, 입력되는 데이터의 공간 해상도를 향상시키기 위한 모델을 생성 및 관리하는 모델 생성 단계(S500);
를 더 포함하며,
상기 제2 보정 단계(S300)는
상기 모델 생성 단계(S500)에 의해 생성된 고해상화 모델을 이용하는, 식생 지수 검출 성능 향상 방법.
According to clause 8,
The method for improving the vegetation index detection performance is
Before performing the second correction step (S300),
A model creation step (S500) in which a deep learning generation unit generates and manages a model to improve the spatial resolution of input data using a pre-stored deep learning algorithm;
It further includes,
The second correction step (S300) is
A method for improving vegetation index detection performance using the high-resolution model generated in the model generation step (S500).
 제 9항에 있어서,
상기 모델 생성 단계(S500)는
외부로부터, 데이터의 공간 해상도 향상을 위한 훈련에 적용하고자 하는 다중 분광 데이터를 수집하는 데이터 수집 단계(S510);
상기 데이터 수집 단계(S510에 의한 다중 분광 데이터를 이용하여, 원본인 저해상도 다중 분광 데이터와 고해상도 처리된 다중 분광 데이터들로 쌍을 이루어 학습 데이터를 생성하는 학습 데이터 생성 단계(S520);
기저장된 딥러닝 알고리즘을 이용하여, 상기 학습 데이터 생성 단계(S520)에 의한 학습 데이터의 학습 처리를 수행하여, 가상의 저해상도 다중 분광 데이터를 생성하는 가상 생성 단계(S530);
기저장된 딥러닝 알고리즘을 이용하여, 상기 가상 생성 단계(S530)에 의한 저해상도 다중 분광 데이터와 상기 데이터 수집 단계(S510)에 의한 원본인 저해상도 다중 분광 데이터를 입력받아, 상기 가상 생성 단계(S530)에 의한 데이터인지 상기 데이터 수집 단계(S510)에 의한 데이터인지 구별하는 판별 단계(S540);
상기 판별 단계(S540)에 의해 완벽하게 구별한다고 가정할 때, 구별 정확도가 최소화하도록 상기 가상 영상 데이터의 생성 동작을 학습하고, 이에 적대적으로 구별 정확도를 높이도록 구별 동작을 학습하는 반복 학습 단계(S550);
상기 반복 학습 단계(S550)의 수행 결과에 따라, 저해상도 다중 분광 데이터를 출력하는 저해상화 모델을 생성하는 LR 모델 생성 단계(S560);
상기 LR 모델 생성 단계(S560)에 의한 저해상화 모델로 상기 데이터 수집 단계(S510)에 의한 다중 분광 데이터를 입력하여, 해당하는 다중 분광 데이터에 대한 저해상도 다중 분광 데이터를 출력받아 수집하는 저해상도 수집 단계(S570); 및
기저장된 딥러닝 알고리즘을 이용하여, 상기 저해상도 수집 단계(S570)에 의한 저해상도 다중 분광 데이터와 상기 데이터 수집 단계(S510)에 의한 다중 분광 데이터를 입력받아, 학습 처리를 수행하여, 고해상도 다중 분광 데이터를 출력하는 고해상화 모델을 생성하는 SR 모델 생성 단계(S580);
를 더 포함하는, 식생 지수 검출 성능 향상 방법.According to clause 9,
The model creation step (S500) is
A data collection step (S510) of collecting multi-spectral data from the outside to be applied to training to improve the spatial resolution of the data;
The data collection step (a learning data generation step (S520) of generating learning data by pairing the original low-resolution multi-spectral data with the high-resolution processed multi-spectral data using the multi-spectral data from S510;
A virtual generation step (S530) of generating virtual low-resolution multi-spectral data by performing learning processing of the learning data in the learning data generation step (S520) using a pre-stored deep learning algorithm;
Using a pre-stored deep learning algorithm, the low-resolution multi-spectral data from the virtual creation step (S530) and the original low-resolution multi-spectral data from the data collection step (S510) are input, and the low-resolution multi-spectral data from the virtual creation step (S530) is input. A determination step (S540) to distinguish whether it is data obtained from the data collection step (S510) or data from the data collection step (S510);
Assuming perfect discrimination by the discrimination step (S540), an iterative learning step (S550) of learning the generation operation of the virtual image data to minimize the discrimination accuracy and learning the discrimination operation to increase the discrimination accuracy in opposition to this. );
An LR model generation step (S560) of generating a low-resolution model that outputs low-resolution multi-spectral data according to the result of the iterative learning step (S550);
A low-resolution collection step ( S570); and
Using a pre-stored deep learning algorithm, receive the low-resolution multi-spectral data from the low-resolution collection step (S570) and the multi-spectral data from the data collection step (S510), perform learning processing, and produce high-resolution multi-spectral data. SR model generation step (S580) for generating a high-resolution model to be output;
A method for improving vegetation index detection performance, further comprising:
KR1020220046810A 2022-04-15 2022-04-15 System and method for improving detection of vegetation index KR20230147893A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220046810A KR20230147893A (en) 2022-04-15 2022-04-15 System and method for improving detection of vegetation index

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220046810A KR20230147893A (en) 2022-04-15 2022-04-15 System and method for improving detection of vegetation index

Publications (1)

Publication Number Publication Date
KR20230147893A true KR20230147893A (en) 2023-10-24

Family

ID=88515227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220046810A KR20230147893A (en) 2022-04-15 2022-04-15 System and method for improving detection of vegetation index

Country Status (1)

Country Link
KR (1) KR20230147893A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630133B1 (en) * 2023-11-07 2024-01-30 주식회사 포도 Method for measuring phenotype of plants using the images

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101089220B1 (en) 2010-02-18 2011-12-02 공주대학교 산학협력단 Normalized difference vegetation index correction method using spatio-temporal continuity

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101089220B1 (en) 2010-02-18 2011-12-02 공주대학교 산학협력단 Normalized difference vegetation index correction method using spatio-temporal continuity

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630133B1 (en) * 2023-11-07 2024-01-30 주식회사 포도 Method for measuring phenotype of plants using the images

Similar Documents

Publication Publication Date Title
US11094040B2 (en) Noise detection method for time-series vegetation index derived from remote sensing images
Tang et al. Near real-time monitoring of tropical forest disturbance: New algorithms and assessment framework
Braaten et al. Automated cloud and cloud shadow identification in Landsat MSS imagery for temperate ecosystems
Man et al. Pixel-and feature-level fusion of hyperspectral and lidar data for urban land-use classification
Ulfarsson et al. Sentinel-2 sharpening using a reduced-rank method
JP6885509B2 (en) Image processing device, image processing method and image processing program
US20210247297A1 (en) Systems and Methods for Converting Satellite Images to Surface Reflectance Using Scene Statistics
Diago et al. On‐the‐go assessment of vineyard canopy porosity, bunch and leaf exposure by image analysis
Zhang et al. Extraction of tree crowns damaged by Dendrolimus tabulaeformis Tsai et Liu via spectral-spatial classification using UAV-based hyperspectral images
CN113312993B (en) Remote sensing data land cover classification method based on PSPNet
CN110991430B (en) Ground feature identification and coverage rate calculation method and system based on remote sensing image
WO2022213218A1 (en) System and method for vegetation detection from aerial photogrammetric multispectral data
KR20230147893A (en) System and method for improving detection of vegetation index
Teodoro et al. Identification of beach hydromorphological patterns/forms through image classification techniques applied to remotely sensed data
Al Najar et al. A combined color and wave-based approach to satellite derived bathymetry using deep learning
CN116883303A (en) Infrared and visible light image fusion method based on characteristic difference compensation and fusion
Kwiatkowska et al. Merger of ocean color data from multiple satellite missions within the SIMBIOS project
Siok et al. A simulation approach to the spectral quality of multispectral images enhancement
Ouerghemmi et al. Urban vegetation mapping using hyperspectral imagery and spectral library
JP6798337B2 (en) Plant discrimination device, plant discrimination method and computer program for plant discrimination
Yin et al. A self-supervised learning method for shadow detection in remote sensing imagery
Réjichi et al. SVM spatio-temporal vegetation classification using HR satellite images
Agersborg et al. Guided nonlocal means estimation of polarimetric covariance for canopy state classification
US10872397B2 (en) Optical path radiance correction device
Brovkina et al. Estimating average tree crown size using high-resolution airborne data

Legal Events

Date Code Title Description
E902 Notification of reason for refusal