KR102224704B1 - Apparatus for training artificial neural network detecting targets in hyperspectral image and method thereof, apparatus for processing hyperspectral image using artificial neural network - Google Patents

Apparatus for training artificial neural network detecting targets in hyperspectral image and method thereof, apparatus for processing hyperspectral image using artificial neural network Download PDF

Info

Publication number
KR102224704B1
KR102224704B1 KR1020200099463A KR20200099463A KR102224704B1 KR 102224704 B1 KR102224704 B1 KR 102224704B1 KR 1020200099463 A KR1020200099463 A KR 1020200099463A KR 20200099463 A KR20200099463 A KR 20200099463A KR 102224704 B1 KR102224704 B1 KR 102224704B1
Authority
KR
South Korea
Prior art keywords
reflectance
neural network
artificial neural
target
reflectance spectrum
Prior art date
Application number
KR1020200099463A
Other languages
Korean (ko)
Inventor
김준형
김지은
정지혜
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020200099463A priority Critical patent/KR102224704B1/en
Application granted granted Critical
Publication of KR102224704B1 publication Critical patent/KR102224704B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

An apparatus for training an artificial neural network detecting a target in a hyperspectral image comprises: a synthetic reflectance generation unit which generates a synthetic reflectance spectrum by linearly combining eigenvectors of a reflectance spectrum stored in a reflectance spectral library; a reflectance spectral library for training which collects a target reflectance spectrum and the synthesized reflectance spectrum stored in a target reflectance spectral library to generate training data including the synthesized reflectance spectrum corresponding to the target reflectance spectrum; and a first forward modeling unit for training the artificial neural network by calculating radiant luminance from the training data and converting the radiant luminance into first and second apparent reflectances. Accordingly, the artificial neural network trained using the generated synthetic data can detect a target in a hyperspectral image.

Description

초분광 영상에서 표적을 탐지하는 인공 신경망의 학습 장치 및 그 방법, 인공 신경망을 이용한 초분광 영상 처리 장치{APPARATUS FOR TRAINING ARTIFICIAL NEURAL NETWORK DETECTING TARGETS IN HYPERSPECTRAL IMAGE AND METHOD THEREOF, APPARATUS FOR PROCESSING HYPERSPECTRAL IMAGE USING ARTIFICIAL NEURAL NETWORK}A learning device and method for artificial neural networks that detect targets in hyperspectral images, and hyperspectral image processing devices using artificial neural networks. NETWORK}

본 발명은 초분광 영상에서 표적을 탐지하는 인공 신경망의 학습 장치 및 그 방법, 인공 신경망을 이용한 초분광 영상 처리 장치에 관한 것이다.The present invention relates to an artificial neural network learning apparatus and method for detecting a target in a hyperspectral image, and a hyperspectral image processing apparatus using the artificial neural network.

초분광 영상(hyperspectral image)에는 각 화소마다 특정 파장대역의 분광(spectrum) 정보(일반적으로 반사율(reflectance) 스펙트럼)가 저장되어 있다. 관심 있는 물체의 분광 정보가 주어졌을 때, 이를 초분광 영상에서 각 화소의 분광 정보와 비교하여 관심 물체가 현재 화소에 맺혔는지를 판단하는 것이 초분광 영상에서의 탐지이다. 일반적인 영상에서는 물체의 형상을 이용하여 관심 물체를 탐지하는 반면, 이와 달리 분광 정보만을 이용하여 관심 물체를 찾는 것이 초분광 영상을 이용한 표적 탐지의 특징이다.In a hyperspectral image, spectrum information (generally a reflectance spectrum) of a specific wavelength band is stored for each pixel. When the spectral information of the object of interest is given, it is compared with the spectral information of each pixel in the hyperspectral image to determine whether the object of interest is formed in the current pixel. In general images, an object of interest is detected using the shape of an object, whereas, unlike this, finding an object of interest using only spectral information is a feature of target detection using hyperspectral images.

최근, 다양한 분야에서 인공 신경망(artificial neural network)이 달성한 성과는 초분광 영상을 이용한 표적 탐지 분야에도 이를 활용하고자 하는 동기가 되고 있다. 인공 신경망을 학습시키기 위해서는 많은 양의 초분광 영상이 필요하다. 표적 탐지를 목적으로 하는 초분광 영상은 일반 영상들과 달리 항공기 또는 인공위성에 탑재된 초분광 센서로부터 획득된다. 따라서 인공 신경망의 학습을 위해 다양한 초분광 영상을 획득하는데 투입되는 비용, 시간, 사람의 노력 등은 인공 신경망 활용에 큰 장애물이 되고 있다.Recently, the achievements of artificial neural networks in various fields are motivating to utilize them in the field of target detection using hyperspectral images. To train an artificial neural network, a large amount of hyperspectral images are required. Unlike general images, hyperspectral images for target detection are acquired from hyperspectral sensors mounted on aircraft or satellites. Therefore, the cost, time, and human effort invested in acquiring various hyperspectral images for learning artificial neural networks are becoming a major obstacle to the use of artificial neural networks.

최근, 실제 획득한 데이터 대신에 합성 데이터를 이용하여 인공 신경망을 학습시키는 방안이 활발히 연구되고 있으며, 다양한 분야에서 이러한 시도가 이루어지고 있고 긍정적인 결과를 얻는 경우도 있다. Recently, a method of learning an artificial neural network using synthetic data instead of actually acquired data has been actively researched, and such attempts have been made in various fields, and there are cases where positive results are obtained.

본 발명이 해결하고자 하는 기술적 과제는 초분광 영상을 이용한 탐지 분야에서 합성 초분광 영상을 생성하고 합성된 초분광 영상을 이용하여 인공 신경망을 학습시키는 장치 및 방법, 인공 신경망을 이용한 초분광 영상 처리 장치를 제공함에 있다. The technical problem to be solved by the present invention is an apparatus and method for generating a synthetic hyperspectral image in the field of detection using a hyperspectral image and learning an artificial neural network using the synthesized hyperspectral image, and a hyperspectral image processing apparatus using an artificial neural network In providing.

본 발명의 일 실시예에 따른 초분광 영상에서 표적을 탐지하는 인공 신경망의 학습 장치는, 반사율 분광 라이브러리에 저장되어 있는 반사율 스펙트럼의 고유 벡터들을 선형 조합하여 합성 반사율 스펙트럼을 생성하는 합성 반사율 생성부, 표적 반사율 분광 라이브러리에 저장되어 있는 표적 반사율 스펙트럼과 상기 합성 반사율 스펙트럼을 모아서 상기 표적 반사율 스펙트럼에 대응하는 합성 반사율 스펙트럼을 포함하는 학습 데이터를 생성하는 학습용 반사율 분광 라이브러리, 및 상기 학습 데이터로부터 복사 휘도를 산출하고, 상기 복사 휘도를 제1 겉보기 반사율 및 제2 겉보기 반사율로 변환하여 상기 인공 신경망을 학습시키는 제1 순방향 모델링부를 포함한다. The apparatus for learning an artificial neural network for detecting a target in a hyperspectral image according to an embodiment of the present invention includes a synthetic reflectance generator configured to generate a synthesized reflectance spectrum by linearly combining eigenvectors of a reflectance spectrum stored in a reflectance spectral library, A reflectance spectral library for learning to generate learning data including a composite reflectance spectrum corresponding to the target reflectance spectrum by collecting the target reflectance spectrum and the synthesized reflectance spectrum stored in the target reflectance spectral library, and radiating luminance from the learning data And a first forward modeling unit for learning the artificial neural network by converting the radiant luminance into a first apparent reflectance and a second apparent reflectance.

상기 합성 반사율 생성부는 상기 반사율 분광 라이브러리에 대한 주성분 분석을 수행하여 다수의 상위 고유값을 찾고, 상기 상위 고유값을 갖는 고유 벡터들을 선형 조합하여 상기 합성 반사율 스펙트럼을 생성할 수 있다.The synthesized reflectance generator may perform principal component analysis on the reflectance spectral library to find a plurality of upper eigenvalues, and generate the synthesized reflectance spectrum by linearly combining eigenvectors having the higher eigenvalues.

상기 합성 반사율 생성부는 상기 합성 반사율 스펙트럼을 이미 생성된 합성 반사율 스펙트럼의 집합의 각 원소들과 다름 정도를 비교하여 상기 합성 반사율 스펙트럼의 집합을 갱신할 수 있다. The synthesized reflectance generator may update the set of the synthesized reflectance spectrum by comparing the degree of difference between the synthesized reflectance spectrum with each element in the set of the synthesized reflectance spectrum that has already been generated.

상기 제1 순방향 모델링부는 하나의 표적 물체에 대한 합성 반사율 스펙트럼에 대해 복수의 복사 휘도를 산출할 수 있다. The first forward modeling unit may calculate a plurality of radiances for a composite reflectance spectrum of one target object.

상기 인공 신경망은, 상기 제1 겉보기 반사율에 대한 제1 특징 벡터를 출력하는 제1 인공 신경망, 및 상기 제2 겉보기 반사율에 대한 제2 특징 벡터를 출력하는 제2 인공 신경망을 포함하고, 상기 제1 특징 벡터 및 상기 제2 특징 벡터가 손실 함수를 최소화하도록 학습할 수 있다.The artificial neural network includes a first artificial neural network that outputs a first feature vector for the first apparent reflectance, and a second artificial neural network that outputs a second feature vector for the second apparent reflectance, and the first A feature vector and the second feature vector may be learned to minimize a loss function.

본 발명의 다른 실시예에 따른 초분광 영상에서 표적을 탐지하는 인공 신경망을 이용한 초분광 영상 처리 장치는, 반사율 분광 라이브러리에 저장되어 있는 반사율 스펙트럼을 이용하여 생성된 합성 반사율 스펙트럼을 포함하는 학습 데이터로부터 복사 휘도를 산출하고, 상기 복사 휘도를 제1 겉보기 반사율 및 제2 겉보기 반사율로 변환하여 상기 인공 신경망을 학습시키는 제1 순방향 모델링부, 초분광 영상의 복수의 화소 각각의 복사 휘도를 제3 겉보기 반사율로 변환하는 반사율 변환부, 표적의 반사율 스펙트럼을 제4 겉보기 반사율로 변환하는 제2 순방향 모델링부, 상기 인공 신경망으로부터 상기 제3 겉보기 반사율에 대한 제1 특징 벡터 및 상기 제4 겉보기 반사율에 대한 제2 특징 벡터를 전달받고, 상기 제1 특징 벡터와 상기 제2 특징 벡터를 내적하여 탐지 값을 산출하고, 상기 탐지 값이 임계치 이상일 경우 해당 화소를 표적으로 처리하는 탐지 처리부를 포함한다. A hyperspectral image processing apparatus using an artificial neural network that detects a target in a hyperspectral image according to another embodiment of the present invention is from learning data including a synthetic reflectance spectrum generated using a reflectance spectrum stored in a reflectance spectral library. A first forward modeling unit that trains the artificial neural network by calculating a radiant luminance and converting the radiant luminance into a first apparent reflectance and a second apparent reflectance, and a third apparent reflectance A reflectance converter for converting to, a second forward modeling unit for converting a reflectance spectrum of a target into a fourth apparent reflectance, a first feature vector for the third apparent reflectance from the artificial neural network, and a second for the fourth apparent reflectance And a detection processing unit configured to receive a feature vector, calculate a detection value by dot product of the first feature vector and the second feature vector, and process a corresponding pixel as a target when the detection value is greater than or equal to a threshold value.

상기 초분광 영상 처리 장치는 상기 반사율 분광 라이브러리에 저장되어 있는 반사율 스펙트럼의 고유 벡터들을 선형 조합하여 상기 합성 반사율 스펙트럼을 생성하는 합성 반사율 생성부를 더 포함할 수 있다. The hyperspectral image processing apparatus may further include a synthesized reflectance generator configured to generate the synthesized reflectance spectrum by linearly combining eigenvectors of reflectance spectra stored in the reflectance spectral library.

상기 초분광 영상 처리 장치는 표적 반사율 분광 라이브러리에 저장되어 있는 표적 반사율 스펙트럼과 상기 합성 반사율 스펙트럼을 모아서 상기 학습 데이터를 생성하는 학습용 반사율 분광 라이브러리를 더 포함할 수 있다.The hyperspectral image processing apparatus may further include a reflectance spectral library for learning to generate the learning data by collecting the target reflectance spectrum and the synthesized reflectance spectrum stored in the target reflectance spectral library.

상기 합성 반사율 생성부는 상기 반사율 분광 라이브러리에 대한 주성분 분석을 수행하여 다수의 상위 고유값을 찾고, 상기 상위 고유값을 갖는 고유 벡터들을 선형 조합하여 상기 합성 반사율 스펙트럼을 생성할 수 있다. The synthesized reflectance generator may perform principal component analysis on the reflectance spectral library to find a plurality of upper eigenvalues, and generate the synthesized reflectance spectrum by linearly combining eigenvectors having the higher eigenvalues.

상기 합성 반사율 생성부는 상기 합성 반사율 스펙트럼을 이미 생성된 합성 반사율 스펙트럼의 집합의 각 원소들과 다름 정도를 비교하여 상기 합성 반사율 스펙트럼의 집합을 갱신할 수 있다. The synthesized reflectance generator may update the set of the synthesized reflectance spectrum by comparing the degree of difference between the synthesized reflectance spectrum with each element in the set of the synthesized reflectance spectrum that has already been generated.

상기 제1 순방향 모델링부는 하나의 표적 물체에 대한 합성 반사율 스펙트럼에 대해 복수의 복사 휘도를 산출할 수 있다.The first forward modeling unit may calculate a plurality of radiances for a composite reflectance spectrum of one target object.

본 발명의 또 다른 실시예에 따른 초분광 영상에서 표적을 탐지하는 인공 신경망의 학습 방법은, 반사율 분광 라이브러리에 저장되어 있는 반사율 스펙트럼의 고유 벡터들을 선형 조합하여 합성 반사율 스펙트럼을 생성하는 단계, 표적 반사율 분광 라이브러리에 저장되어 있는 표적 반사율 스펙트럼과 상기 합성 반사율 스펙트럼을 모아서 상기 표적 반사율 스펙트럼에 대응하는 합성 반사율 스펙트럼을 포함하는 학습 데이터를 생성하는 단계, 상기 학습 데이터로부터 복사 휘도를 산출하고, 상기 복사 휘도를 제1 겉보기 반사율 및 제2 겉보기 반사율로 변환하는 단계, 및 상기 인공 신경망이 상기 제1 겉보기 반사율에 대한 제1 특징 벡터 및 상기 제2 겉보기 반사율에 대한 제2 특징 벡터가 손실 함수를 최소화하도록 학습하는 단계를 포함한다. A learning method of an artificial neural network for detecting a target in a hyperspectral image according to another embodiment of the present invention comprises the steps of generating a synthetic reflectance spectrum by linearly combining the eigenvectors of the reflectance spectrum stored in a reflectance spectral library. Generating learning data including a composite reflectance spectrum corresponding to the target reflectance spectrum by collecting the target reflectance spectrum and the synthesized reflectance spectrum stored in the spectral library, calculating radiation luminance from the learning data, and calculating the radiation luminance. Converting to a first apparent reflectance and a second apparent reflectance, and the artificial neural network learning to minimize a loss function by a first feature vector for the first apparent reflectance and a second feature vector for the second apparent reflectance. Includes steps.

본 발명의 실시예에 따르면, 초분광 영상에서 표적을 탐지하는 인공 신경망의 학습을 위한 데이터를 수집하는데 큰 비용, 시간, 노력을 투입하지 않고도 자동으로 학습 데이터를 생성할 수 있고, 생성된 합성 데이터를 이용하여 학습된 인공 신경망은 초분광 영상에서 표적을 탐지할 수 있다. According to an embodiment of the present invention, learning data can be automatically generated without investing large cost, time, and effort to collect data for learning of an artificial neural network that detects a target in a hyperspectral image, and the generated synthetic data The artificial neural network learned by using can detect targets in hyperspectral images.

도 1은 본 발명의 일 실시예에 따른 초분광 영상에서 표적을 탐지하는 인공 신경망의 학습 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 인공 신경망을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 초분광 영상에서 표적을 탐지하는 인공 신경망을 이용한 탐지 장치를 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 초분광 영상 처리 장치를 나타내는 블록도이다. 1 is a block diagram illustrating an apparatus for learning an artificial neural network that detects a target in a hyperspectral image according to an embodiment of the present invention.
2 is a block diagram illustrating an artificial neural network according to an embodiment of the present invention.
3 is a block diagram illustrating a detection apparatus using an artificial neural network for detecting a target in a hyperspectral image according to an embodiment of the present invention.
4 is a block diagram illustrating a hyperspectral image processing apparatus according to an embodiment of the present invention.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. The present invention may be implemented in various different forms and is not limited to the embodiments described herein.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly describe the present invention, parts irrelevant to the description have been omitted, and the same reference numerals are attached to the same or similar components throughout the specification.

또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, throughout the specification, when a certain part "includes" a certain component, it means that other components may be further included rather than excluding other components unless otherwise stated.

이하, 도 1 및 2를 참조하여 본 발명의 일 실시예에 따른 초분광 영상에서 표적을 탐지하는 인공 신경망의 학습 장치에 대하여 설명한다.Hereinafter, an apparatus for learning an artificial neural network for detecting a target in a hyperspectral image according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2.

도 1은 본 발명의 일 실시예에 따른 초분광 영상에서 표적을 탐지하는 인공 신경망의 학습 장치를 나타내는 블록도이다. 도 2는 본 발명의 일 실시예에 따른 인공 신경망을 나타내는 블록도이다.1 is a block diagram illustrating an apparatus for learning an artificial neural network that detects a target in a hyperspectral image according to an embodiment of the present invention. 2 is a block diagram illustrating an artificial neural network according to an embodiment of the present invention.

도 1 및 2를 참조하면, 초분광 영상에서 표적을 탐지하는 인공 신경망을 학습시키는 학습 장치(100)는 합성 반사율 생성부(110), 학습용 반사율 분광 라이브러리(120) 및 제1 순방향 모델링부(130)를 포함한다. 1 and 2, the learning apparatus 100 for learning an artificial neural network for detecting a target in a hyperspectral image includes a synthetic reflectance generator 110, a reflectance spectral library 120 for learning, and a first forward modeling unit 130. ).

합성 반사율 생성부(110)는 반사율 분광 라이브러리(310)로부터 통계 정보를 추출하고, 이를 이용하여 합성 반사율 스펙트럼(

Figure 112020083378836-pat00001
)을 생성한다. 반사율 분광 라이브러리(310)는 미리 구축되어 있는 또는 공개되어 있는 반사율 스펙트럼(
Figure 112020083378836-pat00002
)을 저장하고 있다. 합성 반사율 생성부(110)는 반사율 분광 라이브러리(310)에 대해 주성분 분석(principal component analysis)을 수행하여 고유값(eigenvalue)을 분석한다. 합성 반사율 생성부(110)는 전체 고유값들의 합과 비교하여 대부분의 에너지가 집중되어 있는 여러 개의 상위 고유값을 찾고, 상위 고유값을 갖는 고유 벡터(eigenvector)들을 선형 조합하여 반사율 분광 라이브러리(310)에 저장되어 있는 반사율 스펙트럼(
Figure 112020083378836-pat00003
)을 적은 오차로 합성 반사율 스펙트럼(
Figure 112020083378836-pat00004
)으로 생성할 수 있다.The synthesized reflectance generation unit 110 extracts statistical information from the reflectance spectral library 310, and uses it to extract the synthesized reflectance spectrum (
Figure 112020083378836-pat00001
). The reflectance spectroscopy library 310 is a reflectance spectrum (
Figure 112020083378836-pat00002
). The synthetic reflectance generator 110 analyzes an eigenvalue by performing principal component analysis on the reflectance spectral library 310. The composite reflectance generator 110 compares the sum of all eigenvalues to find a plurality of upper eigenvalues in which most of the energy is concentrated, and linearly combines eigenvectors having the higher eigenvalues to provide a reflectance spectral library 310. ) Stored in the reflectance spectrum (
Figure 112020083378836-pat00003
) With a small error in the composite reflectance spectrum (
Figure 112020083378836-pat00004
) Can be created.

수학식 1은 합성 반사율 스펙트럼(

Figure 112020083378836-pat00005
)을 나타낸다. Equation 1 is a composite reflectance spectrum (
Figure 112020083378836-pat00005
).

Figure 112020083378836-pat00006
Figure 112020083378836-pat00006

여기서,

Figure 112020083378836-pat00007
는 i 번째 고유 벡터를 나타내고,
Figure 112020083378836-pat00008
는 확률 분포
Figure 112020083378836-pat00009
로부터 임의로 선택된 값이다. 확률 분포
Figure 112020083378836-pat00010
는 반사율 분광 라이브러리(310)에 저장되어 있는 반사율 스펙트럼(
Figure 112020083378836-pat00011
)에 대한 투사값
Figure 112020083378836-pat00012
로부터 모델링될 수 있다. 투사값
Figure 112020083378836-pat00013
는 커널 밀도 추정(kernel density estimation) 방법으로 계산될 수 있으며, 수학식 2와 같이 나타낼 수 있다.here,
Figure 112020083378836-pat00007
Represents the i-th eigenvector,
Figure 112020083378836-pat00008
Is the probability distribution
Figure 112020083378836-pat00009
It is a randomly selected value from Probability distribution
Figure 112020083378836-pat00010
Is the reflectance spectrum stored in the reflectance spectroscopy library 310 (
Figure 112020083378836-pat00011
Projection value for)
Figure 112020083378836-pat00012
Can be modeled from Projected value
Figure 112020083378836-pat00013
May be calculated by a kernel density estimation method, and may be expressed as Equation 2.

Figure 112020083378836-pat00014
Figure 112020083378836-pat00014

수학식 1을 이용하여 여러 개의 합성 반사율 스펙트럼을 생성할 수 있지만 임의로 생성된 합성 반사율 스펙트럼 사이의 유사도가 높을 수 있다. Several synthetic reflectance spectra may be generated using Equation 1, but similarity between randomly generated synthetic reflectance spectra may be high.

합성 반사율 생성부(110)는 이미 생성된 합성 반사율 스펙트럼과 유사한 합성 반사율 스펙트럼이 생성되는 것을 방지하기 위하여 새로이 생성된 합성 반사율 스펙트럼

Figure 112020083378836-pat00015
을 이미 생성된 합성 반사율 스펙트럼의 집합
Figure 112020083378836-pat00016
의 각 원소들과 다름 정도를 비교할 수 있다. The composite reflectance generator 110 is a newly generated composite reflectance spectrum to prevent generation of a composite reflectance spectrum similar to the already generated composite reflectance spectrum.
Figure 112020083378836-pat00015
A set of synthetic reflectance spectra that have already been generated
Figure 112020083378836-pat00016
You can compare the degree of difference with each element of.

수학식 3은 새로이 생성된 합성 반사율 스펙트럼

Figure 112020083378836-pat00017
과 합성 반사율 스펙트럼의 집합의 각 원소들
Figure 112020083378836-pat00018
과의 다름 정도를 나타낸다.Equation 3 is a newly generated synthetic reflectance spectrum
Figure 112020083378836-pat00017
And each element of the set of synthetic reflectance spectra
Figure 112020083378836-pat00018
It indicates the degree of difference from the family.

Figure 112020083378836-pat00019
Figure 112020083378836-pat00019

여기서,

Figure 112020083378836-pat00020
는 합성 반사율 스펙트럼의 집합
Figure 112020083378836-pat00021
의 각 원소들 사이의 다름 정도를 결정하는 파라미터이다.
Figure 112020083378836-pat00022
가 클수록 원소들 사이의 유사성이 감소하게 된다. here,
Figure 112020083378836-pat00020
Is a set of composite reflectance spectra
Figure 112020083378836-pat00021
It is a parameter that determines the degree of difference between each element of.
Figure 112020083378836-pat00022
The larger is, the less the similarity between elements decreases.

합성 반사율 생성부(110)는 새로이 생성된 합성 반사율 스펙트럼

Figure 112020083378836-pat00023
이 합성 반사율 스펙트럼의 집합
Figure 112020083378836-pat00024
의 모든 원소들에 대하여 수학식 3을 만족하면, 새로이 생성된 합성 반사율 스펙트럼
Figure 112020083378836-pat00025
을 합성 반사율 스펙트럼의 집합
Figure 112020083378836-pat00026
의 새로운 원소로 저장하고, 합성 반사율 스펙트럼의 집합
Figure 112020083378836-pat00027
을
Figure 112020083378836-pat00028
으로 갱신한다. The synthetic reflectance generation unit 110 is a newly generated synthetic reflectance spectrum
Figure 112020083378836-pat00023
The set of this composite reflectance spectra
Figure 112020083378836-pat00024
When Equation 3 is satisfied for all elements of, the newly generated synthetic reflectance spectrum
Figure 112020083378836-pat00025
A set of reflectance spectra synthesized
Figure 112020083378836-pat00026
Stored as a new element of, and a set of synthetic reflectance spectra
Figure 112020083378836-pat00027
of
Figure 112020083378836-pat00028
To update.

학습용 반사율 분광 라이브러리(120)는 합성 반사율 생성부(110)의 합성 반사율 스펙트럼(

Figure 112020083378836-pat00029
)과 표적 반사율 분광 라이브러리(320)의 표적 반사율 스펙트럼(
Figure 112020083378836-pat00030
)을 모아서 학습 데이터(
Figure 112020083378836-pat00031
)를 생성한다. 표적 반사율 분광 라이브러리(320)는 다수의 표적의 분광 정보(반사율 스펙트럼)를 저장하고 있다. 학습 데이터(
Figure 112020083378836-pat00032
)는 표적 반사율 스펙트럼(
Figure 112020083378836-pat00033
)에 대응하는 합성 반사율 스펙트럼(
Figure 112020083378836-pat00034
)을 포함할 수 있다. The reflectance spectral library 120 for learning is a composite reflectance spectrum (
Figure 112020083378836-pat00029
) And the target reflectance spectrum of the target reflectance spectroscopy library 320 (
Figure 112020083378836-pat00030
) To collect the training data (
Figure 112020083378836-pat00031
). The target reflectance spectral library 320 stores spectral information (reflectance spectrum) of a plurality of targets. Training data (
Figure 112020083378836-pat00032
) Is the target reflectance spectrum (
Figure 112020083378836-pat00033
The synthesized reflectance spectrum corresponding to) (
Figure 112020083378836-pat00034
) Can be included.

제1 순방향 모델링부(130)는 학습용 반사율 분광 라이브러리(120)의 학습 데이터(

Figure 112020083378836-pat00035
)를 이용하여 복사 휘도(
Figure 112020083378836-pat00036
)를 산출하고, 복사 휘도(
Figure 112020083378836-pat00037
)를 겉보기 반사율(
Figure 112020083378836-pat00038
)로 변환한다.The first forward modeling unit 130 includes training data of the reflectance spectral library 120 for learning (
Figure 112020083378836-pat00035
) Using the radiant luminance (
Figure 112020083378836-pat00036
) And radiated luminance (
Figure 112020083378836-pat00037
) To the apparent reflectance (
Figure 112020083378836-pat00038
).

물체의 표면이 램버시안 반사(Lambertian reflectance)를 따른다고 가정하면, 태양으로부터 입사된 에너지가 물체의 표면에 반사되어 초분광 센서로 입사되는 복사 휘도

Figure 112020083378836-pat00039
은 수학식 4와 같이 표현될 수 있다. Assuming that the surface of an object follows Lambertian reflectance, the energy incident from the sun is reflected on the surface of the object and is incident on the hyperspectral sensor.
Figure 112020083378836-pat00039
Can be expressed as in Equation 4.

Figure 112020083378836-pat00040
Figure 112020083378836-pat00040

여기서,

Figure 112020083378836-pat00041
는 빛의 파장을 나타내고,
Figure 112020083378836-pat00042
는 대기 밖 태양 복사 조도(exoatmospheric sun irradiance)를 나타내고,
Figure 112020083378836-pat00043
는 태양 천정각(solar zenith angle)을 나타낸다.
Figure 112020083378836-pat00044
는 표적의 반사율 스펙트럼으로, 학습 데이터(
Figure 112020083378836-pat00045
)로부터 획득될 수 있다.
Figure 112020083378836-pat00046
는 주변 배경의 평균 반사율 스펙트럼을 나타낸다.
Figure 112020083378836-pat00047
는 초분광 영상 획득 당시의 대기 및 태양-표적-센서의 기하학적 조건에 의해 결정되는 초분광 영상 파라미터 값이며, MODTRAN (MODerate resolution atmospheric TRANsmission)과 같은 복사 전달 모델(radiative transfer model)을 이용하여 획득될 수 있다. here,
Figure 112020083378836-pat00041
Represents the wavelength of light,
Figure 112020083378836-pat00042
Represents the exoatmospheric sun irradiance,
Figure 112020083378836-pat00043
Represents the solar zenith angle.
Figure 112020083378836-pat00044
Is the reflectance spectrum of the target, and the training data (
Figure 112020083378836-pat00045
) Can be obtained from.
Figure 112020083378836-pat00046
Represents the average reflectance spectrum of the surrounding background.
Figure 112020083378836-pat00047
Is a hyperspectral image parameter value determined by geometric conditions of the atmosphere and the sun-target-sensor at the time of hyperspectral image acquisition, and can be obtained using a radiative transfer model such as MODTRAN (MODerate resolution atmospheric TRANsmission). I can.

제1 순방향 모델링부(130)는 합성 반사율 스펙트럼(

Figure 112020083378836-pat00048
)을 수학식 4에 대입하여 복사 휘도(
Figure 112020083378836-pat00049
)를 산출할 수 있다. 이때, 초분광 영상 파라미터 값
Figure 112020083378836-pat00050
을 획득하기 위하여 복사 전달 모델에 다수의 파라미터들을 입력해 주어야 한다. 다양한 파라미터들 중에서 시정(visibility)과 수증기량(column water vapor)은 일정 범위만큼 한정되고, 이 범위의 수치들을 모두 적용하여 복수의 초분광 영상 파라미터 값
Figure 112020083378836-pat00051
이 산출될 수 있다. 시정과 수증기량의 범위는 과거의 기상 데이터나 초분광 영상 촬영 장소에 인접한 기상 관측소의 데이터를 활용하여 정할 수 있다. 복사 전달 모델로부터 얻은
Figure 112020083378836-pat00052
의 값들로부터 하나의 표적 물체의 반사율 스펙트럼
Figure 112020083378836-pat00053
에 대하여 다수의 복사 휘도
Figure 112020083378836-pat00054
가 산출될 수 있다.The first forward modeling unit 130 includes a composite reflectance spectrum (
Figure 112020083378836-pat00048
) Into Equation 4 and radiated luminance (
Figure 112020083378836-pat00049
) Can be calculated. At this time, the hyperspectral image parameter value
Figure 112020083378836-pat00050
A number of parameters must be entered in the copy delivery model to obtain. Among various parameters, visibility and column water vapor are limited by a certain range, and values of a plurality of hyperspectral image parameters are applied by applying all the values in this range.
Figure 112020083378836-pat00051
Can be calculated. The visibility and the range of water vapor can be determined using past weather data or data from a weather station adjacent to the hyperspectral imaging location. Obtained from the copy delivery model
Figure 112020083378836-pat00052
The reflectance spectrum of a target object from the values of
Figure 112020083378836-pat00053
Against multiple radiant luminance
Figure 112020083378836-pat00054
Can be calculated.

또한, 램버시안 반사를 가정하였기 때문에 하나의 표적 물체의 반사율 스펙트럼

Figure 112020083378836-pat00055
에 여러 개의 스케일 펙터가 곱해진다. 예를 들어, 하나의 표적 물체의 반사율 스펙트럼
Figure 112020083378836-pat00056
에 대해 3가지 시정(10km, 15km, 20km), 3가지 수증기량(2.0g/cm2, 2.5g/cm2, 3.0g/cm2), 3가지 스케일 펙터(0.8, 1.0, 1.2)를 적용하여 총 27(=3x3x3)개의 복사 휘도
Figure 112020083378836-pat00057
를 만들어 낼 수 있다. Also, because Lambertian reflection is assumed, the reflectance spectrum of one target object
Figure 112020083378836-pat00055
Is multiplied by several scale factors. For example, the reflectance spectrum of one target object
Figure 112020083378836-pat00056
3 types of visibility (10km, 15km, 20km), 3 types of water vapor (2.0g/cm 2 , 2.5g/cm 2 , 3.0g/cm 2 ), and 3 scale factors (0.8, 1.0, 1.2) are applied. A total of 27 (=3x3x3) radiant luminances
Figure 112020083378836-pat00057
Can be created.

제1 순방향 모델링부(130)는 복수의 복사 휘도

Figure 112020083378836-pat00058
를 복수의 겉보기 반사율(
Figure 112020083378836-pat00059
)로 변환할 수 있다. 복사 휘도
Figure 112020083378836-pat00060
는 수학식 5와 같이 겉보기 반사율(
Figure 112020083378836-pat00061
)로 변환될 수 있다. The first forward modeling unit 130 includes a plurality of radiant luminances
Figure 112020083378836-pat00058
Is a plurality of apparent reflectances (
Figure 112020083378836-pat00059
) Can be converted. Radiant luminance
Figure 112020083378836-pat00060
Is the apparent reflectance (
Figure 112020083378836-pat00061
) Can be converted.

Figure 112020083378836-pat00062
Figure 112020083378836-pat00062

제1 순방향 모델링부(130)는 복수의 겉보기 반사율(

Figure 112020083378836-pat00063
)을 인공 신경망(340)에 전달하여 인공 신경망(340)을 학습시킨다.The first forward modeling unit 130 includes a plurality of apparent reflectances (
Figure 112020083378836-pat00063
) Is transmitted to the artificial neural network 340 to train the artificial neural network 340.

도 2에 예시한 바와 같이, 인공 신경망(340)은 제1 인공 신경망(341) 및 제2 인공 신경망(342)을 포함하는 샴 인공 신경망일 수 있다. 제1 인공 신경망(341)과 제2 인공 신경망(342)은 구성 및 파라미터가 동일한 인공 신경망일 수 있다. As illustrated in FIG. 2, the artificial neural network 340 may be a Siamese artificial neural network including a first artificial neural network 341 and a second artificial neural network 342. The first artificial neural network 341 and the second artificial neural network 342 may be artificial neural networks having the same configuration and parameters.

제1 인공 신경망(341)에 제1 겉보기 반사율(

Figure 112020083378836-pat00064
)이 입력되고, 제2 인공 신경망(342)에 제2 겉보기 반사율(
Figure 112020083378836-pat00065
)이 입력된다. 제1 인공 신경망(341)은 제1 겉보기 반사율(
Figure 112020083378836-pat00066
)에 대한 제1 특징 벡터(
Figure 112020083378836-pat00067
)를 출력하고, 제2 인공 신경망(342)은 제2 겉보기 반사율(
Figure 112020083378836-pat00068
)에 대한 제2 특징 벡터(
Figure 112020083378836-pat00069
)를 출력한다. 이때, 인공 신경망(340)은 제1 특징 벡터(
Figure 112020083378836-pat00070
) 및 제2 특징 벡터(
Figure 112020083378836-pat00071
)가 손실 함수를 최소화하도록 학습한다. 제1 특징 벡터(
Figure 112020083378836-pat00072
) 및 제2 특징 벡터(
Figure 112020083378836-pat00073
)를 특징 벡터 쌍이라 한다. The first apparent reflectance (
Figure 112020083378836-pat00064
) Is input, and the second apparent reflectance (
Figure 112020083378836-pat00065
) Is entered. The first artificial neural network 341 has a first apparent reflectance (
Figure 112020083378836-pat00066
The first feature vector for) (
Figure 112020083378836-pat00067
), and the second artificial neural network 342 has a second apparent reflectance (
Figure 112020083378836-pat00068
) For the second feature vector (
Figure 112020083378836-pat00069
) Is displayed. At this time, the artificial neural network 340 is the first feature vector (
Figure 112020083378836-pat00070
) And the second feature vector (
Figure 112020083378836-pat00071
) Learn to minimize the loss function. First feature vector (
Figure 112020083378836-pat00072
) And the second feature vector (
Figure 112020083378836-pat00073
) Is called a feature vector pair.

수학식 6은 손실 함수의 일예를 나타낸다. Equation 6 shows an example of a loss function.

Figure 112020083378836-pat00074
Figure 112020083378836-pat00074

여기서,

Figure 112020083378836-pat00075
는 제1 특징 벡터(
Figure 112020083378836-pat00076
)와 제2 특징 벡터(
Figure 112020083378836-pat00077
) 사이의 거리를 나타낸다.
Figure 112020083378836-pat00078
는 특징 벡터 쌍에 대한 레이블(label)이며, 수학식 4 및 5에 의해 산출된 겉보기 반사율이 동일한
Figure 112020083378836-pat00079
로부터 만들어진 경우 Y=0으로 정의되고, 서로 다른
Figure 112020083378836-pat00080
로부터 만들어진 경우 Y=1로 정의된다.
Figure 112020083378836-pat00081
은 서로 다른
Figure 112020083378836-pat00082
로부터 만들어진 겉보기 반사율의 특징 벡터들이 만족해야 하는 최소한의 거리 차이를 나타낸다. here,
Figure 112020083378836-pat00075
Is the first feature vector (
Figure 112020083378836-pat00076
) And the second feature vector (
Figure 112020083378836-pat00077
) Indicates the distance between.
Figure 112020083378836-pat00078
Is a label for the feature vector pair, and the apparent reflectance calculated by Equations 4 and 5 is the same.
Figure 112020083378836-pat00079
If made from Y=0, it is defined as different
Figure 112020083378836-pat00080
It is defined as Y=1 if it is made from.
Figure 112020083378836-pat00081
Are different
Figure 112020083378836-pat00082
It represents the minimum distance difference that must be satisfied by the feature vectors of the apparent reflectance created from.

이와 같이, 반사율 분광 라이브러리(310)의 미리 구축되어 있는 또는 공개되어 있는 반사율 스펙트럼(

Figure 112020083378836-pat00083
)과 표적 반사율 분광 라이브러리(320)의 다수의 표적의 분광 정보(반사율 스펙트럼)를 이용하여 인공 신경망을 학습시킬 수 있으므로, 데이터를 수집하는데 큰 비용, 시간, 노력을 투입하지 않고도 초분광 영상에서 표적을 탐지할 수 있도록 인공 신경망을 학습시킬 수 있다.In this way, the reflectance spectrum (
Figure 112020083378836-pat00083
) And the spectral information (reflectance spectrum) of a plurality of targets in the target reflectance spectral library 320, so that the artificial neural network can be trained, the target in the hyperspectral image without investing a large cost, time, and effort to collect the data. Artificial neural networks can be trained to detect.

이하, 도 3을 참조하여 학습된 인공 신경망을 이용하여 초분광 영상에서 표적을 탐지하는 탐지 장치에 대하여 설명한다. Hereinafter, a detection apparatus for detecting a target in a hyperspectral image using a learned artificial neural network will be described with reference to FIG. 3.

도 3은 본 발명의 일 실시예에 따른 초분광 영상에서 표적을 탐지하는 인공 신경망을 이용한 탐지 장치를 나타내는 블록도이다. 3 is a block diagram illustrating a detection apparatus using an artificial neural network for detecting a target in a hyperspectral image according to an embodiment of the present invention.

도 3을 참조하면, 초분광 영상에서 표적을 탐지하는 인공 신경망을 이용한 탐지 장치(200)는 반사율 변환부(210), 제2 순방향 모델링부(220) 및 탐지 처리부(240)를 포함한다.Referring to FIG. 3, a detection apparatus 200 using an artificial neural network for detecting a target in a hyperspectral image includes a reflectance conversion unit 210, a second forward modeling unit 220, and a detection processing unit 240.

반사율 변환부(210)는 초분광 영상(360)을 입력받고, 초분광 영상(360)의 복수의 화소 각각의 복사 휘도(

Figure 112020083378836-pat00084
)를 겉보기 반사율(
Figure 112020083378836-pat00085
)로 변환하여 인공 신경망(340)에 전달한다. 반사율 변환부(210)는 수학식 5를 이용하여 초분광 영상(360)의 복사 휘도(
Figure 112020083378836-pat00086
)를 겉보기 반사율(
Figure 112020083378836-pat00087
)로 변환할 수 있다.The reflectance converter 210 receives the hyperspectral image 360 and radiated luminance of each of a plurality of pixels of the hyperspectral image 360 (
Figure 112020083378836-pat00084
) To the apparent reflectance (
Figure 112020083378836-pat00085
) And transmitted to the artificial neural network 340. The reflectance conversion unit 210 uses Equation 5 to determine the radiance of the hyperspectral image 360 (
Figure 112020083378836-pat00086
) To the apparent reflectance (
Figure 112020083378836-pat00087
) Can be converted.

제2 순방향 모델링부(220)는 찾고자 하는 표적의 반사율 스펙트럼(

Figure 112020083378836-pat00088
)을 포함하는 표적 반사율(370)을 입력받고, 표적의 반사율 스펙트럼(
Figure 112020083378836-pat00089
)을 겉보기 반사율(
Figure 112020083378836-pat00090
)로 변환하여 인공 신경망(340)에 전달한다. 제2 순방향 모델링부(220)는 수학식 4 및 5를 이용하여 표적의 겉보기 반사율(
Figure 112020083378836-pat00091
)을 생성할 수 있다. The second forward modeling unit 220 includes a reflectance spectrum of a target to be searched (
Figure 112020083378836-pat00088
A target reflectance 370 including) is input, and the reflectance spectrum of the target (
Figure 112020083378836-pat00089
) To the apparent reflectance (
Figure 112020083378836-pat00090
) And transmitted to the artificial neural network 340. The second forward modeling unit 220 uses Equations 4 and 5 to determine the apparent reflectance of the target (
Figure 112020083378836-pat00091
) Can be created.

인공 신경망(340)은 복수의 화소 각각의 겉보기 반사율(

Figure 112020083378836-pat00092
)에 대한 제1 특징 벡터(
Figure 112020083378836-pat00093
)를 추출한다. 인공 신경망(340)은 표적의 겉보기 반사율(
Figure 112020083378836-pat00094
)에 대한 제2 특징 벡터(
Figure 112020083378836-pat00095
)를 추출한다. The artificial neural network 340 has an apparent reflectance of each of the plurality of pixels (
Figure 112020083378836-pat00092
The first feature vector for) (
Figure 112020083378836-pat00093
) Is extracted. Artificial neural network 340 is the apparent reflectance of the target (
Figure 112020083378836-pat00094
) For the second feature vector (
Figure 112020083378836-pat00095
) Is extracted.

탐지 처리부(240)는 표적의 제2 특징 벡터(

Figure 112020083378836-pat00096
)와 초분광 영상(360)의 복수의 화소 각각의 제1 특징 벡터(
Figure 112020083378836-pat00097
)를 내적(inner product)하여 탐지 값을 산출하고, 탐지 값이 미리 정해진 임계치 이상일 경우 해당 화소를 표적으로 처리한다. 탐지 처리부(240)는 초분광 영상(360)의 복수의 화소 중에서 표적에 해당하는 화소를 지시하는 탐지 결과를 출력할 수 있다. The detection processing unit 240 includes a second feature vector of the target (
Figure 112020083378836-pat00096
) And a first feature vector of each of the plurality of pixels of the hyperspectral image 360 (
Figure 112020083378836-pat00097
) Is an inner product to calculate a detection value, and if the detection value is greater than or equal to a predetermined threshold, the pixel is treated as a target. The detection processing unit 240 may output a detection result indicating a pixel corresponding to a target among a plurality of pixels of the hyperspectral image 360.

이상에서, 초분광 영상에서 표적을 탐지하는 인공 신경망을 학습시키는 학습 장치(100)와 초분광 영상에서 표적을 탐지하는 인공 신경망을 이용한 탐지 장치(200)가 별도로 구성되는 것을 예로 들어 설명하였으나, 도 4와 같이 도 1의 학습 장치(100)와 도 3의 탐지 장치(200)는 일체화될 수 있다. In the above, it has been described as an example that the learning device 100 for learning an artificial neural network for detecting a target in the hyperspectral image and the detection device 200 for using an artificial neural network for detecting the target in the hyperspectral image are separately configured. As shown in 4, the learning device 100 of FIG. 1 and the detection device 200 of FIG. 3 may be integrated.

도 4는 본 발명의 일 실시예에 따른 초분광 영상 처리 장치를 나타내는 블록도이다. 4 is a block diagram illustrating a hyperspectral image processing apparatus according to an embodiment of the present invention.

도 4를 참조하면, 초분광 영상 처리 장치(400)는 도 1의 실시예에 따른 초분광 영상에서 표적을 탐지하는 인공 신경망의 학습 장치(100)와 도 3의 실시예에 따른 초분광 영상에서 표적을 탐지하는 인공 신경망을 이용한 탐지 장치(200)를 포함할 수 있다. Referring to FIG. 4, the hyperspectral image processing apparatus 400 includes an artificial neural network learning apparatus 100 for detecting a target in the hyperspectral image according to the embodiment of FIG. 1 and the hyperspectral image according to the embodiment of FIG. 3. It may include a detection device 200 using an artificial neural network to detect a target.

초분광 영상 처리 장치(400)에 포함되는 학습 장치(100)와 탐지 장치(200)의 구성은 도 1 내지 3에서 상술한 바와 동일하므로 중복되는 설명은 생략한다.Since the configurations of the learning device 100 and the detection device 200 included in the hyperspectral image processing device 400 are the same as those described above with reference to FIGS. 1 to 3, overlapping descriptions will be omitted.

한편, 도 1 및 도 3에서 학습 장치(100) 및 탐지 장치(200)가 인공 신경망(340)을 포함한다고 기재하고 있지 않으나, 실시예에 따라 학습 장치(100) 및 탐지 장치(200)는 인공 신경망(340)을 포함하여 구성될 수 있다. 또한, 초분광 영상 처리 장치(400)도 인공 신경망(340)을 더 포함하여 구성될 수 있다.Meanwhile, in FIGS. 1 and 3, it is not described that the learning device 100 and the detection device 200 include the artificial neural network 340, but the learning device 100 and the detection device 200 are artificial It may be configured to include a neural network (340). In addition, the hyperspectral image processing apparatus 400 may further include an artificial neural network 340.

이상에서, 학습 장치(100), 탐지 장치(200) 및 초분광 영상 처리 장치(400)에 포함되는 각 구성 요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 즉, 학습 장치(100), 탐지 장치(200) 및 초분광 영상 처리 장치(400)는 집적회로(IC)와 같이 하드웨어적으로 구현되거나, 컴퓨터 프로그램과 같이 소프트웨어적으로 구현되거나, 또는 컴퓨터 프로그램이 기록된 기록매체와 같이 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.In the above, each component included in the learning device 100, the detection device 200, and the hyperspectral image processing device 400 refers to a unit that processes at least one function or operation, which is hardware, software, or It can be implemented as a combination of hardware and software. That is, the learning device 100, the detection device 200, and the hyperspectral image processing device 400 may be implemented in hardware such as an integrated circuit (IC), implemented in software such as a computer program, or a computer program. Like a recorded recording medium, it can be implemented as a combination of hardware and software.

지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. The drawings referenced so far and the detailed description of the invention described are merely illustrative of the present invention, which are used only for the purpose of describing the present invention, but are used to limit the meaning or the scope of the invention described in the claims. It is not. Therefore, those of ordinary skill in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

100: 학습 장치 110: 합성 반사율 생성부
120: 학습용 반사율 분광 라이브러리 130: 제1 순방향 모델링부
200: 탐지 장치 210: 반사율 변환부
220: 제2 순방향 모델링부 240: 탐지 처리부
310: 반사율 분광 라이브러리
320: 표적 반사율 분광 라이브러리 340: 인공 신경망
360: 초분광 영상 370: 표적 반사율
400: 초분광 영상 처리 장치 100: learning device 110: synthetic reflectance generator
120: reflectance spectral library for learning 130: first forward modeling unit
200: detection device 210: reflectance conversion unit
220: second forward modeling unit 240: detection processing unit
310: Reflectance Spectroscopy Library
320: target reflectance spectral library 340: artificial neural network
360: hyperspectral image 370: target reflectance
400: hyperspectral image processing device

Claims (12)

초분광 영상에서 표적을 탐지하는 인공 신경망의 학습 장치에 있어서,
반사율 분광 라이브러리에 저장되어 있는 반사율 스펙트럼의 고유 벡터들을 선형 조합하여 합성 반사율 스펙트럼을 생성하는 합성 반사율 생성부;
표적 반사율 분광 라이브러리에 저장되어 있는 표적 반사율 스펙트럼과 상기 합성 반사율 생성부에서 생성된 합성 반사율 스펙트럼을 합쳐서 학습 데이터를 저장하는 학습용 반사율 분광 라이브러리; 및
상기 학습 데이터로부터 복사 휘도를 산출하고, 상기 복사 휘도를 제1 겉보기 반사율 및 제2 겉보기 반사율로 변환하여 상기 인공 신경망에 전달하는 제1 순방향 모델링부를 포함하는 인공 신경망의 학습 장치.In the learning apparatus of an artificial neural network that detects a target in a hyperspectral image,
A synthesized reflectance generator configured to linearly combine eigenvectors of reflectance spectra stored in the reflectance spectral library to generate a synthesized reflectance spectrum;
A reflectance spectral library for learning to store learning data by combining a target reflectance spectrum stored in a target reflectance spectral library with a synthesized reflectance spectrum generated by the synthetic reflectance generator; And
A learning apparatus for an artificial neural network, comprising: a first forward modeling unit that calculates a radiant luminance from the training data, converts the radiant luminance into a first apparent reflectance and a second apparent reflectance, and transmits it to the artificial neural network. 제1 항에 있어서,
상기 합성 반사율 생성부는 상기 반사율 분광 라이브러리에 대한 주성분 분석을 수행하여 다수의 상위 고유값을 찾고, 상기 상위 고유값을 갖는 고유 벡터들을 선형 조합하여 상기 합성 반사율 스펙트럼을 생성하는 인공 신경망의 학습 장치.The method of claim 1,
The synthetic reflectance generator performs principal component analysis on the reflectance spectral library to find a plurality of upper eigenvalues, and linearly combines eigenvectors having the higher eigenvalues to generate the composite reflectance spectrum. 제1 항에 있어서,
상기 합성 반사율 생성부는 상기 합성 반사율 스펙트럼을 이미 생성된 합성 반사율 스펙트럼의 집합의 각 원소들과 다름 정도를 비교하여 상기 합성 반사율 스펙트럼의 집합을 갱신하는 인공 신경망의 학습 장치.The method of claim 1,
The synthetic reflectance generation unit updates the set of the synthetic reflectance spectrum by comparing the degree of difference between the synthetic reflectance spectrum with each element of the set of the synthetic reflectance spectrum that has already been generated. 제1 항에 있어서,
상기 제1 순방향 모델링부는 상기 합성 반사율 스펙트럼에 대해 복수의 복사 휘도를 산출하는 인공 신경망의 학습 장치.The method of claim 1,
The apparatus for learning an artificial neural network, wherein the first forward modeling unit calculates a plurality of radiant luminances for the composite reflectance spectrum. 제1 항에 있어서,
상기 인공 신경망은,
상기 제1 겉보기 반사율에 대한 제1 특징 벡터를 출력하는 제1 인공 신경망; 및
상기 제2 겉보기 반사율에 대한 제2 특징 벡터를 출력하는 제2 인공 신경망을 포함하고,
상기 제1 특징 벡터 및 상기 제2 특징 벡터가 손실 함수를 최소화하도록 학습하는 인공 신경망의 학습 장치.The method of claim 1,
The artificial neural network,
A first artificial neural network outputting a first feature vector for the first apparent reflectance; And
And a second artificial neural network outputting a second feature vector for the second apparent reflectance,
A training apparatus for an artificial neural network that learns the first feature vector and the second feature vector to minimize a loss function. 초분광 영상에서 표적을 탐지하는 인공 신경망을 이용한 초분광 영상 처리 장치에 있어서,
반사율 분광 라이브러리에 저장되어 있는 반사율 스펙트럼을 이용하여 생성된 합성 반사율 스펙트럼을 포함하는 학습 데이터로부터 복사 휘도를 산출하고, 상기 복사 휘도를 제1 겉보기 반사율 및 제2 겉보기 반사율로 변환하여 상기 인공 신경망에 전달하는 제1 순방향 모델링부;
초분광 영상의 복수의 화소 각각의 복사 휘도를 제3 겉보기 반사율로 변환하는 반사율 변환부;
표적의 반사율 스펙트럼을 제4 겉보기 반사율로 변환하는 제2 순방향 모델링부;
상기 인공 신경망으로부터 상기 제3 겉보기 반사율에 대한 제1 특징 벡터 및 상기 제4 겉보기 반사율에 대한 제2 특징 벡터를 전달받고, 상기 제1 특징 벡터와 상기 제2 특징 벡터를 내적하여 탐지 값을 산출하고, 상기 탐지 값이 임계치 이상일 경우 해당 화소를 표적으로 처리하는 탐지 처리부를 포함하는 초분광 영상 처리 장치.In the hyperspectral image processing apparatus using an artificial neural network for detecting a target in a hyperspectral image,
The radiant luminance is calculated from the training data including the synthesized reflectance spectrum generated using the reflectance spectrum stored in the reflectance spectral library, and the radiant luminance is converted into a first apparent reflectance and a second apparent reflectance, and transmitted to the artificial neural network. A first forward modeling unit to perform;
A reflectance conversion unit converting the radiant luminance of each of the plurality of pixels of the hyperspectral image into a third apparent reflectance;
A second forward modeling unit that converts the reflectance spectrum of the target into a fourth apparent reflectance;
Receive a first feature vector for the third apparent reflectance and a second feature vector for the fourth apparent reflectance from the artificial neural network, calculate a detection value by dot product of the first feature vector and the second feature vector, and And a detection processor configured to target a corresponding pixel when the detection value is greater than or equal to a threshold value. 제6 항에 있어서,
상기 반사율 분광 라이브러리에 저장되어 있는 반사율 스펙트럼의 고유 벡터들을 선형 조합하여 상기 합성 반사율 스펙트럼을 생성하는 합성 반사율 생성부를 더 포함하는 초분광 영상 처리 장치.The method of claim 6,
A hyperspectral image processing apparatus further comprising a synthetic reflectance generator configured to generate the synthesized reflectance spectrum by linearly combining the eigenvectors of the reflectance spectrum stored in the reflectance spectral library. 제7 항에 있어서,
표적 반사율 분광 라이브러리에 저장되어 있는 표적 반사율 스펙트럼과 상기 합성 반사율 생성부에서 생성된 합성 반사율 스펙트럼을 합쳐서 상기 학습 데이터를 저장하는 학습용 반사율 분광 라이브러리를 더 포함하는 초분광 영상 처리 장치.The method of claim 7,
The hyperspectral image processing apparatus further comprises a reflectance spectral library for learning to store the learning data by combining the target reflectance spectrum stored in the target reflectance spectral library and the synthesized reflectance spectrum generated by the synthetic reflectance generation unit. 제7 항에 있어서,
상기 합성 반사율 생성부는 상기 반사율 분광 라이브러리에 대한 주성분 분석을 수행하여 다수의 상위 고유값을 찾고, 상기 상위 고유값을 갖는 고유 벡터들을 선형 조합하여 상기 합성 반사율 스펙트럼을 생성하는 초분광 영상 처리 장치.The method of claim 7,
The composite reflectance generator performs principal component analysis on the reflectance spectral library to find a plurality of upper eigenvalues, and generates the composite reflectance spectrum by linearly combining eigenvectors having the higher eigenvalues. 제7 항에 있어서,
상기 합성 반사율 생성부는 상기 합성 반사율 스펙트럼을 이미 생성된 합성 반사율 스펙트럼의 집합의 각 원소들과 다름 정도를 비교하여 상기 합성 반사율 스펙트럼의 집합을 갱신하는 초분광 영상 처리 장치.The method of claim 7,
The composite reflectance generation unit updates the set of the composite reflectance spectrum by comparing the degree of difference between the composite reflectance spectrum with each element of the previously generated composite reflectance spectrum set. 제7 항에 있어서,
상기 제1 순방향 모델링부는 하나의 표적 물체에 대한 합성 반사율 스펙트럼에 대해 복수의 복사 휘도를 산출하는 초분광 영상 처리 장치.The method of claim 7,
The first forward modeling unit is a hyperspectral image processing apparatus that calculates a plurality of radiant luminances for a composite reflectance spectrum of one target object. 초분광 영상에서 표적을 탐지하는 인공 신경망의 학습 방법에 있어서,
합성 반사율 생성부가 반사율 분광 라이브러리에 저장되어 있는 반사율 스펙트럼의 고유 벡터들을 선형 조합하여 합성 반사율 스펙트럼을 생성하는 단계;
학습용 반사율 분광 라이브러리가 표적 반사율 분광 라이브러리에 저장되어 있는 표적 반사율 스펙트럼과 상기 합성 반사율 생성부에서 생성된 합성 반사율 스펙트럼을 합쳐서 학습 데이터를 저장하는 단계;
제1 순방향 모델링부가 상기 학습 데이터로부터 복사 휘도를 산출하고, 상기 복사 휘도를 제1 겉보기 반사율 및 제2 겉보기 반사율로 변환하는 단계; 및
상기 인공 신경망이 상기 제1 겉보기 반사율에 대한 제1 특징 벡터 및 상기 제2 겉보기 반사율에 대한 제2 특징 벡터가 손실 함수를 최소화하도록 학습하는 단계를 포함하는 인공 신경망의 학습 방법.In the learning method of an artificial neural network that detects a target in a hyperspectral image,
Generating a synthesized reflectance spectrum by linearly combining the eigenvectors of the reflectance spectrum stored in the reflectance spectral library by a synthetic reflectance generator;
Storing the training data by combining the target reflectance spectrum stored in the target reflectance spectroscopic library for the learning reflectance spectroscopic library with the synthesized reflectance spectrum generated by the synthetic reflectance generating unit;
Calculating a radiation luminance from the learning data by a first forward direction modeling unit and converting the radiation luminance into a first apparent reflectance and a second apparent reflectance; And
And learning, by the artificial neural network, a first feature vector for the first apparent reflectance and a second feature vector for the second apparent reflectance to minimize a loss function.
KR1020200099463A 2020-08-07 2020-08-07 Apparatus for training artificial neural network detecting targets in hyperspectral image and method thereof, apparatus for processing hyperspectral image using artificial neural network KR102224704B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200099463A KR102224704B1 (en) 2020-08-07 2020-08-07 Apparatus for training artificial neural network detecting targets in hyperspectral image and method thereof, apparatus for processing hyperspectral image using artificial neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200099463A KR102224704B1 (en) 2020-08-07 2020-08-07 Apparatus for training artificial neural network detecting targets in hyperspectral image and method thereof, apparatus for processing hyperspectral image using artificial neural network

Publications (1)

Publication Number Publication Date
KR102224704B1 true KR102224704B1 (en) 2021-03-05

Family

ID=75164005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200099463A KR102224704B1 (en) 2020-08-07 2020-08-07 Apparatus for training artificial neural network detecting targets in hyperspectral image and method thereof, apparatus for processing hyperspectral image using artificial neural network

Country Status (1)

Country Link
KR (1) KR102224704B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101332717B1 (en) * 2012-09-06 2013-11-25 인하대학교 산학협력단 A method of spectral dimensionality reduction based on intergrated bispectrum phase for hyperspectral image analysis
KR20140099118A (en) * 2013-02-01 2014-08-11 국방과학연구소 Method for Active Sonar Underwater Target Classification Using Canonical Correlation Analysis and Underwater Target Classification Apparatus
KR20160049305A (en) * 2014-10-27 2016-05-09 한국지질자원연구원 Method for detecting target material by spectral mixture analysis of hyperspectral image
KR101705346B1 (en) * 2016-10-05 2017-02-13 주식회사 지오스토리 Hyperspectral image analysis system with spectral library

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101332717B1 (en) * 2012-09-06 2013-11-25 인하대학교 산학협력단 A method of spectral dimensionality reduction based on intergrated bispectrum phase for hyperspectral image analysis
KR20140099118A (en) * 2013-02-01 2014-08-11 국방과학연구소 Method for Active Sonar Underwater Target Classification Using Canonical Correlation Analysis and Underwater Target Classification Apparatus
KR20160049305A (en) * 2014-10-27 2016-05-09 한국지질자원연구원 Method for detecting target material by spectral mixture analysis of hyperspectral image
KR101705346B1 (en) * 2016-10-05 2017-02-13 주식회사 지오스토리 Hyperspectral image analysis system with spectral library

Similar Documents

Publication Publication Date Title
Rakun et al. Detecting fruits in natural scenes by using spatial-frequency based texture analysis and multiview geometry
Xu et al. Multispectral imaging and unmanned aerial systems for cotton plant phenotyping
US9940520B2 (en) Automatic target recognition system with online machine learning capability
Holmgren et al. Identifying species of individual trees using airborne laser scanner
CN101563710B (en) Method and apparatus for identifying properties of an object detected by a video surveillance camera
Koenig et al. Comparative classification analysis of post-harvest growth detection from terrestrial LiDAR point clouds in precision agriculture
US7613360B2 (en) Multi-spectral fusion for video surveillance
US8295548B2 (en) Systems and methods for remote tagging and tracking of objects using hyperspectral video sensors
US9269162B1 (en) Rapid anomaly detection (RAND)
US9639748B2 (en) Method for detecting persons using 1D depths and 2D texture
Ma et al. Polarimetric-spatial classification of SAR images based on the fusion of multiple classifiers
US9213913B1 (en) Rapid iterative detection (RID)
Latry et al. Cloud detection with SVM technique
CN108428220A (en) Satellite sequence remote sensing image sea island reef region automatic geometric correction method
Gupta et al. Change detection in landsat images using unsupervised learning and RBF-based clustering
Diouf et al. Retrieving aerosol characteristics and sea-surface chlorophyll from satellite ocean color multi-spectral sensors using a neural-variational method
US20170046579A1 (en) Method and system for ugv guidance and targeting
KR102224704B1 (en) Apparatus for training artificial neural network detecting targets in hyperspectral image and method thereof, apparatus for processing hyperspectral image using artificial neural network
Moshou et al. Multisensor fusion of remote sensing data for crop disease detection
CN111126508A (en) Hopc-based improved heterogeneous image matching method
Macumber et al. Hierarchical closely spaced object (CSO) resolution for IR sensor surveillance
Eismann et al. Automated hyperspectral target detection and change detection from an airborne platform: Progress and challenges
Schachter Target-detection strategies
Fischer et al. An Evolutionary Algorithm for fast intensity based image matching between optical and SAR imagery
Selvaraj et al. Change detection techniques for a remote sensing application: An overview

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant