KR102197297B1 - 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법 - Google Patents

순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법 Download PDF

Info

Publication number
KR102197297B1
KR102197297B1 KR1020190119431A KR20190119431A KR102197297B1 KR 102197297 B1 KR102197297 B1 KR 102197297B1 KR 1020190119431 A KR1020190119431 A KR 1020190119431A KR 20190119431 A KR20190119431 A KR 20190119431A KR 102197297 B1 KR102197297 B1 KR 102197297B1
Authority
KR
South Korea
Prior art keywords
image
hyperspectral
convolutional
learning
network
Prior art date
Application number
KR1020190119431A
Other languages
English (en)
Inventor
송아람
김용일
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020190119431A priority Critical patent/KR102197297B1/ko
Application granted granted Critical
Publication of KR102197297B1 publication Critical patent/KR102197297B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 발명은 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법에 관한 것으로, (a) 변화탐지 네트워크에서 가중치와 잔차의 초기값으로 활용하기 위해 전이학습 모듈이 기구축된 다중분광영상과 초분광영상을 통해 분류 네트워크를 학습하는 단계와; (b) 학습자료 추출 모듈이 서로 다른 시기에 취득된 초분광영상으로부터 학습자료를 생성하는 단계, 및 (c) 변화탐지 네트워크 학습 모듈이 상기 서로 다른 시기에 취득된 초분광영상에 대하여 변화탐지 네트워크를 통해 변화지역과 비변화지역을 학습하여 변화탐지를 수행하는 단계로 이루어짐으로써, 딥러닝 기법을 활용해 초분광영상의 변화탐지를 수행하기 위한 학습자료를 효과적으로 생성하여 학습자료가 부족한 상황에서도 딥러닝 기법을 활용할 수 있고, 원격탐사 영상을 이용한 전이학습을 수행하여 일반 영상과 원격탐사 영상의 구조적 차이로 발생하는 문제를 개선하는 효과가 있다.

Description

순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법 {Change detection method using recurrent 3-dimensional fully convolutional network for hyperspectral image}
본 발명은 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법에 관한 것으로, 더욱 상세하게는 딥러닝 기법을 활용해 초분광영상의 변화탐지를 수행하기 위한 학습자료를 효과적으로 생성하여 학습자료가 부족한 상황에서도 딥러닝 기법을 활용할 수 있고, 원격탐사 영상을 이용한 전이학습을 수행하여 일반 영상과 원격탐사 영상의 구조적 차이로 발생하는 문제를 개선하는, 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법에 관한 것이다.
초분광영상(hyperspectral image)은 광범위하고 연속적인 파장영역에서 물체의 특성에 따른 고유한 분광정보를 제공한다.
변화탐지(change detection)는 원격탐사의 주요 연구 분야이며, 서로 다른 시기에 취득된 영상을 이용하여 동일한 지역에서 발생한 공간 및 분광 변화를 분석하여 자연재해로 인한 피해지역 검출, 식생 및 도심지 모니터링 등에 활용되는 기술이다.
초분광영상은 4~6개의 밴드를 갖는 다중분광영상(multi-spectral image)에 비해 연속적인 파장영역에서 수십~수백 개의 밴드를 갖기 때문에, 물체의 특성에 따른 고유하고 세밀한 분광정보를 제공할 수 있다. 또한 객체의 변화에 따른 미세한 분광특성의 차이를 분석할 수 있다는 점에서 초분광영상을 이용한 다양한 변화탐지 기법이 연구되고 있으며, 농작물의 병해탐지, 재해재난으로 인한 피해 분석과 같은 다양한 활용분야에 적용되고 있다.
기존의 변화탐지 기법들은 주로 다중분광영상을 대상으로 개발되었기 때문에 초분광영상을 변화탐지에 활용할 경우, 기존의 변화탐지 기법을 초분광영상에 그대로 적용하기 어렵다. 따라서 초분광영상을 활용하여 효과적인 변화탐지를 수행하기 위해서는 초분광영상의 특성을 고려해야 하며, 이러한 초분광영상의 특성은 대표적으로 수십~수백개의 밴드에 따른 다차원의 분광정보, 복잡한 연산량, 부족한 학습자료 등이 있다.
한편, 딥러닝(deep learning)기법은 많은 양의 데이터를 효과적으로 처리하고 스스로 유용한 특징을 분석하여 추출할 수 있다는 점에서 객체추출, 영상분류 등 다양한 분야에서 그 성능이 입증되고 있으나, 대부분 RGB로 구성된 일반 영상(natural images)을 대상으로 학습되고 개발되었기 때문에 일반 영상과 스케일, 촬영 각도, 데이터 용량 등에서 큰 차이를 보이는 초분광영상에 그대로 적용하기에는 부적절하다.
이에 원격탐사 영상 분석에 적합한 딥러닝 네트워크를 개발하기 위한 다양한 연구들이 진행되고 있으나, 특히 초분광영상을 활용한 변화탐지를 수행하기 위해서는 수십에서 수백 개에 이르는 초분광영상의 다차원 분광정보에 유연하게 대응하면서 의미있는 정보를 추출할 수 있는 네트워크의 개발이 필요하다.
또한 상대적으로 쉽게 학습자료를 축적할 수 있는 일반 영상과 달리, 충분한 양의 정확한 학습자료를 획득하기 어렵다는 점은 초분광영상에 딥러닝 기법을 적극적으로 활용하는 데 있어 큰 제약이 되고 있다.
위성 및 항공에서 취득된 초분광영상은 일반 영상과 스케일, 촬영 각도, 데이터 용량 등에서 큰 차이를 보이며, 많은 양의 학습 자료를 제작하고 변화에 대한 사전정보 없이 참조자료를 생성하는 것이 어렵기 때문에 딥러닝 네트워크 학습에 사용될 자료가 충분하지 않다는 한계가 존재한다. 또한 원격탐사 분야에서 영상의 2차원 정보를 활용하는 것이 중요함에도, 딥러닝 네트워크의 구조적 특성으로 인하여 입력영상의 2차원 구조를 유지하기 어려운 문제가 있다.
한편, 종래 기술인 대한민국 등록특허공보 제10-1414045호(2014.07.02.공고)는 분광라이브러리 데이터와 입력된 초분광영상을 이용하여 표적을 탐지하는 방법이 개시되어 있는데, 이러한 분광라이브러리 데이터와 입력된 초분광영상을 이용한 표적탐지방법은 미리 설정된 차원 축소 개수에 기초하여, 초분광영상을 미리 설정된 개수의 밴드를 갖는 복수개의 그룹으로 분리하고, 미리 설정된 개수의 밴드들 간의 반사율의 변화량을 기초로, K-Means 클러스터링을 이용하여 물질을 분류하는 단계와, 초분광영상의 분광 데이터 특성에 기초한 영역질의 기반의 k-최근접 질의 알고리즘을 사용하여, k개의 후보자를 추출하고, 추출된 후보자의 차원 축소된 분광 라이브러리 데이터 및 입력된 초분광영상의 차원 축소 데이터에 기초해 표적을 탐지하는 단계를 포함하여 구성되어, 적은 차원을 이용하여 높은 탐지율을 획득할 수 있다. 그러나 변화탐지에 효과적인 밴드정보를 추출하는 데에는 한계가 있다.
대한민국 등록특허공보 제10-1414045호(2014.07.02.공고, 발명의 명칭: 분광라이브러리 데이터와 입력된 초분광영상을 이용한 표적탐지방법)
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 딥러닝 기법을 활용해 초분광영상의 변화탐지를 수행하기 위한 학습자료를 효과적으로 생성하여 학습자료가 부족한 상황에서도 딥러닝 기법을 활용할 수 있는, 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법을 제공하는데 있다.
본 발명의 다른 목적은 주로 일반 영상에서 학습된 정보를 활용한 기존 연구들과 달리 원격탐사 영상을 이용한 전이학습을 수행하여 일반 영상과 원격탐사 영상의 구조적 차이로 발생하는 문제를 개선하고, 다시기(多時期) 초분광영상의 분광적, 공간적, 시간적 정보를 최대한 활용할 수 있도록 하며, 3차원 합성곱 커널을 사용하여 다차원분광정보와 연산량을 효과적으로 처리하기 위한 것이다.
본 발명의 또 다른 목적은 기존의 다양한 변화탐지 기법들이 주로 변화와 비변화 지역을 구분하는 이진변화탐지를 수행한 것과는 달리 학습자료 생성단계에서 변화의 속성을 구분할 수 있는 이점을 활용하여 다중 변화탐지를 수행하고, 이러한 과정은 부가적인 처리과정 없이 두 영상을 입력받아 학습하고 변화탐지를 수행하는 방식으로 진행하기 위한 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명은 (a) 변화탐지 네트워크에서 가중치와 잔차의 초기값으로 활용하기 위해 전이학습 모듈이 기구축된 다중분광영상과 초분광영상을 통해 분류 네트워크를 학습하는 단계와; (b) 학습자료 추출 모듈이 서로 다른 시기에 취득된 초분광영상으로부터 학습자료를 생성하는 단계, 및 (c) 변화탐지 네트워크 학습 모듈이 상기 서로 다른 시기에 취득된 초분광영상에 대하여 변화탐지 네트워크를 통해 변화지역과 비변화지역을 학습하여 변화탐지를 수행하는 단계로 이루어지는 것을 특징으로 한다.
또한, 본 발명에서 상기 단계(a)에서는 기구축된 다중분광영상에서 분류 네트워크의 초기 두 개의 합성곱레이어를 통과하면서 학습된 가중치와 잔차를 기구축된 초분광영상을 활용한 분류 네트워크에 가중치와 잔차의 초기값으로 사용하고, 상기 기구축된 초분광영상은 오차를 공유하며 학습하는 분류 네트워크를 활용하며, 이렇게 기구축된 다중분광영상과 초분광영상을 통해 학습된 분류 네트워크의 초기 두 개의 합성곱레이어의 가중치와 잔차는 상기 변화탐지 네트워크의 합성곱레이어의 가중치와 잔차로 초기화된다.
또한, 본 발명에서 상기 단계(b)에서 학습자료 생성은, (b1) 서로 다른 시기에 취득된 초분광영상의 주성분 분석을 통해 생성된 주성분들의 로딩값을 계산하여 다른 시기간 로딩의 패턴이 다르게 나타난 요소를 주요 주성분으로 결정하는 단계와; (b2) 상기 서로 다른 시기에 취득된 초분광영상을 활용하여 분광상관각을 계산하며 이 분광상관각을 상기 주요 주성분과 융합하여 차영상을 생성하고, 이 차영상에 순수화소 추출기법을 적용하여 변화와 비변화 클래스를 대표할 수 있는 화소를 결정하는 단계, 및 (b3) 초분광영상 내 모든 화소는 상기 변화와 비변화 클래스를 대표하는 화소와의 분광상관각 거리를 기준으로 변화 또는 비변화 클래스로 분류되어 학습자료로 생성하는 단계로 이루어진다.
또한, 본 발명에서 로딩값은 다음의 수학식,
Figure 112019098994216-pat00001
(여기서, 고유벡터(eigenvector)는 선형변환에 의한 변환 결과가 자기 자신의 상수배가 되는 0이 아닌 벡터, 상기 상수배 값이 고유값(eigenvalue))으로 산출하고, 초분광영상의 분광상관값(SCM)과 분광상관각(SCA)은 다음의 수학식들,
Figure 112019098994216-pat00002
Figure 112019098994216-pat00003
(여기서,
Figure 112019098994216-pat00004
과
Figure 112019098994216-pat00005
는 각각 T1과 T2시기에 취득된 영상 I의 밴드별 반사율,
Figure 112019098994216-pat00006
과
Figure 112019098994216-pat00007
는 각각 T1과 T2시기에 취득된 영상 I의 모든 밴드의 반사율 평균, x,y,l은 각각 가로, 세로, 밴드(차원))로 산출하며, 차영상은 다음의 수학식,
Figure 112019098994216-pat00008
(여기서, PC는 주요 주성분, i는 주요 주성분의 갯수)으로 산출한다.
또한, 본 발명에서 상기 단계(c)에서 상기 변화탐지 네트워크는 서로 다른 시기에 취득된 초분광영상인 입력영상과 학습자료를 입력자료로 하고, 공간 및 분광정보를 추출하는 3차원 커널을 사용한 3개의 합성곱 레이어, 시계열 정보를 분석하는 합성곱 장단기 레이어, 분류를 위한 합성곱 레이어로 구성되면서 시간의 경과에 따라 상기 5개의 레이어가 순서대로 수행된다.
또한, 본 발명에서 상기 합성곱 레이어는 다음의 수학식,
Figure 112019098994216-pat00009
(여기서, Oxyz는 합성곱 레이어를 통과하고 출력된 특징맵의 (x,y,z) 위치에서의 화소 분광값, a(x+i)(y+j)(z+k)는 합성곱 레이어를 통과하기 전 이전 특징맵의 (x+i,y+j,z+k) 위치에서의 입력화소값, ｗijk는 3차원 커널의 (i,j,k) 위치의 가중치, b는 잔차, f는 활성함수)을 포함하고, 상기 합성곱 장단기 레이어는 다음의 수학식,
Figure 112019098994216-pat00010
(여기서, σ는 시그모이드 함수,‘*’은 합성곱 연산,‘˚’는 아다마르 곱 연산으로 같은 크기의 두 행렬의 각 성분을 곱하는 연산, Wxi,Wxf,Wxo,Wxc는 입력 벡터 xt에 연결된 가중치 행렬, Whi,Whf,Who,Whc는 이전 t-1의 단기상태 ht-1에 연결된 가중치 행렬, ct- 1는 이전 t-1의 cell state, bf,bi,bo,bc는 네 개의 레이어에 대한 잔차, ht는 합성곱 장단기 레이어를 통과한 후 출력된 특징맵의 화소 분광값)을 포함하되, 상기 공간 및 분광정보를 추출하는 합성곱 레이어를 통해 추출된 특징맵들의 화소 분광값은 합성곱 장단기 레이어의 입력 데이터가 되고 합성곱 장단기 레이어의 출력 특징맵의 화소 분광값은 상기 분류를 위한 합성곱 레이어의 입력 데이터로 합성곱 레이어를 통과하여 입력영상인 초분광영상의 모든 화소는 이진 또는 다중 클래스로 분류된다.
이상에서 살펴본, 본 발명인 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법은 딥러닝 기법을 활용해 초분광영상의 변화탐지를 수행하기 위한 학습자료를 효과적으로 생성하여 학습자료가 부족한 상황에서도 딥러닝 기법을 활용할 수 있고, 원격탐사 영상을 이용한 전이학습을 수행하여 일반 영상과 원격탐사 영상의 구조적 차이로 발생하는 문제를 개선하고, 다시기(多時期) 초분광영상의 분광적, 공간적, 시간적 정보를 최대한 활용할 수 있도록 하며, 3차원 합성곱 커널을 사용하여 다차원분광정보와 연산량을 효과적으로 처리할 뿐만 아니라, 학습자료 생성단계에서 변화의 속성을 구분할 수 있는 이점을 활용하여 다중 변화탐지를 수행할 수 있는 효과가 있다.
도 1 은 본 발명에 따른 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법의 전체 흐름도를 나타낸 도면.
도 2 는 본 발명에서 합성곱 레이어와 합성곱 장단기 레이어로 구성된 변화탐지 네트워크를 나타낸 도면.
도 3 은 본 발명에서 전이학습을 위한 분류 네트워크를 나타낸 도면.
도 4 는 본 발명에서 일실시예에 사용된 입력영상과 현장조사 등을 통해 변화 결과를 나타낸 참조자료를 나타낸 도면.
도 5 는 본 발명에서 각 주성분에 따른 로딩값의 일실시예를 나타낸 도면.
도 6 은 도 5의 각 주성분이 나타내는 영상의 일실시예를 나타낸 도면.
도 7 은 본 발명에서 주요 주성분과 분광상관각 및 차영상의 일실시예를 나타낸 도면.
도 8 은 도 7의 차영상에서 순수화소를 추출한 결과와 모든 화소를 분광상관각에 따라 해당 클래스로 할당한 영상의 일실시예를 나타낸 도면.
도 9 는 본 발명을 통한 일실시예에서 변화탐지의 결과를 나타낸 도면.
도 10 는 본 발명에 따른 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법과 관련된 시스템의 일실시예를 나타낸 구성도.
상기와 같이 구성된 본 발명의 바람직한 실시예를 첨부된 도면을 참조하면서 상세히 설명하면 다음과 같다. 첨부된 도면들 및 이를 참조한 설명은 본 발명에 관하여 당해 기술 분야에서 통상의 지식을 가진 자들이 쉽게 이해할 수 있도록 하기 위해 예시된 것이며, 본 발명의 사상 및 범위를 한정하려는 의도로 제시된 것은 아님에 유의하여야 할 것이다.
도 10은 본 발명에 따른 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법과 관련된 시스템의 일실시예를 나타낸 구성도로, 초분광영상의 변화탐지 장치(10)는 딥러닝 기법을 활용해 초분광영상의 변화탐지를 수행하기 위한 학습자료를 효과적으로 생성하여 학습자료가 부족한 상황에서도 딥러닝 기법을 활용할 수 있는 것으로, 기구축된 고해상도 다중분광영상 자료를 활용하여 전이학습을 수행하며 이렇게 기구축된 다중분광영상에서 학습된 가중치와 잔차를 기구축된 초분광영상 자료들을 활용하여 미세조정하는 전이학습 모듈(11), 다시기(多時期) 초분광영상에서 주요 주성분, 분광상관각, 차영상을 구하고 순수화소 추출을 통해 변화와 비변화를 대표하는 화소기반의 학습자료를 생성하는 학습자료 추출 모듈(12), 3차원 커널을 사용한 3개의 합성곱 레이어와 시계열 정보를 분석하는 합성곱 장단기 레이어, 분류를 위한 합성곱 레이어 등 총 5개의 레이어를 순서대로 수행하는 변화탐지 네트워크 학습 모듈(13)을 포함한다. 즉, 상기 전이학습 모듈(11), 학습자료 추출 모듈(12) 및 변화탐지 네트워크 학습 모듈(13)은 본 발명이 컴퓨터상에서 수행되도록 하기 위한 기술적 수단으로 전이학습부, 학습자료 추출부 및 변화탐지 네트워크 학습부로 각각 명명할 수도 있다.
상기 초분광영상의 변화탐지 장치(10)는 서버, 데스크톱, 노트북 또는 휴대용 단말기 등으로, 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지를 수행하기 위한 소프트웨어를 저장 포함한다.
더불어 상기 초분광영상의 변화탐지 장치(10)에서 연산되거나 입출력되는 자료는 별도의 저장 장치(20)에 저장되도록 하는 것이 좋다. 상기 초분광영상의 변화탐지 장치(10)는 저장 장치(20)를 포함할 수도 있다.
상기와 같이 이루어진 본 발명에 따른 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법에 관하여 도 1의 흐름도를 참조하여 설명하면 다음과 같다.
본 발명은 부가적인 참조자료 없이 학습자료를 생성하고, 부족하지만 기구축된 영상자료(다중분광영상과 초분광영상)를 이용한 전이학습을 통하여 초분광영상의 학습자료 부족 문제를 해결하고, 초분광영상의 특성을 고려한 최적화된 네트워크의 성능을 검증하여 초분광영상의 변화탐지를 위한 딥러닝 기법의 적용가능성을 제시한다.
본 발명에서 딥러닝 변화탐지 네트워크(도 2)는 공간 및 분광정보를 추출하는 5×5×114 크기를 갖는 3차원 커널을 사용한 3개의 합성곱 레이어와 시계열 정보를 분석하는 합성곱 장단기 레이어, 분류를 위한 합성곱 레이어 등 총 5개의 레이어로 구성되면서 시간의 경과에 따라 5개의 레이어가 순서대로 수행되는데 상기 5개의 레이어는 인공신경망에서 일종의 은닉층(Hidden layer)을 구성하는 레이어이다. 위에서 마지막 합성곱 레이어인 분류를 위한 합성곱 레이어의 결과맵의 가로 및 세로의 크기는 입력 영상의 크기와 동일하며, 변화의 대상이 되는 클래스(변화, 비변화 또는 변화의 속성에 따른 클래스)의 개수와 동일한 밴드 수를 갖는다.
여기서 입력 영상은 입력층(Input layer)에 입력자료로 들어가고, 마지막 합성곱 레이어를 거친 영상은 출력층(Output layer)에 이진 또는 다중 클래스로 나타난다. 참고로 도 9는 본 발명의 일실시예로 사용된 서로 다른 두 시기에 취득된 초분광영상(T1,T2)의 변화탐지 네트워크에 의한 출력값이다.
먼저, 공간 및 분광정보를 추출하는 상기 합성곱 레이어는 다음의 수학식 1과 같은 작업을 수행한다.
Figure 112019098994216-pat00011
여기서, Oxyz는 합성곱 레이어를 통과하고 출력된 특징맵의 (x,y,z) 위치에서의 화소 분광값, a(x+i)(y+j)(z+k)는 합성곱 레이어를 통과하기 전 이전 특징맵의 (x+i,y+j,z+k) 위치에서의 입력화소값, ｗijk는 3차원 커널의 (i,j,k) 위치의 가중치, b는 잔차, f는 활성함수이다. 즉 합성곱 레이어를 통과하면서 가중치가 적용된다. 반면 3차원 커널의 경우, 특정 화소를 중심으로 동일 밴드의 경우 2차원 정보 뿐만 아니라 근접한 다른 밴드의 3차원 정보까지 연산에 활용하기 때문에 공간 정보 뿐만 아니라 분광정보도 반영할 수 있다.
다음으로, 상기 합성곱 레이어를 통해 추출된 특징맵들의 화소 분광값은 합성곱 장단기(LSTM, long short-term memory) 레이어의 입력 데이터가 된다. LSTM 레이어는 cell state(ct)를 통해 이전정보를 반영하는데, 세 개의 게이트(gate)(망각게이트(fgt), 입력게이트(igt), 출력게이트(ogt))를 통해 ct의 삭제할 부분, 기억할 부분, 읽어 들일 부분을 학습한다. 망각게이트는 과거의 정보를 잊기 위한 게이트이며, 입력게이트는 현재의 정보를 기억하기 위한 게이트, 출력게이트는 무엇을 내보낼지 결정하는 게이트이다. ct는 타임 스텝(t)마다 일부 기억을 삭제하고 추가하는 과정을 거치게 된 후, 단기 상태 ht를 출력화소값으로 내보낸다. LSTM의 경우, 음성, 문자와 같은 시계열 데이터를 처리하는 과정에서 데이터를 1차원으로 변환하여 처리한다. 따라서 영상에 적용될 경우에 2차원 공간정보가 손실될 가능성이 있다. 따라서, 입력 자료의 공간정보를 고려하기 위하여 합성곱 연산과 LSTM의 장점을 결합한 합성곱 LSTM이 개발되었다.
합성곱 LSTM은 LSTM 내부의 행렬곱 연산이 합성곱 연산으로 대체되며 다음의 수학식 2와 같이 계산된다.
Figure 112019098994216-pat00012
여기서, σ는 시그모이드 함수,‘*’은 합성곱 연산,‘˚’는 아다마르 곱 연산으로 같은 크기의 두 행렬의 각 성분을 곱하는 연산이다. Wxi,Wxf,Wxo,Wxc는 입력 벡터 xt에 연결된 가중치 행렬, Whi,Whf,Who,Whc는 이전 t-1의 단기상태 ht-1에 연결된 가중치 행렬, ct- 1는 이전 t-1의 cell state, bf,bi,bo,bc는 네 개의 레이어에 대한 잔차, ht는 합성곱 장단기 레이어를 통과한 후 출력된 특징맵의 화소 분광값이다.
합성곱 장단기 레이어의 출력 특징맵의 화소 분광값은 분류를 위한 하나의 추가 합성곱 레이어의 입력 데이터로 합성곱 레이어를 통과(가중치 적용)하게 되는데 여기서 추가 합성곱 레이어의 수학식은 상기 수학식 1과 동일하고, 최종적으로 모든 화소는 변화 또는 비변화 클래스로 분류되거나 학습자료에 따라 2가지 이상의 클래스로 분류될 수 있다(S30).
즉, 본 발명에서는 변화탐지 네트워크 학습 모듈(13)이 3차원 커널을 사용한 3개의 합성곱 레이어와 시계열 정보를 분석하는 합성곱 장단기 레이어, 분류를 위한 합성곱 레이어 등 총 5개의 레이어를 순서대로 수행하게 되는데, 이러한 일련의 과정들은 최종적으로 컴퓨터로 수행하기 위해 프로그램 언어를 통해 직접 알고리즘을 코딩한 프로그램이고, 이러한 프로그램은 상기 수학식 1과 수학식 2가 포함되면서 컴퓨터의 초분광영상의 변화탐지 장치(10) 또는 저장 장치(20)에 저장되어 변화탐지 네트워크 학습 모듈(13)이 저장 장치(20)에 입력된 입력자료들(서로 다른 시기에 취득된 초분광영상인 입력영상, 학습자료 등)과 상기 프로그램을 이용하여 결과(변화 또는 비변화 클래스로 분류되거나 학습자료에 따라 2가지 이상의 클래스로 분류)를 산출하게 되는 것이다.
한편, 본 발명에서는 서로 다른 시기에 취득된 초분광영상에 대하여 딥러닝 변화탐지 네트워크를 이용하여 변화탐지를 수행하기 위해서는 변화지역과 비변화지역을 학습할 수 있는 상기 학습자료가 필요하다. 이러한 학습자료는 이미 답을 알고 있는 참조자료에서 일부 추출하거나 또는 실험지역에 대한 현장조사 등 사전정보를 바탕으로 사용자가 임의로 추출할 수 있으나, 변화탐지의 특성상 변화가 발생한 지역이 접근이 불가능한 지역일 수 있으며 사전정보를 활용할 수 없는 경우가 많다. 참고로 도 4는 본 발명의 일실시예에서 사용된 서로 다른 두 시기에 취득된 초분광영상인 입력자료(T1,T2)와 본 발명의 일실시예인 출력값과 비교하기 위해 현장조사 등을 통해 변화결과를 나타낸 참조자료인데 상기 도 9와 비교해보면 유사함을 알 수 있다.
따라서 참조자료 및 사전정보가 부재한 상황에서도 딥러닝 변화탐지 네트워크를 실행하기 위해서 본 발명에서는 서로 다른 두 시기에 취득된 초분광영상으로부터 학습자료를 생성하는 기법을 제안한다(S20). 우선 두 영상의 주성분 분석을 통해 생성된 주성분값 중에 변화를 나타낼 수 있는 성분들을 주요 주성분으로 정의한다. 이때 주요 주성분은 주성분들의 로딩값을 계산하여 결정하며 두 시기간 로딩의 패턴이 다르게 나타난 요소를 주요 주성분으로 본다(도 5). 도 5에서 T1과 T2는 취득된 초분광영상의 서로 다른 두 시기를 나타내는 것인데 두 시기간 로딩의 패턴을 비교하기 위해 T1과 T2에서 초분광영상의 밴드별 로딩값을 횡방향으로 스택(stack)한 것이고, PC는 주성분을 나타내는 것인데 PC1, PC2, PC4들이 패턴이 달라 주요 주성분으로 볼 수 있다. 참고로 도 6은 도 5의 각 주성분이 나타내는 영상의 일실시예를 나타낸 것이다.
또한, 두 시기의 초분광영상을 활용하여 분광상관각을 계산하며 이 값을 주요 주성분과 융합한다. 이러한 융합된 영상을 차영상이라 정의하며, 차영상에 대표적인 순수화소 추출기법인 Iterative Error Analysis 기법을 적용하여 변화와 비변화 클래스를 대표할 수 있는 화소를 결정한다. 도 7에 나타낸 바와 같이 주요 주성분과 분광상관각이 계산된 후 차영상을 생성하고 차영상의 경우 영상에서 변화 및 비변화 클래스가 보다 선명하게 나타나는 것을 볼 수 있으며, 도 8에 나타낸 바와 같이 차영상에서 순수화소를 추출한 후 화소 기반의 학습자료가 생성되는데, 영상 내 모든 화소는 변화와 비변화 클래스를 대표하는 화소와의 분광상관각 거리를 기준으로 변화 또는 비변화 클래스로 분류되어 학습자료로 생성된다. 이때 변화를 대표하는 화소가 한 개 이상일 경우 이진 변화탐지가 아닌 변화의 속성에 따라 세분화된 변화탐지를 수행할 수 있는데 도 8에서는 변화를 대표하는 화소가 4개이고 비변화를 대표하는 화소가 1개인 것을 나타내는 실시예이고, 결국 학습자료는 서로 다른 두 시기에 취득된 초분광영상인 T1영상과 T2영상에서 추출되는 것이고 상기 T1영상과 T2영상 및 학습자료는 변화탐지 네트워크에서 입력자료로 활용되며, 상기 생성된 학습자료는 변화탐지 네트워크 내에서 각 레이어를 통과하면서 학습시 각 레이어에서 가중치와 잔차가 미세조정되는 기준이 된다. 참고로, 도 8에서 ωb 는 학습자료에 포함되지 않는 화소들로 변화탐지 네트워크에서 학습에 의해 변화 또는 비변화 클래스로 분류된다.
다시기(多時期) 초분광영상에서 주요 주성분을 추출할 때 기준이 되는 로딩은 다음의 수학식 3으로 계산된다.
Figure 112019098994216-pat00013
여기서, 고유벡터(eigenvector)는 선형변환에 의한 변환 결과가 자기 자신의 상수배가 되는 0이 아닌 벡터이고, 이 상수배 값을 고유값(eigenvalue)이라고 한다. 다시기(多時期) 초분광영상을 하나의 영상으로 합친(도 5, T1과 T2에서 초분광영상의 밴드별 로딩값을 횡방향으로 스택) 후 주성분 분석을 수행하여 주요 주성분을 구하며(도 6), 각 주성분에 대한 고유벡터와 고유값을 활용해 로딩값을 계산할 수 있다.
또한, 두 초분광영상의 분광상관값(SCM)은 다음의 수학식 4로 계산되며, 분광상관각(SCA)은 다음의 수학식 5로 정의된다.
Figure 112019098994216-pat00014
Figure 112019098994216-pat00015
여기서,
Figure 112019098994216-pat00016
과
Figure 112019098994216-pat00017
는 각각 T1과 T2시기에 취득된 영상 I의 밴드별 반사율을 뜻하며,
Figure 112019098994216-pat00018
과
Figure 112019098994216-pat00019
는 각각 T1과 T2시기에 취득된 영상 I의 모든 밴드의 반사율 평균이고, x,y,l은 각각 가로, 세로, 밴드(차원)을 의미한다.
상술한 바와 같이 주요 주성분과 분광상관각을 계산한 뒤, 두 값들을 곱하여 차영상(DI)을 생성한다. 차영상은 다음의 수학식 6과 같이 정의된다.
Figure 112019098994216-pat00020
여기서, i는 주요 주성분의 갯수이다.
이렇게 구해진 차영상에 대해서 순수화소 추출기법을 통해 차영상에서 순수화소를 추출하며, 이때 순수화소는 변화와 비변화 클래스를 대표하는 화소로 추출된다.
즉, 본 발명에서는 학습자료 추출 모듈(12)이 다시기(多時期) 초분광영상에서 주요 주성분, 분광상관각, 차영상을 구하고 순수화소 추출을 통해 변화와 비변화를 대표하는 화소기반의 학습자료를 생성하게 되는데, 이러한 일련의 과정들은 최종적으로 컴퓨터로 수행하기 위해 프로그램 언어를 통해 직접 알고리즘을 코딩한 프로그램이고, 이러한 프로그램은 상기 수학식 3 내지 수학식 6이 포함되면서 컴퓨터의 초분광영상의 변화탐지 장치(10) 또는 저장 장치(20)에 저장되어 학습자료 추출 모듈(12)이 저장 장치(20)에 입력된 입력자료들(서로 다른 시기에 취득된 초분광영상)과 상기 프로그램을 이용하여 결과(학습자료 생성)를 산출하게 되는 것이다.
한편, 상술한 바와 같이 변화탐지 네트워크의 학습을 위해서 변화탐지를 수행할 두 입력 영상과 변화와 비변화 지역의 학습을 위한 학습자료가 입력자료로서 필요하다. 이때 학습자료는 이전 단계에서 생성한 학습자료를 활용하게 된다. 여기서 네트워크를 학습한다는 것은 각 합성곱 레이어를 구성하는 커널의 가중치와 잔차의 값이 오차를 최소화하는 방향으로 학습하는 것을 의미한다. 학습은 손실함수의 결과값(오차)를 가장 작게 만드는 방향으로 진행된다. 일실시예로 softmax 가 손실함수로 사용될 수 있다. 일반적으로 이런 가중치와 잔차는 임의의 값을 초기값으로 지정하여 학습을 수행하였는데, 본 발명에서는 기구축된 영상(다중분광영상과 초분광영상)에서 학습된 정보를 가중치와 잔차의 초기값으로 활용한다(S10).
이를 위해 예를 들어 6000×6000×4 화소의 크기를 갖는 24장의 기구축된 고해상도 항공 다중분광영상을 30×30×4 크기의 패치로 잘라 40000개의 패치로 저장하며 이를 화소기반 분류를 수행하는 딥러닝 분류 네트워크를 정의하여 학습하는 것이다.
도 3에 나타낸 바와 같이 상기 기구축된 다중분광영상에서 분류 네트워크의 초기 두 개의 합성곱레이어를 통과하면서 학습된 가중치와 잔차는 기구축된 초분광영상을 활용한 분류 네트워크에 가중치와 잔차의 초기값으로 사용한다. 여기서 기구축된 초분광영상의 경우 공개된 영상자료가 부족하기 때문에 본 발명의 일실시예로 대표적인 데이터 셋 3개를 사용하여 오차를 공유하며 학습하는 분류 네트워크를 활용한다. 이렇게 기구축된 다중분광영상과 초분광영상을 통해 학습된 분류 네트워크의 초기 2개의 합성곱레이어의 가중치와 잔차는 상기 변화탐지 네트워크의 초기 2개의 합성곱레이어의 가중치와 잔차로 초기화된다. 이때 분류 네트워크의 초기 합성곱레이어는 영상의 기본적인 특성(모서리, 직선, 색) 등의 정보를 추출하기 때문에 변화탐지를 수행하는 초분광영상과 전이학습에 사용된 영상의 공간 및 분광해상도가 상이한 영향을 받지 않고 영상의 기본적인 정보를 효과적으로 추출할 수 있다.
즉, 본 발명에서는 전이학습 모듈(11)이 기구축된 고해상도 다중분광영상 자료를 활용하여 전이학습을 수행하며, 이렇게 기구축된 다중분광영상에서 학습된 가중치와 잔차를 전이학습 모듈(11)이 기구축된 초분광영상 자료들을 활용하여 미세조정한다. 상기 기구축된 다중 초분광영상 자료는 각각 독립적인 네트워크를 통해 학습되지만 부족한 자료의 한계를 극복하기 위해 중간 단계의 레이어를 공유하며 학습한다. 이렇게 두 단계에 걸쳐 학습된 가중치와 잔차는 변화탐지 네트워크의 초기 합성곱레이어에 적절한 초기값을 제공할 수 있는데, 이러한 일련의 과정들은 최종적으로 컴퓨터로 수행하기 위해 프로그램 언어를 통해 직접 알고리즘을 코딩한 프로그램이고, 이러한 프로그램은 컴퓨터의 초분광영상의 변화탐지 장치(10) 또는 저장 장치(20)에 저장되어 전이학습 모듈(11)이 저장 장치(20)에 입력된 입력자료들(기구축된 다중분광영상과 초분광영상)과 상기 프로그램을 이용하여 결과(학습된 가중치와 잔차)를 산출하게 되는 것이다.
10: 초분광영상의 변화탐지 장치
11: 전이학습 모듈
12: 학습자료 추출 모듈
13: 변화탐지 네트워크 학습 모듈
20: 저장 장치

Claims (6)

  1. (a) 변화탐지 네트워크에서 가중치와 잔차의 초기값으로 활용하기 위해 전이학습 모듈(11)이 기구축된 다중분광영상과 초분광영상을 통해 분류 네트워크를 학습하는 단계(S10)와;
    (b) 학습자료 추출 모듈(12)이 서로 다른 시기에 취득된 초분광영상으로부터 학습자료를 생성하는 단계(S20), 및
    (c) 변화탐지 네트워크 학습 모듈(13)이 상기 서로 다른 시기에 취득된 초분광영상에 대하여 변화탐지 네트워크를 통해 변화지역과 비변화지역을 학습하여 변화탐지를 수행하는 단계(S30)로 이루어지되,
    상기 단계(b)에서 학습자료 생성은,
    (b1) 서로 다른 시기에 취득된 초분광영상의 주성분 분석을 통해 생성된 주성분들의 로딩값을 계산하여 다른 시기간 로딩의 패턴이 다르게 나타난 요소를 주요 주성분으로 결정하는 단계와;
    (b2) 상기 서로 다른 시기에 취득된 초분광영상을 활용하여 분광상관각을 계산하며 이 분광상관각을 상기 주요 주성분과 융합하여 차영상을 생성하고, 이 차영상에 순수화소 추출기법을 적용하여 변화와 비변화 클래스를 대표할 수 있는 화소를 결정하는 단계, 및
    (b3) 초분광영상 내 모든 화소는 상기 변화와 비변화 클래스를 대표하는 화소와의 분광상관각 거리를 기준으로 변화 또는 비변화 클래스로 분류되어 학습자료로 생성하는 단계로 이루어지는 것을 특징으로 하는, 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법.
  2. 제 1 항에 있어서,
    상기 단계(a)에서는 기구축된 다중분광영상에서 분류 네트워크의 초기 두 개의 합성곱레이어를 통과하면서 학습된 가중치와 잔차를 기구축된 초분광영상을 활용한 분류 네트워크에 가중치와 잔차의 초기값으로 사용하고, 상기 기구축된 초분광영상은 오차를 공유하며 학습하는 분류 네트워크를 활용하며, 이렇게 기구축된 다중분광영상과 초분광영상을 통해 학습된 분류 네트워크의 초기 두 개의 합성곱레이어의 가중치와 잔차는 상기 변화탐지 네트워크의 합성곱레이어의 가중치와 잔차로 초기화되는 것을 특징으로 하는, 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    로딩값은 다음의 수학식,
    Figure 112020080075578-pat00021

    (여기서, 고유벡터(eigenvector)는 선형변환에 의한 변환 결과가 자기 자신의 상수배가 되는 0이 아닌 벡터, 상기 상수배 값이 고유값(eigenvalue))으로 산출하고,
    초분광영상의 분광상관값(SCM)과 분광상관각(SCA)은 다음의 수학식들,
    Figure 112020080075578-pat00022

    Figure 112020080075578-pat00023

    (여기서,
    Figure 112020080075578-pat00024
    과
    Figure 112020080075578-pat00025
    는 각각 T1과 T2시기에 취득된 영상 I의 밴드별 반사율,
    Figure 112020080075578-pat00026
    과
    Figure 112020080075578-pat00027
    는 각각 T1과 T2시기에 취득된 영상 I의 모든 밴드의 반사율 평균, x,y,l은 각각 가로, 세로, 밴드(차원))로 산출하며,
    차영상은 다음의 수학식,
    Figure 112020080075578-pat00028

    (여기서, PC는 주요 주성분, i는 주요 주성분의 갯수)으로 산출하는 것을 특징으로 하는, 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법.
  5. 제 1 항에 있어서,
    상기 단계(c)에서 상기 변화탐지 네트워크는 서로 다른 시기에 취득된 초분광영상인 입력영상과 학습자료를 입력자료로 하고, 공간 및 분광정보를 추출하는 3차원 커널을 사용한 3개의 합성곱 레이어, 시계열 정보를 분석하는 합성곱 장단기 레이어, 분류를 위한 합성곱 레이어로 구성되면서 시간의 경과에 따라 상기 5개의 레이어가 순서대로 수행되는 것을 특징으로 하는, 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법.
  6. 제 5 항에 있어서,
    상기 합성곱 레이어는 다음의 수학식,
    Figure 112019098994216-pat00029

    (여기서, Oxyz는 합성곱 레이어를 통과하고 출력된 특징맵의 (x,y,z) 위치에서의 화소 분광값, a(x+i)(y+j)(z+k)는 합성곱 레이어를 통과하기 전 이전 특징맵의 (x+i,y+j,z+k) 위치에서의 입력화소값, ｗijk는 3차원 커널의 (i,j,k) 위치의 가중치, b는 잔차, f는 활성함수)을 포함하고,
    상기 합성곱 장단기 레이어는 다음의 수학식,
    Figure 112019098994216-pat00030

    (여기서, σ는 시그모이드 함수,‘*’은 합성곱 연산,‘˚’는 아다마르 곱 연산으로 같은 크기의 두 행렬의 각 성분을 곱하는 연산, Wxi,Wxf,Wxo,Wxc는 입력 벡터 xt에 연결된 가중치 행렬, Whi,Whf,Who,Whc는 이전 t-1의 단기상태 ht -1에 연결된 가중치 행렬, ct - 1는 이전 t-1의 cell state, bf,bi,bo,bc는 네 개의 레이어에 대한 잔차, ht는 합성곱 장단기 레이어를 통과한 후 출력된 특징맵의 화소 분광값)을 포함하되, 상기 공간 및 분광정보를 추출하는 합성곱 레이어를 통해 추출된 특징맵들의 화소 분광값은 합성곱 장단기 레이어의 입력 데이터가 되고 합성곱 장단기 레이어의 출력 특징맵의 화소 분광값은 상기 분류를 위한 합성곱 레이어의 입력 데이터로 합성곱 레이어를 통과하여 입력영상인 초분광영상의 모든 화소는 이진 또는 다중 클래스로 분류되는 것을 특징으로 하는, 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법.
KR1020190119431A 2019-09-27 2019-09-27 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법 KR102197297B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190119431A KR102197297B1 (ko) 2019-09-27 2019-09-27 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190119431A KR102197297B1 (ko) 2019-09-27 2019-09-27 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법

Publications (1)

Publication Number Publication Date
KR102197297B1 true KR102197297B1 (ko) 2020-12-31

Family

ID=74087581

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190119431A KR102197297B1 (ko) 2019-09-27 2019-09-27 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법

Country Status (1)

Country Link
KR (1) KR102197297B1 (ko)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861690A (zh) * 2021-02-01 2021-05-28 武汉汉达瑞科技有限公司 多方法融合的遥感影像变化检测方法及系统
CN113052130A (zh) * 2021-04-20 2021-06-29 辽宁工程技术大学 基于深度残差网络和边缘保护滤波的高光谱影像分类方法
CN113222908A (zh) * 2021-04-23 2021-08-06 中国科学院西安光学精密机械研究所 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法
CN113379696A (zh) * 2021-06-04 2021-09-10 大连海事大学 一种基于迁移学习张量分解的高光谱异常检测方法
CN113705580A (zh) * 2021-08-31 2021-11-26 西安电子科技大学 基于深度迁移学习的高光谱图像分类方法
CN113706482A (zh) * 2021-08-16 2021-11-26 武汉大学 一种高分辨率遥感影像变化检测方法
CN113780147A (zh) * 2021-09-06 2021-12-10 西安电子科技大学 一种轻量化动态融合卷积网的高光谱地物分类方法及系统
CN113822207A (zh) * 2021-09-27 2021-12-21 海南长光卫星信息技术有限公司 高光谱遥感图像识别方法、装置、电子设备及存储介质
CN113822209A (zh) * 2021-09-27 2021-12-21 海南长光卫星信息技术有限公司 高光谱图像识别方法、装置、电子设备及可读存储介质
CN113887645A (zh) * 2021-10-13 2022-01-04 西北工业大学 一种基于联合注意力孪生网络的遥感图像融合分类方法
CN114663779A (zh) * 2022-03-25 2022-06-24 辽宁师范大学 基于时-空-谱注意力机制的多时相高光谱影像变化检测方法
CN114842253A (zh) * 2022-05-04 2022-08-02 哈尔滨理工大学 基于自适应光谱空间核结合ViT高光谱图像分类方法
CN116297496A (zh) * 2023-05-11 2023-06-23 征图新视(江苏)科技股份有限公司 多光谱智能缺陷检测方法
CN116452983A (zh) * 2023-06-12 2023-07-18 合肥工业大学 一种基于无人机航拍影像的国土地貌变化快速发现方法
CN116561590A (zh) * 2023-07-10 2023-08-08 之江实验室 基于深度学习的微纳光纤负载大小和位置预测方法及装置
CN116612080A (zh) * 2023-05-10 2023-08-18 中国人民解放军61646部队 基于高光谱图像波谱曲线的变化检测方法
CN116612356A (zh) * 2023-06-02 2023-08-18 北京航空航天大学 一种基于深度学习网络的高光谱异常检测方法
CN117372789A (zh) * 2023-12-07 2024-01-09 北京观微科技有限公司 图像分类方法及图像分类装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011096072A (ja) * 2009-10-30 2011-05-12 Mitsubishi Electric Corp 物体検出装置及び物体検出プログラム
KR101414045B1 (ko) 2013-06-24 2014-07-02 인하대학교 산학협력단 분광라이브러리 데이터와 입력된 초분광영상을 이용한 표적탐지방법
KR101463354B1 (ko) * 2013-10-22 2014-11-18 영남대학교 산학협력단 초분광 영상의 특이영역 검출 장치 및 그 방법
KR101556600B1 (ko) * 2014-11-27 2015-10-01 연세대학교 산학협력단 다차원 영상 경계추출 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011096072A (ja) * 2009-10-30 2011-05-12 Mitsubishi Electric Corp 物体検出装置及び物体検出プログラム
KR101414045B1 (ko) 2013-06-24 2014-07-02 인하대학교 산학협력단 분광라이브러리 데이터와 입력된 초분광영상을 이용한 표적탐지방법
KR101463354B1 (ko) * 2013-10-22 2014-11-18 영남대학교 산학협력단 초분광 영상의 특이영역 검출 장치 및 그 방법
KR101556600B1 (ko) * 2014-11-27 2015-10-01 연세대학교 산학협력단 다차원 영상 경계추출 장치 및 그 방법

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861690B (zh) * 2021-02-01 2024-02-02 武汉汉达瑞科技有限公司 多方法融合的遥感影像变化检测方法及系统
CN112861690A (zh) * 2021-02-01 2021-05-28 武汉汉达瑞科技有限公司 多方法融合的遥感影像变化检测方法及系统
CN113052130A (zh) * 2021-04-20 2021-06-29 辽宁工程技术大学 基于深度残差网络和边缘保护滤波的高光谱影像分类方法
CN113052130B (zh) * 2021-04-20 2024-03-29 辽宁工程技术大学 基于深度残差网络和边缘保护滤波的高光谱影像分类方法
CN113222908A (zh) * 2021-04-23 2021-08-06 中国科学院西安光学精密机械研究所 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法
CN113222908B (zh) * 2021-04-23 2023-12-12 中国科学院西安光学精密机械研究所 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法
CN113379696A (zh) * 2021-06-04 2021-09-10 大连海事大学 一种基于迁移学习张量分解的高光谱异常检测方法
CN113379696B (zh) * 2021-06-04 2024-03-26 大连海事大学 一种基于迁移学习张量分解的高光谱异常检测方法
CN113706482B (zh) * 2021-08-16 2023-09-01 武汉大学 一种高分辨率遥感影像变化检测方法
CN113706482A (zh) * 2021-08-16 2021-11-26 武汉大学 一种高分辨率遥感影像变化检测方法
CN113705580A (zh) * 2021-08-31 2021-11-26 西安电子科技大学 基于深度迁移学习的高光谱图像分类方法
CN113780147A (zh) * 2021-09-06 2021-12-10 西安电子科技大学 一种轻量化动态融合卷积网的高光谱地物分类方法及系统
CN113822209B (zh) * 2021-09-27 2023-11-14 海南长光卫星信息技术有限公司 高光谱图像识别方法、装置、电子设备及可读存储介质
CN113822207A (zh) * 2021-09-27 2021-12-21 海南长光卫星信息技术有限公司 高光谱遥感图像识别方法、装置、电子设备及存储介质
CN113822209A (zh) * 2021-09-27 2021-12-21 海南长光卫星信息技术有限公司 高光谱图像识别方法、装置、电子设备及可读存储介质
CN113822207B (zh) * 2021-09-27 2024-02-02 海南长光卫星信息技术有限公司 高光谱遥感图像识别方法、装置、电子设备及存储介质
CN113887645B (zh) * 2021-10-13 2024-02-13 西北工业大学 一种基于联合注意力孪生网络的遥感图像融合分类方法
CN113887645A (zh) * 2021-10-13 2022-01-04 西北工业大学 一种基于联合注意力孪生网络的遥感图像融合分类方法
CN114663779A (zh) * 2022-03-25 2022-06-24 辽宁师范大学 基于时-空-谱注意力机制的多时相高光谱影像变化检测方法
CN114842253A (zh) * 2022-05-04 2022-08-02 哈尔滨理工大学 基于自适应光谱空间核结合ViT高光谱图像分类方法
CN116612080B (zh) * 2023-05-10 2024-01-23 中国人民解放军61646部队 基于高光谱图像波谱曲线的变化检测方法
CN116612080A (zh) * 2023-05-10 2023-08-18 中国人民解放军61646部队 基于高光谱图像波谱曲线的变化检测方法
CN116297496A (zh) * 2023-05-11 2023-06-23 征图新视(江苏)科技股份有限公司 多光谱智能缺陷检测方法
CN116612356B (zh) * 2023-06-02 2023-11-03 北京航空航天大学 一种基于深度学习网络的高光谱异常检测方法
CN116612356A (zh) * 2023-06-02 2023-08-18 北京航空航天大学 一种基于深度学习网络的高光谱异常检测方法
CN116452983A (zh) * 2023-06-12 2023-07-18 合肥工业大学 一种基于无人机航拍影像的国土地貌变化快速发现方法
CN116452983B (zh) * 2023-06-12 2023-10-10 合肥工业大学 一种基于无人机航拍影像的国土地貌变化快速发现方法
CN116561590B (zh) * 2023-07-10 2023-10-03 之江实验室 基于深度学习的微纳光纤负载大小和位置预测方法及装置
CN116561590A (zh) * 2023-07-10 2023-08-08 之江实验室 基于深度学习的微纳光纤负载大小和位置预测方法及装置
CN117372789A (zh) * 2023-12-07 2024-01-09 北京观微科技有限公司 图像分类方法及图像分类装置
CN117372789B (zh) * 2023-12-07 2024-03-08 北京观微科技有限公司 图像分类方法及图像分类装置

Similar Documents

Publication Publication Date Title
KR102197297B1 (ko) 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법
Uddin et al. PCA-based feature reduction for hyperspectral remote sensing image classification
Wang et al. GETNET: A general end-to-end 2-D CNN framework for hyperspectral image change detection
Bergado et al. Recurrent multiresolution convolutional networks for VHR image classification
CN111680176B (zh) 基于注意力与双向特征融合的遥感图像检索方法及系统
Li et al. DANCE-NET: Density-aware convolution networks with context encoding for airborne LiDAR point cloud classification
Heras et al. Exploring ELM-based spatial–spectral classification of hyperspectral images
Gonzalez et al. Supervised detection of exoplanets in high-contrast imaging sequences
Wei et al. Unsupervised nonlinear spectral unmixing based on a multilinear mixing model
Ferdous et al. Machine learning approach towards satellite image classification
CN114937173A (zh) 一种基于动态图卷积网络的高光谱图像快速分类方法
CN110163294A (zh) 基于降维操作和卷积网络的遥感图像变化区域检测方法
Malik et al. Computer vision models for comparing spatial patterns: understanding spatial scale
Ouchra et al. Machine learning for satellite image classification: A comprehensive review
Kurihana et al. Data-driven cloud clustering via a rotationally invariant autoencoder
Appice et al. Detecting salient regions in a bi-temporal hyperspectral scene by iterating clustering and classification
Kumar et al. APO-AN feature selection based Glorot Init Optimal TransCNN landslide detection from multi source satellite imagery
Karimpouli et al. Seminonlinear spectral unmixing using a neural network-based forward modeling
More et al. Novel approach of association rule mining for tree canopy assessment
Negri et al. A general and extensible framework for assessing change detection techniques
Jouni et al. MultiHU-TD: Multi-feature Hyperspectral Unmixing Based on Tensor Decomposition
Saponaro et al. LULC Classification Performance of Supervised and Unsupervised Algorithms on UAV-Orthomosaics
Wu et al. Adaptive pixel unmixing based on a fuzzy ARTMAP neural network with selective endmembers
Hossain et al. Feature Reduction Based on the Fusion of Spectral and Spatial Transformation for Hyperspectral Image Classification
Ashraf et al. Attention 3D central difference convolutional dense network for hyperspectral image classification

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant