KR102616873B1 - 변화 탐지 장치 및 방법 - Google Patents

변화 탐지 장치 및 방법 Download PDF

Info

Publication number
KR102616873B1
KR102616873B1 KR1020230122030A KR20230122030A KR102616873B1 KR 102616873 B1 KR102616873 B1 KR 102616873B1 KR 1020230122030 A KR1020230122030 A KR 1020230122030A KR 20230122030 A KR20230122030 A KR 20230122030A KR 102616873 B1 KR102616873 B1 KR 102616873B1
Authority
KR
South Korea
Prior art keywords
information
image
change detection
satellite
module
Prior art date
Application number
KR1020230122030A
Other languages
English (en)
Inventor
최찬희
박현선
김동영
Original Assignee
메이사플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메이사플래닛 주식회사 filed Critical 메이사플래닛 주식회사
Priority to KR1020230122030A priority Critical patent/KR102616873B1/ko
Application granted granted Critical
Publication of KR102616873B1 publication Critical patent/KR102616873B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 다시기(multi-time) 위성영상 간의 속성 정보(distribution)를 맞추어 줌으로써, 건물 변화 탐지 등에 있어 강건성(robustness)을 향상시킬 수 있는 변화 탐지 장치 및 방법에 관한 것이다.
상기 변화 탐지 장치는, 복수의 위성 이미지를 포함하는 위성 이미지 셋을 수집하는 데이터 수집 모듈, 상기 위성 이미지 셋에 포함된 각 상기 위성 이미지의 속성 정보를 일치시켜 전처리 이미지 셋을 생성하는 전처리 모듈 및 상기 전처리 이미지 셋에 포함된 전처리 이미지 간의 차이를 판단하여, 상기 복수의 위성 이미지 사이의 변화 정보를 생성하는 차이 판단 모듈을 포함하되, 상기 속성 정보는, 상기 위성 이미지의 조도 정보(illumination) 및 색상 정보(color) 중 적어도 하나를 포함할 수 있다.

Description

변화 탐지 장치 및 방법{DEVICE AND METHOD FOR CHANGE DETECTION}
본 발명은 변화 탐지 장치 및 방법에 관한 것이다.
구체적으로, 본 발명은 다시기(multi-time) 위성영상 간의 속성 정보(distribution)를 맞추어 줌으로써, 건물 변화 탐지 등에 있어 강건성(robustness)을 향상시킬 수 있는 변화 탐지 장치 및 방법에 관한 것이다.
또한, 본 발명은 변화 탐지 알고리즘에 어텐션 모듈을 추가한 적응형 변화 탐지 알고리즘을 이용함으로써, 변화 탐지의 강건성 및 성능을 향상시킬 수 있는 변화 탐지 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
현재 지구상공에서는 기상, 통신, 방송, 농업, 우주개발, 군사 등의 목적으로 전세계 수백여대의 인공위성이 고유의 업무를 수행하고 있다. 이러한 인공위성으로부터 촬영된 위성 이미지는 공공 데이터로서 여러 분야에서 다양하게 활용되고 있다.
이러한, 위성 이미지는 매우 높은 고도에서 촬영된 이미지이기 때문에, 최근 이러한 위성 이미지를 딥러닝 기술을 활용하여 가공, 분석 및/또는 저장하기 위한 기술이 각광받고 있다.
이때, 이러한 위성 이미지 분석의 활용점 중에 하나인 변화 탐지 기술은, 다시기 위성 이미지를 비교 분석함으로써, 해당 시간 구간내에서 건물 등이 건축되거나 소멸된 것을 확인하는 기술이다.
다만, 현재 존재하는 변화 탐지 기술은 데이터 증강(data augmentation) 등을 통하여 변화 탐지 모델의 강건성을 향상시키려는 시도만을 하였을 뿐, 다시기 위성 이미지 간의 속성 정보(distribution)를 맞추어 줌으로써 정확한 변화 탐지를 수행하려는 시도는 존재하지 않았다.
그에 따라, 다시기 위성 이미지 간의 속성 정보(distribution)를 일치시키는 등의 전처리를 통해 변화 탐지의 강건성을 증가시킬 수 있는 기술에 관한 니즈가 충분히 존재해왔다.
건물 등의 변화 탐지에 있어 강건성을 향상시킬 수 있는 변화 탐지 장치 및 방법을 제공하는 것이다. 구체적으로, 본 발명의 목적은, 레퍼런스 이미지를 이용하여 다시기 위성영상 간에 조도 정보(illumination) 및 색상 정보(color)를 일치시킴으로써, 더욱 정확한 건물 변화 탐지 등이 가능한 변화 탐지 장치 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은, 변화 탐지 알고리즘에 어텐션 모듈을 추가한 적응형 변화 탐지 알고리즘을 이용함으로써, 변화 탐지의 강건성 및 성능을 향상시킬 수 있는 변화 탐지 장치 및 방법을 제공하는 것이다. 구체적으로, 본 발명의 목적은, 이미지 간에 RGB 정보 중 어느 하나를 교환하는 채널 교환 모듈(Channel Exchange Module), 특정 좌표의 픽셀을 교환하는 스파셜 교환 모듈(Spatial Exchange Module) 등에 관한 어텐션 모듈을 추가로 이용함으로써, 각 채널 및 스파셜의 중요도를 이용한 교환 과정을 수행할 수 있게 되고, 그에 따라 변화 탐지의 강건성 및 성능을 향상시킬 수 있는 변화 탐지 장치 및 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 몇몇 실시예에 따른 변화 탐지 장치는, 복수의 위성 이미지를 포함하는 위성 이미지 셋을 수집하는 데이터 수집 모듈, 상기 위성 이미지 셋에 포함된 각 상기 위성 이미지의 속성 정보를 일치시켜 전처리 이미지 셋을 생성하는 전처리 모듈 및 상기 전처리 이미지 셋에 포함된 전처리 이미지 간의 차이를 판단하여, 상기 복수의 위성 이미지 사이의 변화 정보를 생성하는 차이 판단 모듈을 포함하되, 상기 속성 정보는, 상기 위성 이미지의 조도 정보(illumination) 및 색상 정보(color) 중 적어도 하나를 포함할 수 있다.
또한, 상기 위성 이미지 셋은, 제1 시점에 촬영된 제1 위성 이미지와, 상기 제1 시점과 상이한 제2 시점에 촬영된 제2 위성 이미지를 포함하되, 상기 제1 위성 이미지와 상기 제2 위성 이미지는 동일한 좌표 영역을 촬영한 위성 이미지일 수 있다.
또한, 상기 전처리 모듈은, 미리 정의된 레퍼런스 이미지를 기초로 상기 전처리 이미지 셋을 생성할 수 있다.
또한, 상기 전처리 모듈은, 상기 레퍼런스 이미지의 상기 속성 정보를 추출하여 레퍼런스 속성 정보로 결정하고, 상기 결정된 레퍼런스 속성 정보에 따라 상기 위성 이미지 셋에 포함된 각 위성 이미지의 속성 정보를 변화시킬 수 있다.
또한, 상기 전처리 모듈은, 미리 정의된 이미지 처리 알고리즘을 이용하여 상기 위성 이미지 셋에 포함된 각 위성 이미지의 속성 정보를 변화시킬 수 있다.
또한, 상기 이미지 처리 알고리즘은, 이미지 히스토그램 매칭(Image Histogram Matching) 및 피쳐 분포 매칭(Feature Distribution Matching) 중 적어도 하나를 포함할 수 있다.
또한, 상기 차이 판단 모듈은, 딥러닝 기술을 이용하여 상기 변화 정보를 생성할 수 있다.
또한, 상기 차이 판단 모듈은, 복수의 이미지 간 변화 탐지와 관련하여 미리 정의된 변화 탐지 알고리즘을 기초로 상기 변화 정보를 생성할 수 있다.
또한, 상기 변화 탐지 알고리즘에 어텐션 모듈(Attention Module)이 추가된 적응형 변화 탐지 알고리즘을 학습시키는 학습 모듈을 더 포함하고, 상기 차이 판단 모듈은, 상기 적응형 변화 탐지 알고리즘을 이용하여 상기 변화 정보를 생성할 수 있다.
또한, 상기 적응형 변화 탐지 알고리즘은, 상기 전처리 이미지 셋의 상기 전처리 이미지 간에 RGB 정보 중 적어도 하나를 교환하는 채널 교환 모듈(Channel Exchange Module)에 관한 어텐션 모듈인 제1 어텐션 모듈과, 상기 전처리 이미지 셋의 상기 전처리 이미지 간에 적어도 하나의 특정 좌표의 픽셀을 교환하는 스파셜 교환 모듈(Spatial Exchange Module)에 관한 어텐션 모듈인 제2 어텐션 모듈을 포함할 수 있다.
본 발명의 몇몇 실시예에 따른 변화 탐지 장치 및 방법은, 다시기 위성영상 간의 속성 정보를 맞추어 줌으로써, 건물 등의 변화 탐지에 있어 강건성을 향상시킬 수 있다. 구체적으로, 본 발명의 몇몇 실시예에 따른 변화 탐지 장치 및 방법은, 레퍼런스 이미지를 이용하여 다시기 위성영상 간에 조도 정보(illumination) 및 색상 정보(color)를 일치시킴으로써, 더욱 정확한 건물 변화 탐지 등이 가능할 수 있다.
또한, 본 발명의 몇몇 실시예에 따른 변화 탐지 장치 및 방법은, 변화 탐지 알고리즘에 어텐션 모듈을 추가한 적응형 변화 탐지 알고리즘을 이용함으로써, 변화 탐지의 강건성 및 성능을 더욱 향상시킬 수 있다. 즉, 본 발명의 몇몇 실시예에 따른 변화 탐지 장치 및 방법은, 이미지 간에 RGB 정보 중 어느 하나를 교환하는 채널 교환 모듈에 관한 어텐션 모듈, 특정 좌표의 픽셀을 교환하는 스파셜 교환 모듈 등에 관한 어텐션 모듈 등을 추가로 이용함으로써, 각 채널 및 스파셜의 중요도를 이용한 교환 과정을 수행할 수 있게 되고, 그에 따라 변화 탐지의 강건성 및 성능을 더욱 향상시킬 수 있다.
상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 몇몇 실시예에 따른 변화 탐지 시스템을 도시한 것이다.
도 2는 본 발명의 몇몇 실시예에 따른 변화 탐지 장치의 블록도이다.
도 3은 본 발명의 몇몇 실시예에 따른 위성 이미지 셋을 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명의 몇몇 실시예에 따른 전처리 모듈의 동작을 설명하기 위한 도면이다.
도 5a는 본 발명의 몇몇 실시예에 따른 딥러닝 모듈의 신경망 구조를 설명하기 위한 도면이다.
도 5b는 본 발명의 몇몇 실시예에 따른 오토 인코더를 설명하기 위한 도면이다.
도 6은 미리 정의된 변화 탐지 알고리즘을 설명하기 위한 도면이다.
도 7은 본 발명의 몇몇 실시예에 따른 적응형 변화 탐지 알고리즘을 설명하기 위한 도면이다.
도 8은 본 발명의 몇몇 실시예에 따른 변화 탐지 방법의 흐름도이다.
도 9는 본 발명의 몇몇 실시예에 따른 변화 탐지 방법을 수행하는 변화 탐지 장치의 하드웨어 구현을 설명하기 위한 도면이다.
본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다.
본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다.
이하에서는, 도 1 내지 도 9를 참조하여 본 발명의 몇몇 실시예에 따른 변화 탐지 장치 및 방법에 대해 살펴보도록 한다.
도 1은 본 발명의 몇몇 실시예에 따른 변화 탐지 시스템을 도시한 것이다.
도 1을 참조하면, 본 발명의 몇몇 실시예에 따른 변화 탐지 시스템(1)은, 외부 데이터베이스(100), 변화 탐지 장치(200) 및 통신망(300)을 포함할 수 있다.
외부 데이터베이스(100)는 변화 탐지의 대상이 되는 원본 데이터를 저장, 관리 및/또는 전송하는 데이터베이스일 수 있다.
몇몇 예로, 외부 데이터베이스(100)는 컴퓨터, 노트북 PC, 모바일 기기, 웨어러블 기기 등의 다양한 형태의 전자 기기, 워크스테이션(workstation), 데이터 센터, 인터넷 데이터 센터(internet data center(IDC)), DAS(direct attached storage) 시스템, SAN(storage area network) 시스템, NAS(network attached storage) 시스템 및 RAID(redundant array of inexpensive disks, or redundant array of independent disks) 시스템 등의 형태일 수 있으나, 본 발명의 실시예가 이에 제한되는 것은 아니다.
외부 데이터베이스(100)는 변화 탐지 장치(200)가 변화 탐지를 수행하기 위한 원본 데이터를 변화 탐지 장치(200)로 전송할 수 있다. 다시 말하면, 변화 탐지 장치(200)는 외부 데이터베이스(100)로부터 변화 탐지와 관련된 원본 데이터를 수신할 수 있다.
원본 데이터는 변화 탐지의 대상이 되는 데이터 셋(set)을 의미할 수 있다. 예를 들어, 원본 데이터는 특정 좌표 영역에 대한 영상, 영상 프레임, 이미지, 파노라마 등을 포함할 수 있다. 다시 말하면, 원본 데이터는 특정 좌표 영역에 대한 영상 데이터, 영상 프레임 데이터, 이미지 데이터, 파노라마 데이터 등을 포함할 수 있다. 다만, 본 발명의 실시예가 이에 제한되는 것은 아니다.
몇몇 예로, 원본 데이터는 특정 좌표 영역에 대한 위성 이미지 셋을 포함할 수 있다.
위성 이미지 셋은, 특정 좌표 영역에 대하여 소정 높이의 상공에 위치하는 인공위성으로부터 촬영된 이미지 셋을 의미할 수 있다. 다시 말하면, 위성 이미지 셋은, 특정 좌표 영역에 대하여 인공위성으로부터 촬영된 복수의 위성 이미지를 포함할 수 있다.
예를 들어, 위성 이미지 셋은, 특정 좌표 영역에 대하여 제1 시점에 촬영된 제1 위성 이미지와 해당 좌표 영역에 대하여 제2 시점에 촬영된 제2 위성 이미지를 포함할 수 있다. 이때 제1 시점과 제2 시점은 서로 다른 시점일 수 있고, 예컨대 제2 시점은 제1 시점에 비하여 시간적으로 후순위에 위치한 시점일 수 있다. 또한, 제1 위성 이미지와 제2 위성 이미지는 동일한 좌표 영역에 대한 위성 이미지일 수 있다.
종합하면, 위성 이미지 셋은, 동일한 좌표 영역에 대하여 서로 다른 시점에서 촬영된 복수의 위성 이미지를 포함할 수 있고, 이러한 위성 이미지 셋은 "다시기 위성 이미지(multi-time satellite image)"로 호칭될 수 있다.
이하, 설명의 편의를 위해 외부 데이터베이스(100)가 저장하고 관리하는 원본 데이터는 위성 이미지 셋인 경우를 가정하여 설명하기로 한다.
변화 탐지 장치(200)는 위성 이미지 셋에 포함된 각 위성 이미지 간의 변화 정보를 생성할 수 있다. 다시 말하면, 변화 탐지 장치(200)는 외부 데이터베이스(100)로부터 수신된 위성 이미지 셋으로부터 변화 탐지를 수행할 수 있다.
이때, 변화 탐지 장치(200)는 워크스테이션(workstation), 데이터 센터, 인터넷 데이터 센터(internet data center(IDC)), DAS(direct attached storage) 시스템, SAN(storage area network) 시스템, NAS(network attached storage) 시스템 및 RAID(redundant array of inexpensive disks, or redundant array of independent disks) 시스템 등의 형태일 수 있으나, 본 발명의 실시예가 이에 제한되는 것은 아니다.
몇몇 예로, 변화 탐지 장치(200)는 위성 이미지 셋을 전처리한 후, 전처리 된 각 위성 이미지 간의 변화 정보를 생성할 수 있다.
구체적으로 설명하면, 우선, 변화 탐지 장치(200)는 위성 이미지 셋에 포함된 각 위성 이미지 간에 속성 정보(distribution)를 일치시켜 전처리 이미지 셋을 생성할 수 있다.
예를 들어 설명하면, 변화 탐지 장치(200)는 위성 이미지 셋에 포함된 제1 위성 이미지와 제2 위성 이미지의 속성 정보를 일치시켜, 제1 전처리 이미지와 제2 전처리 이미지를 생성한 후, 생성된 제1 전처리 이미지와 제2 전처리 이미지를 전처리 이미지 셋으로 결정할 수 있다.
속성 정보는 조도 정보(illumination), 색상 정보(color) 등을 포함할 수 있다. 다시 말하면, 변화 탐지 장치(200)는 제1 위성 이미지와 제2 위성 이미지 간에 조도 정보, 색상 정보 등을 일치시키는 전처리 작업을 수행할 수 있다.
조도 정보는, 위성 이미지 내에서 판단되는 특정 좌표 영역에 도달하는 광 량(amount of light) 및/또는 광 강도(intensity of light)에 관한 정보를 포함할 수 있다. 다시 말하면, 조도 정보는 위성 이미지의 특정 좌표 영역에 도달하는 빛의 양과 강도에 관한 정보를 포함할 수 있다.
색상 정보는, 위성 이미지의 각 픽셀이 가지는 색상의 특성에 관한 정보를 포함할 수 있다. 다시 말하면, 색상 정보는 위성 이미지의 각 픽셀이 포함하는 채널(Red, Green, Blue, RGB)에 관한 정보를 포함할 수 있다.
이와 같은 전처리 과정을 통해, 본 발명의 변화 탐지 장치(200)는 더욱 정확한 변화 탐지가 가능하고, 변화 탐지의 강건성(robustness)이 증대될 수 있다.
즉, 위성 이미지 셋에 포함된 각 위성 이미지의 조도 정보, 색상 정보가 상이한 경우, 건물 등의 구조물의 신축 및 소멸 등을 판단하는 것을 목적으로 하는 변화 탐지가 제대로 수행되지 않을 수 있다. 구체적으로 설명하면, "조도 정보"의 관점에서 살펴보면, 동일한 좌표 영역에 관한 복수의 위성 이미지에서, 제1 위성 이미지는 특정 시간에 높은 조도로 촬영되었을 수 있고, 제2 위성 이미지는 다른 시간에 낮은 조도로 촬영되었을 수 있고, 이러한 조도의 차이는 건물의 그림자 길이, 물체의 반사 특성 등의 이미지 특성을 바꿀 수 있어, 이러한 특성들을 기반으로 변화를 탐지하려 할 때 오인식의 위험이 존재한다. 또한, "색상 정보"의 관점에서 보면, 제1 위성 이미지와 제2 위성 이미지의 색상 정보가 일관되지 않으면, 예를 들어 제1 위성 이미지에서는 건물이 밝게 나타나는 반면 제2 위성 이미지에서는 건물이 어둡게 나타날 수 있다. 이 경우, 각 위성 이미지에서 건물의 존재 여부를 판단하는 데 혼란을 가져올 수 있다.
이렇듯, 위성 이미지 셋에 포함된 각 위성 이미지의 조도 정보 및/또는 색상 정보의 일관성이 보장되지 않으면, 실제 변화(건물의 신축 또는 철거)와 이러한 외부 요인(조도 및/또는 색상)에 의한 변화를 혼동할 가능성이 높아질 수 있다. 따라서, 본 발명의 변화 탐지 장치(200)는 이러한 외부 요인의 영향을 줄이는 방향의 전처리를 수행함으로써 변화 탐지의 강건성(robustness)을 증대시킬 수 있는 것이다.
이때, 변화 탐지 장치(200)는 레퍼런스 이미지를 이용하여 각 위성 이미지의 속성 정보를 일치시킬 수 있다.
예를 들어, 변화 탐지 장치(200)는 레퍼런스 이미지로부터 레퍼런스 속성 정보를 결정하고, 결정된 레퍼런스 속성 정보에 따라 각 위성 이미지의 속성 정보를 일치시킬 수 있다. 다시 말하면, 변화 탐지 장치(200)는 각 위성 이미지의 속성 정보가 레퍼런스 속성 정보와 일치되도록 처리할 수 있다.
이때, 변화 탐지 장치(200)는 미리 정의된 이미지 처리 알고리즘을 이용하여 각 위성 이미지의 속성 정보를 변경할 수 있다. 다시 말하면, 변화 탐지 장치(200)는 각 위성 이미지의 속성 정보가 레퍼런스 속성 정보와 일치되도록 처리할 때, 미리 정의된 이미지 처리 알고리즘을 이용할 수 있다.
변화 탐지 장치(200)가 이용하는 이미지 처리 알고리즘은, 각 위성 이미지 간의 밝기를 동일하게 맞추어 주는 이미지 히스토그램 매칭(Image Histogram Matching) 및/또는 이미지들의 특징점의 분포를 비교하고 일치시키는 피쳐 분포 매칭(Feature Distribution Matching)등을 포함할 수 있다. 다만, 본 발명의 실시예가 이에 제한되는 것은 아니며, 변화 탐지 장치(200)는 컬러 트랜스퍼(Color Transfer), 감마 코렉션(Gamma Correction), 화이트 밸런스 앳져스트먼트(White Balance Adjustment) 등의 기타 알고리즘을 이용할 수 있음은 당연하다.
이어서, 변화 탐지 장치(200)는 전처리 작업이 완료되면, 해당 전처리 이미지를 비교함으로써 위성 이미지 셋의 각 위성 이미지 간의 변화 정보를 생성할 수 있다. 다시 말하면, 변화 탐지 장치(200)는 전처리 이미지간의 비교를 통해, 제1 시점에 촬영된 제1 위성 이미지와, 제2 시점에 촬영된 제2 위성 이미지 간의 변화 정보를 판단할 수 있다.
이때, 변화 정보는 제1 시점에 비하여 제2 시점에 신축 또는 소멸된 구조물(예: 건물)에 관한 정보를 포함할 수 있다.
몇몇 예로, 변화 탐지 장치(200)는 딥러닝 기술을 이용하여 변화 정보를 생성할 수 있다. 다시 말하면, 변화 탐지 장치(200)는 딥러닝 기술을 이용하여 전처리 이미지 셋에 포함된 제1 전처리 이미지와 제2 전처리 이미지를 비교하고, 비교 결과에 기초하여 변화 정보를 생성할 수 있다.
예를 들어, 변화 탐지 장치(200)는 미리 정의된 변화 탐지 알고리즘을 기초로 변화 정보를 생성할 수 있다. 예컨대, 변화 탐지 장치(200)는 상기 변화 탐지 알고리즘에 어텐션 모듈(Attention Module)이 추가된 적응형 변화 탐지 알고리즘을 학습시키고, 학습된 적응형 변화 탐지 알고리즘을 이용하여 변화 정보를 생성할 수 있다.
이때, 적응형 변화 탐지 알고리즘은, 전처리 이미지 셋에 포함된 전처리 이미지 간에 RGB 정보 중 어느 하나를 교환하는 채널 교환 모듈(Channel Exchange Module)에 관한 어텐션 모듈인 제1 어텐션 모듈 및/또는 전처리 이미지 셋에 포함된 전처리 이미지 간에 특정 좌표의 픽셀을 교환하는 스파셜 교환 모듈(Spatial Exchange Module)에 관한 어텐션 모듈인 제2 어텐션 모듈 등을 포함할 수 있다.
변화 탐지 장치(200)의 자세한 동작 과정에 대하여는 후술하기로 한다.
한편, 통신망(300)은 외부 데이터베이스(100)와 변화 탐지 장치(200)를 연결하는 역할을 수행한다. 즉, 통신망(300)은 변화 탐지 장치(200)가 외부 데이터베이스(100)로부터 데이터를 송수신할 수 있도록 접속 경로를 제공하는 통신망을 의미한다. 통신망(300)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(MetRoFolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
이하, 도 2를 참조하여 변화 탐지 장치(200)에 대하여 더 자세히 설명하기로 한다.
도 2는 본 발명의 몇몇 실시예에 따른 변화 탐지 장치의 블록도이다.
도 1 및 도 2를 참조하면, 변화 탐지 장치(200)는 위성 이미지 셋(Satelite Image Set, 이하 "SI_set"이라 한다)을 수신한 후, 수신된 위성 이미지 셋(SI_set)을 기초로 변화 탐지를 수행하여 변화 정보(Difference Information, 이하 "DI"라 한다)를 생성할 수 있다.
구체적으로, 변화 탐지 장치(200)는 데이터 수집 모듈(210), 전처리 모듈(220), 차이 판단 모듈(230) 및 학습 모듈(240)을 포함할 수 있다.
데이터 수집 모듈(210)은 위성 이미지 셋(SI_set)을 수신할 수 있다. 다시 말하면, 데이터 수집 모듈(210)은 외부 데이터베이스(100)로부터 위성 이미지 셋(SI_set)을 전송받을 수 있다.
위성 이미지 셋(SI_set)은, 특정 좌표 영역에 대하여 소정 높이의 상공에 위치하는 인공위성으로부터 촬영된 이미지 셋을 의미할 수 있다. 다시 말하면, 위성 이미지 셋(SI_set)은, 특정 좌표 영역에 대하여 인공위성으로부터 촬영된 복수의 위성 이미지(SI_1, SI_2)를 포함할 수 있다.
이하, 도 3을 참조하여 위성 이미지 셋(SI_set)에 대하여 더 자세히 설명하기로 한다.
도 3은 본 발명의 몇몇 실시예에 따른 위성 이미지 셋을 설명하기 위한 도면이다.
도 3을 참조하면, 위성 이미지 셋(SI_set)은, 특정 좌표 영역에 대하여 소정 높이의 상공에 위치하는 인공위성으로부터 촬영된 이미지 셋을 의미할 수 있다. 다시 말하면, 위성 이미지 셋(SI_set)은, 특정 좌표 영역에 대하여 인공위성으로부터 촬영된 복수의 위성 이미지(SI_1, SI_2)를 포함할 수 있다.
예를 들어, 위성 이미지 셋(SI_set)은, 특정 좌표 영역에 대하여 제1 시점에 촬영된 제1 위성 이미지(SI_1)와 해당 좌표 영역에 대하여 제2 시점에 촬영된 제2 위성 이미지(SI_2)를 포함할 수 있다. 이때 제1 시점과 제2 시점은 서로 상이한 시점일 수 있고, 예컨대 제2 시점은 제1 시점에 비하여 시간적으로 후순위에 위치한 시점일 수 있다.
이때, 제1 위성 이미지(SI_1)와 제2 위성 이미지(SI_2)는 동일한 좌표 영역에 대한 위성 이미지일 수 있다. 다시 말하면, 제1 위성 이미지(SI_1)와 제2 위성 이미지(SI_2)는 동일한 좌표 영역에 대하여 촬영된 위성 이미지일 수 있다.
종합하면, 위성 이미지 셋(SI_set)은, 동일한 좌표 영역에 대하여 서로 다른 시점에서 촬영된 복수의 위성 이미지(SI_1, SI_2)를 포함할 수 있고, 이러한 위성 이미지 셋(SI_set)은 "다시기 위성 이미지(multi-time satellite image)"로 호칭될 수 있다.
다시 도 1 및 도 2를 참조하면, 데이터 수집 모듈(210)은 수신된 위성 이미지 셋(SI_set)을 변화 탐지 장치(200) 내의 다른 구성요소에 전달할 수 있다. 예컨대, 데이터 수집 모듈(210)은 위성 이미지 셋(SI_set)을 전처리 모듈(220) 등에 전달할 수 있으나, 본 발명이 이에 제한되는 것은 아니다.
데이터 수집 모듈(210)에는 다양한 통신 모듈이 이용될 수 있으며, 통신망(도 1의 300)을 통해 외부 데이터베이스(100)와 변화 탐지 장치(200) 사이의 데이터 교환을 수행할 수 있다.
전처리 모듈(220)은 위성 이미지 셋(SI_set)을 전처리할 수 있다. 다시 말하면, 전처리 모듈(220)은 위성 이미지 셋(SI_set)을 전처리하여 전처리 이미지 셋(Pre-Processing Image Set, 이하 "PI_set"이라 한다)을 생성할 수 있다. 즉, 전처리 모듈(220)은 제1 위성 이미지(SI_1)와 제2 위성 이미지(SI_2)를 전처리하여 제1 전처리 이미지(PI_1)와 제2 전처리 이미지(PI_2)를 각각 생성할 수 있다.
몇몇 예로, 전처리 모듈(220)은 위성 이미지 셋(SI_set)에 포함된 각 위성 이미지 간에 속성 정보(distribution)를 일치시켜 전처리 이미지 셋(PI_set)을 생성할 수 있다. 다시 말하면, 전처리 모듈(220)은 제1 위성 이미지(SI_1)와 제2 위성 이미지(SI_2) 간에 속성 정보를 일치시켜 제1 전처리 이미지(PI_1)와 제2 전처리 이미지(PI_2)를 생성할 수 있다. 즉, 전처리 모듈(220)이 생성한 제1 전처리 이미지(PI_1)와 제2 전처리 이미지(PI_2)간에는 속성 정보가 동일하거나 또는 미리 정해진 임계범위 내로 유사할 수 있다.
속성 정보는 조도 정보(illumination), 색상 정보(color) 등을 포함할 수 있다. 다시 말하면, 전처리 모듈(220)은 제1 위성 이미지(SI_1)와 제2 위성 이미지(SI_2) 간에 조도 정보, 색상 정보 등을 일치시키는 전처리 작업을 수행할 수 있다.
조도 정보는, 위성 이미지 내에서 판단되는 특정 좌표 영역에 도달하는 광 량(amount of light) 및/또는 광 강도(intensity of light)에 관한 정보를 포함할 수 있다. 다시 말하면, 조도 정보는 위성 이미지의 특정 좌표 영역에 도달하는 빛의 양과 강도에 관한 정보를 포함할 수 있다.
색상 정보는, 위성 이미지의 각 픽셀이 가지는 색상의 특성에 관한 정보를 포함할 수 있다. 다시 말하면, 색상 정보는 위성 이미지의 각 픽셀이 포함하는 채널(Red, Green, Blue, RGB)에 관한 정보를 포함할 수 있다.
이와 같은 전처리 과정을 통해, 본 발명의 변화 탐지 장치(200)는 더욱 정확한 변화 탐지가 가능하고, 변화 탐지의 강건성(robustness)이 증대될 수 있다.
즉, 위성 이미지 셋(SI_set)에 포함된 각 위성 이미지(SI_1, SI_2)의 조도 정보, 색상 정보가 상이한 경우, 건물 등의 구조물의 신축 및 소멸 등을 판단하는 것을 목적으로 하는 변화 탐지가 제대로 수행되지 않을 수 있다. 구체적으로 설명하면, "조도 정보"의 관점에서 살펴보면, 동일한 좌표 영역에 관한 복수의 위성 이미지(SI_1, SI_2)에서, 제1 위성 이미지(SI_1)는 특정 시간에 높은 조도로 촬영되었을 수 있고, 제2 위성 이미지(SI_2)는 다른 시간에 낮은 조도로 촬영되었을 수 있고, 이러한 조도의 차이는 건물의 그림자 길이, 물체의 반사 특성 등의 이미지 특성을 바꿀 수 있어, 이러한 특성들을 기반으로 변화를 탐지하려 할 때 오인식의 위험이 존재한다. 또한, "색상 정보"의 관점에서 보면, 제1 위성 이미지(SI_1)와 제2 위성 이미지(SI_2)의 색상 정보가 일관되지 않으면, 예를 들어 제1 위성 이미지(SI_1)에서는 건물이 밝게 나타나는 반면 제2 위성 이미지(SI_2)에서는 건물이 어둡게 나타날 수 있다. 이 경우, 각 위성 이미지(SI_1, SI_2)에서 건물의 존재 여부를 판단하는 데 혼란을 가져올 수 있다.
이렇듯, 위성 이미지 셋(SI_set)에 포함된 각 위성 이미지(SI_1, SI_2)의 조도 정보 및/또는 색상 정보의 일관성이 보장되지 않으면, 실제 변화(건물의 신축 또는 철거)와 이러한 외부 요인(조도 및/또는 색상)에 의한 변화를 혼동할 가능성이 높아질 수 있다. 따라서, 본 발명의 전처리 모듈(220)은 이러한 외부 요인의 영향을 줄이는 방향의 전처리를 수행함으로써 변화 탐지의 강건성(robustness)을 증대시킬 수 있는 것이다.
이때, 전처리 모듈(220)은 레퍼런스 이미지를 이용하여 각 위성 이미지(SI_1, SI_2)의 속성 정보를 일치시킬 수 있다.
이하, 도 4a 및 도 4b를 참조하여 본 발명의 전처리 모듈(220)이 레퍼런스 이미지를 이용하여 전처리 이미지 셋(PI_set)을 생성하는 과정을 더 자세히 설명하기로 한다.
도 4a 및 도 4b는 본 발명의 몇몇 실시예에 따른 전처리 모듈의 동작을 설명하기 위한 도면이다. 구체적으로, 도 4a는 전처리 모듈(220)이 레퍼런스 이미지(Reference Image, 이하 "RI"라 한다)를 이용하여 전처리를 수행하는 과정을 도시한 개념도이고, 도 4b는 전처리 모듈(220)이 레퍼런스 이미지(RI)를 이용하여 전처리를 수행하는 과정을 도시한 블록도이다.
도 4a 및 도 4b를 참조하면, 전처리 모듈(220)은 레퍼런스 이미지(RI)를 이용하여 위성 이미지 셋(SI_set)에 포함된 각 위성 이미지(SI_1, SI_2)를 전처리할 수 있다.
몇몇 예로, 전처리 모듈(220)은 레퍼런스 이미지(RI)를 이용하여 위성 이미지 셋(SI_set)에 포함된 각 위성 이미지(SI_1, SI_2)의 속성 정보를 일치시켜 전처리 이미지 셋(PI_set)을 생성할 수 있다.
이때, 전술한 바와 같이 속성 정보는 조도 정보, 색상 정보 등을 포함할 수 있다. 조도 정보는, 위성 이미지 내에서 판단되는 특정 좌표 영역에 도달하는 광 량(amount of light) 및/또는 광 강도(intensity of light)에 관한 정보를 포함할 수 있다. 다시 말하면, 조도 정보는 위성 이미지의 특정 좌표 영역에 도달하는 빛의 양과 강도에 관한 정보를 포함할 수 있다. 색상 정보는, 위성 이미지의 각 픽셀이 가지는 색상의 특성에 관한 정보를 포함할 수 있다. 다시 말하면, 색상 정보는 위성 이미지의 각 픽셀이 포함하는 채널(Red, Green, Blue, RGB)에 관한 정보를 포함할 수 있다.
구체적으로 설명하면, 우선, 전처리 모듈(220)은 레퍼런스 이미지(RI)로부터 레퍼런스 속성 정보(Reference Characteristic Information, 이하 "RCI"라 한다)를 추출할 수 있다. 예를 들어, 전처리 모듈(220)은 미리 정해진 속성 정보 판단 알고리즘을 이용하여 레퍼런스 속성 정보(RCI)를 추출할 수 있다. 이때, 속성 정보 판단 알고리즘은, 예컨대 히스토그램 분석(Histogram Analysis), 피쳐 분석(Feature Analysis) 등에 기초한 기 공지된 알고리즘들을 포함할 수 있으나, 본 발명의 실시예가 이에 제한되는 것은 아니다.
이어서, 전처리 모듈(220)은 레퍼런스 속성 정보(RCI)에 따라 각 위성 이미지(SI_1, SI_2)의 속성 정보를 일치시킬 수 있다. 다시 말하면, 변화 탐지 장치(200)는 각 위성 이미지(SI_1, SI_2)의 속성 정보가 레퍼런스 속성 정보(RCI)와 동일한 값을 가지도록 처리할 수 있다.
이때, 변화 탐지 장치(200)는 미리 정의된 이미지 처리 알고리즘을 이용하여 각 위성 이미지(SI_1, SI_2)의 속성 정보를 변경할 수 있다. 다시 말하면, 변화 탐지 장치(200)는 각 위성 이미지(SI_1, SI_2)의 속성 정보가 레퍼런스 속성 정보(RCI)와 일치되도록 처리할 때, 미리 정의된 이미지 처리 알고리즘을 이용할 수 있다.
변화 탐지 장치(200)가 이용하는 이미지 처리 알고리즘은, 각 위성 이미지 간의 밝기를 동일하게 맞추어 주는 이미지 히스토그램 매칭(Image Histogram Matching) 및/또는 이미지들의 특징점의 분포를 비교하고 일치시키는 피쳐 분포 매칭(Feature Distribution Matching)등을 포함할 수 있다. 다만, 본 발명의 실시예가 이에 제한되는 것은 아니며, 변화 탐지 장치(200)는 컬러 트랜스퍼(Color Transfer), 감마 코렉션(Gamma Correction), 화이트 밸런스 앳져스트먼트(White Balance Adjustment) 등의 기타 알고리즘을 이용할 수 있음은 당연하다.
전처리 모듈(220)이 생성한 전처리 이미지 셋(PI_set)의 제1 전처리 이미지(PI_1)와 제2 전처리 이미지(PI_2)간에는 속성 정보가 동일하거나 또는 미리 정해진 임계범위 내로 유사할 수 있다.
다시 도 1 및 도 2를 참조하면, 전처리 모듈(220)은 생성된 전처리 이미지 셋을 차이 판단 모듈(230)에 전달할 수 있다.
차이 판단 모듈(230)은 전처리 이미지 셋(PI_set)에 포함된 각 전처리 이미지(PI_1, PI_2)를 비교함으로써 위성 이미지 셋(SI_set)의 각 위성 이미지(SI_1, SI_2) 간의 변화 정보(DI)를 생성할 수 있다. 다시 말하면, 변화 탐지 장치(200)는 전처리 이미지들(PI_1, PI_2)간의 비교를 통해, 제1 시점에 촬영된 제1 위성 이미지(SI_1)와, 제2 시점에 촬영된 제2 위성 이미지(SI_2)간의 변화 정보(DI)를 판단할 수 있다.
이때, 변화 정보(DI)는 제1 시점에 비하여 제2 시점에 신축 또는 소멸된 구조물(예: 건물)에 관한 정보를 포함할 수 있다.
몇몇 예로, 차이 판단 모듈(230)은 딥러닝 기술을 이용하여 변화 정보(DI)를 생성할 수 있다.
이때, 차이 판단 모듈(230)은 머신 러닝(machine learning)을 기반으로 학습될 수 있다.
보다 자세히 설명하자면, 머신 러닝(Machine Learning)의 일종인 딥러닝(Deep Learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다. 즉, 딥러닝은, 단계를 높여가면서 복수의 데이터들 로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낸다.
몇몇 예로, 차이 판단 모듈(230)은 공지된 다양한 딥러닝 구조를 이용할 수 있다. 예를 들어, 차이 판단 모듈(230)은 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network), GNN(Graph Neural Network), GAN (Generative Adversarial Network), Transformer, Autoencoder 등의 구조를 이용할 수 있다.
구체적으로, CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다. CNN은 공지된 LeNet, AlexNet, VGGNet, GoogleNet, ResNet 등의 구조를 포함할 수 있으나, 이에 제한되는 것은 아니다.
RNN(Recurrent Neural Network)은 자연어 처리 등에 많이 이용되며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아 올려 인공신경망 구조를 구성할 수 있다.
DBN(Deep Belief Network)은 딥러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥러닝 구조이다. RBM(Restricted Boltzman Machine) 학습을 반복하여 일정 수의 레이어가 되면, 해당 개수의 레이어를 가지는 DBN(Deep Belief Network)이 구성될 수 있다.
GNN(Graphic Neural Network, 그래픽 인공신경망, 이하, GNN)는 특정 파라미터 간 매핑된 데이터를 기초로 모델링된 모델링 데이터를 이용하여, 모델링 데이터 간의 유사도와 특징점을 도출하는 방식으로 구현된 인공신경망 구조를 나타낸다.
GAN(Generative Adversarial Network, 적대적 생성 신경망, 이하 GAN)은 생성신경망과 구별신경망을 이용하여, 입력된 데이터와 유사한 형태의 새로운 데이터를 만들어내는 인공신경망 구조를 나타낸다. GAN은 공지된 DCGAN(Deep Convolutional GAN), CGAN (Conditional GAN), WGAN (Wasserstein GAN), StyleGAN (Style-Based GAN), CycleGAN 등을 포함할 수 있으나, 본 발명의 실시예가 이에 제한되는 것은 아니다.
Transformer(트랜스포머)는 어텐션을 활용한 인코더-디코더 구조의 인공신경망으로서, 입력 시퀀스와 출력 시퀀스 간의 전체적인 의미를 파악할 수 있다. 트랜스포머는, 어텐션(Attention) 메커니즘을 이용하여 입력 시퀀스의 모든 요소가 출력 시퀀스에 영향을 주도록 하며, 이를 통해 인코더와 디코더 모두 시퀀스 전체를 고려할 수 있다. 트랜스포머는, 자연어, 시계열 데이터뿐만 아니라, 이미지를 패치화 하여 입력으로 사용할 수 있다.
Autoencoder(오토 인코더)는 데이터의 특징을 추출하고 재구성하는 역할을 수행하는 딥러닝 구조이다. 대표적으로 오토 인코더는 입력값을 압축하는 인코더와, 압축된 데이터를 복원하는 디코더를 포함한다. 인코더는 입력값을 저차원의 잠재 표현(latent representation)으로 변환하고, 디코더는 잠재 표현을 입력값과 동일한 차원으로 복원한다. 이 때 인코더와 디코더는 각각 다층 퍼셉트론(MLP)으로 구성될 수 있다. 오토인코더를 학습할 때에는 입력 데이터를 입력하고, 출력값과 입력값 간의 차이를 최소화하는 방향으로 가중치와 편향을 학습시킨다. 이렇게 학습된 오토 인코더는 입력 데이터의 특징을 잘 추출하고, 잡음이 있는 입력 데이터를 복원할 수 있다. 오토 인코더는 주로 데이터 압축, 차원 축소, 잡음 제거, 데이터 생성 등의 분야에서 활용되며, 또한, 이미지 인식, 자연어 처리, 음성 인식 등의 분야에서도 활용될 수 있다.
한편, 차이 판단 모듈(230)의 인공신경망 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트 시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(Back Propagation) 등의 방법이 사용될 수 있다.
이때, 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning), 준지도학습(semi-supervised learning), 지도학습(supervised learning)등이 사용될 수 있다. 또한, 차이 판단 모듈(230)은 설정에 따라 학습 후 분석 데이터를 출력하기 위한 인공신경망 구조를 자동 업데이트하도록 제어될 수 있다.
이하, 도 5a를 참조하여 본 발명의 몇몇 실시예에 따른 딥러닝 기술을 통해 구현된 차이 판단 모듈(230)의 신경망 구조에 대하여 더 자세히 설명한다.
도 5a는 본 발명의 몇몇 실시예에 따른 딥러닝 모듈의 신경망 구조를 설명하기 위한 도면이다.
도 2 및 도 5a를 참조하면, 본 발명의 몇몇 실시예에 따른 차이 판단 모듈(230)은 전처리 이미지 셋(PI_set)을 입력노드로 하는 입력 레이어(input)와, 변화 정보(DI)를 출력노드로 하는 출력 레이어(Output)와, 입력 레이어와 출력 레이어 사이에 배치되는 M 개의 히든 레이어를 포함할 수 있다.
여기서, 각 레이어들의 노드를 연결하는 에지(edge)에는 가중치가 설정될 수 있다. 이러한 가중치 혹은 에지의 유무는 학습 과정에서 추가, 제거, 또는 업데이트 될 수 있다. 따라서, 학습 과정을 통하여, k개의 입력노드와 i개의 출력노드 사이에 배치되는 노드들 및 에지들의 가중치는 업데이트될 수 있다.
차이 판단 모듈(230)이 학습을 수행하기 전에는 모든 노드와 에지는 초기값으로 설정될 수 있다. 그러나, 누적하여 정보가 입력될 경우, 노드 및 에지들의 가중치는 변경되고, 이 과정에서 학습인자로 입력되는 파라미터(전처리 이미지 셋(PI_set))와 출력노드로 할당되는 값(변화 정보(DI)) 사이의 매칭이 이루어질 수 있다.
추가적으로, 클라우드 서버를 이용하는 경우, 차이 판단 모듈(230)은 많은 수의 파라미터들을 수신하여 처리할 수 있다. 따라서, 차이 판단 모듈(230)은 방대한 데이터에 기반하여 학습을 수행할 수 있다.
차이 판단 모듈(230)을 구성하는 입력노드와 출력노드 사이의 노드 및 에지의 가중치는 차이 판단 모듈(230)의 학습 과정에 의해 업데이트될 수 있다. 또한, 차이 판단 모듈(230)에서 입력 또는 출력되는 파라미터는 전처리 이미지 셋(PI_set)과 변화 정보(DI) 이외에도 다양한 데이터로 추가 확장될 수 있음은 물론이다.
이하, 도 5b를 참조하여 본 발명에서 이용되는 오토 인코더에 대하여 더 자세히 설명하기로 한다.
도 5b는 본 발명의 몇몇 실시예에 따른 오토 인코더를 설명하기 위한 도면이다.
도 2 및 도 5b를 참조하면, 오토 인코더(Autoencoder, 이하 "AE"라 한다)는 인코더 신경망(Encoder Network; 이하, 인코더부(EN))와 디코더 신경망(Decoder Network; 이하, 디코더부(DN))을 포함하며, 인코더부(EN)와 디코더부(DN) 사이에 배치되는 중간 레이어(Middle Layer; ML)를 포함할 수 있다.
오토 인코더(AE)는 인코더부(EN)를 통해 입력 받은 데이터(즉, 입력 데이터)를 압축시켜 데이터를 축소시킨 후, 디코더부(DN)를 이용하여 축소된 데이터를 인코더부(EN)에서 입력 데이터와 동일한 크기로 변환하여 출력함으로써, 오토 인코더(AE)의 출력 데이터를 입력 데이터와 동일하도록 만드는 일종의 딥 뉴럴 네트워크 모델(Deep Neural Network Model)이다.
오토 인코더(AE)는 입력 데이터의 특징을 비지도(unsupervised) 방식으로 학습한다. 이를 위해, 오토 인코더(AE)는 인코더부(EN)를 통해 입력 받은 데이터를, 해당 특징을 잘 표현하는 저차원의 데이터(잠재 표현(Latent Representation))로 변환하고, 변환된 데이터는 이후 디코더부(DN)를 통해 다시 원 데이터로 복원될 수 있다.
오토 인코더(AE)는 원 데이터(X1, X2, X3, X4; 즉, 입력 데이터(전처리 이미지 셋(PI_set)))와 복원된 데이터(X1', X2', X3', X4'; 즉, 출력 데이터(변화 정보(DI))) 간의 차이에 해당하는 재구성 오류를 최소화하는 것을 목표로 원 데이터에 내재되어 있는 패턴들을 학습할 수 있다.
다시 도 1 및 도 2를 참조하면, 이러한 딥러닝 기술을 이용하는 차이 판단 모듈(230)은 미리 정의된 변화 탐지 알고리즘(Change Detection Algorithm, 이하 "CDA"라 한다)을 기초로 변화 정보(DI)를 생성할 수 있다.
몇몇 예로, 학습 모듈(240)은 상기 변화 탐지 알고리즘(CDA)에 어텐션 모듈(Attention Module)이 추가된 적응형 변화 탐지 알고리즘(CDA_adj)을 학습시킬 수 있고, 차이 판단 모듈(230)은 학습 모듈(240)로부터 학습되어 수신된 적응형 변화 탐지 알고리즘(CDA_adj)을 이용하여 변화 정보(DI)를 생성할 수 있다.
이때, 적응형 변화 탐지 알고리즘은, 전처리 이미지 셋(PI_set)에 포함된 전처리 이미지들(PI_1, PI_2) 간에 RGB(Red, Green, Blue) 정보 중 어느 하나를 교환하는 채널 교환 모듈(Channel Exchange Module)에 관한 어텐션 모듈인 제1 어텐션 모듈 및/또는 전처리 이미지 셋(PI_set)에 포함된 전처리 이미지들(PI_1, PI_2) 간에 특정 좌표의 픽셀을 교환하는 스파셜 교환 모듈(Spatial Exchange Module)에 관한 어텐션 모듈인 제2 어텐션 모듈 등을 포함할 수 있다.
이하, 도 6을 참조하여 미리 정의된 변화 탐지 알고리즘을 설명하고, 도 7을 참조하여, 본 발명의 몇몇 실시예에 따른 차이 판단 모듈(230)이 이용하는 적응형 변화 탐지 알고리즘에 대하여 설명하기로 한다.
도 6은 미리 정의된 변화 탐지 알고리즘을 설명하기 위한 도면이다.
도 6을 참조하면, 변화 탐지 알고리즘(CDA)은 시점을 달리하는 복수의 전처리 이미지(PI_1, PI_2) 사이에 변화된 부분을 탐색하는 알고리즘일 수 있다. 이때, 변화 탐지 알고리즘(CDA)은 바이너리 시맨틱 세그멘테이션(Binary Semantic Segmentation)에 기초한 알고리즘일 수 있다.
변화 탐지 알고리즘(CDA)의 동작 방식을 구체적으로 설명하면, 우선, 입력 이미지(PI_1, PI_2)가 초기 레이어(stem)에 입력될 수 있다.
이어서, 초기 레이어(stem)와, 제1 스테이지(stage1) 및 제2 스테이지(stage2)를 거쳐 피쳐(feature)가 추출될 수 있다.
이어서, 스파셜 교환 모듈(Spatial Exchange Module, 이하 "SEM"이라 한다)은 전처리 이미지들(PI_1, PI_2) 간에 특정 좌표들의 픽셀들을 교환하는 과정을 수행할 수 있다. 예를 들어, 스파셜 교환 모듈(SEM)은 256 x 256 픽셀로 이루어진 전처리 이미지들(PI_1, PI_2)들에서, 임의의 위치의 픽셀(예: 100 x 100, 100x102, 100x104 등)의 값을 상호간에 변경 및/또는 대체할 수 있다.
이때, 스파셜 교환 모듈(SEM)에 의해 전처리 이미지들(PI_1, PI_2) 간에 변경되는 픽셀의 개수는 다양할 수 있다. 다시 말하면, 스파셜 교환 모듈(SEM)은 전처리 이미지들(PI_1, PI_2)에서 하나 또는 둘 이상의 픽셀의 값을 상호간에 변경 및/또는 대체할 수 있다.
이어서, 제3 스테이지(stage3)를 거쳐 피쳐가 추출될 수 있다.
이어서, 채널 교환 모듈(Channel Exchange Module, 이하 "CEM"이라 한다)은 전처리 이미지들(PI_1, PI_2) 간에 RGB(Red, Green, Blue) 와 같은 채널 정보 중 어느 하나 또는 복수를 교환하는 과정을 수행할 수 있다. 다시 말하면, 채널 교환 모듈(CEM)은 각 전처리 이미지들(PI_1, PI_2)에서, 어느 하나의 채널(예: RGB 중 어느 하나) 또는 복수의 채널(예: RGB 중 어느 둘)의 값을 상호간에 변경 및/또는 대체할 수 있다.
이때, 채널 교환 모듈(CEM)에 의해 전처리 이미지들(PI_1, PI_2) 간에 변경되는 채널의 개수는 다양할 수 있다. 다시 말하면, 채널 교환 모듈(CEM)은 전처리 이미지들(PI_1, PI_2)에서 하나 또는 둘 이상의 채널을 상호간에 변경 및/또는 대체할 수 있다.
이어서, 제4 스테이지(stage4)를 거쳐 피쳐가 추출될 수 있다.
이어서, 채널 교환 모듈CEM)은 각 전처리 이미지들(PI_1, PI_2)에서 RGB 정보 중 어느 하나를 교환하는 과정을 재수행할 수 있다.
이어서, 디코더(MLP decoder)는 위와 같은 과정이 수행된 결과를 입력 데이터(각 전처리 이미지(PI_1, PI_2)) 형태로 복원할 수 있다.
이어서, 변경 감지 모듈(Flow Dual Alignment Fusion, FDAF module)은 디코더(MLP decoder)에 의해 복원된 피쳐를 하나로 병합하여, 두 전처리 이미지(PI_1, PI_2) 간에 변경된 부분을 탐지할 수 있다.
몇몇 예로, 변경 감지 모듈(FDAF module)은 전처리 이미지들(PI_1, PI_2) 간에 변화된 부분을 탐지하기 위한 사전 작업을 수행할 수 있다. 이때, 변경 감지 모듈(FDAF module)이 수행하는 사전 작업은, 전처리 이미지들(PI_1, PI_2) 각각으로부터 추출된 피쳐 간의 회귀 오차(registration error)를 보완하는 작업을 포함할 수 있다.
예를 들어, 변경 감지 모듈(FDAF module)은 전처리 이미지들(PI_1, PI_2) 각각으로부터 추출된 피처 맵을 두개의 컨볼루션 레이어로 구성된 작은 뉴럴 네트워크에 입력하여 보정 피쳐를 획득하고, 획득된 보정 피쳐를 원본 피처 맵과 비교하는 과정을 통해 각 거리를 구할 수 있다. 이후, 변경 감지 모듈(FDAF module)은 획득된 거리를 통해 전처리 이미지들(PI_1, PI_2) 각각으로부터 추출된 피쳐 간의 회귀 오차를 보정한 후 변화된 부분을 탐지할 수 있다.
이어서, 프로젝션 헤드(Projection Head)는 변경 감지 모듈(FDAF module)에서 탐지된 변경된 부분을 하나의 이미지 내에 표시할 수 있다.
도 7은 본 발명의 몇몇 실시예에 따른 적응형 변화 탐지 알고리즘을 설명하기 위한 도면이다.
도 7을 참조하면, 적응형 변화 탐지 알고리즘(CDA_adj)은 시점을 달리하는 복수의 전처리 이미지(PI_1, PI_2) 사이에 변화된 부분을 탐색하는 알고리즘일 수 있다. 이때, 적응형 변화 탐지 알고리즘(CDA_adj)은 바이너리 시맨틱 세그멘테이션(Binary Semantic Segmentation)에 기초한 알고리즘일 수 있다.
적응형 변화 탐지 알고리즘(CDA_adj)은 도 6에서 전술한 변화 탐지 알고리즘(CDA)에 비해 채널 교환 모듈(CEM)에 관한 어텐션 모듈인 채널 어텐션 모듈(Channel Attention Module, 이하 "CAM"이라 한다)과, 스파셜 교환 모듈(SEM)에 관한 어텐션 모듈인 스파셜 어텐션 모듈(Spatial Attention Module, 이하 "SAM"이라 한다)을 더 포함할 수 있다.
어텐션 모듈이 수행하는 어텐션 매커니즘은 데이터의 다양한 부분에 가중치를 부여하여 알고리즘이 중요한 부분에 더 집중할 수 있도록 한다. 그에 따라, 어텐션 모듈은 전처리 이미지(PI_1, PI_2)내에서의 특정 부분 또는 특정 값에 대한 중요도, 관련성 등을 나타내는 가중치를 계산할 수 있다. 예를 들어 설명하면, 채널 어텐션 모듈(CAM)은 RGB 정보 중 어떠한 채널의 값을 전처리 이미지(PI_1, PI_2)간에 상호 교환하는 것이 차이 정보(DI) 생성에 중요한 것인지에 대한 판단을 수행할 수 있고, 스파셜 어텐션 모듈(SAM)은 어떠한 위치의 픽셀 값을 전처리 이미지(PI_1, PI_2)간에 상호 교환하는 것이 차이 정보(DI) 생성에 중요한 것인지에 대한 판단을 수행할 수 있는 것이다.
적응형 변화 탐지 알고리즘(CDA_adj)의 동작 방식을 구체적으로 설명하면, 우선, 입력 이미지(PI_1, PI_2)가 채널 어텐션 모듈(CAM)에 입력될 수 있다.
채널 어텐션 모듈(CAM)은 RGB(Red, Green, Blue) 정보 중 어떠한 채널의 값을 전처리 이미지(PI_1, PI_2)간에 상호 교환하는 것이 차이 정보(DI) 생성에 중요한 것인지에 대한 판단을 수행할 수 있다. 다시 말하면, 채널 어텐션 모듈(CAM)은 중요도 판단 결과, 전처리 이미지(PI_1, PI_2)간에 RGB 정보 중 어떠한 채널의 값을 교환할 것인지에 관한 교환 정보를 채널 교환 모듈(CEM)에 전달할 수 있다. 이때, 채널 어텐션 모듈(CAM)이 판단하는 교환될 채널의 개수는 하나이거나 또는 둘 이상일 수 있다.
이어서, 채널 교환 모듈(CEM)은 전처리 이미지들(PI_1, PI_2) 간에 RGB 정보와 같은 채널 정보 중 어느 하나 또는 둘 이상을 교환하는 과정을 수행할 수 있다. 예를 들어, 채널 교환 모듈(CEM)은 각 전처리 이미지들(PI_1, PI_2)에서, 채널 어텐션 모듈(CAM)로부터 전송된 교환 정보에 따른 어느 하나 또는 둘 이상의 채널(RGB 중 어느 하나 또는 복수)을 상호간에 변경 또는 대체할 수 있다.
이어서, 제1 인코더(Encoder1)를 통해 인코딩이 수행될 수 있다.
이어서, 인코딩 결과는 스파셜 어텐션 모듈(SAM)에 입력될 수 있다.
스파셜 어텐션 모듈(SAM)은 어떠한 위치의 픽셀 값을 전처리 이미지(PI_1, PI_2)간에 상호 교환하는 것이 차이 정보(DI) 생성에 중요한 것인지에 대한 판단을 수행할 수 있다. 다시 말하면, 스파셜 어텐션 모듈(SAM)은 중요도 판단 결과, 전처리 이미지(PI_1, PI_2)간에 어떠한 좌표의 픽셀을 교환할 것인지에 관한 교환 정보를 스파셜 교환 모듈(SEM)에 전달할 수 있다. 이때, 스파셜 어텐션 모듈(SAM)이 판단하는 교환될 픽셀의 개수는 하나이거나 또는 둘 이상일 수 있다.
이어서, 스파셜 교환 모듈(SEM)은 포함된 전처리 이미지들(PI_1, PI_2) 간에 특정 좌표의 픽셀들을 교환하는 과정을 수행할 수 있다. 예를 들어, 스파셜 교환 모듈(SEM)은 256 x 256 픽셀로 이루어진 전처리 이미지들(PI_1, PI_2)들에서, 스파셜 어텐션 모듈(SAM)로부터 전송된 교환 정보에 따른 픽셀(예: 150 x 150, 100 x 100, 100x102, 100x104 등)들의 값을 상호간에 변경 또는 대체할 수 있다.
이어서, 제2 인코더(Encoder2)를 통해 인코딩이 수행될 수 있다.
이어서, 인코딩 결과는 채널 어텐션 모듈(CAM)에 입력될 수 있고, 채널 어텐션 모듈(CAM)이 출력하는 교환 정보에 따라 채널 교환 모듈(CEM)은 교환 과정을 수행할 수 있다. 이에 대한 자세한 설명은 전술한바, 여기서는 생략한다.
이어서, 디코더(Decoder)를 통한 디코딩이 수행될 수 있다. 예를 들어, 디코더(Decoder)는 전술한 위와 같은 과정이 수행된 결과를 입력 데이터(각 전처리 이미지(PI_1, PI_2)) 형태로 복원하는 과정을 수행할 수 있다. 이때, 디코더(Decoder)는 도 6의 디코더(MLP decoder)와 동일한 역할을 수행할 수 있다.
이어서, 변경 감지 모듈(Difference Module)은 디코더(Decoder)에 의해 복원된 값을 하나로 병합하여, 두 전처리 이미지(PI_1, PI_2) 간에 변경된 부분을 탐지할 수 있다. 이때, 변경 감지 모듈(Difference Module)은 도 6의 변경 감지 모듈(Flow Dual Alignment Fusion, FDAF module)과 동일한 역할을 수행할 수 있다.
이어서, 클래시파이어(Classifier)는 변경 감지 모듈(Difference Module)에서 탐지된 변경된 부분을 하나의 이미지 내에 표시함으로써 변화 정보(DI)를 생성할 수 있다. 이때, 클래시파이어(Classifier)는 도 6의 프로젝션 헤드(Projection Head)와 동일한 역할을 수행할 수 있다.
생성된 변화 정보(DI)의 실시예가 도 7에 도시된 바에 제한되지 않음은 당연하다.
도 8은 본 발명의 몇몇 실시예에 따른 변화 탐지 방법의 흐름도이다. 도 8의 각 단계(S100 내지 S300)는 도 1 및 도 2의 변화 탐지 장치(도 1의 200)에 의해 수행될 수 있다. 이하 중복되는 내용은 제외하고 간략히 서술한다.
도 1, 도 2 및 도 8을 참조하면, 우선, 위성 이미지 셋(SI_set)을 수집할 수 있다(S100).
몇몇 예로, 데이터 수집 모듈(210)은 외부 데이터베이스(100)로부터 위성 이미지 셋(SI_set)을 수신할 수 있다.
위성 이미지 셋(SI_set)은, 특정 좌표 영역에 대하여 소정 높이의 상공에 위치하는 인공위성으로부터 촬영된 이미지 셋을 의미할 수 있다. 다시 말하면, 위성 이미지 셋(SI_set)은, 특정 좌표 영역에 대하여 인공위성으로부터 촬영된 복수의 위성 이미지(SI_1, SI_2)를 포함할 수 있다.
예를 들어, 위성 이미지 셋(SI_set)은, 특정 좌표 영역에 대하여 제1 시점에 촬영된 제1 위성 이미지(SI_1)와 해당 좌표 영역에 대하여 제2 시점에 촬영된 제2 위성 이미지(SI_2)를 포함할 수 있다. 이때 제1 시점과 제2 시점은 서로 상이한 시점일 수 있고, 예컨대 제2 시점은 제1 시점에 비하여 시간적으로 후순위에 위치한 시점일 수 있다.
이때, 제1 위성 이미지(SI_1)와 제2 위성 이미지(SI_2)는 동일한 좌표 영역에 대한 위성 이미지일 수 있다. 다시 말하면, 제1 위성 이미지(SI_1)와 제2 위성 이미지(SI_2)는 동일한 좌표 영역에 대하여 촬영된 위성 이미지일 수 있다.
이어서, 전처리 이미지 셋(PI_set)을 생성할 수 있다(S200).
몇몇 예로, 전처리 모듈(220)은 위성 이미지 셋(SI_set)을 전처리하여 전처리 이미지 셋(PI_set)을 생성할 수 있다. 즉, 전처리 모듈(220)은 제1 위성 이미지(SI_1)와 제2 위성 이미지(SI_2)를 전처리하여 제1 전처리 이미지(PI_1)와 제2 전처리 이미지(PI_2)를 각각 생성할 수 있다.
몇몇 예로, 전처리 모듈(220)은 위성 이미지 셋(SI_set)에 포함된 각 위성 이미지 간에 속성 정보(distribution)를 일치시켜 전처리 이미지 셋(PI_set)을 생성할 수 있다. 다시 말하면, 전처리 모듈(220)은 제1 위성 이미지(SI_1)와 제2 위성 이미지(SI_2) 간에 속성 정보를 일치시켜 제1 전처리 이미지(PI_1)와 제2 전처리 이미지(PI_2)를 생성할 수 있다. 즉, 전처리 모듈(220)이 생성한 제1 전처리 이미지(PI_1)와 제2 전처리 이미지(PI_2)간에는 속성 정보가 동일하거나 또는 미리 정해진 임계범위 내로 유사할 수 있다.
속성 정보는 조도 정보(illumination), 색상 정보(color) 등을 포함할 수 있다. 다시 말하면, 전처리 모듈(220)은 제1 위성 이미지(SI_1)와 제2 위성 이미지(SI_2) 간에 조도 정보, 색상 정보 등을 일치시키는 전처리 작업을 수행할 수 있다.
조도 정보는, 위성 이미지 내에서 판단되는 특정 좌표 영역에 도달하는 광 량(amount of light) 및/또는 광 강도(intensity of light)에 관한 정보를 포함할 수 있다. 다시 말하면, 조도 정보는 위성 이미지의 특정 좌표 영역에 도달하는 빛의 양과 강도에 관한 정보를 포함할 수 있다.
색상 정보는, 위성 이미지의 각 픽셀이 가지는 색상의 특성에 관한 정보를 포함할 수 있다. 다시 말하면, 색상 정보는 위성 이미지의 각 픽셀이 포함하는 채널(Red, Green, Blue, RGB)에 관한 정보를 포함할 수 있다.
이때, 전처리 모듈(220)은 레퍼런스 이미지를 이용하여 각 위성 이미지의 속성 정보를 일치시킬 수 있다.
예를 들어, 전처리 모듈(220)은 레퍼런스 이미지로부터 레퍼런스 속성 정보를 결정하고, 결정된 레퍼런스 속성 정보에 따라 각 위성 이미지의 속성 정보를 일치시킬 수 있다. 다시 말하면, 전처리 모듈(220)은 각 위성 이미지의 속성 정보가 레퍼런스 속성 정보와 일치되도록 처리할 수 있다.
이때, 전처리 모듈(220)은 미리 정의된 이미지 처리 알고리즘을 이용하여 각 위성 이미지의 속성 정보를 변경할 수 있다. 다시 말하면, 전처리 모듈(220)은 각 위성 이미지의 속성 정보가 레퍼런스 속성 정보와 일치되도록 처리할 때, 미리 정의된 이미지 처리 알고리즘을 이용할 수 있다.
전처리 모듈(220)이 이용하는 이미지 처리 알고리즘은, 각 위성 이미지 간의 밝기를 동일하게 맞추어 주는 이미지 히스토그램 매칭(Image Histogram Matching) 및/또는 이미지들의 특징점의 분포를 비교하고 일치시키는 피쳐 분포 매칭(Feature Distribution Matching)등을 포함할 수 있다. 다만, 본 발명의 실시예가 이에 제한되는 것은 아니며, 전처리 모듈(220)은 컬러 트랜스퍼(Color Transfer), 감마 코렉션(Gamma Correction), 화이트 밸런스 앳져스트먼트(White Balance Adjustment) 등의 기타 알고리즘을 이용할 수 있음은 당연하다.
이어서, 복수의 위성 이미지 사이의 변화 정보(DI)를 생성할 수 있다(S300).
몇몇 예로, 차이 판단 모듈(230)은 전처리 이미지 셋(PI_set)에 포함된 각 전처리 이미지(PI_1, PI_2)를 비교함으로써 위성 이미지 셋(SI_set)의 각 위성 이미지(SI_1, SI_2) 간의 변화 정보(DI)를 생성할 수 있다. 다시 말하면, 변화 탐지 장치(200)는 전처리 이미지들(PI_1, PI_2)간의 비교를 통해, 제1 시점에 촬영된 제1 위성 이미지(SI_1)와, 제2 시점에 촬영된 제2 위성 이미지(SI_2)간의 변화 정보(DI)를 판단할 수 있다.
이때, 변화 정보(DI)는 제1 시점에 비하여 제2 시점에 신축 또는 소멸된 구조물(예: 건물)에 관한 정보를 포함할 수 있다.
몇몇 예로, 차이 판단 모듈(230)은 딥러닝 기술을 이용하여 변화 정보(DI)를 생성할 수 있다. 다시 말하면, 차이 판단 모듈(230)은 딥러닝 기술을 이용하여 전처리 이미지 셋(PI_set)에 포함된 제1 전처리 이미지(PI_1)와 제2 전처리 이미지(PI_2)를 비교하고, 비교 결과에 기초하여 변화 정보(DI)를 생성할 수 있다.
예를 들어, 차이 판단 모듈(230)은 미리 정의된 변화 탐지 알고리즘을 기초로 변화 정보(DI)를 생성할 수 있다. 예컨대, 차이 판단 모듈(230)은 상기 변화 탐지 알고리즘에 어텐션 모듈(Attention Module)이 추가된 적응형 변화 탐지 알고리즘(CDA_adj)을 학습시키고, 학습된 적응형 변화 탐지 알고리즘(CDA_adj)을 이용하여 변화 정보를 생성할 수 있다.
이때, 적응형 변화 탐지 알고리즘(CDA_adj)은, 전처리 이미지 셋(PI_set)에 포함된 전처리 이미지(PI_1, PI_2) 간에 RGB 정보 중 어느 하나를 교환하는 채널 교환 모듈(Channel Exchange Module)에 관한 어텐션 모듈인 제1 어텐션 모듈 및/또는 전처리 이미지 셋(PI_set)에 포함된 전처리 이미지(PI_1, PI_2) 간에 특정 좌표의 픽셀을 교환하는 스파셜 교환 모듈(Spatial Exchange Module)에 관한 어텐션 모듈인 제2 어텐션 모듈 등을 포함할 수 있다.
도 9는 본 발명의 몇몇 실시예에 따른 변화 탐지 방법을 수행하는 변화 탐지 장치의 하드웨어 구현을 설명하기 위한 도면이다.
도 9를 참조하면, 본 발명의 몇몇 실시예들에 따른 변화 탐지 방법을 수행하는 변화 탐지 장치(200)는 전자 장치(1000)로 구현될 수 있다. 전자 장치(1000)는 컨트롤러(1010, controller), 입출력 장치(1020, I/O), 메모리 장치(1030, memory device), 인터페이스(1040, interface) 및 버스(1050, bus)를 포함할 수 있다. 컨트롤러(1010), 입출력 장치(1020), 메모리 장치(1030) 및/또는 인터페이스(1040)는 버스(1050)를 통하여 서로 결합될 수 있다. 이때, 버스(1050)는 데이터들이 이동되는 통로(path)에 해당한다.
구체적으로, 컨트롤러(1010)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit), 마이크로프로세서, 디지털 신호 프로세스, 마이크로컨트롤러, 어플리케이션 프로세서(AP, application processor) 및 이들과 유사한 기능을 수행할 수 있는 논리 소자들 중에서 적어도 하나를 포함할 수 있다.
입출력 장치(1020)는 키패드(keypad), 키보드, 터치스크린 및 디스플레이 장치 중 적어도 하나를 포함할 수 있다.
메모리 장치(1030)는 데이터 및/또는 프로그램 등을 저장할 수 있다.
인터페이스(1040)는 통신 네트워크로 데이터를 전송하거나 통신 네트워크로부터 데이터를 수신하는 기능을 수행할 수 있다. 인터페이스(1040)는 유선 또는 무선 형태일 수 있다. 예컨대, 인터페이스(1040)는 안테나 또는 유무선 트랜시버 등을 포함할 수 있다. 도시하지 않았지만, 메모리 장치(1030)는 컨트롤러(1010)의 동작을 향상시키기 위한 동작 메모리로서, 고속의 디램 및/또는 에스램 등을 더 포함할 수도 있다. 메모리 장치(1030)는 내부에 프로그램 또는 어플리케이션을 저장할 수 있다.
본 발명의 실시예들에 따른 변화 탐지 장치(200) 및 외부 데이터베이스(100)는 각각 복수의 전자 장치(1000)가 네트워크를 통해서 서로 연결되어 형성된 시스템일 수 있다. 이러한 경우에는 각각의 모듈 또는 모듈의 조합들이 전자 장치(1000)로 구현될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
추가적으로, 변화 탐지 장치(200)는 워크스테이션(workstation), 데이터 센터, 인터넷 데이터 센터(internet data center(IDC)), DAS(direct attached storage) 시스템, SAN(storage area network) 시스템, NAS(network attached storage) 시스템, RAID(redundant array of inexpensive disks, or redundant array of independent disks) 시스템, 및 EDMS(Electronic Document Management) 시스템 중 적어도 하나로 구현될 수 있으나, 본 실시예가 이에 제한되는 것은 아니다.
또한, 변화 탐지 장치(200)는 네트워크를 통해서 외부 데이터베이스(100)에 데이터를 전송할 수 있다. 네트워크는 유선 인터넷 기술, 무선 인터넷 기술 및 근거리 통신 기술에 의한 네트워크를 포함할 수 있다. 유선 인터넷 기술은 예를 들어, 근거리 통신망(LAN, Local area network) 및 광역 통신망(WAN, wide area network) 중 적어도 하나를 포함할 수 있다.
무선 인터넷 기술은 예를 들어, 무선랜(Wireless LAN: WLAN), DMNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 및 5G NR(New Radio) 기술 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
근거리 통신 기술은 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct), 5G NR (New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
네트워크를 통해서 통신하는 변화 탐지 장치(200)는 이동통신을 위한 기술표준 및 표준 통신 방식을 준수할 수 있다. 예를 들어, 표준 통신 방식은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 및 5G NR(New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 복수의 위성 이미지를 포함하는 위성 이미지 셋을 수집하는 데이터 수집 모듈;
    상기 위성 이미지 셋에 포함된 각 상기 위성 이미지의 속성 정보를 일치시켜 전처리 이미지 셋을 생성하는 전처리 모듈; 및
    상기 전처리 이미지 셋에 포함된 제1 전처리 이미지와 제2 전처리 이미지 간의 차이를 판단하여, 상기 복수의 위성 이미지 사이의 변화 정보를 생성하는 차이 판단 모듈을 포함하되,
    상기 속성 정보는, 상기 위성 이미지의 조도 정보(illumination) 및 색상 정보(color) 중 적어도 하나를 포함하고,
    상기 전처리 모듈은,
    미리 정의된 레퍼런스 이미지에 속성 정보 판단 알고리즘을 적용하여 상기 속성 정보를 추출하고,
    상기 추출된 상기 레퍼런스 이미지의 속성 정보를 레퍼런스 속성 정보로 결정하고,
    상기 각 위성 이미지의 속성 정보를 상기 결정된 레퍼런스 속성 정보와 일치시켜 상기 전처리 이미지 셋을 생성하고,
    상기 차이 판단 모듈은,
    복수의 이미지 간 변화 탐지와 관련하여 정의된 변화 탐지 알고리즘에 어텐션 모듈이 추가된 적응형 변화 탐지 알고리즘을 이용하여 상기 변화 정보를 생성하되,
    상기 적응형 변화 탐지 알고리즘은,
    상기 제1 전처리 이미지 및 상기 제2 전처리 이미지를 대상으로, RGB 정보에 포함된 각 채널에 대하여 상기 각 채널이 상호 교환되었을 때 상기 변화 정보 생성에 미치는 영향인 제1 중요도를 판단하고, 상기 제1 중요도 판단 결과에 기초하여 상기 RGB 정보에 포함된 각 채널 중 어떠한 채널의 값을 교환할 것인지에 관한 제1 교환 정보를 판단하고, 상기 제1 교환 정보에 따라 채널 교환을 수행하여 제1 교환 결과를 생성하고,
    상기 제1 교환 결과를 인코딩하여 제1 인코딩 결과를 생성하고,
    상기 제1 인코딩 결과를 대상으로, 복수의 좌표의 픽셀에 대하여 상기 각 좌표의 픽셀이 상호 교환되었을 때 상기 변화 정보 생성에 미치는 영향인 제2 중요도를 판단하고, 상기 제2 중요도 판단 결과에 기초하여 상기 복수의 좌표 중 어떠한 좌표의 픽셀을 교환할 것인지에 관한 제2 교환 정보를 판단하고, 상기 제2 교환 정보에 따라 픽셀 교환을 수행하여 제2 교환 결과를 생성하고,
    상기 제2 교환 결과를 인코딩하여 제2 인코딩 결과를 생성하고,
    상기 제2 인코딩 결과를 대상으로, 상기 RGB 정보에 포함된 각 채널에 대하여 상기 각 채널이 상호 교환되었을 때 상기 변화 정보 생성에 미치는 영향인 제3 중요도를 판단하고, 상기 제3 중요도 판단 결과에 기초하여 상기 RGB 정보에 포함된 각 채널 중 어떠한 채널의 값을 교환할 것인지에 관한 제3 교환 정보를 판단하고, 상기 제3 교환 정보에 따라 채널 교환을 수행하여 제3 교환 결과를 생성하고,
    상기 제3 교환 결과를 상기 제1 전처리 이미지 및 상기 제2 전처리 이미지의 형태로 복원하는 디코딩을 수행하여 디코딩 결과를 생성하고,
    상기 생성된 디코딩 결과를 병합하여 상기 제1 전처리 이미지 및 상기 제2 전처리 이미지 간에 변경된 부분을 탐지하고,
    상기 변경된 부분을 하나의 이미지로 표시하여 상기 변화 정보를 생성하는
    변화 탐지 장치.
  2. 제1 항에 있어서,
    상기 위성 이미지 셋은, 제1 시점에 촬영된 제1 위성 이미지와, 상기 제1 시점과 상이한 제2 시점에 촬영된 제2 위성 이미지를 포함하되,
    상기 제1 위성 이미지와 상기 제2 위성 이미지는 동일한 좌표 영역을 촬영한 위성 이미지인
    변화 탐지 장치.
  3. 삭제
  4. 삭제
  5. 제1 항에 있어서,
    상기 전처리 모듈은,
    미리 정의된 이미지 처리 알고리즘을 이용하여 상기 위성 이미지 셋에 포함된 각 위성 이미지의 속성 정보를 변화시키는
    변화 탐지 장치.
  6. 제5 항에 있어서,
    상기 이미지 처리 알고리즘은,
    이미지 히스토그램 매칭(Image Histogram Matching) 및 피쳐 분포 매칭(Feature Distribution Matching) 중 적어도 하나를 포함하는
    변화 탐지 장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020230122030A 2023-09-13 2023-09-13 변화 탐지 장치 및 방법 KR102616873B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230122030A KR102616873B1 (ko) 2023-09-13 2023-09-13 변화 탐지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230122030A KR102616873B1 (ko) 2023-09-13 2023-09-13 변화 탐지 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102616873B1 true KR102616873B1 (ko) 2023-12-27

Family

ID=89377468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230122030A KR102616873B1 (ko) 2023-09-13 2023-09-13 변화 탐지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102616873B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911879A (zh) * 2024-03-20 2024-04-19 湘潭大学 一种融合sam的细粒度高分遥感影像变化检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140085964A (ko) * 2012-12-28 2014-07-08 한국항공우주연구원 항공기에서 촬영되는 항공 영상을 이용하는 지형 변화 탐지 장치 및 방법
KR20220019885A (ko) * 2020-08-10 2022-02-18 (주)아이웨이 Gis 및 cnn 기반 공공데이터를 이용한 변화탐지 서비스 제공 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140085964A (ko) * 2012-12-28 2014-07-08 한국항공우주연구원 항공기에서 촬영되는 항공 영상을 이용하는 지형 변화 탐지 장치 및 방법
KR20220019885A (ko) * 2020-08-10 2022-02-18 (주)아이웨이 Gis 및 cnn 기반 공공데이터를 이용한 변화탐지 서비스 제공 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Sheng Fang 등, Changer: Feature Interaction Is What You Need for Change Detection, IEEE GEOSCIENCE AND REMOTE SENSING(2023.05.18) *
Tao Chen 등, A Siamese Network Based U-Net for Change Detection in High Resolution Remote Sensing Images, IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING(2022.03.11.)* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911879A (zh) * 2024-03-20 2024-04-19 湘潭大学 一种融合sam的细粒度高分遥感影像变化检测方法
CN117911879B (zh) * 2024-03-20 2024-06-07 湘潭大学 一种融合sam的细粒度高分遥感影像变化检测方法

Similar Documents

Publication Publication Date Title
US11783199B2 (en) Image description information generation method and apparatus, and electronic device
KR102184755B1 (ko) 안면 특화 초 고화질 심층 신경망 학습 장치 및 방법
CN110197229B (zh) 图像处理模型的训练方法、装置及存储介质
WO2023082882A1 (zh) 一种基于姿态估计的行人摔倒动作识别方法及设备
KR102616873B1 (ko) 변화 탐지 장치 및 방법
CN110472495B (zh) 一种基于图形推理全局特征的深度学习人脸识别方法
KR102454880B1 (ko) 학습된 딥러닝 모델을 이용한 cfu 인식 방법
CN112164002A (zh) 人脸矫正模型的训练方法、装置、电子设备及存储介质
CN112036260A (zh) 一种自然环境下多尺度子块聚合的表情识别方法及系统
CN114387195A (zh) 一种基于非全局预增强的红外图像与可见光图像融合方法
Liu et al. Intelligent monitoring of indoor surveillance video based on deep learning
JP2023502653A (ja) 人工知能ニューラルネットワークの推論または訓練に対する、故意に歪みを制御する撮像装置の利用
CN111626267A (zh) 一种利用空洞卷积的高光谱遥感图像分类方法
CN115731574A (zh) 基于中间模态的参数共享和特征学习的跨模态行人重识别方法
CN116311186A (zh) 一种基于改进Transformer模型的植物叶片病变识别方法
CN117475462A (zh) 配网线路成图要素及特征自动识别匹配系统及方法
CN116933141A (zh) 一种基于多核图学习的多光谱激光雷达点云分类方法
WO2024059374A1 (en) User authentication based on three-dimensional face modeling using partial face images
Ragab et al. Low Complexity Encoder with Multilabel Classification and Image Captioning Model.
CN116740487A (zh) 一种目标对象识别模型构建方法、装置及计算机设备
CN116137043A (zh) 一种基于卷积和Transformer的红外图像彩色化方法
KR102606750B1 (ko) 도로 추출 장치 및 방법
Sun et al. Intelligent Site Detection Based on Improved YOLO Algorithm
JP2023063768A (ja) グラフ構造を用いた画像記述子更新モデル及び方法、並びに画像マッチング装置及びプログラム
Cui et al. Sensing-assisted communication beamforming based on multi-modal feature extraction for high-reliable IoV

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant