KR102125723B1 - 영상의 상대 방사 보정 방법 및 수행 장치 - Google Patents

영상의 상대 방사 보정 방법 및 수행 장치 Download PDF

Info

Publication number
KR102125723B1
KR102125723B1 KR1020180150434A KR20180150434A KR102125723B1 KR 102125723 B1 KR102125723 B1 KR 102125723B1 KR 1020180150434 A KR1020180150434 A KR 1020180150434A KR 20180150434 A KR20180150434 A KR 20180150434A KR 102125723 B1 KR102125723 B1 KR 102125723B1
Authority
KR
South Korea
Prior art keywords
image
target image
correction
regression model
reference point
Prior art date
Application number
KR1020180150434A
Other languages
English (en)
Other versions
KR20200064377A (ko
Inventor
서대교
어양담
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020180150434A priority Critical patent/KR102125723B1/ko
Publication of KR20200064377A publication Critical patent/KR20200064377A/ko
Application granted granted Critical
Publication of KR102125723B1 publication Critical patent/KR102125723B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

영상의 상대 방사 보정 방법에 관한 것으로서, 영상의 상대 방사 보정 방법은, (a) 대상 영상 및 기준 영상을 수신하는 단계 및 (b) 상기 대상 영상 및 상기 기준 영상을 이용하여 다층 퍼셉트론 기법에 기초하여, 상기 대상 영상의 계절 및 방사 보정이 수행된 상대 방사 보정 영상을 획득하는 단계를 포함할 수 있다.

Description

영상의 상대 방사 보정 방법 및 수행 장치{METHOD AND APPARATUS FOR RELATIVE RADIOMETRIC NORMALIZATION OF IMAGE}
본원은 영상의 상대 방사 보정 방법 및 수행 장치에 관한 것이다.
동일지역을 촬영한 위성영상을 이용하여 변화탐지를 수행하기 위해서는 동일한 조건으로 촬영된 영상이 활용되어야 하나, 광학위성 영상의 경우 촬영주기, 대기조건 및 기상조건 등에 의해 필요한 시기의 영상을 획득하는데 어려움이 있다. 특히 다시기의 영상정보가 활용되는 경우 취득되는 시기에 따라 센서 특성 및 방사적, 계절적으로 다른 특성을 담고 있다. 이러한 특성이 보정이 수행되지 않는 경우, 실제 변화된 객체가 아님에도 해당 객체를 변화된 지역으로 판단하는 오류를 범할 수 있다. 이를 해결하기 위해서는 방사적 및 계절적 특성을 보정하는 상대 방사 보정 알고리즘이 적용되어야 한다.
기존의 상대 방사 보정은 수학적 모델인 회귀식에 기반하여 수행되며, 다중시기 영상의 밴드 간의 동일지역은 선형적인 관계를 갖는다고 가정한다. 하지만, 실제로 지구 표면은 복잡하고 비선형적인 특성을 나타내는 자연 및 인공지물로 구성되어 있어 선형적인 관계로 보정하는 경우 정확한 보정이 수행되지 못한다. 또한, 대기조건, 기상조건 및 생태학적 환경 조건들을 동시에 반영해야 하는 경우엔 각 관계가 융합된 비선형적인 변환이 필요하다. 특히, 변화탐지에서의 주요 데이터인 광학 영상의 경우 구름 및 안개등과 같은 제한 사항으로 인해 시기적으로 충족되는 데이터를 획득하지 못하는 경우가 존재하며, 이러한 경우 시기적 및 계절적 차이가 존재하는 데이터를 활용해야 한다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1693705호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 비선형적 관계를 모델링 할 수 있는 다층 퍼셉트론에 기초하여 상대 방사보정을 수행함으로써 계절 및 방사적 보정이 수행된 영상을 제공하는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 영상의 상대 방사 보정 방법은, (a) 대상 영상 및 기준 영상을 수신하는 단계 및 (b) 상기 대상 영상 및 상기 기준 영상을 이용하여 다층 퍼셉트론 기법에 기초하여, 상기 대상 영상의 계절 및 방사 보정이 수행된 상대 방사 보정 영상을 획득하는 단계를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 (b) 단계는, 상기 대상 영상 및 상기 기준 영상을 이용하여 다층 퍼셉트론 회귀모델을 수립하기 위한 기준점을 추출하는 단계, 다층 퍼셉트론 회귀모델을 학습하기 위한 특성 변수를 설정하는 단계, 상기 추출된 기준점 및 상기 특성 변수에 기초하여 다층 퍼셉트론 회귀모델을 학습하여 생성하는 단계 및 상기 생성된 다층 퍼셉트론 회귀모델에 상기 대상 영상을 적용하여 상기 대상 영상의 계절 보정을 수행하는 단계를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 (b) 단계는, 상기 계절 보정이 수행된 영상에 대해 방사적 특성 보정을 수행하는 단계를 더 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 방사적 특성 보정을 수행하는 단계는 상기 계절 보정이 수행된 영상과 상기 기준 영상 간의 히스토그램 매칭을 수행할 수 있다.
본원의 일 실시예에 따르면, 상기 기준점을 추출하는 단계는, 상기 대상 영상 및 상기 기준 영상의 근적외선 밴드간의 스캐터그램(scattergram)을 획득하고, 상기 스캐터그램 내의 미변화 라인(no-change line)을 결정하여, 상기 미변화 라인에 기초하여 미변화 픽셀을 선정하는 단계를 포함하고, 상기 미변화 픽셀이 상기 기준점일 수 있다.
본원의 일 실시예에 따르면, 상기 미변화 라인은 상기 대상 영상 내의 물(water)과 지표(land surface)의 클러스터 중심을 나타내는 두 개의 국부 최대값에 기초하여 결정되는 계수를 이용하여 결정될 수 있다.
본원의 일 실시예에 따르면, 상기 미변화 픽셀을 선정하는 단계는, 상기 미변화 라인을 기준으로 HVW(Half Vertical Width)를 획득하여 그 내부에 존재하는 픽셀을 미변화 픽셀로 선정할 수 있다.
본원의 일 실시예에 따르면, 상기 특성 변수는 상기 대상 영상의 스펙트럴 인덱스(spectral index)로서, 정규화 수분 지수(Normalized Difference Water Index, NDWI), 정규 식생 지수(Normalized Difference Vegetation Index, NDVI), 토양 조절 식생 지수 (Soil-Adjusted Vegetation Index, SAVI), 및 개량 식생 지수 (Enhanced Vegetation Index, EVI) 중 적어도 어느 하나를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 다층 퍼셉트론 회귀모델을 생성하는 단계는, 다층 퍼셉트론 인공신경망의 입력층과 출력층 사이의 은닉층의 수, 뉴런의 수, 활성화 함수 및 상기 은닉층에서 사용되는 가중치를 결정하는 최적화 알고리즘을 결정하는 단계를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 다층 퍼셉트론 회귀모델을 생성하는 단계는, 상기 기준점에 대응되는 상기 대상 영상의 픽셀 및 상기 픽셀의 위치에 대응되는 특성 변수를 이용하여 학습하여 상기 다층 퍼셉트론 회귀모델을 생성할 수있다.
본원의 일 실시예에 따르면, 상기 대상 영상의 계절 보정을 수행하는 단계는, 상기 대상 영상의 전체 픽셀 및 상기 전체 픽셀의 위치에 대응되는 특성 변수를 상기 생성된 다층 퍼셉트론 회귀모델의 입력 정보로서 입력하여 상기 대상 영상의 계절 보정이 수행된 영상을 획득하는 단계를 포함할 수 있다.
본원의 일 실시예에 따르면, 영상의 상대 방사 보정 수행 장치는, 대상 영상 및 기준 영상을 수신하고, 상기 대상 영상 및 상기 기준 영상을 이용하여 다층 퍼셉트론 기법에 기초하여, 상기 대상 영상의 계절 보정을 수행하는 계절 보정부 및 상기 계절 보정이 수행된 대상 영상에 대해 방사적 특성 보정을 수행하는 방사 보정부를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 계절 보정부는, 상기 대상 영상 및 상기 기준 영상을 수신하고, 상기 대상 영상 및 상기 기준 영상을 이용하여 다층 퍼셉트론 회귀모델을 수립하기 위한 기준점을 추출하는 기준점 추출부, 다층 퍼셉트론 회귀모델을 학습하기 위한 특성 변수를 설정하는 특성변수 설정부, 상기 추출된 기준점 및 상기 특성 변수에 기초하여 다층 퍼셉트론 회귀모델을 학습하여 생성하는 회귀모델 학습부 및 상기 생성된 다층 퍼셉트론 회귀모델에 상기 대상 영상을 적용하여 상기 대상 영상의 계절 보정을 수행하는 예측부를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 기준점 추출부는, 상기 근적외선 밴드간의 스캐터그램(scattergram)을 획득하고, 상기 스캐터그램 내의 미변화 라인(no-change line)을 결정하여, 상기 미변화 라인에 기초하여 미변화 픽셀을 선정하여, 상기 미변화 픽셀을 기준점으로 추출할 수 있다.
본원의 일 실시예에 따르면, 상기 회귀모델 학습부는, 상기 기준점에 대응되는 상기 대상 영상의 픽셀 및 상기 픽셀의 위치에 대응되는 특성 변수를 이용하여 학습하여 상기 다층 퍼셉트론 회귀모델을 생성하고, 상기 예측부는, 상기 대상 영상의 전체 픽셀 및 상기 전체 픽셀의 위치에 대응되는 특성 변수를 상기 생성된 다층 퍼셉트론 회귀모델의 입력 정보로서 입력하여 상기 대상 영상의 계절 보정이 수행된 영상을 획득할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 비선형적인 관계를 모델링 할 수 있는 다층 퍼셉트론 회귀모델에 기초하여, 촬영된 대기조건, 기상조건 및 계절적 조건들이 융합된 영상의 계절 및 방사보정을 수행할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 영상의 픽셀 값만을 활용하여 관계를 수립하는 기존 상대 방사보정과 달리, 스펙트럴 특성이 고려되어 계절 및 방사적 보정이 수행될 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 사용자가 원하는 지역을 설정하여 계절 및 방사보정을 수행하는 경우, 영상의 상대 방사 보정 방법을 이용하여 계절 및 방사적 보정이 수행된 영상 결과를 출력 할 수 있다.
도 1은 본원의 일 실시예에 따른 상대 방사 보정 수행 장치를 포함하는 상대 방사 보정 수행 시스템을 개괄적으로 도시한 도면이다.
도 2는 본원의 일 실시예에 따른 상대 방사 보정 수행 장치를 도시한 블록도이다.
도 3은 본원의 일 실시예에 따른 상대 방사 보정 수행 장치의 계절 보정부를 도시한 블록도이다.
도 4는 본원의 일 실시예에 따른 상대 방사 보정 수행 장치에 의해 수신되는 대상 영상 및 기준 영상의 예시도이다.
도 5는 본원의 일 실시예에 따른 상대 방사 보정 방법에 의해 제작된 대상 영상 및 기준 영상의 근적외선 밴드간의 스캐터그램 영상의 예시도이다.
도 6은 본원의 일 실시예에 따른 상대 방사 보정 방법에 의해 대상 영상의 계절 및 방사 보정이 수행된 상대 방사 보정 영상의 예시도이다.
도 7은 본원의 일 실시예에 따른 상대 방사 보정 방법의 흐름을 도시한 제1순서도이다.
도 8은 본원의 일 실시예에 따른 상대 방사 보정 방법의 흐름을 도시한 제2순서도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본원의 일 실시예에 따른 상대 방사 보정 수행 장치를 포함하는 상대 방사 보정 수행 시스템을 개괄적으로 도시한 도면이고, 도 2는 본원의 일 실시예에 따른 상대 방사 보정 수행 장치를 도시한 블록도이고, 도 7은 본원의 일 실시예에 따른 상대 방사 보정 방법의 흐름을 도시한 제1순서도이다.
도 1, 도 2, 및 도 7을 참조하면, 본원의 일 실시예에 따른 상대 방사 보정 방법은, 대상 영상(10) 및 기준 영상(20)을 수신하는 단계(S100) 및 대상 영상(10) 및 기준 영상(20)을 이용하여 다층 퍼셉트론 기법(알고리즘)에 기초하여, 대상 영상(10)의 계절 및 방사 보정이 수행된 상대 방사 보정 영상(30)을 획득하는 단계(S200)를 포함할 수 있다.
도 1을 참조하면, 상대 방사 보정 수행 시스템은 상대 방사 보정 수행 장치(1000), 합성 개구 레이더(900) 및 대상 및 기준 영상 저장부(850)를 포함할 수 있다. 다만, 상대 방사 보정 수행 시스템이 앞에 개시된 것들로 한정되는 것은 아니다. 예를 들어, 상대 방사 보정 수행 장치(1000)는 계절 및 방사 보정이 수행된 상대 방사 보정 영상을 사용자 단말(미도시)로 제공할 수 있고, 대상 및 기준 영상 저장부(850) 없이 상대 방사 보정 수행 장치(1000)가 대상 영상 및 기준 영상을 저장할 수 있다.
상대 방사 보정 수행 장치(1000)는 합성 개구 레이더(900) 및 대상 및 기준 영상 저장부(850)와 네트워크(500)를 통해 통신할 수 있다. 네트워크(500)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(500)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
상대 방사 보정 수행 장치(1000)는 비선형적 관계를 모델링 할 수 있는 다층 퍼셉트론에 기초하여 상대 방사보정을 수행함으로써 계절 및 방사적 보정이 수행된 영상을 제공할 수 있다.
대상 및 기준 영상 저장부(850)는 합성 개구 레이더(900)에서 수신한 영상을 저장할 수 있다. 대상 및 기준 영상 저장부(850)는 외부 서버로부터 수신받은 위성 영상 또는 항공 영상을 저장할 수 있다. 대상 및 기준 영상 저장부(850)는 위성 영상 또는 항공 영상을 위치 좌표와 연계하여 저장할 수 있다.
합성 개구 레이더(900)는 공중에서 지상 및 해양을 관찰하는 레이더이다. 구체적으로, 합성 개구 레이더(900)는 지상 및 해양에 대해 전파 신호를 순차적으로 쏜 이후, 상기 전파 신호가 관측 지역으로부터 반사되어 돌아오는 시간차를 선착순으로 합성하여 지상지형도를 만들어내는 레이더 시스템이다. 아울러, 합성 개구 레이더 영상은 상기 레이더 시스템을 통하여 만들어진 영상이다. 상기 합성 개구 레이더 영상은 평상시뿐만 아니라, 주야간, 및 악천후 시에도 상기 레이더 시스템을 통하여 만들어질 수 있다.
단계 S100에서, 상대 방사 보정 수행 장치(1000)의 계절 보정부(100)는 대상 영상(10) 및 기준 영상(20)을 수신할 수 있다. 대상 영상(10) 및 기준 영상(20)은 계절 및 방사적으로 차이가 존재하는 영상일 수 있다. 예를 들어, 대상 영상(10)은 상대 방사 보정을 수행할 처리 대상의 영상이며, 기준 영상(20)은 다수의 대상 영상으로부터 기준점(미변화지역)을 결정하기 위해 사용되는 영상이다. 계절 보정부(100)는 네트워크(500)를 통하여 대상 영상(10) 및 기준 영상(20)을 수신할 수 있다. 예시적으로, 계절 보정부(100)는 합성 개구 레이더(900)를 통해 만들어진 영상을 네트워크(500)를 통하여 수신받을 수 있다. 또한, 계절 보정부(100)는 대상 및 기준 영상 저장부(850)에 미리 저장되어 있는 합성 개구 레이더 영상을 네트워크(500)를 통하여 수신받을 수 있다. 한편, 계절 보정부(100)는 인공위성이나 항공기를 통해 만들어진 영상을 네트워크(500)를 통하여 수신받을 수 있다. 또한, 계절 보정부(100)는 대상 및 기준 영상 저장부(850)에 미리 저장되어 있는 위성 영상 또는 항공 영상을 네트워크(500)를 통하여 수신 받을 수 있다.
도 4는 본원의 일 실시예에 따른 상대 방사 보정 수행 장치에 의해 수신되는 대상 영상 및 기준 영상의 예시도이다.
예시적으로 도 4를 참조하면, 대상 영상(10)은 계절 및 방사 보정의 대상이 되는 영상이다. 대상 영상(10)은 기준 영상(20)과 계절 및 방사적으로 차이가 존재하는 영상일 수 있다. 대상 영상(10)은 계절(봄, 여름, 가을 겨울)별로 기준 시기마다 획득된 영상일 수 있다. 또한, 대상 영상(10)은 기준 영상(20)에 비해 픽셀값이 비교적 낮은 영상 또는 픽셀 특성의 왜곡이 발생한 영상이거나, 또는 촬상 시의 렌즈 조건, 기상 조건, 자세 조건 등에 의해 왜곡이 발생하여 비교적 낮은 판독력을 제공하는 영상일 수 있다. 또한, 대상 영상(10)은 태양-목표물-센서의 기학학적 관계, 센서 간 해상도 차이, 대기 및 생태환경 조건에 의해 낮은 판독력을 제공하는 영상일 수 있다. 예시적으로, 대상 영상(110)은 합성 개구 레이더(SAR: Synthetic Aperture Radar)(900) 에서 획득된 영상일 수 있으나, 이에 한정되지 않는다.
예시적으로 도 4를 참조하면, 기준 영상(20)은 대상 영상(10)에 대한 계절 및 방사 보정을 수행할 때 기준이 되는 영상이다. 기준 영상(20)은 다수의 대상 영상으로부터 기준점(미변화지역)을 결정하기 위해 대상 영상과 비교 연산 처리되는 영상으로서, 사용자에 의해 지정될 수 있다. 예를 들어, 기준 영상(20)은 상대적으로 계절적 변화가 적은 계절(예를 들어, 겨울)의 영상을 의미할 수 있다. 기준 영상(20)은 다중 스펙트럼(Multispectral) 영상으로서 컬러 영상일 수 있다. 또한, 기준 영상(20)은 은 대상 영상(10)에 비해 픽셀값이 비교적 높은 영상이거나, 또는 비교적 높은 판독력을 제공하는 영상일 수 있다. 예시적으로, 기준 영상(20)은 인공위성 또는 항공기에서 획득된 영상일 수 있으나, 이에 한정되지 않는다.
달리 말해, 도 4를 참조하면, 대상 영상(10) 및 기준 영상(20)은 동일한 위치에서 촬영된 영상이다. 동일한 위치는 지도상의 좌표점이 동일한 것일 수 있다. 일예로, 기준 영상(20)은 여름에 촬영된 영상일 수 있으며, 대상 영상(10)은 겨울에 촬영된 영상일 수 있다. 동일한 위치에서 촬영된 영상이라고 하더라도, 계절적으로 다른 특성을 담고 있어, 대상 영상(10)과 기준 영상(20)이 다른 위치에서 획득된 영상으로 판단될 수 있다.
단계 S200에서, 상대 방사 보정 수행 장치(1000)의 계절 보정부(100)는 대상 영상(10) 및 기준 영상(20)을 이용하여 다층 퍼셉트론 기법에 기초하여, 대상 영상(10)의 계절 보정을 수행할 수 있다. 다층 퍼셉트론은 입력층과 출력층 사이에 하나 이상의 은닉층이 존재하는 신경망으로, 종속변수 및 독립 변수 사이의 복잡한 비선형성을 고려하여 모델링을 수행한다. 다층 퍼셉트론은 입력층과 출력층 사이에 하나 이상의 중간층 (은닉층)이 존재하는 신경망으로 대량의 데이터에 내재된 정보를 잡아내고 매우 복잡하고 비선형적인 관계의 모델을 만들어 낼 수 있는 장점이 있다. 계절 보정부(100)는 이하 도 3 및 도 8을 참조하여 보다 자세히 설명하고자 한다.
또한, 단계 S200에서, 상대 방사 보정 수행 장치(1000)의 방사 보정부(200)는 계절 보정이 수행된 대상 영상에 대해 방사적 특성 보정을 수행할 수 있다. 달리 말해, 방사 보정부(200)는 위성 센서의 차이, 태양각, 대기효과 등의 요소들을 보정하는 방사적 특성 보정을 수행할 수 있다.
본원의 일 실시예에 따르면, 방사 보정부(200)는 계절 보정이 수행된 영상과 기준 영상 간의 히스토그램 매칭을 수행할 수 있다. 히스토그램 매칭은 예측부(140)에서 획득한 계절보정이 수행된 영상과 참조영상간의 누적 분포 함수(cumulative distribution function)을 계산하여 수행될 수 있다. 히스토그램 매칭은 기존의 상대 방사보정 기법 중 하나로, 입력 영상의 히스토그램 분포를 참조 영상의 히스토그램 분포와 동일하게 변환시키는 방법이다. 달리 말해, 방사 보정부(200)는 누적분포 함수에 기반하며, 전역적인 통계적 특성을 고려하여 방사적 특성을 보정할 수 있다.
도 3은 본원의 일 실시예에 따른 상대 방사 보정 수행 장치의 계절 보정부를 도시한 블록도이고, 도 8은 본원의 일 실시예에 따른 상대 방사 보정 방법의 흐름을 도시한 제2순서도이다.
단계 S110에서, 기준점 추출부(110)는 대상 영상(10) 및 기준 영상(20)을 이용하여 다층 퍼셉트론 회귀모델을 수립하기 위한 기준점을 추출할 수 있다. 기준점은 스캐터그램(scattergram) 내의 물과 지표의 클러스터 중심을 나타내는 두 개의 국부 최대값을 선정하여 미변화 라인(3)을 획득한 뒤, 미변화 라인(3)을 기준으로 픽셀수가 미리 설정된 값 이상을 만족하는 Half Vertical Width (HVW)를 획득하여 내부에 존재하는 픽셀을 미변화 픽셀들로 선정될 수 있다.
도 5는 본원의 일 실시예에 따른 상대 방사 보정 방법에 의해 제작된 대상 영상 및 기준 영상의 근적외선 밴드간의 스캐터그램 영상의 예시도이다.
기준점 추출부 (110)는 대상 영상(10) 및 기준 영상(20)의 근적외선 밴드간의 스캐터그램(111)을 획득하고, 스캐터그램(scattergram)(111) 내의 미변화 라인(no-change line)(3)을 결정하여, 미변화 라인(3)에 기초하여 미변화 픽셀을 선정하여, 미변화 픽셀을 기준점으로 추출할 수 있다. 이때, 미변화 픽셀이 기준점일 수 있다. 예시적으로 기준점 추출부(110)는 근적외선 기준 영상의 근적외선 밴드 픽셀값 및 대상 영상의 근적외선 밴드 픽셀값을 이용하여 근적외선 밴드간의 스캐터그램을 획득할 수 있다.
도 5의 (a)는 기준점 추출부(110)에서 획득한 근적외선 밴드간의 스캐터그램일 수 있다. 도 5의 (a)의 x축은 대상 영상의 근적외선 밴드 픽셀값, y축은 기준 영상의 근적외선 밴드 픽셀값을 나타낼 수 있다. 예시적으로 도 5 의(a)를 참조하면, 기준점 추출부 (110)는 획득된 스캐터그램(111)을 이용하여, 물의 클러스터 중심을 나타내는 물의 최대값(water maxima)(1) 및 지표의 클러스터 중심을 나타내는 지표 최대값(land-surface maxima)(2)을 획득할 수 있다. 또한, 물의 최대값(water maxima)(1)은 (0,0)에 근접하게 위치한 것으로, 노란색 정사각형으로 표시된 것 일수 있다. 물의 최대값(water maxima)(1)은 물의 클러스터 중심을 나타내는 국부 최대값일 수 있다. 또한, 지표 최대값(land-surface maxima)(2)은 미변화 라인의 중앙에 근접하게 위치한 것으로, 초록색 정사각형으로 표시된 것 일수 있다. 지표 최대값(land-surface maxima)(2)은 지표의 클러스터 중심을 나타내는 국부 최대값일 수 있다. 기준점 추출부 (110)는 물의 최대값(water maxima)(1) 및 지표 최대값(land-surface maxima)(2)을 이용하여 미변화 라인(3)을 결정할 수 있다. 지표(land-surface)는 건물, 수목 등이 존재하지 않는 지표면을 의미할 수 있다. 본원의 일 실시예에 따르면, 물(water) 및 지표(land-surface)는 다른 지역에 비해 상대적으로 변화가 적은 지역이므로, 기준점 추출을 위한 미변화 라인을 결정하는 클러스터 중심으로 사용될 수 있다.
본원의 일 실시예에 따르면, 미변화 라인(3)은 대상 영상 내의 물(water)과 지표(land surface)의 클러스터 중심을 나타내는 두 개의 국부 최대값에 기초하여 결정되는 계수를 이용하여 결정될 수 있다. 달리 말해, 미변화 라인(3)은 물과 지표의 클러스터 중심을 나타내는 두 개의 국부 최대값에 기반한 계수를 통해 획득될 수 있다.
기준점 추출부 (110)는 기준 영상 지표 국부 최대 픽셀값, 기준 영상 물 국부 최대 픽셀값, 대상 영상 지표 국부 최대 픽셀값 및 대상 영상 물 국부 최대 픽셀값을 이용하여 미변화 라인의 기울기를 결정할 수 있다.
미변화 라인(3)의 기울기 "a"는
Figure 112018119313102-pat00001
와 같이 표현될 수 있다.
또한, 기준점 추출부(110)는 기울기 "a"의 값을 가지고 y축으로 평행이동한 직선의 "b"의 값을 추출할 수 있다. "b"는 (기준영상 물 국부 최대 픽셀값 - a*대상 영상 물 국부 최대 픽셀 값)으로 표현될 수 있다.
본원의 일 실시예에 따르면, 기준점 추출부 (110)는 대상 영상(10) 및 기준 영상(20)을 수신하고, 대상 영상(10) 및 기준 영상(20)을 이용하여 다층 퍼셉트론 회귀모델을 수립하기 위한 기준점을 추출할 수 있다. 기준점 추출부(110)에서 획득된 정보는 회귀모델 학습부(130)에서 사용될 수 있다.
기준점에 대한 수식은 하기의 [식1]과 같이 표현될 수 있다.
[식1]
Figure 112018119313102-pat00002
여기서, y는 기준 영상의 근적외선 밴드 픽셀값이고, x는 대상 영상의 근적외선 밴드 픽셀값이고, a는
Figure 112018119313102-pat00003
이고, b는 (기준영상 물 국부 최대 픽셀값 - a*대상 영상 물 국부 최대 픽셀 값)일 수 있다.
또한, HVW(Half Vertical Width)는
Figure 112018119313102-pat00004
로 표현될 수 있으며, 여기서, HPW는 half perpendicular width이다.
본원의 일 실시예에 따르면, 기준점 추출부(110)는 미변화 라인(3)을 기준으로 HVW(Half Vertical Width)(4,4')를 획득하여 그 내부에 존재하는 픽셀을 미변화 픽셀로 선정할 수 있다. 달리 말해, 기준점 추출부(110)는 HVW(Half Vertical Width)(4,4')를 기반으로 미변화 픽셀(미변화 지역)을 획득할 수 있다. 예시적으로 도 5의(a)를 참조하면, 기준점 추출부(110)는 제1 HVW(4) 및 제2HVW(4')가 서로 마주하여 형성하는 영역 내에 존재하는 픽셀을 미변화 픽셀로 선정할 수 있다.
달리 말해, 기준점은 스캐터그램(scattergram) 내의 물과 지표의 클러스터 중심을 나타내는 두 개의 국부 최대값을 선정하여 미변화 라인 (no-change line)을 획득한 뒤, 미변화 라인 (no-change line)을 기준으로 픽셀수가 미리 설정된 기준값(예를 들어, 70%) 이상을 만족하는 half vertical width (HVW)를 획득하여 내부에 존재하는 픽셀을 미변화 픽셀들로 선정될 수 있다.
본원의 일 실시예에 따르면, 기준점 추출부(110)는 HPW의 초기값(예를 들어, 10)을 설정하고, 미변화 픽셀(미변화 지역)이 미리 설정된 기준값(예를 들어, 70%) 이상을 만족할 때까지 HPW를 변경하면서 반복작업을 통해 기준점을 결정할 수 있다. 달리 말해, 도 5의(a)를 참조하면, 기준점 추출부(110)는 HVW의 HPW(half perpendicular width)를 변경하여 미변화 픽셀이 미리 설정된 기준값 이상을 만족하도록 기준점을 결정할 수 있다. 예시적으로, 기준점 추출부(110)는 HPW의 초기값을 변경하여 미변화 픽셀(미변화 지역)이 미리 설정된 기준값 이상을 만족할 때까지 반복작업을 통해 기준점을 결정할 수 있다.
도 5의 (b)는 본원의 일 실시예에 따른 상대 방사 보정 방법에 의해 선정된 기준점 선정 영상(112)의 예시도이다.
예시적으로, 기준점 추출부(110)는 기준 영상(10)을 이용하여 각 픽셀의 값이 빛의 양(광량)만을 나타내는 단일 샘플 이미지인 그레이 스케일 영상을 획득할 수 있다. 또한, 기준점 추출부(110)는 광도법(Luminosity Method)을 이용하여 기준 영상(20)의 그레이 스케일 영상을 획득할 수 있다. 기준점 추출부(110)는 색도 변환(Colorimetric Conversion), 또는 루마 코딩(Luma coding)를 이용하여 그레이 스케일 영상을 획득할 수 있다.
기준점 추출부(110)는 기준 영상(20)의 그레이 스케일 영상과 대상 영상(10) 간의 영상 대차법을 수행하여 불변점을 선정할 수 있다. 영상 대차법은 영상 간의 변화를 결정하는 데 사용되는 영상 처리 기술이다. 영상 간의 차이는, 각 영상의 픽셀 사이의 차이를 파악하고, 그 결과를 기초로 하여 산출될 수 있다. 영상 대차법을 활용하기 위해서는, 영상 대차법의 대상이 되는 영상들의 광도값을 호환 가능하게 만들어야 한다.
본원의 일 실시예에 따르면, 기준점 추출부(110)는 영상 대차법에 따라 그레이 스케일 영상과 대상 영상(10) 간의 불변점을 선정할 수 있다. 불변점은 그레이 스케일 영상과 대상 영상(10) 간의 상기 영상 대차법에 따라 변화하지 않은 것으로 판단된 픽셀을 의미한다. 한편, 기준점 추출부(110)는 불변점을 기준점으로 선정할 수 있다. 예시적으로, 도 5의 (b)를 참조하면, 도 5의 (b)에 도시된 기준점 선정 영상(112)은 상기 영상 대차법에 따라 대상 영상(10)과 그레이 스케일 영상 간의 불변점을 선정하여 도시한 영상일 수 있다. 다만, 기준점 추출부(110)에서 기준점 선정 영상(112)을 생성하는 방식은 이에 한정되는 것은 아니며, 다양한 실시예가 존재할 수 있다.
단계 S120에서, 특성변수 설정부(120)는 다층 퍼셉트론 회귀모델을 학습하기 위한 특성 변수를 설정할 수 있다. 달리 말해, 특성변수 설정부(120)는 다층 퍼셉트론 회귀모델 학습부(130)에서 사용되고, 다층 퍼셉트론 회귀모델을 학습하기 위한 입력정보를 선정할 수 있다. 특성변수 설정부(120)는 일반적으로 단일 픽셀은 충분한 정보를 담지 못하고 있으므로, 계절적 보정을 수행하기 위해서 픽셀값 이외의 특징자들을 고려하기 위한 특성 변수를 설정할 수 있다.
본원의 일 실시예에 따르면, 특성 변수는 대상 영상의 스펙트럴 인덱스(spectral index)로서, 정규화 수분 지수(Normalized Difference Water Index, NDWI), 정규 식생 지수(Normalized Difference Vegetation Index, NDVI), 토양 조절 식생 지수 (Soil-Adjusted Vegetation Index, SAVI), 및 개량 식생 지수 (Enhanced Vegetation Index, EVI) 중 적어도 어느 하나를 포함할 수 있다.
예시적으로, 특성변수 설정부(120)는 보정을 수행하기 위한 특성 변수(밴드의 픽셀값 이외의 변수)를 하기의 [표1]과 같이 설정할 수 있다.
Variable Formula
NDWI (Normalized Difference Water Index)
Figure 112018119313102-pat00005
NDVI (Normalized Difference Vegetation Index)
Figure 112018119313102-pat00006
EVI (Enhanced Vegetation Index)
Figure 112018119313102-pat00007
SAVI (Soil-Adjusted Vegetation Index)
Figure 112018119313102-pat00008

(L = 0.5)
단계 S130에서, 회귀모델 학습부(130)는 추출된 기준점 및 특성 변수에 기초하여 다층 퍼셉트론 회귀모델을 학습하여 생성할 수 있다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 뉴런들이 학습을 통해 가중치를 변화시켜 문제해결능력을 가지는 모델을 의미한다. 그 중, 다층 퍼셉트론은 입력층과 출력층 사이에 하나 또는 그 이상의 중간층(은닉층)이 존재하는 신경망이다. 다층 퍼셉트론은 입력층과 출력층 사이에 하나 이상의 중간층 (은닉층)이 존재하는 신경망으로 대량의 데이터에 내재된 정보를 잡아내고 매우 복잡하고 비선형적인 관계의 모델을 만들어 낼 수 있는 장점이 있다. 입력층의 뉴런에 데이터가 입력되면 은닉층으로 전달되고, 은닉층에서 활성화 함수를 통해 새로운 값으로 전이되어 출력층으로 전달하고 신호를 출력하게 된다. 다층 퍼셉트론 인공신경망에서 입력 데이터를 X = X1, X2,…. Xn라고 할 때, r번째 레이어의 뉴런 j의 출력값 Yj는 이하 [식2]와 같이 표현될 수 있다.
[식2]
Figure 112018119313102-pat00009
여기서,
Figure 112018119313102-pat00010
는 (r-1)th층의
Figure 112018119313102-pat00011
뉴런과
Figure 112018119313102-pat00012
층의
Figure 112018119313102-pat00013
뉴런 사이의 연결 강도이고,
Figure 112018119313102-pat00014
는 고정 단위 바이어스(bias)와 뉴런 j간의 연결 강도이며, f는 활성화 함수일 수 있다.
또한, 회귀모델 학습부(130)는 기준점에 대응되는 대상 영상의 픽셀 및 픽셀의 위치에 대응되는 특성 변수를 이용하여 학습하여 다층 퍼셉트론 회귀모델을 생성할 수 있다. 달리 말해, 회귀모델 학습부(130)는 기준점과 특성 변수를 기반으로 다층 페셉트론 회귀모델을 학습할 수 있다. 본원의 일 실시예에 따르면, 회귀모델 학습부(130)는 기준점에 대응되는 특성변수 값을 입력층에서 입력으로 받아 은닉층으로 전달하고, 활성화 함수를 통해 새로운 값으로 전이될 수 있다. 본원의 일 실시예에 따르면, 회귀모델 학습부(130)는 정확도 및 학습시간을 고려하여 4개의 은닉층으로 구성하고, 각 은닉층에는 10개의 뉴런을 선정할 수 있다. 이때, 사용된 활성화 함수는 ReLU(Rectified Linear Unit) 함수일 수 있다. 일예로, 다층 퍼셉트론 구축 시 성능에 영향을 미치는 파라미터로는 은닉층의 수, 뉴런수, 활성화 함수 및 은닉층에서 사용되는 가중치를 결정하는 최적화 알고리즘 특성을 포함할 수 있다. 은칙층의 수는 정확도 및 학습 시간을 고려하여 결정되며, 뉴런수는 특징자수 x2로 선정될 수 있다. 다만, 앞서 설명된 은닉층의 수 및 뉴런의 수가 이에 한정되는 것은 아니다.
본원의 일 실시예에 따르면, 회귀모델 학습부(130)는 다층 퍼셉트론 인공신경망의 입력층과 출력층 사이의 은닉층의 수, 뉴런의 수, 활성화 함수 및 은닉층에서 사용되는 가중치를 결정하는 최적화 알고리즘을 결정할 수 있다. 은닉층의 경우 활성화 함수에서 계산된 은닉층의 입력데이터와 가중치를 곱하고 임계값을 더하여 출력층으로 보내지게 된다.
일예로, 회귀모델 학습부(130)는 최적화 알고리즘을 결정하기 위해, 역전파 알고리즘을 이용할 수 있다. 역전파 알고리즘은 다층(multilayer)이고, 순행 공급(feedforward) 신경망에서 사용되는 학습 알고리즘이며, 학습 방법은 지도 학습(supervised learning)이다. 즉, 학습을 하기 위해서는 입력 데이터와 원하는 출력(o) 데이터가 있어야 한다. 입력이 신경망의 가중치(weights)와 곱하고 더하는 과정을 몇 번 반복하면 입력의 결과 값인 출력(y)이 나온다. 이때 출력(y)은 학습 데이터에서 주어진 원하는 출력(o)과 다르다. 결국, 신경망에서는 (y - o)만큼의 오차(e = y - o)가 발생하며, 오차에 비례하여 출력층의 가중치를 갱신하고, 그 다음 은닉층의 가중치를 갱신한다. 가중치를 갱신하는 방향은 신경망의 처리 방향과는 반대이다. 달리 말해, 역전파 알고리즘이란 각 층간의 가중치가 손실함수에 미치는 영향을 반대 방향으로 계산하면서 모든 가중치들을 조정하여 손실을 줄임으로써 최적화하는 것이다.
본원의 일예로, 회귀모델 학습부(130)에서 손실함수는 squared error가 활용될 수 있다. 또한, 최적화 알고리즘은 일반적으로 활용되는 경사 하강법 중 Adam (Adaptive Moment Estimation)이 선정될 수 있다.
달리 말해, 회귀모델 학습부(130)는 기준점에 대응되는 특성 변수값을 입력층에서 입력으로 받아 은닉층으로 전달하고, 활성화 함수를 통해 새로운 값으로 전이할 수 있다. 예시적으로, 회귀모델 학습부(130)에서 사용된 활성화 함수는 ReLU함수이다. 은닉층의 경우 활성화 함수에서 계산된 은닉층의 입력데이터와 가중치를 곱하고 임계값을 더하여 출력층으로 보내지게 된다.
본원의 일 실시예에 따르면, 회귀모델 학습부(130)는 다층 퍼셉트론 모델을 구축하고 학습데이터를 통해 학습을 수행할 수 있다. 달리 말해, 학습데이터는 앞서 추출된 미변화 픽셀(no-change 지역)에 대응되는 입력 영상의 픽셀값(DN, Digital Number) 및 특성 변수(spectral index)들과 참조 영상의 픽셀값(DN)값을 기반으로 감독 학습이 수행될 수 있다.
단계 S140에서, 예측부(140)는 생성된 다층 퍼셉트론 회귀모델에 대상 영상(20)을 적용하여 대상 영상(20)의 계절 보정을 수행할 수 있다. 달리 말해, 예측부(140)는 계절적으로 보정된 영상을 예측할 수 있다. 달리 말해, 예측부(140)는 회귀모델 학습부(130)에서 획득한 모델에 전체 영상의 픽셀 위치에 대응되는 특성변수를 입력정보로 설정하여 대상 영상의 계절 보정이 수행된 영상을 획득할 수 있다. 예를 들어, 예측부(140)는 회귀모델 학습부(130)에서 학습된 다층 퍼셉트론에 대상 영상(입력 영상)의 전체 픽셀에 대응되는 픽셀값(DN) 및 특성 변수(spectral index)를 입력데이터로 하여 계절 보정이 수행된 영상을 획득할 수 있다.
도 6은 본원의 일 실시예에 따른 상대 방사 보정 방법에 의해 대상 영상의 계절 및 방사 보정이 수행된 상대 방사 보정 영상(30)의 예시도이다.
도 6에 도시된 상대 방사 보정 영상(30)은 앞서 설명된 단계 S100 및 단계 S200을 거쳐 생성된 영상일 수 있다. 달리 말해, 상대 방사 보정 영상(30)은 계절 보정부(100)에서 대상 영상(10) 및 기준 영상(20)을 수신하고, 대상 영상(10) 및 기준 영상(20)을 이용하여 다층 퍼셉트론 기법에 기초하여, 대상 영상의 계절 보정을 수행하고, 방사 보정부에서 계절 보정이 수행된 대상 영상에 대해 방사적 특성 보정을 수행하여 생성된 영상일 수 있다.
본원의 일 실시예에 따르면, 상대 방사 보정 수행 장치(1000)는 획득한 계절 및 상대 방사 보정이 수행된 상대 방사 보정 영상(30)을 사용자 단말(미도시)로 제공할 수 있다.
본원의 다른 일 실시예에 따르면, 상대 방사 보정 수행 장치(1000)는 사용자 단말(미도시)로부터 계절 및 방사보정을 수행할 위치 정보를 수신할 수 있다. 상대 방사 보정 수행 장치(1000)는 위치 정보와 연계된 위성 영상 및 항공 영상을 합성 개구 레이더(900) 또는 대상 및 기준 영상 저장부(850)로부터 수신할 수 있다. 달리 말해, 상대 방사 보정 수행 장치(1000)는 사용자 단말(미도시)로부터 수신한 위치 정보와 연계된 대상 영상(10)에 기반하여, 대상 영상(10)의 계절 및 방사 보정이 수행된 상대 방사 보정 영상을 획득할 수 있다.
본원의 다른 일 실시예에 따르면, 상대 방사 보정 수행 장치(1000)는 상대 방사 보정 결과를 평가할 수 있다. 먼저, 상대 방사 보정 결과는 시각적 분석으로 직관적으로 평가될 수 있다. 또한, 상대 방사 보정 수행 장치(1000)는 통계적 평가 방법으로, 상대 방사 보정 결과를 객관적 및 정량적으로 분석할 수 있다.
통계적 평가에 활용한 지수는 RMSE (Root Mean Squared Error) 및 R2으로 하기의 [식3] 및 [식4]와 같이 표현될 수 있다.
[식3]
Figure 112018119313102-pat00015
[식4]
Figure 112018119313102-pat00016
여기서,
Figure 112018119313102-pat00017
는 밴드(band) i의 정규화된 이미지이고,
Figure 112018119313102-pat00018
는 밴드(band) i의 참조 이미지이고,
Figure 112018119313102-pat00019
는 밴드(band) i의 참조 이미지의 평균이며, n은 장면의 총 픽셀 수 일수 있다.
RMSE는 작을수록, R2는 1에 가까울수록 좋은 상대 방사 보정 결과를 나타낸다.
이하에서는 본원의 일 실시예 및 다른 일 실시예에 따른 영상의 상대 방사 보정 수행 장치(1000)에 대해 설명한다. 다만, 영상의 상대 방사 보정 수행 장치 (1000)는 앞서 살핀 본원의 일 실시예 및 다른 일 실시예에 따른 영상의 상대 방사 보정 방법을 수행하는 상대 방사 보정 수행 장치(1000) 각각에 대한 것으로서, 앞서 살핀 본원의 일 실시예 및 다른 일 실시예에 따른 영상의 상대 방사 보정 방법과 동일하거나 상응하는 기술적 특징을 포함하는 발명이라 할 것이므로, 앞서 설명한 구성과 동일 또는 유사한 구성에 대해서는 동일한 도면부호를 사용하고, 중복되는 설명은 간략히 하거나 생략 하기로 한다.
본원의 일 실시예에 따른 상대 방사 보정 수행 장치(1000)는 계절 보정부(100) 및 방사 보정부(200)를 포함할 수 있다. 예시적으로, 상대 방사 보정 수행 장치(1000)는 영상의 상대 방사 보정을 수행하는 소프트웨어가 설치된 컴퓨터, 서버, 디바이스일 수 있으나, 이에 한정되지 않는다.
계절 보정부(100)는 대상 영상(10) 및 기준 영상(20)을 수신할 수 있다. 예시적으로 계절 보정부(100)는 합성 개구 레이더(900)를 통해 만들어진 영상을 네트워크(500)를 통하여 수신받을 수 있다. 이에 더해, 본원의 일 실시예에 따르면, 저장부를 포함하고, 계절 보정부(100)는 저장부를 통해 대상 영상(10) 및 기준 영상(20)을 수신 받을 수 있다.
또한, 계절 보정부(100)는 대상 영상(10) 및 상기 기준 영상(20)을 이용하여 다층 퍼셉트론 기법에 기초하여, 대상 영상(10)의 계절 보정을 수행할 수 있다.
방사 보정부(200)는 계절 보정이 수행된 대상 영상(20)에 대해 방사적 특성 보정을 수행할 수 있다. 방사 보정부(200)는 계절 보정부(100)에서 계절 보정이 수행된 영상과 기준 영상(20) 간의 히스토그램 매칭을 수행할 수 있다.
도 3은 본원의 일 실시예에 따른 상대 방사 보정 수행 장치의 계절 보정부를 도시한 블록도이다.
도 3을 참조하면, 계절 보정부(100)는 기준점 추출부(110), 특성변수 설정부(120), 회귀모델 학습부(130) 및 예측부(140)를 포함할 수 있다.
기준점 추출부(110)는 대상 영상(10) 및 기준 영상(20)을 수신하고, 대상 영상(10) 및 기준 영상(20)을 이용하여 다층 퍼셉트론 회귀모델을 수립하기 위한 기준점을 추출할 수 있다. 특성변수 설정부(120)는 다층 퍼셉트론 회귀모델을 학습하기 위한 특성 변수를 설정할 수 있다. 회귀모델 학습부(130)는 추출된 기준점 및 특성 변수에 기초하여 다층 퍼셉트론 회귀모델을 학습하여 생성할 수 있다. 예측부(140)는 생성된 다층 퍼셉트론 회귀모델에 대상 영상(10)을 적용하여 대상 영상(10)의 계절 보정을 수행할 수 있다.
상술한 설명에서, 단계 S100 내지 S200은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 상대 방사 보정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 상대 방사 보정 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 계절 보정부
110: 기준점 추출부
120: 특성변수 설정부
130: 회귀모델 학습부
140: 예측부
200: 방사보정부
500: 네트워크
900: 합성 개구 레이더
1000: 상대 방사 보정 수행 장치

Claims (15)

  1. 영상의 상대 방사 보정 방법에 있어서,
    (a) 대상 영상 및 기준 영상을 수신하는 단계; 및
    (b) 상기 대상 영상 및 상기 기준 영상을 이용하여 다층 퍼셉트론 기법에 기초하여, 상기 대상 영상의 계절 및 방사 보정이 수행된 상대 방사 보정 영상을 획득하는 단계,
    를 포함하되,
    상기 (b) 단계는,
    상기 대상 영상 및 상기 기준 영상을 이용하여 다층 퍼셉트론 회귀모델을 수립하기 위한 기준점을 추출하는 단계;
    다층 퍼셉트론 회귀모델을 학습하기 위한 특성 변수를 설정하는 단계;
    상기 추출된 기준점 및 상기 특성 변수에 기초하여 다층 퍼셉트론 회귀모델을 학습하여 생성하는 단계; 및
    상기 생성된 다층 퍼셉트론 회귀모델에 상기 대상 영상을 적용하여 상기 대상 영상의 계절 보정을 수행하는 단계,
    를 포함하고,
    상기 기준점을 추출하는 단계는,
    상기 대상 영상 및 상기 기준 영상의 근적외선 밴드간의 스캐터그램(scattergram)을 획득하고, 상기 스캐터그램 내의 미변화 라인(no-change line)을 결정하여, 상기 미변화 라인에 기초하여 미변화 픽셀을 선정하는 단계를 포함하고, 상기 미변화 픽셀이 상기 기준점인 것인, 상대 방사 보정 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 (b) 단계는,
    상기 계절 보정이 수행된 영상에 대해 방사적 특성 보정을 수행하는 단계,
    를 더 포함하는 것인, 상대 방사 보정 방법.
  4. 제3항에 있어서,
    상기 방사적 특성 보정을 수행하는 단계는 상기 계절 보정이 수행된 영상과 상기 기준 영상 간의 히스토그램 매칭을 수행하는 것인, 상대 방사 보정 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 미변화 라인은 상기 대상 영상 내의 물(water)과 지표(land surface)의 클러스터 중심을 나타내는 두 개의 국부 최대값에 기초하여 결정되는 계수를 이용하여 결정되는 것인, 상대 방사 보정 방법.
  7. 제1항에 있어서,
    상기 미변화 픽셀을 선정하는 단계는, 상기 미변화 라인을 기준으로 HVW(Half Vertical Width)를 획득하여 그 내부에 존재하는 픽셀을 미변화 픽셀로 선정하는 것인, 상대 방사 보정 방법.
  8. 제1항에 있어서,
    상기 특성 변수는
    상기 대상 영상의 스펙트럴 인덱스(spectral index)로서, 정규화 수분 지수(Normalized Difference Water Index, NDWI), 정규 식생 지수(Normalized Difference Vegetation Index, NDVI), 토양 조절 식생 지수 (Soil-Adjusted Vegetation Index, SAVI), 및 개량 식생 지수 (Enhanced Vegetation Index, EVI) 중 적어도 어느 하나를 포함하는 것인, 상대 방사 보정 방법.
  9. 제1항에 있어서,
    상기 다층 퍼셉트론 회귀모델을 생성하는 단계는,
    다층 퍼셉트론 인공신경망의 입력층과 출력층 사이의 은닉층의 수, 뉴런의 수, 활성화 함수 및 상기 은닉층에서 사용되는 가중치를 결정하는 최적화 알고리즘을 결정하는 단계,
    를 포함하는 것인, 상대 방사 보정 방법.
  10. 제9항에 있어서,
    상기 다층 퍼셉트론 회귀모델을 생성하는 단계는,
    상기 기준점에 대응되는 상기 대상 영상의 픽셀 및 상기 픽셀의 위치에 대응되는 특성 변수를 이용하여 학습하여 상기 다층 퍼셉트론 회귀모델을 생성하는 것인, 상대 방사 보정 방법.
  11. 제10항에 있어서,
    상기 대상 영상의 계절 보정을 수행하는 단계는,
    상기 대상 영상의 전체 픽셀 및 상기 전체 픽셀의 위치에 대응되는 특성 변수를 상기 생성된 다층 퍼셉트론 회귀모델의 입력 정보로서 입력하여 상기 대상 영상의 계절 보정이 수행된 영상을 획득하는 단계,
    를 포함하는 것인, 상대 방사 보정 방법.
  12. 영상의 상대 방사 보정 수행 장치에 있어서,
    대상 영상 및 기준 영상을 수신하고, 상기 대상 영상 및 상기 기준 영상을 이용하여 다층 퍼셉트론 기법에 기초하여, 상기 대상 영상의 계절 보정을 수행하는 계절 보정부; 및
    상기 계절 보정이 수행된 대상 영상에 대해 방사적 특성 보정을 수행하는 방사 보정부,
    를 포함하고,
    상기 계절 보정부는,
    상기 대상 영상 및 상기 기준 영상을 수신하고, 상기 대상 영상 및 상기 기준 영상을 이용하여 다층 퍼셉트론 회귀모델을 수립하기 위한 기준점을 추출하는 기준점 추출부;
    다층 퍼셉트론 회귀모델을 학습하기 위한 특성 변수를 설정하는 특성변수 설정부;
    상기 추출된 기준점 및 상기 특성 변수에 기초하여 다층 퍼셉트론 회귀모델을 학습하여 생성하는 회귀모델 학습부; 및
    상기 생성된 다층 퍼셉트론 회귀모델에 상기 대상 영상을 적용하여 상기 대상 영상의 계절 보정을 수행하는 예측부,
    를 포함하되,
    상기 기준점 추출부는,
    상기 대상 영상 및 상기 기준 영상의 근적외선 밴드간의 스캐터그램(scattergram)을 획득하고, 상기 스캐터그램 내의 미변화 라인(no-change line)을 결정하여, 상기 미변화 라인에 기초하여 미변화 픽셀을 선정하여, 상기 미변화 픽셀을 기준점으로 추출하는 것인, 상대 방사 보정 수행 장치.
  13. 삭제
  14. 삭제
  15. 제1항, 제3항, 제4항, 제6항 내지 제11항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한, 컴퓨터로 읽을 수 있는 기록매체.
KR1020180150434A 2018-11-29 2018-11-29 영상의 상대 방사 보정 방법 및 수행 장치 KR102125723B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180150434A KR102125723B1 (ko) 2018-11-29 2018-11-29 영상의 상대 방사 보정 방법 및 수행 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180150434A KR102125723B1 (ko) 2018-11-29 2018-11-29 영상의 상대 방사 보정 방법 및 수행 장치

Publications (2)

Publication Number Publication Date
KR20200064377A KR20200064377A (ko) 2020-06-08
KR102125723B1 true KR102125723B1 (ko) 2020-06-23

Family

ID=71090001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180150434A KR102125723B1 (ko) 2018-11-29 2018-11-29 영상의 상대 방사 보정 방법 및 수행 장치

Country Status (1)

Country Link
KR (1) KR102125723B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102353123B1 (ko) * 2021-02-16 2022-01-19 대한민국 열분포 지도제작을 위한 위성영상 간 밝기 차이 최소화 보정방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101693705B1 (ko) 2015-08-31 2017-01-18 건국대학교 산학협력단 다중 회귀식에 의한 중해상도 모의 위성 영상 제작 방법 및 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100513790B1 (ko) * 2003-12-23 2005-09-09 한국전자통신연구원 에스.엘.씨가 오프된 랜드셋-7 영상을 이용한 위성영상지도제작 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101693705B1 (ko) 2015-08-31 2017-01-18 건국대학교 산학협력단 다중 회귀식에 의한 중해상도 모의 위성 영상 제작 방법 및 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Bayes Ahmed ET AL:"Modeling Urban Land Cover Growth Dynamics Using Multi-Temporal Satellite Images: A Case Study of Dhaka, Banglades", ISPRS Int. J. Geo-Inf. 2012, 1(1), Feb. 2012(2012.02.23.) 1부.*
Salmon ET AL:"The use of a Multilayer Perceptron for detecting new human settlements from a time series of MODIS images", Int. Journal of Applied Earth Observation and Geoinformation(2011.12.31.) 1부.*

Also Published As

Publication number Publication date
KR20200064377A (ko) 2020-06-08

Similar Documents

Publication Publication Date Title
CN108038445B (zh) 一种基于多视角深度学习框架的sar自动目标识别方法
AU2021323934A1 (en) System and method for image-based remote sensing of crop plants
Kuc et al. Sentinel-2 imagery for mapping and monitoring imperviousness in urban areas
CN110070025B (zh) 基于单目图像的三维目标检测系统及方法
CN114125216B (zh) 一种面向软件定义卫星的成像系统及成像方法
CN109671038B (zh) 一种基于伪不变特征点分类分层的相对辐射校正方法
CN114022783A (zh) 基于卫星图像的水土保持生态功能遥感监测方法和装置
CN115512247A (zh) 基于图像多参数提取的区域建筑损伤等级评定方法
KR102125723B1 (ko) 영상의 상대 방사 보정 방법 및 수행 장치
CN113705340B (zh) 一种基于雷达遥感数据的深度学习变化检测方法
US20220003895A1 (en) Wind vector prediction method using artificial intelligence network and analysis apparatus
CN110738693A (zh) 一种地基成像雷达多角度图像配准方法
KR20220005142A (ko) 인공지능 네트워크를 이용한 바람 벡터 예측 방법 및 분석장치
CN110070513A (zh) 遥感影像的辐射校正方法及系统
Zhu et al. MAP-MRF approach to Landsat ETM+ SLC-Off image classification
CN112446256A (zh) 一种基于深度isa数据融合的植被类型识别方法
Gruszczyński et al. Correction of low vegetation impact on UAV-Derived point cloud heights with U-Net networks
KR101958725B1 (ko) Mars를 활용한 영상 컬러 맵핑 수행 방법 및 장치
CN114782274B (zh) 基于光照估计的无人机多光谱图像辐射校正方法
Yang et al. Cropland mapping in fragmented agricultural landscape using modified pyramid scene parsing network
CN116612013B (zh) 一种红外图像超分方法及其移植至前端设备的方法
Pacot et al. Cloud removal from aerial images using generative adversarial network with simple image enhancement
Schönfelder et al. Fusion of point clouds derived from aerial images
CN112581595B (zh) 一种多视角卫星影像一致性分析方法
CN116612430A (zh) 一种基于深度学习利用视频监控系统估计水位的方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant