KR102016977B1 - 해수면 온도 영상 복원 시스템 및 방법 - Google Patents

해수면 온도 영상 복원 시스템 및 방법 Download PDF

Info

Publication number
KR102016977B1
KR102016977B1 KR1020190037941A KR20190037941A KR102016977B1 KR 102016977 B1 KR102016977 B1 KR 102016977B1 KR 1020190037941 A KR1020190037941 A KR 1020190037941A KR 20190037941 A KR20190037941 A KR 20190037941A KR 102016977 B1 KR102016977 B1 KR 102016977B1
Authority
KR
South Korea
Prior art keywords
sea level
data
level temperature
loss function
image
Prior art date
Application number
KR1020190037941A
Other languages
English (en)
Inventor
최영진
최재영
강송희
Original Assignee
(주)지오시스템리서치
한국외국어대학교 연구산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)지오시스템리서치, 한국외국어대학교 연구산학협력단 filed Critical (주)지오시스템리서치
Priority to KR1020190037941A priority Critical patent/KR102016977B1/ko
Application granted granted Critical
Publication of KR102016977B1 publication Critical patent/KR102016977B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

본 기술은 해수면 온도 영상 복원 시스템 및 방법이 개시되어 있다. 본 기술의 구체적인 예에 따르면, 획득된 해수면 온도 영상 중 손실 영역에 대해 GAN 딥러닝 모델의 최종손실함수를 이용하여 복원 데이터를 생성한 다음 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치 여부를 토대로 학습 데이터를 도출하고 도출된 학습 데이터를 획득된 해수면 온도 영상과 결합하여 재구성함으로써, 정밀하게 손실 영역에 대한 해수면 온도 영상을 보간할 수 있고 이에 해수면 온도 영상의 복원력을 극대화할 수 있다.

Description

해수면 온도 영상 복원 시스템 및 방법{SEA SURFACE TEMPERATURE IMAGES REGENERATING SYSTEM AND METHOD USIGN GAN DEEP LEARNING}
본 발명은 해수면 온도 영상 복원 시스템 및 방법에 관한 것으로, 보다 상세하게는 생성적 대립 쌍 네트워크(GAN : Generative Adversarial Network) 딥러닝 모델을 이용하여 손실된 해수면 온도 데이터를 복원하여 획득된 해수면 온도 영상을 재구성할 수 있도록 한 기술에 관한 것이다.
인공위성 등 영상 장비로부터 획득된 소정 지역의 해수면 온도 정보는 화면에 표시하도록 시각화하는 과정이 수행된다.
이러한 시각화 과정에서 해수면 온도 데이터의 손실이 발생되고, 지정학적으로 정확한 해수면 온도 데이터를 얻기 위해 획득된 해수면 온도 영상 내에 손실 데이터를 복원하는 기술이 필요하다.
손실 데이터를 복원하여 정확한 해수면 온도 영상을 획득하기 위한 해수면 온도 영상 복원 시스템은, 영상 보간법(Image interpolation)의 일종인 krigging 및 IDW 등의 영상 보간 기술로 정확한 해수면 온도 영상을 복원하는데 많은 한계에 도달하였다.
예를 들어, 등록특허 제10-186638호(조위자료의 결측구간 분석 및 처리를 통한 이상파랑 발생일 추출방법)는 수집된 조위자료의 결측 부분에 대한 자료의 보간을 전처리한 결측 구간을 제외한 나머지 부분을 결측부분의 끝점과 끝점을 잇는 직선을 선형적으로 보간하는 임의 더미 데이터로 복원하는 방법 및 장치를 제공하는 바, 결측 부분을 자료를 복원하는 방법에 있어서 본 발명의 획득된 해수면 온도 영상을 복원하는 구성 및 활용 상의 차이가 있다.
본 발명은 관련된 영상 장비로부터 획득된 해수면 온도 영상 중 손실된 해수면 온도 영상을 GAN 딥러닝 모델을 활용하여 복원함에 따라 손실 해수면 온도 영상의 보간을 극대화하여 정확한 해수면 온도 영상을 시각화할 수 있는 해수면 온도 영상 복원 시스템 및 방법을 제공하고자 한다.
일 실시 예에 따르면, 해수면 온도 영상을 획득하기 위한 관련 영상 장비로부터 획득된 소정 수의 해수면 온도 영상으로부터 손실 영역의 해수면 온도 데이터를 도출하여 시각화하는 전처리부; 상기 손실 영역의 해수면 온도 데이터를 포함하는 손실 영역의 해수면 온도 영상을 마스킹하는 마스킹부; 상기 손실 영역의 해수면 온도 데이터를 입력으로 처리하되 GAN 딥러닝 모델로 손실 영역의 학습 데이터를 출력하는 학습부; 및 상기 손실 영역의 학습 데이터를 이용하여 상기 획득된 해수면 온도 영상을 재구성한 다음 시각화하는 복원부를 포함하는 해수면 온도 영상 복원 시스템이 제공된다.
일실시 예에 따르면, 상기 전처리부는, 상기 해수면 온도 영상으로부터 해수면 온도 데이터를 도출하여 시각화하고, 시각화된 해수면 온도 데이터와 획득된 해수면 온도 영상을 결합하여 결합 영상을 도출하여 상기 마스킹부로 전달하는 해수면 온도 영상 복원 시스템이 제공된다.
일실시 예에 따르면, 상기 GAN 딥러닝 모델장치는 상기 획득된 해수면 온도 영상에 포함된 상기 손실 영역의 해수면 온도 데이터를 입력으로 기 설정된 총 손실함수를 이용하여 복원 데이터를 생성하는 생성기; 및 상기 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치를 토대로 상기 생성된 복원 데이터에 대한 학습 데이터를 출력하는 차별기를 포함하는 해수면 온도 영상 복원 시스템이 제공된다.
일실시 에에 따르면, 상기 총 손실함수는, 기 구축된 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출되는 해수면 온도 영상 복원 시스템이 제공된다.
일실시 예에 따르면, 관련된 영상 장비로부터 획득된 다수의 해수면 온도 영상에 포함된 손실 영역의 해수면 온도 데이터를 입력으로 기 설정된 총 손실함수를 이용하여 복원 데이터를 생성하는 생성기; 및 상기 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치를 토대로 상기 생성된 복원 데이터에 대한 학습 데이터를 출력하는 차별기를 포함하는 해수면 온도 영상 복원 시스템의 GAN 딥러닝 모델이 제공된다.
일실시 에에 따르면, 상기 총 손실함수는, 기 구축된 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출되는 해수면 온도 영상 복원 시스템의 GAN 딥러닝 모델 장치가 제공된다.
일실시 예에 따르면, 해수면 온도 영상 복원 방법에 있어서, 해수면 온도 영상을 획득하기 위한 관련 영상 장비로부터 획득된 소정 수의 해수면 온도 영상으로부터 손실 영역의 해수면 온도 데이터를 도출하는 전처리단계; 상기 손실 영역의 해수면 온도 데이터를 포함하는 손실 영역을 획득된 해수면 온도 영상으로부터 마스킹하는 마스킹단계; 상기 손실 영역의 해수면 온도 데이터를 입력으로 처리하되, GAN 딥러닝 모델을 이용하여 손실 영역의 학습 데이터를 출력하는 학습단계; 및 상기 손실 영역의 학습 데이터를 이용하여 상기 획득된 해수면 온도 영상을 재구성한 다음 시각화하는 복원단계를 포함하는 해수면 온도 영상 복원 방법이 제공된다.
일실시 예에 따르면, 상기 GAN 딥러닝 모델은 획득된 해수면 온도 영상에 포함된 손실 영역의 해수면 온도 데이터를 입력으로 기 설정된 총 손실함수를 이용하여 복원 데이터를 생성하는 단계; 및 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치를 토대로 생성된 복원 데이터에 대한 학습 데이터를 출력하는 단계를 포함하는 해수면 온도 영상 복원 방법이 제공된다.
일실시 예에 따르면, 상기 총 손실함수는, 기 구축된 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출되는 해수면 온도 영상 복원 방법이 제공된다.
본 발명에 따르면, 획득된 해수면 온도 영상 중 손실 영역에 대해 GAN 딥러닝 모델의 최종손실함수를 이용하여 복원 데이터를 생성한 다음 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치 여부를 토대로 학습 데이터를 도출하고 도출된 학습 데이터를 획득된 해수면 온도 영상과 결합하여 재구성함으로써, 정밀하게 손실 영역에 대한 해수면 온도 영상을 보간할 수 있고 이에 해수면 온도 영상의 복원력을 극대화할 수 있다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 일실시 예에 따른 해수면 온도 영상 복원 시스템의 구성 블록도이다.
도 2는 일실시 예의 월별 재구성된 해수면 온도 영상의 도들이다.
도 3은 일실시 예에 따른 월별 해수면 온도 데이터 평균값을 보인 도들이다.
도 4a 내지 도 4c는 일실시 예의 월별 해수면 온도 영상 누락률을 보인 도들이다.
도 5는 일실시 예의 해수면 온도 영상 복원 과정을 보인 전체 흐름도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. 예를 들어, 실시예들은 스마트 폰,모바일 기기, 스마트 홈 시스템 등에서 사용자를 인증하는데 적용될 수 있다. 실시예들은 사용자 인증을 통한결제 서비스에 적용될 수 있다. 또한, 실시예들은 사용자를 인증하여 자동으로 시동을 거는 지능형 자동차 시스템 등에도 적용될 수 있다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다..
일 실시 예는 과거 데이터로 손실 데이터를 복원하기 위한 딥러닝 모델(deep generative model)을 GAN(Generative Adversarial Networks : 생성적 대립 네트워크) 프레임워크를 통해 학습시킬 수 있다.
이러한 GAN 딥러닝 모델은 생성기(generator) 및 차별기((discriminator)로 구비되고, 여기서 생성기(generator)는 생성적 모델과 같은 의미로 혼용하여 기재된다. 즉, 생성기로부터 복원 데이터는 이에 상응하는 차별기(discriminator)의 응답과 쌍을 이루어 하나의 태스크로 나타낸다.
이에 일 실시 예의 시스템의 생성기-차별기 쌍은 복원 데이터와 손실 영역의 해수면 온도 데이터 쌍을 원하는 만큼 생산할 수 있고, 새로 입력된 해수면 영상에 대해 학습할 때 새로운 학습 데이터 사이에 생산된 복원 데이터 및 손실 영역의 해수면 온도 데이터 쌍을 끼워 넣음으로써 생성기및 차별기를 포함하는 GAN 딥러닝 모델이 업데이트된다.
이하에서 일 실시 예는 생성기 및 차별기를 통해 기 정해진 손실함수를 이용한 경사 하강법 일고리즘으로 GAN 딥러닝 모델을 구축하고, 구현되는 GAN 딥러닝 모델을 이용하여 획득된 해수면 온도 영상 중 손실 영역의 해수면 온도 영상을 복원할 수 있다.
이하에서는 도면을 참조하여 본 발명의 기술적 특징을 상세히 설명한다.
도 1은 일 실시 예에 따른 해수면 온도 영상 복원 시스템의 구성을 도시한 도면이다. 일 실시 예에 따르면, 해수면 온도 영상 복원 시스템(S)은 인공위성 또는 카메라 등의 관련된 영상 장비로부터 획득된 해수면 온도 영상 중 손실된 해수면 온도 데이터를 포함하는 손실 영역의 해수면 온도 영상을 마스킹하고 마스킹된 손실 영역의 해수면 온도 데이터에 대해 기 구축된 GAN 딥러닝 모델으로 학습하여 학습 데이터를 도출할 수 있다. 여기서 손실 영역은 해수면 온도에 영향을 미치는 육지 영역이 포함될 수 있다.
일 실시 예에 따르면 해수면 온도 영상 복원 시스템(S)은 GAN 딥러닝 모델장치(100), 전처리부(200), 마스킹부(300), 학습부(400), 및 복원부(500)를 포함할 수 있다.
GAN 딥러닝 모델장치(100)는 손실된 해수면 온도 데이터에 대해 생성된 복원 데이터(G(z)) 및 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 차인 훈련 데이터(D(x)) 각각을 입력변수로 기 설정된 손실함수를 이용한다.
기 설정된 손실함수는 복원 데이터(G(z))의 최소화와 훈련 데이터의 최대화에 대한 최적해를 도출하기 위한 함수로서, 기 정해진 손실함수는 다음 식 1을 만족한다.
[식 1]
Figure 112019033342199-pat00001
여기서,
Figure 112019083455414-pat00002
는 손실 영역의 해수면 온도 데이터와 복원 데이터의 확률 분포도이고,
Figure 112019083455414-pat00003
는 손실 영역의 해수면 온도 데이터와 손실 데이터의 확률 분포도이며,
Figure 112019083455414-pat00004
는 생성기의 복원 데이터이다.
그러나 해수면 온도에 대한 손실함수는 기 정해진 손실함수, 글로벌 손실함수. 및 로컬 손실함수를 포함하며, 이에 글로벌 손실함수는 다음 식 2로 나타내고, 로컬 손실함수는 로컬 손실함수는 0과 1로 구비된 바이너리 메트릭스인 마스킹 m 에 대해 다음 식 3으로 각각 도출된다.
[식 2]
Figure 112019033342199-pat00005
여기서,
Figure 112019033342199-pat00006
이다.
[식 3]
Figure 112019033342199-pat00007
여기서,
Figure 112019033342199-pat00008
는 기 설정된 가중치이다. 즉, 육지 온도와 해수면 온도 각각에 대한 가중치이다.
또한, 해수면 온도에 대한 손실함수는 식 1의 기 정해진 손실함수에 해수면 온도에 영향을 미치는 육지 영역에 대한 손실함수(land_Masking)를 고려하여야 하고 이에 마스킹 영역에 대한 손실은 다음 식 4로 나타낸다.
[식 4]
Figure 112019033342199-pat00009
이러한 해수면 온도에 대한 손실함수는 다음 식 5를 만족한다.
[식 5]
Figure 112019033342199-pat00010
여기서,
Figure 112019083455414-pat00011
는 손실 영역의 해수면 온도 데이터이고,
Figure 112019083455414-pat00012
는 복원 데이터이며,
Figure 112019083455414-pat00013
는 마스킹된 로우(i) 및 컬럼(j) 픽셀 갯수이다.
따라서, 해수면 온도에 대한 GAN 딥러닝 모델의 총 손실함수
Figure 112019033342199-pat00014
는 다음 식 6으로 표시될 수 있다.
[식 6]
Figure 112019033342199-pat00015
식 6을 참조하면, 총 손실함수
Figure 112019033342199-pat00016
는 기 정해진 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출된다.
일 실시 예는 GAN 딥러닝 모델장치(100)를 이용하여 인공위성 등의 관련 영상 장비로부터 획득된 해수면 온도 영상의 손실 영역의 해수면 온도 데이터를 복원할 수 있다.
한편, 전처리부(200)는 인공위성 또는 카메라 등의 관련 영상 장비로부터 해수면 온도 정보가 포함된 해수면 온도 영상을 다수로 획득할 수 있고, 다수의 해수면 온도 영상으로부터의 손실 영역을 설정할 수 있다.
전처리부(200)는 획득된 다수의 해수면 온도 영상으로부터 해수면 온도 데이터를 도출하여 시각화하고, 시각화된 해수면 온도 영상과 획득된 실제 해수면 온도 영상을 결합하며 결합 영상으로부터 손실 영역을 설정한다.
손실영역은 각 결합 영상으로부터 누락된 해수면 온도 데이터의 갯수가 기 정해진 문턱치 이하인 해수면 영역과 이러한 해수면 영역이 포함된 육지 영역을 포함한다. 여기서 육지 영역의 해수면 온도 데이터는 알 수 없는 픽셀값이다.
마스킹부(300)는 전처리부(200)의 손실된 해수면 온도 데이터의 갯수가 문턱치 이하인 손실 영역을 사각형 형태로 마스킹한 다음 마스킹된 손실 영역의 해수면 온도 데이터는 학습부(400)로 전달된다. 이러한 해수면 온도 데이터는 픽셀로 제공된다.
학습부(400)는 손실 영역의 해수면 온도 데이터를 입력으로 GAN 딥러닝 모델(100)에 의거 훈련하되, 총 손실함수
Figure 112019033342199-pat00017
를 이용한 경사 하강법으로 구축된 GAN 딥러닝 모델(100)로 학습하여 손실 영역의 학습 데이터를 도출하고, 도출된 손실 영역의 학습 데이터를 토대로 획득된 해수면 온도 영상의 손실 영역의 해수면 온도 영상 복원이 가능하다.
이러한 훈련과정에서 학습부(400)는 전처리부(200)에서 설정된 손실 영역에 대한 해수면 온도 데이터에 대해 GAN 딥러닝 모델장치(100)를 이용한 학습을 수행하여 손실 영역의 학습 데이터를 도출하고 도출된 학습 데이터는 복원부(500)로 전달된다.
즉, 학습부(400)는 생성기(110) 및 차별기(120)를 포함한 GAN 딥러닝 모델장치(100)를 이용하여 손실 영역의 학습 데이터를 출력하되, 생성기(110)은 손실 영역의 해수면 온도 데이터를 입력변수를 GAN 딥러닝 모델장치(100)의 입력으로 기 정해진 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출된 총 손실함수를 이용하여 복원 데이터를 생성하고, 차별기(120)는 생성된 복원 데이터에 대해 손실 영역의 해수면 온도 데이터와 복원 데이터 간의 일치 또는 불일치를 이용하여 손실 영역의 해수면 온도 데이터에 대한 학습 데이터를 도출할 수 있다.
이에 복원부(500)는 도출된 학습 데이터를 획득된 해수면 온도 영상과 결합하여 해수면 온도 영상을 재구성 및 시각화할 수 있다.
도 2는 GAN 딥러닝 모델을 이용하여 재구성된 해수면 온도 영상을 보인 도면들로서, 각 월별 실제 해수면 온도 영상과 재구성된 해수면 온도 영상을 보여주고, 이에 재구성된 해수면 온도 복원 시스템의 성능이 우수함을 알 수 있다.
도 3은 GAN 딥러닝 모델을 이용하여 재구성된 해수면 온도 영상으로부터 도출된 해수면 온도 데이터의 월별 평균값와 실제 해수면 온도 영상으로부터 도출된 해수면 온도 데이터의 평균값을 보인 그래프들로서, 도 3을 참조하면, GAN 딥러닝 모델을 이용하여 학습 데이터로 재구성된 해수면 온도 영상에서 도출된 해수면 온도 데이터의 평균값은 실제 해수면 온도 영상으로 도출된 실제 해수면 온도 데이터의 평균값에 일치됨을 보여준다.
도 4a 내지 도 4c는 GAN 딥러닝 모델을 이용하여 재구성된 해수면 온도 영상의 손실률(Missing Rate)과 해수면 온도 데이터 차를 월별로 나타낸 도면들로서, 도 4를 참조하면, 재구성된 해수면 온도 영상의 손실 영역에 대한 손실 특성을 확인할 수 있다.
도 5는 일 실시 예에 따른 해수면 온도 영상 복원 시스템에 의거 해수면 온도 영상을 재구성하는 동작을 설명하기 위한 흐름도이다. 일 실시 예에 따른 일실시예에 따른 해수면 온도 영상 복원 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체가 제공될 수 있다. 이러한 프로그램은 아이템 추천 방법을 저장한 응용 프로그램, 디바이스 드라이버, 펌웨어, 미들웨어, 동적 링크 라이브러리(DLL) 및 애플릿 중 적어도 하나를 포함할 수 있다. 해수면 온도 영상 복원 시스템에 포함된 해수면 온도 영상 복원 방법이 기록된 기록 매체를 판독함으로써, 해수면 온도 영상 복원 방법을 실행할수 있다. 예를 들어, 해수면 온도 영상 복원 방법은 도 1의 해수면 온도 영상 복원 시스템(S)에 의해 수행될 수 있다.
도 5를 참조하면, 단계(S10)에서, 일실시예에 따른 해수면 온도 영상 복원 시스템은 인공위성 등의 관련 영상 장비로부터 획득된 다수의 해수면 온도 영상에 대해 해수면 온도 데이터를 도출할 수 있다. 이러한 해수면 온도 데이터는 복수의 해수면 온도 영상의 온도 변화에 대한 시계열 데이터이며 시각화하여 표시된다. 해수면 온도 영상 복원 시스템은 해수면 온도 데이터와 획득된 해수면 온도 영상를 결합하여 결합 영상을 시각화할 수 있다.
단계(S20)에서, 일실시 예에 따른 해수면 온도 영상 복원 시스템은 시각화된 결합 영상 중 손실 영역을 마스킹할 수 있다.
단계(S30)에서, 일실시 예에 따른 해수면 온도 영상 복원 시스템은 마스킹된 손실 영역의 해수면 온도 데이터에 대해 GAN 딥러닝 모델을 이용하여 학습을 수행할 수 있다. 해수면 온도 영상 복원 시스템은 손실 영역의 해수면 온도 데이터를 입력변수를 입력으로 기 정해진 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출된 총 손실함수를 이용하여 복원 데이터를 생성하고 생성된 복원 데이터에 대해 손실 영역의 해수면 온도 데이터와 복원 데이터 간의 경사 하강법 알고리즘을 이용하여 손실 영역의 해수면 온도 데이터에 대한 학습 데이터를 도출할 수 있다.
단계(S40)에서, 일실시 예에 따른 해수면 온도 영상 복원 시스템은 손실 영역의 해수면 온도 데이터에 대한 학습 데이터를 획득된 해수면 온도 영상과 결합하여 해수면 온도 영상을 시각화할 수 있다.
이에 획득된 해수면 온도 영상 중 손실 영역에 대해 GAN 딥러닝 모델의 최종손실함수를 이용하여 복원 데이터를 생성한 다음 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치 여부를 토대로 학습 데이터를 도출하고 도출된 학습 데이터를 획득된 해수면 온도 영상과 결합하여 시각화함으로써, 정밀하게 손실 영역에 대한 해수면 온도 영상을 보간할 수 있고 이에 정확한 해수면 온도 영상을 재구성 및 복원할 수 있다.
이상에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : GAN 딥러닝 모델장치
110 : 생성기
120 : 차별기
200 : 전처리부
300 : 마스킹부
400 : 학습부
500 : 복원부

Claims (9)

  1. 해수면 온도 영상을 획득하기 위한 관련 영상 장비로부터 획득된 소정 수의 해수면 온도 영상으로부터 손실 영역의 해수면 온도 데이터를 도출하여 시각화하는 전처리부;
    상기 손실 영역의 해수면 온도 데이터를 포함하는 손실 영역의 해수면 온도 영상을 마스킹하는 마스킹부;
    상기 손실 영역의 해수면 온도 데이터를 입력으로 처리하되 GAN 딥러닝 모델로 손실 영역의 학습 데이터를 출력하는 학습부; 및
    상기 손실 영역의 학습 데이터를 이용하여 상기 획득된 해수면 온도 영상을 재구성한 다음 시각화하는 복원부를 포함하는 해수면 온도 영상 복원 시스템.
  2. 제1항에 있어서, 상기 전처리부는,
    상기 해수면 온도 영상으로부터 해수면 온도 데이터를 도출하여 시각화하고, 시각화된 해수면 온도 데이터와 획득된 해수면 온도 영상을 결합하여 결합 영상을 도출하여 상기 마스킹부로 전달하는 해수면 온도 영상 복원 시스템.
  3. 제1항에 있어서, 상기 GAN 딥러닝 모델은
    상기 획득된 해수면 온도 영상에 포함된 상기 손실 영역의 해수면 온도 데이터를 입력으로 기 설정된 총 손실함수를 이용하여 복원 데이터를 생성하는 생성기; 및
    상기 생성된 복원 데이터와 상기 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치를 토대로 상기 생성된 복원 데이터에 대한 학습 데이터를 출력하는 차별기를 포함하는 해수면 온도 영상 복원 시스템.
  4. 제3항에 있어서, 상기 총 손실함수는,
    기 구축된 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출되는 해수면 온도 영상 복원 시스템.
  5. 해수면 온도 영상을 획득하기 위한 관련된 영상 장비로부터 획득된 다수의 해수면 온도 영상에 포함된 손실 영역의 해수면 온도 데이터를 입력으로 기 설정된 총 손실함수를 이용하여 복원 데이터를 생성하는 생성기; 및
    상기 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치를 토대로 상기 생성된 복원 데이터에 대한 학습 데이터를 출력하는 차별기를 포함하는 해수면 온도 영상 복원 시스템의 GAN 딥러닝 모델장치.
  6. 제5항에 있어서, 상기 총 손실함수는,
    기 구축된 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출되는 해수면 온도 영상 복원 시스템의 GAN 딥러닝 모델장치.
  7. 해수면 온도 영상을 획득하기 위한 관련 영상 장비로부터 획득된 소정 수의 해수면 온도 영상으로부터 손실 영역의 해수면 온도 데이터를 도출하는 전처리단계;
    상기 손실 영역의 해수면 온도 데이터를 포함하는 손실 영역을 획득된 해수면 온도 영상으로부터 마스킹하는 마스킹단계;
    상기 손실 영역의 해수면 온도 데이터를 입력으로 처리하되, GAN 딥러닝 모델을 이용하여 손실 영역의 학습 데이터를 출력하는 학습단계; 및
    상기 손실 영역의 학습 데이터를 이용하여 상기 획득된 해수면 온도 영상을 재구성한 다음 시각화하는 복원단계를 포함하는 해수면 온도 영상 복원 방법.
  8. 제7항에 있어서, 상기 GAN 딥러닝 모델은
    상기 획득된 해수면 온도 영상에 포함된 손실 영역의 해수면 온도 데이터를 입력으로 기 설정된 총 손실함수를 이용하여 복원 데이터를 생성하는 단계; 및
    생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치를 토대로 생성된 복원 데이터에 대한 학습 데이터를 출력하는 단계를 포함하는 해수면 온도 영상 복원 방법.
  9. 제8항에 있어서, 상기 총 손실함수는,
    기 구축된 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출되는 해수면 온도 영상 복원 방법.
KR1020190037941A 2019-04-01 2019-04-01 해수면 온도 영상 복원 시스템 및 방법 KR102016977B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190037941A KR102016977B1 (ko) 2019-04-01 2019-04-01 해수면 온도 영상 복원 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190037941A KR102016977B1 (ko) 2019-04-01 2019-04-01 해수면 온도 영상 복원 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102016977B1 true KR102016977B1 (ko) 2019-09-02

Family

ID=67951396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190037941A KR102016977B1 (ko) 2019-04-01 2019-04-01 해수면 온도 영상 복원 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102016977B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110658557A (zh) * 2019-09-03 2020-01-07 中国地质大学（北京） 基于生成对抗网络的地震数据面波压制方法
CN111127412A (zh) * 2019-12-18 2020-05-08 广东工业大学 一种基于生成对抗网络的病理图像识别装置
CN113177264A (zh) * 2021-05-11 2021-07-27 北京邮电大学 基于生成对抗网络的海域目标物多维数据仿真方法及系统
KR20220071033A (ko) 2020-11-23 2022-05-31 한국해양과학기술원 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법
CN116681604A (zh) * 2023-04-24 2023-09-01 吉首大学 一种基于条件生成对抗网络的秦简文字修复方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101319370B1 (ko) * 2010-08-18 2013-10-16 한국해양과학기술원 자료동화를 위한 인공위성 원격탐사 자료들 생성방법
KR101472206B1 (ko) * 2013-03-22 2014-12-10 이화여자대학교 산학협력단 해수면 온도를 이용한 적외 영역 기후 피드백 산출 방법
KR101701716B1 (ko) * 2015-12-17 2017-02-03 (주)지오시스템리서치 해양 시설물의 주변 상태 모니터링 방법
KR101717167B1 (ko) * 2016-05-24 2017-03-16 한국해양과학기술원 해양 프론트 기반의 해양 정보 분석 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101319370B1 (ko) * 2010-08-18 2013-10-16 한국해양과학기술원 자료동화를 위한 인공위성 원격탐사 자료들 생성방법
KR101472206B1 (ko) * 2013-03-22 2014-12-10 이화여자대학교 산학협력단 해수면 온도를 이용한 적외 영역 기후 피드백 산출 방법
KR101701716B1 (ko) * 2015-12-17 2017-02-03 (주)지오시스템리서치 해양 시설물의 주변 상태 모니터링 방법
KR101717167B1 (ko) * 2016-05-24 2017-03-16 한국해양과학기술원 해양 프론트 기반의 해양 정보 분석 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110658557A (zh) * 2019-09-03 2020-01-07 中国地质大学（北京） 基于生成对抗网络的地震数据面波压制方法
CN111127412A (zh) * 2019-12-18 2020-05-08 广东工业大学 一种基于生成对抗网络的病理图像识别装置
CN111127412B (zh) * 2019-12-18 2021-05-28 广东工业大学 一种基于生成对抗网络的病理图像识别装置
KR20220071033A (ko) 2020-11-23 2022-05-31 한국해양과학기술원 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법
CN113177264A (zh) * 2021-05-11 2021-07-27 北京邮电大学 基于生成对抗网络的海域目标物多维数据仿真方法及系统
CN113177264B (zh) * 2021-05-11 2022-06-24 北京邮电大学 基于生成对抗网络的海域目标物多维数据仿真方法及系统
CN116681604A (zh) * 2023-04-24 2023-09-01 吉首大学 一种基于条件生成对抗网络的秦简文字修复方法
CN116681604B (zh) * 2023-04-24 2024-01-02 吉首大学 一种基于条件生成对抗网络的秦简文字修复方法

Similar Documents

Publication Publication Date Title
KR102016977B1 (ko) 해수면 온도 영상 복원 시스템 및 방법
CN107784676B (zh) 基于自动编码器网络的压缩感知测量矩阵优化方法和系统
Singh et al. Single image dehazing for a variety of haze scenarios using back projected pyramid network
CN109919874B (zh) 图像处理方法、装置、计算机设备及存储介质
CN113542228B (zh) 基于联邦学习的数据传输方法、装置以及可读存储介质
Chen et al. Naturalization module in neural networks for screen content image quality assessment
CN111127331B (zh) 基于像素级全局噪声估计编解码网络的图像去噪方法
CN112541593A (zh) 基于隐私保护的联合训练业务模型的方法及装置
de Jesus et al. Super-resolution via particle swarm optimization variants
CN112990171B (zh) 图像处理方法、装置、计算机设备及存储介质
Fu et al. Twice mixing: a rank learning based quality assessment approach for underwater image enhancement
CN115147426B (zh) 基于半监督学习的模型训练与图像分割方法和系统
CN105513033A (zh) 一种非局部联合稀疏表示的超分辨率重建方法
Wu et al. Adaptive deep pnp algorithm for video snapshot compressive imaging
Xu et al. Dual adversarial adaptation for cross-device real-world image super-resolution
CN114757844A (zh) 一种图像摩尔纹消除方法及装置
CN103679645A (zh) 信号处理装置、信号处理方法、输出装置、输出方法及程序
CN113935050A (zh) 基于联邦学习的特征提取方法和装置、电子设备、介质
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
CN111402156A (zh) 一种涂抹图像的复原方法、装置及存储介质和终端设备
CN114897711A (zh) 一种视频中图像处理方法、装置、设备及存储介质
CN112489103A (zh) 一种高分辨率深度图获取方法及系统
JP2020003879A (ja) 情報処理装置、情報処理方法、透かし検出装置、透かし検出方法、及びプログラム
CN108898557B (zh) 图像恢复方法及装置、电子设备、计算机程序及存储介质
CN113033616B (zh) 高质量视频重建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant