KR102016977B1 - 해수면 온도 영상 복원 시스템 및 방법 - Google Patents
해수면 온도 영상 복원 시스템 및 방법 Download PDFInfo
- Publication number
- KR102016977B1 KR102016977B1 KR1020190037941A KR20190037941A KR102016977B1 KR 102016977 B1 KR102016977 B1 KR 102016977B1 KR 1020190037941 A KR1020190037941 A KR 1020190037941A KR 20190037941 A KR20190037941 A KR 20190037941A KR 102016977 B1 KR102016977 B1 KR 102016977B1
- Authority
- KR
- South Korea
- Prior art keywords
- sea level
- data
- level temperature
- loss function
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013135 deep learning Methods 0.000 title description 2
- 230000001172 regenerating effect Effects 0.000 title 1
- 230000006870 function Effects 0.000 claims abstract description 71
- 238000013136 deep learning model Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims description 18
- 230000000873 masking effect Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/54—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
Abstract
본 기술은 해수면 온도 영상 복원 시스템 및 방법이 개시되어 있다. 본 기술의 구체적인 예에 따르면, 획득된 해수면 온도 영상 중 손실 영역에 대해 GAN 딥러닝 모델의 최종손실함수를 이용하여 복원 데이터를 생성한 다음 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치 여부를 토대로 학습 데이터를 도출하고 도출된 학습 데이터를 획득된 해수면 온도 영상과 결합하여 재구성함으로써, 정밀하게 손실 영역에 대한 해수면 온도 영상을 보간할 수 있고 이에 해수면 온도 영상의 복원력을 극대화할 수 있다.
Description
본 발명은 해수면 온도 영상 복원 시스템 및 방법에 관한 것으로, 보다 상세하게는 생성적 대립 쌍 네트워크(GAN : Generative Adversarial Network) 딥러닝 모델을 이용하여 손실된 해수면 온도 데이터를 복원하여 획득된 해수면 온도 영상을 재구성할 수 있도록 한 기술에 관한 것이다.
인공위성 등 영상 장비로부터 획득된 소정 지역의 해수면 온도 정보는 화면에 표시하도록 시각화하는 과정이 수행된다.
이러한 시각화 과정에서 해수면 온도 데이터의 손실이 발생되고, 지정학적으로 정확한 해수면 온도 데이터를 얻기 위해 획득된 해수면 온도 영상 내에 손실 데이터를 복원하는 기술이 필요하다.
손실 데이터를 복원하여 정확한 해수면 온도 영상을 획득하기 위한 해수면 온도 영상 복원 시스템은, 영상 보간법(Image interpolation)의 일종인 krigging 및 IDW 등의 영상 보간 기술로 정확한 해수면 온도 영상을 복원하는데 많은 한계에 도달하였다.
예를 들어, 등록특허 제10-186638호(조위자료의 결측구간 분석 및 처리를 통한 이상파랑 발생일 추출방법)는 수집된 조위자료의 결측 부분에 대한 자료의 보간을 전처리한 결측 구간을 제외한 나머지 부분을 결측부분의 끝점과 끝점을 잇는 직선을 선형적으로 보간하는 임의 더미 데이터로 복원하는 방법 및 장치를 제공하는 바, 결측 부분을 자료를 복원하는 방법에 있어서 본 발명의 획득된 해수면 온도 영상을 복원하는 구성 및 활용 상의 차이가 있다.
본 발명은 관련된 영상 장비로부터 획득된 해수면 온도 영상 중 손실된 해수면 온도 영상을 GAN 딥러닝 모델을 활용하여 복원함에 따라 손실 해수면 온도 영상의 보간을 극대화하여 정확한 해수면 온도 영상을 시각화할 수 있는 해수면 온도 영상 복원 시스템 및 방법을 제공하고자 한다.
일 실시 예에 따르면, 해수면 온도 영상을 획득하기 위한 관련 영상 장비로부터 획득된 소정 수의 해수면 온도 영상으로부터 손실 영역의 해수면 온도 데이터를 도출하여 시각화하는 전처리부; 상기 손실 영역의 해수면 온도 데이터를 포함하는 손실 영역의 해수면 온도 영상을 마스킹하는 마스킹부; 상기 손실 영역의 해수면 온도 데이터를 입력으로 처리하되 GAN 딥러닝 모델로 손실 영역의 학습 데이터를 출력하는 학습부; 및 상기 손실 영역의 학습 데이터를 이용하여 상기 획득된 해수면 온도 영상을 재구성한 다음 시각화하는 복원부를 포함하는 해수면 온도 영상 복원 시스템이 제공된다.
일실시 예에 따르면, 상기 전처리부는, 상기 해수면 온도 영상으로부터 해수면 온도 데이터를 도출하여 시각화하고, 시각화된 해수면 온도 데이터와 획득된 해수면 온도 영상을 결합하여 결합 영상을 도출하여 상기 마스킹부로 전달하는 해수면 온도 영상 복원 시스템이 제공된다.
일실시 예에 따르면, 상기 GAN 딥러닝 모델장치는 상기 획득된 해수면 온도 영상에 포함된 상기 손실 영역의 해수면 온도 데이터를 입력으로 기 설정된 총 손실함수를 이용하여 복원 데이터를 생성하는 생성기; 및 상기 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치를 토대로 상기 생성된 복원 데이터에 대한 학습 데이터를 출력하는 차별기를 포함하는 해수면 온도 영상 복원 시스템이 제공된다.
일실시 에에 따르면, 상기 총 손실함수는, 기 구축된 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출되는 해수면 온도 영상 복원 시스템이 제공된다.
일실시 예에 따르면, 관련된 영상 장비로부터 획득된 다수의 해수면 온도 영상에 포함된 손실 영역의 해수면 온도 데이터를 입력으로 기 설정된 총 손실함수를 이용하여 복원 데이터를 생성하는 생성기; 및 상기 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치를 토대로 상기 생성된 복원 데이터에 대한 학습 데이터를 출력하는 차별기를 포함하는 해수면 온도 영상 복원 시스템의 GAN 딥러닝 모델이 제공된다.
일실시 에에 따르면, 상기 총 손실함수는, 기 구축된 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출되는 해수면 온도 영상 복원 시스템의 GAN 딥러닝 모델 장치가 제공된다.
일실시 예에 따르면, 해수면 온도 영상 복원 방법에 있어서, 해수면 온도 영상을 획득하기 위한 관련 영상 장비로부터 획득된 소정 수의 해수면 온도 영상으로부터 손실 영역의 해수면 온도 데이터를 도출하는 전처리단계; 상기 손실 영역의 해수면 온도 데이터를 포함하는 손실 영역을 획득된 해수면 온도 영상으로부터 마스킹하는 마스킹단계; 상기 손실 영역의 해수면 온도 데이터를 입력으로 처리하되, GAN 딥러닝 모델을 이용하여 손실 영역의 학습 데이터를 출력하는 학습단계; 및 상기 손실 영역의 학습 데이터를 이용하여 상기 획득된 해수면 온도 영상을 재구성한 다음 시각화하는 복원단계를 포함하는 해수면 온도 영상 복원 방법이 제공된다.
일실시 예에 따르면, 상기 GAN 딥러닝 모델은 획득된 해수면 온도 영상에 포함된 손실 영역의 해수면 온도 데이터를 입력으로 기 설정된 총 손실함수를 이용하여 복원 데이터를 생성하는 단계; 및 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치를 토대로 생성된 복원 데이터에 대한 학습 데이터를 출력하는 단계를 포함하는 해수면 온도 영상 복원 방법이 제공된다.
일실시 예에 따르면, 상기 총 손실함수는, 기 구축된 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출되는 해수면 온도 영상 복원 방법이 제공된다.
본 발명에 따르면, 획득된 해수면 온도 영상 중 손실 영역에 대해 GAN 딥러닝 모델의 최종손실함수를 이용하여 복원 데이터를 생성한 다음 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치 여부를 토대로 학습 데이터를 도출하고 도출된 학습 데이터를 획득된 해수면 온도 영상과 결합하여 재구성함으로써, 정밀하게 손실 영역에 대한 해수면 온도 영상을 보간할 수 있고 이에 해수면 온도 영상의 복원력을 극대화할 수 있다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 일실시 예에 따른 해수면 온도 영상 복원 시스템의 구성 블록도이다.
도 2는 일실시 예의 월별 재구성된 해수면 온도 영상의 도들이다.
도 3은 일실시 예에 따른 월별 해수면 온도 데이터 평균값을 보인 도들이다.
도 4a 내지 도 4c는 일실시 예의 월별 해수면 온도 영상 누락률을 보인 도들이다.
도 5는 일실시 예의 해수면 온도 영상 복원 과정을 보인 전체 흐름도이다.
도 1은 일실시 예에 따른 해수면 온도 영상 복원 시스템의 구성 블록도이다.
도 2는 일실시 예의 월별 재구성된 해수면 온도 영상의 도들이다.
도 3은 일실시 예에 따른 월별 해수면 온도 데이터 평균값을 보인 도들이다.
도 4a 내지 도 4c는 일실시 예의 월별 해수면 온도 영상 누락률을 보인 도들이다.
도 5는 일실시 예의 해수면 온도 영상 복원 과정을 보인 전체 흐름도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. 예를 들어, 실시예들은 스마트 폰,모바일 기기, 스마트 홈 시스템 등에서 사용자를 인증하는데 적용될 수 있다. 실시예들은 사용자 인증을 통한결제 서비스에 적용될 수 있다. 또한, 실시예들은 사용자를 인증하여 자동으로 시동을 거는 지능형 자동차 시스템 등에도 적용될 수 있다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다..
일 실시 예는 과거 데이터로 손실 데이터를 복원하기 위한 딥러닝 모델(deep generative model)을 GAN(Generative Adversarial Networks : 생성적 대립 네트워크) 프레임워크를 통해 학습시킬 수 있다.
이러한 GAN 딥러닝 모델은 생성기(generator) 및 차별기((discriminator)로 구비되고, 여기서 생성기(generator)는 생성적 모델과 같은 의미로 혼용하여 기재된다. 즉, 생성기로부터 복원 데이터는 이에 상응하는 차별기(discriminator)의 응답과 쌍을 이루어 하나의 태스크로 나타낸다.
이에 일 실시 예의 시스템의 생성기-차별기 쌍은 복원 데이터와 손실 영역의 해수면 온도 데이터 쌍을 원하는 만큼 생산할 수 있고, 새로 입력된 해수면 영상에 대해 학습할 때 새로운 학습 데이터 사이에 생산된 복원 데이터 및 손실 영역의 해수면 온도 데이터 쌍을 끼워 넣음으로써 생성기및 차별기를 포함하는 GAN 딥러닝 모델이 업데이트된다.
이하에서 일 실시 예는 생성기 및 차별기를 통해 기 정해진 손실함수를 이용한 경사 하강법 일고리즘으로 GAN 딥러닝 모델을 구축하고, 구현되는 GAN 딥러닝 모델을 이용하여 획득된 해수면 온도 영상 중 손실 영역의 해수면 온도 영상을 복원할 수 있다.
이하에서는 도면을 참조하여 본 발명의 기술적 특징을 상세히 설명한다.
도 1은 일 실시 예에 따른 해수면 온도 영상 복원 시스템의 구성을 도시한 도면이다. 일 실시 예에 따르면, 해수면 온도 영상 복원 시스템(S)은 인공위성 또는 카메라 등의 관련된 영상 장비로부터 획득된 해수면 온도 영상 중 손실된 해수면 온도 데이터를 포함하는 손실 영역의 해수면 온도 영상을 마스킹하고 마스킹된 손실 영역의 해수면 온도 데이터에 대해 기 구축된 GAN 딥러닝 모델으로 학습하여 학습 데이터를 도출할 수 있다. 여기서 손실 영역은 해수면 온도에 영향을 미치는 육지 영역이 포함될 수 있다.
일 실시 예에 따르면 해수면 온도 영상 복원 시스템(S)은 GAN 딥러닝 모델장치(100), 전처리부(200), 마스킹부(300), 학습부(400), 및 복원부(500)를 포함할 수 있다.
GAN 딥러닝 모델장치(100)는 손실된 해수면 온도 데이터에 대해 생성된 복원 데이터(G(z)) 및 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 차인 훈련 데이터(D(x)) 각각을 입력변수로 기 설정된 손실함수를 이용한다.
기 설정된 손실함수는 복원 데이터(G(z))의 최소화와 훈련 데이터의 최대화에 대한 최적해를 도출하기 위한 함수로서, 기 정해진 손실함수는 다음 식 1을 만족한다.
[식 1]
그러나 해수면 온도에 대한 손실함수는 기 정해진 손실함수, 글로벌 손실함수. 및 로컬 손실함수를 포함하며, 이에 글로벌 손실함수는 다음 식 2로 나타내고, 로컬 손실함수는 로컬 손실함수는 0과 1로 구비된 바이너리 메트릭스인 마스킹 m 에 대해 다음 식 3으로 각각 도출된다.
[식 2]
[식 3]
또한, 해수면 온도에 대한 손실함수는 식 1의 기 정해진 손실함수에 해수면 온도에 영향을 미치는 육지 영역에 대한 손실함수(land_Masking)를 고려하여야 하고 이에 마스킹 영역에 대한 손실은 다음 식 4로 나타낸다.
[식 4]
이러한 해수면 온도에 대한 손실함수는 다음 식 5를 만족한다.
[식 5]
[식 6]
일 실시 예는 GAN 딥러닝 모델장치(100)를 이용하여 인공위성 등의 관련 영상 장비로부터 획득된 해수면 온도 영상의 손실 영역의 해수면 온도 데이터를 복원할 수 있다.
한편, 전처리부(200)는 인공위성 또는 카메라 등의 관련 영상 장비로부터 해수면 온도 정보가 포함된 해수면 온도 영상을 다수로 획득할 수 있고, 다수의 해수면 온도 영상으로부터의 손실 영역을 설정할 수 있다.
전처리부(200)는 획득된 다수의 해수면 온도 영상으로부터 해수면 온도 데이터를 도출하여 시각화하고, 시각화된 해수면 온도 영상과 획득된 실제 해수면 온도 영상을 결합하며 결합 영상으로부터 손실 영역을 설정한다.
손실영역은 각 결합 영상으로부터 누락된 해수면 온도 데이터의 갯수가 기 정해진 문턱치 이하인 해수면 영역과 이러한 해수면 영역이 포함된 육지 영역을 포함한다. 여기서 육지 영역의 해수면 온도 데이터는 알 수 없는 픽셀값이다.
마스킹부(300)는 전처리부(200)의 손실된 해수면 온도 데이터의 갯수가 문턱치 이하인 손실 영역을 사각형 형태로 마스킹한 다음 마스킹된 손실 영역의 해수면 온도 데이터는 학습부(400)로 전달된다. 이러한 해수면 온도 데이터는 픽셀로 제공된다.
학습부(400)는 손실 영역의 해수면 온도 데이터를 입력으로 GAN 딥러닝 모델(100)에 의거 훈련하되, 총 손실함수 를 이용한 경사 하강법으로 구축된 GAN 딥러닝 모델(100)로 학습하여 손실 영역의 학습 데이터를 도출하고, 도출된 손실 영역의 학습 데이터를 토대로 획득된 해수면 온도 영상의 손실 영역의 해수면 온도 영상 복원이 가능하다.
이러한 훈련과정에서 학습부(400)는 전처리부(200)에서 설정된 손실 영역에 대한 해수면 온도 데이터에 대해 GAN 딥러닝 모델장치(100)를 이용한 학습을 수행하여 손실 영역의 학습 데이터를 도출하고 도출된 학습 데이터는 복원부(500)로 전달된다.
즉, 학습부(400)는 생성기(110) 및 차별기(120)를 포함한 GAN 딥러닝 모델장치(100)를 이용하여 손실 영역의 학습 데이터를 출력하되, 생성기(110)은 손실 영역의 해수면 온도 데이터를 입력변수를 GAN 딥러닝 모델장치(100)의 입력으로 기 정해진 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출된 총 손실함수를 이용하여 복원 데이터를 생성하고, 차별기(120)는 생성된 복원 데이터에 대해 손실 영역의 해수면 온도 데이터와 복원 데이터 간의 일치 또는 불일치를 이용하여 손실 영역의 해수면 온도 데이터에 대한 학습 데이터를 도출할 수 있다.
이에 복원부(500)는 도출된 학습 데이터를 획득된 해수면 온도 영상과 결합하여 해수면 온도 영상을 재구성 및 시각화할 수 있다.
도 2는 GAN 딥러닝 모델을 이용하여 재구성된 해수면 온도 영상을 보인 도면들로서, 각 월별 실제 해수면 온도 영상과 재구성된 해수면 온도 영상을 보여주고, 이에 재구성된 해수면 온도 복원 시스템의 성능이 우수함을 알 수 있다.
도 3은 GAN 딥러닝 모델을 이용하여 재구성된 해수면 온도 영상으로부터 도출된 해수면 온도 데이터의 월별 평균값와 실제 해수면 온도 영상으로부터 도출된 해수면 온도 데이터의 평균값을 보인 그래프들로서, 도 3을 참조하면, GAN 딥러닝 모델을 이용하여 학습 데이터로 재구성된 해수면 온도 영상에서 도출된 해수면 온도 데이터의 평균값은 실제 해수면 온도 영상으로 도출된 실제 해수면 온도 데이터의 평균값에 일치됨을 보여준다.
도 4a 내지 도 4c는 GAN 딥러닝 모델을 이용하여 재구성된 해수면 온도 영상의 손실률(Missing Rate)과 해수면 온도 데이터 차를 월별로 나타낸 도면들로서, 도 4를 참조하면, 재구성된 해수면 온도 영상의 손실 영역에 대한 손실 특성을 확인할 수 있다.
도 5는 일 실시 예에 따른 해수면 온도 영상 복원 시스템에 의거 해수면 온도 영상을 재구성하는 동작을 설명하기 위한 흐름도이다. 일 실시 예에 따른 일실시예에 따른 해수면 온도 영상 복원 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체가 제공될 수 있다. 이러한 프로그램은 아이템 추천 방법을 저장한 응용 프로그램, 디바이스 드라이버, 펌웨어, 미들웨어, 동적 링크 라이브러리(DLL) 및 애플릿 중 적어도 하나를 포함할 수 있다. 해수면 온도 영상 복원 시스템에 포함된 해수면 온도 영상 복원 방법이 기록된 기록 매체를 판독함으로써, 해수면 온도 영상 복원 방법을 실행할수 있다. 예를 들어, 해수면 온도 영상 복원 방법은 도 1의 해수면 온도 영상 복원 시스템(S)에 의해 수행될 수 있다.
도 5를 참조하면, 단계(S10)에서, 일실시예에 따른 해수면 온도 영상 복원 시스템은 인공위성 등의 관련 영상 장비로부터 획득된 다수의 해수면 온도 영상에 대해 해수면 온도 데이터를 도출할 수 있다. 이러한 해수면 온도 데이터는 복수의 해수면 온도 영상의 온도 변화에 대한 시계열 데이터이며 시각화하여 표시된다. 해수면 온도 영상 복원 시스템은 해수면 온도 데이터와 획득된 해수면 온도 영상를 결합하여 결합 영상을 시각화할 수 있다.
단계(S20)에서, 일실시 예에 따른 해수면 온도 영상 복원 시스템은 시각화된 결합 영상 중 손실 영역을 마스킹할 수 있다.
단계(S30)에서, 일실시 예에 따른 해수면 온도 영상 복원 시스템은 마스킹된 손실 영역의 해수면 온도 데이터에 대해 GAN 딥러닝 모델을 이용하여 학습을 수행할 수 있다. 해수면 온도 영상 복원 시스템은 손실 영역의 해수면 온도 데이터를 입력변수를 입력으로 기 정해진 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출된 총 손실함수를 이용하여 복원 데이터를 생성하고 생성된 복원 데이터에 대해 손실 영역의 해수면 온도 데이터와 복원 데이터 간의 경사 하강법 알고리즘을 이용하여 손실 영역의 해수면 온도 데이터에 대한 학습 데이터를 도출할 수 있다.
단계(S40)에서, 일실시 예에 따른 해수면 온도 영상 복원 시스템은 손실 영역의 해수면 온도 데이터에 대한 학습 데이터를 획득된 해수면 온도 영상과 결합하여 해수면 온도 영상을 시각화할 수 있다.
이에 획득된 해수면 온도 영상 중 손실 영역에 대해 GAN 딥러닝 모델의 최종손실함수를 이용하여 복원 데이터를 생성한 다음 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치 여부를 토대로 학습 데이터를 도출하고 도출된 학습 데이터를 획득된 해수면 온도 영상과 결합하여 시각화함으로써, 정밀하게 손실 영역에 대한 해수면 온도 영상을 보간할 수 있고 이에 정확한 해수면 온도 영상을 재구성 및 복원할 수 있다.
이상에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : GAN 딥러닝 모델장치
110 : 생성기
120 : 차별기
200 : 전처리부
300 : 마스킹부
400 : 학습부
500 : 복원부
110 : 생성기
120 : 차별기
200 : 전처리부
300 : 마스킹부
400 : 학습부
500 : 복원부
Claims (9)
- 해수면 온도 영상을 획득하기 위한 관련 영상 장비로부터 획득된 소정 수의 해수면 온도 영상으로부터 손실 영역의 해수면 온도 데이터를 도출하여 시각화하는 전처리부;
상기 손실 영역의 해수면 온도 데이터를 포함하는 손실 영역의 해수면 온도 영상을 마스킹하는 마스킹부;
상기 손실 영역의 해수면 온도 데이터를 입력으로 처리하되 GAN 딥러닝 모델로 손실 영역의 학습 데이터를 출력하는 학습부; 및
상기 손실 영역의 학습 데이터를 이용하여 상기 획득된 해수면 온도 영상을 재구성한 다음 시각화하는 복원부를 포함하는 해수면 온도 영상 복원 시스템. - 제1항에 있어서, 상기 전처리부는,
상기 해수면 온도 영상으로부터 해수면 온도 데이터를 도출하여 시각화하고, 시각화된 해수면 온도 데이터와 획득된 해수면 온도 영상을 결합하여 결합 영상을 도출하여 상기 마스킹부로 전달하는 해수면 온도 영상 복원 시스템. - 제1항에 있어서, 상기 GAN 딥러닝 모델은
상기 획득된 해수면 온도 영상에 포함된 상기 손실 영역의 해수면 온도 데이터를 입력으로 기 설정된 총 손실함수를 이용하여 복원 데이터를 생성하는 생성기; 및
상기 생성된 복원 데이터와 상기 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치를 토대로 상기 생성된 복원 데이터에 대한 학습 데이터를 출력하는 차별기를 포함하는 해수면 온도 영상 복원 시스템. - 제3항에 있어서, 상기 총 손실함수는,
기 구축된 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출되는 해수면 온도 영상 복원 시스템. - 해수면 온도 영상을 획득하기 위한 관련된 영상 장비로부터 획득된 다수의 해수면 온도 영상에 포함된 손실 영역의 해수면 온도 데이터를 입력으로 기 설정된 총 손실함수를 이용하여 복원 데이터를 생성하는 생성기; 및
상기 생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치를 토대로 상기 생성된 복원 데이터에 대한 학습 데이터를 출력하는 차별기를 포함하는 해수면 온도 영상 복원 시스템의 GAN 딥러닝 모델장치. - 제5항에 있어서, 상기 총 손실함수는,
기 구축된 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출되는 해수면 온도 영상 복원 시스템의 GAN 딥러닝 모델장치. - 해수면 온도 영상을 획득하기 위한 관련 영상 장비로부터 획득된 소정 수의 해수면 온도 영상으로부터 손실 영역의 해수면 온도 데이터를 도출하는 전처리단계;
상기 손실 영역의 해수면 온도 데이터를 포함하는 손실 영역을 획득된 해수면 온도 영상으로부터 마스킹하는 마스킹단계;
상기 손실 영역의 해수면 온도 데이터를 입력으로 처리하되, GAN 딥러닝 모델을 이용하여 손실 영역의 학습 데이터를 출력하는 학습단계; 및
상기 손실 영역의 학습 데이터를 이용하여 상기 획득된 해수면 온도 영상을 재구성한 다음 시각화하는 복원단계를 포함하는 해수면 온도 영상 복원 방법. - 제7항에 있어서, 상기 GAN 딥러닝 모델은
상기 획득된 해수면 온도 영상에 포함된 손실 영역의 해수면 온도 데이터를 입력으로 기 설정된 총 손실함수를 이용하여 복원 데이터를 생성하는 단계; 및
생성된 복원 데이터와 손실 영역의 해수면 온도 데이터 간의 일치 또는 불일치를 토대로 생성된 복원 데이터에 대한 학습 데이터를 출력하는 단계를 포함하는 해수면 온도 영상 복원 방법. - 제8항에 있어서, 상기 총 손실함수는,
기 구축된 손실함수, 글로벌 손실함수, 로컬 손실함수, 및 해수면 온도에 대한 손실함수의 합으로 도출되는 해수면 온도 영상 복원 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190037941A KR102016977B1 (ko) | 2019-04-01 | 2019-04-01 | 해수면 온도 영상 복원 시스템 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190037941A KR102016977B1 (ko) | 2019-04-01 | 2019-04-01 | 해수면 온도 영상 복원 시스템 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102016977B1 true KR102016977B1 (ko) | 2019-09-02 |
Family
ID=67951396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190037941A KR102016977B1 (ko) | 2019-04-01 | 2019-04-01 | 해수면 온도 영상 복원 시스템 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102016977B1 (ko) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110658557A (zh) * | 2019-09-03 | 2020-01-07 | 中国地质大学(北京) | 基于生成对抗网络的地震数据面波压制方法 |
CN111127412A (zh) * | 2019-12-18 | 2020-05-08 | 广东工业大学 | 一种基于生成对抗网络的病理图像识别装置 |
CN113177264A (zh) * | 2021-05-11 | 2021-07-27 | 北京邮电大学 | 基于生成对抗网络的海域目标物多维数据仿真方法及系统 |
KR20220071033A (ko) | 2020-11-23 | 2022-05-31 | 한국해양과학기술원 | 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법 |
CN116681604A (zh) * | 2023-04-24 | 2023-09-01 | 吉首大学 | 一种基于条件生成对抗网络的秦简文字修复方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101319370B1 (ko) * | 2010-08-18 | 2013-10-16 | 한국해양과학기술원 | 자료동화를 위한 인공위성 원격탐사 자료들 생성방법 |
KR101472206B1 (ko) * | 2013-03-22 | 2014-12-10 | 이화여자대학교 산학협력단 | 해수면 온도를 이용한 적외 영역 기후 피드백 산출 방법 |
KR101701716B1 (ko) * | 2015-12-17 | 2017-02-03 | (주)지오시스템리서치 | 해양 시설물의 주변 상태 모니터링 방법 |
KR101717167B1 (ko) * | 2016-05-24 | 2017-03-16 | 한국해양과학기술원 | 해양 프론트 기반의 해양 정보 분석 장치 및 방법 |
-
2019
- 2019-04-01 KR KR1020190037941A patent/KR102016977B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101319370B1 (ko) * | 2010-08-18 | 2013-10-16 | 한국해양과학기술원 | 자료동화를 위한 인공위성 원격탐사 자료들 생성방법 |
KR101472206B1 (ko) * | 2013-03-22 | 2014-12-10 | 이화여자대학교 산학협력단 | 해수면 온도를 이용한 적외 영역 기후 피드백 산출 방법 |
KR101701716B1 (ko) * | 2015-12-17 | 2017-02-03 | (주)지오시스템리서치 | 해양 시설물의 주변 상태 모니터링 방법 |
KR101717167B1 (ko) * | 2016-05-24 | 2017-03-16 | 한국해양과학기술원 | 해양 프론트 기반의 해양 정보 분석 장치 및 방법 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110658557A (zh) * | 2019-09-03 | 2020-01-07 | 中国地质大学(北京) | 基于生成对抗网络的地震数据面波压制方法 |
CN111127412A (zh) * | 2019-12-18 | 2020-05-08 | 广东工业大学 | 一种基于生成对抗网络的病理图像识别装置 |
CN111127412B (zh) * | 2019-12-18 | 2021-05-28 | 广东工业大学 | 一种基于生成对抗网络的病理图像识别装置 |
KR20220071033A (ko) | 2020-11-23 | 2022-05-31 | 한국해양과학기술원 | 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법 |
CN113177264A (zh) * | 2021-05-11 | 2021-07-27 | 北京邮电大学 | 基于生成对抗网络的海域目标物多维数据仿真方法及系统 |
CN113177264B (zh) * | 2021-05-11 | 2022-06-24 | 北京邮电大学 | 基于生成对抗网络的海域目标物多维数据仿真方法及系统 |
CN116681604A (zh) * | 2023-04-24 | 2023-09-01 | 吉首大学 | 一种基于条件生成对抗网络的秦简文字修复方法 |
CN116681604B (zh) * | 2023-04-24 | 2024-01-02 | 吉首大学 | 一种基于条件生成对抗网络的秦简文字修复方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102016977B1 (ko) | 해수면 온도 영상 복원 시스템 및 방법 | |
KR101967089B1 (ko) | 컨볼루션 신경망 기반의 완전 기준 이미지 품질 평가 | |
CN107784676B (zh) | 基于自动编码器网络的压缩感知测量矩阵优化方法和系统 | |
CN113542228B (zh) | 基于联邦学习的数据传输方法、装置以及可读存储介质 | |
CN109919874B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN112862688A (zh) | 基于跨尺度注意力网络的图像超分辨率重建模型及方法 | |
Chen et al. | Naturalization module in neural networks for screen content image quality assessment | |
de Jesus et al. | Super-resolution via particle swarm optimization variants | |
CN112990171B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
Fu et al. | Twice mixing: a rank learning based quality assessment approach for underwater image enhancement | |
CN113222855A (zh) | 一种图像恢复方法、装置和设备 | |
Wu et al. | Adaptive deep pnp algorithm for video snapshot compressive imaging | |
Xu et al. | Dual adversarial adaptation for cross-device real-world image super-resolution | |
CN114757844A (zh) | 一种图像摩尔纹消除方法及装置 | |
CN103679645A (zh) | 信号处理装置、信号处理方法、输出装置、输出方法及程序 | |
CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
CN111402156A (zh) | 一种涂抹图像的复原方法、装置及存储介质和终端设备 | |
CN114897711A (zh) | 一种视频中图像处理方法、装置、设备及存储介质 | |
JP2020003879A (ja) | 情報処理装置、情報処理方法、透かし検出装置、透かし検出方法、及びプログラム | |
CN113254996B (zh) | 图神经网络训练方法、装置、计算设备及存储介质 | |
CN113033616B (zh) | 高质量视频重建方法、装置、设备及存储介质 | |
CN115631343A (zh) | 基于全脉冲网络的图像生成方法、装置、设备及存储介质 | |
CN114384780B (zh) | 透过散射介质成像的方法、装置、计算机设备和存储介质 | |
He et al. | An interpretable and flexible fusion prior to boost hyperspectral imaging reconstruction | |
CN108898557A (zh) | 图像恢复方法及装置、电子设备、计算机程序及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |