KR102134136B1 - 딥러닝 기반 위성영상 해상도 조절방법 - Google Patents

Abstract

본 발명의 딥러닝 기반 위성영상 해상도 조절방법은 기준이미지를 선택하는 단계; 상기 이미지 삽입을 완료한 뒤, 기준이미지 RGB채널을 IHS채널로 변환하는 단계; 고해상도와 저해상도간 차이 값을 계산하는 단계; 상기의 단계를 이용하여 고해상도 이미지를 출력하는 훈련을 반복하는 단계; 상기의 훈련결과를 바탕으로 실제 해상도를 조절할 위성이미지를 삽입하는 단계; 삽입된 이미지를 고해상도로 변환시키는 단계;를 포함하는 것을 특징으로 한다.

Description

딥러닝 기반 위성영상 해상도 조절방법{METHOD FOR DEEP LEARNING BASED SATELLITE IMAGE RESOLUTION ADJUSTMENT}

본 발명은 해상도 조절방법에 관한 것으로, 더욱 상세하게는 위성영상의 해상도를 높이기 위하여 딥러닝 기반 위성영상 해상도 조절방법에 관한 것이다.

일반적으로 항공사진은 사진을 찍기 위하여 매번 비행기를 타고 하늘로 올라가야 하지만 인공위성은 한번 올려놓으면 수시로 사진(영상)을 찍을 수 있을 뿐만 아니라 필요한 날짜나 지역을 지정하여 영상을 얻을 수도 있다. 이것을 위성영상(Satellite Image)이라고 한다. 즉, 인공위성의 영상 센서에 기록된 이미지를 일컫는데, 다른 용어로 위성 지도, 위성 화상이라고도 부른다.

이러한 위성영상은 지구의 온도 분포, 식물 분포 상태, 암질을 포함한 여러가지 물질 및 기상환경 등 사람이 직접 촬영하기 힘든 부분을 대신 제공하여 준다.

이러한 위성영상은 지구로부터 수백KM 이상 떨어진 우주에서 촬영한 영상이므로, 인공위성의 위성영상은 필요한 부분이나 또는 세밀한 부분을 보기 위하여 확대하였을 때, 해상도가 낮아 피사체를 식별하기 힘든 문제점이 발생한다.

이러한 문제점을 해결하기 위하여 저해상도 이미지를 고해상도 이미지로 변환하기 위하여 20개 층의 매우 깊은 컨볼루션 신경망(CNN)과 잔류연결(Residual Connection) 개념을 사용한 VDSR 시스템이 있다.

하지만 이는 RGB채널 3밴드에만 Super Resolution 즉, 낮은 해상도를 높은 해상도로 변경할 수 있어서, 다른 채널과 다수개의 밴드의 해상도를 변경하는데 어려움이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 기존의 RGB채널 3밴드에만 해상도를 높일 수 있던 점을 다른 채널과 NIR채널에서도 해상도를 높일 수 있는 딥러닝 기반 위성영상 해상도 조절방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 딥러닝 기반 위성영상 해상도 조절방법은 기준이미지를 선택하는 단계; 상기 이미지 삽입을 완료한 뒤, 기준이미지 RGB채널을 IHS채널로 변환하는 단계; 고해상도와 저해상도간 차이 값을 계산하는 단계; 상기의 단계를 이용하여 고해상도 이미지를 출력하는 훈련을 반복하는 단계; 상기의 훈련결과를 바탕으로 실제 해상도를 조절할 위성이미지를 삽입하는 단계; 삽입된 이미지를 고해상도로 변환시키는 단계;를 제공한다.

상기 고해상도와 저해상도간 차이 값은 하기 수식으로 계산한다.

여기서, H(R)은 고해상도 이미지의 R, H(G)는 고해상도 이미지의 G, H(B)는 고해상도 이미지의 B, I는 I(Intensity: 명도), V1, V2는 H(Hue: 색도), S(Saturation: 채도)공간을 이루는 기저성분이고, I'는 저해상도의 I(Intensity: 명도)이다.

이러한 특징에 따르면, 본 발명은 위성영상의 다양한 채널과 N밴드로 확장하여 해상도를 높일 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 위성영상 해상도 조절방법 의 예시도이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 기반 위성영상 해상도 조절방법의 핵심도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

그러면 먼저 첨부한 도면을 참고로 하여 본 발명의 일 실시예에 따른 딥러닝 기반 위성영상 해상도 조절방법에 대하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 위성영상 해상도 조절방법 의 예시도이고, 도 2는 본 발명의 일 실시예에 따른 딥러닝 기반 위성영상 해상도 조절방법의 핵심도이다.

도 1과 도2를 참조하면 먼저 딥러닝 훈련을 위한 기준이미지를 선택한다 (S10).

아래의 실시예는 세 개의 밴드인 RGB채널의 이미지를 이용한 실시예이며, 상기 이미지 삽입을 완료한 뒤, 기준이미지 RGB(Red, Green, Blue)채널을 IHS(Intensity, Hue, Saturation: 명도, 색도, 채도)채널로 변환한다(S11).

상기 저해상도 이미지의 RGB채널을 IHS 채널로 변환하는 식은 아래의 수식1과 같다.

상기 수식1 의 V1, V2는 H(Hue: 색도), S(Saturation: 채도)공간을 이루는 기저성분이다.

기존의 방법에서 저해상도의 밝기 역할은 I'가, 고해상도의 밝기 역할은 I가 한다. 따라서 고해상도와 저해상도간 차이 값을 계산하며(S12) 차이 값은 (I'-I)이다.

수식 2는 기준이미지가 세 개의 밴드일 경우, 수식1을 바탕으로 저해상도 이미지를 고해상도 이미지로 변환시키는 수식이다. 상기 수식2의 시작은 수식1의 변환 행렬의 역행렬을 곱한 방적식으로 시작한다.

수식2를 참조하면 고해상도이미지는 기준이미지RGB + (I-I')로 구할 수 있다.

상기의 단계를 이용하여 고해상도 이미지를 출력하는 훈련을 반복한다(S13).

상기 훈련을 반복한 결과, 3차원의 밴드는 3개의 밴드 채널들의 합을 3으로 나누면 된다. 즉 (R+G+B)/3으로 I'를 구할 수 있는 결과가 도출된다.

상기의 결과내용을 바탕으로 4차원일 경우 (R+G+B+NIR)/4로 구할 수 있으며, 더 나아가 N밴드일 경우에는 N개의 밴드 채널들의 합을 N으로 나누면 I'를 구할 수 있게 된다.

상기의 훈련결과를 바탕으로 실제 해상도를 조절할 위성이미지를 삽입한다(S14).

삽입된 이미지를 고해상도로 변환시킨다(S15).

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (2)

1. 기준이미지를 선택하는 단계;
   상기 이미지 삽입을 완료한 뒤, 기준이미지 RGB채널을 IHS채널로 변환하는 단계;
   고해상도와 저해상도간 차이 값을 계산하는 단계;
   상기의 단계를 이용하여 고해상도 이미지를 출력하는 훈련을 반복하는 단계;
   상기의 훈련결과를 바탕으로 실제 해상도를 조절할 위성이미지를 삽입하는 단계;
   삽입된 이미지를 고해상도로 변환시키는 단계;를 포함하되,
   상기 고해상도와 저해상도간 차이 값은 하기 수식으로 계산하는 것을 특징으로 하는 딥러닝 기반 위성영상 해상도 조절방법.
   

   

   
   여기서, H(R)은 고해상도 이미지의 R, H(G)는 고해상도 이미지의 G, H(B)는 고해상도 이미지의 B, I는 I(Intensity: 명도), V1, V2는 H(Hue: 색도), S(Saturation: 채도)공간을 이루는 기저성분이고, I'는 저해상도의 I(Intensity: 명도)이다.
2. 삭제

Images