KR20120000736A - 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법 - Google Patents

영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법 Download PDF

Info

Publication number
KR20120000736A
KR20120000736A KR1020100061160A KR20100061160A KR20120000736A KR 20120000736 A KR20120000736 A KR 20120000736A KR 1020100061160 A KR1020100061160 A KR 1020100061160A KR 20100061160 A KR20100061160 A KR 20100061160A KR 20120000736 A KR20120000736 A KR 20120000736A
Authority
KR
South Korea
Prior art keywords
image
resolution
black
fusion
main memory
Prior art date
Application number
KR1020100061160A
Other languages
English (en)
Other versions
KR101132272B1 (ko
Inventor
김용일
최재완
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020100061160A priority Critical patent/KR101132272B1/ko
Publication of KR20120000736A publication Critical patent/KR20120000736A/ko
Application granted granted Critical
Publication of KR101132272B1 publication Critical patent/KR101132272B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Abstract

본 발명은 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법에 관한 것으로, (a) 고해상도 위성들에 의해 제공된 멀티스펙트럴 영상과 고해상도의 흑백영상이 입력자료로 메인 메모리에 입력되고, 기하보정 과정과 이중3차 보간법이 포함된 메인 메모리 내의 프로그램을 이용해 상기 두 영상 간의 좌표와 크기가 일치되는 단계와; (b) 상기 단계(a)를 거친 멀티스펙트럴 영상과 고해상도의 흑백영상 및 일정한 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 가상의 저해상도 흑백영상
Figure pat00228
이 생성되는 단계, 및 (c) 상기 단계(a)를 거친 멀티스펙트럴 영상과 고해상도의 흑백영상과 상기 단계(b)의 가상의 저해상도 흑백영상 및 일정한 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 융합된 고해상도의 멀티스펙트럴 영상
Figure pat00229
이 생성되는 단계로 구성됨으로써, 다양한 고해상도 위성센서들에 대하여 높은 공간해상도를 가지며 원 멀티스펙트럴 영상의 분광특징을 보존한 최적의 융합 영상을 생성할 수 있는 효과가 있다.

Description

영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법 {A method for pan-sharpening of high-spatial resolution satellite image by using parameter reflecting spectral and spatial characteristics of image}
본 발명은 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법에 관한 것으로, 보다 상세하게는 다양한 고해상도 위성센서들에 대하여 높은 공간해상도를 가지며 원 멀티스펙트럴 영상의 분광특징을 보존한 최적의 융합 영상을 생성할 수 있는, 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법에 관한 것이다.
일반적으로 고해상도 위성영상을 제공하는 다양한 위성센서들은 높은 해상도의 흑백영상과 다양한 분광 파장대를 지니는 멀티스펙트럴 영상을 동시에 제공하고 있다.
원격탐사 분야에 있어, 고해상도의 멀티스펙트럴 영상을 생성하는 것이 이상적이지만, 센서로 유입되는 방사에너지와 센서에 저장이 가능한 자료의 저장용량 사이의 기술적/물리적 한계로 인하여 고해상도의 멀티스펙트럴 영상은 센서에서 직접 제공할 수 없다. 이러한 문제로 인하여 높은 공간해상도의 흑백영상을 이용하여 멀티스펙트럴 영상의 공간해상도를 강제적으로 증가시키는 알고리즘이 영상융합(image fusion 혹은 Pan-sharpening)이라는 기술명으로 제안되고 있다.
원격탐사 분야에 적용된 영상융합 기술들은 크게 영상의 성분 대체(Component-Substitution, 이하 'CS'라 함.) 기법과 다중해상도분석(Multi-Resolution Analysis, 이하 'MRA'라 함) 기법으로 나뉠 수 있는데, CS 기법들은 흑백영상의 공간해상도를 그대로 유지되는 공간해상도 및 시각적 판독력 측면에서 좋은 품질의 융합 영상을 얻을 수 있지만, 융합영상의 분광정보가 왜곡되어 융합영상의 색상이 변질되는 문제점을 지니고 있으며 MRA 기법들은 CS 기법들에 비하여 원 멀티스펙트럴 영상의 분광정보가 효과적으로 보존된 융합영상을 생성해 내는 장점을 지니고 있지만, 융합 영상 내에 블러링(blurring)이 발생하는 등의 공간해상도가 저하되는 문제점을 지니고 있다.
융합영상은 높은 공간해상도에 따르는 영상 지도의 기능 및 토지 내의 다양한 개체 분석 기능과 더불어 분광정보를 이용한 고해상도의 토지피복 분석에 적용되는 기본 자료로 활용되기 때문에 융합 영상의 분광/공간 정보가 왜곡될 경우, 효과적인 분석을 할 수 없는 문제점을 지니고 있다. 특히, MRA기반의 융합 알고리즘들은 흑백영상의 공간해상도 저하의 문제가 크다고 알려져 있기 때문에 현재, 대부분의 상용소프트웨어에서는 일정량의 분광정보 왜곡의 문제점에도 불구하고 CS기반의 융합 알고리즘을 개발하여 사용자들에게 제공하고 있는 실정이다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 멀티스펙트럴 영상과 고해상도의 흑백영상을 동시에 제공하는 위성의 효과적인 사용을 위하여 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법을 제공하는 데 있다.
특히, 본 발명은 멀티스펙트럴 영상과 흑백영상간의 분광 특성 및 공간유사도를 통하여 CS 기반의 융합방법에서 발생하는 분광왜곡을 최소화시켜 일반적인 융합영상 생성 방법에서 분광왜곡량과 공간해상도 보존력간의 반비례관계에 따른 융합영상의 품질저하 문제를 해결하고자 하고, 또한, 사용자의 영상 사용 목적에 따라서 융합 영상의 공간해상도를 강제적으로 증가시키는 후처리 기법을 통해 최적의 융합 영상 생성 방법을 제공하고자 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명은
(a) 고해상도 위성들에 의해 제공된 멀티스펙트럴 영상과 고해상도의 흑백영상이 입력자료로 메인 메모리에 입력되고, 기하보정 과정과 이중3차 보간법이 포함된 메인 메모리 내의 프로그램을 이용해 상기 두 영상 간의 좌표와 크기가 일치되는 단계와;
(b) 상기 단계(a)를 거친 멀티스펙트럴 영상과 고해상도의 흑백영상 및 다음의 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 가상의 저해상도 흑백영상
Figure pat00001
이 생성되는 단계, 및
Figure pat00002
(여기서, α0 및 αn 은 회귀계수,
Figure pat00003
은 가상의 저해상도 흑백영상,
Figure pat00004
은 총 N개의 밴드를 가지고 있는 n번째 밴드의 멀티스펙트럴 영상)
(c) 상기 단계(a)를 거친 멀티스펙트럴 영상과 고해상도의 흑백영상과 상기 단계(b)의 가상의 저해상도 흑백영상 및 다음의 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 융합된 고해상도의 멀티스펙트럴 영상
Figure pat00005
이 생성되는 단계
Figure pat00006
(여기서,
Figure pat00007
는 고해상도 흑백영상,
Figure pat00008
은 가상의 저해상도 흑백영상, ωn 은 융합 계수,
Figure pat00009
은 멀티스펙트럴 영상)
로 구성되는 것을 그 기본 특징으로 한다.
또한, 본 발명은 상기 단계(c)에서 생성된
Figure pat00010
의 공간해상도를 강조하기 위하여 라플라시안 필터가 포함된 메인 메모리 내의 프로그램을 이용하여
Figure pat00011
의 밴드별 고주파 정보
Figure pat00012
가 추출되고 다음의 수학식, 즉,
Figure pat00013
(여기서,
Figure pat00014
는 융합된 고해상도의 멀티스펙트럴 영상, ωn 은 융합 계수,
Figure pat00015
는
Figure pat00016
의 밴드별 고주파 정보)이 포함된 메인 메모리 내의 프로그램을 이용해 공간해상도가 증가된 고해상도의 멀티스펙트럴 영상
Figure pat00017
이 생성되는 단계가 추가로 구성될 수도 있다.
이상에서 살펴본, 본 발명인 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법은 다양한 고해상도 위성센서들에 대하여 높은 공간해상도를 가지며 원 멀티스펙트럴 영상의 분광특징을 보존한 최적의 융합 영상을 생성할 수 있는 효과가 있다.
특히, 본 발명은 멀티스펙트럴 영상과 흑백영상간의 분광 특성 및 공간유사도를 통하여 CS 기반의 융합방법에서 발생하는 분광왜곡을 최소화시켜 일반적인 융합영상 생성 방법에서 분광왜곡량과 공간해상도 보존력간의 반비례관계에 따른 융합영상의 품질저하 문제를 해결할 수 있고, 사용자의 영상 사용 목적에 따라서 융합 영상의 공간해상도를 강제적으로 증가시킬 수 있는 효과가 있다.
도 1 은 본 발명에 따른 과정의 개략적인 블록도를 나타낸 도면.
도 2 는 본 발명에 따른 자료 입력 및 전처리 단계를 나타낸 도면.
도 3 은 본 발명에 따른 가상의 저해상도 영상 생성 단계를 나타낸 도면.
도 4 는 융합 계수를 이용한 영상융합 방법이 실제 자료에 적용된 예시 영상을 나타낸 도면.
도 5 는 추출된 영상 융합 계수를 이용하여 영상 융합을 수행하게 되는 단계를 나타낸 도면.
도 6 은 도 5를 이용하여 생성한 융합 영상의 일실시예를 나타낸 도면.
도 7 은 본 발명에 따른 융합영상의 공간해상도 향상을 위한 후처리 단계를 나타낸 도면.
도 8 은 도 7을 이용하여 생성한 공간해상도가 증가된 융합 영상의 일실시예를 나타낸 도면.
도 9 는 원격탐사 분야의 영상융합 방법을 도식화한 도면.
도 10 은 도 9를 전체 멀티스펙트럴 영상으로 표현하여 재구성한 도면.
상기와 같이 구성된 본 발명의 바람직한 실시예를 첨부된 도면을 참조하면서 상세히 설명하면 다음과 같다.
본 발명의 영상융합 방법은 원격탐사 분야 내 위성영상의 CS 융합기법에 의거하여 이루어진다. 멀티스펙트럴 영상과 흑백영상을 이용하여 구한 가상의 저해상도 영상을 이용하여 영상 간의 공간 유사도 및 분광특징에 따른 통계적 변수를 추출하며 이를 통하여 전역적/지역적 특성에 기반한 영상 융합을 수행한다. 최종적으로 융합영상의 목적에 따라서 공간해상도 증가를 위한 후처리 방법도 제공되어 진다.
도 1은 상기 발명의 구성을 바탕으로 제안하는 과정의 개략적인 블록도이다. 도 1에 도시된 바와 같이 본 발명은 원 멀티스펙트럴 영상(10)과 고해상도 흑백영상(20)의 화소 기반의 좌표를 표준화하고 멀티스펙트럴 영상의 크기를 흑백영상과 동일하게 조정하는 자료 입력 및 전처리 단계(100), 멀티스펙트럴 영상과 흑백영상간의 회귀분석을 통하여 가상의 저해상도 영상을 생성하는 단계(200), 영상 간 최적의 융합 계수 기반의 전역적/지역적 영상 융합을 수행하는 단계(300), 융합영상의 공간해상도를 추가적으로 향상시키기 위한 후처리 단계(400) 및 각각의 단계에서 사용되는 방법론으로 구성된다. 이들 단계별 목적은 아래와 같다.
(100) 자료 입력 및 전처리 단계 : 원 멀티스펙트럴 영상과 고해상도 흑백영상 간의 공간적 위치와 각 영상의 크기를 통일시키는 과정이다. 원격탐사 분야의 영상융합은 각 화소의 위치가 동일한 좌표에 위치하여야 한다는 가정을 기반으로 수행되기 때문에 두 영상간의 크기 및 좌표를 일치시키는 과정을 수행한다.
(200) 가상의 저해상도 영상 생성 단계 : CS 기반의 영상융합 방법에서 흑백영상 내에 존재하는 고주파 정보를 추출하기 위하여 필요한 가상의 저해상도 영상을 생성하는 과정이다. 가상의 저해상도 영상은 흑백영상과 동일한 분광특성을 가지며, 멀티스펙트럴 영상과 동일한 공간해상도를 지니게 된다.
(300) 영상 간 최적의 융합 계수 기반의 전역적/지역적 영상 융합을 수행하는 단계 : 가상의 저해상도 영상과 멀티스펙트럴 영상 사이에 존재하는 공간 유사도와 화소값의 통계적인 특징을 이용하여 융합을 위하여 영상의 공간 및 분광특성이 반영된 최적의 계수를 산출하게 되며, 이를 전역적/지역적 CS 기반 융합 방법에 적용하여 융합영상을 생성한다.
(400) 융합영상의 공간해상도를 추가적으로 향상시키기 위한 후처리 단계 : 생성된 초기 융합 영상의 경우, 분광정보의 보존에 가장 큰 장점을 가지고 있기 때문에, 사용자의 사용목적에 따라서 시각적 판독력이 더욱 높은 융합 영상이 필요할 수 있다. 이를 위하여 융합에 사용된 최적의 융합계수와 융합영상을 이용하여 융합영상의 공간해상도를 추가적으로 향상시키는 후처리 작업을 수행한다.
이하에서는 이러한 영상 융합 절차를 상세히 설명하기로 한다.
1. 자료 입력 및 전처리 단계
영상 융합을 위해서는 융합과정에 입력되는 영상들의 동일 위치에 있는 화소들은 같은 좌표를 가지고 있어야만 한다. 일반적으로, 지오아이-1(Geoeye-1), 아이코노스-2(IKONOS-2), 퀵버드-2(QuickBird-2), 월드뷰-2(WorldView-2), 다목적실용위성 2호(KOMPSAT-2) 등과 같은 고해상도 위성들은 경위도 좌표계로 투영되어 위치 좌표가 등록된 멀티스펙트럴 영상과 고해상도의 흑백영상을 동시에 제공하고 있지만, 좌표가 정확히 일치하지 않는 경우 원격탐사 분야에서 전처리 과정으로 행하여지는 기하보정 과정을 수행한다(101). 여기서, 상기 멀티스펙트럴 영상과 고해상도의 흑백영상은 전처리 과정을 위해 입력자료로 메인 메모리에 입력되어 진다.
그러나, 두 영상이 동일한 좌표를 가지고 있음에도 불구하고 공간해상도의 차이로 인하여 멀티스펙트럴 영상의 크기는 흑백영상에 대하여 두 영상간 공간해상도의 차이만큼 작기 때문에, 두 영상간의 크기를 일치시키기 위하여 재배열(resampling) 과정을 수행하게 된다.
위성영상은 최근린 보간법(nearest neighbor interpolation), 이중선형 보간법(bilinear interpolation), 이중3차 보간법(bicubic interpolation) 등을 이용하여 재배열이 이루어지는데, 최근린 보간법의 경우, 멀티스펙트럴 영상 자체가 가지고 있는 공간특징이 왜곡되는 문제가 있기 때문에, 본 발명에서는 이중3차 보간법(102)을 이용하여 멀티스펙트럴 영상의 크기를 흑백영상과 동일하게 변환시킨 멀티스펙트럴 영상(119) 및 흑백영상(129)을 생성한다(도 2).
한편, 상기 기하보정 과정과 이중3차 보간법의 수행은 이를 컴퓨터로 수행하기 위해 프로그램 언어를 통해 직접 알고리즘을 코딩하여 메인 메모리 내에 저장된 프로그램에 의해 이루어진다.
2. 가상의 저해상도 영상 생성 단계
일반적으로 원격탐사 분야의 영상 융합 방법을 개념적으로 도식화하면 도 9와 같다. 총 N개의 밴드를 가지는 멀티스펙트럴 영상 전체 처리 중 n번째 밴드에 대한 흐름도이며, 개념적인 이해를 위하여 도식화한 것이기 때문에 융합과정에서 필요한 융합계수의 적용, 연산과정 및 세부 알고리즘 등은 생략하였다.
I×J의 크기를 가지는 위성영상은 도 9와 같이 I×J 크기의 2차원 행렬 형태를 가지는 벡터로 해석하여 처리할 수 있다. 영상융합 방법을 수행하기 위해서는 특정 방법을 적용하여 생성한 저해상도 영상(도 9의 (c))이 필요하며, 이러한 저해상도 영상과 고해상도 흑백영상(도 9의 (b)) 간의 행렬간 차 연산을 이용하여 흑백영상의 윤곽선이나 에지정보 등이 포함된 고주파 정보 혹은 공간정보(도 9의 (d))를 추출할 수 있다. 마지막으로, 얻어진 고해상도 흑백영상의 공간정보와 각 밴드 별 멀티스펙트럴 영상을 더하는 과정을 거쳐 최종적으로 융합영상(도 9의 (e))을 얻을 수 있다.
도 10은 행렬로 이루어진 도 9의 융합 개념도를 전체 멀티스펙트럴 영상으로 표현하여 재구성한 것이다. 도 9 및 도 10에서 확인할 수 있는 바와 같이 영상 융합을 위해서는 멀티스펙트럴 영상에 주입할 고해상도 흑백영상의 공간정보를 효과적으로 추출해야 한다. 이를 위해서 흑백영상에 필터링 방법을 적용하거나, 저해상도 흑백영상과 고해상도 흑백영상 간의 차연산을 이용하여 고주파 정보를 추출한다.
그러나, 기존의 방법들은 멀티스펙트럴 영상과 흑백영상간 공간정보의 비유사성을 고려하지 않기 때문에 융합영상의 블러링이나 공간정보의 저하를 초래할 수 있다. 이러한 문제를 해결하기 위하여 상기 전처리 과정을 거친 멀티스펙트럴 영상과 고해상도 흑백영상 간의 회귀분석을 통하여 멀티스펙트럴 영상의 공간정보를 따르는 저해상도의 가상영상을 생성한다. 편의상 아래첨자 L은 저해상도의 영상을 H는 고해상도의 영상을 의미하고 위첨자 n은 멀티스펙트럴 영상의 n번째 밴드라고 할 때, 총 N개의 밴드를 가지고 있는 n번째 밴드의 멀티스펙트럴 영상을
Figure pat00018
, 고해상도 흑백영상을
Figure pat00019
라고 정의할 수 있다. 도 9에서 언급한 것과 같이 입력 자료
Figure pat00020
,
Figure pat00021
은 밴드별로 모두 I×J의 크기를 가지는 2차원 행렬이며,
Figure pat00022
의 경우, I×J×N으로 이루어진 3차원 행렬이다. 가상의 저해상도 흑백영상
Figure pat00023
(219)은
Figure pat00024
의 선형식으로 표현할 수 있으며, 행렬간의 스칼라 연산을 통하여 다음의 수학식 1과 같이 풀이할 수 있다.
Figure pat00025
여기서, α0 및 αn 은 회귀계수들이다.
Figure pat00026
을 생성하기 위한 1차원 행렬 α는
Figure pat00027
와
Figure pat00028
간의 회귀분석을 통하여 생성할 수 있으며, 아래의 행렬식인 수학식 2는 최소제곱법(least square method)을 이용하여 계산하여 α를 추출한다.
Figure pat00029
최종적으로, 추출된 α를 이용하여 가상의 저해상도 흑백영상
Figure pat00030
을 생성할 수 있다(도 3). 한편, 상기 수학식 1, 수학식 2 및 최소제곱법에 의한 가상의 저해상도 흑백영상
Figure pat00031
의 생성은 이를 컴퓨터로 수행하기 위해 프로그램 언어를 통해 직접 알고리즘을 코딩하여 메인 메모리 내에 저장된 프로그램에 의해 이루어진다.
3. 영상 간 최적의 융합 계수 기반의 전역적/지역적 영상 융합
융합된 고해상도의 멀티스펙트럴 영상을
Figure pat00032
라고 할 때, 일반적으로, CS 기반의 융합 알고리즘들은 융합 계수 ωn 을 기반으로 하여 도 9의 융합방법의 개념적 순서도를 행렬식으로 일반화시켜 정의내릴 수 있다.
Figure pat00033
,
Figure pat00034
은 3차원 행렬인 반면에
Figure pat00035
,
Figure pat00036
은 2차원 행렬이기 때문에
Figure pat00037
,
Figure pat00038
의 자료 중 특정 n번째 밴드에 대한 2차원 행렬로 식이 이루어져 있으며, 모든 데이터를 표현하기 위하여 각 밴드에 대한 연립식인 다음의 수학식 3으로 이루어지게 된다.
Figure pat00039
여기서, ωn 은 융합 계수이다.
융합 계수 ωn 은 융합 영상의 품질을 결정하는 요소이며, 각 멀티스펙트럴 영상의 밴드에 대한 적절한 ωn을 결정하는 것이 가장 중요하다고 할 수 있다. 본 발명은 이를 위해 멀티스펙트럴 영상
Figure pat00040
과 상기 단계(200)에서 생성된 가상의 저해상도 영상
Figure pat00041
을 이용하여 최적의 계수를 산출하는 방법론을 개발하는 것이다.
Figure pat00042
,
Figure pat00043
의 n번째 밴드에 대한 상수들로 이루어진 1차원 행렬 ωn 은 영상의 분광 및 공간특성을 반영하기 위하여 공간정보의 유사도와 영상 내의 표준편차를 이용하여 계산되어진다. 첫 번째로
Figure pat00044
과
Figure pat00045
의 공간정보 유사도를 측정하기 위하여 다음의 수학식 4인 라플라시안 필터를 이용하여
Figure pat00046
과
Figure pat00047
의 행렬에 대하여 공간 회선 필터링(spatial convolution filtering) 방법을 적용한다.
Figure pat00048
공간 회선 필터링 기법을 통하여
Figure pat00049
,
Figure pat00050
과 같은 영상으로 출력되는 행렬의 (i,j)위치의 화소값은 (i,j)위치의 화소 주위의 특정 공간 패턴과 라플라시안 필터의 행렬 화소 값과의 연산을 통하여 영상 전체에 대한 고주파 정보를 생성할 수 있다.
위의 과정을 통하여 얻어지는 행렬인 고주파 정보 영상은
Figure pat00051
,
Figure pat00052
로 정의한다. 추출되어진 고주파 정보 영상
Figure pat00053
,
Figure pat00054
간의 상관도를 계산하여 영상 내에 존재하는 공간정보의 유사도 En 을 측정한다.
I×J 크기의 고주파 정보 영상
Figure pat00055
,
Figure pat00056
의 (i,j)번째 화소를
Figure pat00057
,
Figure pat00058
라고 정의하고 고주파 정보 영상 내에 존재하는 전체 화소의 평균을
Figure pat00059
,
Figure pat00060
, 고주파 정보 영상 내에 존재하는 화소의 표준편차를
Figure pat00061
,
Figure pat00062
라고 하면 En 은 다음의 수학식 5를 통하여 생성할 수 있다.
Figure pat00063
En 은
Figure pat00064
과
Figure pat00065
사이의 공간특성을 융합과정에서 효과적으로 반영할 수 있지만, 밴드 간에 존재하는 화소값의 통계적인 차이를 비롯한
Figure pat00066
과
Figure pat00067
사이의 분광특성은 반영하지 못한다. 이를 위해 En 과 각 영상의 화소의 표준편차의 비를 이용하여 계수 산출식을 구성한다. 멀티스펙트럴 영상
Figure pat00068
,
Figure pat00069
의 표준편차
Figure pat00070
,
Figure pat00071
는 다음의 수학식 6으로 정리할 수 있다.
Figure pat00072
여기서,
Figure pat00073
과
Figure pat00074
는 각각
Figure pat00075
과
Figure pat00076
의 (i,j)번째 화소,
Figure pat00077
과
Figure pat00078
는 각각
Figure pat00079
과
Figure pat00080
의 전체 화소의 평균이다.
최종적으로 본 발명에서 제안하는 융합 계수는 다음의 수학식 7과 같이 구성되며 이를 통해 영상의 분광 및 공간특성이 모두 반영된 최적의 융합 계수를 생성할 수 있다.
Figure pat00081
본 발명의 융합 계수는
Figure pat00082
과
Figure pat00083
간의 공간 유사도와 표준편차의 비의 기하평균을 기본으로 하며, 흑백영상의 고주파 정보가 주입될 때,
Figure pat00084
과의 화소값의 상대적인 차이로 인하여 화소값이 과대하게 변화되는 것을 방지하기 위하여 기하평균에 사용한 각 변수 중 최소치를 곱하여 줌으로써 해당 밴드의 특성에 맞게 계수가 조정되도록 하였다.
위에서 산출한 융합 계수 ωn 은 멀티스펙트럴 영상
Figure pat00085
전체의 각 화소에 대하여 전역적인 변수로 설정되어 있다. 전역변수 ωn 은 영상 전체에 대하여 균일한 고주파 정보를 주입하기 때문에 멀티스펙트럴 영상과 흑백영상간의 공간적 비유사도가 큰 경우에는 최적의 결과를 도출할 수 없다. 이러한 경우, 전역적 계수 ωn 는 크기가 B×B인 윈도우 내의 화소만을 고려하여 지역적인 변수로도 계산할 수 있다.
(i,j)번째 화소의 지역적 융합 계수
Figure pat00086
는 영상의 크기와 동일한 I×J 크기의 2차원 행렬로 구성할 수 있으며
Figure pat00087
범위를 가지는 영상 내의 화소
Figure pat00088
,
Figure pat00089
를 이용하여 산출하게 된다. 이에 대한 식은 다음의 수학식 8 및 9와 같다.
Figure pat00090
여기서,
Figure pat00091
와
Figure pat00092
는 각각
Figure pat00093
범위를 가지는
Figure pat00094
과
Figure pat00095
의 (x,y)번째 화소,
Figure pat00096
과
Figure pat00097
는 각각
Figure pat00098
범위를 가지는
Figure pat00099
과
Figure pat00100
의 화소 평균,
Figure pat00101
과
Figure pat00102
은 각각
Figure pat00103
범위를 가지는
Figure pat00104
과
Figure pat00105
의 화소의 표준편차이다. 이를 이용하여 (i,j)위치의 공간 유사도를 나타내는
Figure pat00106
를 생성한다.
Figure pat00107
여기서,
Figure pat00108
와
Figure pat00109
는 각각 (i,j)화소를 중심으로 가지고 있으며
Figure pat00110
범위를 가지는
Figure pat00111
과
Figure pat00112
의 표준편차이다.
지역적 융합 계수
Figure pat00113
은 화소 위치 (i,j)를 기준으로 하여 윈도우 크기 B 만큼
Figure pat00114
,
Figure pat00115
의 세부영역
Figure pat00116
,
Figure pat00117
를 추출하고 (i,j)번째 화소를 중심으로 하는 이 세부지역에 대한
Figure pat00118
,
Figure pat00119
,
Figure pat00120
를 추출하고 이를 통하여 지역적 융합 계수
Figure pat00121
를 구한다.
위의 과정을 회선과정(convolution) 처럼 위치 (i,j)를 영상의 모든 지역에 대하여 이동시키면 최종적으로 각 밴드별 2차원 행렬의 계수의 집합으로 이루어진 총 3차원의 행렬
Figure pat00122
을 구할 수 있다. 지역적 융합 계수
Figure pat00123
의 윈도우 크기 B가 영상의 크기 I에 수렴할 경우
Figure pat00124
에서 각 밴드 별 2차원 행렬들의 원소들은 동일한 값을 가지게 되므로,
Figure pat00125
는 전역적 단일 변수인 1차원 행렬 ωn 으로 수렴하게 된다.
효과적인 융합 영상의 생성을 위해서 1m 급의 공간해상도를 가지는 위성영상의 경우,
Figure pat00126
의 윈도우 크기를 이용하여 를 생성하는 것이 이상적이며, 지역적 융합 계수
Figure pat00127
는 많은 연산시간이 요구되기 때문에 빠른 연산속도를 필요로 하는 경우 전역적 융합 계수 ωn 을 사용하는 것이 바람직하다.
도 4는 상기 방법론이 실제 자료에 적용되었을 때의 예시 영상을 보여준다. (a)는 상기 방법론에 적용된 고해상도 흑백영상, (b)는 0.45~0.52㎛의 파장대를 가지는 밴드의 멀티스펙트럴 영상, (c)는 이에 해당하는
Figure pat00128
이다. 강과 같은 공간해상도가 균일한 지역의 경우
Figure pat00129
은 0에 가까운 값을 가지며 도심지와 같이 복잡한 지역의 경우 높은 값을 나타낸다. 또한, 산림지역과 같이 (a)와 (b)지역의 지역적 비유사성이 나타나는 지역도 낮은 값을 보인다.
최종적으로, 추출된 융합 계수를 이용하여 영상 융합을 수행하게 되며 도출과정은 도 5와 같다. 도 5는 다음과 같이 설명할 수 있다.
(a)
Figure pat00130
의 고주파 정보 영상
Figure pat00131
생성 (301)
(b)
Figure pat00132
의 고주파 정보 영상
Figure pat00133
생성 (302)
(c) 지역적/전역적 융합 계수
Figure pat00134
/ωn의 선정 및
Figure pat00135
/ωn의 추출 (303)
(d)
Figure pat00136
수식을 이용한 융합 영상의 생성 (304)
한편, 상기 융합 영상의 생성과정도 이를 컴퓨터로 수행하기 위해 프로그램 언어를 통해 직접 알고리즘을 코딩하여 메인 메모리 내에 저장된 프로그램에 의해 이루어진다.
도 6은 도 5를 이용하여 생성한
Figure pat00137
의 실예시이다. (a)는 멀티스펙트럴 영상, (b)는 흑백영상, (c)는 전역적 변수를 사용하여 얻은 융합 영상, (d)는 지역적 변수를 사용하여 얻은 융합 영상이다. 도 6에서 확인할 수 있는 것처럼 지역적 변수
Figure pat00138
를 사용한 결과가 흑백영상과 유사한 공간해상도를 보이며 원 멀티스펙트럴 영상과 가장 유사한 색감을 보이는 것을 알 수 있다.
4. 융합영상의 공간해상도 향상을 위한 후처리 단계
영상 지도의 제작이나 도심지 내의 개체 분석과 같은 일부 융합 영상의 사용목적에 따라서, 공간해상도가 강조된 융합영상이 요구되어지는 분야가 존재한다. 이를 위해 본 발명에서는 도 5에서 개발된 융합 계수
Figure pat00139
/ωn와 융합 영상
Figure pat00140
를 이용하여 공간해상도 향상을 위한 융합영상의 후처리 과정을 수행한다.
Figure pat00141
의 공간해상도를 강조하기 위하여 라플라시안 필터를 이용하여
Figure pat00142
의 밴드별 고주파 정보
Figure pat00143
를 추출하고 다음의 수학식 10을 이용하여 최종적으로 공간해상도가 증가된 고해상도의 멀티스펙트럴 영상
Figure pat00144
를 생성한다. 수학식 10은 상기 단계(300)과 마찬가지로 각 밴드에 대한 2차원 행렬식으로 구성되어 n개의 연립식으로 해석되어지며, 최종적으로 각 연립식에 대한 스칼라 연산으로 계산할 수 있다.
Figure pat00145
또한, 상기 공간해상도가 증가된 고해상도의 멀티스펙트럴 영상
Figure pat00146
의 생성도 이를 컴퓨터로 수행하기 위해 프로그램 언어를 통해 직접 알고리즘을 코딩하여 메인 메모리 내에 저장된 프로그램에 의해 이루어진다.
도 7은
Figure pat00147
의 도출과정을 나타내며 도 5와 마찬가지로 융합 계수 ωn 의 전역적/지역적 변수 여부에 따라서 도 7의 경우, 지역적 혹은 전역적 방법으로 처리되어진다.
도 8은 도 7을 이용하여 생성한
Figure pat00148
의 실예시이다. (a)는 공간해상도를 증가시키기 전의 융합 영상이며 (b)는 후처리 결과이다. 도 7에서 확인할 수 있는 것과 같이 본 발명의 후처리 과정을 통하여 융합영상의 공간해상도를 향상시킬 수 있다.
상기에서는 본 발명에 대한 특정의 바람직한 실시예를 도시하고 설명하였으나, 본 발명은 상술한 실시예에만 한정되는 것은 아니고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 요지를 벗어남이 없이 다양하게 변경시킬 수 있을 것이다.

Claims (5)

  1. (a) 고해상도 위성들에 의해 제공된 멀티스펙트럴 영상과 고해상도의 흑백영상이 입력자료로 메인 메모리에 입력되고, 기하보정 과정과 이중3차 보간법이 포함된 메인 메모리 내의 프로그램을 이용해 상기 두 영상 간의 좌표와 크기가 일치되는 단계와;
    (b) 상기 단계(a)를 거친 멀티스펙트럴 영상과 고해상도의 흑백영상 및 다음의 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 가상의 저해상도 흑백영상
    Figure pat00149
    이 생성되는 단계, 및
    Figure pat00150
    (여기서, α0 및 αn 은 회귀계수,
    Figure pat00151
    은 가상의 저해상도 흑백영상,
    Figure pat00152
    은 총 N개의 밴드를 가지고 있는 n번째 밴드의 멀티스펙트럴 영상)
    (c) 상기 단계(a)를 거친 멀티스펙트럴 영상과 고해상도의 흑백영상과 상기 단계(b)의 가상의 저해상도 흑백영상 및 다음의 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 융합된 고해상도의 멀티스펙트럴 영상
    Figure pat00153
    이 생성되는 단계
    Figure pat00154
    (여기서,
    Figure pat00155
    는 고해상도 흑백영상,
    Figure pat00156
    은 가상의 저해상도 흑백영상, ωn 은 융합 계수,
    Figure pat00157
    은 멀티스펙트럴 영상)
    로 구성되는 것을 특징으로 하는 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법.
  2. 제 1 항에 있어서,
    (d) 상기 단계(c)에서 생성된
    Figure pat00158
    의 공간해상도를 강조하기 위하여 라플라시안 필터가 포함된 메인 메모리 내의 프로그램을 이용하여
    Figure pat00159
    의 밴드별 고주파 정보
    Figure pat00160
    가 추출되고 다음의 수학식, 즉,
    Figure pat00161
    (여기서,
    Figure pat00162
    는 융합된 고해상도의 멀티스펙트럴 영상, ωn 은 융합 계수,
    Figure pat00163
    는
    Figure pat00164
    의 밴드별 고주파 정보)이 포함된 메인 메모리 내의 프로그램을 이용해 공간해상도가 증가된 고해상도의 멀티스펙트럴 영상
    Figure pat00165
    이 생성되는 단계가 추가로 구성되는 것을 특징으로 하는 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법.
  3. 제 1 항에 있어서,
    상기 단계(b)의 회귀계수 α는 최소제곱법과 다음의 수학식, 즉,
    Figure pat00166
    (여기서,
    Figure pat00167
    는 고해상도 흑백영상)이 포함된 메인 메모리 내의 프로그램을 이용해 추출되는 것을 특징으로 하는 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법.
  4. 제 1 항에 있어서,
    상기 단계(c)는,
    (e) 라플라시안 필터가 포함된 메인 메모리 내의 프로그램을 이용한 공간 회선 필터링 기법을 통하여
    Figure pat00168
    과
    Figure pat00169
    의 각각의 고주파 정보 영상인
    Figure pat00170
    과
    Figure pat00171
    이 생성되는 단계와;
    (f) 다음의 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 융합 계수 ωn가 추출되는 단계, 및
    Figure pat00172
    (여기서,
    Figure pat00173
    (
    Figure pat00174
    과
    Figure pat00175
    는 각각
    Figure pat00176
    과
    Figure pat00177
    의 (i,j)번째 화소,
    Figure pat00178
    과
    Figure pat00179
    는 각각
    Figure pat00180
    과
    Figure pat00181
    의 전체 화소의 평균)이고,
    Figure pat00182
    (
    Figure pat00183
    ,
    Figure pat00184
    의 (i,j)번째 화소를
    Figure pat00185
    ,
    Figure pat00186
    라고 정의하고 고주파 정보 영상 내에 존재하는 전체 화소의 평균을
    Figure pat00187
    ,
    Figure pat00188
    , 고주파 정보 영상 내에 존재하는 화소의 표준편차를
    Figure pat00189
    ,
    Figure pat00190
    ))
    (g) 다음의 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 융합된 고해상도의 멀티스펙트럴 영상
    Figure pat00191
    이 생성되는 단계
    Figure pat00192
    (여기서,
    Figure pat00193
    는 고해상도 흑백영상,
    Figure pat00194
    은 가상의 저해상도 흑백영상, ωn 은 융합 계수,
    Figure pat00195
    은 멀티스펙트럴 영상)
    로 구성되는 것을 특징으로 하는 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법.
  5. 제 1 항에 있어서,
    상기 단계(c)는,
    (h) 라플라시안 필터가 포함된 메인 메모리 내의 프로그램을 이용한 공간 회선 필터링 기법을 통하여
    Figure pat00196
    과
    Figure pat00197
    의 각각의 고주파 정보 영상인
    Figure pat00198
    과
    Figure pat00199
    이 생성되는 단계와;
    (i) 다음의 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 지역적 융합 계수
    Figure pat00200
    가 추출되는 단계, 및
    Figure pat00201
    (여기서,
    Figure pat00202
    와
    Figure pat00203
    는 각각 (i,j)화소를 중심으로 가지고 있으며
    Figure pat00204
    범위를 가지는
    Figure pat00205
    과
    Figure pat00206
    의 표준편차이고,
    Figure pat00207

    (
    Figure pat00208
    와
    Figure pat00209
    는 각각
    Figure pat00210
    범위를 가지는
    Figure pat00211
    과
    Figure pat00212
    의 (x,y)번째 화소,
    Figure pat00213
    과
    Figure pat00214
    는 각각
    Figure pat00215
    범위를 가지는
    Figure pat00216
    과
    Figure pat00217
    의 화소 평균,
    Figure pat00218
    과
    Figure pat00219
    은 각각
    Figure pat00220
    범위를 가지는
    Figure pat00221
    과
    Figure pat00222
    의 화소의 표준편차))
    (j) 다음의 수학식이 포함된 메인 메모리 내의 프로그램을 이용해 융합된 고해상도의 멀티스펙트럴 영상
    Figure pat00223
    이 생성되는 단계
    Figure pat00224
    (여기서,
    Figure pat00225
    는 고해상도 흑백영상,
    Figure pat00226
    은 가상의 저해상도 흑백영상, ωn 은 융합 계수,
    Figure pat00227
    은 멀티스펙트럴 영상)
    로 구성되는 것을 특징으로 하는 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법.
KR1020100061160A 2010-06-28 2010-06-28 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법 KR101132272B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100061160A KR101132272B1 (ko) 2010-06-28 2010-06-28 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100061160A KR101132272B1 (ko) 2010-06-28 2010-06-28 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법

Publications (2)

Publication Number Publication Date
KR20120000736A true KR20120000736A (ko) 2012-01-04
KR101132272B1 KR101132272B1 (ko) 2012-04-02

Family

ID=45608515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100061160A KR101132272B1 (ko) 2010-06-28 2010-06-28 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법

Country Status (1)

Country Link
KR (1) KR101132272B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101291219B1 (ko) * 2012-03-16 2013-07-31 한국항공우주연구원 전정색영상과 다분광영상의 융합 방법 및 그 장치
KR101405435B1 (ko) * 2012-12-14 2014-06-11 한국항공우주연구원 고해상도 영상 융합 방법 및 그 장치
KR101677230B1 (ko) * 2015-06-26 2016-11-18 (주)인스페이스 이종 영상 융합 알고리즘의 품질 평가 장치 및 방법
CN109167924A (zh) * 2018-10-24 2019-01-08 清华-伯克利深圳学院筹备办公室 基于混合相机的视频成像方法、系统、设备及存储介质
CN110189282A (zh) * 2019-05-09 2019-08-30 西北工业大学 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法
CN114240814A (zh) * 2021-12-19 2022-03-25 西北工业大学 基于金字塔调制注入的多光谱与全色遥感影像融合方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102556028B1 (ko) 2021-12-30 2023-07-14 인천대학교 산학협력단 딥러닝에 기반한 원격 감지를 위한 실시간 이미지 융합 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020054215A (ko) * 2000-12-27 2002-07-06 오길록 멀티 위성 영상을 이용한 영상 합성 장치 및 그 방법
KR100519054B1 (ko) * 2002-12-18 2005-10-06 한국과학기술원 기하학적으로 왜곡된 위성영상을 정밀 보정하는 방법 및기록매체
KR100986809B1 (ko) * 2008-07-17 2010-10-08 인하대학교 산학협력단 크기불변특징변환을 이용한 다중해상도 위성영상간자동기하보정 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101291219B1 (ko) * 2012-03-16 2013-07-31 한국항공우주연구원 전정색영상과 다분광영상의 융합 방법 및 그 장치
KR101405435B1 (ko) * 2012-12-14 2014-06-11 한국항공우주연구원 고해상도 영상 융합 방법 및 그 장치
KR101677230B1 (ko) * 2015-06-26 2016-11-18 (주)인스페이스 이종 영상 융합 알고리즘의 품질 평가 장치 및 방법
CN109167924A (zh) * 2018-10-24 2019-01-08 清华-伯克利深圳学院筹备办公室 基于混合相机的视频成像方法、系统、设备及存储介质
WO2020082722A1 (zh) * 2018-10-24 2020-04-30 清华-伯克利深圳学院筹备办公室 基于混合相机的视频成像方法、系统、设备及存储介质
CN110189282A (zh) * 2019-05-09 2019-08-30 西北工业大学 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法
CN114240814A (zh) * 2021-12-19 2022-03-25 西北工业大学 基于金字塔调制注入的多光谱与全色遥感影像融合方法
CN114240814B (zh) * 2021-12-19 2024-02-23 西北工业大学 基于金字塔调制注入的多光谱与全色遥感影像融合方法

Also Published As

Publication number Publication date
KR101132272B1 (ko) 2012-04-02

Similar Documents

Publication Publication Date Title
Shen et al. An integrated framework for the spatio–temporal–spectral fusion of remote sensing images
Liu et al. A variational pan-sharpening method based on spatial fractional-order geometry and spectral–spatial low-rank priors
Wang et al. High-quality Bayesian pansharpening
KR101132272B1 (ko) 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법
Chen et al. SAR and multispectral image fusion using generalized IHS transform based on à trous wavelet and EMD decompositions
CN111047516A (zh) 图像处理方法、装置、计算机设备和存储介质
Joshi et al. A model-based approach to multiresolution fusion in remotely sensed images
CN111179177A (zh) 图像重建模型训练方法、图像重建方法、设备及介质
CN109727207B (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
Kwan et al. Pansharpening of Mastcam images
KR20130001213A (ko) 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템
Kasem et al. Spatial transformer generative adversarial network for robust image super-resolution
Liu et al. An efficient residual learning neural network for hyperspectral image superresolution
Zhang et al. Implicit neural representation learning for hyperspectral image super-resolution
Wagner et al. Deep residual learning for single-image super-resolution of multi-spectral satellite imagery
Arulkumar et al. Super resolution and demosaicing based self learning adaptive dictionary image denoising framework
Zhang et al. Transres: a deep transfer learning approach to migratable image super-resolution in remote urban sensing
Almasri et al. Rgb guided thermal super-resolution enhancement
Chen et al. Attentive generative adversarial network for removing thin cloud from a single remote sensing image
Wu et al. Details-preserving multi-exposure image fusion based on dual-pyramid using improved exposure evaluation
CN117114987A (zh) 基于亚像素和梯度引导的光场图像超分辨率重建方法
Guo et al. Blind single-image-based thin cloud removal using a cloud perception integrated fast Fourier convolutional network
Jindal et al. An ensemble mosaicing and ridgelet based fusion technique for underwater panoramic image reconstruction and its refinement
Chouteau et al. Joint Super-Resolution and Image Restoration for PLÉIADES NEO Imagery
CN115797489A (zh) 一种基于深度网络的岩石ct数字图像真彩色化处理方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150212

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160122

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180222

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 9