KR20210096925A - 대용량 항공정사영상의 효율적인 색상보정 방법 - Google Patents

대용량 항공정사영상의 효율적인 색상보정 방법 Download PDF

Info

Publication number
KR20210096925A
KR20210096925A KR1020200010595A KR20200010595A KR20210096925A KR 20210096925 A KR20210096925 A KR 20210096925A KR 1020200010595 A KR1020200010595 A KR 1020200010595A KR 20200010595 A KR20200010595 A KR 20200010595A KR 20210096925 A KR20210096925 A KR 20210096925A
Authority
KR
South Korea
Prior art keywords
image
resolution
color
images
fusion
Prior art date
Application number
KR1020200010595A
Other languages
English (en)
Inventor
소재경
안수환
Original Assignee
안수환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 안수환 filed Critical 안수환
Priority to KR1020200010595A priority Critical patent/KR20210096925A/ko
Publication of KR20210096925A publication Critical patent/KR20210096925A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 대용량 항공정사영상의 효율적인 색상보정 방법에 있어서, (1) 고해상도 항공정사영상을 기본 단위로 분리하는 표본추출 단계; (2) 분리된 고해상도 항공정사영상을 원본 해상도의 고해상도 회색조영상과 저해상도 컬러영상으로 분리하는 단계;(3) 상기 분리된 저해상도 컬러영상에 대한 색상 보정 단계;(4) 상기 분리된 고해상도 회색조 영상과 상기 색상보정된 저해상도 컬러영상을 융합하여 색상보정된 고해상도의 컬러영상 재생산 단계;를 포함하는 대용량 항공정사영상의 효율적인 색상보정 방법에 대한 것이다.

Description

대용량 항공정사영상의 효율적인 색상보정 방법{Flexible Color Correction Method for Massive Aerial Orthoimages}
본 발명은 대용량 항공정사영상의 효율적인 색상보정 방법에 관한 것으로, 보다 자세하게는 대용량 항공정사영상을 효율적으로 색상보정을 통해서 저해상도에서 수정된 컬러영상을 기반으로 정사영상의 색상보정에 필요한 작업 단위를 동일한 용량 대비 더 넓게 처리하여 작업량을 획기적으로 줄일 수 있는 대용량 항공정사영상의 효율적인 색상보정 방법이다.
항공정사영상 제작은 촬영된 낱장의 항공사진에서 기하학적 왜곡을 제거하는 수치미분 편위수정을 통해 정사보정된다. 이렇게 제작된 낱장의 항공정사영상은 다양한 기법으로 색상과 밝기가 보정되면서 촬영일, 지역, 단위 등 필요에 따라 임의의 단위로 정사영상을 제작하게 된다. 이때 낱장의 정사영상을 일정한 단위로 접합하는 과정을 영상접합 혹은 모자이크라고 한다.
모자이크 정사영상의 단위를 이루는 낱장 정사영상은 종·횡 방향으로 중첩 촬영된 항공사진은 접합선을 경계로 구분되는데, 접합선은 중첩된 정사영상에서 건물, 도로 등과 같은 지형과 지물의 형태를 단절시키지 않는 방향으로 영상의 픽셀 밝기를 계산하여 추출된다. 일반적으로 이 과정은 영상처리 시스템에서 자동화 과정으로 진행되는데 낱장 정사영상에 대한 각각의 색상, 밝기 등을 보정하고 임의 단위에 대해 통일된 색감이 유지되도록 하기위한 유일한 과정이라 할수 있다. 따라서 이 단계가 완료되어 제작된 모자이크 정사영상을 낱장에 해당하는 각 항공사진 영역에 대해 색상보정을 별도로 수행하는 것은 많은 시간과 비용이 발생할 뿐만 아니라 일관된 품질의 성과를 확보하는 것 역시 어렵다.
정사영상 제작 시 통일된 색상 표현이 중요함에 따라 모자이크 제작 단계에서 색상보정에 많은 시간과 비용이 투입된다. 또한 모자이크 단계에서의 영상 처리는 정사영상의 밝기와 색상을 수정하며, 이때 모자이크 처리되는 낱장 정사 영상에 대한 접합선과 그에 따른 색상 보정 방법은 작업 방법과 소프트웨어마다 상이하다.
이로 인해 세부적인 정사영상 제작 단위 및 모자이크 처리되는 낱장 정사영상 단위마다 인접 경계뿐만 아니라 전체 정사영상이 통일된 색감으로 보이지 않고 그로 인해 격자 모양과 같이 얼룩져 보인다. 특히 대단위 면적의 항공사진을 이용해 정사영상을 제작하기 위해서는 이를 세부적인 단위로 구분한 후 처리하게 되며, 이때 제작되는 정사영상은 제작 단위 및 촬영 시계열 차이, 촬영 센서, 작업방법, 소프트웨어 등 다양한 이유로 인해 밝기와 색상 차이가 나타난다.
일반적으로 정사영상에 대한 색상보정 방법은 원본 항공사진을 수정하는 방법 과 정사보정된 항공사진을 수정하는 방법 및 모자이크 후 수정하는 방법이 있으 며, 수천에서 수만 장에 이르는 항공사진으로 정사영상을 제작할 경우에는 그 처리 과정이 복잡할 뿐만 아니라 통일된 색상으로 성과를 제작하는 것은 어렵다.
대용량 항공정사영상에 대한 색상보정은 정사영상 인접처리나 세부적인 단위 및 전체를 대상으로 진행할 수 있으며 특히 카메라 센서, 시계열, 색상 기준 등에서 차이가 발생하는 경우의 정사영상은 색상보정이 반드시 필요하다. 수천장 이상의 항공사진으로 정사영상을 제작하기 위해서는 대용량 정사영상에 적용할 수 있는 기준 색상을 결정하고 해당 기준에 맞추어 단위별로 성과를 제작한다.
이후 단위별로 수정된 정사영상을 일괄적으로 색상보정하여 대용량 정사영상이 통일된 색상을 가지도록 한다. 그러나 이와 같은 방법으로 넓은 면적에 대한 대용량 정사영상을 하나씩 모두 색상보정하는 것은 방법적으로나 양적인 면에서 매우 어려울 수밖에 없다.
특히 정사영상을 처리 단위로 분리했을 때 단위 간 인접 부분을 동일하게 처리하는 것이 필요하며 경우에 따라서는 2~9개 단위를 동시에 작업해야 하는 단계가 필요하고 이로 인해 데이터 로딩과 저장이 원활하게 진행되지 않는 문제가 발생한다.
항공사진 낱장에 대한 색상보정은 자동화 프로세싱을 통해 비교적 일괄적으로 처리할 수 있는 반면 모자이크 정사영상이 제작되고 나면 색상보정을 위해서는 더욱 복잡한 단계와 많은 시간이 요구된다. 또한 좌표를 가진 일정한 크기의 영상으로 제작되기 때문에 인접해 있는 영상간의 공간적 연결성을 유지시키기 위한 과정의 영상 처리가 필요하다. 이때 영상 처리에 필요한 정사영상 크기를 일정 단위로 분할하게 되는데 동일한 면적에 대해 단위 면적을 줄이면 개수가 증 가하고 개수를 줄이면 단위 면적이 증가한다.
영상 처리에 적절한 면적을 결정하여 파일 용량을 최적화하고 이를 통해 영 상 처리에 필요한 시간과 수량을 결정할 수 있다. 대단위 면적의 정사영상을 색상보정하기 위해서는 컴퓨터 처리에 요구되는 단위로 분할하여야 하며 이때 적절한 용량과 해상도 조건에 따라 분할 면적이 결정된다. 정사영상 편집을 위해서는 영상 처리를 위한 워크스테이션 및 소프트웨어에서 원활하게 구동될 수 있도록 적절한 용량으로 작업 단위를 설정해야 한다. 따라서 작업 단위 구성은 효율적인 처리가 가능하도록 성능 범위 내에서 최대한의 용량으로 구성되어야 한다.
대용량 정사영상 데이터를 예로 들면 현재 정사영상 제작에 사용되고 있는 무손실 영상 포맷인 tiff, GSD(Ground Sample Distance) 25㎝, 5㎞Х5㎞ 단위로 작업 단위를 구성하면 1.1GB 용량이 되며 편집상에서 추가되는 용량과 동일 작업 단위를 인접 4개 혹은 9개 설정하는 것이 최소한으로 처리할 수 있는 용량이 된다.
그러나 시간 및 비용 효율적인 측면에서 색상보정을 수행하기 위해서는 작업 단위를 최대한 크게 구성해야 처리할 단위를 최대한으로 줄일 수 있다. 그러므로 작업에 적합한 영상의 용량을 고정시켜 놓고 최대한의 면적을 확 보하기 위해서는 지상해상도를 줄이는 방법이 유일하지만 이것은 정사영상의 기본 조건을 충족하기 위한 원해상도 유지 측면에서 불가능하다.
만약 지상해상도를 줄인 후 최대한의 면적으로 정사영상을 색상보정하고, 다 시 원래 해상도로 정사영상을 되돌릴 수 있는 방법이 있다면 동일한 용량의 영상데이터를 최대한의 면적으로 처리하는 것이 가능할 것이다. 이처럼 해상도 변화와 색상보정을 동시에 처리할 수 있는 일괄적인 작업 방법이 마련되면 정사영상 색상보정에서 효율적인 방안으로 사용될 수 있다. 본 연구에서는 이와 같은 색상보정을 위한 프로토콜을 구축하는 것이 목적이다.
대한민국공개특허 제2011-0082903호 '항공사진의 정사보정 및 최적화된 정사영상 제작 방법'은 중심투영에 의해 촬영되고 왜곡이 포함되어 있는 항공사진으로부터 직접 정사영상을 제작 과정에서 뉴튼-랍슨 방법과 같이 복잡하고 반복적인 계산절차가 없으므로, 정사영상을 쉽고 빠르게 제작가능하며,
또한 대한민국등록특허 제1833795호 '왜곡된 항공영상의 정사영상 처리장치'는 촬영이미지를 실시간으로 정사보정해서 해당 정사영상 출력과 더불어 최소한의 시간과 시스템 부하로 해당 촬영이미지에 적용되는 지상기준점 좌표값을 해당 촬영이미지에 합성 출력하는 기능이 크게 향상될 수 있는 동시에 작업 효율성이 증가하는 기술이지만,
본 발명과 같은 대용량 항공정사영상의 해상도 변화와 색상보정을 동시에 처리할 수 있는 일괄적인 작업 방법에 대한 기술적 설명은 없었다.
일반적으로 영상 데이터의 용량 변화와 다양한 처리 기법을 적용할 수 있는 방법 중 하나로 영상융합 기법이 있으며 data fusion, image merging, pan-sharpening 등으로 불려 왔다[이하성 등, 2014]. 영상융합은 인공위성 센서의 물리적 한계로 인해 고해상도의 다중분광 영상을 획득하는 것이 이론적으로 불가능함에 따라[Aiazzi et al., 2002] 고해상도의 전정색(panchromatic) 영상과 저해상도의 다중분광(multi-spectral) 영상을 획득하는 인공위성의 영상을 고해상도 다중분광 영상으로 제작하기 위해 고안된 방법[Tu et al., 2004; Aiazzi et al., 2007]이며 이미 다양한 기법이 개발되어 거의 모든 광학 위성영상에 적용되고 있다.
본 연구에서는 영상융합 기법을 적용하여 대용량의 항공정사영상에서 시계열, 센서, 제작 방법, 처리 단위 등의 차이로 인해 발생하고 있는 영상의 밝기와 색상 차이를 신속하게 보정할 수 있도록 대용량 항공정사영상의 효율적인 색상보정 방법을 제시하려고 한다.
본 발명은 상기한 종래의 제반 문제점을 해소하기 위해 안출된 것으로서, 본 발명의 목적은 대용량 항공정사영상의 해상도 변화와 색상보정을 동시에 처리할 수 있는 일괄적인 작업 방법으로 정사영상 색상보정에서 효율적인 방법을 제공함에 있다.
또다른 본 발명의 목적은 동일한 용량의 영상데이터를 최대한의 면적으로 처리할 수 있도록 지상해상도를 줄인 후 최대한의 면적으로 정사영상을 색상보정하고, 다시 원래 해상도로 정사영상을 되돌릴 수 있는 방법을 제공함에 있다.
상기와 같은 문제점을 해결하기 위해 본 발명은 대용량 항공정사영상의 효율적인 색상보정 방법에 있어서, (1) 고해상도 항공정사영상을 기본 단위로 분리하는 표본추출 단계; (2) 분리된 고해상도 항공정사영상을 원본 해상도의 고해상도 회색조영상과 저해상도 컬러영상으로 분리하는 단계;(3) 상기 분리된 저해상도 컬러영상에 대한 색상 보정 단계;(4) 상기 분리된 고해상도 회색조 영상과 상기 색상보정된 저해상도 컬러영상을 융합하여 색상보정된 고해상도의 컬러영상 재생산 단계;를 포함하는 대용량 항공정사영상의 효율적인 색상보정 방법을 제공한다.
또한 본 발명은 상기 (1)단계의 분리되는 기본 단위는 도심지, 농경지, 산지, 바다로 구분되며,상기 농경지는 경작지 또는 혼합지인 것에 특징이 있는대용량 항공정사영상의 효율적인 색상보정 방법을 제공한다.
또한 본 발명은 상기 (2)단계의 고해상도 회색조영상과 저해상도 컬러영상의 분리시, 상기 고해상도 회색조영상는 모두 가로, 세로 2,000픽셀의 크기이며, 상기 저해상도 컬러영상은 1/4로 축소된 가로,세로 500픽셀 크기이고,상기 분리된 각각의 고해상도 회색조영상과 저해상도 컬러영상의 위치 참조 좌표도 자연수인 것에 특징이 있는 대용량 항공정사영상의 효율적인 색상보정 방법을 제공한다.
또한 본 발명은 상기 (2)단계의 고해상도 항공정사영상을 원본 해상도의 고해상도 회색조영상으로 분리 변환을 위해 ITU-R BT.601의 밴드별 가중치 값을 적용하는 것에 특징이 있는 대용량 항공정사영상의 효율적인 색상보정 방법을 제공한다.
또한 본 발명은 상기 ITU-R BT.601의 밴드별 가중치 값은 Gray=0299×Red+0587×Green+0114×Blue)를 적용하는 것에 특징이 있는 대용량 항공정사영상의 효율적인 색상보정 방법을 제공한다.
또한 본 발명은 상기 융합된 영상은 고해상도 회색조영상과 동일한 해상도인 지상해상도 25cm의 컬러영상이며 색상보정된 저해상도 컬러영상과 동일한 색상을 가지는 것에 특징이 있는 대용량 항공정사영상의 효율적인 색상보정 방법을 제공한다.
또한 본 발명은 상기 (4)단계는 융합기법 BDSD을 이용하여 수행한 것에 특징이 있는 대용량 항공정사영상의 효율적인 색상보정 방법을 제공한다.
본 발명은 대용량 항공정사영상의 해상도 변화와 색상보정을 동시에 처리할 수 있는 일괄적인 작업 방법에 관한 거으로 정사영상 색상보정에서 효율성이 높아지게 된다.
또한 본 발명은 원격탐사 분야에서 인공위성 영상의 융합에 주로 사용되고 있는 영상융합 기법을 고해상도 항공정사영상에 적용하여 저해상도의 수정된 컬러영상을 이용하여 고해상도의 항공정사영상을 제작할 수 있었다.
도 1은 본 발명에 사용되는 정사영상의 기본 단위는 도심지(urban),농경지(rural), 산지(mountain), 바다(sea)를 각각 포함하는 5개의 표본의 샘플이다.
도 2(a)와 도 2(b)는 고해상도 회색조영상과 저해상도 컬러영상을 1:4의 해상도 비로 분리하는 경우 처리된 회색조영상과 컬러영상의 위치 참조 결과이다.
도 3과 도 4는 회색조 변환에 사용된 소프트웨어에 대한 설명이다.
도 5(a)부터 도 5(e)는 Global Mapper와 PhotoDemon을 이용해 분리한 5개 표본 영상에 대한 데이터 결과이다.
도 6은 색상보정에 대한 설명이다.
도 7은 보정 전후에 대한 히스토그램을 삽입된 보정한 영상이다.
도 8은 영상융합방법에 관한 것으로 5개 표본 영상에 대해 4가지 회색조 변환 방법과 8가지 융합 기법을 적용하여 총 160가지 영상으로 제작된 것을 보여준다.
도 9는 영상융합 기법 적용으로 ENVI[harrisgeospatialcom]를 이용한 것이며,
도 10은 HCS와 Wavelet을 이용한 ERDAS Imagine [hexagongeospatial.com],
도 11은 BDSD, Brovey, IHS, LMM, LMVM 기법을 이용한 PanFusion[pansharpcom(a)]을 보여준다.
도 12는 영상융합 결과의 예로 농경지(혼합)에서 BT.709 회색조 변환 방법으로 제작된 회색조영상과 색상보정된 저해상도 컬러영상(aRmRGBLR; 도 12 가운데)의 영상융합 결과이다.
도 13은 Image Index Analysis GUI를 이용하는 것을 보여준다.
도 14는 수정된 영상융합과 품질평가이다.
도 15은 GS 기법에서는 서쪽으로 25cm, 북쪽으로 25cm로서 모두 1픽셀 이동한 결과로 제작을 보여준다.
도 16은 색상보정된 영상을 기준으로 융합된 영상에 대해 픽셀-픽셀 단위로 감산하는 래스터 분석을 진행하였으며 이 결과를 삽입결과이다.
도 17은 정성적 품질평가에 대한 것으로 표본 영상마다 지붕, 도로,차선 등과 같이 지형과 지물의 형태 및 명암이 뚜렷한 지역을 선정하여 가로,세로 375m, 각각 150픽셀로 추출하였다.
도 18은 정량적 품질평가 결과이다.
도 19는 정성적 품질평가 결과이다.
도 20은 농경지(혼합)에서 영상융합 결과 평가지표별 정량적 품질평가 결과이다.
도 21은 농경지(혼합)에서 색상보정된 저해상도 컬러영상과 8가지 융합영상에서 추출한 영상이다.
도 22는 농경지(경작)에서 영상융합 결과 평가지표별 정량적 품질평가 결과이다.
도 23은 농경지(경작)에서 색상보정된 저해상도 컬러영상과 8가지 융합영상에서 추출한 영상이다.
도 24는 산지에 대한 영상융합 결과 평가지표별 정량적 품질평가 결과이다.
도 25는 산지에서 색상보정된 저해상도 컬러영상과 8가지 융합영상에서 추출한 영상이다.
도 26 바다에 대한 영상융합 결과 평가지표별 정량적 품질평가 결과이다.
도 27는 바다에서 색상보정된 저해상도 컬러영상과 8가지 융합영상에서 추출한 영상이다.
도 28은 영상에 대한 정성적인 분석 결과를 실험 표본에 대한 융합 기법으로 보여준다.
이하 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 우선, 본 발명을 설명함에 있어, 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.
본 명세서에서 사용되는 정도의 용어 '약', '실질적으로' 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다.
본 발명은 대용량 항공정사영상의 효율적인 색상보정 방법에 관한 것으로 표본추출, 영상분리, 색상보정, 영상융합, 품질평가 단계로 구성되어 있다.
위치 참조(geo-referencing)가 가능한 좌표를 가진 지상해상도 혹은 지상표본거리(GSD; Ground Sample Distance) 25㎝의 컬러 항공정사영상을 실험 표본에 따라 추출한 후, 각각의 영상에 대해 지상해상도 25㎝의 고해상도 회색조영상(GrayscaleHR)과 지상해상도 1m의 저해상도 컬러영상(RGBLR)으로 분리된다. 이때 컬러영상에서 회색조영상으로 변환하는 기법 4가지를 적용하고, 각각의 성과에 따라 자료를 처리한다. 또한 분리된 저해상도 컬러영상은 단계적으로 색상보정하여 표본마다 통일된 색감을 가지도록 하였다(mRGBLR) 색상보정 결과를 고해상도 회색조영상과 8가지 기법으로 융합하고 그 결과를 영상융합전 색상보정한 저해상도 컬러영상(mRGBLR)과 비교하는 품질평가로 진행된다.
영상융합과 품질평가를 위한 핵심 프레임 워크는 Wald 프로토콜을 따르지만, 원본 영상을 고해상도 컬러영상의 단일 데이터를 사용함에 따라 영상 분리와 지상해상도 조정 과정을 추가하여 사용자화하였다. 또한 원격탐사 분야에서 사용되는 주요 이론에서는 전정색과 다중분광 영상으로 설명되었으나 본 발명에서는 항공정사영상을 회색조와 컬러영상으로 분류함에 따라 각각의 호칭을 회색조영상, 컬러영상으로 정의한다.
1. 고해상도 항공정사영상을 기본 단위로 분리하는 표본추출 단계
본 발명은 영상융합을 위해 공간해상도 25㎝의 항공정사영상을 이용한다. 영상융합 평가에서 원래의 색상과 밝기 및 노이즈 정도를 제대로 묘사하는 방사 정보가 중요하지만 고해상도 자료를 사용함에 따라 지형과 지물에서 발생하는 선형 오류와 같은 공간 정보가 무엇보다 중요하다.
도 1은 본 발명에 사용되는 정사영상의 기본 단위는 도심지(urban), 농경지(rural), 산지(mountain), 바다(sea)를 각각 포함하는 5개의 표본의 샘플이다.
특히 농경지의 경우 낮은 산, 건물, 논, 밭 등이 고르게 포함된 혼합지(mix)와 논과 밭으로만 이루어진 경작지(plow)로 구분하였다. 또한 영상에 단순한 색조만이 포함되는 산지, 바다, 농경지 등에 경계가 뚜렷한 인공지물이 포함되도록 영상을 선택하여 융합영상에 대한 정성적 평가에서 공간해상도 분석이 가능하도록 하였다.
본 발명은 자료처리의 실험 조건 하기 표 1과 같이 5개의 표본에 대하여 4가지 회색조 변환 방법과 8가지 영상융합 기법을 각각 적용한다. 실험은 표본마다 32가지로 구분한 결과 전체 실험의 수는 160개가 된다.
Figure pat00001
* 이미지 융합 방법에 사용되는 소프트웨어 : ENVI (GS), ERDAS Imagine (HCS, Wavelet), Matlab Programmin의 PanFusion [pansharp.com] (BDSD, Brovey, IHS, LMM, LMVM
실험 표본 및 종류별 각 영상 파일에 대한 이름 부여는 표본, 회색조 변환 방법, 수정 유무, 해상도를 합성한 접두어로 정의한다. 도심지는 U, 농경지(혼합)는 aR, 농경지(경작)는 bR, 산지는 M, 바다는 S이고, 회색조 변환 방법은 HSI, HSL, BT.709, BT.601로 정의하였다. 또한 원본 영상은 o, 수정한 영상은m, 융합영상은 IF를 접두어로 사용하였으며, 영상융합한 RGB 영상이 원본 그대로의 고해상도인 경우 HR, lm로 재배열한 저해상도인 경우는 LR을 접미어로 사용하였다. 실험에서 사용된 영상 파일에 대한 이름 정의는 하기 표 2와 같다.
Figure pat00002
영상 재배열은 기하학적 투영, 보정 및 위치 참조에 사용되므로 신중하게 선택해야 한다. 최근 보간법은 데이터의 분광 특성 무결성을 보존하지만 영상에 공간적 불연속성이 발생할 수 있다. 3차 회선 보간법은 영상 편집 소프트웨어,프린터 드라이버 및 영상 리샘플링을 위한 많은 디지털 카메라에서 가장 일반적으로 사용되는 방법으로 좋은 공간 특성을 갖지만 분광 특성 값은 특히 날카로운 모서리 주변에서 왜곡되는 특징이 있다.
영상융합 시 두 영상 간 픽셀 단위로 영상 재배열이 진행되며, 본 연구에서 모든 영상처리에 사용한 영상 재배열 기법은 쌍선형 보간법을 적용하였다. 이 기법은 원래 영상 픽셀의 가장 가까운 2×2 이웃에 있는 4픽셀의 가중치 평균을기반으로 새로운 픽셀의 값을 결정한다. 특히 평균화에는 안티-앨리어싱(anti-aliasing) 효과가 있으므로 계단 효과가 적은 비교적 부드러운 가장자리가 생성된다
2. 분리된 고해상도 항공정사영상을 원본 해상도의 고해상도 회색조영상과 저해상도 컬러영상으로 분리하는 단계;
사진, 컴퓨팅 및 비색계(colormetric)에서 회색 음영 또는 회색 명암 영상은각 픽셀의 값이 빛의 양만 나타내는 강도 정보만 전달하는 영상이다. 이런 종류의 영상은 grayscale 또는 greyscale로도 알려져 있으며 가장 어두운 강도의 검정부터 가장 밝은 강도의 흰색으로 구성된 다양한 회색 음영으로 구성된다.
회색조영상은 1비트의 2색 흑백 영상과 구별된다. 컴퓨터 영상 처리에서는 흑백이라는 2가지 색상의 영상만 있지만 회색조영상에는 여러회색 음영이 있다. 회색조영상은 주파수/파장의 특정 가중치 조합에 따라 각 픽셀에서 빛의 강도를 측정한 결과이며 이러한 경우에는 단일의 좁은 주파수 대역이 수집된다.
비색계 회색조영상은 이미 정의된 회색조 색상 공간을 갖는 이미지로 저장된 샘플값을 표준 색상 공간의 무채색 채널에 매핑하며 이와 같은 색상은 인간의 시감 측정 속성을 기반으로 한다. 원래의 컬러영상에 대해 시각적으로 동일하게 인지할 수 있는 무채색 강도를 갖도록 제작되지 않은 경우 컬러영상을 회색조영상으로 매핑하기 위한 고유한 방법은 없다. 일반적으로 사용되고 있는 8비트 컬러영상을 회색조로 변환하는데 가장 쉽게 사용하고 있는 방법은 8비트 회색조 팔레트에 매핑하는 것으로 빛의 강도를 256단계의 단일 주파수로 변환하는 것이다. 이때 변환하고자 하는 컬러영상에서 각각의 픽셀값을 회색조로 변환하는 방법이 다양하며 밝기, 색상, 채도, 명암 및 색상 표현 방법에따라 저마다의 색공간이 존재하고 그에 따라 컬러를 회색조로 변환하는 방법이 존재한다.
임의의 컬러영상을 회색조로 변환하는 것은 일반적으로 고유하지 않으며 컬러의 각 채널에 서로 다른 가중치를 부여하여 다른 색공간으로 변환이 가능하다. 이때 밝기값을 갖는 채널을 이용해 회색조 효과를 나타낼 수 있으며 RGB 색공간은 YUV 및 HSL(Hue-Saturation-Light), HSV(Hue-Saturation-Value) 색공간으로 변환할 수 있다.
YUV는 컬러 이미지 파이프 라인의 일부로 사용되는 컬러 인코딩 시스템으로 아날로그 또는 디지털 TV와 사진 장비에 적용하기 위한 인터페이스로 사용된다. Y는 밝기를 나타내는 휘도(luminance), UV는 색차정보(chrominance)를 나타내는데 YUV는 Y’UV, YUV, YCbCr, YPbPr 등으로 구분되고 있으나 중복되는 의미를 가지고 있다. 일반적으로 YUV 및 Y’UV는 TV 시스템에서 컬러 정보의 특정 아날로그 인코딩에 사용되었고 YCbCr은 비디오 MPEG 및 JPEG와 같은 정지 영상 압축 및 전송에 적합한 컬러 정보의 디지털 인코딩에 사용되었다. 오늘날 YUV라는 용어는 YCbCr을 사용하여 인코딩된 파일 형식을 설명하기 위해 컴퓨터 분야에서 일반적으로 사용된다.
아날로그 컴포넌트 비디오에 사용된 YPbPr 컬러 모델과 디지털 비디오에 사용되는 YCbCr 디지털 버전은 다소 차이가 있으며 Y’UV라고도 한다. CB/PB 및 CR/PR은 청색-황색 및 적색-시안 축상에서 회색으로부터의 편차이고, U 및 V는 각각 청색-휘도 및 적색-휘도 차이이다.
YUV를 적용한 색상표현에서는 실질적으로는 휘도 Y 대신에 감마 보정을 적용한 Y’를 사용한다. 인간의 시각은 빛의 세기에 비례하는 휘도에 선형적으로 반응하지 않는데 어두운 영역에서의 조밀한 차이는 그 차이를 크게 지각하고,
밝은 영역의 작은 차이는 그 차이를 구별하지 못한다. 따라서 빛의 세기에 선형적으로 반응하여 기록하는 카메라의 휘도 신호는 인간의 시각이 직접 느끼는 지각과는 차이가 있게 된다. 감마 보정이란 입력 신호를 인간의 시각이 지각하는 방식과 유사하게 출력 신호를 비선형적으로 변형시켜 주는 작업이다.
Y’UV 신호는 일반적으로 RGB 소스로 생성된다. 가중치가 있는 RGB 값은 합쳐져서 전체 밝기 또는 휘도의 측정치인 Y’를 생성하는데 RGB 밴드 각각의 값에 가중치를 적용하면 휘도 Y를 구할 수 있고, 이 값과 R, B를 이용하면 U, V값을 계산할 수 있다. YUV 및 Y’UV에서 휘도 및 밝기를 구하기 위해서는 우선 각각의 가중치를 결정해야 하는데, 이는 인간의 눈이 색상별로 균일하게 인식하지 않기 때문이다. 인간은 빨간색보다 녹색을 강하게, 파란색보다 빨간색을 더 강하게 인식한다. 이것은 진화 생물학의 관점에서 의미가 있는데, 자연 세계의 대부분은 녹색 음영으로 나타나므로 인류는 녹색 빛에 보다 민감하게 진화했다[tannerhelland.com].
적색, 녹색 및 청색광을 똑같이 처리하는 대신 회색음영 변환은 사람의 눈이 어떻게 인식하는지에 따라 각 색상을 가중시킨다. 영상 처리 소프트웨어 중에서 Global Mapper, Photoshop, Gimp에서 사용하는 변환식은 하기 식(1)과 같으며 이 값은 ITU-R BT.601 권고안과 거의 동일한 값을 가진다.
식(1)
Figure pat00003
국제전기통신연합 (ITU; International Telecommunication Union)에서 아날로그 표준 화질 텔레비전을 스트리밍하기 위한 디지털 영상 프로토콜을 정의 하고 있는데 대표적으로 SDTV(Standard-Definition Television)에 적용하는 ITU-R BT.601[ITU.int(a)]와 HDTV(High-Definition Television)에 적용하는 ITU-R BT.709[ITU.int(b)] 권고안을 사용할 수 있다.
ITU-R은 국제전기통신연합의 무선통신 부문(Radiocommunication sector of ITU)에서 권고안으로 제공하고 있는 규약이다. 이 권고안을 이용하여 컬러영상의 밴드 각각에 가중치를 적용하여 회색조영상으로 변환할 수 있다.
우선 ITU-R BT.601 권고안은 WR=0.299, WG=1-WR-WB=0.587, WB=0.114, UMAX=0.436, VMAX=0.615로 정의하며, RGB로부터 계산되는 Y’는 식 (2),Y’UV와 RGB의 변환 매트릭스는 식 (3)과 같다.
식(2)
Figure pat00004
식(3)
Figure pat00005
ITU-R BT.709 권고안은 WR=0.2126, WG=0.7152, WB=0.0722로 정의하며 RGB로부터 계산되는 Y’는 식 (4), Y’UV와 RGB의 변환 매트릭스는 식 (5) 과 같다.
식(4)
Figure pat00006
식(5)
Figure pat00007
HSL(Hue-Saturation-Light)과 HSV(Hue-Saturation-Value)는 0°에서 빨간색으로 시작하여 120° 녹색·초록색과 240° 파란색·주색을 통과해 360°에서 다시 빨간색으로 이루어진 색조(hue)로써 각도 치수의 지오메트리(geometry)를 갖는 원통형의 색공간이다. 각 지오메트리에서 중심 수직축은 밝기 0 또는 값 0의 검정색부터 아래쪽까지의 밝기 1 또는 값 1인 흰색에 이르기까지 중심은 무채색 또는 회색 색상으로 구성된다.
두 원통형의 색공간에서 주요 색상과 추가 색상(빨강, 노랑, 녹색, 시안, 파랑, 자홍색)과 인접한 쌍의 선형 혼합(때로는 순수 색상이라고 함)이 원통의 바깥쪽 가장자리에 채도 1이 배열된다. 이렇게 채도 1인 색상은 HSL에서 1/2의 밝기를 가지며 HSV에서는 1의 값을 갖는데 이 순수한 색상을 검은색으로 혼합해도 채도가 변경되지 않는다. HSL에서 채도는 흰색으로 채색하여도 변경되지 않으며 검정색과 흰색의 혼합만이 채도가 1 미만인 반면 HSV에서는 채도만으로 채도가 감소한다.
가장 단순한 정의는 강도(I; intensity)라고 불리는 HSI 모델로 R, G, B 세 가지 구성 요소의 평균값이다. 이것은 단순히 중립축에 점을 투영 한 것이며 기울어진 큐브에 있는 점의 수직 높이이다. 이 점은 색조와채도의 유클리드(euclid) 거리 계산과 함께 이 표현은 RGB 큐브의 기하학으로 부터 거리와 각도를 유지한다.
HSI 모델은 컬러영상을 회색조영상으로 변환하는 가장 쉬운 방법으로 식 (6)과 같이 각 RGB 채널의 값을 평균한다.
식(6)
Figure pat00008
이 방법은 가장 합리적인 수준의 회색조를 생성하며 최적화가 용이하다. 그러나 사람의 눈이 인지하는 광도와 비교하여 회색조를 표현하는 것이 좋지 않은 단점이 있다.
HSV 모델에서 값(V; value)은 색상의 가장 큰 구성 요소이며, 이것은 3개의 모든 원색과 모든 2차 색상(시안, 노란색, 마젠타)을 흰색이 있는 평면에 놓고 RGB 큐브에서 육각 피라미드(hexagonal pyramid)를 만든다. 값의 계산은 식 (7)과 같이R, G, B 중 가장 큰 값이다.
식(7)
Figure pat00009
HSL 모델에서 밝기는 가장 큰 색상 구성 요소와 가장 작은 색상 구성 요소의 평균으로 정의된다. 이 정의는 1차 색과 2차 색을 평면에 배치하지만 흰색과 검정색의 중간을 통과하는 평면을 배치한다. 값의 계산은 식 (8)과 같이 R, G, B의 최대값과 최소값의 합을 나누어 계산한다.
식(8)
Figure pat00010
반면, 루마(luma) Y’를 명도 차원으로 사용하는 루마는 감마 보정된 RGB의 가중 평균으로 컬러 TV 방송의 단색 크기로 오랫동안 사용되면서 밝혀진 밝기에 대한 기여도를 기반으로 한다. 이는 앞 절에서 기술된 ITU-R BT.601 및 BT.709의 권고안을 따르는 계수가 사용된다.
ITU-R BT.709는 Y'709=0.21R+0.72G+0.07B이며, ITU-R BT.601은 Y'601=0.30R+0.59G+0.11B이다.
원격탐사 분야에서는 인공위성의 광학 영상을 이용해 융합 기법을 적용할 때 밴드별로 취득되는 영상을 그대로 사용하게 되며 일반적으로 공간해상도를 가지는 회색조 혹은 전정색 영상과 색상 및 다양한 정보를 가지는 다중분광 영상 혹은 밴드로 구성되어 있다. 여러 가지 분광 특성을 포함하는 다수의 분광해상도에서 전정색 영상과 다중분광 영상의 해상도의 비는 1:4로 적용할 수 있으며 전정색 영상의 공간해상도와 다중분광 영상의 주요 정보로 대상을 효율적으로 구별하는데 적용할 수 있다.
이에 따라 취득되는 고해상도 전정색 영상과 저해상도 다중분광 영상의 해상도 비는 1:4를 이룬다. 여기서 전정색은 취득 당시 전정색센서를 통해 직접 취득된 영상을 뜻하는 반면 회색조영상은 고해상도 컬러영상에서 변환된 영상을 말한다.
또한 인공위성으로 취득되는 다중분광 영상은 컬러외에 적외선을 비롯해 초분광 정보를 의미하는 반면 본 발명에서는 컬러 항공정사영상과 이를 이용해 제작된 해상도별 컬러영상 및 융합영상을 뜻한다.
본 발명에서는 인공위성의 영상 처리에서 사용하고 있는 융합 기법을 그대로 항공정사영상에 적용함에 따라 그와 동일한 해상도의 비율로 자료를 처리하였다. 고해상도 항공정사영상에서 고해상도 회색조영상과 저해상도 컬러영상으로 분리할 때 해상도의 비율에 따라 영상 전체의 픽셀 수가 다르게 된다. 이로 인해 영상의 위치 참조 정보도 변하게 되며 이를 고려하여 데이터 처리에 필용한 항공정사영상을 추출하여야 한다.
항공정사영상의 표준 포맷은 tiff(tagged image file format)로서 영상 정보와 기준이 되는 위치 정보를 텍스트 파일인 *tfw로 저장하고 있다. 위치 정보는 *tif 영상의 좌·상단 첫 픽셀의 중심점을 기준으로 하는 좌표로 구성되어 있다. 이때 픽셀 크기의 1/2 만큼 +X, -Y 방향으로 이동된 위치가 기준 좌표로입력된다. 이로 인해 영상을 추출하거나 해상도 조정을 할 때 위치 참조를 고려하여야 영상의 연속성을 확보할 수 있다. 여기서 연속성이란 추출되거나 해상도조정이 되는 영상과 인접해 있는 영상과의 공간 해상도 및 분광 해상도가 동일하게 유지되어야 하는 요구이다. 고해상도 항공정사영상은 지형과 지물에 대한공간 묘사를 픽셀 단위로 정보화 하고 있으며 영상에서 픽셀의 연속성이 결여될 경우 위치 및 색상 정보에서 오차가 발생한다.
특히 본 발명에서와 같이 단일의 고해상도 항공정사영상을 이용하여 고해상도 회색조영상과 저해상도 컬러영상을 1:4의 해상도 비로 분리하는 경우 처리된 회색조영상과 컬러영상의 위치 참조 결과는 각각 도 2(a)와 도 2(b)이다. 이에 따라 영상의 공간해상도 변화가 이루어지는 고해상도 항공정사영상에서 회색조와 컬러영상으로 분리할 때 위치 참조가 소수점에서도 좌표가 일관되게 처리될 수있도록 모든 좌표는 자연수로 결정하였다.
본 발명에서는 영상융합을 실험하기 위해 단일 고해상도 정사영상에서 원본해상도를 그대로 유지한 회색조영상과 공간해상도를 1/4로 낮춘 컬러영상으로 분리하였다. 이때 회색조로 변환하는 방법과 영상 처리시 적용하게 되는 영상재배열 방법에 따라 영상융합 결과가 다르게 나타나는데 회색조영상의 공간 정보와 밝기값이 영상융합 결과에 중요한 영향을 미친다.
본 발명에서 사용한 항공정사영상의 회색조 변환은 하기 표 3과 같이 Y'UV의 ITU-R BT.709 권고안 및 영상 처리 소프트웨어에서 사용되고 있는 변환 방법과 HSI, HSL을 사용하였다. HSV는 입력되는 영상에서 RGB 밴드 중 최대혹은 최소값의 밴드만을 사용하는 것으로 서로 다른 특성을 가진 다량의 영상에 적용하기 위한 방법을 찾는 본 연구의 목적에는 부합하지 않아 제외하였다. 특히 ITU-R BT.601 권고안의 가중치는 영상 처리 소프트웨어에서 적용하고 있는 가중치와 소숫점 3째 자리에서 반올림된 값을 사용함에 따라 본 연구에서는 동일하게 판단하였으며 실험명은 ITU-R BT.601로 정의하였다
Figure pat00011
회색조 변환에 사용된 소프트웨어는 Global Mapper[bluemarblegeo.com(a)] (도 3)와 PhotoDemon[photodemonorg](도 4)이다.
도심지, 농경지(혼합), 농경지(경작), 산지, 바다 등 5개 표본 영상에 대해 해상도 1:4의 비율을 적용하여 지상해상도 25㎝의 고해상도 회색조영상과 해상도 1m의 저해상도 컬러영상으로 분리하였다. 회색조영상은 HSI, HSL, ITU-RBT.709, ITU-R BT.601 방법으로 변환하여 영상 크기는 회색조 변환 기법에 상관없이 모두 가로, 세로 2,000픽셀의 크기이며 컬러영상은 1/4로 축소된 가로,세로 500픽셀 크기이다.
Global Mapper와 PhotoDemon을 이용해 분리한 5개 표본 영상에 대한 데이터 세트는 도 5(a)부터 도 5(e)과 같다. 각각의 도면에는 좌측 하단에 인덱스맵을 첨부하였으며 좌·상단부터 시계방향으로 원본 컬러영상 oRGB, HSI,HSL, ITU-R BT.601 및 BT.709, 저해상도 컬러영상 RGBLR으로 배치하였다. 4가지 회색조 변환 방법으로 제작된 회색조영상은 육안으로 구분하기 어렵다.
원색으로 이루어진 대부분의 건물 지붕이나 옥상 등에서는 밝기에서 차이가 확실히 나타나고 부분적으로도 밝기는 각각의 기법에서 다르게 나타난다. 융합전후 영상간 픽셀 연산 분석 결과를 통해 차이를 명확하게 구분하였다.
영상융합을 위해서는 회색조영상과 컬러영상 사이에서 영상에 대한 픽셀 크기와 영상의 크기를 결정하는 가로, 세로의 픽셀 수가 정확하게 일치하여야 한다.
특히 회색조영상과 컬러영상에서의 해상도 비는 1:4가 되는데, 이에 따라 영상의 기준 좌표가 계산된다. 현재 고해상도 항공사진 정사영상의 경우 무압축 포맷인 tiff 포맷을 사용하며 위치 참조 파일인 *tfw에 영상의 좌·상단 첫 픽셀의 중심점이 기준 좌표로 입력된다.
본 발명에서는 기준 픽셀 중심점 이동에 대한 오차를 제거하고자 모든 영상은 자연수를 가지도록 기준 좌표를 추출하였다. 그 결과 5개의 표본 영상에 대한 영상 기준 좌표 정보를 분리 전·후로 구분하였으며 하기 표 4의 성과와 같이 추출되었다.
Figure pat00012
* 지리 참조 정보(geo-reference)의 첫 번째 행과 두 번째 행 사이의 y, x 축에 대한 회전량은 0.0이며 두 선은 생략됩니다.
3. 저해상도 컬러영상에 대한 색상 보정 단계
원해상도를 가진 영상으로 지상해상도 1m의 영상이며 이 영상에 대해 각각 색상을 보정하였다. 색상보정은 도 6과 같이 우선 영상 전체적으로 동일한 색상 톤을 가지도록 색상과 밝기를 수정한 후 부분적으로 수정을 하면서 세부적인부분까지 색상 톤이 일관되도록 수정하였다.
보정한 영상은 도 7과 같으며 보정 전후에 대한 히스토그램을 삽입하였다. 색상보정은 밴드에 따라 각각 적용하였으며 산의 그림자와 연무 같이 부분적으로 나타나는 특정 밴드의 과대 효과는 세부적으로 수정하였다. 또한 정성적인 품질 검수에서 해상도 재현 정도를 평가하기 위해 수정된 저해상도 컬러영상에 적용된 색상보정 파라미터를 이용해 색상보정한 고해상도 정사영상을 제작하였다.
저해상도 컬러영상에 대한 색상보정은 마스킹과 색상, 밝기 파라미터를 이용하였으며 표본 영상별로 각각 저장하였다. 이를 이용해 원본의 고해상도 컬러영상에 그대로 적용하여 픽셀 단위의 정성적 검수가 가능하도록 하였다.
4. 고해상도 회색조 영상과 상기 색상보정된 저해상도 컬러영상을 융합하여 색상보정된 고해상도의 컬러영상 재생산 단계
영상융합 기법이란 공간해상도가 낮은 다중분광 영상을 융합하여 고해상도의다중분광 영상으로 제작하는 기술이다. 이처럼 영상융합 기법으로 동일한 에너지를 처리하기 위해 커버리지 대비 저해상도 영상을 사용하면 데이터 처리량을 줄일 수 있다.
다양한 축척 및 분광 특성에서 작동하는 영상 센서는 공간 및 분광해상도를
갖는 방대한 양의 데이터를 제공하며, 이때 신호대잡음비(signal to noise ratio)에 따른 제약으로 인해 요청된 분광해상도가 더 높을 경우 공간해상도가 낮아야 한다. 반대로 가장 높은 공간해상도는 분광해상도가 없는 전정색 영상을 통해 얻어진다. 이와 같은 분광해상도와 공간해상도의 관계는 저해상도 다중분광 데이터의 공간해상도 향상을 수행하거나, 동일한 해상도로 높은 공간해상도를 갖는 데이터 세트의 분광해상도를 높이는 것이 바람직하지만, 일반적으로 공간해상도는 분광해상도 정보가 없는 고유한 전정색 영상으로만 구성된다.
이와 같은 한계를 해결하기 위해, 그동안 많은 방법이 제안되었으며, 그들 중 대부분은 다음의 두 가지 주요 요점으로 요약될 수 있다.
① 전정색 영상으로부터 다중분광 영상에 존재하지 않는 고해상도 기하학적 정보를 추출한다.
② 다중분광 영상과 전정색 영상 사이의 관계를 적절히 모델링하여 전정색 영상의 공간해상도로 보간된 저해상도 다중분광 영상에 공간적 세부 사항을 융합한다.
본 발명은 고해상도 정사영상을 고해상도 회색조영상과 저해상도 컬러영상으로 분리한 후 저해상도 컬러영상을 색상보정하고 그 결과와 고해상도 회색조영상을 융합하여 수정된 고해상도 정사영상을 만드는 것이다. 여기서 사용되는 융합 방법은 이미 많은 연구를 통해 개발되었으며 다양한 사례를 통해 소개되었다. 대부분의 광학 위성영상에서 제공되는 전정색 영상과 다중분광 영상을 이용해 고해상도 다중분광 영상을 제작하였다.
일반적으로 SPOT, IRS, Landsat, IKONOS, QuickBrid 등과 같은 지구 관측 위성과 디지털 항공사진 카메라로부터 취득하는 영상 자료는 고해상도 전정색 영상과 저해상도 다중분광 영상으로 분리하여 획득하고 있으며 이렇게 획득한 영상들은 영상융합을 통해 고해상도 다중분광 영상으로 제작된다. 센서로부터 고해상도 다중분광 영상을 직접 취득하지 않는 주요한 이유는 다음과 같다.
첫 번째로, 센서로 들어오는 에너지의 양과 관계가 있다. 전정색 밴드는 넓은 파장대를 갖고 다중분광 밴드는 좁은 파장대를 갖는데 입사되는 동일한 에너지를 획득하기 위해서는 다중분광 센서보다 더 작은 전정색 센서를 사용할 수 있다. 게다가 센서를 탑재할 수 있는 공간을 줄일 수 있어 더욱 고성능 센서를 탑재할 수 있다. 이런 이유에서 고해상도 다중분광 영상을 직접 획득하는 것보다 고해상도 전정색 영상과 저해상도 다중분광 영상으로 분리하여 획득하는 것이 유리하다.
두 번째로, 센서에 의해 획득하는 영상 데이터의 용량과 관계가 있는데, 고해상도 전정색 밴드와 저해상도 다중분광 밴드로 데이터를 저장하면서 고해상도일수록 그리고 밴드 수가 많을수록 커지는 용량을 최소화 할 수 있는 최적의 요건이 된다. 이로 인해 제한적인 저장 장치에 보다 많은 데이터를 저장할 수 있으며, 후처리를 위한 변환 시간을 절약할 수 있다.
본 발명에서는 항공정사영상을 이용해 영상융합 기법을 적용하고 가장 적합한융합 기법을 결정하기 위해 BDSD, Brovey, GS, HCS, IHS, LMM, LMVM, Wavelet 등 8가지 융합 기법에 대하여 먼저 설명한다.
BDSD
초분광(hyper-spectral) 영상융합에서는 전정색에서 추출한 공간 정보를 조건 없이 직접 주입하면 만족스럽지 않은 결과가 나타난다. 가능한 방법은 해상도 저하 및 원본 초분광 데이터와 융합된 결과 사이의 MSE(Mean-Square Error) 최소화로 시뮬레이션 융합을 통해 공간 개선을 위한 최적의 전략을 제공하는 주입 모델을 설계하는 것이다.
원래 Capobianco et al (2007)에서 제안된 MMSE(Minimum Mean-Square Error) 방법은 초분광 영상의 영상융합을 위한 것이지만 다중분광 영상의 공간 해상도 향상을 위한 방법으로도 성공적으로 확장되었다. 전정색 영상으로부터 추출된 최적의 세부 영상은 대역의존 일반화강도(band-dependent generalized intensities) 평가에 따라 각각의 초분광 밴드로 계산된다.
BDSD(Band-Dependent Spatial-Detail) 융합 기법은 다중분광 영상에서 고해상도의 공간적 세부 사항을 도입하기 위한 영상융합 및 주입 모델을 기반으로한다.
융합된 영상의 품질 인자에 반응하는 최적의 영상융합 알고리즘으로 MMSE 융합이 개발되었으며 Wavelet 융합에서 고해상도 공간 디테일(high-resolution spatial detail) 주입과 관련된 파라미터를 최적화하도록 설계되었다. 주파수 응답이 MTF의 모양과 일치하는 저역통과필터링(low pass filtering)을 사용하여 데이터의 공간해상도 향상을 개선하는 것이며, 다중분광데이터에 공간 디테일을 주입하는 융합 처리 단계에서 융합된 영상의 품질에 다양한 파리미터와 절차를 고려하기 위한 것이다. 알고리즘은 선형주입모델(linear injection model)과 국소 MMSE 파라미터 추정을 통합한다.
전정색(PAN)에서 추출한 최적의 디테일 영상(optimal detail image)은 N개의 다중분광에서 대역별 일반화된 강도(band-dependent generalized intensity)로 평가된 각각의 다중분광 밴드에 대해 계산되는 선형주입모델을 제안한다.
식(9)
Figure pat00013
상기 식 (9)은 N×(N+1) 파라미터를 설명하는 식으로 여기서 N을 구하는 g1 및 N2의 가중치 a1,k를 설명하는 식 (10)을 표현하면
식(10)
Figure pat00014
N×(N+1)?狼? 파라미터의 집합을 재정의하여 식 (11)과 같이 추정할 수 있다.
식 (11)
Figure pat00015
그리고, 식 (12)과 같이 간결하게 표현하면,
식(12)
Figure pat00016
여기서
Figure pat00017
는 RNrNc 행과 (N+1) 열과
Figure pat00018
을 갖는 선형모델의 관측 행열이다. 특히 N×(N+1) 파라미터는 MMSE의 관점에서 MVUE(Minimum Variance Unbiased Estimator) 식 (13)에 따라 추정된다.
식 (13)
Figure pat00019
여기서, 아래 첨자 d는 데이터가 먼저 다중분광에서 고려된 후 전정색 해상도로 업샘플링 되었음을 나타낸다
Brovey
저자의 이름을 따서 명명된 Brovey 변환은 다중분광 영상의 비율을 이용해 영상을 선명하게 만든다. 이 방법에서, 다중분광 영상은 정규화되고 정규화된 다중분광 영상에 전정색 영상을 곱함으로써 융합된 다중분광 영상의 각 밴드가 얻어진다. Brovey 변환은 식(14)과 같이 표현할 수 있다
식 (14)
Figure pat00020
여기서 i ={1,2,3}이며 가중치 및 근적외선(NIR; Near Infra-Red) 대역을 사용함으로써 Brovey 변환은 근적외선 채널의 통합을 필요로 하는 특정 애플리케이션에 적합하도록 적용시킬 수 있다. 근적외선 대역이 추가된 알고리즘은 식(15)과 같으며, 여기서 wx는 x={1,2,3, NIR} 및 i = {1,2,3,NIR}를 갖는 가중 인자이다.
식 (15)
Figure pat00021
여기서 BTiNIR은 융합된 영상 채널 결과를 나타내고 bi는 다중분광 영상의 특정 대역을 나타낸다. Brovey 변환은 영상 영역에서 우수한 대비를 제공하지만 주파수 대역 특성에 많은 영향을 미친다. Brovey로 변환된 영상은 픽셀값이 크게 변경되므로 픽셀 기반 분류에 적합하지 않다
Gram-Schmidt
2명의 수학자의 이름을 따서 명명된 GS(Gram-Schmidt) 단위직교화 (ortho-normalization)는 내적공간에서 유한개의 일차독립 벡터 집합을 정규직교 기저로 변환하는 방법이며 Laben et al (2000)은 주어진 공간에서 벡터 집합을 직교 정규화 하는 방법에 대해 GS 주파수 대역 선명화로 특허를 받았다.
영상융합에서는 재구성된 다중분광 영상과 전정색 밴드를 GS로 변환하는데 적용되고 각 영상 채널은 하나의 고차원 벡터에 해당한다. 히스토그램이 일치된 전정색 밴드는 첫 번째 GS 구성 요소를 대체하고 역변환은 실제 융합된 영상을 생성한다.
먼저 전정색(PAN)은 식 (16)에 기술된 다중분광(MS) 영상 v개의 밴드들의 선형 조합을 사용한다.
식 (16)
Figure pat00022
전정색은 다중분광 대역에서 n={1,2,3, ...,n} 으로 실행된 전정색 영상이고
각 밴드는 전정색을 첫 번째 벡터로 선택하는 고차원의 벡터로 간주된다. 그런 다음 GS 변환은 서로 직교하고 정규화된 일련의 벡터를 생성한다.
식 (2-17)과 같이 벡터 a와 b와 내적 <a/b>에 대한 투영 연산자 Proja을 적용한다.
식 (17)
Figure pat00023
이 연산자는 벡터 a가 뻗어 있는 선 위로 벡터 b을 직각 투영한다. GS 프로
세스는 식 (18)에 표시된 단계들을 따른다.
식 (18)
Figure pat00024
여기서 a1,...,am은 직교 벡터를 생성하고, 정규화된 직교 벡터를 식 (19)을사용하여 직교 정규화된 c1,...,cm벡터로 생성하고 m을 다중분광 대역의 수에 전정색 채널을 더한 것으로 즉 m=n+1이다.
식 (19)
Figure pat00025
융합 과정에서 입력 대역과 전정색 영상 사이의 각도를 계산하고 전정색을 직각으로 만들기 위해 밴드를 회전시키는 반복 과정이다. 실제 융합은 전방 GS 변환 이후에 이루어진다. 저해상도 전정색은 증폭 및 편중 조정된 고해상도 전정색 밴드로 대체되고 모든 다중분광 밴드는 동일한 해상도로 재배열(resampling)된 고해상도 채널의 계수를 사용하여 역 GS 변환 융합영상을 원래 공간으로 변환한다.
HCS
HCS(Hyperspherical Color Space)는 IHS(Intensity-Hue-Saturation) 색공간과 매우 유사하다. 단일 강도 성분은 v차원의 초구공간(hyperspherical space)으로부터 분리된다. v개의 대역을 가진 영상의 경우 v차원 데카르트 공간과 차원 HCS 변환은 다음 방정식에 따라 밝기 성분과 n-1각을 형성한다.
HCS 영상융합 과정은 식 (20)과 같다.
Figure pat00026
여기서 I는 강도, Φ는 각도, xi는 네이티브 색공간의 ith번째의 성분이다. 새로운 강도 구성요소를 계산하려면 식 (21)을 사용한다.
식(21)
Figure pat00027
여기서 P는 전쟁색 영상의 회색 값이고, μ0 및 σ0는 I2의 평균 및 표준 편차를 나타내고 μ1 및 σ1은 P'2의 평균 및 표준편차를 나타낸다. HCS 알고리줌은 Inew를 식 (22)의 역변환에서 직접 대입하여 진행한다.
식 (22)
Figure pat00028
IHS
IHS(Intensity-Hue-Saturation) 융합 기법은 빠른 컴퓨팅 기능과 엄청난 양의 데이터를 신속하게 처리하는 영상융합 방법이다. IHS 기법은 RGB 값을 강도, 색조 및 채도 값으로 변환하여 사용되는 일반적인 영상융합기술 중 하나이다. IHS 공간에서 색조와 채도는 대부분 분광 정보를 반영하는데, 분광 정보를 보존하고 높은 공간해상도의 세부 정보를 추가하기 위해 전정색 및 다중분광 영상을 융합할 때 적용된다. IHS는 색공간에 대해 IHS 공간과많은 연구에서 매트릭스의 상이한 값을 가지는 다양한 IHS 기법으로 변환하기위해 3×3 매트릭스를 사용한다.
IHS 영상융합 기술은 가장 오래된 것으로 알려진 데이터 융합 방법이며, 가장 간단한 방법 중 하나이다.
① 저해상도 다중분광 영상은 고해상도 전정색 영상을 포함하고 있으며 전정색 영상과 동일한 해상도로 재배열된다.
② 색공간을 나타내는 다중분광 영상에서 재배열된 3개(1, 2, 3)의 밴드는 IHS 구성 요소(I, H, S)로 변환된다.
③ 전정색 영상은 강도(I) 구성 요소와 일치하는 히스토그램으로, 이는 상이한 센서 또는 상이한 획득 날짜 및 각도로 인해 발생된 두 영상간의 분광해상도 차이를 보완하기 위해 수행된다.
④ 다중분광 영상의 강도(I) 성분은 히스토그램 매칭된 전정색 영상으로 대체된다.
융합된 다중분광 영상의 컬러는 IHS에서 컬러로 역변환을 계산하여 추출된다.
LMM과 LMVM
LMM(Local Mean Matching)과 LMVM(Local Mean and Variance Matching)은 융합된 영상과 저해상도 다중분광 채널 간의 차이를 최소화하기 위해 특별히 설계되었으며 저해상도 채널의 원래 분광 정보를 대부분 보존한다. 이 기법은 전정색 영상의 지역 평균 및 분산값을 원본의 저해상도 다중분광과 일치시키기 위해 영상내의 로컬 스케일에서 표준화 함수를 적용한다. 이때의 잔차는 고해상도 전정색 영상에서 나오는 고공간 정보에 비례하며 융합된 영상과 저해상도 채널 간의 상호 관계를 크게 증가시킨다. 융합된 영상에 보존된 분광 정보의 양은 필터링 창 크기를 조정하여 제어할 수 있다.
LMM 알고리즘은 식 (23)과 같다.
식 (23)
Figure pat00029
Fi,j는 융합된 영상, Hi,j 및 Li,j는 각각 픽셀 좌표 i,j에서의 고해상도 영상 및 저해상도 영상이고
Figure pat00030
와
Figure pat00031
는 크기 (w,h)의 창 내부에서 계산된 지역 평균이다.
LMVM 알고리즘은 식 (24)과 같다.
식 (24)
Figure pat00032
여기서, s는 표준편차다.
Wavelet
Wavelet 변환은 본질적으로 HPF(High Pass Filter)의 개념을 확장한 것이다.시각적 측면에서 영상은 세부적으로 밝은 옥상과 어두운 지면과 같은 피처들 간의 높은 대비의 결과이며 공간 영역의 높은 대비는 주파수 영역에서 높은 값에 상응한다. 주파수 정보는 Fourier 변환을 적용하여 추출할 수 있지만 공간 정보와 관련되지 않는다.
Wavelet 변환은 Fourier 변환보다 더 유용할 수 있는데, Fourer 변환은 작은 주파수의 변환도 시간 영역의 모든 곳에 변화를 미치는 반면 Wavelet 변환은 국부적(local)인 주파수/축척과 시간적(time domain)인 변환이 지역화된 기능을 기반으로 하기 때문이다. Wavelet 변환을 사용하여 하나의 영상에서 추출된 세부 정보는 대체, 추가, 빈도 또는 공간을 기반으로 하는 선택 방법 중 하나를 사용하여 다른 영상에 주입할 수 있다. 고주파에 포함되어 있는 Wavelet은 시간과 공간에서 주파수 세트를 선택하는데 사용할 수 있기 때문에 Wavelet을 사용하여 한 영상에서 세부 정보를 추출하여 다른 영상으로 주입할 수 있음이 밝혀졌다.
또한 변환에 사용된 Wavelet 함수는 변환의 특성 적용에 유용한 특징을 갖도록 설계 될 수 있다. 고해상도 전정색 영상을 저해상도 다중분광 영상의 공간해상도와 일치되도록 Wavelet 변환을 적용하여 근사영상과 세부영상을 계산하고 근사영상을 저해상도 다중분광 영상으로 대체한 후 이를 역변환하여 영상을 융합한다Wavelet 변환수식은 식 (25)과 같다.
식 (25)
Figure pat00033
5가지 표본 영상은 각각 4가지 고해상도 회색조영상과 수정된 저해상도 컬러영상으로 제작되고 이를 이용해 8가지의 기법으로 영상융합하였다. 도 8과 같이 영상융합은 5개 표본 영상에 대해 4가지 회색조 변환 방법과 8가지 융합 기법을 적용하여 총 160가지 영상으로 제작되었다.
대부분의 영상융합은 여러 가지 상용 영상처리 소프트웨어를 이용하여 처리할 수 있으며 소프트웨어마다 중복하여 지원하고 있는 기법도 많다. 본 연구에서 사용하고 있는 8가지 융합 기법은 총 3개의 영상처리 소프트웨어를 이용하였다.
영상융합 기법 적용은 GS가 도 9와 같이 ENVI[harrisgeospatial.com]를 이용하였고, HCS와 Wavelet는 도 10과 같이 ERDAS Imagine [hexagongeospatial.com]을 이용하였으며 BDSD, Brovey, IHS, LMM, LMVM 기법은 도 11과 같이 PanFusion[pansharp.com(a)]를 이용하였다. 특히 PanFusion은 18개의 알로리즘을 한 번에 처리할 수 있도록 Matlab으로 개발되었으며 무상 배포하고 있는 프로그램이다.
도 12는 영상융합 결과의 예로 농경지(혼합)에서 BT.709 회색조 변환 방법으로 제작된 회색조영상과 색상보정된 저해상도 컬러영상(aRmRGBLR; 도 12 가운데)의 영상융합 결과이다.
5. 정량적 품질평가 지표 산출
원격탐사 영상융합은 지구에 대해 정보화 과정으로 이해하는 것이며 이 정보는 적절한 판단이 가능한 유효성을 가지는 범위에서 허용할 수 있는 품질 매개 변수가 수반되는 경우에만 의미가 있다. 특히 여러 소스 및 처리 단계가 포함되는 경우 이 품질평가 및 오류 전파의 이해가 중요하다. 성공적인 영상융합은 입력 영상의 특성과 내용이 상속받는 융합된 영상에 제대로 적용되도록 하는 것이다.
결과적으로 융합된 영상이 개별적인 입력 영상보다 더 우수한 품질 정보를 포함한다면 영상융합은 더욱 중요한 가치가 있다. 영상융합 결과는 품질을 평가하는 문제와 품질 상태를 확인하기 위해 참조 데이터를 사용하는 문제가 포함되며,결과적으로 상대적 품질과 절대 품질을 구별하는 것이 매우 중요하다.
상대적 품질은 일관성 및 합성 속성과 같이 정의된 이상적인 기준에 의한 검증을 통해 원본 영상에 대한 융합된 영상의 유사성을 나타낸다. 일관성은 원래의 다중분광 영상을 얻기 위해 융합된 영상을 저하시킴으로써 영상융합 프로세스를 되돌릴 수 있는 가능성을 의미한다. 합성은 융합된 영상이 더 높은 공간해상도에서 원본 다중분광 영상의 특성을 가져야 한다는 사실을 의미한다. 절대 품질은 융합된
영상과 참조 영상 간의 유사성에 해당한다.
지금까지 융합된 영상의 품질을 평가하는데 있어 인간의 시각적인 능력과 사고를 대체할 만큼 일반적으로 받아들여지는 확고한 품질지표는 없다. 비교를 위해 필요한 이상적인 참고 영상의 부족은 선택된 평가지표와는 다르게 융합 결과의 객관적인 평가를 제한한다. 따라서 영상융합 결과는 보통 두 가지 방법으로 품질을 평가한다. 첫 번째는 정성적인 접근 방식으로 결과를 눈으로 확인하고 결과를 원본 입력 데이터와 비교하는 것이다. 두 번째는 정량적 접근법으로 통계 및 기타 평가 방법을 사용하여 품질지표(quality index)와 같이 비교 가능한 품질 측정 방법을 사용하는 것이다.
품질평가는 품질지표의 선택에 크게 영향을 받기 때문에 측정과 프로토콜에 따라 각각 다른 결과를 나타낸다. 정량적 평가 방법을 사용하더라도 최종 결정은 개인에게 여전히 남아 있으며 특히 응용 프로그램과 관련하여 개별 매개 변수에 대한 중요한 평가와 지식이 필요하다. 정량적 평가를 위해 제시된 프로토콜은 참조 영상이 필요 없는 프로토콜이며 영상의 시각적 평가 방법인 정성적 평가에서 정량적 평가와 함께 다른 영상융합 결과를 비교할 수 있는 기준을 제시하였다.
융합된 영상의 품질을 평가하기 위한 방법으로 성과에 대한 시각적 평가는 영상융합에 대한 거의 모든 연구에서 수행된다. 영상융합 결과의 시각적 해석은 영상의 분광해상도 및 공간해상도에서 국부적인 왜곡을 식별하고 인위적인 오류를 발견하는 데 필요하다. 시각적 분석은 중요하며 영상융합 대부분의 응용 프로그램에서 최종 결정의 기초가 된다.
정량적 평가를 위해 학계에서는 오늘날까지 어떤 기준을 표준으로 사용해야하는지에 대한 통일성은 없지만 적용할 수 있는 다양한 정량적 평가 기준이 제시되었다.
정량적 품질평가는 수학적 모델링을 기반으로 하며, 객관적 분석이라고도 한
다. 융합된 영상의 주파수 대역 및 공간 충실도를 검사하기 위한 품질 매개 변수 또는 평가지표가 정의되고 입력 및 출력 영상간에 비교된다. 목표는 두 데이터 세트의 유사성을 결정하는 것이며 영상융합에서 참조 영상은 전정색 영상과 동일한 해상도를 가진 다중분광 영상이다.
융합된 영상의 품질을 정성적, 정량적으로 평가하는 것이 무엇보다 중요한데, 영상의 색상과 같은 정성적인 부분에 대해 수치화를 통한 객관적인 평가 자료로 제시하고 영상 품질평가에 대한 연구 역시 중요한 사례이다. 기존의 정량적 품질평가는 Landsat, IKONOS, Worldview, GeoEye 등과 같이 다양한 위성 영상을 이용하여 영상을 융합하고 그 결과에 대해 품질을 평가하는 것으로 진행되었으며 이와 관련된 연구는 다양하다.
오관영 등 (2012)은 융합 기법의 품질평가를 시각적 분석과 정량적 분석을 병행하여 Thomas and Wald (2007)이 제안한 표준 프로토콜에 따라 수행하였다.
정량적 평가에는 spatial and spectral ERGAS, SAM(Spectral Angle Mapper), Q4(UIQI for Four Band Imagery) index를 사용하였다. 서로 다른 해상도의 위성영상에 대한 융합영상으로 원본 영상, 다중분광 영상, 융합영상을 이용해 검토할 수 있는 해상도 조건에 따라 편중(bias), 다양성(actual variance), 상관계수(correlation coefficient), 표준편차(standard deviation)로 구분하여 품질을 평가하였다. 다중분광 영상의 융합 결과에 대한 품질평가를 SCC(Spatial Correlation Coefficient), SSIM(Structure Similarity Index Metric) 기법을 적용하여 각밴드별로 분석하였으며, MSSIM(Mean SSIM), ERGAS 기법으로 융합영상에 대하여 평가하였다. 융합영상 품질평가를 위해 Matlab 스크립트를 개발하여 Bias, CC, DIV, ERGAS, Entropy, Q(UIQI), RASE, RMSE 등 8개의 알고리즘을 구현하고 이를 이용해 Hyperion 초분광 영상의 융합 결과를 평가하였다.
융합된 영상을 정량적으로 평가할 수 있는 지표 목록은 다양하다. 이 절에서는 좀 더 복잡한 지표 및 프로토콜에서 사용되는 통계적 평가의 정의를 포함하여 가장 일반적인 평가 분석에 대해 설명한다. 개별 척도(예: MSE, RMSE, CC)는 적절한 품질평가 결과를 제공하지 않을 수도 있지만 복잡한 지수(예 : RASE, ERGAS)를 사용하면 전체 평가를 향상시킬 수 있다. 이 절에서 사용한 모든 식은 다음 표 5와 같다.
Figure pat00034
Mean Bias
Mean Bias(Δ)는 융합 과정으로 인한 히스토그램의 평균값의 변화를 측정한것으로 영상융합 테스트 품질평가에서 널리 사용되고 있으며 원래의 MS 영상과 비교한 융합된 영상의 히스토그램 변화를 나타내는 지표이다. 값이 양수이면 흰색으로 이동하며, 융합된 영상의 히스토그램 평균값이 마이너스 바이어스(bias)인 경우 회색으로 바뀐다. Δ?育? 이상적인 값은 0이다.이는 식 (27)과 같이 융합된 영상(n)의 평균과 참조 영상(z)의 평균에 대한 차이로 계산된다.
식(27)
Figure pat00035
DIV
원본 영상에서의 분산과 융합영상에서의 분산간의 차이는 원본 영상에서의 분산과 관련이 있다. 이 차이는 DIV(Difference in Variance)로 표현되며 융합중에 추가되거나 손실되는 정보의 양을 나타낸다. 양수값은 정보 손실을 나타내고 음수값은 일부 추가 정보를 나타낸다.이상적인 값은 0이다.
식 (28)
Figure pat00036
여기서 δ2 MS는 원본 영상의 분산이고, δ2 FMS는 융합된 영상의 분산이다.
CC
CC(Correlation Coefficient)는 융합된 영상과 참조 영상간의 상관 정도를나타내며, 유사성 색인 그룹에 속한다. [-1, 1] 사이의 범위에서 가장 좋은 값은1이다. 이는 비교된 영상이 높은 상관관계가 있음을 의미하는 것으로 전역 평균변위차 및 증폭 계수에 의해 일치하거나 차이가 난다. 값 -1은 한 영상이 다른 영상의 반전된 버전임을 의미한다. CC는 식 (29)과 같이 표현된다.
식(29)
Figure pat00037
여기서, (f(x,y)-μf)는 융합된 영상의 픽셀과 융합된 영상의 평균과의 차이
며, (r(x,y)-μr)는 참조 영상의 픽셀과 융합된 영상의 평균과의 차이다.
Entropy
높은 공간 주파수 정보 흡수는 원래의 다중분광 영상에 비해 융합된 영상에서의 정보 증가와 해상도의 향상이며, 일반적인 평가지수는 Entropy이다. Entropy는 정보의 척도이고 그 개념은 많은 과학 분야에서 사용되어 왔으며, Leung et al (2001)과 Sun et al (1997) 등에 소개되었다[Han et al, 2008] Entropy는 영상융합의 성능을 직접적으로 결정하는 척도이며, 영상에 포함된 평균 정보를 표시하고 융합된 영상의 세부 정보를 반영할 수 있다. 일반적으로 융합된 영상의 Entropy가 클수록 더 많은 정보가 포함되고 융합의 품질이 높아 진다[Han et al, 2008] 품질평가에서는 원본 영상과 융합된 영상에 대한 각각의 Entropy를 계산한 후 이들의 차이를 계산한다. 식 (30)은 하나의 영상에 대한 Entropy 계산식이다.
식 (30)
Figure pat00038
여기서 E는 영상의 Entropy이고, P는 입력되는 영상을 나타내는 것으로 원
본 영상 및 융합된 영상이며 Pi는 영상에서의 i의 확률이다.
UIQI
분광해상도 및 공간해상도 왜곡을 식별하는 유사성 지수인 UIQI(Universal Image Quality Index)는 식 (31)에서 융합 및 참조 영상의 공분산, 분산 및 평균을 사용한다.
식 (31)
Figure pat00039
여기서, 위 식의 구성요소를 1st*2nd*3rd로 표현하면 첫 번째 구성요소는 상관 손실을 반영한 측정값이며, 범위는 [-11]이고, 두 번째 구성요소는 휘도 왜곡으로 범위는 [0,1], 최상값은 1이며 세 번째 구성요소는 대비 왜곡으로 범위는[0,1], 최상값은 1이다.
ERGAS
ERGAS(Relative Dimensionless Global Error of Synthesis)는 전역 지표이며 식 (32)에 표시된 것처럼 개별 밴드의 RMSE(Root Mean Square Error) 값을 합산한다. 이상적인 값은 RMSE 값의 합계를 형성하기 때문에 0이며 백분율로 표시된다. 융합될 회색조영상 과 컬러영상 사이의 비율 관계를 고려한다.
식 (32)
Figure pat00040
여기서 dh 는 고해상도 영상의 픽셀 사이즈, di는 저해상도 영상의 픽셀 사이즈, b는 다중분광 영상의 밴드 수이다.
RASE
RASE(Relative Average Spectral Error)는 식 (33)과 같이 다중분광 밴드의 수 b에 대한 i 밴드 당 평균을 전체 평균하여 사용하는 또 다른 전역 지수이며 백분율로 표시된다. 계산되는 결과가 낮으면 더 나은 영상 품질을 의미한다. RASE는 백분율로 표시되며 이상적인 값은 0이다.
식 (33)
Figure pat00041
RMSE
융합된 영상과 참조 및 원본 영상 사이의 분광 왜곡은 식 (34)과 같이 MSE(Mean Square Error)로 측정된다. 이상적인 값은 0이며 이 값은 f=r을 의미한다.
식 (34)
Figure pat00042
여기서, m,n은 영상의 가로, 세로 픽셀수이며 (f(x,y)-r(x,y))는 융합된 영상의 픽셀과 참조 영상의 평균과의 차이다.
MSE는 사람의 시각적 인식면에서 영상 품질을 평가하는데 적합하지 않다. 시각적 검사로 인식할 수 있는 오류가 있는 왜곡된 영상은 거의 동일한 MSE 값을 초래할 수 있다.
RMSE는 융합된 영상의 표준 오류를 제공하고 융합된 영상에 포함된 공간해상도 및 분광해상도 왜곡을 표현한다. 개별 밴드 오류가 밴드의 평균값과 관련이 없더라도 매우 유용하다. RMSE는 종종 시각적 평가 결과와 식물 지수 매칭에 이용된다. 식 (35)과 같이 표현된다.
최적의 RMSE 값은 0이며, 이는 f=r은 융합된 영상과 참조 영상 차이가 없음을 의미한다
영상융합에서 품질평가 프로토콜을 수립한다는 개념은 융합된 영상의 분광 특성 및 공간 무결성을 정량적으로 평가하는 기준의 필요성에서 비롯되었다. 많은연구에서 개별 지표가 융합된 영상의 품질을 충분히 반영하지 않는다는 사실이 밝혀졌다. 그 이유는 개별 지표들이 단일 기준에만 관련되었거나 융합된 다양한영상의 평가와 관련된 측면에서 민감하지 않기 때문이다.
융합된 영상에 대한 품질은 시각적 비교에 따른 정성적 방법과 통계 지표로계산할 수 있는 정량적 방법을 적용한 평가가 요구된다. 융합영상 제작 후 영상융합과 품질평가를 일관되고 신뢰성 있게 진행할 수 있는 프로토콜이 제안되었으며 Wald 프로토콜, Zhou 프로토콜, QNR 프로토콜, Khan 프로토콜이 그것이다.
Wald 프로토콜
Thomas and Wald은 영상융합 결과 유사성을 정량적으로 평가하기 위한 프로토콜을 제시하였다.
정량적 품질평가는 동일한 해상도를 가지는 영상을 비교해야 하며 이에 따라 영상융합 전 색상보정이 완료된 저해상도 다중분광 영상이 품질평가의 기준이 된다.
정량적 평가를 위한 조건은 아래 3가지 특성을 포함하는 영상융합에 대해 정의되었으며, 융합된 영상은 가능한 비슷해야 한다.
① 저해상도의 다중분광 영상과 동일한 해상도로 재배열되는 경우의 원본 다중분광 영상(공간해상도 향상 후 품질 측정)
② 이상적인 영상과 동일하게 고해상도로 획득할 수 있는 영상
③ 고해상도로 동일하게 획득한 이상적인 영상의 다중분광 영상
따라서 융합은 조건 2와 3으로 나뉘는데, 보통 이상적인 영상이 존재하지 않
기 때문에 둘 다 구현하기가 어렵다. 따라서 영상융합은 축소된 영상을 사용하여 분석되며, 공간해상도는 입력된 두 영상의 스케일 비율에 따라 요소를 적용한 저역필터링을 기반으로 하여 달성된다. 실제 융합 과정은 수정된 영상에서 수행되어 더 낮은 공간해상도에서 융합된 영상을 만든다.
그런 다음 조건 2와 3에 대한 "이상적인" 참조 영상을 나타내는 원래의 저해상도 다중분광 영상과 비교할 수 있다.
Zhou 프로토콜
이 프로토콜은 분광 특성 및 공간 품질을 분리한다. 분광 특성의 품질은 융합된 영상의 주파수 대역 내용이 원본 다중분광 영상의 주파수 대역 내용과 유사해야 한다는 가정에 기반 하며 이는 특정 주파수 대역의 특징이 유지된다는 사실을 의미한다. 실제적으로 정량적 계산은 식 (36)에 따라 대역별 융합된 f 및 원본, 영상 재배열된 다중분광 영상의 픽셀값 간의 평균 차이를 따르며, i번째 밴드의 R 번째 행과 C 번째 열에 유효하다. 이상적인 경우의 차이는 0이다.
식 (36)
Figure pat00043
공간 정보는 공간 정보가 고주파수의 고해상도 전정색 영상에서 고유하다는 가정에서 정량적으로 평가된다. 융합 및 전정색 영상의 고역통과 버전 간의 상관관계 계산은 융합된 영상의 공간 품질을 계산하며 필터링은 라플라시안(Laplacian) 필터를 기반으로 수행된다. 이 프로토콜의 또 다른 일반적인 이름은 SCI(Spatial Correlation Index) 또는 HCC(High-pass Correlation Coefficient)이며 이상적인 값은 1이다. Zhou의 프로토콜의 단점은 Q4, ERGAS 및 SAM과 같은 참조 영상을 사용한 품질평가와 비교할 때 공간 영역에서 모순되는 품질 결과가 발생한다는 사실이다.
QNR 프로토콜
정량적 품질평가를 위한 참조 영상의 부족으로 인해 QNR(Quality with No Reference) 프로토콜을 사용하는 평가 방법이 개발되었다. 그러나 이 방법의 제약 조건은 참조 영상을 사용할 수 없다는 것이며 거친 스케일로 평가가 수행되면 융합 알고리즘이 스케일 불변성에 영향을 미친다는 것이다. 반면 복잡한 환경의 고해상도 영상의 경우에는 그렇지 않을 수 있다. 전역 품질평가 프로토콜인 QNR은 전체 범위에서 작동하며 융합된 영상의 공간 및 분광 대역의 품질을 개별적으로 평가한다. QNR 프로토콜은 분광 특성 및 공간 품질의 기초는 한 쌍의 스칼라 영상의 UIQI 유사성을 평가하는 것으로 융합된 영상 밴드를 원래의 다중분광 영상(분광 대역 품질) 및 전정색 영상(공간품질)과 비교하는 것이다. 분광 대역 왜곡은 (1) 다중분광 영상의 원래 해상도와 (2) 원래의 전정색 밴드와 융합된 고해상도의 해상도에서 식(37)을 사용하여 융합된 영상과 원본 다중분광(MS) 영상 사이에서 결정된다.
융합된 영상, 공간 구성 요소는 식 (38)에 의해 두 해상도에서 다시 생성된다. 두 가지 스케일에서의 대역 간 차이 때문에 스케일을 가로지르는 왜곡을 분석하는 것이 가능하다.
식(37)
Figure pat00044
식(38)
Figure pat00045
??
MSi는 i번째 원래의 다중분광 밴드를 나타내고 ??MSk는 비교될 원래의 다중분광 밴드 중 하나이다. 유사하게, fi는 i번째이고, fk는 융합된 영상의 s번째 밴드이다. 튜닝 매개 변수 x는 분광 특성 차이의 가중치를 허용한다. 즉, p=1인 경우 모든 차이에 동일한 가중치가 주어지고 p>1일 경우 큰 분광 대역 차이가 더 높게 가중된다. 분광 왜곡량 Dspectral과 공간 왜곡량 Dspacial의 이상적인 결과 값은 0이다.
QNR은 다음 식 (39)으로부터 도출된다.
식 (39)
Figure pat00046
따라서 결합된 전체 척도는 최상의 경우 1에 도달해야 한다. QNR은 보다 상세한 정량적인 분석을 위해 영상 블록을 사용하여 로컬로 적용할 수 있다. α와 β는 융합된 영상의 분광 특성 또는 공간 성분 중 하나의 품
질평가를 집중시키기 위한 추가 조정 매개 변수이다. α=β=1인 경우 평가 과정에서 두 측면 모두 동일하게 고려된다.
Khan 프로토콜
이 프로토콜은 앞에 설명된 세 가지 프로토콜의 개별적인 측면을 활용하여 발전한 것으로, 일관성 속성(Wald 프로토콜), Zhou 프로토콜의 공간 구성 요소 및 QNR의 분광 특성 왜곡을 결합하였다. Khan 프로토콜은 분광 특성(일관성)과 공간 품질의 두 가지 지표를 산출한다. 저주파수 및 고주파수 정보 추출을 위해 라플라스 계수기를 사용하는 대신 이 프로토콜은 개별 대역의 MTF에 맞게 조정된 필터를 사용한다.
이 프로토콜은 융합된 영상의 분광 특성 및 공간 품질을 개별적으로 평가한다. 분광 특성 지표는 MTF 필터를 사용하여 융합된 영상의 해상도를 원래의 다중분광 영상 해상도로 줄이고 Q4를 사용하여 결과 영상을 원본영상과 비교한다. 결과적인 차이는 분광 특성 왜곡 지수를 형성한다.
공간 품질평가를 위해 Khan 프로토콜은 원본 및 융합된 영상의 해상도와 축
소된 버전의 전정색에서 높은 순위의 정보 추출을 위해 MTF 필터를 사용한다.
UIQI는 두 가지 해상도에서 다중분광 밴드의 공간 세부 정보와 전정색의 세부정보를 비교하는 척도를 제공한다.
실제 응용 프로그램에서는 최종 결정을 위해 Zhou 프로토콜과 QNR을 결합한 두 가지 객관적인 평가 방법을 사용하는 것이 좋다
영상 재배열
디지털 영상처리는 특정 영상의 다양한 특성을 개선하기 위해 컴퓨터 알고리
즘을 사용하여 영상을 처리하는 것이라 할 수 있다. 영상처리에서 영상의 축척을 조정하거나 해상도를 변경하고 영상을 추출하는 것과 같이 영상을 픽셀 단위에서 수정하거나 변환하는 등의 과정을 영상 재배열이라고 하며, 이때 새로운 버전의 영상을 생성하는데 사용하는 수학적 기술이다. 이와 같은 방법으로 영상의 크기를 늘리는 것은 업샘플링(upsampling), 반대로 영상의 크기를 줄이는 것을 다운샘플링(downsampling) 한다. 이와 같은 영상 재배열에는 픽셀값을 결정하기 위해 보간법을 사용하게 되며, 보간법은 샘플 사이에 있는 위치에서 함수의 값을 결정한다.
다음은 영상 재배열에 사용되고 있는 많은 보간법 중 가장 일반적으로 사용되고 있는 최근린(nearest neighbor) 보간법, 쌍선형(bilinear) 보간법, 3차회선(bicubic convolution) 보간법에 대하여 설명한다.
최근린 보간법
최근린 보간법은 가장 간단한 보간법으로서 보간된 출력 픽셀은 입력 영상에서 가장 가까운 픽셀의 값이 할당된다. 공간 범위에서 1픽셀 너비의 직사각형으로 영상을 합성하여 얻을 수 있다. 최근린 알고리즘의 보간법 f(x)는 식 (40)과 같이 정의된다.
식 (40)
Figure pat00047
여기서, x는 보관된 두 점 사이의 거리이다.
최근린 보간법을 적용하면 영상 처리는 빠르지만 영상에서 지형과 지물의 가장자리에서 계단효과가 뚜렷하게 나타나는 단점이 있다.
쌍선형 보간법
쌍선형 보간법은 입력된 특정한 점의 위치에 인접해 있는 네 개의 픽셀까지떨어진 거리를 가중치로 사용하여 값을 계산하는 방법이다. 2개의 선형 보간은 각각 수평 방향과 수직 방향으로 수행되며, 식 (41)과 같이 정의된다.
식 (41)
Figure pat00048
여기서, x는 보간된 두 점 사이의 거리이다.
최근린 보간법에 비해 영상에서 지형과 지물의 가장자리에 발생하는 계단 효과는 적게 나타난다.
3차 회선 보간법
3차 회선 보간법은 2차원 정규 격자에서 3차 보간법을 통해 향상되며, 보간된 값으로 이루어지 표면은 최근린 및 쌍선형 보간법에서 얻은 표면보다 부드럽다. 3차 회선 보간법은 가장 가까운 16개의 픽셀을 지정된 입력 좌표로 가중치에 따라 평균하여 회색 레벨값을 결정하고 해당 값을 1차원 출력 값으로 할당한다. 3차 회선 보간(2차원에서 3차 회선 보간)의 경우 보간 함수를 계산하는데필요한 격자점의 수는 16개이다. 3차 회선 보간법은 식 (42)과 같이 정의된다.
식 (42)
Figure pat00049
3차 회선 보간법은 영상에서 지형과 지물의 가장자리에서 발생할 수 있는 계단 효과는 현저하게 줄어들면서 부드러운 형태로 나타나는 반면, 최근린 보간법이나 쌍선형 보간법에 비해 영상 처리 시간이 2~3배 더 오래 걸리는 단점이 있다.
융합된 영상은 고해상도 회색조영상과 동일한 해상도인 지상해상도 25cm의 컬러영상이며 색상보정된 저해상도 컬러영상과 동일한 색상을 가져야 한다.
정량적 품질평가는 색상보정된 컬러영상과 지상해상도가 동인하도록 융합된 영상의 지상해상도를 1m로 다운샘플링한다.
정량적 품질 검수는 Vaiopoulos (2011)이 Matlab으로 평가지수를 이용해 품질을 평가하고 리포트를 산출하였다[Mathworks.com, pansharp.com(b)].
도 13과 같이 Image Index Analysis GUI를 이용하여 색상보정된 저해상도 컬러영상을 기준 영상으로 입력하고 저해상도로 이미지 스케일링된 융합영상을 테스트 영상으로 입력하였다[Vaiopoulos (2011)].
융합영상은 5가지 표본 영상과 4가지 회색조 변한 방법, 8가지 영상융합 기법으로 총 160개 영상을 처리하였으며, Bias, DIV, CC, Entropy Difference,ERGAS, Q(UIQI), RASE, RMSE 등 8가지 평가지표를 이용한 품질평가 결과로 총 1,280개의 리포트가 산출되었다. 여기서 색상보정한 컬러영상과 융합된 영상 각각에 대한 Entropy 차이인 Entropy Difference는 Entropy로 표현하였고,Q(UIQI)는 UIQI로 표기하였다.
품질평가 결과 리포트는 도심지, 농경지(혼합), 농경지(경작), 산지, 바다 순서에 따라 표본 영상별 HSI, HSL, BT.709, BT.601 순서로 4가지 회색조 변환 방법에 따라 저해상도 컬러영상을 이용해 8가지 기법으로 영상을 융합하였고 그 결과를 8가지 품질평가 지표로 평가하였다. 표 제목 끝에는 회색조 변환 방법을 괄호 안에 삽입하였으며 해당 기법으로 변환된 회색조영상을 사용한 결과였음을 표시하였다. 또한 평가 기법별 가장 좋은 품질의 융합 기법에는 회색 음영으로 분석값을 강조하였다.
(1) 도심지 영상에 대한 품질평가 지표 산출
도심지에 대해 품질평가 리포트를 이용하여 회색조 변환 방법별로 표 6으로 정리하였다
Figure pat00050
(2) 농경지(혼합) 영상에 대한 품질평가 지표 산출
농경지(혼합)에 대해 품질평가 리포트를 이용하여 회색조 변환 방법별로 표 7로 정리하였다
Figure pat00051
(3) 농경지(경작)에 대한 정량적 품질평가 결과
농경지(경작)에 대해 품질평가 리포트를 이용하여 회색조 변환 방법별로 표 8로 정리하였다
Figure pat00052
(4)산지 영상에 대한 품질평가 지표 산출
산지에 대해 품질평가 리포트를 이용하여 회색조 변환 방법별로 표 9로 정리하였다
Figure pat00053
(5) 바다 영상에 대한 품질평가 지표 산출
바다에 대해 품질평가 리포트를 이용하여 회색조 변환 방법별로 표 10으로 정리하였다
Figure pat00054
6. 영상분리 및 재융합 결과 분석
앞서 수행한 영상융합 결과에 대해 Bias, DIV, CC, Entropy, UIQI, RASE, RMSE 평가지표를 사용한 정량적 품질평가를 수정하였다. 모든 영상융합과 품질평가는 Wald 프로토콜에 원본 항공정사영상에 대한 색상보정과 해상도 조정, 회색조 변환, 정성적 품질 검수 및 위치 참조 분석 부분을 삽입하여 도 14와 같이 수정하였다.
(1) 융합영상에 대한 위치 참조 분석
지상해상도 25cm로 제작되는 고해상도 항공정사영상은 영상을 통해 판독할 수 있는 지형과 지물이 세부적으로 묘사됨에 따라 위치 정보에 대한 활용도가 매우 높다. 특히 지형과 지물의 가장자리를 뚜렷하게 확인할 수 있기 때문에 픽셀 단위의 정확도가 요구된다. 이와 같은 이유로 융합된 영상은 원본 항공정사영상과 동일하게 위치 정보를 가지고 있어야 하며 그렇지 않은 경우 융합된 영상이 좋은 색상을 재현했다고 하더라도 항공정사영상의 활용적인 면에서 적합하지 않은 기법이라고 할 수 있다.
이에 따라 본 연구에서는 8가지 융합 기법으로 융합된 영상에 대해 원본의 고해상도 항공정사영상과 위치 참조 정보를 비교하여 영상의 위치에 따라 좌표를 정확하게 포함하고 있는지 분석하였으며 분석된 영상의 지상해상도는 모두25cm이다. 융합된 영상은 융합기법에 따라 고유한 포맷으로 제작되기도 하여 항공정사영상의 표준 포맷인 tiff로 변환하였다. 이때 위치 참조 정보를 포함하는 tfw 파일이 포함되도록 하였으며 융합된 영상 각각의 위치 정보가 원본 항공정사영상과 일치하는지 tfw 파일을 이용해 분석하였다.
tfw 파일의 위치 참조 정보는 총 6행으로 구성되어 있다. 첫 번째 행은 픽셀에 대한 X축의 공간해상도를 나타내며, 두 번째, 세 번째 행은 각각 Y축, X축에 대한 회전량으로 일반적인 값은 0이다. 네 번째 행은 Y축에 대한 픽셀의 공간해상도로서 음수 값으로 표현되며 다섯 번째와 여섯 번째 행은 각각 기준이 되는 좌·상단의 첫 번째 픽셀 중심에 대한 X, Y 좌표이다. 연구에 사용된 5개 표본 영상과 융합 결과에 대한 위치 참조 정보는 하기 표 11과 같다. 분석 결과 Table에서 Y축, X축의 회전량인 0은 생략하였다. 또한 융합 기법 첫 번째 행인표본 영상 원본은 표본 영상별 지상해상도 25cm의 고해상도 항공정사영상 원본을 가리킨다.
Figure pat00055
융합영상에 대한 위치 참조 분석은 원본 영상에서의 좌표에서 융합된 영상의
좌표를 감산하는 방법으로 진행하였다. 감산한 결과가 X축에서 양수이면 서쪽방향, Y축에서 양수이면 남쪽 방향으로 이동하는 좌표가 된다.
분석 결과 BDSD, Brovey, HCS, IHS, LMM, LMVM 기법에서는 영상의 위치가 원본 영상과 동일하게 제작된 반면, GS와 Wavelet 기법에서는 위치가 이동되었다. 이 결과는 5가지 표본 영상별로 회색조 변환 방법에 상관없이 모두 동일한 좌표 차이를 나타냈다. 도 15와 같이 GS 기법에서는 서쪽으로 25cm, 북쪽으로 25cm로서 모두 1픽셀 이동한 결과로 제작되었다. 반면 Wavelet 기법에서는 서쪽으로 375cm, 남쪽으로 375cm로서 모두 15픽셀 이동한 결과는 제작되었다. 결과적으로 항공정사영상을 이용한 영상융합 방법 중 GS와 Wavelet 기법은 위치 정확도 저하로 인해 적합하지 않다.
(2) 항공정사영상에 대한 회색조 변환 방법 분석
항공정사영상을 이용한 영상융합에 가장 적합한 회색조 변환 방법을 결정하기 위해서는 4가지 회색조 변환 방법과 이를 이용한 8가지 융합 기법을 적용한 결과에서 가장 좋은 정량적 품질평가로 나타난 값에 따라 결정하였다. 이 결과는 정성적 품질평가에서도 동일하게 좋은 결과로 평가되었는지 분석하였으며 이를 통해 색상보정 결과가 영상융합 전·후에도 동일하게 적용되는지를 판단하는 중요한 근거가 될 수 있도록 하였다
정량적 품질평가는 5가지 표본 영상별로 구분하고 각각의 융합 기법에 대해 8가지 품질평가지수를 적용하여 회색조 변환 방법별로 산출된 품질평가 결과를 그래프로 도시하였다. 또한 표본 영상별로 분석한 결과를 이용해 가장 적합한 회색조 변환 방법을 결정하였다. 품질평가 방법 중 CC와 UIQI의 경우 그 결과가 1로 수렴할수록, 나머지 방법은 0으로 수렴할수록 융합된 영상이 비교되는 원본 영상과 동일한 품질이라고 판단할 수 있다.
분석 결과에 대한 표에서 회색조 변환 방법인 BT.709와 BT.601은 각각 709와 601로 표시하였고 4가지 모두 동일한 결과가 나온 경우 ALL, 3가지가 동일하게 나온 결과는 나머지 한 가지를 취소선으로 표시하였으며 2가지가 동일하게 나온 결과는 모두 표시하였다. 또한 가장 많은 평가지수에서 좋은 결과로 결정된 회색조 변환은 표 우측상단에 표시된 각각의 회색 음영으로 나타내었다.
정성적 품질평가는 저해상도로 리샘플링된 융합영상을 색상보정된 저해상도컬러영상을 기준으로 중첩 비교하여 전체적인 영상의 밝기와 색상 톤을 평가하였다. 영상 중첩을 통한 정성적 비교 결과와 동일하게 시각적인 차이가 발생하도록 도 16과 같이 색상보정된 영상을 기준으로 융합된 영상에 대해 픽셀-픽셀 단위로 감산하는 래스터 분석을 진행하였으며 이 결과를 삽입하였다[helparcgis.com]
표본 영상별로 색상보정된 지상해상도 1m의 컬러영상에서 회색조 변환 방법에 따라 처리한 융합 기법 결과 영상을 지상해상도 1m로 리샘플링하여 래스터 분석하였다. 본 연구에서 사용한 항공정사영상은 8비트 컬러영상으로 1개의 픽셀은 256단계의 밝기값을 나타내며 동일한 포맷의 두 영상을 감산 연산하면 픽셀의 밝기값은 -255부터 +255까지의 값을 가지며 픽셀값에 대해 색상을 -255는 파란색, 0은 흰색, +255는 빨간색 색상을 부여하여 그라데이션의 색상을 가지도록 색상 램프를 설정하였다. 분석 결과 픽셀값이 크지 않은 경우에는 0값의 부근에서는 모두 희게 나타나는데 본 연구에서는 시각적으로 좀 더 명확하게 구분하기 위하여 색상 램프를 1/10로 축소하였다. 그 결과 색상 램프를 -26부터+26으로 설정한 후 이 값을 기준으로 영상의 픽셀값을 스트레칭하여 구분이 용이하도록 하였다.
(3) 회색조 변환 방법 결정
회색조 변환 방법에 따른 차이는 융합영상을 나란히 비교하여 육안으로 차이를 인식하긴 어렵지만 중첩하여 비교하면 전체적인 밝기와 부분적인 밝기의 차이를 확인할 수 있었다. 특히 래스터 분석을 통해 색상보정 영상과 융합된 영상의 차이 정도를 색상으로 표현하여 정성적인 품질을 평가하였다.
회색조 변환 방법에 따른 영상융합 차이는 품질평가를 통해 정량적인 결과로 확인할 수 있었다. 본 연구에서의 각 5가지 표본 영상, 4개의 회색조 변환 방법에 따라 8개의 평가지표를 이용해 품질 결과를 산출하였고 그결과를 이용해 회색조 변환 방법에 따른 영상융합 결과를 비교하였다. 정량적 품질평가는 이를 이용해 평가지수에 따라 가장 좋은 결과가 나온 회색조 변환 방법을 5가지 표본별로 표 12에 정리하였다. 또한 래스터분석을 이용한 정성적 품질평가를 적용하여 각 표본 영상별로 항공정사영상의 색상보정에 적합한 회색조 변환 기법을 결정하였다.
Figure pat00056
각 표본 영상에서 융합영상에 대한 회색조 변환 방법 분석 결과 영상융합 중HCS에서는 BT.709가 최적의 회색조 변환 방법으로 나타났지만 나머지 방법에서는 BT.601에서 가장 좋은 결과로 분석되었다. 특히 BT.601은 5가지 실험 표본 모두에서 가장 좋은 영상융합 결과를 만들 수 있는 것으로 평가됐다. 각 표본 영상 별 영상 중첩과 래스터 분석 결과를 통해 정성적 품질평가 결과를 표 13와 같이 정리하였다. 품질 정도는 3등급(●:Good, ◎:Normal,○:Bad)을 나누었고, 색상(■:Good, □:Bad)과 가장자리(▲:Good, △:Bad) 재현정도는 각각 2등급으로 구분하였다. 면적으로 표현되는 색상은 색상 재현이 나쁜 결과이고 지형과 지물의 외곽선 등의 색상은 가장자리 부분에서 색상 재현이 나쁘다는 결과이다. 601 회색조 변환 방법은 BDSD 기법에서 특히 좋은 품질을나타내었으며 이 결과는 정량적 품질평가 결과와 동일하게 분석되었다.
Figure pat00057
7. 항공정사영상의 영상융합 결과 분석
항공정사영상에 대한 영상융합 방법 결정은 융합영상에 대한 품질평가 결과 중 BT.601 회색조 변환 방법에 따른 결과만을 추출하였다. 이를 이용해 도심지, 농경지(혼합), 농경지(경작), 산지, 바다 등 각각의 실험 표본마다 육안 검수를 통한 정성적인 분석과 평가지표를 이용한 정량적인 분석을 진행하였다.
평가지수에 의한 정량적 품질평가는 유합된 영상을 개별 파일 단위로 처리하여 통계적으로 분석하는 반면 정성적 품질평가는 융합된 영상의 공간해상도 및 노이즈 유무, 색상 등을 직접 비교하여야 한다. 융합된 영상은 지상해상도 25㎝, 가로, 세로 500m 크기이며 각각 2,000픽셀의 크기이다. 색상보정한 정사영상은 지상해상도 1m의 저해상도 컬러영상으로서 융합된 영상과 직접 비교할 수 없다.
우선 저해상도 컬러영상의 색상보정에 사용한 벡터 마스크와 파라미터를 고해상도 원본 컬러영상에 동일하게 적용하여 색상을 보정하였다.
벡터 마스크는 색상, 밝기, 편집 범위를 영상에 직접 적용하지 않고 레이어로 저장하여 재적용이 가능한 특징이 있으며 벡터로 정보를 저장하기 때문에 영상에 맞게 축척을 조정하면 색상 파라미터를 동일하게 적용할 수 있다. 이를 기반으로 원본의 고해상도 항공정사영상에서 색상보정한 영상을 기준으로 고해상도융합영상과 육안으로 비교하여 영상의 색상 및 지형과 지물의 가장자리 부분에 대한 선형 재현 정도로 해상도를 판단하였다.
정성적 품질평가를 위하여 도 17과 같이 표본 영상마다 지붕, 도로,차선 등과 같이 지형과 지물의 형태 및 명암이 뚜렷한 지역을 선정하여 가로,세로 375m, 각각 150픽셀로 추출하였다. 품질평가는 기술된 정성적 평가 방법에 따라 영상을 확대하여 지형과 지물의 가장자리에 대한 해상도와 영상의 노이즈 발생 정도를 절대적으로 평가하고 영상 전체의 색상과 밝기에 대한 재현 정도를 상대적으로 평가하여 가장 좋은 결과에 1등급, 가장 좋지 않은 결과에 5등급을 부여하는 방법으로 구분하였다.
(1) 도심지 영상융합 결과 분석
도심지 융합영상은 건물, 차선 등 형태와 색상이 명확한 인공 지물이 많으며특히 원색에 가까운 뚜렷한 색상의 주택 지붕과 같이 명확한 형태가 많아 이를 이용해 영상을 비교하는 것이 용이하다. 따라서 영상융합 과정에서 발생하는 선형에 대한 왜곡 및 색상 재현 정도를 판단할 수 있다.
정량적 품질평가 결과는 도 18과 같다. 평가지표 CC, UIQI는 1이 가장 이상적인 값으로 BDSD 기법이 가장 우수한 결과로 나타났다. 색상보정된 컬러영상에서의 분산과 융합영상에서의 분산간의 차이를 나타내는 DIV 평가지표에서는 LMVM 기법이 가장 좋은 결과를 나타냈다. 영상에 포함된 정보를 나타내는 Entropy의 차이는 LMM 기법이 가장 우수하였다. LMM 기법은 RASE, RMSE 평가지표에서도 가장 우수하게 분석되었다.
색상보정한 저해상도 컬러영상과 8가지 융합영상에서 동일한 지점을 추출하여 지형과 지물의 가장자리 재현과 노이즈 유무 등에 대한 비교를 통해 해상도의 재현 정도를 분석하였다. 도 19과 비교하여 정성적 품질평가를 하였으며 정확한 비교는 중첩을 통해 수행하였다. 영상융합 기법 중 LMVM은 뿌옇게 흐려지는 결과가나타났다. 고해상도 영상을 이용하였기 때문에 차선과 같은인공지물에서 공간해상도 재현 정도를 판단할 수 있었는데 HCS, LMM, LMVM에서 특히 가장자리 부분의 번짐과 잔상 효과 흐림 효과 등이 크게 발생하였다.
공간 정보의 오류도 발생했는데 GS, Wavelet의 경우 전체 영상이 1~15픽셀 정도 이동하여 위치 오차가 발생했다. 고해상도 정사영상에서의 위치 오차는 매우 중요한 문제라고 할 수 있다.
정성적 평가는 표 14와 같이 항목별 점수로 평가하였다. 품질평가 결과
BDSD 기법이 가장 완벽하게 융합되어 원본과 거의 동일하게 판단되었다. 다만 표 13에서는 LMM 기법의 품질평가 결과가 더 좋게 나왔지만 가장자리부분에서의 번짐과 잔상 효과로 인해 시각적 판단에서 BDSD보다는 낮은 품질로 판단되었다.
Figure pat00058
(2) 농경지(혼합) 영상융합 결과 분석
농경지(혼합)에서 영상융합 결과 평가지표별 정량적 품질평가 결과는 도 20과 같다. 평가지표 Bias에서는 BDSD, HCS, LMVM, Wavelet 기법이 우수하였고 DIV에서는 BDSD, GS, Wavelet 기법이 우수하였다. CC에서는 BDSD, Brovey, IHS 기법의 품질이 좋게 분석되었고 Entropy 에서는 Brovey, IHS,LMVM 기법이 우수하였다. 평가지표 ERGAS, UIQI, RASE, RMSE에서는 BDSD 기법이 우수한 품질로 분석되었다. 농경지(혼합)에서의 품질평가 결과 BDSD 기법에서는 Entropy를 제외하고 나머지 평가지표에서 매우 우수한 품질로 분석되었다.
농경지(혼합)에서 색상보정된 저해상도 컬러영상과 8가지 융합영상에서 추출한 영상은 도 21과 같다. 가운데 붉은 테두리 영상이 저해상도 컬러영상이며, 이 영상을 기준으로 정성적 품질평가를 하였다.
농경지(혼합)는 산과 경작지의 녹색이 대부분을 이루고 있으며 중간에 원색에 가까운 지붕이 있는 마을이 포함되어 있어 산지가 많은 우리나라 지형을 대표할 수 있는 표본이다. 정성적 평가는 중간의 마을 부분에서 지붕의 선형과 색상을 비교하였으며 녹색 및 푸른색이 많은 영상에서 녹색의 번짐이나 색상의 변화 여부를 중점적으로 비교하였다.
도 21과 같이 영상융합 기법 중 LMVM 기법은 뿌옇게 흐려지는 결과가 나타났음을 알 수 있다. HCS, LMM, Wavelet에서는 가장자리 번짐이나 노이즈가 발생하였다.
파란색의 지붕에서는 흐림 효과나 짙어지는 결과가 나왔는데 Brovey, GS,IHS,LMVM, Wavelet 기법에서 발생하였다. 이와 같은 특징은 전체적으로 밝기가 어두워지면서 발생하였으며 색상 재현 정도에 있어서 파란색에 대한 왜곡이 크게 발생한 반면 녹색 계열에서는 큰 오류를 보이지 않았다. 또한 융합 과정에서 위치 오차가 발생하였는데 GS, Wavelet 기법에서 1~15픽셀 이동하였다.
농경지(혼합)에 대해 영상 중첩을 통한 정성적 평가 결과 BDSD 기법이 가장 우수한 융합 결과를 나타냈다. 융합된 영상이 약간 선명해지는 결과로 제작되었지만 색상과 해상도 재현 정도는 매우 우수하였다.
농경지(혼합)에서의 정성적 품질평가 결과는 표 15에서 분석된 결과와 같이 BDSD 기법이 가장 결과가 좋은 융합 기법으로 분석되었다. HCS 기법의 경우 상대적 품질평가에서 우수한 결과로 나타났지만 앞선 도 21의 HCS를 보면 지형과 지물의 가장자리에 번짐이 발생하여 적합한 융합 기법이라 할 수 없다.
Figure pat00059
(3) 농경지(경작) 영상융합 결과 분석
농경지(경작)에 대한 정량적 품질평가 결과는 도 22와 같다. 평가지표 Bias에서는 LMM 기법이 우수한 결과로 분석되었으며 DIV에서는 IHS 기법이 가장 우수한 품질로 나타났고 CC에서는 BDSD 기법과 함께 IHS 기법에서 융합품질이 좋았다. Entropy에서는 BDSD 기법이 가장 우수한 결과로 분석되었고 미세한 차이로 GS, LMM 기법도 결과가 우수하였다. BDSD 기법은 평가지표 ERGAS, UIQI, RASE, RMSE에서 가장 좋은 품질로 분석되었으며 다른 기법과 큰 폭으로 차이가 있었다. 특히 ERGAS, RASE, RMSE에서 융합 기법별 상대적인 품질이 거의 비슷한 결과로 타나났다. 가장 좋은 결과로는 BDSD, GS, LMM순서이며 Brovey, IHS 기법은 동일한 결과였고 다음으로 HCS, Wavelet,LMVM 순서였다. 평가지표 UIQI에서는 BDSD, IHS, Brovey, GS 순서였고 HCS와 LMM은 동일하였으며 다음으로 Wavelet, LMVM 순서였다.
농경지(경작)는 전체적으로 옅은 녹색을 가진 표본으로서 밝기와 채도의 표현에 있어서 산지에서 표현되는 짙은 그림자가 생기는 것과는 다르다. 특히 옅은녹색에서 노란색이 과다하게 표현되거나 그와 반대로 파란색이 표현되는 경우를 확인할 수 있다. 이와 함께 시안색의 영향을 판단할 수 있으며 이는 추수가 끝난 후의 갈색의 논, 밭 등에서 빨강 및 마젠타 영향이 발생한다. 이로 인해 다른 표본보다 색상의 감산 혼합을 확인할 수 있는 마젠타, 시안, 노란색의 영향정도로 RGB 밴드의 균형을 확인할 수 있다.
영상융합 결과는 도 23과 같다. 융합 기법별로 영상융합 품질이 표본영상마다 동일하게 나타나고 있다. 가장자리 부분이 번지거나 잔상으로 표현되는 LMM 기법과 뿌옇게 흐려지는 흐림 효과는 LMVM에서 매우 심하게 나타났다. HCS 기법의 경우 지형과 지물 가장자리에서 노이즈가 발생하여 영상에서 선형의 줄이 발행하는 것 같은 문제가 발생하였다.
Brovey, IHS 기법에서는 채도가 떨어지면서 어둡거나 색상이 탁하게 나타났다. 위치 참조 분석 결과와 같이 GS, Wavelet 기법에서는 영상이 1~15픽셀 이동한 결과가 나타났으며 영상 중첩 비교를 통해 GS 기법은 좌·상단으로, Wavelet 기법은 우·하단으로 이동하였다. 농경지(경작)에서도 BDSD 기법의 융합영상이 시각적으로는 원본 영상과 구분할 수 없을 만큼 동일한 품질로 분석되었다.
정량적 품질평가 결과와 동일하게 정성적 품질평가에서도 표 16과 같이 BDSD 기법은 가장 우수한 품질로 평가 되었다. HCS와 LMM 기법에서도 상대적인 평가 결과는 우수하게 나타났지만 HCS와 LMM 기법에서는 가장자리에 잔상과 같은 노이즈가 발생하였다.
Figure pat00060
(4) 산지 영상융합 결과 분석
산지에 대한 정량적 품질평가 결과는 도 24와 같다. 평가지표 Bias에서는 LMM 기법이 가장 좋은 품질로 평가되었으며 이어서 HCS, BDSD 기법순서이다. Brovey, GS,IHS 기법은 다른 기법에 비해 특히 더 낮은 품질로 평가되었다. 평가지표 DIV에서는 BDSD가 가장 좋은 품질로 평가되었고 HCS와 IHS 기법은 비슷한 품질로 분석되었으며 LMM, LMVM, Wavelet 기법은 다른 기법에 비해 낮은 품질로 평가되었다. 평가지표 CC에서도 BDSD 기법이 가장 좋은 품질로 분석되었고 Brovey, IHS 기법은 비슷한 품질로 분석되었으며 HCS, LMM, LMVM, Wavelet 기법은 다른 기법보다 품질이 낮게 나타났다. 평가지표 Entropy에서는 GS 기법이 가장 좋은 품질로 나타났고 Wavelet, BDSD, IHS, Brovey는 비슷한 수준의 품질로 분석되었으며 LMVM 기법이 특히 낮은 품질로 분석되었다. 평가지표 ERGAS, UIQI, RASE, RMSE에서는 융합기법마다 비슷한 품질로 평가되었다. BDSD 기법이 가장 우수하였고 다음으로 GS, Brovey, IHS가 비슷한 품질이었으며 HCS와 LMM, Wavelet 기법 순서였다. LMVM 기법은 매우 낮은 품질로 분석되었다. 정량적 품질평가 결과 BDSD기법이 평가지표 Bias, Entropy를 제외한 나머지 지표에서 가장 우수한 융합품질로 분석되었다.
산지는 짙은 녹색과 연두색이 뒤섞여 있고 나무 그늘로 인해 검정색으로 보일 만큼의 급격한 밝기 차이를 보이는 특징이 있다. 또한 동서 방향으로 촬영되는 항공사진 특성으로 인해 산지의 북쪽 방향은 대부분 그림자가 지고 색상이짙게 표현된다. 이 부분에 포함되는 그림자는 매우 짙게 되는데 녹색에 파란색이 섞여 보이기도 한다. 특히 우리나라의 경우 촬영 시점이 5월경이면 활엽수잎이 풍성하게 되면서 노란색이 과하게 표현되거나 침엽수가 많은 산지에서는 상대적으로 녹색이 과하게 짙어지는 문제가 발생한다. 이는 항공사진 촬영시 카메라의 노출의 영향이기도 하지만 촬영구간이 도심지, 농경지에서 산지로 이어질 경우 RGB 밴드 중 상대적으로 Green, Blue 밴드로 색상 정보량이 편중되는 탓이기도 하다. 이럴 경우 상대적으로 R 밴드의 정보가 부족하게 되는데 이와 같은 경우 촬영된 원본 영상에서부터 색상 차이가 발생하게 되고 이로 인해 밴드별로 다른 가중치를 부여하는 필터링에서 다른 표본보다 특징 있는 결과가 나타날 수 있다.
영상융합 결과는 도 25와 같다. BDSD 기법은 영상이 약간 선명해졌다. Brovey, IHS 기법은 약간 어두워지고, HCS는 가장자리 부근에 잔상이 생기면서 번지는 결과가 나타났다. GS 기법의 경우 파란색의 지붕을 더욱 진하게 강조하면서 좌·상단으로 1픽셀 이동하였다. LMM 기법의 경우 가장자리에 잔상이 크게 생기면서 밝은 도로 부분이 어둡게 변하였고 잔상으로 인해 전체적으로 어두워졌다. LMVM 기법의 경우 전체적으로 뿌옇게 흐려지면서 가장자리를 세부적으로 표현하지 못했다. Wavelet 기법에서는 전체적으로 흐려지면서 우·하단으로 1~15픽셀 이동하는 결과가 나타났다.
산지에 대한 정성적 품질평가 결과는 표 17과 같다. 산지에서는 상대적품질이 BDSD, HCS, LMM, Wavelet에서 매우 좋은 결과로 보이지만 이는 비교적 줌 아웃 상태에서 전체 영상을 검수한 결과이며 절대 품질을 확인하면 노이즈와 흐림으로 인해 BDSD 기법을 제외한 모든 융합 기법에서 품질이 떨어졌다. 특히 번짐과 흐림 효과가 발생하는 HCS, LMM, LMVM 등에서는 그림자가생기는 부분에서 노이즈가 크게 발생했다. 산지의 정성적 품질평가 결과에서도 BDSD 기법이 가장 좋은 결과로 분석되었다.
Figure pat00061
(5) 바다 영상융합 결과 분석
항공사진으로 표현되는 바다 색상은 몇 가지 원인으로 인해 다른 특징을 보인다. 정사영상 제작 시 바다는 태양에 반사되는 영향이 큰 문제가 되는데, 항공사진 촬영 시 강한 빛이 카메라의 노출에 직접적으로 영향을 미치게 되어 바다 색상이 짙은 색으로 표현되거나 심한 노이즈가 발생한다. 바다색은 플랑크톤 및 햇빛의 투과 정도에 따라 다르게 보인다[enwikipediaorg] 또한 계절, 날씨에 따라 바다에서의 빛 흡수율이 다르며 특히 촬영 카메라와 영상 후처리 과정에서도 다르게 표현된다. 이는 색상보정에서 바다가 영향을 더 받게 되며 이는색상보정 시 육지에 해당하는 도심지, 산지 등을 기준으로 처리하면서 수정한녹색, 파란색 밴드가 바다에서 과하게 표현되는 경향이 있다. 산지의 경우 그림자로 인해 색상보정 시 영향이 크게 보이지 않는 반면 바다의 경우 넓은 면적이 하나의 색상으로 되어 있고 비슷한 밝기에 점층적인 효과의 색상 변화가 넓기때문에 보정으로 인한 색상 변화가 매우 크게 보인다.
항공사진을 통해 확인할 수 있는 우리나라 바다의 색상은 지역마다 다른 색상을 띄는데 주로 동해는 짙은 파란색, 남해는 연안에서 연두색에서 녹색, 파란색으로 변하며 서해는 얕은 연안에서부터 황토색에서 연두색으로 변한다. 본 실험에서는 남해 연안의 양식장 부근으로 비교적 수심이 깊은 지역에 해당하는데 검정색에 가까운 짙은 색상을 보인다. 짙은 바다색과 비교해 밝은 선형의 양식장에 대한 묘사를 통해 융합 기법마다 발생하는 가장자리와 노이즈 및 잔상에 대한 효과를 극대한 명암 차이에서 발생하는 노이즈 현상으로 확인할 수 있다.
바다에 대한 정량적 품질평가 결과는 도 26과 같다. 평가지표 Bias에서는 BDSD 기법의 결과가 가장 좋았으며 LMVM, IHS, LMM 기법 순서였다. GS, Brovey, Wavelet, IHS 기법은 품질이 크게 떨어지는 결과로 나타났다. 평가지표 DIV에서는 LMM 기법dl 가장 좋은 결과로 나타났고 GS, Wavelet,BDSD, LMVM 기법 순서의 결과였다. Brovey, HCS, IHS 기법은 다른 기법에서의 품질과 차이가 크게 나타났다. 평가지표 CC에서는 BDSD, Brovey, IHS기법이 좋은 결과로 분석되었으며 GS, Wavelet, LMVM 기법은 품질이 가장 떨어지게 나타났다. 평가지표 Entropy 에서는 LMM 기법이 가장 좋은 결과로 분석되었고 이어서 Wavelet, BDSD, GS 기법 순서로 나타났으며 LMVM 기법은 아주 큰 차이로 품질이 떨어졌다. 평가지표 ERGAS, RASE, RMSE에서는 비슷
한 유형으로 분석되었는데 BDSD 기법이 가장 좋은 품질로 분석되었으며 GS기법 다음으로 Brovey, IHS, LMM 기법이 비슷한 품질로 분석되었다. 평가지표 UIQI에서는 BDSD, Brovey, IHS가 좋은 결과로 분석되었으며 LMVM 기법은 가장 낮은 품질로 분석되었다.
영상융합 결과는 도 27와 같다. 영상융합 결과 잔상 및 번짐 효과를 뚜렷하게 확인할 수 있으며 HCS, LMM, LMVM에서 두드러지게 표현되었다.
Brovey의 경우 GS와 매우 동일하나 전체적으로 밝기가 어둡고 파란색이 과하
게 표현되었으며 GS, Wavelet 역시 앞선 표본에서 분석한 결과와 같이 1~15 픽셀 위치 이동이 발생하였다.
바다에 대한 정성적 품질평가 결과 표 18과 같이 절대적 품질에서는 BDSD와 GS의 융합 품질이 가장 좋고 상대적 품질에서는 BDSD와 Wavelet 기법이 가장 좋은 품질로 분석되었다. 그러나 융합영상을 중첩하여 비교한 결과 GS는 좌·상단으로 이동하였고 Wavelet 기법은 우·하단으로 이동함에 따라 항공정사영상에 대한 융합 기법에 적합하지 않다. 바다에서의 정성적 품질평가 결과 BDSD가 가장 좋은 융합 품질로 분석되었다.
Figure pat00062
8. 항공정사영상의 영상융합에 대한 품질평가
도심지, 농경지, 산지, 바다에 대해 8가지 기법을 적용하여 영상융합을 수행 하였다. 그 결과 각 실험 표본에 대해 8가지 평가지표로 정량적 품질평가를 수행한 결과 가장 우수한 품질로 분석된 융합 기법을 표 19와 같이 정리하였다. 도심지에서는 Entropy, ERGAS, RASE, RMSE 평가지표에서 LMM 기법이 가장 우수한 결과로 나타났으며 LMVM 기법은 Bias, UIQI 평가지표에서 가장 좋은 품질로 분석되었다. 농경지(혼합)에서는 평가지표 DIV, ERGAS, RASE,RMSE에서 BDSD 기법이 가장 우수한 결과로 분석되었으며 LMVM 기법은Bias, Entropy, UIQI 평가지표에서 우수한 결과로 나타났다. 농경지(경작)에서는 CC, Entropy, ERGAS, RASE, RMSE 평가지표에서 BSDS 기법이 가장 우수한 결과로 분석되었다. 산지에서는 평가지표 DIV, CC, ERGAS, RASE,RMSE에서 BDSD 기법이 가장 우수한 품질로 분석되었으며 바다에서는 Bias,CC, ERGAS, RASE, RMSE 평가지표에서 BDSD 기법이 가장 우수한 품질로 분석되었다.
Figure pat00063
5가지 표본 영상에서 지형과 지물이 포함된 지역을 가로, 세로 150m를 추출하여 지형과 지물에 대한 해상도 재현 정도와 가장자리 및 노이즈로 인한 색상오류 등에 대해 정성적인 분석을 수행한 결과는 표 20과 같이 정리하였다. BDSD 기법은 바다에서는 밝은 도로와 원색의 건물 옥상에서 밝기 변화가 미세하게 발생하였으나 모든 표본 영상에서 가장 우수한 융합 품질로 분석되었다.
Brovey 기법은 중간 정도의 품질을 보였으나 농경지와 산지에서는 색상 차이가 있었고 도심지와 바다에서는 색상과 가장자리에 대한 해상도가 좋지 않았다.GS 기법은 도심지, 농경지(경작), 산지에서의 품질이 좋은 반면 농경지(혼합)과 바다에서의 품질은 좋지 않았으며 특히 좌·상단으로 1픽셀 이동하는 결과로 인해 정확도 문제가 발생하였다. HCS 기법은 대체적으로 색상은 잘 재현하는 반면 지형과 지물의 가장자리에 대한 해상도 재현이 매우 좋지 않았다. IHS 기법은 표본 영상마다 색상 재현과 가장자리에 대한 해상도 재현에 편차가 있었으며전체 영상을 어둡게 하고 파란색이 짙어지는 문제가 있었다. LMM 기법은 가장자리 부분에서 노이즈와 잔상효과가 크게 나타났고 어둡게 흐려지는 영상으로제작되었다. LMVM 기법은 작은 지물의 윤곽을 구분할 수 없을 만큼 전체적으로 흐림 정도가 아주 컸다. Wavelet 기법에서는 파란색을 주로 진한색으로 바뀌었고 지형과 지물의 가장자리에 대한 해상도 재현 정도가 좋지 않았다. 특히융합영상이 우·하단으로 15픽셀 영상이 이동한 결과가 나타났다.
본 연구에서는 고해상도 항공정사영상에 대한 영상융합으로 공간해상도를 그대로 유지하면서 품질을 확보하는 게 중요하다. 그런 의미에서 GS, Wavelet 기법에서의 1~15픽셀 위치 오차는 매우 중요한 문제라고 할 수 있다. 고해상도 항공정사영상을 사용하기 때문에 색상과 해상도에 대 해 요구되는 품질이 높을 수 밖에 없다. HCS, LMM, LMVM 기법에서는 가장자리 부분에서 노이즈와 잔상효과가 있었으며 흐림 효과로 인해 지형지물의 형태와 사진의 색상이 뭉개지는 결과가 발생하였다. 또한 색상이 짙어지거나 강조되는 오류가 생긴 Brovey, IHS, Wavelet 등은 주로 파란색을 짙게 변화시켰다.
Figure pat00064
영상에 대한 정성적인 분석 결과를 실험 표본에 대한 융합 기법으로 도 28과 같이 분석한 결과 융합 기법 중 BDSD가 모든 실험 표본에서 가장 적합한 융합 방법으로 분석됐다. 영상융합 기법은 실험 표본에 상관없이 대부분 일정한 품질로 나타났으며 표본의 특성에 따라 미세하게 차이가 발생하지만 영상 특성과 표본에 상관없이 일관된 융합 결과를 획득할 수 있었다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어서 명백할 것이다.

Claims (7)

  1. 대용량 항공정사영상의 효율적인 색상보정 방법에 있어서,
    (1) 고해상도 항공정사영상을 기본 단위로 분리하는 표본추출 단계;
    (2) 분리된 고해상도 항공정사영상을 원본 해상도의 고해상도 회색조영상과 저해상도 컬러영상으로 분리하는 단계;
    (3) 상기 분리된 저해상도 컬러영상에 대한 색상 보정 단계;
    (4) 상기 분리된 고해상도 회색조 영상과 상기 색상보정된 저해상도 컬러영상을 융합하여 색상보정된 고해상도의 컬러영상 재생산 단계;를 포함하는 대용량 항공정사영상의 효율적인 색상보정 방법.
  2. 제1항에 있어서,
    상기 (1)단계의 분리되는 기본 단위는 도심지, 농경지, 산지, 바다로 구분되며,
    상기 농경지는 경작지 또는 혼합지인 것에 특징이 있는 대용량 항공정사영상의 효율적인 색상보정 방법.
  3. 제1항에 있어서,
    상기 (2)단계의 고해상도 회색조영상과 저해상도 컬러영상의 분리시,
    상기 고해상도 회색조영상는 모두 가로, 세로 2,000픽셀의 크기이며,
    상기 저해상도 컬러영상은 1/4로 축소된 가로,세로 500픽셀 크기이고
    상기 분리된 각각의 고해상도 회색조영상과 저해상도 컬러영상의 위치 참조 좌표도 자연수인 것에 특징이 있는 대용량 항공정사영상의 효율적인 색상보정 방법.
  4. 제1항에 있어서,
    상기 (2)단계의 고해상도 항공정사영상을 원본 해상도의 고해상도 회색조영상으로 분리 변환을 위해 ITU-R BT.601의 밴드별 가중치 값을 적용하는 것에 특징이 있는 대용량 항공정사영상의 효율적인 색상보정 방법.
  5. 제4항에 있어서,
    상기 ITU-R BT.601의 밴드별 가중치 값은
    Gray=0299×Red+0587×Green+0114×Blue)를 적용하는 것에 특징이 있는 대용량 항공정사영상의 효율적인 색상보정 방법.
  6. 제1항에 있어서,
    상기 융합된 영상은 고해상도 회색조영상과 동일한 해상도인 지상해상도 25cm의 컬러영상이며 색상보정된 저해상도 컬러영상과 동일한 색상을 가지는 것에 특징이 있는 대용량 항공정사영상의 효율적인 색상보정 방법.
  7. 제1항에 있어서,
    상기 (4)단계는 융합기법 BDSD을 이용하여 수행한 것에 특징이 있는 대용량 항공정사영상의 효율적인 색상보정 방법.
KR1020200010595A 2020-01-29 2020-01-29 대용량 항공정사영상의 효율적인 색상보정 방법 KR20210096925A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200010595A KR20210096925A (ko) 2020-01-29 2020-01-29 대용량 항공정사영상의 효율적인 색상보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200010595A KR20210096925A (ko) 2020-01-29 2020-01-29 대용량 항공정사영상의 효율적인 색상보정 방법

Publications (1)

Publication Number Publication Date
KR20210096925A true KR20210096925A (ko) 2021-08-06

Family

ID=77315118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200010595A KR20210096925A (ko) 2020-01-29 2020-01-29 대용량 항공정사영상의 효율적인 색상보정 방법

Country Status (1)

Country Link
KR (1) KR20210096925A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418027A (zh) * 2022-01-26 2022-04-29 浙大城市学院 一种基于波段注意力机制的高光谱图像特征波段选择方法
KR102674806B1 (ko) * 2024-04-03 2024-06-13 (주)나라스페이스테크놀로지 위성 데이터 결측 보완 방법 및 시스템
CN118485937A (zh) * 2024-07-16 2024-08-13 青岛云世纪信息科技有限公司 无人机正射影像变化区域自动识别方法及系统、电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418027A (zh) * 2022-01-26 2022-04-29 浙大城市学院 一种基于波段注意力机制的高光谱图像特征波段选择方法
CN114418027B (zh) * 2022-01-26 2024-03-26 浙大城市学院 一种基于波段注意力机制的高光谱图像特征波段选择方法
KR102674806B1 (ko) * 2024-04-03 2024-06-13 (주)나라스페이스테크놀로지 위성 데이터 결측 보완 방법 및 시스템
CN118485937A (zh) * 2024-07-16 2024-08-13 青岛云世纪信息科技有限公司 无人机正射影像变化区域自动识别方法及系统、电子设备

Similar Documents

Publication Publication Date Title
Losson et al. Comparison of color demosaicing methods
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
EP2263373B1 (en) Generalized assorted pixel camera systems and methods
González-Audícana et al. A low computational-cost method to fuse IKONOS images using the spectral response function of its sensors
CN107563964B (zh) 大面阵亚米级夜景遥感影像的快速拼接方法
KR20210096925A (ko) 대용량 항공정사영상의 효율적인 색상보정 방법
CN102750701B (zh) 针对Landsat TM和ETM图像的厚云及其阴影检测方法
US9870600B2 (en) Raw sensor image and video de-hazing and atmospheric light analysis methods and systems
CN109447922B (zh) 一种改进的ihs变换遥感影像融合方法及系统
Nagabhushana Computer vision and image processing
CN111340895B (zh) 一种基于金字塔多尺度融合的影像色彩一致化方法
Bi et al. Haze removal for a single remote sensing image using low-rank and sparse prior
CN110533600B (zh) 一种同/异质遥感影像高保真广义空-谱融合方法
CN112307901A (zh) 一种面向滑坡检测的sar与光学影像融合方法及系统
CN113436071B (zh) 一种多源卫星遥感影像镶嵌方法、系统及存储介质
CN109859153B (zh) 一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法
CN111563866B (zh) 一种多源遥感图像融合方法
CN110430403A (zh) 一种图像处理方法和装置
CN117314811A (zh) 基于混合模型的sar-光学图像融合方法
CN116109535A (zh) 一种图像融合方法、设备及计算机可读存储介质
CN113935917B (zh) 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法
KR102397148B1 (ko) 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법
CN110246086A (zh) 彩色图像增强的图像处理方法及其图像处理系统
CN114638761B (zh) 一种高光谱图像全色锐化方法、设备及介质
CN115410074A (zh) 遥感影像云检测方法及装置

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination