KR101580585B1 - 전정색영상과 적외선영상의 융합 방법 및 장치 - Google Patents
전정색영상과 적외선영상의 융합 방법 및 장치 Download PDFInfo
- Publication number
- KR101580585B1 KR101580585B1 KR1020140170229A KR20140170229A KR101580585B1 KR 101580585 B1 KR101580585 B1 KR 101580585B1 KR 1020140170229 A KR1020140170229 A KR 1020140170229A KR 20140170229 A KR20140170229 A KR 20140170229A KR 101580585 B1 KR101580585 B1 KR 101580585B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- color image
- frequency
- low
- infrared
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000004927 fusion Effects 0.000 title claims description 44
- 238000001914 filtration Methods 0.000 claims abstract description 45
- 239000002243 precursor Substances 0.000 claims description 30
- 238000003702 image correction Methods 0.000 claims description 27
- 238000004519 manufacturing process Methods 0.000 claims description 16
- 238000012417 linear regression Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 9
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000007500 overflow downdraw method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052755 nonmetal Inorganic materials 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10041—Panchromatic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S388/00—Electricity: motor control systems
- Y10S388/90—Specific system operational feature
- Y10S388/902—Compensation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 전정색영상과 적외선영상의 융합 방법 및 그 장치에 관한 것으로, 보다 상세하게는 고해상도의 전정색영상과 열정보를 포함한 적외선영상을 융합함으로써 최종적으로 고해상도 전정색영상을 이용한 적외선영상의 해상도를 향상시키는 기술에 관한 것이다.
이러한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 장치는 영상 획득부, 필터링 수행부, 영상 보정부, 스케일링 팩터 결정부 및 융합영상 제작부를 포함한다
이러한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 장치는 영상 획득부, 필터링 수행부, 영상 보정부, 스케일링 팩터 결정부 및 융합영상 제작부를 포함한다
Description
본 발명은 전정색영상과 적외선영상의 융합 방법 및 그 장치에 관한 것으로, 보다 상세하게는 전정색영상과 적외선영상을 융합하여 고해상도의 적외선영상을 획득할 수 있는 전정색영상과 적외선영상의 융합 방법 및 그 장치에 관한 것이다.
본 발명은 미래창조과학부 및 한국연구재단의 우주핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제고유번호: 1711014307, 과제명: 이종 영상 융합 전처리 알고리즘 개발].
영상시스템에서의 영상융합기법(data fusion)은 다중센서로부터 촬영된 각각의 영상정보를 수학적으로 융합하여 하나의 영상으로 제작하는 것을 의미하며, 이는 하나의 센서에서 제공하는 영상정보의 한계점을 극복하는 기술로서, 90년대 초 지구관측위성이 활발하게 활용됨으로써 본격적으로 개발이 시작되어, 각국의 연구기관을 통해 기술의 발전을 이뤄왔으며, 국내 다목적실용위성 2호 및 3호에 최적화된 기술개발 및 지구과학 분야에 대한 활용 연구를 수행해 왔다.
일반적으로 광학위성은 고해상도의 전정색영상과 저해상도의 다분광영상을 동시에 제공하며, 전정색영상은 고해상도의 영상정보를 제공함으로써 개체 추출 및 판독 등에 용이하고, 다분광영상은 분광해상도가 높기 때문에 개체의 분광특성 분석을 통한 토지피복분류 등에 강점이 존재한다. 이상적인 활용을 위해서는 고해상도의 다분광영상을 제공하는 것이 효과적이지만 공간해상도와 분광해상도는 서로 상충관계에 있어, 고해상도의 다분광영상을 제공하는 것은 물리적으로 어려운 실정이다. 이에 따라, 초기의 영상융합기법은 동일한 광학위성에서 촬영한 고해상도 전정색영상과 저해상도 다분광영상을 수학적으로 융합하여 강제적으로 해상도를 높인 다분광영상을 제작하는 것을 목표로 개발되었으며, 이는 한국등록특허 제10-1132272호 "영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법" 및 한국등록특허 제10-1291219호 "전정색영상과 다분광영상의 융합 방법 및 그 장치" 등을 통해 기술적 성과를 이뤄왔다.
그러나, 상기 광학위성에서 제공하는 전정색영상 다분광영상은 실세계의 지형지물을 사람이 바라보는 것과 유사하게 촬영함으로써 가시성ㆍ가독성에 뛰어난 장점을 지니지만, 지표의 온도, 거칠기, 수분율 등과 같은 지표특성을 알 수 있는 정보에 한계점을 지니며, 이는 두 영상으로부터 제작한 융합영상에서도 같은 한계점을 지닌다. 이에 따라, 최근에는 서로 다른 위성에서 제공하는 정보들을 융합함으로써 보다 고차원적인 정보를 제공할 수 있는 영상융합기법이 개발되고 있다.
특히, 적외선영상에서 제공하는 영상정보는 태양복사에너지가 아닌 지구복사에너지를 영상화한 것으로 야간에도 촬영이 가능하며, 지구복사에너지를 온도로 변환할 수 있기에 금속/비금속 탐지에 뛰어남으로 인하여 영상분류, 표적 탐지, 식생모니터링, 토양수분량 추출을 비롯한 객체 인식 등 군사분야를 비롯한 민간분야에도 많이 활용될 수 있으나, 8~15㎛ 파장대역의 지구복사에너지는 태양복사에너지에 비하여 매우 미비한 것으로 스테판-볼츠만 법칙(Stefan-Boltzmann law)에 의하면 0.4~2.5㎛ 파장대역의 태양복사에너지의 204배 적기 때문에 고해상도의 적외선영상을 획득하는 것은 불가능하며, 이에 따라 고해상도 전정색영상을 활용한 고해상도 적외선영상 융합기법 개발이 필수적으로 요구되고 있는 실정이다.
한편, 한국등록특허 제10-1051716호 "다중센서 영상융합 방법"에서는 동일한 피사체 지점을 대상으로 촬영 센서를 서로 달리하여 촬영한 제1영상 및 제2영상을 획득하는 단계; FACET 기반 필터를 이용하여 상기 제1영상에서 특징점들을 추출하며, Harris 모서리 검출기를 적용하여 상게 제2영상에서 특징점들을 추출하는 단계; 상기 제1영상의 특징점을 기준으로 하는 특정영역과 제2영상의 특징점을 기준으로 하는 제2영상의 특징점을 기준으로 하는 특정 영역간의 상호 정보를 비교하여, 임계치를 넘는 특징점 쌍을 대응점으로 결정하는 단계; 상기 제1영상의 좌표 단위를 상기 제2영상의 좌표 단위로 변한하며, 이때, 변환된 픽셀의 좌표가 정수가 아닌 실수로 되었을 경우 정수 형태의 좌표로 변경하는 양선형보간법을 적용하는 단계; 및 대응점 관계에 있는 제1영상의 특징점과 제2영상의 특징점을 같은 위치에 놓이게 하여, 제1영상 및 제2영상이 정합된 단일의 제3영상을 합성하는 단계를 제시한다.
상기 선행기술은 다분광영상과 적외선영상에서 각각 특징점을 추출한 후, 대응점 결정과 단위 좌표변경을 통해 융합영상을 제작하는 것으로, 적외선영상의 영상정보와 다분광영상의 분광정보를 동시에 도시할 수 있는 장점을 지니지만, 고해상도 적외선영상을 제공하는 것에 어려움이 있는 문제가 있다.
또한, 한국등록특허 제10-1104199호 "가시광선 및 적외선 영상신호 융합장치 및 그 방법"에서는 외부로부터의 제1 입력영상을 미리 설정된 정렬 파라미터에 기초하여 제1 영상정렬부에 의해 정합시키는 단계; 외부로부터의 제2 입력영상을 미리 설정된 정렬 파라미터에 기초하여 제2 영상정렬부에 의해 정합시키는 단계; 상기 정합과정을 거친 제1 입력영상 신호의 이득 및 옵셋을 제1 이득/옵셋 보정부에 의해 보정하는 단계; 상기 정합 과정을 거친 제2 입력영상 신호의 이득 및 옵셋을 제2 이득/옵셋 보정부에 의해 보정하는 단계; 상기 이득 및 옵셋이 보정된 제1 입력영상 신호에 대해 제1 라플라시안 피라미드(Laplacian Pyramid) 생성부에 의해 라플라시안 피라미드를 생성하는 단계; 상기 이득 및 옵셋이 보정된 제2 입력영상 신호에 대해 제2 라플라시안 피라미드 생성부에 의해 라플라시안 피라미드를 생성하는 단계; 상기 제1 및 제2 라플라시안 피라미드 생성부로부터 각각 생성된 라플라시안 피라미드를 저대역 통과 필터부에 의해 입력 받아 각 피라미드 단계별 저대역 필터링을 수행하는 단계; 상기 제1 및 제2 라플라시안 피라미드 생성부로부터 각각 생성된 라플라시안 피라미드를 고대역통과 필터부에 의해 입력받아 각 피라미드 단계별 고대역 필터링을 수행하는 단계; 및 상기 저대역통과 필터부 및 고대역 통과 필터부에 의해 필터링된 피라미드 단계별 라플라시안 영상 및 각 처리단계별 영상을 이용하여 합성영상 생성부에 의해 융합영상을 생성하는 단계를 제시한다.
상기 선행기술은 라플라시안 피라미드를 생성하여 전정색영상 내에 존재하는 고주파 정보를 추출한 후, 이를 적외선영상에 주입함으로써 융합영상을 생성하는 것으로 적외선영상정보를 효과적으로 보존할 수 있는 장점이 존재하지만, 처리속도가 느리며, 전정색영상의 고주파정보로 인해 영상 내 객체들의 경계가 모호해지고, 번짐(blurring) 현상이 발생하게 되어 융합된 영상의 공간해상도가 전정색영상의 공간해상도보다 현저히 낮은 지역이 발생하게 문제가 있다.
본 발명은 저해상도 적외선영상과 고해상도 전정색영상을 융합하여 전정색영상의 공간해상도를 보전하는 고해상도의 적외선영상제작을 목적으로 한다.
본 발명은 전정색영상의 공간해상도와 적외선영상의 적외선정보의 상충관계(trade-off)를 조절할 수 있는 스케일링 팩터(scaling factor)를 개발함으로써 사용자가 자유로이 융합영상을 제작할 수 있는 것을 목적으로 한다.
이러한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 전정색 영상과 적외선영상의 융합 방법 및 그 장치는 영상 획득부, 필터링 수행부, 영상 보정부, 스케일링 팩터 결정부 및 융합영상 제작부를 포함한다.
상기 영상 획득부는 동일한 좌표체계를 지닌 전정색영상과 적외선영상을 획득한다. 상기 필터링 수행부는 전정색영상에 저주파 필터링을 수행하여 저주파 전정색영상을 제작하며, 상기 전정색영상과 상기 저주파 전정색영상을 차분함으로써 고주파 전정색영상을 제작한다. 상기 영상 보정부는 신뢰구간 밖의 고주파 전정색영상값을 보정함으로써 보정된 고주파 전정색영상을 제작하며, 상기 적외선영상의 평균값, 표준편차값과 상기 저주파 전정색영상의 평균값과 표준편차값으로부터 선형회귀식을 구성한 후, 구성된 선형회귀식으로부터 보정된 적외선영상을 제작한다. 상기 스케일링 팩터 결정부는 상기 전정색영상과 상기 적외선영상의 융합비율을 결정한다. 상기 융합영상 제작부는 상기 보정된 고주파 전정색영상과 상기 결정된 스케일링 팩터를 곱한 후, 상기 보정된 적외선영상과 합산하여 융합영상을 제작한다.
본 발명은 고해상도의 적외선영상을 획득할 수 있는 효과가 있다.
본 발명은 전정색영상과 적외선영상을 융합함으로써 최종적으로 전정색영상의 고해상도 특성을 보존하는 적외선영상을 제작할 수 있는 효과가 있다.
본 발명은 스케일링 팩터의 조정을 통해 사용자가 자유로이 전정색영상과 적외선영상의 융합비율을 결정할 수 있는 효과가 있다.
본 발명은 지표의 정보를 관측하는 여러 분야에 전반적으로 활용이 가능한 기술로서, 특히 금속/비금속 탐지에 뛰어남으로 인하여 영상분류, 표적 탐지, 식생모니터링, 토양수분량 추출을 비롯한 객체 인식 등 군사분야를 비롯한 민간분야에 적용될 수 있는 효과가 있다.
외국의 상용 위성영상 처리 소프트웨어 중에서 전정색영상과 다분광영상의 융합기법이 소프트웨어의 모듈로서 탑재된 사례가 있는 바, 본 발명의 원천기술 또한 국내에서 개발되는 위성영상처리 소프트웨어에 탑재되거나, 새로운 전정색영상과 적외선영상을 융합하는 핵심기술로서 활용 가능한 효과가 있다. 따라서 본 발명은 원천기술의 상용화를 통해 위성영상의 활용 증대 및 국가 위성산업 확대에 이바지할 수 있는 효과가 있다.
본 발명은 대표적 지구관측위성인 Landsat-5, Landsat-7에 적용가능하며, 최근 발사되어 성공적으로 운용중인 Landsat-8에도 적용가능하다. 또한 본 발명은 향후 발사될 국내 최초의 적외선위성인 다목적실용위성 3A호(KOMPSAT-3A)의 활용도를 극대화시킬 수 있는 효과가 있다,
도 1은 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 장치에 관한 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 장치에 관한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 장치에 관한 흐름을 이미지로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 방법을 통해 전정색영상과 적외선영상의 예를 나타낸 이미지이다.
도 5는 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 방법을 통해 결정된 스켕일링 팩터에 따른 영상융합의 결과를 나타낸 이미지이다.
도 6는 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 방법을 통한 농경지 지역의 전정색영상과 적외선영상과 고주파 전정색영상과 최종적으로 제작된 융합영상의 예를 나타낸 이미지이다.
도 7은 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 방법을 통한 도심지 지역의 전정색영상과 적외선영상과 고주파 전정색영상과 최종적으로 제작된 융합영상의 예를 나타낸 이미지이다.
도 2는 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 장치에 관한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 장치에 관한 흐름을 이미지로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 방법을 통해 전정색영상과 적외선영상의 예를 나타낸 이미지이다.
도 5는 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 방법을 통해 결정된 스켕일링 팩터에 따른 영상융합의 결과를 나타낸 이미지이다.
도 6는 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 방법을 통한 농경지 지역의 전정색영상과 적외선영상과 고주파 전정색영상과 최종적으로 제작된 융합영상의 예를 나타낸 이미지이다.
도 7은 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 방법을 통한 도심지 지역의 전정색영상과 적외선영상과 고주파 전정색영상과 최종적으로 제작된 융합영상의 예를 나타낸 이미지이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들의 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다. 또한 본 발명의 실시예들을 설명함에 있어 구체적인 수치는 실시예에 불과하다.
도 1은 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 장치에 관한 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 전정색영상과 적외선영상의 융합 방법 및 그 장치는 영상 획득부(110), 필터링 수행부(120), 영상 보정부(130), 스케일링 팩터 결정부(140) 및 융합영상 제작부(150)을 포함한다.
영상 획득부(110)는 동일한 좌표체계를 지닌 전정색영상 및 적외선영상을 획득한다.
즉, 영상 획득부(110)는 특정 지역을 촬영하여 얻어진 고해상도 전정색영상과 저해상도의 적외선영상을 각각 획득하는 부분이다. 이때 상기 고해상도 전정색영상과 저해상도 적외선 영상은 동일한 좌표체계를 가짐으로 상호적으로 위치가 일치해야 한다. 이와 같은 영상정합(co-registration)은 전정색영상과 적외선영상이 다른 탑재체에 의하여 촬영됨으로써 지리좌표가 다른 경우에 요구되며, 동일 탑재체에 의하여 동시에 촬영된 경우에는 같은 지리좌표를 사용함에 따라 일반적으로 요구되지 않는다.
그 예로서, 현재 운영되고 있는 Landsat-5, Landsat-7 또는 Landsat-8에 의하여 동시에 촬영된 전정색영상과 적외선영상의 경우, 두 영상은 거의 동일한 위치를 지니고 있기 때문에 일반적으로 정합과정이 요구되지 않는다.
반면, 서로 다른 탑재체에 의해 서로 다른 시기에 영상이 촬영된 경우, 예를 들어 Landsat-5, Landsat-7 또는 Lansat-8에서 촬영된 적외선영상과 IKONOS, QuickBird, WorldView, KOMPSAT-2 또는 KOMPSAT-3에서 촬영된 전정색영상의 융합의 경우에는 서로 다른 두 영상의 위치정합이 요구된다. 이러한 영상정합은 본 발명이 속하는 기술분야의 기 공지된 기술로서 보다 구체적인 설명은 생략한다.
한편, 도 4는 본 발명의 실시예로 Landsat-8에서 촬영된 전정색영상과 적외선영상을 보인다. 도 4a는 전정색영상으로 15m의 공간해상도를 지닌다. 이에 따라 도로, 빌딩 등의 지형지물이 자세히 표현되고 있음을 알 수 있으며, 대부분의 산과 강은 낮은 반사도를 지니는 것으로 어둡게 표현되는 한편, 빌딩 등의 도심지는 높은 반사도를 지니는 것으로 밝게 표현되고 있음을 확인할 수 있다. 도 4b는 적외선영상으로 100m의 공간해상도를 지닌다. 이에 따라 낮은 해상도로 인하여 지형지물의 정보를 파악하기 쉽지 않으며, 빌딩 등의 도심지는 높은 복사에너지를 방출하는 것으로 밝게 표현되고 있으나, 밝게 보이는 영역은 전정색영상과 차이가 있는 것을 확인할 수 있다. 이는 전정색영상의 경우 지표로부터 반사된 태양복사에너지를 영상화하는 것으로, 적외선영상의 경우 지표에서 방출된(emitted) 지표복사에너지를 영상화하는 것으로 두 영상의 영상화 방법이 다른 것에 기인한다.
필터링 수행부(120)는 필터링을 거쳐 저주파 전정색영상 및 고주파 전정색영상을 제작한다.
더 자세히 설명하자면, 필터링 수행부(120)은 전정색영상을 대상으로 저주파 필터링을 통해 저주파 전정색영상을 제작한다. 여기서, 저주파 필터링은 공간영역(spatial domain)에서 수행하는 것으로, 주파수대역(frequency domain)에서 수행할 수도 있다. 또한 저주파 필터링을 수행할 때, 전정색영상의 공간해상도와 적외선영상의 공간해상도의 크기를 고려하기 위하여, (1) 8x8 크기의 윈도우를 적용함으로써 블록 평균(block-averaging)영상을 제작하고, (2) 정방형 보간법(bicubic interpolation)을 활용하여 블록평균 영상을 원 전정색영상의 크기로 보간한다.
여기서, 블록 평균영상을 제작하는 과정(1)의 경우, 윈도우의 크기는 전정색영상의 공간해상도와 적외선영상의 공간해상도 비를 고려하여 결정된다.
또한, 상기 필터링 수행부(120)는 상기 과정을 통해 제작된 저주파 전정색영상과 원 전정색영상을 차분하는 것으로 고주파 전정색영상을 제작한다.
더 자세히 설명하자면, 원 전정색영상은 저주파 전정색영상과 고주파 전정색영상의 합으로 이루어지며, 저주파 필터링을 통해 저주파 전정색영상을 제작하고, 원 전정색영상에서 저주파 전정색영상을 차분함으로써 고주파 전정색영상을 제작한다. 고주파 전정색영상 
는 하기 수학식 1을 통하여 얻어진다.
이때, 
는 고주파 전정색영상을 나타내며, 
와 
는 각각 픽셀방향과 라인방향의 영상좌표를 나타낸다. 또한 
는 원 전정색영상을 나타내며, 
는 저주파 전정색영상을 나타내는 것으로 저주파 필터링을 통해 제작할 수 있다.
필터링 수행부(120)은 본 발명의 전정색영상과 적외선 영상의 융합 방법에 있어서 주요 기술로서, 더 자세하게는 저주파 전정색영상 제작부(122) 및 고주파 전정색영상 제작부(124)를 포함할 수 있다.
즉, 필터링 수행부(120)은 저주파 전정색영상 제작부(122) 및 고주파 전정색영상 제작부(124)를 포함할 수 있으며, 저주파 전정색영상 제작부(122)는 저주파 필터링을 수행하여 저주파 성분만 추출한 저주파 전정색영상을 제작하며, 고주파 전정색영상 제작부(124)는 원 적외선영상으로부터 저주파 전정색영상을 차분하여 고주파 전정색영상을 제작한다.
이에 따라, 필터링 수행부(120)의 저주파 전정색영상 제작부(122) 및 고주파 전정색영상 제작부(124)를 거쳐 제작된 저주파 전정색영상 및 고주파 전정색영상은 각각이 원 전정색영상의 저주파 성분과 고주파 성분을 개별적으로 포함하는 것을 특징으로 한다.
영상 보정부(130)는 필터링 수행부(120)에서 제작된 고주파 전정색영상과 적외선영상을 보정하여 보정된 고주파 전정색영상과 보정된 적외선영상을 제작한다.
즉, 영상 보정부(130)는 고주파 전정색영상에서 신뢰구간 밖의 픽셀의 값을 보정하여 보정된 고주파 전정색영상을 제작하며, 저주파 전정색영상의 평균, 표준편차와 적외선영상의 평균, 표준편차를 이용하여 보정된 적외선영상을 제작한다.
더 자세히 설명하자면, 영상 보정부(130)는 고주파 전정색영상의 각각 픽셀이 신뢰구간 범위에 해당하는지 검사를 수행한 후, 신뢰구간에 범위에서 벗어날 경우 해당 임계값으로 값을 보정함으로써 최종적으로 제작된 융합영상의 공간해상도를 보존할 수 있다.
이때, 신뢰구간의 정도는 일반적으로 68%, 95% 및 99%의 신뢰도로 결정하며, 이는 각각 1, 2, 3의 표준편차를 의미한다. 보정된 고주파 전정색영상 
는 하기 수학식 2를 통하여 얻어진다.
이때, 
는 보정된 고주파 전정색영상을 나타내며, 
은 고주파 전정색영상의 표준편차를 나타낸다. 또한, 
는 정규분포의 
값으로 일반적으로 활용되는 95% 및 99%의 신뢰도로 값을 추정할 경우 그 값은 1.96, 2.58의 값을 지닌다.
예컨대, 고주파 전정색영상의 표준편차가 1이고 신뢰구간을 95%로 할 경우, 임의의 픽셀값이 -1.96보다 작다면 해당 픽셀값을 -1.96으로 보정하며, 1.96보다 크다면 해당 픽셀값을 1.96으로 보정을 수행하며, 해당 픽셀값이 -1.96보다 크고 1.96보다 작을 경우 해당 픽셀값은 보정없이 사용한다.
또한 영상 보정부(130)는 적외선영상의 평균, 표준편차를 계산하고, 저주파 전정색영상의 평균, 표준편차를 계산한 후, 이들 파라미터로부터 선형회귀식을 구한 후, 선형회귀식을 각 픽셀에 적용하는 것으로 적외선영상을 보정한다. 이로부터, 적외선영상과 저주파 전정색영상은 동일한 표준정규분포를 따르게 되며, 보정된 적외선영상 
은 하기 수학식 3을 통하여 얻어진다.
이때, 
는 보정된 적외선영상을 나타내며, 
는 원래의 적외선영상을 나타내며, 
및 
는 각각 적외선영상의 표준편차 및 저주파 전정색영상의 표준편차를 나타내며, 
및 
는 각각 적외선영상의 평균 및 저주파 전정색영상의 평균을 나타낸다.
영상 보정부(130)는 본 발명의 전정색영상과 적외선영상의 융합 방법에 있어서 핵심이 되는 기술로서, 더 자세하게는 영상 보정부(130)에서 고주파 전정색영상을 보정하는 고주파 전정색영상 보정부(132) 및 적외선영상을 보정하는 적외선영상 보정부(134)를 포함할 수 있다.
즉, 영상 보정부(130)는 고주파 전정색영상 보정부(132) 및 적외선영상 보정부(134)를 포함할 수 있으며, 고주파 전정색영상 보정부(132)는 신뢰구간 밖의 고주파 전정색영상의 픽셀을 보정하며, 적외선영상 보정부(134)는 적외선영상과 저주파 전정색영상이 동일한 표준정규분포를 가지도록 적외선영상의 각 픽셀값을 보정한다.
스케일링 팩터 결정부(140)는 전정색영상과 적외선영상의 융합비율을 결정한다.
즉, 스케일링 팩터 결정부(140)는 전정색영상과 적외선영상의 융합비율을 결정하는 것으로, 값의 범위는 0에서 1을 지닌다. 스케일링 팩터가 0일 경우, 이는 적외선영상의 정보를 잘 보전하는 반면에 전정색영상의 공간해상도를 반영하지 않는 것을 의미하며, 스케일링 팩터가 1일 경우, 전정색영상의 공간해상도를 최대로 반영하는 것으로서 융합영상이 고해상도를 지닐 수 있는 반면에 적외선영상의 영상정보는 거의 반영하지 못함을 의미한다.
더 자세히 설명하자면, 스케일링 팩터 결정부(140)는 서로 상충관계에 있는 공간해상도와 분광해상도를 조정할 수 있는 인자로서 활용될 수 있다. 일반적으로 공간해상도와 분광해상도는 서로 상충관계에 있기 때문에, 공간해상도를 증가시킬 경우. 적외선영상의 열정보는 상세하지 못하게 되며, 공간해상도를 감소시킬 경우, 적외선영상의 열정보는 상세하게 표현되나 도로, 빌딩 등 물체의 식별이 용이하지 못한 단점이 있다.
이에 따라, 스케일링 팩터를 결정함으로써 전정색영상의 공간해상도와 적외선영상의 열정보의 융합비율을 결정할 수 있다. 스케일링 팩터는 0에서 1사이의 값을 지니며, 스케일링 팩터가 0일 경우, 전정색영상의 공간해상도를 반영하지 않는 것으로 최종 융합영상은 적외선영상의 열정보만을 반영하여 제작된다. 또한 스케일링 팩터가 1일 경우, 전정색영상의 공간해상도를 전부 반영하는 것으로 최종 융합영상의 공간해상도를 상승시킬 수 있으나, 전정색영상에서 나타나는 반사도 정보가 융합영상에 반영되어 색상왜곡 등의 문제가 나타날 수 있다.
한편, 스케일링 팩터 결정부(14)에서 결정하는 스케일링 팩터는 영상 촬영지역의 형태(도심지, 해안가, 농경지역 등)에 따라 사용자가 임의로 결정할 수 있다.
한편, 도 5는 본 발명의 실시예로 스케일링 팩터에 따라 달라지는 최종 융합영상의 형태를 보인다. 도 5a는 스케일링 팩터를 0.25로 하였을 때의 최종 융합영상이며, 도 5b는 스케일링 팩터를 0.5로 하였을 때의 최종 융합영상이며, 도 5c는 스케일링 팩터를 0.75로 하였을 때의 최종 융합영상이며, 도 5d는 스케일링 팩터를 1로 하였을 때의 최종 융합영상을 나타낸다.
도 5를 참조하면, 스케일링 팩터가 높아질수록 최종 융합영상의 공간해상도가 상승하는 것을 확인할 수 있으며, 산악지역의 경계, 도로, 건물 등이 더 자세히 표현되는 것을 확인할 수 있다. 반면에 스케일링 팩터가 높아질수록 최종 융합영상의 열정보가 상세히 표현되고 있지 않음을 확인할 수 있다. 즉, 도 5a에서 밝게 표현되고 있는 지역은 상대적으로 많은 지표복사에너지를 방출하고 있는 지역으로 주로 도심지가 이에 해당하나, 도 5d로 갈수록 어둡게 나타나 적외선영상의 열정보 전달력이 손실되고 있음을 확인할 수 있다.
융합영상 제작부(150)는 영상 보정부(130)에서 제작된 보정된 고주파 전정색영상에 스케일링 팩터 결정부(140)에서 결정된 스케일링 팩터를 곱한 후, 영상 보정부(130)에서 제작된 보정된 적외선영상과 합산하여 최종 융합영상을 제작한다.
즉, 융합영상 제작부(150)는 영상 보정부(130)에서 제작된 보정된 고주파 전정색영상의 각 픽셀에 스케일링 팩터 결정부(140)에서 결정된 스케일링 팩터를 곱한 후, 영상 보정부(130)에서 제작된 보정된 적외선영상의 동일위치의 각 픽셀을 합산하여 최종 융합영상을 제작하는 것으로, 최종 제작된 융합영상 
은 하기 수학식 4을 통하여 얻어진다.
이때, 
는 최종 제작된 융합영상을 나타내며, 
는 영상 보정부(130)에서 제작된 보정된 적외선영상을 나타내며, 
는 스케일링 팩터 결정부(140)에서 결정된 스케일링 팩터를 나타내며, 
는 영상 보정부(130)에서 제작된 보정된 고주파 전정색영상을 나타낸다. 상기 수학식 4를 참조하면, 스케일링 팩터 결정부(140)에서 결정된 스케일링 팩터에 따라 최종 융합영상의 픽셀값이 달라지는 것으로 스케일링 팩터가 높을수록 고주파 전정색영상이 더 많이 반영되는 것을 확인할 수 있다.
한편, 도 6는 본 발명의 실시예로 농경지 지역에서의 최종 융합영상의 형태를 보인다. 도 6a는 전정색영상을 나타내며, 도 6b는 적외선영상을 나타내며, 도 6c는 고주파 전정색영상을 나타내며, 도 6d는 스케일링 팩터를 0.5로 하였을 때의 최종 융합영상을 나타낸다.
도 6을 참조하면, 도 6a는 전정색영상을 나타내는 것으로 높은 공간해상도를 지니고 있음을 확인할 수 있으며, 도 6b는 적외선영상을 나타내는 것으로 낮은 공간해상도를 지니지만, 도로 및 빌딩 등 인공지표의 밝게 도시하고 있는 것을 확인할 수 있으며 산악지역과 호수의 경우 어둡게 도시하고 있는 것을 확인할 수 있으며, 도 6c는 원 전정색영상에서 저주파 전정색영상을 차분하여 제작한 고주파 전정색영상으로서 농경지 경계, 도로, 수계 등의 정보를 자세히 나타내고 있음을 확인할 수 있으며, 도 6d는 도 6b의 적외선영상과 도 6c의 고주파 전정색영상을 융합하여 제작된 융합영상으로 도 6b의 적외선 영상에서 제공하고 있는 열정보를 잘 보전함과 동시에 도 6c의 고주파 전정색 영상에서 제공하고 있는 높은 공간해상도 또한 보전함으로써 고해상도의 적외선 영상을 제공할 수 있음을 확인할 수 있다.
한편, 도 7는 본 발명의 실시예로 도심지 지역에서의 최종 융합영상의 형태를 보인다. 도 7a는 전정색영상을 나타내며, 도 7b는 적외선영상을 나타내며, 도 7c는 고주파 전정색영상을 나타내며, 도 7d는 스케일링 팩터를 0.5로 하였을 때의 최종 융합영상을 나타낸다.
도 7을 참조하면, 도 7a는 전정색영상을 나타내는 것으로 높은 공간해상도를 지니고 있음을 확인할 수 있으며, 대부분의 빌딩을 높은 반사도로 도시하는 반면에 산악지역과 공원 등은 어둡게 도시하는 것을 확인할 수 있다. 도 7b는 적외선영상을 나타내는 것으로 도 7a의 전정색영상과 유사한 밝기 패턴을 나타내지만, 낮은 공간해상도를 지니며, 도 7b의 A, B, C, D지표는 복합쇼핑몰, 유원지, 수산시장 및 공항을 의미하며 이를 밝게 도시하는 것으로 도 7a의 전정색영상과 다소 차이점을 나타내는 것을 확인할 수 있으며, 도 7c는 원 전정색영상에서 저주파 전정색영상을 차분하여 제작한 고주파 전정색영상으로서 도로의 경계, 건물, 수계 등의 정보를 자세히 나타내고 있음을 확인할 수 있으며, 도 7d는 도 7b의 적외선영상과 도 7c의 고주파 전정색영상을 융합하여 제작된 융합영상으로 도 7b의 적외선 영상에서 제공하고 있는 열정보를 잘 보전함과 동시에 도 7c의 고주파 전정색 영상에서 제공하고 있는 높은 공간해상도 또한 보전함으로써 고해상도의 적외선 영상을 제공할 수 있음을 확인할 수 있으며, 특히 도 7b에서 높은 열정보를 지닌 A(복합 쇼핑몰), B(유원지), C(수산시장), D(공항)의 지표를 밝게 도시하고 있음을 확인할 수 있다.
따라서, 본 발명의 일 실시예에 따른 전정색영상과 적외선 영상의 융합 방법 및 그 장치는 저해상도 적외선 영상의 공간해상도를 전정색영상의 수준까지 향상시키는 것이 가능하며, 이로 인해 현재까지 낮은 정밀도로 인해 활용이 어려웠던 적외선영상에서의 영상분류, 표적 탐지, 및 객체 인식 등에 적용하는 것이 가능하다.
그리고, 스케일링 팩터를 조정함으로써 최종 융합영상의 공간해상도 및 열정보 보존 비율을 설정할 수 있으며, 이로부터 영상 촬영지역의 형태에 따라 요구되는 공간해상도를 충족시킬 수 있으므로, 도심지를 비롯한 농경지역, 산악지역 등에 적절하게 활용될 수 있다.
이하에서는 상기에 자세히 기술한 내용을 바탕으로 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 방법을 간단히 설명한다.
도 2는 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 방법에 관한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 장치에 관한 흐름을 이미지로 도시한 것이다.
도 2를 참조하면, 먼저 영상 획득부(110)에서 동일한 좌표체계를 지닌 전정색영상 및 적외선영상을 획득한다(S210).
즉, 영상 획득부(110)에서는 특정 지역을 촬영하여 얻어진 고해상도 전정색영상과 저해상도의 적외선영상을 각각 획득한다. 이때 상기 고해상도 전정색영상과 저해상도 적외선 영상은 동일한 좌표체계를 가짐으로 상호적으로 위치가 일치해야 한다.
이때, 각각의 영상의 좌표체계를 상호적으로 일치시키는 영상정합(co-registration)은 전정색영상과 적외선영상이 다른 탑재체에 의하여 촬영됨으로써 지리좌표가 다른 경우에 요구되며, 동일 탑재체에 의하여 동시에 촬영된 경우에는 같은 지리좌표를 사용함에 따라 일반적으로 요구되지 않는다.
그 예로서, 현재 운영되고 있는 Landsat-5, Landsat-7 또는 Landsat-8에 의하여 동시에 촬영된 전정색영상과 적외선영상의 경우, 두 영상은 거의 동일한 위치를 지니고 있기 때문에 일반적으로 정합과정이 요구되지 않는다.
반면, 서로 다른 탑재체에 의한 서로 다른 시기에 영상이 촬영된 경우, 예를 들어 Landsat-5, Landsat-7 또는 Lansat-8에서 촬영된 적외선영상과 IKONOS, QuickBird, WorldView, KOMPSAT-2 또는 KOMPSAT-3에서 촬영된 전정색영상의 융합의 경우에는 서로 다른 두 영상의 위치정합이 요구된다. 이러한 영상정합은 본 발명이 속하는 기술분야의 기 공지된 기술로서 보다 구체적인 설명은 생략한다.
다음으로, 필터링 수행부(120)에서 필터링을 거쳐 저주파 전정색영상 및 고주파 전정색영상을 제작한다(S220).
더 자세히 설명하자면, 필터링 수행부(120)는 전정색영상을 대상으로 저주파 필터링을 통해 저주파 전정색영상을 제작한다. 여기서, 저주파 필터링은 공간영역(spatial domain)에서 수행하는 것으로, 주파수대역(frequency domain)에서 수행할 수도 있다.
또한, 필터링 수행부(120)는 다음의 일반적인 절차에 따라 저주파 전정색영상 및 고주파 전정색영상을 제작할 수 있다.
즉, 필터링 수행부(120)는 저주파 필터링을 수행할 때, (1) 8x8 크기의 윈도우를 적용함으로써 블록 평균(block-averaging)영상을 제작하고, (2) 정방형 보간법(bicubic interpolation)을 활용하여 블록평균 영상을 원 전정색영상의 크기로 보간하는 절차를 수행한다.
여기서, 블록 평균영상을 제작하는 과정(1)의 경우, 윈도우의 크기는 전정색영상의 공간해상도와 적외선영상의 공간해상도 비를 고려하여 결정할 수 있다.
또한, 상기 필터링 수행부(120)는 상기 과정을 통해 제작된 저주파 전정색영상과 원 전정색영상을 차분하는 것으로 고주파 전정색영상을 제작한다.
더 자세히 설명하자면, 원 전정색영상은 저주파 전정색영상과 고주파 전정색영상의 합으로 이루어지며, 저주파 필터링을 통해 저주파 전정색영상을 제작하고, 원 전정색영상에서 저주파 전정색영상을 차분함으로써 고주파 전정색영상을 제작한다.
필터링 수행부(120)는 본 발명의 전정색영상과 적외선 영상의 융합 방법에 있어서 주요 기술로서, 더 자세하게는 저주파 전정색영상 제작부(122) 및 고주파 전정색영상 제작부(124)를 포함할 수 있다.
필터링을 수행하는 단계S220은 저주파 전정색영상 제작 및 고주파 전정색영상 제작을 포함할 수 있으며, 저주파 필터링을 수행하여 저주파 성분만 추출한 저주파 전정색영상을 제작하며, 원 적외선영상으로부터 저주파 전정색영상을 차분하여 고주파 전정색영상을 제작한다.
이에 따라, 필터링 수행단계(S220)의 저주파 전정색영상 제작단계 및 고주파 전정색영상 제작단계를 거쳐 제작된 저주파 전정색영상 및 고주파 전정색영상은 각각이 원 전정색영상의 저주파 성분과 고주파 성분을 개별적으로 포함하는 것을 특징으로 한다.
한편, 수학식 1은 필터링된 전정색영상을 제작하는 방법을 나타낸 것으로, 이에 대한 자세한 설명은 상기에 기술했으므로 이를 참조하도록 한다.
다음으로, 영상 보정부(130)는 필터링 수행부(120)에서 제작된 고주파 전정색영상과 적외선영상을 보정하여 보정된 고주파 전정색영상과 보정된 적외선영상을 제작한다(S230).
즉, 단계S230에서 영상 보정부(130)는 고주파 전정색영상에서 신뢰구간 밖의 픽셀의 값을 보정하여 보정된 고주파 전정색영상을 제작하며, 저주파 전정색영상의 평균, 표준편차와 적외선영상의 평균, 표준편차를 이용하여 보정된 적외선영상을 제작한다.
더 자세히 설명하자면, 단계S230에서 영상 보정부(130)는 고주파 전정색영상의 각각 픽셀이 신뢰구간 범위에 해당하는지 검사를 수행한 후, 신뢰구간에 범위에서 벗어날 경우 해당 임계값으로 값을 보정함으로써 최종적으로 제작된 융합영상의 공간해상도를 보존할 수 있다.
이때, 신뢰구간의 정도는 일반적으로 68%, 95% 및 99%의 신뢰도로 결정하며, 이는 각각 1, 2, 3의 표준편차를 의미한다.
또한 단계S230에서 영상 보정부(130)는 적외선영상의 평균, 표준편차를 계산하고, 저주파 전정색영상의 평균, 표준편차를 계산한 후, 이들 파라미터로부터 선형회귀식을 구한 후, 선형회귀식을 각 픽셀에 적용하는 것으로 적외선영상을 보정한다.
고주파 전정색영상 보정과 적외선영상을 보정하는 단계 S230은 본 발명의 전정색영상과 적외선영상의 융합 방법에 있어서 핵심이 되는 기술로서, 단계S230은 고주파 전정색영상을 보정하는 고주파 전정색영상 보정단계 및 적외선영상을 보정하는 적외선영상 보정 단계를 포함할 수 있다.
즉, 단계S230에서 영상 보정부(130)는 고주파 전정색영상 보정단계 및 적외선영상 보정단계를 포함할 수 있으며, 고주파 전정색영상 보정단계는 신뢰구간 밖의 고주파 전정색영상의 픽셀을 보정하며, 적외선영상 보정단계는 적외선영상과 저주파 전정색영상이 동일한 표준정규분포를 가지도록 적외선영상의 각 픽셀값을 보정한다.
한편, 수학식 2와 수학식 3은 각각 고주파 전정색영상을 보정하는 방법과 적외선영상을 보정하는 방법을 나타낸 것으로, 이에 대한 자세한 설명은 상기에 기술했으므로 이를 참조하도록 한다.
다음으로, 스케일링 팩터 결정부(140)는 전정색영상과 적외선영상의 융합비율을 결정한다(S240).
즉, 단계S240에서의 스케일링 팩터 결정부(140)은 전정색영상과 적외선영상의 융합비율을 결정하는 것으로, 값의 범위는 0에서 1을 지닌다. 스케일링 팩터가 0일 경우, 이는 적외선영상의 정보를 잘 보전하는 반면에 전정색영상의 공간해상도를 반영하지 않는 것을 의미하며, 스케일링 팩터가 1일 경우, 전정색영상의 공간해상도를 최대로 반영하는 것으로서 융합영상이 고해상도를 지닐 수 있는 반면에 적외선영상의 영상정보는 거의 반영하지 못함을 의미한다.
더 자세히 설명하자면, 단계S240에서의 스케일링 팩터 결정부는(140)은 서로 상충관계에 있는 공간해상도와 분광해상도를 조정할 수 있는 인자로서 활용될 수 있다. 일반적으로 공간해상도와 분광해상도는 서로 상충관계에 있기 때문에, 공간해상도를 증가시킬 경우. 적외선영상의 열정보는 상세하지 못하게 되며, 공간해상도를 감소시킬 경우, 적외선영상의 열정보는 상세하게 표현되나 도로, 빌딩 등 물체의 식별이 용이하지 못한 단점이 있다.
이에 따라, 스케일링 팩터를 결정함으로써 전정색영상의 공간해상도와 적외선영상의 열정보의 융합비율을 결정할 수 있다. 스케일링 팩터는 0에서 1사이의 값을 지니며, 스케일링 팩터가 0일 경우, 전정색영상의 공간해상도를 반영하지 않는 것으로 최종 융합영상은 적외선영상의 열정보만을 반영하여 제작된다. 또한 스케일링 팩터가 1일 경우, 전정색영상의 공간해상도를 전부 반영하는 것으로 최종 융합영상의 공간해상도를 상승시킬 수 있으나, 전정색영상에서 나타나는 반사도 정보가 융합영상에 반영되어 색상왜곡 등의 문제가 나타날 수 있다.
한편, 단계S240에서의 스케일링 팩터 결정부(14)에서 결정하는 스케일링 팩터는 영상 촬영지역의 형태(도심지, 해안가, 농경지역 등)에 따라 사용자가 임의로 결정할 수 있다.
다음으로, 융합영상 제작부(150)는 보정된 고주파 전정색영상에 스케일링 팩터를 곱한 후, 적외선영상과 합산하여 최종 융합영상을 제작한다(S250).
즉, 융합영상을 제작하는 단계S250은 단계S230에서 제작된 보정된 고주파 전정색영상의 각 픽셀에 단계S240에서 결정된 스케일링 팩터를 곱한 후, 단계S230에서 제작된 보정된 적외선영상의 동일위치의 각 픽셀을 합산하여 최종 융합영상을 제작할 수 있다.
한편, 수학식 4는 최종 융합영상을 제작하는 방법을 나타낸 것으로, 이에 대한 자세한 설명은 상기에 기술했으므로 이를 참조하도록 한다.
따라서, 본 발명에서 제시하는 전정색영상과 적외선 영상의 융합 방법은 저해상도 적외선 영상의 공간해상도를 전정색영상의 수준까지 향상시키는 것이 가능하며, 이로 인해 현재까지 낮은 정밀도로 인해 활용이 어려웠던 적외선영상에서의 영상분류, 표적 탐지, 및 객체 인식 등에 적용하는 것이 가능하며, 스케일링 팩터를 조정함으로써 최종 융합영상의 공간해상도 및 열정보 보존 비율을 설정할 수 있으며, 이로부터 영상 촬영지역의 형태에 따라 요구되는 공간해상도를 충족시킬 수 있으므로, 도심지를 비롯한 농경지역, 산악지역 등에 적절하게 활용될 수 있는 효과가 있다.
본 발명의 일 실시예에 따른 전정색영상과 적외선영상의 융합 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 audfudd을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
Claims (15)
- 동일한 좌표체계를 지닌 전정색영상과 적외선영상을 획득하는 영상 획득부;
상기 전정색영상에 저주파 필터링을 수행하여 저주파 전정색영상을 제작하고, 상기 전정색영상에서 상기 저주파 전정색영상을 차분함으로써 고주파 전정색영상을 제작하는 필터링 수행부;
신뢰구간 미만 또는 상기 신뢰구간을 초과하는 상기 고주파 전정색영상값을 보정함으로써 보정된 고주파 전정색영상을 제작하고, 상기 적외선영상의 평균값, 표준편차값과 상기 저주파 전정색영상의 평균값과 표준편차값으로부터 선형회귀식을 구성하고, 구성된 상기 선형회귀식으로부터 보정된 적외선영상을 제작하는 영상 보정부;
상기 전정색영상과 상기 적외선영상의 융합비율을 결정하는 스케일링 팩터 결정부;
상기 보정된 고주파 전정색영상과 상기 보정된 적외선영상을 합산하되, 상기 결정된 스케일링 펙터를 이용하여 융합영상을 제작하는 융합영상 제작부;를 포함하는 것을 특징으로 하는 전정색 영상과 적외선영상 융합 장치 - 제 1항에 있어서,
상기 필터링 수행부는,
하기의 수학식으로 상기 고주파 전정색영상을 정의하는 것을 특징으로 하는 전정색 영상과 적외선영상 융합 장치
이때는 상기 고주파 전정색영상을 나타내며,
와
는 각각 픽셀방향과 라인방향의 영상좌표를 나타내며
는 상기 전정색영상을 나타내며,
는 상기 저주파 전정색영상을 나타내는 것이다.
- 제 1항에 있어서,
상기 필터링 수행부는,
저주파 전정색영상 제작부 및 고주파 전정색영상 제작부를 포함하고, 상기 저주파 전정색영상 제작부는 상기 저주파 필터링을 수행하여 저주파 성분만 추출한 상기 저주파 전정색영상을 제작하고, 상기 고주파 전정색영상 제작부는 상기 적외선영상으로부터 상기 저주파 전정색영상을 차분하여 상기 고주파 전정색영상을 제작하는 것을 특징으로 하는 전정색 영상과 적외선영상 융합 장치 - 삭제
- 제 1항에 있어서,
상기 영상 보정부는,
하기의 수학식으로 상기 보정된 적외선영상을 정의하는 것을 특징으로 하는 전정색 영상과 적외선영상 융합 장치.
이때,는 상기 보정된 적외선영상을 나타내며,
는 보정되기 전 상기 적외선영상을 나타내며,
및
는 각각 상기 적외선영상의 표준편차 및 상기 저주파 전정색영상의 표준편차를 나타내며,
및
는 각각 상기 적외선영상의 평균 및 상기 저주파 전정색영상의 평균을 나타낸다.
- 제 1항에 있어서,
상기 영상 보정부는,
상기 신뢰구간 미만 또는 상기 신뢰구간을 초과하는 상기 고주파 전정색영상의 픽셀을 보정하는 고주파 전정색영상 보정부 및 상기 적외선영상과 상기 저주파 전정색영상이 동일한 표준정규분포를 가지도록 상기 적외선영상의 각 픽셀값을 보정하는 적외선영상 보정부를 더 포함하는 것을 특징으로 하는 전정색 영상과 적외선영상 융합 장치 - 제 1항에 있어서
상기 융합영상 제작부는,
하기의 수학식으로 최종 상기 융합영상을 정의하는 것을 특징으로 하는 전정색 영상과 적외선영상 융합 장치.
이때,는 최종 제작된 상기 융합영상을 나타내며,
는 상기 영상 보정부에서 제작된 상기 보정된 적외선영상을 나타내며,
는 상기 스케일링 팩터 결정부에서 결정된 상기 스케일링 팩터를 나타내며,
는 상기 영상 보정부에서 제작된 상기 보정된 고주파 전정색영상을 나타낸다.
- 동일한 좌표체계를 지닌 전정색영상과 적외선영상을 획득하는 영상 획득 단계;
상기 전정색영상에 저주파 필터링을 수행하여 저주파 전정색영상을 제작하고, 상기 전정색영상에서 상기 저주파 전정색영상을 차분함으로써 고주파 전정색영상을 제작하는 필터링 수행 단계;
신뢰구간 미만 또는 상기 신뢰구간을 초과하는 상기 고주파 전정색영상값을 보정함으로써 보정된 고주파 전정색영상을 제작하고, 상기 적외선영상의 평균값, 표준편차값과 상기 저주파 전정색영상의 평균값과 표준편차값으로부터 선형회귀식을 구성하고, 구성된 상기 선형회귀식으로부터 보정된 적외선영상을 제작하는 영상 보정 단계;
상기 전정색영상과 상기 적외선영상의 융합비율을 결정하는 스케일링 팩터 결정 단계;
상기 보정된 고주파 전정색영상과 상기 보정된 적외선영상을 합산하되, 상기 결정된 스케일링 펙터를 이용하여 융합영상을 제작하는 융합영상 제작단계;를 포함하는 것을 특징으로 하는 전정색 영상과 적외선영상 융합 방법 - 제 8항에 있어서,
상기 필터링 수행단계는,
하기의 수학식으로 상기 고주파 전정색영상을 정의하는 것을 특징으로 하는 전정색 영상과 적외선영상 융합 방법
이때는 상기 고주파 전정색영상을 나타내며,
와
는 각각 픽셀방향과 라인방향의 영상좌표를 나타내며
는 상기 전정색영상을 나타내며,
는 상기 저주파 전정색영상을 나타내는 것이다.
- 제 8항에 있어서,
상기 필터링 수행단계는,
전정색영상 제작단계 및 고주파 전정색영상 제작단계를 포함하고, 상기 저주파 전정색영상 제작단계는 상기 저주파 필터링을 수행하여 저주파 성분만 추출한 상기 저주파 전정색영상을 제작하고, 상기 고주파 전정색영상 제작단계는 상기 적외선영상으로부터 상기 저주파 전정색영상을 차분하여 상기 고주파 전정색영상을 제작하는 것을 특징으로 하는 전정색 영상과 적외선영상 융합 방법 - 삭제
- 제 8항에 있어서,
상기 영상 보정단계는,
하기의 수학식으로 상기 보정된 적외선영상을 정의하는 것을 특징으로 하는 전정색 영상과 적외선영상 융합 방법
이때,는 상기 보정된 적외선영상을 나타내며,
는 보정되기 전 상기 적외선영상을 나타내며,
및
는 각각 상기 적외선영상의 표준편차 및 상기 저주파 전정색영상의 표준편차를 나타내며,
및
는 각각 상기 적외선영상의 평균 및 상기 저주파 전정색영상의 평균을 나타낸다.
- 제 8항에 있어서,
상기 영상 보정단계는,
상기 신뢰구간 미만 또는 상기 신뢰구간을 초과하는 상기 고주파 전정색영상의 픽셀을 보정하는 고주파 전정색영상 보정단계 및 상기 적외선영상과 상기 저주파 전정색영상이 동일한 표준정규분포를 가지도록 상기 적외선영상의 각 픽셀값을 보정하는 적외선영상 보정단계를 더 포함하는 것을 특징으로 하는 전정색 영상과 적외선영상 융합 방법 - 제 8항에 있어서
상기 융합영상 제작단계는,
하기의 수학식으로 최종 상기 융합영상을 정의하는 것을 특징으로 하는 전정색 영상과 적외선영상 융합 방법.
이때,는 최종 제작된 상기 융합영상을 나타내며,
는 상기 영상 보정부에서 제작된 상기 보정된 적외선영상을 나타내며,
는 상기 스케일링 팩터 결정부에서 결정된 상기 스케일링 팩터를 나타내며,
는 상기 영상 보정부에서 제작된 상기 보정된 고주파 전정색영상을 나타낸다.
- 제8항 내지 제10항 및 제12항 내지 제14항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140170229A KR101580585B1 (ko) | 2014-12-02 | 2014-12-02 | 전정색영상과 적외선영상의 융합 방법 및 장치 |
| PCT/KR2015/012742 WO2016089041A1 (ko) | 2014-12-02 | 2015-11-26 | 전정색영상과 적외선영상의 융합 방법 및 장치 |
| JP2017529676A JP6506397B2 (ja) | 2014-12-02 | 2015-11-26 | パンクロマチック映像と赤外線映像との融合方法及び装置 |
| US15/611,943 US10235746B2 (en) | 2014-12-02 | 2017-06-02 | Method and device for fusing panchromatic image and infrared image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140170229A KR101580585B1 (ko) | 2014-12-02 | 2014-12-02 | 전정색영상과 적외선영상의 융합 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101580585B1 true KR101580585B1 (ko) | 2015-12-28 |
Family
ID=55085100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140170229A KR101580585B1 (ko) | 2014-12-02 | 2014-12-02 | 전정색영상과 적외선영상의 융합 방법 및 장치 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10235746B2 (ko) |
| JP (1) | JP6506397B2 (ko) |
| KR (1) | KR101580585B1 (ko) |
| WO (1) | WO2016089041A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101918007B1 (ko) * | 2017-07-17 | 2018-11-13 | 서울시립대학교 산학협력단 | 다중 편광레이더 영상과 전정색 영상의 융합방법 및 장치 |
| CN109478315A (zh) * | 2016-07-21 | 2019-03-15 | 前视红外系统股份公司 | 融合图像优化系统和方法 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101404430B1 (ko) * | 2013-06-11 | 2014-06-10 | 서울시립대학교 산학협력단 | 적외선 영상을 이용한 지표온도감률 추정 방법 |
| KR102649782B1 (ko) * | 2016-04-13 | 2024-03-21 | 소니그룹주식회사 | 신호 처리 장치 및 촬상 장치 |
| CN107918929B (zh) * | 2016-10-08 | 2019-06-21 | 杭州海康威视数字技术股份有限公司 | 一种图像融合方法、装置及系统 |
| CN108510447B (zh) * | 2017-02-28 | 2021-09-24 | 深圳市朗驰欣创科技股份有限公司 | 一种图像融合方法及装置 |
| US10325349B2 (en) * | 2017-08-11 | 2019-06-18 | Intermap Technologies Inc. | Method and apparatus for enhancing 3D model resolution |
| US10002407B1 (en) * | 2017-08-11 | 2018-06-19 | Intermap Technologies Inc. | Method and apparatus for enhancing 3D model resolution |
| US10535119B2 (en) | 2017-08-11 | 2020-01-14 | Intermap Technologies Inc. | Method and apparatus for enhancing 3D model resolution |
| JP6951917B2 (ja) * | 2017-09-15 | 2021-10-20 | 株式会社ソニー・インタラクティブエンタテインメント | 撮像装置 |
| US10803557B2 (en) * | 2017-12-26 | 2020-10-13 | Xidian University | Non-uniformity correction method for infrared image based on guided filtering and high-pass filtering |
| CN108460722A (zh) * | 2018-01-31 | 2018-08-28 | 中国科学院上海技术物理研究所 | 一种高分辨率宽视场率遥感成像方法及装置 |
| CN110246108B (zh) * | 2018-11-21 | 2023-06-20 | 浙江大华技术股份有限公司 | 一种图像处理方法、装置及计算机可读存储介质 |
| CN110223265B (zh) * | 2019-05-05 | 2021-05-28 | 中国地质大学（武汉） | 基于多尺度变换分解的目标显著的图像融合方法及系统 |
| US11532093B2 (en) | 2019-10-10 | 2022-12-20 | Intermap Technologies, Inc. | First floor height estimation from optical images |
| CN112001871A (zh) * | 2020-08-21 | 2020-11-27 | 沈阳天眼智云信息科技有限公司 | 一种红外双光图像信息的融合方法 |
| CN112668421B (zh) * | 2020-12-18 | 2022-04-29 | 武汉大学 | 一种基于注意力机制的无人机高光谱农作物快速分类方法 |
| US11551366B2 (en) | 2021-03-05 | 2023-01-10 | Intermap Technologies, Inc. | System and methods for correcting terrain elevations under forest canopy |
| CN113487529B (zh) * | 2021-07-12 | 2022-07-26 | 吉林大学 | 一种基于Yolo的气象卫星云图目标检测方法 |
| CN116129277B (zh) * | 2023-04-04 | 2023-11-21 | 重庆市建设工程质量检验测试中心有限公司 | 一种建筑节能检测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010161459A (ja) * | 2009-01-06 | 2010-07-22 | Olympus Corp | 赤外線照射式撮像装置 |
| KR101051716B1 (ko) | 2010-11-12 | 2011-07-26 | 삼성탈레스 주식회사 | 다중센서 영상융합 방법 |
| KR101104199B1 (ko) * | 2010-04-20 | 2012-01-09 | 국방과학연구소 | 가시광선 및 적외선 영상신호 융합장치 및 그 방법 |
| KR101291219B1 (ko) * | 2012-03-16 | 2013-07-31 | 한국항공우주연구원 | 전정색영상과 다분광영상의 융합 방법 및 그 장치 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6011875A (en) * | 1998-04-29 | 2000-01-04 | Eastman Kodak Company | Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening |
| US7835594B2 (en) * | 2006-12-01 | 2010-11-16 | Harris Corporation | Structured smoothing for superresolution of multispectral imagery based on registered panchromatic image |
| US7769241B2 (en) * | 2007-01-09 | 2010-08-03 | Eastman Kodak Company | Method of sharpening using panchromatic pixels |
-
2014
- 2014-12-02 KR KR1020140170229A patent/KR101580585B1/ko active IP Right Grant
-
2015
- 2015-11-26 WO PCT/KR2015/012742 patent/WO2016089041A1/ko active Application Filing
- 2015-11-26 JP JP2017529676A patent/JP6506397B2/ja active Active
-
2017
- 2017-06-02 US US15/611,943 patent/US10235746B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010161459A (ja) * | 2009-01-06 | 2010-07-22 | Olympus Corp | 赤外線照射式撮像装置 |
| KR101104199B1 (ko) * | 2010-04-20 | 2012-01-09 | 국방과학연구소 | 가시광선 및 적외선 영상신호 융합장치 및 그 방법 |
| KR101051716B1 (ko) | 2010-11-12 | 2011-07-26 | 삼성탈레스 주식회사 | 다중센서 영상융합 방법 |
| KR101291219B1 (ko) * | 2012-03-16 | 2013-07-31 | 한국항공우주연구원 | 전정색영상과 다분광영상의 융합 방법 및 그 장치 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109478315A (zh) * | 2016-07-21 | 2019-03-15 | 前视红外系统股份公司 | 融合图像优化系统和方法 |
| KR101918007B1 (ko) * | 2017-07-17 | 2018-11-13 | 서울시립대학교 산학협력단 | 다중 편광레이더 영상과 전정색 영상의 융합방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016089041A1 (ko) | 2016-06-09 |
| US20170358067A1 (en) | 2017-12-14 |
| US10235746B2 (en) | 2019-03-19 |
| JP6506397B2 (ja) | 2019-04-24 |
| JP2018503178A (ja) | 2018-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101580585B1 (ko) | 전정색영상과 적외선영상의 융합 방법 및 장치 | |
| CN111062905B (zh) | 一种基于显著图增强的红外和可见光融合方法 | |
| Huang et al. | Cloud removal from optical satellite imagery with SAR imagery using sparse representation | |
| CN107563964B (zh) | 大面阵亚米级夜景遥感影像的快速拼接方法 | |
| CN103049898B (zh) | 带有薄云的多光谱和全色图像融合方法 | |
| Yang et al. | Fusion of infrared polarization and intensity images using support value transform and fuzzy combination rules | |
| KR101928391B1 (ko) | 다중분광 영상과 레이더 영상의 융합방법 및 장치 | |
| KR101918007B1 (ko) | 다중 편광레이더 영상과 전정색 영상의 융합방법 및 장치 | |
| CN110035239B (zh) | 一种基于灰度—梯度优化的多积分时间红外图像融合方法 | |
| CN105139396B (zh) | 一种全自动遥感影像云雾检测方法 | |
| CN114973028B (zh) | 一种航拍视频图像实时变化检测方法及系统 | |
| CN108932708A (zh) | 基于超分辨增强的星载多光谱遥感图像融合方法 | |
| KR101132272B1 (ko) | 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법 | |
| KR101928393B1 (ko) | 적외선 영상과 레이더 영상의 융합방법 및 장치 | |
| Wang et al. | An improved spatiotemporal fusion algorithm for monitoring daily snow cover changes with high spatial resolution | |
| CN117237553A (zh) | 一种基于点云图像融合的三维地图测绘系统 | |
| CN116245757A (zh) | 多模态数据的多场景通用性遥感影像云修复方法和系统 | |
| Luo et al. | An Evolutionary Shadow Correction Network and A Benchmark UAV Dataset for Remote Sensing Images | |
| CN116228521A (zh) | 一种异源图像配准与融合方法 | |
| Kulkarni et al. | Application of Taguchi method to improve land use land cover classification using PCA-DWT-based SAR-multispectral image fusion | |
| CN113888421A (zh) | 一种多光谱卫星遥感图像融合方法 | |
| CN113902659A (zh) | 一种基于显著目标增强的红外和可见光融合方法 | |
| Toriya et al. | Mutual superimposing of SAR and ground-level shooting images mediated by intermediate multi-altitude images | |
| CN117789042B (zh) | 一种道路信息解译方法、系统及存储介质 | |
| CN113050090B (zh) | 一种双极化hh、hv雷达图像特征融合增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20181203 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20191202 Year of fee payment: 5 |