WO2014183259A1 - 一种全色−多光谱遥感图像融合方法 - Google Patents

一种全色−多光谱遥感图像融合方法 Download PDF

Info

Publication number
WO2014183259A1
WO2014183259A1 PCT/CN2013/075586 CN2013075586W WO2014183259A1 WO 2014183259 A1 WO2014183259 A1 WO 2014183259A1 CN 2013075586 W CN2013075586 W CN 2013075586W WO 2014183259 A1 WO2014183259 A1 WO 2014183259A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
scale
spectral
fusion
color image
Prior art date
Application number
PCT/CN2013/075586
Other languages
English (en)
French (fr)
Inventor
霍春雷
霍雷刚
潘春洪
Original Assignee
中国科学院自动化研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院自动化研究所 filed Critical 中国科学院自动化研究所
Priority to PCT/CN2013/075586 priority Critical patent/WO2014183259A1/zh
Publication of WO2014183259A1 publication Critical patent/WO2014183259A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Definitions

  • the present invention relates to the technical field of remote sensing image processing, information fusion, target recognition, and the like, and in particular to a feature level fusion method based on a full-color image and a multi-spectral image.
  • Image fusion is a combination of information advantages or complementarities contained in images of different sources of the same scene taken at the same time to generate new images, and a more accurate and comprehensive understanding of scenes and targets, which can be widely applied.
  • Application areas such as target recognition, land use classification, the production of thematic maps and the updating of maps.
  • the optical image characteristics of the target are most similar to human vision, and optical remote sensing images are currently the most widely used image types. Due to hardware constraints, the same sensor cannot simultaneously acquire optical satellite images with high spatial resolution and high spectral resolution.
  • Existing full-color images and multi-spectral images have high spatial resolution and high spectral resolution, respectively, which are captured by different sensors at the same time and at the same time. By combining full-color images and multi-spectral images, images with high spatial resolution and high spectral resolution can be obtained, which provides a good data foundation for subsequent processing.
  • the current panchromatic image and multi-spectral image fusion algorithms are mostly data-level fusion.
  • the fused image has high spatial resolution and high spectral resolution, which is helpful to the figure-finding personnel.
  • the traditional fusion method makes little use of the spectral variation law in multi-spectral images, and it is difficult for the figurer to quickly and accurately find or identify the target from the large-size image.
  • the number of bands of multi-spectral images has gradually increased, such as the multi-spectral image of WorldView satellites with a fluctuation number of 8.
  • the human eye has good adaptability to color images composed of three bands, and it is difficult for the human eye to directly observe images of more than three bands.
  • the fusion method such as PCA can transform the multi-spectral image and fuse the three bands of energy concentration with the panchromatic image, the PCA transform only considers the energy information, and does not take into account the characteristics of the target spectrum as a function of the band. Therefore, traditional full-color images and multispectral maps The fusion method has great limitations for target recognition.
  • the object of the present invention is to provide a fast and effective method for blending feature-level fusion of full-color images and multi-spectral image fusion based on spectrally significant feature analysis for the requirements of image recognition for image recognition and the disadvantages of existing image fusion methods.
  • the panchromatic image and multispectral image fusion method based on spectral salient feature analysis of the present invention includes the following steps:
  • Step Sl obtaining an overlapping area of the full-color image and the multi-spectral image
  • Step S2 performing multi-scale decomposition on the full-color image to obtain a multi-scale image sequence of the full-color image
  • Step S3 analyzing the multi-spectral image based on a spectral significant feature analysis method, extracting a target spectral salient feature of the multi-spectral image, and generating a multi-band spectral salient feature image D;
  • Step S4 selecting three bands from the multi-band spectrally significant feature image D to generate a pseudo color image
  • Step S5 Multi-scale fusion of the full-color image and the pseudo-color image, that is, adopting progressive fusion, and multi-scale fusion of the full-color image and the pseudo-color image on a scale-by-scale basis.
  • the method of the invention has important significance for improving the separability and recognition ability of the target, and its main advantages are as follows:
  • the invention is a multi-scale progressive fusion method for obtaining full-color images and multi-spectral images
  • the multi-spectral image does not need to be resampled after the overlap region, avoiding loss of spectral information when resampling the multispectral image.
  • the invention extracts the salient features of the target spectrum, and the spectral salient features have good stability and robustness for the description and recognition of the target type.
  • the invention combines the spectrally significant features of the target with the spatial details of the panchromatic image, so that the target type features and structural details are simultaneously visible, and the target distinguishability is better.
  • the present invention greatly improves the target distinguishing and recognizing ability of full-color images and multi-spectral images, and can be widely applied to systems such as target recognition, land use classification, the production of thematic maps, and map updating.
  • FIG. 1 is a flow chart of a method for fusing a full-color image and a multi-spectral image based on spectrally significant feature analysis of the present invention.
  • FIG. 2 is a schematic diagram of spectrally significant feature image extraction and pseudo color image generation in accordance with an embodiment of the present invention.
  • FIG. 3 is a schematic diagram of multi-scale fusion in accordance with an embodiment of the present invention.
  • FIG. 1 is a flow chart of a method for fusing a full-color image and a multi-spectral image based on spectrally significant feature analysis of the present invention.
  • the panchromatic image and multi-spectral image fusion method based on spectral salient feature analysis includes the following steps: :
  • Step Sl obtaining an overlapping area of the full-color image and the multi-spectral image
  • the overlapping region can be obtained according to the correspondence between the latitude and longitude of the full-color image or the multi-spectral image, or by the full-color image and Spectral images were obtained by registration.
  • the present invention does not need to interpolate and resample the multi-spectral image after obtaining the overlapping region of the full-color image and the multi-spectral image, which can greatly reduce the calculation amount and avoid the spectral characteristic loss of the multi-spectral image. .
  • Step S2 performing multi-scale decomposition on the full-color image to obtain a multi-scale image sequence of the full-color image
  • Step S3 analyzing the multispectral image based on the spectrally significant feature analysis method Extracting a target spectral salient feature of the multi-spectral image, and generating a multi-band spectral salient feature image D;
  • the spectral salient feature analysis is to treat different band images as a function of spectral frequency, and the spectral salient feature is a feature that the target spectrum changes significantly with spectral frequency variation.
  • the gray value of p in each band constitutes a spectral curve ⁇
  • the spectral curve X is a vector
  • the degree of change of the third component of X and the ⁇ + 1 component reflects the variation of the target spectrum with the spectral frequency.
  • the spectral curve of each pixel is used as a column vector of the extended matrix in the order of "preceding after the column", and the expansion matrix is one w row,
  • the matrix of the h*w column, the row direction of the extension matrix represents the direction of the spectral frequency.
  • minAy ⁇ ⁇ y k 2 > ⁇ .
  • ⁇ is the derivative of ⁇ , indicating the change in the spectral frequency.
  • the present invention imposes the following three constraints on ⁇ :
  • ⁇ ⁇
  • ⁇ ⁇
  • ⁇ ⁇
  • ⁇ ⁇
  • ⁇ ⁇
  • ⁇ h rows and w columns in the order of "first row after column”.
  • the image is composed into a multi-band spectrally salient feature image 0 in descending order of the generalized eigenvalues. The larger the generalized eigenvalue, the greater the target spectral saliency of the corresponding ⁇ .
  • the spectrally significant feature image extracted according to an embodiment of the present invention is shown in the image of the middle row of FIG. 2, and the image of the top row of FIG. 2 is the original multi-spectral image.
  • Step S4 selecting three bands from the multi-band spectrally significant feature image D to generate a pseudo color image;
  • Step S5 Multi-scale fusion of the full-color image and the pseudo-color image, that is, adopting progressive fusion, and multi-scale fusion of the full-color image and the pseudo-color image on a scale-by-scale basis.
  • the purpose of multi-scale fusion of panchromatic images and pseudo-color images is to synthesize spatial resolution information of panchromatic images and target feature information of pseudo-color images.
  • the multi-scale fusion of panchromatic images and pseudo-color images is a progressive fusion mode.
  • each layer of the multi-color image sequence of the panchromatic image is fused using the IHS fusion method.
  • the IHS fusion method is a classical method for the fusion of panchromatic images and color images. It first transforms the color image from the RGB color space to the IHS space by IHS transform (I, H and S represent brightness, hue and saturation, respectively), then I component.
  • the method for fusing each layer of the full-color image multi-scale image sequence includes the following steps:
  • Step S51 IHS fusion of the pseudo color image with the lowest resolution image of the full-color image multi-scale image sequence to generate a current scale, that is, a fused image M of the scale S, where the fusion is called initial fusion;
  • the step S51 further includes the following steps:
  • Step S511 converting the pseudo color image MP into an IHS space by an IHS transform by using an RGB color space;
  • the I, H, and S classifications in the IHS space respectively represent the brightness, hue, and saturation of the target.
  • Step S512 since the full-color image multi-scale image sequence on the scale S has the same height and width as the pseudo-color image MP, the I component of the pseudo color image MP in the IHS space is replaced;
  • Step S513 Convert the replaced IHS component into an RGB space by an IHS inverse transform to generate a fused image of the current scale.
  • the initial fusion combines a panchromatic image with a pseudo-color image consisting of spectrally significant features, and the resulting fused image combines the details of the panchromatic image with the target spectral salient features of the multi-spectral image.
  • Step S52 Up-sampling the fused image and merging with the panchromatic image of the upper layer, and the fusion at this time is called progressive fusion until the original scale of the full-color image is reached; the step S52 is further performed. Including the following steps:
  • Step S521 on the scale, the fused image ⁇ on the scale S is subjected to two times of sampling to obtain ⁇ —where i and the full-color image multi-scale image sequence on the scale have the same size;
  • Step S522 the fused image i on the scale ⁇ -1 is fused according to the method of IHS fusion to obtain a fused image;
  • Step S523, steps S521 and S522 are repeated until the original scale of the full-color image is reached, and a fused image is obtained.
  • 3 is a schematic diagram of multi-scale fusion according to an embodiment of the present invention.
  • the fusion of each scale in the multi-scale fusion process utilizes the fusion of the full-scale image of the current scale and the previous scale.
  • an image having both high spatial resolution and high spectral resolution is obtained, thereby making the target easier to distinguish and recognize.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种全色图像和多光谱图像融合方法，该方法包括以下歩骤：获取全色图像和多光谱图像的重叠区域；对全色图像进行多尺度分解得到全色图像的多尺度图像序列；基于光谱显著特征分析方法对多光谱图像进行分析，提取其目标光谱显著特征并生成多波段光谱显著特征图像D；从图像D中选择三个波段生成伪彩色图像；将全色图像与伪彩色图像进行多尺度融合。本发明方法利用光谱显著特征分析方法，提取目标的光谱显著特征；利用多尺度融合方法将多光谱图像中的光谱显著特征和全色图像中的细节信息进行渐进融合，使得目标更容易区分和识别。本发明可以广泛应用于目标识别、土地利用分类、专题图的制作和地图的更新等诸多应用系统中。

Description

一种全色一多光谱遥感图像融合方法
技术领域 本发明涉及遥感图像处理、 信息融合、 目标识别等技术领域， 特别 是一种基于全色图像和多光谱图像的特征级融合方法。
背景技术 图像融合是将同一时间拍摄的、 同一场景的不同来源的图像所包含 的信息优势或互补性结合起来产生新的图像， 并获得对场景、 目标更加 准确、 全面的认识， 可以广泛应用在目标识别、 土地利用分类、 专题图 的制作和地图的更新等应用领域。 目标的光学图像特性与人类的视觉最 为接近， 光学遥感图像是目前利用最为广泛的图像类型。 由于硬件方面 的制约， 同一传感器无法同时获取高空间分辨率、 高光谱分辨率的光学 卫星图像。 现有的全色图像和多光谱图像分别具有高空间分辨率和高光 谱分辨率， 这两种图像是卫星在同一地点同一时间由不同传感器进行拍 摄的。 通过融合全色图像和多光谱图像可以获得同时具有高空间分辨率、 高光谱分辨率的图像， 为后续的处理提供了良好的数据基础。
目前的全色图像与多光谱图像融合算法大都是数据级融合， 融合后 的图像具有高空间分辨率和高光谱分辨率， 对判图人员有一定的帮助。 但传统的融合方法对多光谱图像中的光谱变化规律利用的很少， 判图人 员很难从大尺寸的图像中快速、 准确的发现或识别目标。 近年来， 多光 谱图像的波段数逐渐增多， 如 WorldView卫星的多光谱图像的波动数为 8。 人眼对由三个波段组成的彩色图像具有很好的适应性， 对于超过三 个波段的图像人眼很难直接观察。 由于 "同物异谱"及 "异物同谱" 的 影响， 直接从多光谱图像中挑选三个波段与全色图像进行融合很难保证 融合效果。虽然 PCA等融合方法可以将多光谱图像进行变换，将能量集 中的三个波段与全色图像融合，但 PCA变换只考虑了能量信息，没有考 虑到目标的光谱随波段变化的特征。 因此， 传统的全色图像与多光谱图 像融合方法对目标识别具有很大的局限性。
分析多光谱图像中的目标光谱变化规律， 提取多光谱图像中目标光 谱显著特征， 然后再与全色图像进行特征级融合， 将大大提高目标的区 分、 识别能力。 特征级的全色图像与多光谱图像融合技术具有强烈的应 用驱动和研究价值， 但目前对此研究的很少。 从多光谱图像的众多波段 中发掘目标的本质特征， 是全色图像和多光谱图像特征级融合的关键， 但目前国内外尚无成熟的技术。
发明内容 本发明的目的是针对目标识别对图像融合的要求和现有图像融合 方法的缺点， 提供一种快速有效的基于光谱显著特征分析的全色图像和 多光谱图像融合特征级融合方法。
为了实现上述目的， 本发明基于光谱显著特征分析的全色图像和多 光谱图像融合方法包括以下歩骤：
歩骤 Sl， 获取全色图像和多光谱图像的重叠区域；
歩骤 S2,对全色图像进行多尺度分解得到所述全色图像的多尺度图 像序列；
歩骤 S3 , 基于光谱显著特征分析方法对所述多光谱图像进行分析， 提取所述多光谱图像的目标光谱显著特征， 并生成多波段光谱显著特征 图像 D;
歩骤 S4, 从所述多波段光谱显著特征图像 D中选择三个波段， 生 成伪彩色图像；
歩骤 S5: 将所述全色图像与所述伪彩色图像进行多尺度融合， 即采 用渐进融合的方式， 将所述全色图像与所述伪彩色图像逐尺度进行多尺 度融合。
本发明所述方法对于提高目标的可分性和识别能力具有重要的意 义， 其主要优点如下：
本发明是一种多尺度的渐进融合方法， 获取全色图像和多光谱图像 的重叠区域后无需对多光谱图像进行重采样， 避免了对多光谱图像进行 重采样时损失光谱信息。
本发明提取了目标光谱显著特征， 光谱显著特征对目标类型的描述、 识别具有很好的稳定性和鲁棒性。
本发明将目标的光谱显著特征和全色图像的空间细节进行融合， 使 得目标类型特征和结构细节同时可见， 目标区分性更好。
得益于上述优点， 本发明极大地提高了全色图像和多光谱图像的目 标区分、 识别能力， 可广泛应用于目标识别、 土地利用分类、 专题图的 制作和地图的更新等系统中。
附图说明 图 1是本发明基于光谱显著特征分析的全色图像和多光谱图像融合 方法流程图。
图 2 是根据本发明一实施例的光谱显著特征图像提取和伪彩色图 像生成示意图。
图 3 是根据本发明一实施例的多尺度融合示意图。
具体实施方式 为使本发明的目的、 技术方案和优点更加清楚明白， 以下结合具体 实施例， 并参照附图， 对本发明进一歩详细说明。
图 1是本发明基于光谱显著特征分析的全色图像和多光谱图像融合 方法流程图， 如图 1所示， 所述基于光谱显著特征分析的全色图像和多 光谱图像融合方法包括以下歩骤：
歩骤 Sl， 获取全色图像和多光谱图像的重叠区域；
由于全色图像和多光谱图像是由不同传感器在同一卫星、 同一时间 进行拍摄的， 因此， 重叠区域可以根据全色图像或多光谱图像经纬度的 对应关系来获得， 或通过对全色图像和多光谱图像进行配准获得。 与传统的融合方法不同， 本发明在得到全色图像和多光谱图像的重 叠区域后无需对多光谱图像进行插值、 重采样， 这样可以大大减少计算 量， 还可以避免多光谱图像的光谱特征损失。
歩骤 S2,对全色图像进行多尺度分解得到所述全色图像的多尺度图 像序列；
为了后续进行多尺度融合， 需要首先对全色图像 P利用多次降采样 生成多尺度图像序列 {P(s)}， 0 < s < S, 其中， P(s)是对图像 P(s— D进行 2倍下采样后得到的图像， S是多尺度图像序列的层数。 本发明中， 尺 度 0是指原始尺度， 即 P(o) = P， 尺度 s是对原始尺度图像进行 s-1次降 采样后得到的图像； 降采样次数 S-1等于全色图像空间分辨率和多光谱 图像空间分辨率的比值。 歩骤 S3 , 基于光谱显著特征分析方法对所述多光谱图像进行分析， 提取所述多光谱图像的目标光谱显著特征， 并生成多波段光谱显著特征 图像 D;
所述光谱显著特征分析是将不同波段图像视为光谱频率的函数， 而 光谱显著特征就是目标光谱随光谱频率变化而显著变化的特征。
对于多光谱图像 M的某个像素 p， p在各波段的灰度值构成光谱曲 线 χ， 光谱曲线 X是一个向量， 向量 X是关于光谱频率 A的函数： χ = [χ1(λχχ2(λχ - - - , χη(λ)]Γ , λ ^ , λ, ] , 其中，《是多光谱图像的波段数， /1。和 ^分别为多光谱图像 Μ 的最低和最高光谱频率。 向量 X的第 ζ个分量以 及第 ζ + 1个分量的变化程度反映了目标光谱随光谱频率的变化规律。
对于高度为 ^、 宽度为 ^、 波段数为 w的多光谱图像 M， 按照"先行 后列"的顺序将每一个像素的光谱曲线作为扩展矩阵 的一个列向量， 则扩展矩阵 为一个 w行、 h*w列的矩阵， 扩展矩阵 的行方向代表光 谱频率方向。 而光谱显著特征分析的目的就是通过寻找变换因子 ： yk =gk(X) (Α = 1,2,···,∞)使得 Λ在光谱频率 A上的变化依次减小， 其中， 为变换 的个数。
用 Δ¾ =<y\ 表示光谱频率的变化量， 则上述光谱显著特征分析可 表示为如下的优化问题：
minAy^ =<yk 2 >λ。 其中， 表示光谱频率上的均值， Α为 Λ关于 Α的导数， 表示在光 谱频率上的变化。
为了求解上述优化问题， 本发明对 Λ附加如下三个约束：
(1) <yk >,= ,
(2) < l。
(3) 对于所有的 i < fc ， 有<^^>1=0。
上述前两个约束排除了平凡解 Λ ) =常量的情况， 第三个约束保证 了输出信号的各个分量间是不相关的， 从而使得它们各自承载了不同方 面的信息。
不失一般性地， 本发明令变换&为线性变换， 即 ) ^^^。 于 是， Δ¾ =< yl > = wl < > w k = wlAw k， < y,yk > = wl < ^T > w k = wlBw k， 其中， 为 关于 A的导数矩阵， 为矩阵 和 的乘积矩阵， s为矩 阵 ;和 ;Τ的乘积矩阵。
为了求解^， 附加一个^的均值为 0、 方差为 1的约束条件， 则所 述光谱显著特征分析的优化问题变为：
. , . .2 . < yl >2 . wT,Aw, mm Ayk = mm <yk >λ= mm ~― ~~ - = mm——— -， 利用 Lagrange乘子法可以得到上述优化问题的解为矩阵 和 S的广 义特征向量， g卩 ^4^ = ^Λ。 其中， ^是 i 的第 Α列， i 是矩阵 和 3的 广义特征向量矩阵， Λ是矩阵 ^[和 S的广义特征值构成的对角阵。 变换后的多光谱图像的波段数 就是广义特征值大于 0的个数。 由 此可求得 Λ = ,其中， 为 1行、 h*w列的向量， 将 ^按照 "先行后 列"的顺序组成 h行、 w列图像 。 按照广义特征值从大到小的顺序将 图像 组成多波段光谱显著特征图像0。 广义特征值越大， 对应的 ^的 目标光谱显著度就越大。 根据本发明一实施例提取得到的光谱显著特征 图像如图 2中间一行的图像所示， 图 2最上面一行的图像为原始多光谱 图像。 歩骤 S4, 从所述多波段光谱显著特征图像 D中选择三个波段， 生 成伪彩色图像；
该步骤从多波段光谱显著特征图像 D的 m个波段中抽取三个最显 著特征波段， 以红、 绿、 蓝的顺序将三个显著特征波段组成伪彩色图像 MP。 在伪彩色图像 MP上， 不同显著度的目标以不同的颜色进行表示。 目标的类型是根据目标随光谱频率的变化情况由光谱显著特征分析自 动确定的。 根据本发明一实施例提取得到的伪彩色图像如图 2中最后一 行的图像所示。 歩骤 S5: 将所述全色图像与所述伪彩色图像进行多尺度融合， 即采 用渐进融合的方式， 将所述全色图像与所述伪彩色图像逐尺度进行多尺 度融合。
全色图像与伪彩色图像的多尺度融合的目的就是综合全色图像的 空间分辨率信息和伪彩色图像的目标特征信息。 全色图像与伪彩色图像 的多尺度融合是一种渐进融合方式， 在本发明的一实施例中， 采用 IHS 融合方法对全色图像多尺度图像序列的每一层进行融合。 IHS融合方法 是全色图像和彩色图像融合的经典方法， 它首先把彩色图像经 IHS变换 由 RGB颜色空间变换到 IHS空间 (I, H和 S分别代表明度、色调和饱和 度)，然后 I分量由全色图像代替，替换后的 IHS分量经 IHS逆变换再变 换到 RGB颜色空间， 生成的 RGB彩色图像即为融合图像。 所述全色图 像多尺度图像序列的每一层进行融合的方法包括以下歩骤：
歩骤 S51 : 将所述伪彩色图像与全色图像多尺度图像序列中最低分 辨率的图像进行 IHS 融合， 生成当前尺度， 即尺度 S的融合图像 M ， 此时的融合称为初始融合；
所述歩骤 S51进一歩包括以下歩骤：
歩骤 S511 , 将所述伪彩色图像 MP经 IHS变换由 RGB彩色空间转 换到 IHS空间；
其中， 所述 IHS空间中的 I、 H、 S分类分别表征目标的明度、 色调 和饱和度。
歩骤 S512, 由于尺度 S上的全色图像多尺度图像序列 与伪彩色图 像 MP具有相同的高度和宽度， 因此， 将所述伪彩色图像 MP在 IHS空间 上的 I分量由 来代替；
歩骤 S513 , 将替换后的 IHS分量经 IHS逆变换转换到 RGB空间， 生成当前尺度的融合图像 。
初始融合将全色图像和由光谱显著特征组成的伪彩色图像进行融 合， 生成的融合图像结合了全色图像的细节和多光谱图像的目标光谱显 著特征。
歩骤 S52: 将所述融合图像 进行上采样并与上一层的全色图像 融合， 此时的融合称为渐进融合， 直到达到所述全色图像的原始尺度； 所述歩骤 S52进一歩包括以下歩骤：
歩骤 S521 , 在尺度 上， 将尺度 S上的融合图像 Λ 进行 2倍上采 样得到 Λ — 其中， i与尺度 上的全色图像多尺度图像序列 具 有相同的尺寸；
歩骤 S522, 对 和尺度 ^-1上的融合图像 i按照 IHS融合的方 法进行融合得到融合图像 ；
歩骤 S523 , 重复歩骤 S521和 S522, 直到达到所述全色图像的原始 尺度， 得到融合图像 。 图 3 是根据本发明一实施例的多尺度融合示意图， 由上述文字以及 图 3可以看出， 多尺度融合过程中每个尺度的融合都利用了当前尺度的 全色图像和上一尺度的融合结果， 通过将多光谱图像中的光谱显著特征 和全色图像中的细节信息进行渐进融合， 获得同时具有高空间分辨率、 高光谱分辨率的图像， 从而使得目标更容易区分和识别。
以上所述的具体实施例， 对本发明的目的、 技术方案和有益效果进 行了进一歩详细说明， 所应理解的是， 以上所述仅为本发明的具体实施 例而已， 并不用于限制本发明， 凡在本发明的精神和原则之内， 所做的 任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权 利 要 求
1、 一种全色图像和多光谱图像融合方法， 其特征在于， 该方法包 括以下步骤：
歩骤 Sl， 获取全色图像和多光谱图像的重叠区域；
歩骤 S2,对全色图像进行多尺度分解得到所述全色图像的多尺度图 像序列；
歩骤 S3 , 基于光谱显著特征分析方法对所述多光谱图像进行分析， 提取所述多光谱图像的目标光谱显著特征， 并生成多波段光谱显著特征 图像 D;
歩骤 S4 , 从所述多波段光谱显著特征图像 D中选择三个波段， 生 成伪彩色图像；
歩骤 S5: 将所述全色图像与所述伪彩色图像进行多尺度融合， 即采 用渐进融合的方式， 将所述全色图像与所述伪彩色图像逐尺度进行多尺 度融合。
2、 根据权利要求 1 所述的方法， 其特征在于， 所述重叠区域根据 全色图像或多光谱图像经纬度的对应关系来获得， 或通过对全色图像和 多光谱图像进行配准来获得。
3、 根据权利要求 1所述的方法， 其特征在于， 所述歩骤 2中， 对 全色图像 P 利用多次降采样来生成多尺度图像序列 {P(s)}， 0 < s < S， 其中， P(s)是对图像 P(s— D进行 2倍下采样后得到的图像， S是多尺度 图像序列的层数， 降采样次数 S-1等于全色图像空间分辨率和多光谱图 像空间分辨率的比值。
4、 根据权利要求 1 所述的方法， 其特征在于， 所述光谱显著特征 分析是将不同波段图像视为光谱频率的函数， 而光谱显著特征就是目标 光谱随光谱频率变化而显著变化的特征。
5、 根据权利要求 1所述的方法， 其特征在于， 所述歩骤 3 中， 提 取所述多光谱图像的目标光谱显著特征， 并生成多波段光谱显著特征图 像 D的步骤进一歩包括：
歩骤 31， 利用下式求得变换因子 : yk = gk {X) ^ k = \, 2, .. , m , 使得 Λ在光谱频率 A上的变化依次减小， 其中， M为变换的个数； 为扩展 矩阵， 高度为 ^、 宽度为 ^、 波段数为 w的多光谱图像 M按照先行后列 的顺序将每一个像素的光谱曲线作为扩展矩阵 的一个列向量， 从而得 到 w行、 h*w列的扩展矩阵 JT ;
Figure imgf000012_0001
其中， 为矩阵 和 的乘积矩阵， S为矩阵 和 JT的乘积矩阵， 为 关于 A的导数矩阵；
歩骤 32， 将 按照先行后列的顺序组成 h行、 w列图像 Pi ; 歩骤 33，按照广义特征值从大到小的顺序将图像 组成多波段光谱 显著特征图像 D， 其中， 广义特征值越大， 对应的 Pt的目标光谱显著度 就越大。
6、 根据权利要求 1所述的方法， 其特征在于， 所述歩骤 S4中， 从 多波段光谱显著特征图像 D的 m个波段中抽取三个最显著特征波段， 以红、 绿、 蓝的顺序将三个显著特征波段组成伪彩色图像 MP , 在伪彩 色图像 MP上， 不同显著度的目标以不同的颜色进行表示。
7、 根据权利要求 1所述的方法， 其特征在于， 所述歩骤 S5中， 采 用 IHS融合方法对全色图像多尺度图像序列的每一层进行融合。
8、 根据权利要求 7所述的方法， 其特征在于， 所述采用 IHS融合 方法对全色图像多尺度图像序列的每一层进行融合的方法包括以下歩 骤：
歩骤 S51 : 将所述伪彩色图像与全色图像多尺度图像序列中最低分 辨率的图像进行 IHS融合， 生成当前尺度， 即尺度 S的融合图像
歩骤 S52: 将所述融合图像 进行上采样并与上一层的全色图像 融合， 直到达到所述全色图像的原始尺度。
9、 根据权利要求 8所述的方法， 其特征在于， 所述歩骤 S51进一 歩包括以下歩骤：
歩骤 S511 , 将所述伪彩色图像 MP经 IHS变换由 RGB彩色空间转 换到 IHS空间；
歩骤 S512, 由于尺度 S上的全色图像多尺度图像序列 与伪彩色图 像 MP具有相同的高度和宽度， 因此， 将所述伪彩色图像 MP在 IHS空间 上的 I分量由 来代替；
歩骤 S513 , 将替换后的 IHS分量经 IHS逆变换转换到 RGB空间， 生成当前尺度的融合图像 。
10、 根据权利要求 8所述的方法， 其特征在于， 所述歩骤 S52进一 歩包括以下歩骤：
歩骤 S521 , 在尺度 上， 将尺度 S上的融合图像 Λ 进行 2倍上采 样得到 Λ — 其中， i与尺度 上的全色图像多尺度图像序列 具 有相同的尺寸；
歩骤 S522, 对 和尺度 ^-1上的融合图像 i按照 IHS融合的方 法进行融合；
歩骤 S523 , 重复歩骤 S521和 S522, 直到达到所述全色图像的原始 尺度。
PCT/CN2013/075586 2013-05-14 2013-05-14 一种全色−多光谱遥感图像融合方法 WO2014183259A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/075586 WO2014183259A1 (zh) 2013-05-14 2013-05-14 一种全色−多光谱遥感图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/075586 WO2014183259A1 (zh) 2013-05-14 2013-05-14 一种全色−多光谱遥感图像融合方法

Publications (1)

Publication Number Publication Date
WO2014183259A1 true WO2014183259A1 (zh) 2014-11-20

Family

ID=51897581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/075586 WO2014183259A1 (zh) 2013-05-14 2013-05-14 一种全色−多光谱遥感图像融合方法

Country Status (1)

Country Link
WO (1) WO2014183259A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096286A (zh) * 2015-06-30 2015-11-25 中国石油天然气股份有限公司 遥感图像的融合方法及装置
CN105139371A (zh) * 2015-09-07 2015-12-09 云南大学 一种基于pcnn与lp变换的多聚焦图像融合方法
CN106204510A (zh) * 2016-07-08 2016-12-07 中北大学 一种基于结构相似度约束的红外偏振与光强图像融合方法
CN106203448A (zh) * 2016-07-08 2016-12-07 南京信息工程大学 一种基于非线性尺度空间的场景分类方法
CN106651800A (zh) * 2016-12-23 2017-05-10 中国科学院遥感与数字地球研究所 基于pan调制和多元线性回归的ms与pan图像融合方法
CN107085708A (zh) * 2017-04-20 2017-08-22 哈尔滨工业大学 基于多尺度分割和融合的高分辨率遥感图像变化检测方法
CN107958450A (zh) * 2017-12-15 2018-04-24 武汉大学 基于自适应高斯滤波的全色多光谱影像融合方法及系统
CN108230281A (zh) * 2016-12-30 2018-06-29 北京市商汤科技开发有限公司 遥感图像处理方法、装置和电子设备
CN108280449A (zh) * 2018-02-06 2018-07-13 国网山西省电力公司电力科学研究院 基于多光谱传感器组的电力设备影像采集方法
CN108363967A (zh) * 2018-01-30 2018-08-03 何德珍 一种遥感图像场景的分类系统
CN108399366A (zh) * 2018-01-30 2018-08-14 何德珍 一种基于逐像素分类的遥感图像场景分类提取方法
CN109215038A (zh) * 2018-09-29 2019-01-15 中国资源卫星应用中心 一种基于遥感影像的智能信息提取方法及系统
CN109509160A (zh) * 2018-11-28 2019-03-22 长沙理工大学 一种利用逐层迭代超分辨率的分层次遥感图像融合方法
CN109685058A (zh) * 2017-10-18 2019-04-26 杭州海康威视数字技术股份有限公司 一种图像目标识别方法、装置及计算机设备
CN110175537A (zh) * 2019-05-10 2019-08-27 深圳大学 一种融合多源遥感指标评估土地退化状况的方法及系统
CN110660089A (zh) * 2019-09-25 2020-01-07 云南电网有限责任公司电力科学研究院 一种卫星图像的配准方法及装置
CN110866493A (zh) * 2019-11-14 2020-03-06 生态环境部南京环境科学研究所 基于遥感影像的规模化生猪养殖场识别方法
CN111507454A (zh) * 2019-01-30 2020-08-07 兰州交通大学 一种用于遥感影像融合的改进交叉皮质神经网络模型
CN111583121A (zh) * 2020-05-27 2020-08-25 河南理工大学 一种针对植被的无人机高光谱影像拼接方法
CN112365540A (zh) * 2020-11-18 2021-02-12 北京观微科技有限公司 一种适用于多种尺度的舰船目标定位检测方法与系统
US11430128B2 (en) * 2018-02-07 2022-08-30 Chang'an University Geological linear body extraction method based on tensor voting coupled with Hough transformation
CN115908831A (zh) * 2022-11-18 2023-04-04 中国人民解放军军事科学院系统工程研究院 一种图像检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141659A1 (en) * 2003-01-17 2004-07-22 Yun Zhang System and method for image fusion
US20090226114A1 (en) * 2008-03-07 2009-09-10 Korea Aerospace Research Institute Satellite image fusion method and system
CN101916436A (zh) * 2010-08-30 2010-12-15 武汉大学 一种多尺度空间投影遥感影像融合方法
CN102169545A (zh) * 2011-04-25 2011-08-31 中国科学院自动化研究所 一种高分辨率遥感图像的变化检测方法
CN103218796A (zh) * 2013-05-14 2013-07-24 中国科学院自动化研究所 一种全色—多光谱遥感图像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141659A1 (en) * 2003-01-17 2004-07-22 Yun Zhang System and method for image fusion
US20090226114A1 (en) * 2008-03-07 2009-09-10 Korea Aerospace Research Institute Satellite image fusion method and system
CN101916436A (zh) * 2010-08-30 2010-12-15 武汉大学 一种多尺度空间投影遥感影像融合方法
CN102169545A (zh) * 2011-04-25 2011-08-31 中国科学院自动化研究所 一种高分辨率遥感图像的变化检测方法
CN103218796A (zh) * 2013-05-14 2013-07-24 中国科学院自动化研究所 一种全色—多光谱遥感图像融合方法

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096286B (zh) * 2015-06-30 2018-05-04 中国石油天然气股份有限公司 遥感图像的融合方法及装置
CN105096286A (zh) * 2015-06-30 2015-11-25 中国石油天然气股份有限公司 遥感图像的融合方法及装置
CN105139371A (zh) * 2015-09-07 2015-12-09 云南大学 一种基于pcnn与lp变换的多聚焦图像融合方法
CN106203448B (zh) * 2016-07-08 2019-03-12 南京信息工程大学 一种基于非线性尺度空间的场景分类方法
CN106204510A (zh) * 2016-07-08 2016-12-07 中北大学 一种基于结构相似度约束的红外偏振与光强图像融合方法
CN106203448A (zh) * 2016-07-08 2016-12-07 南京信息工程大学 一种基于非线性尺度空间的场景分类方法
CN106651800A (zh) * 2016-12-23 2017-05-10 中国科学院遥感与数字地球研究所 基于pan调制和多元线性回归的ms与pan图像融合方法
CN106651800B (zh) * 2016-12-23 2020-05-22 中国科学院遥感与数字地球研究所 基于pan调制和多元线性回归的ms与pan图像融合方法
CN108230281A (zh) * 2016-12-30 2018-06-29 北京市商汤科技开发有限公司 遥感图像处理方法、装置和电子设备
CN108230281B (zh) * 2016-12-30 2020-11-20 北京市商汤科技开发有限公司 遥感图像处理方法、装置和电子设备
CN107085708A (zh) * 2017-04-20 2017-08-22 哈尔滨工业大学 基于多尺度分割和融合的高分辨率遥感图像变化检测方法
CN107085708B (zh) * 2017-04-20 2020-06-09 哈尔滨工业大学 基于多尺度分割和融合的高分辨率遥感图像变化检测方法
CN109685058A (zh) * 2017-10-18 2019-04-26 杭州海康威视数字技术股份有限公司 一种图像目标识别方法、装置及计算机设备
US11347977B2 (en) 2017-10-18 2022-05-31 Hangzhou Hikvision Digital Technology Co., Ltd. Lateral and longitudinal feature based image object recognition method, computer device, and non-transitory computer readable storage medium
CN107958450B (zh) * 2017-12-15 2021-05-04 武汉大学 基于自适应高斯滤波的全色多光谱影像融合方法及系统
CN107958450A (zh) * 2017-12-15 2018-04-24 武汉大学 基于自适应高斯滤波的全色多光谱影像融合方法及系统
CN108399366A (zh) * 2018-01-30 2018-08-14 何德珍 一种基于逐像素分类的遥感图像场景分类提取方法
CN108363967A (zh) * 2018-01-30 2018-08-03 何德珍 一种遥感图像场景的分类系统
CN108280449A (zh) * 2018-02-06 2018-07-13 国网山西省电力公司电力科学研究院 基于多光谱传感器组的电力设备影像采集方法
US11430128B2 (en) * 2018-02-07 2022-08-30 Chang'an University Geological linear body extraction method based on tensor voting coupled with Hough transformation
CN109215038A (zh) * 2018-09-29 2019-01-15 中国资源卫星应用中心 一种基于遥感影像的智能信息提取方法及系统
CN109509160A (zh) * 2018-11-28 2019-03-22 长沙理工大学 一种利用逐层迭代超分辨率的分层次遥感图像融合方法
CN111507454A (zh) * 2019-01-30 2020-08-07 兰州交通大学 一种用于遥感影像融合的改进交叉皮质神经网络模型
CN111507454B (zh) * 2019-01-30 2022-09-06 兰州交通大学 一种用于遥感影像融合的改进交叉皮质神经网络模型
CN110175537A (zh) * 2019-05-10 2019-08-27 深圳大学 一种融合多源遥感指标评估土地退化状况的方法及系统
CN110175537B (zh) * 2019-05-10 2022-09-27 深圳大学 一种融合多源遥感指标评估土地退化状况的方法及系统
CN110660089A (zh) * 2019-09-25 2020-01-07 云南电网有限责任公司电力科学研究院 一种卫星图像的配准方法及装置
CN110866493A (zh) * 2019-11-14 2020-03-06 生态环境部南京环境科学研究所 基于遥感影像的规模化生猪养殖场识别方法
CN111583121A (zh) * 2020-05-27 2020-08-25 河南理工大学 一种针对植被的无人机高光谱影像拼接方法
CN112365540A (zh) * 2020-11-18 2021-02-12 北京观微科技有限公司 一种适用于多种尺度的舰船目标定位检测方法与系统
CN115908831A (zh) * 2022-11-18 2023-04-04 中国人民解放军军事科学院系统工程研究院 一种图像检测方法及装置

Similar Documents

Publication Publication Date Title
WO2014183259A1 (zh) 一种全色−多光谱遥感图像融合方法
CN103218796B (zh) 一种全色—多光谱遥感图像融合方法
US11823363B2 (en) Infrared and visible light fusion method
CN104867124B (zh) 基于对偶稀疏非负矩阵分解的多光谱与全色图像融合方法
Han et al. Residual HSRCNN: Residual hyper-spectral reconstruction CNN from an RGB image
CN105761234A (zh) 一种基于结构稀疏表示的遥感影像融合方法
Han et al. Deep residual network of spectral and spatial fusion for hyperspectral image super-resolution
Wang et al. Utilizing multiple subpixel shifted images in subpixel mapping with image interpolation
CN107220957B (zh) 一种利用滚动导向滤波的遥感图像融合方法
CN109993717A (zh) 一种结合引导滤波和ihs变换的遥感图像融合方法
CN103440500B (zh) 高光谱遥感图像分类与识别方法
CN106204541A (zh) 基于可见光与红外光结合的轨道异物侵限探测方法
CN111815549A (zh) 一种基于导向滤波图像融合的夜视图像彩色化方法
CN104867106A (zh) 一种深度图超分辨率方法
CN115018750A (zh) 中波红外高光谱及多光谱图像融合方法、系统及介质
Xing et al. Multi-level adaptive perception guidance based infrared and visible image fusion
Bouhennache et al. Extraction of urban land features from TM Landsat image using the land features index and Tasseled cap transformation
Meng et al. Improving the spatial resolution of hyperspectral image using panchromatic and multispectral images: An integrated method
Zhao et al. SRA-CEM: An improved CEM target detection algorithm for hyperspectral images based on sub-region analysis
Li et al. HyperMLP: Superpixel Prior and Feature Aggregated Perceptron Networks for Hyperspectral and Lidar Hybrid Classification
CN114897706A (zh) 一种全色多光谱影像融合的绿色植被增强方法
CN102789638B (zh) 基于梯度场与尺度空间理论的图像融合方法
CN111523451A (zh) 一种构建高时空分辨率ndvi数据的方法
Xu et al. Hyperspectral image super resolution reconstruction with a joint spectral-spatial sub-pixel mapping model
Zhang et al. Considering nonoverlapped bands construction: A general dictionary learning framework for hyperspectral and multispectral image fusion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13884819

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13884819

Country of ref document: EP

Kind code of ref document: A1