WO2022222352A1 - 基于残差网络的遥感全色和多光谱图像分布式融合方法 - Google Patents

基于残差网络的遥感全色和多光谱图像分布式融合方法 Download PDF

Info

Publication number
WO2022222352A1
WO2022222352A1 PCT/CN2021/118578 CN2021118578W WO2022222352A1 WO 2022222352 A1 WO2022222352 A1 WO 2022222352A1 CN 2021118578 W CN2021118578 W CN 2021118578W WO 2022222352 A1 WO2022222352 A1 WO 2022222352A1
Authority
WO
WIPO (PCT)
Prior art keywords
fusion
panchromatic
image
residual
layer
Prior art date
Application number
PCT/CN2021/118578
Other languages
English (en)
French (fr)
Inventor
黄梦醒
吴园园
冯思玲
毋媛媛
吴迪
冯文龙
张雨
Original Assignee
海南大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 海南大学 filed Critical 海南大学
Publication of WO2022222352A1 publication Critical patent/WO2022222352A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the invention relates to the technical field of remote sensing image processing, in particular to a distributed fusion method for remote sensing panchromatic and multispectral images based on a residual network.
  • Remote sensing images are widely used in various industries, such as agricultural yield prediction, agricultural forestry pest detection, disaster prediction, geological exploration, national defense, vegetation cover and land use, environmental change detection, etc.
  • images with high spatial resolution and high spectral resolution cannot be obtained at the same time.
  • PAN panchromatic images
  • MS Multispectral image
  • various fields need to use images with both high spatial and spectral resolution, and even require images with high temporal resolution.
  • a high spatial resolution high spectral resolution image is obtained using the high spatial resolution low spectral resolution image and the redundant and complementary information of the high spectral resolution low spatial resolution image.
  • the image processing techniques to generate such images currently mainly include image enhancement, super-resolution reconstruction, image fusion and so on.
  • image fusion technology refers to the use of multiple images of multiple sensors to generate a higher-quality and more informative image through a certain method, which improves people's visual experience and makes it easier to pass the image. Make more precise decisions.
  • Multi-spectral image and panchromatic image fusion technology is one of the hot and key points in the field of remote sensing image processing. Fusion methods can be roughly divided into traditional methods and deep learning methods. Traditional methods are generally divided into component replacement methods, multi-resolution analysis methods, hybrid methods, and model-based methods. Although compositional alternative methods such as Brovey transform, Schmidt orthogonal transform (GS), principal component analysis method (PCA), and variants of these methods are widely used in various software, they suffer from spectral distortion, spatial oversharpening, etc. question.
  • Multi-resolution analysis methods such as wavelet change, Laplace pyramid decomposition, contourlet transform, curvelet transform, non-subsampled shearlet transform and their variants reduce spectral distortion, but the spatial resolution is relatively low, and it is possible Ringing occurs.
  • various deep learning networks have begun to be applied in the direction of panchromatic sharpening, among which the convolutional neural network is the most used, although networks such as PNN, DRPNN, PanNet, and PanGAN are proposed for panchromatic sharpening. A certain effect has been achieved, but there are still problems such as spectral distortion, low spatial resolution, and low fusion quality.
  • the purpose of the present invention is to provide a distributed fusion method of remote sensing panchromatic and multispectral images based on residual network, so as to solve the problems raised in the above background art.
  • a distributed fusion method for remote sensing panchromatic and multispectral images based on a residual network comprising the following steps:
  • the original image of the target area is collected by satellite, and the original image is preprocessed, and the original image includes a panchromatic image and a multispectral image;
  • the preprocessed original image is down-resolved to obtain down-resolution panchromatic images and multi-spectral images.
  • simulation training sets and test sets are constructed based on down-resolution panchromatic images and multi-spectral images;
  • a distributed residual fusion model consisting of three branches is constructed, and the reduced-resolution panchromatic images and multispectral images in the training set are used as the input of the distributed residual fusion model, and the full-resolution multispectral images are used as the output.
  • the distributed residual fusion model is fully trained;
  • the reduced-resolution simulation test set and full-resolution panchromatic images and multispectral images are input into the trained distributed residual fusion model to obtain panchromatic sharpened images.
  • the preprocessing of the original image further includes: performing radiometric calibration, precise geometric correction and spatial registration on the original image.
  • the preprocessed original image is subjected to resolution reduction processing according to the Wald criterion, including:
  • the down-sampled multispectral image is up-sampled using the bicubic interpolation method, so that the image size of the input distributed residual fusion model remains the same.
  • a simulation training set and a test set are constructed based on the down-resolution and up-sampled multispectral image, the down-resolution panchromatic image and the original multispectral image.
  • the first branch of the distributed residual fusion model is composed of multi-layer panchromatic image residual modules for extracting panchromatic image features
  • the second branch is composed of multi-layer multi-spectral image residual modules for extracting multi-spectral image features
  • the third branch is composed of multi-layer convolution fusion modules.
  • the method further includes: inputting the reduced-resolution panchromatic images in the training set into a multi-layer panchromatic image residual module to perform layer-by-layer extraction of multi-scale panchromatic image features;
  • the multi-scale panchromatic image features, multi-scale multi-spectral image features and the fusion results of the previous step of the fusion branch extracted layer by layer are channel-spliced and input into the multi-layer convolution fusion module for layer-by-layer fusion.
  • the multi-layer convolution fusion module The fusion result of the last layer is the fusion result of the distributed residual fusion model, that is, the panchromatic sharpened image.
  • the panchromatic images of the training set are input into the panchromatic image residual module of the first layer of the first branch for extracting panchromatic image features, and the panchromatic image features of the first scale are obtained.
  • the panchromatic image residual module is represented by: in
  • PAN 0 represents the original panchromatic image
  • PAN 1 , PAN 2 , PAN 3 , and PAN 4 represent the features of different scales of the panchromatic image
  • h(PAN 0 ), h(PAN 1 ), h(PAN 2 ) and h(PAN 3 ) respectively represent the skip connection part in the first, second, third and fourth layers of panchromatic image residual modules of the first branch of the distributed residual fusion model
  • * represents the convolution operation.
  • the multispectral images of the training set are input into the multispectral image residual module of the first layer of the second branch for extracting multispectral image features, and the first scale multispectral image features are obtained, and the first layer
  • the first-scale multispectral image features are input into the second-layer multi-spectral image residual module to obtain the second-scale multi-spectral image features, and the second-layer multi-spectral image residual module is expressed by the following formula: in
  • the second-scale multispectral image features are input into the third-layer multi-spectral image residual module to obtain the third-scale multi-spectral image features, and the third-layer multi-spectral image residual module is expressed by the following formula: in
  • the third-scale multispectral image features are input into the fourth-layer multi-spectral image residual module to obtain fourth-scale multi-spectral image features, and the fourth-layer multi-spectral image residual module is expressed by the following formula: in
  • MS 0 represents the original multispectral image
  • MS 1 , MS 2 , MS 3 , and MS 4 represent the features of the multi-spectral image at different scales
  • h(MS 0 ), h(MS 1 ), h(MS 2 ) and h(MS 3 ) represent the skip connection part in the first, second, third and fourth-layer multispectral image residual modules of the second branch of the distributed residual fusion model
  • F(MS 0 , W MS0 ) Respectively represent the residual parts of the first, second, third, and fourth-layer multispectral image residual modules of the second branch of the distributed residual fusion model.
  • the panchromatic images and multispectral images of the training set are channel-spliced and input into the first-layer convolution fusion module of the third branch used for fusion to obtain a first-scale fusion result.
  • the product fusion module is represented by the following equation:
  • the first-scale panchromatic image features, the first-scale multispectral image features and the first-scale fusion results are channel-spliced and input into the second-layer convolution fusion module to obtain the second-scale fusion results.
  • the second-layer convolution fusion The module is represented by:
  • the second-scale panchromatic image features, the second-scale multispectral image features and the second-scale fusion results are channel-spliced and then input into the third-layer convolution fusion module to obtain a third-scale fusion result.
  • the third-layer convolution fusion The module is represented by:
  • the third-scale panchromatic image features, the third-scale multispectral image features and the third-scale fusion results are channel-spliced and then input into the fourth-layer convolution fusion module to obtain the fourth-scale fusion results.
  • the fourth-layer convolution fusion The module is represented by:
  • the fourth-scale panchromatic image features, the fourth-scale multispectral image features and the fourth-scale fusion results are channel-spliced and then input to the last layer of convolution fusion module, and the last layer of convolution fusion module is expressed by the following formula: Thereby obtaining the final fused image.
  • MSP 1 , MSP 2 , MSP 3 , and FMSP are the fusion results of different levels of the fusion branch of the distributed residual model;
  • W MSP0 , W MSP1 , W MSP2 , W MSP3 , and W MSP4 represent the distributed residuals, respectively
  • F MP is the fusion rule; Represents a concatenation operation.
  • the labeled multispectral image is compared with the fused multispectral image, so that the loss function is minimized and the distributed residual fusion model is optimized.
  • the distributed fusion method for remote sensing panchromatic and multispectral images based on residual network makes full use of the features of different scales of panchromatic images and multispectral images of two feature extraction branches and the fusion results of the previous step of the fusion branch , so that the subsequent fusion uses more spectral information and spatial information, and uses the residual module to extract remote sensing image features, uses features of different scales for fusion, retains more spectral information and spatial information, and improves spatial resolution and retention.
  • the spectral information has more superior performance and improves the fusion quality.
  • Fig. 1 is the flow chart of the distributed fusion method of remote sensing panchromatic and multispectral images based on residual network provided by the present invention
  • FIG. 2 is a structural diagram of a distributed residual fusion model provided by the present invention.
  • the present invention discloses a distributed fusion method for remote sensing panchromatic and multispectral images based on residual network, comprising the following steps:
  • Step 101 Acquire an original image of the target area through Landsat-8, Landsat-7, Quickbird, GF-2 satellites, and preprocess the original image, where the original image includes a panchromatic image and a multispectral image;
  • the preprocessing process further includes:
  • this embodiment involves pixel-level fusion, it is also necessary to perform spatial registration on the panchromatic image and the multispectral image.
  • Step 102 reduce the resolution of the preprocessed original image according to the Wald criterion, obtain a reduced-resolution panchromatic image and a multispectral image, and construct a simulation training set based on the reduced-resolution panchromatic image and the multispectral image at the same time. test set;
  • performing down-resolution processing on the pre-processed original image according to the Wald criterion includes the following steps: determining a downsampling factor, and performing a downsampling process on the original panchromatic image and the multispectral image according to the Wald criterion Downsampling using bicubic interpolation method;
  • the size of the down-sampled panchromatic image remains unchanged, and then the down-sampled multispectral image is up-sampled using the bicubic interpolation method, so that the size of the up-sampled multi-spectral image is the same as that of the down-sampled panchromatic image.
  • the down-resolution and up-sampled multispectral images, down-resolution panchromatic images, and original multispectral images of the Landsat-8 satellite are used as training sets.
  • the down-resolution and up-sampled multispectral images and down-resolution panchromatic images of the four satellites Landsat-8, Landsat-7, Quickbird and GF-2 are used.
  • raw multispectral images as simulation test set and full resolution test set.
  • step 103 construct a distributed residual fusion model consisting of three branches, and use the reduced-resolution panchromatic image and multispectral image in the training set as the input of the distributed residual fusion model.
  • the spectral image is used as the output, and the distributed residual fusion model is fully trained;
  • the first branch of the distributed residual fusion model is composed of multi-layer panchromatic image residual modules for extracting panchromatic image features
  • the second branch is composed of multi-layer multi-spectral image residual modules used to extract multi-spectral image features
  • the third branch is composed of the multi-scale features used for the first two branches and the third branch.
  • the branch is composed of a multi-layer convolution fusion module that fuses the fusion results of the previous step.
  • the reduced-resolution panchromatic and multispectral images of the training set are used as the input of the distributed residual fusion model, and the corresponding full-resolution multispectral images are used as the output.
  • the training of the distributed residual fusion model includes the following steps:
  • the first branch first inputs the panchromatic images of the training set into the first-layer panchromatic image residual module to obtain the first-scale panchromatic image features.
  • the first-layer panchromatic image residual module includes residual parts and skip connections part, where the convolution part of the residual part uses 2 layers of 3 ⁇ 3 ⁇ 32 convolution kernels, where the size of the convolution kernel is 3 ⁇ 3, the number of convolution kernels is 32, and the following form of the convolution kernel As in the meaning of this convolution kernel form, the skip connection part uses a layer of 1 ⁇ 1 ⁇ 32 convolution kernel, and the first layer of panchromatic image residual module is represented by the following formula: in
  • PAN 0 represents the original panchromatic image
  • PAN 1 , PAN 2 , PAN 3 , and PAN 4 represent the features of different scales of the panchromatic image
  • h(PAN 0 ), h(PAN 1 ), h(PAN 2 ) and h(PAN 3 ) respectively represent the skip connection part in the first, second, third and fourth layers of panchromatic image residual modules of the first branch of the distributed residual fusion model
  • * represents the convolution operation.
  • the first-scale multispectral image features are input into the second-layer multi-spectral image residual module to obtain the second-scale multi-spectral image features
  • the convolution part of the residual part in the second-layer multi-spectral image residual module uses Two layers of 3 ⁇ 3 ⁇ 64 convolution kernels, one layer of 1 ⁇ 1 ⁇ 64 convolution kernels are used in the skip connection part, and the second layer of multispectral image residual module is expressed by the following formula: in
  • the convolution part of the residual part in the third-layer multispectral image residual module uses two layers 3 ⁇ 3 ⁇ 128 convolution kernel
  • the skip connection part uses 1 layer 1 ⁇ 1 ⁇ 128 convolution kernel
  • the third layer multispectral image residual module is expressed by the following formula: in
  • the third-scale multispectral image features are input into the fourth-layer multi-spectral image residual module to obtain fourth-scale multi-spectral image features, and the convolution part of the residual part in the fourth-layer multi-spectral image residual module uses Two layers of 3 ⁇ 3 ⁇ 256 convolution kernels, and one layer of 1 ⁇ 1 ⁇ 256 convolution kernels are used in the skip connection part.
  • the fourth layer of multispectral image residual module is represented by the following formula: in
  • MS 0 represents the original multispectral image
  • MS 1 , MS 2 , MS 3 , and MS 4 represent the features of the multi-spectral image at different scales
  • h(MS 0 ), h(MS 1 ), h(MS 2 ) and h(MS 3 ) represent the skip connection part in the first, second, third and fourth-layer multispectral image residual modules of the second branch of the distributed residual fusion model
  • F(MS 0 , W MS0 ) Respectively represent the residual parts of the first, second, third, and fourth-layer multispectral image residual modules of the second branch of the distributed residual fusion model.
  • the first layer convolution fusion model uses 3 layers of 1 ⁇ 1 ⁇ 32 convolution kernel, the first layer convolution fusion model is represented by the following formula:
  • the first-scale panchromatic image features, the first-scale multispectral image features and the first-scale fusion results are channel-spliced and input into the second-layer convolution fusion module to obtain the second-scale fusion results.
  • the second-layer convolution fusion The module uses 3 layers of 1 ⁇ 1 ⁇ 64 convolution kernels, and the second layer convolution fusion module is represented by the following formula:
  • the second-scale panchromatic image features, the second-scale multispectral image features and the second-scale fusion results are channel-spliced and then input into the third-layer convolution fusion module to obtain the third-scale fusion results.
  • the third-layer convolution fusion module Using 3 layers of 1 ⁇ 1 ⁇ 128 convolution kernels, the third layer convolution fusion module is represented by the following formula:
  • the third-scale panchromatic image features, the third-scale multispectral image features and the third-scale fusion results are channel-spliced and then input into the fourth-layer convolution fusion module to obtain the fourth-scale fusion results.
  • the fourth-layer convolution fusion The module uses 3 layers of 1 ⁇ 1 ⁇ 256 convolution kernels, and the fourth layer convolution fusion module is represented by the following formula:
  • the fourth-scale panchromatic image features, the fourth-scale multispectral image features and the fourth-scale fusion results are channel-spliced and input to the last layer of convolution fusion module, the last layer of convolution fusion module uses a layer of 1 ⁇ 1 ⁇ 3 convolution kernel image fusion, which is specifically expressed as Thereby obtaining the final fused image.
  • MSP 1 , MSP 2 , MSP 3 , and FMSP are the fusion results of different levels of the fusion branch of the distributed residual model;
  • W MSP0 , W MSP1 , W MSP2 , W MSP3 , and W MSP4 represent the distributed residuals, respectively
  • F MP is the fusion rule; Represents a concatenation operation.
  • the labeled multispectral image is compared with the fused multispectral image, using a loss function Calculate, use Adam Optimizer to optimize the loss function during the training process.
  • the loss function is the smallest
  • the obtained fusion image is the optimal fusion image
  • the distributed residual fusion model is also trained, and the optimal training is obtained. Effect.
  • i represents the ith sample
  • m is the number of samples
  • HM (i) is the ideal fusion result (label) of the ith sample
  • F(MS (i) , PAN (i) , W) represents the ith sample The fusion results of the samples.
  • Step 104 Input the reduced-resolution simulation test set, full-resolution panchromatic images and multispectral images into the trained distributed residual fusion model to obtain full-resolution panchromatic sharpened images and high-resolution images, respectively. pan-sharpened images.
  • the fusion results are subjectively evaluated, and objective indicators are used to objectively evaluate the fusion results.
  • the effect of the present invention can be illustrated by the following comparative experiments, as follows: a remote sensing image of Haikou City, Hainan province, near the South China Sea, obtained on November 8, 2000 by the Landsat-7 satellite sensor.
  • the multispectral image has a spatial resolution of 30 meters and a pixel size of 600 ⁇ 600; the corresponding panchromatic image has a resolution of 15 meters and a pixel size of 1200 ⁇ 1200.
  • the 30-meter panchromatic and 60-meter multispectral simulation images were obtained by downsampling the 15-meter spatial resolution panchromatic image and the 30-meter spatial resolution multispectral image with a factor of 2.
  • Six methods are respectively used: Brovey, GS, SFIM, IFCNN, PNN, and DRPNN to compare with the distributed fusion method based on residual network of the present invention.
  • the analysis of the fusion results of the reduced resolution data is shown in Table 1.
  • the distributed fusion method based on the residual network proposed by the present invention can improve the resolution to a greater extent while retaining the spectral information, and reduce spectral distortion and spatial distortion.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供基于残差网络的遥感全色和多光谱图像分布式融合方法，主要解决现有技术中光谱失真、空间分辨率低、融合质量不高的问题，本申请包括下列步骤：通过卫星采集目标区域的原始图像，并对所述原始图像进行预处理；根据Wald准则使用预处理后全色图像和多光谱图像构建仿真训练集和测试集，构建由3个支路构成的基于残差网络的分布式融合模型，将训练集的全色和多光谱图像作为网络的输入，对网络进行充分训练；将待融合的全色和多光谱图像输入到训练好的融合网络中，得到融合图像。本发明使用不同支路不同尺度的特征进行融合，保留更多的光谱信息和空间信息，在提高空间分辨率和保留光谱信息方面更具优越性能，提高了融合质量。

Description

基于残差网络的遥感全色和多光谱图像分布式融合方法 技术领域
本发明涉及遥感图像处理技术领域，尤其涉及基于残差网络的遥感全色和多光谱图像分布式融合方法。
背景技术
遥感影像被广泛应用于各行各业，例如农业产量预测、农业林业病虫害检测、灾害预测、地质探测、国防、植被覆盖和土地利用、环境变化检测等等。但是由于卫星传感器技术的限制，不能同时获得高空间分辨率高光谱分辨率的图像，只能获得高空间分辨率低光谱分辨率的全色图像(PAN)和低空间分辨率高光谱分辨率的多光谱图像(MS)。但是各个领域需要使用既具有高空间分辨率又具有高光谱分辨率的图像，甚至要求具有高时间分辨率的图像。利用高空间分辨率低光谱分辨率的图像和高光谱分辨率低空间分辨率的冗余和互补信息，获得高空间分辨率高光谱分辨率的图像(HSHM)。生成这种图像的图像处理技术目前主要有图像增强、超分辨率重建、图像融合等等。其中使用最多的、主要的研究技术就是图像融合技术，它是指将多个传感器的多个图像通过一定方法生成一个质量更高、信息更丰富的图像，提高人们的视觉感受、更容易通过图像做出更精确的决策。
多光谱图像和全色图像融合技术(也称作全色锐化)是遥感图像处理领域研究的热门、重点之一。融合方法可以大体可分为传统方法、深度学习方法。传统方法中普遍被分为成分替换方法、多分辨率分析法、混合方法、基于模型法。虽然Brovey变换、施密特正交变换(GS)、主成分分析方法(PCA)等成分替代方法以及这些方法的变体被广泛应用于各个软件中，但是它们存在光谱失真、空间过度锐化的问题。小波变化、拉普拉斯金字塔分解、轮廓波变换、曲波变换、非下采样剪切波变换等多分辨率分析方法及其变体虽然减少了光谱 失真，但是空间分辨率比较低，还可能出现振铃现象。随着深度学习技术的发展，各个深度学习网络开始应用于全色锐化方向，其中使用最多的就是卷积神经网络，虽然像PNN、DRPNN、PanNet、PanGAN等网络的提出用于全色锐化取得了一定的效果，但是还是会存在光谱失真、空间分辨率低、融合质量不高的问题。
发明内容
本发明的目的在于提供基于残差网络的遥感全色和多光谱图像分布式融合方法，以解决上述背景技术中提出的问题。
本发明是通过以下技术方案实现的：基于残差网络的遥感全色和多光谱图像分布式融合方法，包括下列步骤：
通过卫星采集目标区域的原始图像，并对所述原始图像进行预处理，所述原始图像包括全色图像和多光谱图像；
根据Wald准则对预处理后的原始图像进行降分辨率处理，获得降分辨率的全色图像和多光谱图像，同时基于降分辨率的全色图像以及多光谱图像构建仿真训练集以及测试集；
构建由3个支路构成的分布式残差融合模型，将训练集中降分辨率的全色图像和多光谱图像作为分布式残差融合模型的输入，全分辨率多光谱图像作为输出，对所述分布式残差融合模型进行充分训练；
将降分辨率的仿真测试集和全分辨率的全色图像和多光谱图像输入到训练好的分布式残差融合模型，得到全色锐化图像。
优选的，对所述原始图像进行预处理还包括：对原始图像进行辐射定标、几何精校正和空间配准。
优选的，根据Wald准则对预处理后的原始图像进行降分辨率处理，包括：
确定下采样因子，根据Wald准则对所述原始全色图像和多光谱图像使用双 三次插值方法进行下采样；
根据Wald准则对下采样后的多光谱图像使用双三次插值方法进行上采样，使输入分布式残差融合模型的图像尺寸大小保持一样。
优选的，基于降分辨率上采样后的多光谱图像、降分辨率全色图像以及原始多光谱图像构建仿真训练集和测试集。
优选的，所述分布式残差融合模型的第1个支路是由用于提取全色图像特征的多层全色图像残差模块构成；
第2个支路是由用于提取多光谱图像特征的多层多光谱图像残差模块构成；
第3个支路是由多层卷积融合模块构成。
优选的，所述方法还包括：将训练集中降分辨率的全色图像输入多层全色图像残差模块中进行多尺度全色图像特征的逐层提取；
将训练集中降分辨率的多光谱图像输入多层多光谱图像残差模块中进行多尺度多光谱图像特征的逐层提取；
将逐层提取的多尺度全色图像特征、多尺度多光谱图像特征以及融合支路前一步的融合结果进行通道拼接后输入多层卷积融合模块中进行逐层融合，多层卷积融合模块最后一层的融合结果就是所述分布式残差融合模型的融合结果，即全色锐化图像。
优选的，将训练集的全色图像输入用于提取全色图像特征的第1个支路的第一层全色图像残差模块中，获得第一尺度全色图像特征，所述第一层全色图像残差模块通过下式表示：
Figure PCTCN2021118578-appb-000001
其中
Figure PCTCN2021118578-appb-000002
将所述第一尺度全色图像特征输入第二层全色图像残差模块中，获得第二尺度全色图像特征，所述第二层全色图像残差模块通过下式表示：
Figure PCTCN2021118578-appb-000003
其中
Figure PCTCN2021118578-appb-000004
将所述第二尺度全色图像特征输入第三层全色图像残差模块中，获得第三尺度全色图像特征，所述全色图像第三层残差模块通过下式表示：
Figure PCTCN2021118578-appb-000005
其中
Figure PCTCN2021118578-appb-000006
将所述第三尺度全色图像特征输入第四层全色图像残差模块中，获得第四尺度全色图像特征，所述第四层全色图像残差模块通过下式表示：
Figure PCTCN2021118578-appb-000007
其中
Figure PCTCN2021118578-appb-000008
式中，PAN 0表示原始全色图像，PAN 1、PAN 2、PAN 3、PAN 4表示全色图像不同尺度特征；
Figure PCTCN2021118578-appb-000009
分别表示分布式残差融合模型第1个支路的第一、二、三、四层全色图像残差模块中的卷积核；h(PAN 0)、h(PAN 1)、h(PAN 2)、h(PAN 3)分别表示分布式残差融合模型第1个支路第一、二、三、四层全色图像残差模块中的跳跃连接部分；
Figure PCTCN2021118578-appb-000010
Figure PCTCN2021118578-appb-000011
分别表示分布式残差融合模型第1个支路第一、二、三、四层全色图像残差模块中的残差部分；*表示卷积操作。
优选的，将训练集的多光谱图像输入用于提取多光谱图像特征的第2个支路的第一层多光谱图像残差模块中，获得第一尺度多光谱图像特征，所述第一层多光谱图像残差模块通过下式表示：MS 1＝h(MS 0)+F(MS 0,W MS0)，其中h(MS 0)＝W MS0′*MS 0；
将第一尺度多光谱图像特征输入第二层多光谱图像残差模块中，获得第二尺度多光谱图像特征，所述第二层多光谱图像残差模块通过下式表示：
Figure PCTCN2021118578-appb-000012
其中
Figure PCTCN2021118578-appb-000013
将第二尺度多光谱图像特征输入第三层多光谱图像残差模块中，获得第三尺度多光谱图像特征，所述第三层多光谱图像残差模块通过下式表示：
Figure PCTCN2021118578-appb-000014
其中
Figure PCTCN2021118578-appb-000015
将第三尺度多光谱图像特征输入第四层多光谱图像残差模块中，获得第四尺度多光谱图像特征，所述第四层多光谱图像残差模块通过下式表示：
Figure PCTCN2021118578-appb-000016
其中
Figure PCTCN2021118578-appb-000017
式中，MS 0表示原始多光谱图像，MS 1、MS 2、MS 3、MS 4表示多光谱图像不同尺度特征；
Figure PCTCN2021118578-appb-000018
分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的卷积核；h(MS 0)、h(MS 1)、h(MS 2)、h(MS 3)分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的跳跃连接部分；F(MS 0,W MS0)、
Figure PCTCN2021118578-appb-000019
Figure PCTCN2021118578-appb-000020
分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的残差部分。
优选的，将训练集的全色图像和多光谱图像进行通道拼接后输入用于融合的第3个支路的第一层卷积融合模块，获得第一尺度融合结果，所述第一层卷积融合模块通过下式表示：
Figure PCTCN2021118578-appb-000021
将第一尺度全色图像特征、第一尺度多光谱图像特征与第一尺度融合结果进行通道拼接后输入第二层卷积融合模块，获得第二尺度融合结果，所述第二层卷积融合模块通过下式表示：
Figure PCTCN2021118578-appb-000022
将第二尺度全色图像特征、第二尺度多光谱图像特征与第二尺度融合结果进行通道拼接后输入第三层卷积融合模块，获得第三尺度融合结果，所述第三层卷积融合模块通过下式表示：
Figure PCTCN2021118578-appb-000023
将第三尺度全色图像特征、第三尺度多光谱图像特征与第三尺度融合结果进行通道拼接后输入第四层卷积融合模块，获得第四尺度融合结果，所述第四层卷积融合模块通过下式表示：
Figure PCTCN2021118578-appb-000024
将第四尺度全色图像特征、第四尺度多光谱图像特征与第四尺度融合结果 进行通道拼接后输入到最后一层卷积融合模块，所述最后一层卷积融合模块通过下式表示：
Figure PCTCN2021118578-appb-000025
从而获得最终的融合图像。
式中，MSP 1、MSP 2、MSP 3、FMSP分别是分布式残差模型的融合支路不同层级的融合结果；W MSP0、W MSP1、W MSP2、W MSP3、W MSP4分别表示分布式残差模型的融合支路第一、二、三、四、五层的卷积核；F MP是融合规则；
Figure PCTCN2021118578-appb-000026
表示拼接操作。
优选的，将标签多光谱图像与融合的多光谱图像进行对比，使得损失函数最小，分布式残差融合模型达到最优。
与现有技术相比，本发明达到的有益效果如下：
本发明提供的基于残差网络的遥感全色和多光谱图像分布式融合方法，充分利用2个特征提取支路的全色图像和多光谱图像不同尺度的特征以及融合支路前一步的融合结果，使后面的融合利用更多的光谱信息、空间信息，而且使用残差模块提取遥感图像特征，使用不同尺度的特征进行融合，保留更多的光谱信息和空间信息，在提高空间分辨率和保留光谱信息方面更具优越性能，提高了融合质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于残差网络的遥感全色和多光谱图像分布式融合方法的流程图；
图2为本发明提供的分布式残差融合模型的结构图。
具体实施方式
为了更好理解本发明技术内容，下面提供具体实施例，并结合附图对本发明做进一步的说明。
参见图1，本发明公开了一种基于残差网络的遥感全色和多光谱图像分布式融合方法，包括下列步骤：
步骤101：通过Landsat-8、Landsat-7、Quickbird、GF-2卫星采集目标区域的原始图像，并对所述原始图像进行预处理，所述原始图像包括全色图像和多光谱图像；
其预处理的过程还进一步包括：
根据采集到的上述四个卫星数据级别，对原始图像进行辐射定标、几何精校正操作。
同时由于本实施方式涉及到像素级融合，还需要对全色图像和多光谱图像进行空间配准。
步骤102：根据Wald准则对预处理后的原始图像进行降分辨率处理，获得降分辨率的全色图像和多光谱图像，同时基于降分辨率的全色图像以及多光谱图像构建仿真训练集以及测试集；
在本申请提供的一个可选实施例中，根据Wald准则对预处理后的原始图像进行降分辨率处理包括下列步骤：确定下采样因子，根据Wald准则对所述原始全色图像和多光谱图像使用双三次插值方法进行下采样；
其下采样后的全色图像尺寸保持不变，然后对下采样后的多光谱图像使用双三次插值方法上采样，使上采样后的多光谱图像尺寸和下采样后的全色图像尺寸一样。
在完成对所有预处理后的原始图像进行降分辨率处理后，使用Landsat-8卫星的降分辨率上采样后的多光谱图像、降分辨率的全色图像以及原始多光谱图像作为训练集，为了更好地验证分布式残差融合模型的性能，使用Landsat-8、Landsat-7、Quickbird以及GF-2四个卫星的降分辨率上采样后的多光谱图像、 降分辨率的全色图像以及原始多光谱图像作为仿真测试集和全分辨率测试集。
参见图2，步骤103：构建由3个支路构成的分布式残差融合模型，将训练集中降分辨率的全色图像和多光谱图像作为分布式残差融合模型的输入，全分辨率多光谱图像作为输出，对所述分布式残差融合模型进行充分训练；
所述分布式残差融合模型的第1个支路是由用于提取全色图像特征的多层全色图像残差模块构成；
第2个支路是由用于提取多光谱图像特征的多层多光谱图像残差模块构成，第3个支路是由用于所述的前2个支路的多尺度特征和第3个支路前一步融合结果进行融合的多层卷积融合模块组成。
将训练集的降分辨率的全色图像和多光谱图像作为分布式残差融合模型的输入，对应的全分辨率的多光谱图像作为输出。
在本申请提供的一个可选实施例中，所述分布式残差融合模型的训练包括下列步骤：
第1个支路首先将训练集的全色图像输入第一层全色图像残差模块中，获得第一尺度全色图像特征，第一层全色图像残差模块包括残差部分和跳跃连接部分，其中残差部分的卷积部分使用2层3×3×32卷积核，其中卷积核的大小是3×3，卷积核的个数是32，下述的卷积核的形式和该卷积核形式的意义一样，跳跃连接部分使用1层1×1×32卷积核，所述第一层全色图像残差模块通过下式表示：
Figure PCTCN2021118578-appb-000027
其中
Figure PCTCN2021118578-appb-000028
将所述第一尺度全色图像特征输入第二层全色图像残差模块中，获得第二尺度全色图像特征，第二层全色图像残差模块中的残差部分的卷积部分使用2层3×3×64卷积核，跳跃连接部分使用1层1×1×64卷积核，所述第二层全色图像残差模块通过下式表示：
Figure PCTCN2021118578-appb-000029
其中
Figure PCTCN2021118578-appb-000030
将所述第二尺度全色图像特征输入第三层全色图像残差模块中，获得第三 尺度全色图像特征，全色图像第三层残差模块中的残差部分的卷积部分使用2层3×3×128卷积核，跳跃连接部分使用1层1×1×128卷积核，所述全色图像第三层残差模块通过下式表示：
Figure PCTCN2021118578-appb-000031
其中
Figure PCTCN2021118578-appb-000032
将所述第三尺度全色图像特征输入第四层全色图像残差模块中，获得第四尺度全色图像特征，第四层全色图像残差模块中的残差部分的卷积部分使用2层3×3×256卷积核，跳跃连接部分使用1层1×1×256卷积核，所述第四层全色图像卷积模型通过下式表示：
Figure PCTCN2021118578-appb-000033
其中
Figure PCTCN2021118578-appb-000034
式中，PAN 0表示原始全色图像，PAN 1、PAN 2、PAN 3、PAN 4表示全色图像不同尺度特征；
Figure PCTCN2021118578-appb-000035
分别表示分布式残差融合模型第1个支路的第一、二、三、四层全色图像残差模块中的卷积核；h(PAN 0)、h(PAN 1)、h(PAN 2)、h(PAN 3)分别表示分布式残差融合模型第1个支路第一、二、三、四层全色图像残差模块中的跳跃连接部分；
Figure PCTCN2021118578-appb-000036
Figure PCTCN2021118578-appb-000037
分别表示分布式残差融合模型第1个支路第一、二、三、四层全色图像残差模块中的残差部分；*表示卷积操作。
将训练集的多光谱图像输入第2个支路的第一层光谱图像残差模块，获得第一尺度多光谱图像特征，第一层多光谱图像残差模块中的残差部分的卷积部分使用2层3×3×32卷积核，跳跃连接部分使用1层1×1×32卷积核，所述第一层多光谱图像卷积模型通过下式表示：MS 1＝h(MS 0)+F(MS 0,W MS0)，其中h(MS 0)＝W MS0′*MS 0；
将第一尺度多光谱图像特征输入第二层多光谱图像残差模块中，获得第二尺度多光谱图像特征，所述第二层多光谱图像残差模块中的残差部分的卷积部分使用2层3×3×64卷积核，跳跃连接部分使用1层1×1×64卷积核，所述 第二层多光谱图像残差模块通过下式表示：
Figure PCTCN2021118578-appb-000038
其中
Figure PCTCN2021118578-appb-000039
将第二尺度多光谱图像特征输入第三层多光谱图像残差模块中，获得第三尺度多光谱图像特征，第三层多光谱图像残差模块中的残差部分的卷积部分使用2层3×3×128卷积核，跳跃连接部分使用1层1×1×128卷积核，所述第三层多光谱图像残差模块通过下式表示：
Figure PCTCN2021118578-appb-000040
其中
Figure PCTCN2021118578-appb-000041
将第三尺度多光谱图像特征输入第四层多光谱图像残差模块中，获得第四尺度多光谱图像特征，所述第四层多光谱图像残差模块中的残差部分的卷积部分使用2层3×3×256卷积核，跳跃连接部分使用1层1×1×256卷积核，所述第四层多光谱图像残差模块通过下式表示：
Figure PCTCN2021118578-appb-000042
其中
Figure PCTCN2021118578-appb-000043
式中，MS 0表示原始多光谱图像，MS 1、MS 2、MS 3、MS 4表示多光谱图像不同尺度特征；
Figure PCTCN2021118578-appb-000044
分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的卷积核；h(MS 0)、h(MS 1)、h(MS 2)、h(MS 3)分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的跳跃连接部分；F(MS 0,W MS0)、
Figure PCTCN2021118578-appb-000045
Figure PCTCN2021118578-appb-000046
分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的残差部分。
将训练集的全色图像和多光谱图像进行通道拼接后输入第3个支路的第一层卷积融合模块，获得第一尺度融合结果，第一层卷积融合模型使用3层1×1×32卷积核，所述第一层卷积融合模型通过下式表示：
Figure PCTCN2021118578-appb-000047
将第一尺度全色图像特征、第一尺度多光谱图像特征与第一尺度融合结果进行通道拼接后输入第二层卷积融合模块，获得第二尺度融合结果，所述第二 层卷积融合模块使用3层1×1×64卷积核，所述第二层卷积融合模块通过下式表示：
Figure PCTCN2021118578-appb-000048
第二尺度全色图像特征、第二尺度多光谱图像特征与第二尺度融合结果进行通道拼接后输入第三层卷积融合模块，获得第三尺度融合结果，所述第三层卷积融合模块使用3层1×1×128卷积核，所述第三层卷积融合模块通过下式表示：
Figure PCTCN2021118578-appb-000049
将第三尺度全色图像特征、第三尺度多光谱图像特征与第三尺度融合结果进行通道拼接后输入第四层卷积融合模块，获得第四尺度融合结果，所述第四层卷积融合模块使用3层1×1×256卷积核，所述第四层卷积融合模块通过下式表示：
Figure PCTCN2021118578-appb-000050
将第四尺度全色图像特征、第四尺度多光谱图像特征与第四尺度融合结果进行通道拼接后输入到最后一层卷积融合模块，最后一层卷积融合模块使用1层1×1×3卷积核图像融合，其具体表示为
Figure PCTCN2021118578-appb-000051
从而获得最终的融合图像。
式中，MSP 1、MSP 2、MSP 3、FMSP分别是分布式残差模型的融合支路不同层级的融合结果；W MSP0、W MSP1、W MSP2、W MSP3、W MSP4分别表示分布式残差模型的融合支路第一、二、三、四、五层的卷积核；F MP是融合规则；
Figure PCTCN2021118578-appb-000052
表示拼接操作。
进一步的，将标签多光谱图像与融合的多光谱图像进行对比，使用损失函数
Figure PCTCN2021118578-appb-000053
进行计算，训练过程中使用Adam Optimizer对损失函数进行优化，当损失函数最小时，所获得的融合图像即为最优融合图像，其分布式残差融合模型也训练完毕，并获得了最优训练效果。
式中，i表示第i个样本，m是样本个数，HM (i)是第i个样本的理想融合结 果(标签)，F(MS (i),PAN (i),W)表示第i个样本的融合结果。
步骤104：将降分辨率的仿真测试集、全分辨率的全色图像和多光谱图像输入到训练好的分布式残差融合模型，分别得到全分辨率的全色锐化图像以及高分辨率的全色锐化图像。并对融合结果进行主观评价，以及使用客观指标对融合结果进行客观评价。
本发明的效果可通过以下对比实验说明，具体如下：采用Landsat-7卫星传感器在2000年11月8号获取的海南省海口市靠近南海的遥感图像。其中多光谱图像空间分辨率是30米，像素大小是600×600；对应的全色图像分辨率是15米，像素大小是1200×1200。按照Wald准则对空间分辨率15米全色图像和空间分辨率30米多光谱图像以2倍因子进行下采样操作获得30米全色和60米多光谱仿真图像。分别使用6种方法分别为：Brovey、GS、SFIM、IFCNN、PNN、DRPNN与本发明基于残差网络的分布式融合方法进行对比。其中降分辨率数据的融合结果指标分析如表1。
表1
  CC RMSE SSIM UIQI SAM ERGAS
Brovey 0.8819 0.0793 0.8926 0.8815 9.2119 9.9810
GS 0.7942 0.1824 0.8010 0.7939 19.0672 23.6314
SFIM 0.8948 0.0406 0.8924 0.8944 5.2782 5.1774
IFCNN 0.8427 0.1527 0.8320 0.8417 17.8146 19.9831
PNN 0.8942 0.0419 0.9071 0.8932 5.7434 5.1783
DRPNN 0.9437 0.0384 0.9224 0.9421 5.1820 4.7071
Proposed 0.9662 0.0362 0.9279 0.9658 4.7233 4.3570
从表1的6个客观评价指标数据可以看出，本发明提出的基于残差网络的分布式融合方法效果是比较好的。本发明提出的基于残差网络的分布式融合方法能更大程度提高分辨率的同时保留光谱信息，减小光谱失真和空间失真。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

  1. 基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，包括下列步骤：
    通过卫星采集目标区域的原始图像，并对所述原始图像进行预处理，所述原始图像包括全色图像和多光谱图像；
    根据Wald准则对预处理后的原始图像进行降分辨率处理，获得降分辨率的全色图像和多光谱图像，同时基于降分辨率的全色图像以及多光谱图像构建仿真训练集以及测试集；
    构建由3个支路构成的分布式残差融合模型，将训练集中降分辨率的全色图像和多光谱图像作为分布式残差融合模型的输入，全分辨率多光谱图像作为输出，对所述分布式残差融合模型进行充分训练；
    将降分辨率的仿真测试集和全分辨率的全色图像和多光谱图像输入到训练好的分布式残差融合模型，得到全色锐化图像。
  2. 根据权利要求1所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，对所述原始图像进行预处理包括：对原始图像进行辐射定标、几何精校正和空间配准。
  3. 根据权利要求2所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，根据Wald准则对预处理后的原始图像进行降分辨率处理，包括：
    确定下采样因子，根据Wald准则对所述原始全色图像和多光谱图像使用双三次插值方法进行下采样；
    根据Wald准则对下采样后的多光谱图像使用双三次插值方法进行上采样，使输入分布式残差融合模型的图像尺寸大小保持一样。
  4. 根据权利要求3所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，基于降分辨率上采样后的多光谱图像、降分辨率全色图像以及原始多光谱图像构建仿真训练集和测试集。
  5. 根据权利要求4所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，所述分布式残差融合模型的第1个支路是由用于提取全色图像特征的多层全色图像残差模块构成；
    第2个支路是由用于提取多光谱图像特征的多层多光谱图像残差模块构成；
    第3个支路是由多层卷积融合模块构成。
  6. 根据权利要求5所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，所述方法还包括：
    将训练集中降分辨率的全色图像输入多层全色图像残差模块中进行多尺度全色图像特征的逐层提取；
    将训练集中降分辨率的多光谱图像输入多层多光谱图像残差模块中进行多尺度多光谱图像特征的逐层提取；
    将逐层提取的多尺度全色图像特征、多尺度多光谱图像特征以及融合支路前一步的融合结果进行通道拼接后输入多层卷积融合模块中进行逐层融合，多层卷积融合模块最后一层的融合结果为所述分布式残差融合模型的融合结果，即全色锐化图像。
  7. 根据权利要求6所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，将训练集中降分辨率的全色图像输入用于提取全色图像特征的第1个支路的第一层全色图像残差模块中，获得第一尺度全色图像特征，所述第一层全色图像残差模块通过下式表示：
    Figure PCTCN2021118578-appb-100001
    其中
    Figure PCTCN2021118578-appb-100002
    将所述第一尺度全色图像特征输入第二层全色图像残差模块中，获得第二尺度全色图像特征，所述第二层全色图像残差模块通过下式表示：
    Figure PCTCN2021118578-appb-100003
    其中
    Figure PCTCN2021118578-appb-100004
    将所述第二尺度全色图像特征输入第三层全色图像残差模块中，获得第三尺度全色图像特征，所述第三层全色图像残差模块通过下式表示：
    Figure PCTCN2021118578-appb-100005
    其中
    Figure PCTCN2021118578-appb-100006
    将所述第三尺度全色图像特征输入第四层全色图像残差模块中，获得第四尺度全色图像特征，所述第四层全色图像残差模块通过下式表示：
    Figure PCTCN2021118578-appb-100007
    其中
    Figure PCTCN2021118578-appb-100008
    式中，PAN 0表示原始全色图像，PAN 1、PAN 2、PAN 3、PAN 4表示全色图像不同尺度特征；
    Figure PCTCN2021118578-appb-100009
    分别表示分布式残差融合模型第1个支路的第一、二、三、四层全色图像残差模块中的卷积核；h(PAN 0)、h(PAN 1)、h(PAN 2)、h(PAN 3)分别表示分布式残差融合模型第1个支路第一、二、三、四层全色图像残差模块中的跳跃连接部分；
    Figure PCTCN2021118578-appb-100010
    Figure PCTCN2021118578-appb-100011
    分别表示分布式残差融合模型第1个支路第一、二、三、四层全色图像残差模块中的残差部分；*表示卷积操作。
  8. 根据权利要求7所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，将训练集中降分辨率的多光谱图像输入用于提取多光谱图像特征的第2个支路的第一层多光谱图像残差模块中，获得第一尺度多光谱图像特征，所述第一层多光谱图像残差模块通过下式表示：MS 1＝h(MS 0)+F(MS 0,W MS0)，其中h(MS 0)＝W MS0′*MS 0；
    将第一尺度多光谱图像特征输入第二层多光谱图像残差模块中，获得第二尺度多光谱图像特征，所述第二层多光谱图像残差模块通过下式表示：
    Figure PCTCN2021118578-appb-100012
    其中
    Figure PCTCN2021118578-appb-100013
    将第二尺度多光谱图像特征输入第三层多光谱图像残差模块中，获得第三尺度多光谱图像特征，所述第三层多光谱图像残差模块通过下式表示：
    Figure PCTCN2021118578-appb-100014
    其中
    Figure PCTCN2021118578-appb-100015
    将第三尺度多光谱图像特征输入第四层多光谱图像残差模块中，获得第四尺度多光谱图像特征，所述第四层多光谱图像残差模块通过下式表示：
    Figure PCTCN2021118578-appb-100016
    其中
    Figure PCTCN2021118578-appb-100017
    式中，MS 0表示原始多光谱图像，MS 1、MS 2、MS 3、MS 4表示多光谱图像不同尺度特征；
    Figure PCTCN2021118578-appb-100018
    分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的卷积核；h(MS 0)、h(MS 1)、h(MS 2)、h(MS 3)分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的跳跃连接部分；F(MS 0,W MS0)、
    Figure PCTCN2021118578-appb-100019
    Figure PCTCN2021118578-appb-100020
    分别表示分布式残差融合模型第2个支路的第一、二、三、四层多光谱图像残差模块中的残差部分。
  9. 根据权利要求8所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，将训练集中降分辨率的全色图像和多光谱图像进行通道拼接后输入用于融合的第3个支路的第一层卷积融合模块，获得第一尺度融合结果，所述第一层卷积融合模块通过下式表示：
    Figure PCTCN2021118578-appb-100021
    将第一尺度全色图像特征、第一尺度多光谱图像特征与第一尺度融合结果进行通道拼接后输入第二层卷积融合模块，获得第二尺度融合结果，所述第二层卷积融合模块通过下式表示：
    Figure PCTCN2021118578-appb-100022
    将第二尺度全色图像特征、第二尺度多光谱图像特征与第二尺度融合结果进行通道拼接后输入第三层卷积融合模块，获得第三尺度融合结果，所述第三层卷积融合模块通过下式表示：
    Figure PCTCN2021118578-appb-100023
    将第三尺度全色图像特征、第三尺度多光谱图像特征与第三尺度融合结果进行通道拼接后输入第四层卷积融合模块，获得第四尺度融合结果，所述第四层卷积融合模块通过下式表示：
    Figure PCTCN2021118578-appb-100024
    将第四尺度全色图像特征、第四尺度多光谱图像特征与第四尺度融合结果 进行通道拼接后输入到最后一层卷积融合模块，获得最终的全色锐化图像，所述最后一层卷积融合模块通过下式表示：
    Figure PCTCN2021118578-appb-100025
    式中，MSP 1、MSP 2、MSP 3、FMSP分别是分布式残差模型的融合支路不同层级的融合结果；W MSP0、W MSP1、W MSP2、W MSP3、W MSP4分别表示分布式残差模型的融合支路第一、二、三、四、五层的卷积核；F MP是融合规则；
    Figure PCTCN2021118578-appb-100026
    表示拼接操作。
  10. 根据权利要求9所述的基于残差网络的遥感全色和多光谱图像分布式融合方法，其特征在于，将标签多光谱图像与融合的多光谱图像进行对比，使得损失函数最小，分布式残差融合模型达到最优。
PCT/CN2021/118578 2021-04-22 2021-09-15 基于残差网络的遥感全色和多光谱图像分布式融合方法 WO2022222352A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110436758.X 2021-04-22
CN202110436758.XA CN113222835B (zh) 2021-04-22 2021-04-22 基于残差网络的遥感全色和多光谱图像分布式融合方法

Publications (1)

Publication Number Publication Date
WO2022222352A1 true WO2022222352A1 (zh) 2022-10-27

Family

ID=77088600

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/118578 WO2022222352A1 (zh) 2021-04-22 2021-09-15 基于残差网络的遥感全色和多光谱图像分布式融合方法

Country Status (2)

Country Link
CN (1) CN113222835B (zh)
WO (1) WO2022222352A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471437A (zh) * 2022-11-14 2022-12-13 中国测绘科学研究院 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法
CN115880152A (zh) * 2022-12-13 2023-03-31 哈尔滨工业大学 一种基于多传感器光谱重构网络的高光谱遥感图像生成方法
CN116229287A (zh) * 2023-05-10 2023-06-06 中国科学院合肥物质科学研究院 基于复杂林地环境的遥感亚像元疫木检测方法
CN116245779A (zh) * 2023-05-11 2023-06-09 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备
CN116433485A (zh) * 2023-03-16 2023-07-14 辽宁省地质勘查院有限责任公司 一种高分遥感一张图的制作方法
CN116597265A (zh) * 2023-05-19 2023-08-15 河南理工大学 一种用于不同分辨率卫星图像融合的新型方法及系统
CN116935214A (zh) * 2023-06-27 2023-10-24 福建鼎旸信息科技股份有限公司 一种卫星多源遥感数据的时空谱融合方法
CN117611492A (zh) * 2023-12-06 2024-02-27 电子科技大学 多光谱卫星遥感图像的隐式表示及锐化方法
CN117726915A (zh) * 2024-02-07 2024-03-19 南方海洋科学与工程广东省实验室(广州) 遥感数据空谱融合方法及装置、存储介质与终端
CN118135364A (zh) * 2024-05-08 2024-06-04 北京数慧时空信息技术有限公司 基于深度学习的多源遥感影像的融合方法及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222835B (zh) * 2021-04-22 2023-04-14 海南大学 基于残差网络的遥感全色和多光谱图像分布式融合方法
CN113793289B (zh) * 2021-09-10 2023-06-20 海南大学 基于cnn和nsct的多光谱图像和全色图像模糊融合方法
CN113688806A (zh) * 2021-10-26 2021-11-23 南京智谱科技有限公司 一种红外与可见光图像融合的多光谱目标检测方法及系统
CN114581347B (zh) * 2022-01-24 2024-03-12 中国科学院空天信息创新研究院 无参考影像的光学遥感空谱融合方法、装置、设备及介质
CN114529489A (zh) * 2022-03-01 2022-05-24 中国科学院深圳先进技术研究院 多源遥感图像融合方法、装置、设备及存储介质
CN115564692B (zh) * 2022-09-07 2023-12-05 宁波大学 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法
CN115565037B (zh) * 2022-09-14 2023-08-22 中国科学院空天信息创新研究院 图像融合方法及装置
CN115661680B (zh) * 2022-11-15 2023-04-07 北京轨道未来空间科技有限公司 卫星遥感图像处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080131025A1 (en) * 2006-12-01 2008-06-05 Harris Corporation Panchromatic Modulation of Multispectral Imagery
CN110930343A (zh) * 2019-11-22 2020-03-27 南京信息工程大学 基于sr-mdcnn的遥感图像融合方法
CN111524063A (zh) * 2019-12-24 2020-08-11 珠海大横琴科技发展有限公司 一种遥感图像融合方法及装置
CN112529827A (zh) * 2020-12-14 2021-03-19 珠海大横琴科技发展有限公司 遥感图像融合模型的训练方法及装置
CN113222835A (zh) * 2021-04-22 2021-08-06 海南大学 基于残差网络的遥感全色和多光谱图像分布式融合方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902966A (zh) * 2012-10-12 2013-01-30 大连理工大学 一种基于深度信赖网络的超分辨率人脸识别方法
CN107124612B (zh) * 2017-04-26 2019-06-14 东北大学 基于分布式压缩感知的高光谱图像压缩方法
CN109272010B (zh) * 2018-07-27 2021-06-29 吉林大学 基于卷积神经网络的多尺度遥感图像融合方法
CN109146813B (zh) * 2018-08-16 2022-03-11 广州视源电子科技股份有限公司 一种多任务图像重建方法、装置、设备和介质
CN110351303B (zh) * 2019-07-29 2021-09-14 海南大学 一种DDoS特征提取方法及装置
CN111037143B (zh) * 2019-11-28 2022-09-06 新兴际华集团有限公司 基于焊接热循环调控焊缝组织性能的方法
CN111915487B (zh) * 2020-08-04 2022-05-10 武汉工程大学 基于分层多尺度残差融合网络的人脸超分辨率方法及装置
CN112184554B (zh) * 2020-10-13 2022-08-23 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法
CN112637599B (zh) * 2020-12-02 2022-09-06 哈尔滨工业大学（深圳） 一种基于分布式压缩视频感知系统的新型重构方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080131025A1 (en) * 2006-12-01 2008-06-05 Harris Corporation Panchromatic Modulation of Multispectral Imagery
CN110930343A (zh) * 2019-11-22 2020-03-27 南京信息工程大学 基于sr-mdcnn的遥感图像融合方法
CN111524063A (zh) * 2019-12-24 2020-08-11 珠海大横琴科技发展有限公司 一种遥感图像融合方法及装置
CN112529827A (zh) * 2020-12-14 2021-03-19 珠海大横琴科技发展有限公司 遥感图像融合模型的训练方法及装置
CN113222835A (zh) * 2021-04-22 2021-08-06 海南大学 基于残差网络的遥感全色和多光谱图像分布式融合方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471437A (zh) * 2022-11-14 2022-12-13 中国测绘科学研究院 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法
CN115880152A (zh) * 2022-12-13 2023-03-31 哈尔滨工业大学 一种基于多传感器光谱重构网络的高光谱遥感图像生成方法
CN115880152B (zh) * 2022-12-13 2023-11-24 哈尔滨工业大学 一种基于多传感器光谱重构网络的高光谱遥感图像生成方法
CN116433485B (zh) * 2023-03-16 2023-10-31 辽宁省地质勘查院有限责任公司 一种高分遥感一张图的制作方法
CN116433485A (zh) * 2023-03-16 2023-07-14 辽宁省地质勘查院有限责任公司 一种高分遥感一张图的制作方法
CN116229287A (zh) * 2023-05-10 2023-06-06 中国科学院合肥物质科学研究院 基于复杂林地环境的遥感亚像元疫木检测方法
CN116245779B (zh) * 2023-05-11 2023-08-22 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备
CN116245779A (zh) * 2023-05-11 2023-06-09 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备
CN116597265A (zh) * 2023-05-19 2023-08-15 河南理工大学 一种用于不同分辨率卫星图像融合的新型方法及系统
CN116935214A (zh) * 2023-06-27 2023-10-24 福建鼎旸信息科技股份有限公司 一种卫星多源遥感数据的时空谱融合方法
CN116935214B (zh) * 2023-06-27 2024-04-12 福建鼎旸信息科技股份有限公司 一种卫星多源遥感数据的时空谱融合方法
CN117611492A (zh) * 2023-12-06 2024-02-27 电子科技大学 多光谱卫星遥感图像的隐式表示及锐化方法
CN117611492B (zh) * 2023-12-06 2024-06-04 电子科技大学 多光谱卫星遥感图像的隐式表示及锐化方法
CN117726915A (zh) * 2024-02-07 2024-03-19 南方海洋科学与工程广东省实验室(广州) 遥感数据空谱融合方法及装置、存储介质与终端
CN117726915B (zh) * 2024-02-07 2024-05-28 南方海洋科学与工程广东省实验室(广州) 遥感数据空谱融合方法及装置、存储介质与终端
CN118135364A (zh) * 2024-05-08 2024-06-04 北京数慧时空信息技术有限公司 基于深度学习的多源遥感影像的融合方法及系统

Also Published As

Publication number Publication date
CN113222835A (zh) 2021-08-06
CN113222835B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
WO2022222352A1 (zh) 基于残差网络的遥感全色和多光谱图像分布式融合方法
CN109446992B (zh) 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
Song et al. Spatiotemporal satellite image fusion using deep convolutional neural networks
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN110428387B (zh) 基于深度学习与矩阵分解的高光谱与全色图像融合方法
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN112184554B (zh) 一种基于残差混合膨胀卷积的遥感图像融合方法
CN109146831A (zh) 基于双支深度学习网络的遥感图像融合方法及系统
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN103679675B (zh) 一种面向水质定量遥感应用的遥感影像融合方法
CN109767412A (zh) 一种基于深度残差神经网络的遥感影像融合方法及系统
CN111222519B (zh) 一种层次化彩绘文物线稿提取模型构建、方法及装置
CN112488978A (zh) 基于模糊核估计的多光谱图像融合成像方法及系统
CN112419155A (zh) 一种全极化合成孔径雷达影像超分辨率重建方法
CN111652039B (zh) 基于残差网络和特征融合模块的高光谱遥感地物分类方法
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN113793289A (zh) 基于cnn和nsct的多光谱图像和全色图像模糊融合方法
CN114612664A (zh) 一种基于双边分割网络的细胞核分割方法
Yang et al. Image super-resolution reconstruction based on improved Dirac residual network
CN116309227A (zh) 基于残差网络与空间注意力机制的遥感图像融合方法
CN112529828B (zh) 参考数据非敏感的遥感影像时空融合模型构建方法
CN117830788A (zh) 一种多源信息融合的图像目标检测方法
CN116543165A (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21937574

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21937574

Country of ref document: EP

Kind code of ref document: A1