WO2023000158A1 - 一种遥感影像超分辨率重建方法、装置、设备及存储介质 - Google Patents
一种遥感影像超分辨率重建方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- WO2023000158A1 WO2023000158A1 PCT/CN2021/107288 CN2021107288W WO2023000158A1 WO 2023000158 A1 WO2023000158 A1 WO 2023000158A1 CN 2021107288 W CN2021107288 W CN 2021107288W WO 2023000158 A1 WO2023000158 A1 WO 2023000158A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- remote sensing
- image
- super
- sensing image
- resolution reconstruction
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
Abstract
一种遥感影像超分辨率重建方法、装置、设备及存储介质，采集同一地区的卫星遥感影像和无人机影像，并进行预处理和切块处理，得到卫星遥感影像切块和无人机影像切块；根据卫星遥感影像切块和无人机影像切块，建立训练样本集；构建基于ESRGAN的超分辨率重建模型，并进行训练；对待处理遥感影像进行预处理和切块处理，得到待处理遥感影像切块；使用训练完成的超分辨率重建模型对待处理遥感影像切块进行超分辨率重建；拼接重建后的待处理遥感影像切块，并添加坐标信息，生成新的遥感影像。这样使用多源多尺度的遥感影像作为数据源，通过超分辨率重建模型进行超分辨率重建，超分结果好，缓解了遥感影像分辨率不足的问题。
Description
本发明涉及遥感技术领域，具体涉及一种遥感影像超分辨率重建方法、装置、设备及存储介质。
随着遥感技术的飞速发展和普及，特别是随着影像空间分辨率的提高，人们对于遥感数据的应用需求越来越多，从大尺度的生态环境到中尺度的资源调查，到更高尺度的影像分类，对遥感影像的分辨率的要求也越来越高。目前全球优于1米的遥感卫星很少，很难同时满足到全球各用户的需求，对于一些小范围的区域，可以使用无人机进行航拍，使用无人机航拍具有较高的空间分辨率，灵活性高，大气影响较小，但是使用无人机拍摄成本高，且有些地区不方便到达，无法获取影像。基于以上两种情况，为了同时兼顾分辨率和拍摄成本、可行性等问题，将卫星影像的分辨率扩大到无人机影像的分辨率，遥感影像常规的提升分辨率的方法是插值，可以使用最紧邻、双线性、三次插值等方法，除此之外，超分辨率重建也是提升影像分辨率的一种方法。
在遥感影像的超分辨率重建方面，已经有很多研究，一般使用单一数据源，虽已经取得了不错的结果，但是使用单一分辨率进行超分重建，最后的结果永远不会超过初始的分辨率。例如，使用5米分辨率的遥感影像进行超分重建时，先将影像下采样到10米，然后训练10米超分到5米的模型，这种模型只适合于10米到5米的数据，当使用5米的数据作为测试数据时，效果远不及理想中的好。在数据本来就不足的情况下，这种算法的实际意义并不大。
因此，如何解决遥感影像分辨率不足的问题，是本领域技术人员亟待解决的技术问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种遥感影像超分辨率重建方法、装置、设备及存储介质。
一种遥感影像超分辨率重建方法，包括：
采集同一地区的卫星遥感影像和无人机影像，并进行预处理和切块处理，得到卫星遥感影像切块和无人机影像切块；
根据所述卫星遥感影像切块和所述无人机影像切块，建立训练样本集；
构建基于ESRGAN的超分辨率重建模型，并通过所述训练样本集训练所述超分辨率重建模型；
对待处理遥感影像进行预处理和切块处理，得到待处理遥感影像切块；
使用训练完成的所述超分辨率重建模型对所述待处理遥感影像切块进行超分辨率重建；
拼接重建后的所述待处理遥感影像切块，并添加坐标信息，生成新的遥感影像。
优选地，在本发明实施例提供的上述遥感影像超分辨率重建方法中，所述构建基于ESRGAN的超分辨率重建模型，包括：
构建生成器；所述生成器包括依次连接的一个卷积层、一个激活函数、四个block提取特征层、一个卷积层，一个池化层、一个激活函数、一个pixelshuffer层；所述block提取特征层为EfficientNet-B4的特征提取部分；
构建判别器；所述判别器包括VGG19特征层。
优选地，在本发明实施例提供的上述遥感影像超分辨率重建方法中，所述通过所述训练样本集训练所述超分辨率重建模型，包括：
将所述训练样本集中的所述卫星遥感影像切块作为所述生成器的输入数据，经所述生长器处理后生成超分重建结果；
将所述生成器生成的超分重建结果与所述训练样本集中对应的所述无人机影像切块作为所述判别器的输入数据，使用VGG19特征层提取特征；
分别计算所述生成器的损失和所述判别器的损失；其中所述生成器的损失包括感知损失和LI范数；
分别交替训练所述生成器和所述判别器，得到训练完成的所述超分辨 率重建模型。
优选地，在本发明实施例提供的上述遥感影像超分辨率重建方法中，在所述分别交替训练所述生成器和所述判别器的同时，还包括：
使用随机梯度下降法进行所述超分辨率重建模型的参数调节；
利用早停法确定所述超分辨率重建模型的训练完成。
优选地，在本发明实施例提供的上述遥感影像超分辨率重建方法中，在对所述卫星遥感影像和所述无人机影像进行预处理的过程中，包括：
对所述卫星遥感影像进行图像融合、地理配准、辐射定标、大气校正、图像拉伸的预处理；
对所述无人机影像进行三维重建、正射影像处理、影像镶嵌处理；
使用所述无人机影像作为基准，将所述卫星遥感影像与所述无人机影像进行配准。
优选地，在本发明实施例提供的上述遥感影像超分辨率重建方法中，在对所述卫星遥感影像和所述无人机影像进行切块处理，得到卫星遥感影像切块和无人机影像切块的过程中，包括：
按照设定切块大小对所述卫星遥感影像进行裁剪，得到卫星遥感影像切块；
获取所述卫星遥感影像的图片坐标，得到所述卫星遥感影像切块对应的地理坐标；
根据所述地理坐标和所述无人机影像的六参数坐标系统，求得对应的所述无人机影像的图片坐标；
使用所述无人机影像的图片坐标对所述无人机影像进行裁剪，得到无人机影像切块。
优选地，在本发明实施例提供的上述遥感影像超分辨率重建方法中，所述根据所述卫星遥感影像切块和所述无人机影像切块，建立训练样本集，包括：
将位置相互对应的所述卫星遥感影像切块和所述无人机影像切块做成相同编号，组成一个影像对；
建立由多个所述影像对构成的训练样本集；每次训练时利用所述训练 样本集中的一个所述影像对进行训练。
本发明实施例还提供了一种遥感影像超分辨率重建装置，包括：
多尺度影像处理模块，用于采集同一地区的卫星遥感影像和无人机影像，并进行预处理和切块处理，得到卫星遥感影像切块和无人机影像切块；
样本集建立模块，用于根据所述卫星遥感影像切块和所述无人机影像切块，建立训练样本集；
模型构建训练模块，用于构建基于ESRGAN的超分辨率重建模型，并通过所述训练样本集训练所述超分辨率重建模型；
待处理影像处理模块，用于对待处理遥感影像进行预处理和切块处理，得到待处理遥感影像切块；
超分辨率重建模块，用于使用训练完成的所述超分辨率重建模型对所述待处理遥感影像切块进行超分辨率重建；
遥感影像生成模块，用于拼接重建后的所述待处理遥感影像切块，并添加坐标信息，生成新的遥感影像。
本发明实施例还提供了一种遥感影像超分辨率重建设备，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如本发明实施例提供的上述遥感影像超分辨率重建方法。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述遥感影像超分辨率重建方法。
从上述技术方案可以看出，本发明所提供的一种遥感影像超分辨率重建方法，包括：采集同一地区的卫星遥感影像和无人机影像，并进行预处理和切块处理，得到卫星遥感影像切块和无人机影像切块；根据卫星遥感影像切块和无人机影像切块，建立训练样本集；构建基于ESRGAN的超分辨率重建模型，并通过训练样本集训练超分辨率重建模型；对待处理遥感影像进行预处理和切块处理，得到待处理遥感影像切块；使用训练完成的超分辨率重建模型对待处理遥感影像切块进行超分辨率重建；拼接重建后的待处理遥感影像切块，并添加坐标信息，生成新的遥感影像。
本发明提出的上述遥感影像超分辨率重建方法，使用多源多尺度的遥 感影像作为数据源，通过基于ESRGAN的超分辨率重建模型对待处理遥感影像进行超分辨率重建，超分结果好，缓解了高分辨率遥感影像分辨率不能满足需求的问题，进一步推进了高分辨率遥感影像的应用。此外，本发明还针对遥感影像超分辨率重建方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的遥感影像超分辨率重建方法的流程图；
图2示出了本发明实施例提供的遥感影像超分辨率重建方法的示意图；
图3示出了本发明实施例提供的超分辨率重建模型的生成器的结构示意图；
图4示出了本发明实施例提供的生成器的block提取特征层的结构示意图；
图5示出了本发明实施例提供的超分辨率重建模型的判别器的结构示意图；
图6至图8分别示出了本发明实施例提供的超分辨率重建前后对比图；
图9示出了本发明实施例提供的遥感影像超分辨率重建装置的结构示意图。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种遥感影像超分辨率重建方法，如图1和图2所示，包括以下步骤：
S101、采集同一地区的卫星遥感影像和无人机影像，并进行预处理和切块处理，得到卫星遥感影像切块和无人机影像切块；
可以理解的是，卫星遥感图像的分辨率比无人机影像的分辨率低，即卫星遥感图像是低分辨率影像，无人机影像是高分辨率影像。卫星遥感图像和无人机影像具有两个不同的尺度，而由于遥感影像太大，无法一次处理，需要切成一个一个切块处理，本发明要对两个尺度的影像进行切块处理。本发明将高分辨率影像作为超分辨率模型的标签，低分辨率影像作为超分辨率模型的原始数据。
S102、根据卫星遥感影像切块和无人机影像切块，建立训练样本集；
在实际应用中，每个卫星遥感影像切块和每个无人机影像切块中均可以存储有对应的影像索引和地理信息，便于后续模型运算。
S103、构建基于ESRGAN的超分辨率重建模型，并通过训练样本集训练超分辨率重建模型；
需要说明的是，本发明构建的超分辨率重建模型是以ESRGAN(Enhanced Super-Resolution Generative Adversarial Networks，增强型超分辨率生成对抗网络)为基础，而ESRGAN模型是在SRGAN(Super-Resolution Generative Adversarial Networks，超分辨率生成对抗网络)模型上的改进，通过生成对抗网络，训练高分辨率(Super Resolution，SR)图片，来生成高分辨率影像，并通过计算生成的高分辨率影像与真实图片之间的特征差异来计算损失以训练模型。
S104、对待处理遥感影像进行预处理和切块处理，得到待处理遥感影像切块；
S105、使用训练完成的超分辨率重建模型对待处理遥感影像切块进行超分辨率重建；
S106、拼接重建后的待处理遥感影像切块，并添加坐标信息，生成新的遥感影像。
在本发明实施例提供的上述遥感影像超分辨率重建方法中，使用多源多尺度的遥感影像作为数据源，通过基于ESRGAN的超分辨率重建模型对待处理遥感影像进行超分辨率重建，超分结果好，缓解了高分辨率遥感影像分辨率不能满足需求的问题，进一步推进了高分辨率遥感影像的应用。
在具体实施时，在本发明实施例提供的上述遥感影像超分辨率重建方法中，在执行步骤S101对卫星遥感影像和无人机影像进行预处理的过程中，具体可以包括：首先，对卫星遥感影像进行图像融合、地理配准、辐射定标、大气校正、图像拉伸等预处理；然后，对无人机影像进行三维重建、正射影像处理、影像镶嵌处理等；最后，使用无人机影像作为基准，将卫星遥感影像与无人机影像进行高精度配准，精度要求控制在0.5个像素以内。在实际应用中，对于尺度相差较大影像，需要精确配准，在低分辨率影像中，误差不超过0.5个像素。
在具体实施时，在本发明实施例提供的上述遥感影像超分辨率重建方法中，在执行步骤S101对卫星遥感影像和无人机影像进行切块处理，得到卫星遥感影像切块和无人机影像切块的过程中，具体可以包括以下步骤：
首先，按照设定切块大小对卫星遥感影像进行裁剪，得到卫星遥感影像切块；具体地，以低分辨率的卫星遥感影像作为基准，设定切块大小可以设置为512×512，每隔512个像素不重叠地裁剪一次；
然后，获取卫星遥感影像的图片坐标，得到卫星遥感影像切块对应的地理坐标；具体地，使用低分辨率的卫星遥感影像对应的六参数坐标系统(t0,t1,t2,t3,t4,t5)，可以得到卫星遥感影像切块对应的地理坐标；
之后，根据地理坐标和无人机影像的六参数坐标系统，求得对应的无人机影像的图片坐标；具体地，使用得到的地理坐标和无人机影像的六参数坐标系统(f0,f1,f2,f3,f4,f5)，找到对应的范围在无人机影像中的图片坐标；
最后，使用无人机影像的图片坐标对无人机影像进行裁剪，得到无人 机影像切块。
在具体实施时，在本发明实施例提供的上述遥感影像超分辨率重建方法中，由于无人机影像空间分辨率高，所以同样地理坐标的卫星影像和无人机影像的切块大小不同，步骤S102根据卫星遥感影像切块和无人机影像切块，建立训练样本集，具体可以包括：将位置相互对应的卫星遥感影像切块和无人机影像切块做成相同编号，组成一个影像对，即利用相同位置的卫星影像与无人机影像切块生成同一地点不同分辨率的影像对；建立由多个影像对构成的训练样本集；每次训练时利用训练样本集中的一个影像对进行训练。
需要说明的是，在组成一个影像对之后，还可以包括：对无人机数据重采样。对于高分辨率遥感影像，分辨率通常在1米左右，对于无人机数据，分辨率在0.1米左右，在超分辨率模型中，SR的图片的分辨率是LR(Low Resolution，低分辨率)的2的N次方倍，N通常为2、3、4。对于遥感数据，由于受到数据源的影响，无人机数据和卫星数据的分辨率倍数不是2的N次方，所以首先将无人机数据通过插值(如双线性插值)的方法，插值到卫星影像的8倍的分辨率，对于1米分辨率的遥感影像，将无人机数据插值到0.125米。
进一步地，在具体实施时，在本发明实施例提供的上述遥感影像超分辨率重建方法中，步骤S103构建基于ESRGAN的超分辨率重建模型，具体可以包括：构建生成器；如图3所示，生成器包括依次连接的一个卷积层、一个激活函数、四个block提取特征层、一个卷积层，一个池化层、一个激活函数、一个pixelshuffer层；如图4所示，block提取特征层为EfficientNet-B4的特征提取部分；构建判别器；如图5所示，判别器包括VGG19特征层。
需要注意的是，构建的超分辨率重建模型引入了EfficientNet-B4作为网络的骨干部分(backbone)，提高了特征提取的能力。其中生成器用于生成超分辨率影像，判别器用于计算生成数据和真实无人机数据之间的特征差异。在生成器中，使用改进的DenseBlock提取遥感影像多尺度特征，在判别器中，使用VGG19提取特征，以计算损失。
在具体实施时，在本发明实施例提供的上述遥感影像超分辨率重建方法中，步骤S103通过训练样本集训练超分辨率重建模型，具体可以包括：
步骤一、将训练样本集中的卫星遥感影像切块作为生成器的输入数据，经生长器处理后生成超分重建结果；
具体地，可以将四波段(RGB和近红外波段)的卫星遥感影像切块作为输入数据，经过一层1×1的卷积，转换为三个波段，然后通过一层激活函数Relu，之后是一系列的block提取特征。对于每一个block，使用EfficientNet-B4的特征提取部分作为超分辨率重建模型的DenseBlock，充分使用了遥感影像的多尺度特征，连接四个EfficientNet-B4的特征提取部分，并将每一次提取特征与之前的特征进行连接。然后通过一个卷积层，一个池化层、一个激活函数Relu，并使用pixelshuffer使得超分辨率影像和无人机影像大小相同。
步骤二、将生成器生成的超分重建结果与训练样本集中对应的无人机影像切块作为判别器的输入数据，使用VGG19特征层提取特征；
步骤三、分别计算生成器的损失和判别器的损失；
对于判别器，其损失loss为：
其中，x
r表示真实数据，x
f表示生成数据，使用Relativistic GAN的思想，构建真实数据与生成数据之间的相似度评价指标，
表示真实无人机影像逼近生成数据的程度，
表示生成数据与真实数据之间的距离。
对于生成器，其损失loss为：
增加超分辨率重建模型中的感知损失L
precep，并增加一个L1范数以增加超分辨率重建模型的鲁棒性，使用λ和η作为超参数。最后的生成器的Loss为：
步骤四、分别交替训练生成器和判别器，得到训练完成的超分辨率重建模型。
在具体实施时，在本发明实施例提供的上述遥感影像超分辨率重建方法中，在上述步骤四中分别交替训练生成器和判别器的同时，还可以包括：使用随机梯度下降法(Stochastic Gradient Descent，SGD)进行超分辨率重建模型的参数调节；学习率(learningrate)可以设置为0.025；利用早停法(EarlyStopping)确定超分辨率重建模型的训练完成，防止模型过拟合。
在具体实施时，在执行步骤S104对待处理遥感影像进行切块处理时，使用与训练样本相同的切片大小，不重叠地切为512×512，并保存待处理遥感影像切块的坐标六参数。
在具体实施时，在执行步骤S105使用训练完成的超分辨率重建模型对待处理遥感影像切块进行超分辨率重建后，可获取与无人机分辨率相同的超分辨率影像。
在具体实施时，在执行步骤S106时，具体可以使用步骤S105获取的超分辨率影像和步骤S104中保存的坐标六参数，修改新数据的分辨率，并使用坐标六参数中的影像起始坐标和新分辨率生成遥感数据，最后生成tiff格式的新的影像。
图6至图8示出了超分辨率重建前后对比图，可以看出本发明利用深度学习模型对遥感影像进行超分重建，超分结果较好，提高了影像的分辨率，有利于进一步应用。
基于同一发明构思，本发明实施例还提供了一种遥感影像超分辨率重建装置，由于该装置解决问题的原理与前述一种遥感影像超分辨率重建方法相似，因此该装置的实施可以参见遥感影像超分辨率重建方法的实施，重复之处不再赘述。
在具体实施时，本发明实施例提供的遥感影像超分辨率重建装置，如图9所示，具体包括：
多尺度影像处理模块11，用于采集同一地区的卫星遥感影像和无人机影像，并进行预处理和切块处理，得到卫星遥感影像切块和无人机影像切块；
样本集建立模块12，用于根据卫星遥感影像切块和无人机影像切块， 建立训练样本集；
模型构建训练模块13，用于构建基于ESRGAN的超分辨率重建模型，并通过训练样本集训练超分辨率重建模型；
待处理影像处理模块14，用于对待处理遥感影像进行预处理和切块处理，得到待处理遥感影像切块；
超分辨率重建模块15，用于使用训练完成的超分辨率重建模型对待处理遥感影像切块进行超分辨率重建；
遥感影像生成模块16，用于拼接重建后的待处理遥感影像切块，并添加坐标信息，生成新的遥感影像。
在本发明实施例提供的上述遥感影像超分辨率重建装置中，可以通过上述六个模块的相互作用，使用多源多尺度的遥感影像作为数据源，通过基于ESRGAN的超分辨率重建模型对待处理遥感影像进行超分辨率重建，超分结果好，缓解了高分辨率遥感影像分辨率不能满足需求的问题，进一步推进了高分辨率遥感影像的应用。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
相应地，本发明实施例还公开了一种遥感影像超分辨率重建设备，包括处理器和存储器；其中，处理器执行存储器中存储的计算机程序时实现前述实施例公开的遥感影像超分辨率重建方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步地，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的遥感影像超分辨率重建方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的 都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种遥感影像超分辨率重建方法，包括：采集同一地区的卫星遥感影像和无人机影像，并进行预处理和切块处理，得到卫星遥感影像切块和无人机影像切块；根据卫星遥感影像切块和无人机影像切块，建立训练样本集；构建基于ESRGAN的超分辨率重建模型，并通过训练样本集训练超分辨率重建模型；对待处理遥感影像进行预处理和切块处理，得到待处理遥感影像切块；使用训练完成的超分辨率重建模型对待处理遥感影像切块进行超分辨率重建；拼接重建后的待处理遥感影像切块，并添加坐标信息，生成新的遥感影像。这样使用多源多尺度的遥感影像作为数据源，通过基于ESRGAN的超分辨率重建模型对待处理遥感影像进行超分辨率重建，超分结果好，缓解了高分辨率遥感影像分辨率不能满足需求的问题，进一步推进了高分辨率遥感影像的应用。此外，本发明还针对遥感影像超分辨率重建方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的遥感影像超分辨率重建方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (10)
- 一种遥感影像超分辨率重建方法，其特征在于，包括：采集同一地区的卫星遥感影像和无人机影像，并进行预处理和切块处理，得到卫星遥感影像切块和无人机影像切块；根据所述卫星遥感影像切块和所述无人机影像切块，建立训练样本集；构建基于ESRGAN的超分辨率重建模型，并通过所述训练样本集训练所述超分辨率重建模型；对待处理遥感影像进行预处理和切块处理，得到待处理遥感影像切块；使用训练完成的所述超分辨率重建模型对所述待处理遥感影像切块进行超分辨率重建；拼接重建后的所述待处理遥感影像切块，并添加坐标信息，生成新的遥感影像。
- 根据权利要求1所述的遥感影像超分辨率重建方法，其特征在于，所述构建基于ESRGAN的超分辨率重建模型，包括：构建生成器；所述生成器包括依次连接的一个卷积层、一个激活函数、四个block提取特征层、一个卷积层，一个池化层、一个激活函数、一个pixelshuffer层；所述block提取特征层为EfficientNet-B4的特征提取部分；构建判别器；所述判别器包括VGG19特征层。
- 根据权利要求2所述的遥感影像超分辨率重建方法，其特征在于，所述通过所述训练样本集训练所述超分辨率重建模型，包括：将所述训练样本集中的所述卫星遥感影像切块作为所述生成器的输入数据，经所述生长器处理后生成超分重建结果；将所述生成器生成的超分重建结果与所述训练样本集中对应的所述无人机影像切块作为所述判别器的输入数据，使用VGG19特征层提取特征；分别计算所述生成器的损失和所述判别器的损失；其中所述生成器的损失包括感知损失和LI范数；分别交替训练所述生成器和所述判别器，得到训练完成的所述超分辨率重建模型。
- 根据权利要求3所述的遥感影像超分辨率重建方法，其特征在于， 在所述分别交替训练所述生成器和所述判别器的同时，还包括：使用随机梯度下降法进行所述超分辨率重建模型的参数调节；利用早停法确定所述超分辨率重建模型的训练完成。
- 根据权利要求1所述的遥感影像超分辨率重建方法，其特征在于，在对所述卫星遥感影像和所述无人机影像进行预处理的过程中，包括：对所述卫星遥感影像进行图像融合、地理配准、辐射定标、大气校正、图像拉伸的预处理；对所述无人机影像进行三维重建、正射影像处理、影像镶嵌处理；使用所述无人机影像作为基准，将所述卫星遥感影像与所述无人机影像进行配准。
- 根据权利要求5所述的遥感影像超分辨率重建方法，其特征在于，在对所述卫星遥感影像和所述无人机影像进行切块处理，得到卫星遥感影像切块和无人机影像切块的过程中，包括：按照设定切块大小对所述卫星遥感影像进行裁剪，得到卫星遥感影像切块；获取所述卫星遥感影像的图片坐标，得到所述卫星遥感影像切块对应的地理坐标；根据所述地理坐标和所述无人机影像的六参数坐标系统，求得对应的所述无人机影像的图片坐标；使用所述无人机影像的图片坐标对所述无人机影像进行裁剪，得到无人机影像切块。
- 根据权利要求6所述的遥感影像超分辨率重建方法，其特征在于，所述根据所述卫星遥感影像切块和所述无人机影像切块，建立训练样本集，包括：将位置相互对应的所述卫星遥感影像切块和所述无人机影像切块做成相同编号，组成一个影像对；建立由多个所述影像对构成的训练样本集；每次训练时利用所述训练样本集中的一个所述影像对进行训练。
- 一种遥感影像超分辨率重建装置，其特征在于，包括：多尺度影像处理模块，用于采集同一地区的卫星遥感影像和无人机影像，并进行预处理和切块处理，得到卫星遥感影像切块和无人机影像切块；样本集建立模块，用于根据所述卫星遥感影像切块和所述无人机影像切块，建立训练样本集；模型构建训练模块，用于构建基于ESRGAN的超分辨率重建模型，并通过所述训练样本集训练所述超分辨率重建模型；待处理影像处理模块，用于对待处理遥感影像进行预处理和切块处理，得到待处理遥感影像切块；超分辨率重建模块，用于使用训练完成的所述超分辨率重建模型对所述待处理遥感影像切块进行超分辨率重建；遥感影像生成模块，用于拼接重建后的所述待处理遥感影像切块，并添加坐标信息，生成新的遥感影像。
- 一种遥感影像超分辨率重建设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至7任一项所述的遥感影像超分辨率重建方法。
- 一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的遥感影像超分辨率重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2021/107288 WO2023000158A1 (zh) | 2021-07-20 | 2021-07-20 | 一种遥感影像超分辨率重建方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2021/107288 WO2023000158A1 (zh) | 2021-07-20 | 2021-07-20 | 一种遥感影像超分辨率重建方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023000158A1 true WO2023000158A1 (zh) | 2023-01-26 |
Family
ID=84979672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2021/107288 WO2023000158A1 (zh) | 2021-07-20 | 2021-07-20 | 一种遥感影像超分辨率重建方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2023000158A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115797184A (zh) * | 2023-02-09 | 2023-03-14 | 天地信息网络研究院(安徽)有限公司 | 一种基于遥感影像的水体超分辨率提取模型 |
| CN116310883A (zh) * | 2023-05-17 | 2023-06-23 | 山东建筑大学 | 基于遥感图像时空融合的农业灾害预测方法及相关设备 |
| CN117152561A (zh) * | 2023-09-08 | 2023-12-01 | 中国水利水电科学研究院 | 一种洪涝灾害重置成本遥感样本集构建及更新方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537731A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
| CN108876754A (zh) * | 2018-05-31 | 2018-11-23 | 深圳市唯特视科技有限公司 | 一种基于深度卷积神经网络的遥感图像缺失数据重建方法 |
| CN109360148A (zh) * | 2018-09-05 | 2019-02-19 | 北京悦图遥感科技发展有限公司 | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 |
| US20190228578A1 (en) * | 2016-10-14 | 2019-07-25 | Hewlett-Packard Development Company, L.P. | Rebuilding three-dimensional models to provide simplified three-dimensional models |
| CN110223386A (zh) * | 2019-06-10 | 2019-09-10 | 河南科技大学 | 一种基于多源无人机遥感数据融合的数字地形建模方法 |
| CN113034361A (zh) * | 2021-03-03 | 2021-06-25 | 深圳市数字城市工程研究中心 | 一种基于改进esrgan的遥感影像超分重建方法 |
-
2021
- 2021-07-20 WO PCT/CN2021/107288 patent/WO2023000158A1/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190228578A1 (en) * | 2016-10-14 | 2019-07-25 | Hewlett-Packard Development Company, L.P. | Rebuilding three-dimensional models to provide simplified three-dimensional models |
| CN108537731A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
| CN108876754A (zh) * | 2018-05-31 | 2018-11-23 | 深圳市唯特视科技有限公司 | 一种基于深度卷积神经网络的遥感图像缺失数据重建方法 |
| CN109360148A (zh) * | 2018-09-05 | 2019-02-19 | 北京悦图遥感科技发展有限公司 | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 |
| CN110223386A (zh) * | 2019-06-10 | 2019-09-10 | 河南科技大学 | 一种基于多源无人机遥感数据融合的数字地形建模方法 |
| CN113034361A (zh) * | 2021-03-03 | 2021-06-25 | 深圳市数字城市工程研究中心 | 一种基于改进esrgan的遥感影像超分重建方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115797184A (zh) * | 2023-02-09 | 2023-03-14 | 天地信息网络研究院(安徽)有限公司 | 一种基于遥感影像的水体超分辨率提取模型 |
| CN115797184B (zh) * | 2023-02-09 | 2023-06-30 | 天地信息网络研究院(安徽)有限公司 | 一种地表水体超分辨率提取方法 |
| CN116310883A (zh) * | 2023-05-17 | 2023-06-23 | 山东建筑大学 | 基于遥感图像时空融合的农业灾害预测方法及相关设备 |
| CN116310883B (zh) * | 2023-05-17 | 2023-10-20 | 山东建筑大学 | 基于遥感图像时空融合的农业灾害预测方法及相关设备 |
| CN117152561A (zh) * | 2023-09-08 | 2023-12-01 | 中国水利水电科学研究院 | 一种洪涝灾害重置成本遥感样本集构建及更新方法 |
| CN117152561B (zh) * | 2023-09-08 | 2024-03-19 | 中国水利水电科学研究院 | 一种洪涝灾害重置成本遥感样本集构建及更新方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023000158A1 (zh) | 一种遥感影像超分辨率重建方法、装置、设备及存储介质 | |
| Mahami et al. | Automated progress controlling and monitoring using daily site images and building information modelling | |
| Buyukdemircioglu et al. | Semi-automatic 3D city model generation from large-format aerial images | |
| CN109635714B (zh) | 文档扫描图像的矫正方法及装置 | |
| Howland et al. | Photogrammetry in the field: Documenting, recording, and presenting archaeology | |
| CN108182212B (zh) | 一种基于航空摄影的相片地图调度方法与显示系统 | |
| Chen et al. | Automatic seamline network generation for urban orthophoto mosaicking with the use of a digital surface model | |
| CN111127538A (zh) | 一种基于卷积循环编码-解码结构的多视影像三维重建方法 | |
| Hein et al. | Integrated uav-based real-time mapping for security applications | |
| TW201131484A (en) | Geospatial modeling system for classifying building and vegetation in a DSM and related methods | |
| CN112113544B (zh) | 一种基于无人机影像的遥感数据处理方法及系统 | |
| CN112634132A (zh) | 一种卫星影像的海图要素采集方法及装置 | |
| CN103606151A (zh) | 基于影像点云的大范围虚拟地理场景自动构建方法 | |
| Mohd Noor et al. | Information fusion for cultural heritage three-dimensional modeling of Malay cities | |
| Aati et al. | Optimization of optical image geometric modeling, application to topography extraction and topographic change measurements using PlanetScope and SkySat imagery | |
| Chaudhry et al. | Impact of UAV surveying parameters on mixed urban landuse surface modelling | |
| Ozimek et al. | Digital modelling and accuracy verification of a complex architectural object based on photogrammetric reconstruction | |
| Chaudhry et al. | Assessment of DSM based on radiometric transformation of UAV data | |
| Zhou et al. | True2 orthoimage map generation | |
| CN116503705B (zh) | 一种数字城市多源数据的融合方法 | |
| Antoniou et al. | Integrating virtual reality and GIS tools for geological mapping, data collection and analysis: An example from the Metaxa mine, Santorini (Greece) | |
| CN114842139A (zh) | 一种基于空间分析的建筑三维数字化模型构建方法 | |
| CN114723869B (zh) | 影像处理方法以及装置 | |
| Teppati Losè et al. | Documentation of complex environments using 360 cameras. The Santa Marta Belltower in Montanaro | |
| Guidi et al. | Optimal lateral displacement in automatic close-range photogrammetry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21950424 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |