WO2023039959A1 - 一种基于金字塔机制的遥感影像海洋与非海区域分割方法 - Google Patents

一种基于金字塔机制的遥感影像海洋与非海区域分割方法 Download PDF

Info

Publication number
WO2023039959A1
WO2023039959A1 PCT/CN2021/122466 CN2021122466W WO2023039959A1 WO 2023039959 A1 WO2023039959 A1 WO 2023039959A1 CN 2021122466 W CN2021122466 W CN 2021122466W WO 2023039959 A1 WO2023039959 A1 WO 2023039959A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
convolution
pyramid
remote sensing
neural network
Prior art date
Application number
PCT/CN2021/122466
Other languages
English (en)
French (fr)
Inventor
黄梦醒
李玉春
吴园园
张雨
冯思玲
毋媛媛
冯文龙
吴迪
林聪�
Original Assignee
海南大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 海南大学 filed Critical 海南大学
Publication of WO2023039959A1 publication Critical patent/WO2023039959A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于金字塔机制的遥感影像海洋与非海区域分割方法，所述方法包括下列步骤：获取高分遥感图像，并对所述高分遥感图像进行裁剪，并绘制相对应的海陆分割真值图（S1）；将裁剪后的高分遥感图像依次进行分块以及图像刚性变换，并基于变换结果划分训练集以及测试集（S2）；建立金字塔机制融合神经网络，将训练集中的数据输入金字塔机制融合神经网络进行学习训练获得海洋与非海区域分割模型（S3）；将所述测试集中的数据输入金字塔机制融合神经网络中，得到遥感图像海陆分割结果（S4）。

Description

一种基于金字塔机制的遥感影像海洋与非海区域分割方法 技术领域
本发明涉及遥感影像分割技术领域，尤其涉及一种基于金字塔机制的遥感影像海洋与非海区域分割方法。
背景技术
我国是一个海洋大国，海岸线作为非常重要的地标之一是海洋和陆地的交界线。随着海洋经济的迅猛发展，我国南部沿海地区凭借地理位置的优越性，逐渐成为人们活动的主要区域。海岸线由于外界因素和人为因素的影响会发生相应的变化，例如海水侵蚀、淤泥排放、滩涂围垦和海沙采集等都会导致海岸线的扩张和收缩。近年来，我国遥感技术随着遥感卫星事业的迅速发展取得了进步。遥感技术的优势是不会受到地表变化、天气差异以及地理环境的影响，因此在海洋开发事业中取得了广泛的应用。高分遥感图像因其清晰度较高，有利于人们获取图像信息、提取图像特征和解释图像，其中图像语义分割在遥感图像应用中发挥着关键的作用。尤其是对海洋和陆地的分割可以准确获取海岸线信息，对于海岸的动态变迁以及重要信息提取具有重要的作用。除此之外，海洋遥感图像中还存在陆地、云雾、飞行物等干扰区域，这些干扰对于海洋目标检测带来了巨大挑战。因此，遥感影像海洋区域和非海区域分割具有重要意义。
随着人工智能技术的不断发展，机器学习方法被广泛的应用于各个领域，是图像语义分割的研究重点和热点问题。卷积神经网络(CNN)以其巨大的优势在遥感图像处理领域取得了显著的成绩。高分辨率遥感图像成像质量好，清晰度高，对于检测海岸线变动、岸滩宏观变化趋势具有重要意义。在遥感图像中提取海岸线信息和图中干扰物目标分割对于海洋周边的发展意义重大，通常都是通过海洋和陆地图像分割的方式提取海岸线，海云分割提取云雾目标和空中 飞行物目标。但是，传统方法在进行遥感图像海与非海区域分割时容易忽略海岸线上下语义关系，进而得到错误的特征判别机制，导致泥沙浓度较高的海水和其他沿海水体、养殖水池等难以区分。现有的用于高分辨率遥感影像分割方法主要有阈值分割法、边缘检测法、小波变换法、区域生长法和机器学习算法。传统的算法大多数根据遥感图像的像素值差异原理进行图像分割，但是仅仅基于像素的理论很容易出现误分割。传统机器学习算法以特征的形式区分海洋和陆地，但是对于上下语义特征不明显的遥感图像，想要得到更精准的海岸线信息同样困难重重。
发明内容
本发明的目的在于提供一种基于金字塔机制的遥感影像海洋与非海区域分割方法，通过将金字塔机制加入到ResNet34的编码器和解码器中学习多尺度遥感图像中海洋和非海区域特征，解决边界模糊问题，提升高分辨率遥感图像的海与非海分割精度，以解决上述背景技术中提出的问题。
本发明是通过以下技术方案实现的：本发明公开了一种基于金字塔机制的遥感影像海洋与非海区域分割方法，所述方法包括下列步骤：
获取高分遥感图像，并对所述高分遥感图像进行裁剪，并绘制相对应的海陆分割真值图；
将裁剪后的高分遥感图像依次进行分块以及图像刚性变换，并基于变换结果划分训练集以及测试集；
建立金字塔机制融合神经网络，将训练集中的数据输入金字塔机制融合神经网络进行学习训练获得海洋与非海区域分割模型；
将所述测试集中的数据输入金字塔机制融合神经网络中，得到遥感图像海陆分割结果。
可选的，对所述高分遥感图像进行裁剪，裁剪后的图像包含海岸线附近区 域和陆地所有信息。
可选的，所述绘制相对应的海陆分割真值图时，其过程包括：基于ArcGIS10.2工具，在裁剪后的高分遥感影像中手动绘制海洋和陆地区域，得到点线面构成的shp格式的矢量文件作为真值图。
可选的，所述将裁剪后的高分遥感图像依次进行分块以及图像刚性变换时，其过程包括：
将裁剪后的高分遥感图像进行分块处理，分块大小为N×N，其中N为不超过256的自然数；
将分块后的图像进行上下、左右翻转，并旋转一定角度扩充样本量。
可选的，所述将训练集中的数据输入金字塔机制融合神经网络进行学习训练获得海洋与非海区域分割概率图时，其过程包括：
设定A＝{A 1,A 2,…,A i}包含所有高分遥感影像训练数据集
Figure PCTCN2021122466-appb-000001
Figure PCTCN2021122466-appb-000002
其中d m,d n表示样本A i尺寸；
将所述训练集A i输入金字塔机制融合神经网络的第一层进行残差卷积，获得特征图
Figure PCTCN2021122466-appb-000003
将所述特征图
Figure PCTCN2021122466-appb-000004
输入金字塔机制融合神经网络的池化层进行下采样，获得特征图
Figure PCTCN2021122466-appb-000005
将所述特征图
Figure PCTCN2021122466-appb-000006
输入金字塔机制融合神经网络的金字塔机制模块，获得多尺度特征F 0；
对所述特征图
Figure PCTCN2021122466-appb-000007
进行残差卷积，获得特征图
Figure PCTCN2021122466-appb-000008
同时将所述特征图
Figure PCTCN2021122466-appb-000009
输入金字塔机制融合神经网络的池化层进行下采样，获得特征图
Figure PCTCN2021122466-appb-000010
将所述特征图
Figure PCTCN2021122466-appb-000011
输入金字塔机制融合神经网络的金字塔机制模块，获得多尺度特征F 1；
对所述特征图
Figure PCTCN2021122466-appb-000012
进行残差卷积，获得特征图
Figure PCTCN2021122466-appb-000013
同时将所述特征图
Figure PCTCN2021122466-appb-000014
输入 金字塔机制融合神经网络的池化层进行下采样，获得特征图
Figure PCTCN2021122466-appb-000015
将所述特征图
Figure PCTCN2021122466-appb-000016
输入金字塔机制融合神经网络的金字塔机制模块，获得多尺度特征F 2；
将所述特征图
Figure PCTCN2021122466-appb-000017
进行残差卷积，获得特征图
Figure PCTCN2021122466-appb-000018
同时将所述特征图
Figure PCTCN2021122466-appb-000019
输入金字塔机制融合神经网络的池化层进行下采样，获得特征图
Figure PCTCN2021122466-appb-000020
将所述特征图
Figure PCTCN2021122466-appb-000021
输入金字塔机制融合神经网络的金字塔机制模块，获得多尺度特征F 3；
将所述特征图
Figure PCTCN2021122466-appb-000022
进行残差卷积，获得特征图
Figure PCTCN2021122466-appb-000023
同时将所述特征图
Figure PCTCN2021122466-appb-000024
输入金字塔机制融合神经网络的池化层进行下采样，获得特征图
Figure PCTCN2021122466-appb-000025
将所述特征图
Figure PCTCN2021122466-appb-000026
输入金字塔机制融合神经网络的金字塔机制模块，获得多尺度特征F 4；
将所述特征图
Figure PCTCN2021122466-appb-000027
输入金字塔机制融合神经网络的金字塔融合模块，获得特征
Figure PCTCN2021122466-appb-000028
将所述特征
Figure PCTCN2021122466-appb-000029
特征F 4、特征图
Figure PCTCN2021122466-appb-000030
进行逐元素叠加，并将叠加结果依次进行尺寸为m×m的卷积、上采样、1×1卷积，获得特征
Figure PCTCN2021122466-appb-000031
将所述特征
Figure PCTCN2021122466-appb-000032
特征F 3、特征图
Figure PCTCN2021122466-appb-000033
进行逐元素叠加，并将叠加结果依次进行尺寸为m×m的卷积、上采样、1×1卷积，获得特征
Figure PCTCN2021122466-appb-000034
将所述特征
Figure PCTCN2021122466-appb-000035
特征F 2、特征图
Figure PCTCN2021122466-appb-000036
进行逐元素叠加，并将叠加结果依次进行尺寸为m×m的卷积、上采样、1×1卷积，获得特征
Figure PCTCN2021122466-appb-000037
将所述特征
Figure PCTCN2021122466-appb-000038
特征F 1、特征图
Figure PCTCN2021122466-appb-000039
进行逐元素叠加，并将叠加结果依次进行尺寸为m×m的卷积、上采样、1×1卷积，获得特征
Figure PCTCN2021122466-appb-000040
将所述特征
Figure PCTCN2021122466-appb-000041
特征F 0、特征图
Figure PCTCN2021122466-appb-000042
进行逐元素叠加，并将叠加结果依次进行尺寸为m×m的卷积、上采样、1×1卷积，获得特征
Figure PCTCN2021122466-appb-000043
对所述特征
Figure PCTCN2021122466-appb-000044
进行尺寸为m×m的卷积、上采样、1×1卷积，得到最终的海洋与非海区域分割概率图。
可选的，在所述金字塔机制模块进行4种不同rate的空洞卷积，卷积尺寸为m×m，rate的大小分别为R1，R2，R3和R4，最后获得多尺度特征。
可选的，所述金字塔融合模块的训练过程包括：
设定在金字塔融合模块进行4种不同rate的空洞卷积，卷积尺寸为m×m，rate的大小分别为R1，R2，R3和R4，得到的特征分别记为A、B、C、D；
将特征A和特征B连接执行m×m卷积，并执行Softmax函数分别得到的特征再分别与特征A和特征B逐元素相乘后逐元素相加得到特征E；
将特征C和特征E连接执行m×m卷积操作，并执行Softmax函数分别得到的特征再分别与特征C和特征E逐元素相乘后逐元素相加得到特征F；
将特征D和特征F连接执行m×m卷积操作，并执行Softmax函数分别得到的特征再分别与特征D和特征F逐元素相乘后逐元素相加得到特征G，并记为
Figure PCTCN2021122466-appb-000045
可选的，所述方法还包括：
将所述海洋与非海区域分割概率图与所述真值图进行对比，若相似度高，说明所述海洋与非海区域分割概率图正确，金字塔机制融合神经网络训练完成，否则将训练集中的数据重新输入金字塔机制融合神经网络进行学习训练。
与现有技术相比，本发明达到的有益效果如下：
本发明提供的一种金字塔池化U型网络的海洋遥感影像海陆分割方法，通过金字塔U型网络能够实现在高分遥感影像海洋与非海区域分割中达到与专家手动分割的高度一致性；将金字塔池化结构嵌入到ResNet网络中，进行多尺度特征融合操作，提升了高分遥感影像不同尺度的分割精度；在编码器向解码器 过度阶段加入金字塔融合结构，从而聚合特征中学习分层表示，提高海洋与非海洋目标信息提取的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于金字塔机制的遥感影像海洋与非海区域分割方法的流程图；
图2为本发明实施例提供的金字塔机制融合神经网络结构图；
图3是本发明实施例提供金字塔融合模块的结构示意图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。 在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本发明，将在下列的描述中提出详细的结构，以便阐释本发明提出的技术方案。本发明的可选实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。
本发明的目的是提出一种金字塔机制融合网络的海洋遥感影像海与非海区域分割方法，即将金字塔机制加入到ResNet34的编码器和解码器中学习多尺度遥感图像中海洋和非海区域特征，解决边界模糊问题，提升高分辨率遥感图像的海与非海分割精度，参见图1-图3，其包括下列步骤：
S1、获取高分遥感图像，并对所述高分遥感图像进行裁剪，并绘制相对应的海陆分割真值图；
S2、将裁剪后的高分遥感图像依次进行分块以及图像刚性变换，并基于变换结果划分训练集以及测试集；
S3、建立金字塔机制融合神经网络，将训练集中的数据输入金字塔机制融合神经网络进行学习训练获得海洋与非海区域分割模型；
S4、将所述测试集中的数据输入金字塔机制融合神经网络中，得到遥感图像海陆分割结果。
本实施例中所采集的高分遥感图像来源于高分一号(GF-1)卫星拍摄的中国南海范围内沿海区域假彩色图像，在步骤S1中，由于卫星拍摄的高分遥感影像形状不规则，增加了海岸线提取难度，因此将采集到的遥感影像进行裁剪，裁剪后的图像包含海岸线附近区域和陆地所有信息
进一步的，基于ArcGIS10.2工具，在裁剪后的高分遥感影像中手动绘制海洋和陆地区域，得到点线面构成的shp格式的矢量文件作为真值图。
在步骤S2中，由于高分遥感影像分辨率较高，图像尺寸太大，将裁剪后的高分遥感图像进行分块处理，分块大小为N×N，其中N为不超过256的自然数，例如N＝256；
深度学习需要大量训练样本，因此，将分块后的图像进行上下、左右翻转，并旋转一定角度扩充样本量；
最后将将分块并扩充好的样本数据按照一定的比例划分为训练集和测试集，其中训练集和测试集的比例为4：1
在步骤S3中，本发明进一步公开了将所述训练集中的数据输入金字塔机制融合神经网络进行学习训练获得海洋与非海区域分割概率图时的训练方法，其过程包括：
S301、设定A＝{A 1,A 2,…,A i}包含所有高分遥感影像训练数据集
Figure PCTCN2021122466-appb-000046
其中d m,d n表示样本A i尺寸；
S302、将所述训练集A i输入金字塔机制融合神经网络的第一层进行m×m的残差卷积，并且跟随一个衰减率为0.85的ReLU函数，获得特征图
Figure PCTCN2021122466-appb-000047
将所述特征图
Figure PCTCN2021122466-appb-000048
输入金字塔机制融合神经网络的池化层进行下采样，获得特征图
Figure PCTCN2021122466-appb-000049
S303、将所述特征图
Figure PCTCN2021122466-appb-000050
输入金字塔机制融合神经网络的金字塔机制模块，进行4种不同rate的空洞卷积，卷积尺寸为m×m，rate的大小分别为R1，R2，R3和R4，获得多尺度特征F 0；
S304、对所述特征图
Figure PCTCN2021122466-appb-000051
进行残差卷积，获得特征图
Figure PCTCN2021122466-appb-000052
同时将所述特征图
Figure PCTCN2021122466-appb-000053
输入金字塔机制融合神经网络的池化层进行下采样，获得特征图
Figure PCTCN2021122466-appb-000054
S305、将所述特征图
Figure PCTCN2021122466-appb-000055
输入金字塔机制融合神经网络的金字塔机制模块， 进行4种不同rate的空洞卷积，卷积尺寸为m×m，rate的大小分别为R1，R2，R3和R4，获得多尺度特征F 1；
S306、对所述特征图
Figure PCTCN2021122466-appb-000056
进行m×m的残差卷积，并且跟随一个衰减率为0.85的ReLU函数，获得特征图
Figure PCTCN2021122466-appb-000057
同时将所述特征图
Figure PCTCN2021122466-appb-000058
输入金字塔机制融合神经网络的池化层进行下采样，获得特征图
Figure PCTCN2021122466-appb-000059
S307、将所述特征图
Figure PCTCN2021122466-appb-000060
输入金字塔机制融合神经网络的金字塔机制模块，通过金字塔机制模块进行4种不同rate的空洞卷积，卷积尺寸为m×m，rate的大小分别为R1，R2，R3和R4，获得多尺度特征F 2；
S308、将所述特征图
Figure PCTCN2021122466-appb-000061
进行m×m的残差卷积，并且跟随一个衰减率为0.85的ReLU函数，获得特征图
Figure PCTCN2021122466-appb-000062
同时将所述特征图
Figure PCTCN2021122466-appb-000063
输入金字塔机制融合神经网络的池化层进行下采样，获得特征图
Figure PCTCN2021122466-appb-000064
S309、将所述特征图
Figure PCTCN2021122466-appb-000065
输入金字塔机制融合神经网络的金字塔机制模块，通过金字塔机制模块进行4种不同rate的空洞卷积，卷积尺寸为m×m，rate的大小分别为R1，R2，R3和R4，获得多尺度特征F 3；
S310、将所述特征图
Figure PCTCN2021122466-appb-000066
进行m×m的残差卷积，获得特征图
Figure PCTCN2021122466-appb-000067
同时将所述特征图
Figure PCTCN2021122466-appb-000068
输入金字塔机制融合神经网络的池化层进行下采样，获得特征图
Figure PCTCN2021122466-appb-000069
S311、将所述特征图
Figure PCTCN2021122466-appb-000070
输入金字塔机制融合神经网络的金字塔机制模块，通过金字塔机制模块进行4种不同rate的空洞卷积，卷积尺寸为m×m，rate的大小分别为R1，R2，R3和R4，获得多尺度特征F 4；
S312、将所述特征图
Figure PCTCN2021122466-appb-000071
输入金字塔机制融合神经网络的金字塔融合模块，获得特征
Figure PCTCN2021122466-appb-000072
S313、将所述特征
Figure PCTCN2021122466-appb-000073
特征F 4、特征图
Figure PCTCN2021122466-appb-000074
进行逐元素叠加，并将叠加结果依次进行尺寸为m×m的卷积、上采样、1×1卷积，获得特征
Figure PCTCN2021122466-appb-000075
S314、将所述特征
Figure PCTCN2021122466-appb-000076
特征F 3、特征图
Figure PCTCN2021122466-appb-000077
进行逐元素叠加，并将叠加结果依次进行尺寸为m×m的卷积、上采样、1×1卷积，获得特征
Figure PCTCN2021122466-appb-000078
S315、将所述特征
Figure PCTCN2021122466-appb-000079
特征F 2、特征图
Figure PCTCN2021122466-appb-000080
进行逐元素叠加，并将叠加结果依次进行尺寸为m×m的卷积、上采样、1×1卷积，获得特征
Figure PCTCN2021122466-appb-000081
S316、将所述特征
Figure PCTCN2021122466-appb-000082
特征F 1、特征图
Figure PCTCN2021122466-appb-000083
进行逐元素叠加，并将叠加结果依次进行尺寸为m×m的卷积、上采样、1×1卷积，获得特征
Figure PCTCN2021122466-appb-000084
S317、将所述特征
Figure PCTCN2021122466-appb-000085
特征F 0、特征图
Figure PCTCN2021122466-appb-000086
进行逐元素叠加，并将叠加结果依次进行尺寸为m×m的卷积、上采样、1×1卷积，获得特征
Figure PCTCN2021122466-appb-000087
S318、对所述特征
Figure PCTCN2021122466-appb-000088
进行尺寸为m×m的卷积、上采样、1×1卷积，得到最终的海洋与非海区域分割概率图。
进一步，本发明还公开了所述金字塔融合模块的训练方法，其过程包括：
S312-1、设定在金字塔融合模块进行4种不同rate的空洞卷积，卷积尺寸为m×m，rate的大小分别为R1，R2，R3和R4，得到的特征分别记为A、B、C、D；
S312-2、将特征A和特征B连接执行m×m卷积，并执行Softmax函数分别得到的特征再分别与特征A和特征B逐元素相乘后逐元素相加得到特征E；
S312-3、将特征C和特征E连接执行m×m卷积操作，并执行Softmax函数分别得到的特征再分别与特征C和特征E逐元素相乘后逐元素相加得到特征F；
S312-4、将特征D和特征F连接执行m×m卷积操作，并执行Softmax函数分别得到的特征再分别与特征D和特征F逐元素相乘后逐元素相加得到特征G，并记为
Figure PCTCN2021122466-appb-000089
进一步的，在本实施例所公开的网络训练过程中，设计了由2个函数组成 的混合损失函数。第一个损失函数是直接针对优化分割性能评估指标的Dice损失，定义为：
Figure PCTCN2021122466-appb-000090
其中，p(x i)体素x i的预测概率,and g(x i)是同一体素上对应的金标准。X表示训练图像,ε防止损失函数被0除的小项。
第二个损失函数是Focal loss，通过log loss改进，解决政府样本不平衡的问题，被定义为：
Figure PCTCN2021122466-appb-000091
其中
Figure PCTCN2021122466-appb-000092
表示Focal loss的平衡因子，设置为0.2，γ表示平滑调整权重率的聚焦参数设置为1。
综上所述，总的损失函数表示为：
Figure PCTCN2021122466-appb-000093
其中，η 1和η 2分别表示两个损失函数的权重因子，分别设置为0.8和0.2。
可选的，所述方法还包括：
S319、将所述海洋与非海区域分割概率图与所述真值图进行对比，若相似度高，说明所述海洋与非海区域分割概率图正确，金字塔机制融合神经网络训练完成，否则将训练集中的数据重新输入金字塔机制融合神经网络进行学习训练。
在步骤S4中，将测试集中的数据输入到训练完成的金字塔机制融合神经网络中，得到最终的海洋与非海区域分割概率图。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发 明保护的范围之内。

Claims (8)

  1. 一种基于金字塔机制的遥感影像海洋与非海区域分割方法，其特征在于，所述方法包括下列步骤：
    获取高分遥感图像，并对所述高分遥感图像进行裁剪，并绘制相对应的海陆分割真值图；
    将裁剪后的高分遥感图像依次进行分块以及图像刚性变换，并基于变换结果划分训练集以及测试集；
    建立金字塔机制融合神经网络，将训练集中的数据输入金字塔机制融合神经网络进行学习训练获得海洋与非海区域分割模型；
    将所述测试集中的数据输入金字塔机制融合神经网络中，得到遥感图像海陆分割结果。
  2. 根据权利要求1所述的一种基于金字塔机制的遥感影像海洋与非海区域分割方法，其特征在于，对所述高分遥感图像进行裁剪，裁剪后的图像包含海岸线附近区域和陆地所有信息。
  3. 根据权利要求2所述的一种基于金字塔机制的遥感影像海洋与非海区域分割方法，其特征在于，所述绘制相对应的海陆分割真值图时，其过程包括：基于ArcGIS10.2工具，在裁剪后的高分遥感影像中手动绘制海洋和陆地区域，得到点线面构成的shp格式的矢量文件作为真值图。
  4. 根据权利要求3所述的一种基于金字塔机制的遥感影像海洋与非海区域分割方法，其特征在于，所述将裁剪后的高分遥感图像依次进行分块以及图像刚性变换时，其过程包括：
    将裁剪后的高分遥感图像进行分块处理，分块大小为N×N，其中N为不超过256的自然数；
    将分块后的图像进行上下、左右翻转，并旋转一定角度扩充样本量。
  5. 根据权利要求1-4任一项所述的一种基于金字塔机制的遥感影像海洋与非海区域分割方法，其特征在于，所述将训练集中的数据输入金字塔机制融合神经网络进行学习训练获得海洋与非海区域分割概率图时，其过程包括：
    设定A＝{A 1,A 2,…,A i}包含所有高分遥感影像训练数据集
    Figure PCTCN2021122466-appb-100001
    Figure PCTCN2021122466-appb-100002
    其中d m,d n表示样本A i尺寸；
    将所述训练集A i输入金字塔机制融合神经网络的第一层进行残差卷积，获得特征图
    Figure PCTCN2021122466-appb-100003
    将所述特征图
    Figure PCTCN2021122466-appb-100004
    输入金字塔机制融合神经网络的池化层进行下采样，获得特征图
    Figure PCTCN2021122466-appb-100005
    将所述特征图
    Figure PCTCN2021122466-appb-100006
    输入金字塔机制融合神经网络的金字塔机制模块，获得多尺度特征F 0；
    对所述特征图
    Figure PCTCN2021122466-appb-100007
    进行残差卷积，获得特征图
    Figure PCTCN2021122466-appb-100008
    同时将所述特征图
    Figure PCTCN2021122466-appb-100009
    输入金字塔机制融合神经网络的池化层进行下采样，获得特征图
    Figure PCTCN2021122466-appb-100010
    将所述特征图
    Figure PCTCN2021122466-appb-100011
    输入金字塔机制融合神经网络的金字塔机制模块，获得多尺度特征F 1；
    对所述特征图
    Figure PCTCN2021122466-appb-100012
    进行残差卷积，获得特征图
    Figure PCTCN2021122466-appb-100013
    同时将所述特征图
    Figure PCTCN2021122466-appb-100014
    输入金字塔机制融合神经网络的池化层进行下采样，获得特征图
    Figure PCTCN2021122466-appb-100015
    将所述特征图
    Figure PCTCN2021122466-appb-100016
    输入金字塔机制融合神经网络的金字塔机制模块，获得多尺度特征F 2；
    将所述特征图
    Figure PCTCN2021122466-appb-100017
    进行残差卷积，获得特征图
    Figure PCTCN2021122466-appb-100018
    同时将所述特征图
    Figure PCTCN2021122466-appb-100019
    输入金字塔机制融合神经网络的池化层进行下采样，获得特征图
    Figure PCTCN2021122466-appb-100020
    将所述特征图
    Figure PCTCN2021122466-appb-100021
    输入金字塔机制融合神经网络的金字塔机制模块，获得多尺度特征F 3；
    将所述特征图
    Figure PCTCN2021122466-appb-100022
    进行残差卷积，获得特征图
    Figure PCTCN2021122466-appb-100023
    同时将所述特征图
    Figure PCTCN2021122466-appb-100024
    输入 金字塔机制融合神经网络的池化层进行下采样，获得特征图
    Figure PCTCN2021122466-appb-100025
    将所述特征图
    Figure PCTCN2021122466-appb-100026
    输入金字塔机制融合神经网络的金字塔机制模块，获得多尺度特征F 4；
    将所述特征图
    Figure PCTCN2021122466-appb-100027
    输入金字塔机制融合神经网络的金字塔融合模块，获得特征
    Figure PCTCN2021122466-appb-100028
    将所述特征
    Figure PCTCN2021122466-appb-100029
    特征F 4、特征图
    Figure PCTCN2021122466-appb-100030
    进行逐元素叠加，并将叠加结果依次进行尺寸为m×m的卷积、上采样、1×1卷积，获得特征
    Figure PCTCN2021122466-appb-100031
    将所述特征
    Figure PCTCN2021122466-appb-100032
    特征F 3、特征图
    Figure PCTCN2021122466-appb-100033
    进行逐元素叠加，并将叠加结果依次进行尺寸为m×m的卷积、上采样、1×1卷积，获得特征
    Figure PCTCN2021122466-appb-100034
    将所述特征
    Figure PCTCN2021122466-appb-100035
    特征F 2、特征图
    Figure PCTCN2021122466-appb-100036
    进行逐元素叠加，并将叠加结果依次进行尺寸为m×m的卷积、上采样、1×1卷积，获得特征
    Figure PCTCN2021122466-appb-100037
    将所述特征
    Figure PCTCN2021122466-appb-100038
    特征F 1、特征图
    Figure PCTCN2021122466-appb-100039
    进行逐元素叠加，并将叠加结果依次进行尺寸为m×m的卷积、上采样、1×1卷积，获得特征
    Figure PCTCN2021122466-appb-100040
    将所述特征
    Figure PCTCN2021122466-appb-100041
    特征F 0、特征图
    Figure PCTCN2021122466-appb-100042
    进行逐元素叠加，并将叠加结果依次进行尺寸为m×m的卷积、上采样、1×1卷积，获得特征
    Figure PCTCN2021122466-appb-100043
    对所述特征
    Figure PCTCN2021122466-appb-100044
    进行尺寸为m×m的卷积、上采样、1×1卷积，得到最终的海洋与非海区域分割概率图。
  6. 根据权利要求5所述的一种基于金字塔机制的遥感影像海洋与非海区域分割方法，其特征在于，在所述金字塔机制模块进行4种不同rate的空洞卷积，卷积尺寸为m×m，rate的大小分别为R1，R2，R3和R4，最后获得多尺度特征。
  7. 根据权利要求6所述的一种基于金字塔机制的遥感影像海洋与非海区域分割方法，其特征在于，所述金字塔融合模块的训练过程包括：
    设定在金字塔融合模块进行4种不同rate的空洞卷积，卷积尺寸为m×m， rate的大小分别为R1，R2，R3和R4，得到的特征分别记为A、B、C、D；
    将特征A和特征B连接执行m×m卷积，并执行Softmax函数分别得到的特征再分别与特征A和特征B逐元素相乘后逐元素相加得到特征E；
    将特征C和特征E连接执行m×m卷积操作，并执行Softmax函数分别得到的特征再分别与特征C和特征E逐元素相乘后逐元素相加得到特征F；
    将特征D和特征F连接执行m×m卷积操作，并执行Softmax函数分别得到的特征再分别与特征D和特征F逐元素相乘后逐元素相加得到特征G，并记为
    Figure PCTCN2021122466-appb-100045
  8. 根据权利要求5所述的一种基于金字塔机制的遥感影像海洋与非海区域分割方法，其特征在于，所述方法还包括：
    将所述海洋与非海区域分割概率图与所述真值图进行对比，若相似度高，说明所述海洋与非海区域分割概率图正确，金字塔机制融合神经网络训练完成，否则将训练集中的数据重新输入金字塔机制融合神经网络进行学习训练。
PCT/CN2021/122466 2021-09-17 2021-09-30 一种基于金字塔机制的遥感影像海洋与非海区域分割方法 WO2023039959A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111090101.9A CN113870281A (zh) 2021-09-17 2021-09-17 一种基于金字塔机制的遥感影像海洋与非海区域分割方法
CN202111090101.9 2021-09-17

Publications (1)

Publication Number Publication Date
WO2023039959A1 true WO2023039959A1 (zh) 2023-03-23

Family

ID=78996290

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/122466 WO2023039959A1 (zh) 2021-09-17 2021-09-30 一种基于金字塔机制的遥感影像海洋与非海区域分割方法

Country Status (2)

Country Link
CN (1) CN113870281A (zh)
WO (1) WO2023039959A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343070A (zh) * 2023-05-22 2023-06-27 武汉天地鹰测绘科技有限公司 一种航测影像地物要素的智能解译方法
CN116452901A (zh) * 2023-06-19 2023-07-18 中国科学院海洋研究所 基于深度学习的遥感图像海洋养殖区自动化提取方法
CN116721346A (zh) * 2023-06-14 2023-09-08 山东省煤田地质规划勘察研究院 一种基于深度学习算法的岸线智能识别方法
CN117237623A (zh) * 2023-08-04 2023-12-15 山东大学 一种无人机遥感图像语义分割方法及系统
CN117475236A (zh) * 2023-11-22 2024-01-30 山东省地质矿产勘查开发局第八地质大队(山东省第八地质矿产勘查院) 用于矿产资源勘探的数据处理系统及其方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708222B (zh) * 2022-04-02 2023-04-18 广西壮族自治区自然资源遥感院 基于目标面积分布特征的遥感影像变化检测质量评估方法
CN117726954B (zh) * 2024-02-09 2024-04-30 成都信息工程大学 一种遥感图像海陆分割方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200057935A1 (en) * 2017-03-23 2020-02-20 Peking University Shenzhen Graduate School Video action detection method based on convolutional neural network
CN111160276A (zh) * 2019-12-31 2020-05-15 重庆大学 基于遥感影像的u型空洞全卷积分割网络识别模型
CN111178149A (zh) * 2019-12-09 2020-05-19 中国资源卫星应用中心 一种基于残差金字塔网络的遥感影像水体自动提取方法
CN112418176A (zh) * 2020-12-09 2021-02-26 江西师范大学 一种基于金字塔池化多级特征融合网络的遥感图像语义分割方法
CN113139550A (zh) * 2021-03-29 2021-07-20 山东科技大学 一种基于深度语义分割网络的遥感影像海岸线提取方法
CN113343861A (zh) * 2021-06-11 2021-09-03 浙江大学 一种基于神经网络模型的遥感图像水体区域提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200057935A1 (en) * 2017-03-23 2020-02-20 Peking University Shenzhen Graduate School Video action detection method based on convolutional neural network
CN111178149A (zh) * 2019-12-09 2020-05-19 中国资源卫星应用中心 一种基于残差金字塔网络的遥感影像水体自动提取方法
CN111160276A (zh) * 2019-12-31 2020-05-15 重庆大学 基于遥感影像的u型空洞全卷积分割网络识别模型
CN112418176A (zh) * 2020-12-09 2021-02-26 江西师范大学 一种基于金字塔池化多级特征融合网络的遥感图像语义分割方法
CN113139550A (zh) * 2021-03-29 2021-07-20 山东科技大学 一种基于深度语义分割网络的遥感影像海岸线提取方法
CN113343861A (zh) * 2021-06-11 2021-09-03 浙江大学 一种基于神经网络模型的遥感图像水体区域提取方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343070A (zh) * 2023-05-22 2023-06-27 武汉天地鹰测绘科技有限公司 一种航测影像地物要素的智能解译方法
CN116343070B (zh) * 2023-05-22 2023-10-13 武汉天地鹰测绘科技有限公司 一种航测影像地物要素的智能解译方法
CN116721346A (zh) * 2023-06-14 2023-09-08 山东省煤田地质规划勘察研究院 一种基于深度学习算法的岸线智能识别方法
CN116721346B (zh) * 2023-06-14 2024-05-07 山东省煤田地质规划勘察研究院 一种基于深度学习算法的岸线智能识别方法
CN116452901A (zh) * 2023-06-19 2023-07-18 中国科学院海洋研究所 基于深度学习的遥感图像海洋养殖区自动化提取方法
CN116452901B (zh) * 2023-06-19 2023-09-15 中国科学院海洋研究所 基于深度学习的遥感图像海洋养殖区自动化提取方法
CN117237623A (zh) * 2023-08-04 2023-12-15 山东大学 一种无人机遥感图像语义分割方法及系统
CN117237623B (zh) * 2023-08-04 2024-03-29 山东大学 一种无人机遥感图像语义分割方法及系统
CN117475236A (zh) * 2023-11-22 2024-01-30 山东省地质矿产勘查开发局第八地质大队(山东省第八地质矿产勘查院) 用于矿产资源勘探的数据处理系统及其方法
CN117475236B (zh) * 2023-11-22 2024-05-03 山东省地质矿产勘查开发局第八地质大队(山东省第八地质矿产勘查院) 用于矿产资源勘探的数据处理系统及其方法

Also Published As

Publication number Publication date
CN113870281A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
WO2023039959A1 (zh) 一种基于金字塔机制的遥感影像海洋与非海区域分割方法
Li et al. A deep learning method of water body extraction from high resolution remote sensing images with multisensors
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
Li et al. Water body classification from high-resolution optical remote sensing imagery: Achievements and perspectives
CN111414954B (zh) 一种岩石图像检索方法及其系统
CN111582218A (zh) 一种基于深度学习的遥感影像岛礁提取方法
CN113312993B (zh) 一种基于PSPNet的遥感数据土地覆盖分类方法
CN110866494A (zh) 一种基于光学遥感影像的城镇群提取方法及系统
CN109657598A (zh) 基于分层策略的滨海湿地遥感分类方法
CN114387446A (zh) 一种高分率遥感影像水体自动提取方法
CN112037244A (zh) 联合指数和轮廓指示器SLIC的Landsat-8图像养殖池提取方法
CN114266795A (zh) 一种基于金字塔池化u型网络的遥感图像海陆分割方法
CN113012167B (zh) 一种细胞核与细胞质的联合分割方法
CN113780117B (zh) 一种快速识别并提取河口羽状流轮廓相关参数的方法
CN113177473B (zh) 遥感影像水体自动化提取方法和装置
CN115620132A (zh) 一种无监督的对比学习冰湖提取方法
CN114743103A (zh) 基于Deeplabv3+网络模型的海岛礁遥感影像地质分类方法
CN114463628A (zh) 一种基于阈值约束的深度学习遥感影像船舰目标识别方法
CN108596088B (zh) 一种用于全色遥感影像的建筑物检测方法
CN114241288A (zh) 一种选择性边缘信息引导的遥感目标显著性检测方法
Zheng et al. Remote Sensing Geological Classification of Sea Islands and Reefs Based on Deeplabv3+
Liu et al. A Deep Learning Method for Offshore Raft Aquaculture Extraction Based on Medium Resolution Remote Sensing Images
Zheng et al. Semantic segmentation sample augmentation based on simulated scene generation—case study on dock extraction from high spatial resolution imagery
Lai et al. Surface Water Information Extraction Based on High-Resolution Image
Zou et al. Multi-dimensional attention unet with variable size convolution group for road segmentation in remote sensing imagery

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21957230

Country of ref document: EP

Kind code of ref document: A1