WO2023077816A1 - 边界优化的遥感图像语义分割方法、装置、设备及介质 - Google Patents

边界优化的遥感图像语义分割方法、装置、设备及介质 Download PDF

Info

Publication number
WO2023077816A1
WO2023077816A1 PCT/CN2022/099617 CN2022099617W WO2023077816A1 WO 2023077816 A1 WO2023077816 A1 WO 2023077816A1 CN 2022099617 W CN2022099617 W CN 2022099617W WO 2023077816 A1 WO2023077816 A1 WO 2023077816A1
Authority
WO
WIPO (PCT)
Prior art keywords
remote sensing
sensing image
semantic segmentation
network
boundary
Prior art date
Application number
PCT/CN2022/099617
Other languages
English (en)
French (fr)
Inventor
吕亮
任鑫
朱俊杰
吴昊
祝金涛
武青
王恩民
王�华
童彤
赵鹏程
杜静宇
Original Assignee
中国华能集团清洁能源技术研究院有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国华能集团清洁能源技术研究院有限公司 filed Critical 中国华能集团清洁能源技术研究院有限公司
Publication of WO2023077816A1 publication Critical patent/WO2023077816A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本公开提出一种边界优化的遥感图像语义分割方法、装置、设备及介质，通过构建包括编码器、边界检测分支网络和边界点上采样模块的遥感图像语义分割网络，在编码阶段，边界检测分支网络中使用门控卷积控制特征图信息，使得分割网络在学习过程中更加关注边界区域的像素，增强对边界信息的编码；解码阶段，针对遥感图像中的边界区域的像素点，设计边界点上采样模块，对采样的像素点使用单独的小型网络训练，采样的像素点的分割结果由小网络预测，其他区域的分割结果由深层特征图直接插值得到。通过本公开，能够得到更为精细的语义分割结果，同时减少模型参数与计算量。

Description

边界优化的遥感图像语义分割方法、装置、设备及介质
相关申请的交叉引用
本公开基于申请号为202111295557.9、申请日为2021年11月3日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本公开涉及深度学习技术领域，尤其涉及一种边界优化的遥感图像语义分割方法、装置、设备及介质。
背景技术
图像分割的目的是将每个像素标记为一种类别，对于遥感图像，则将像素标记为一种地物类型，比如建筑、水体、道路、耕地、车辆等等。图像语义分割是从传统图像分割方法发展而来，传统图像分割方法(阈值法、k-Means聚类法、区域法、边缘检测法)只关心找到地物的边界轮廓，并不关心地物所属的类别，语义分割不仅要精确地找到地物的轮廓，还需准确地判断地物所属的类别，即给出其语义。得益于深度学习的快速发展与计算机存储与运算力的极大提升，使得基于深度卷积神经网络的语义分割方法成为高分辨率遥感图像分割新的利器。
全卷积网络首次实现了基于深度卷积神经网络的端到端语义分割方法，但是全卷积网络的分割结果边界较为粗糙，尤其是物体边界信息不能完整地恢复，其主要原因为：图像语义分割是一个像素级分类任务，标签制作难度大、成本高，遥感图像包含丰富的地物信息，由于卷积神经网络通过多次卷积、池化计算后，得到的抽象的深层特征，在恢复至原图大小的过程中通过直接上采样得到，或者只聚合了部分的低层特征图后再上采样至原图大小，未能够充分的融合低层的细粒度特征图，缺乏细节信息，得到的边界部分的预测结果十分不准确。
基于上述缺陷，利用UNet(经典语义分割网络)的思想，设计对称的编码器与解码器结构，编码器负责进行多次卷积和池化，解码器采用多次跳跃连接的上采样，每次上采样过程都融合了编码器中同样大小的特征图，直至将编码器的输出恢复至原图大小，充分利用了各尺度的特征图，使得语义分割结果中地物边界的细节信息能够很好的恢复。但UNet解码器多次上采样后产生冗余的特征图，更多的网络参数，不可避免地会增加网络的计算开销，且并未对语义分割边界做特别的优化。
发明内容
本公开提供一种边界优化的遥感图像语义分割方法，旨在减少网络模型参数与计算量，得到更精细的语义分割结果。
为此，本公开的目的在于提出一种边界优化的遥感图像语义分割方法，包括：
构建遥感语义分割网络，遥感语义分割网络是基于经典语义分割网络U-NET网络进行改进得到的；
利用遥感图像数据集对遥感语义分割网络进行训练；
将实时拍摄的遥感图像输入训练完成的遥感图像语义分割网络，输出结果即为对拍摄的遥感图像的语义分割结果。
其中，利用遥感图像数据集对遥感语义分割网络进行训练的步骤包括：
获取遥感图像样本数据集，对数据集中遥感图像的地物类别按像素进行标记，生成对应的标签遥感图像，预处理后划分为训练集、验证集和测试集；
构建包括编码器、边界检测分支网络和边界点上采样模块的遥感图像语义分割网络；
将所述训练集的原始遥感图像输入所述遥感图像语义分割网络中进行训练，确定模型训练的超参数与损失函数，优化遥感图像语义分割网络的参数，至所述验证集预测结果的预测精度达到预设精度阈值；
将测试集输入训练好的遥感图像语义分割网络，验证网络分割准确性。
其中，遥感语义分割网络的训练方式为：训练集遥感图像输入编码器，不同卷积层输出的特征图输入边界检测分支网络，编码器、边界检测分支网络的输出结果融合得到初步分割遥感图像，边界点上采样模块基于初步分割遥感图像进行像素点采样，将采样点、编码器每一卷积层输出的特征图及原始遥感图像输入由多层感知机组合形成的小型网络进行预测，输出结果与初步分割遥感图像进行匹配替换，得到边界优化的遥感图像语义分割结果。
其中，对遥感图像及对应的标签遥感图像进行预处理的步骤包括：
对原始遥感图像与对应标签遥感图像进行随机采样，每次采样得到512×512大小的遥感图像与对应标签图；
对随机采样后得到的遥感图像进行样本增强，包括随机旋转n×90°(n＝0,1,2,3)，随机水平方向与垂直方向90°翻转，随机尺度缩放，随机亮度、对比度、饱和度增强。
其中，编码器以ResNet作为主干网络，包括依序连接的若干层卷积层，前一卷积层输出的特征图输入到后一卷积层中进行特征提取，生成新的特征图。
其中，边界检测分支网络包括与编码器卷积层相同数量的特征提取层；每一特征提取层包括控制信息流通的门控卷积和上采样机构；每一特征提取层的门控卷积的输入对应连接到编码器的其中一个卷积层，将对应卷积层输出的特征图作为相应特征提取层的门口卷积输 入；每一卷积层的特征图经过对应门控卷积插值上采样后，形成不同尺度的特征图进行融合，并与编码器输出的特征图进行融合，结果为遥感图像的初步分割遥感图像。
其中，门控卷积的处理过程如公式(1)所示：
Figure PCTCN2022099617-appb-000001
其中：X为输入的特征图，i，j代表每个像素的位置，σ为sigmoid函数。
其中，边界点上采样模块对初步分割遥感图像进行采样，采集其中置信度低于预设阈值的像素点作为采样点；采样点与编码器每一卷积层输出的不同尺度特征图、原始遥感图像进行匹配融合，融合结果输入至小型网络，输出结果为采样点的预测结果；将采样点的预测结果与初步分割遥感图像进行匹配替换，得到边界优化的遥感图像语义分割结果。
其中，边界点上采样模块对初步分割遥感图像进行采样的采样过程为：
基于初步分割遥感图像，计算图像中像素点的预测概率值，如公式(2)所示：
P＝θ(X)       (2)
影像
Figure PCTCN2022099617-appb-000002
输入遥感图像语义分割网络θ，得到初始的预测概率图
Figure PCTCN2022099617-appb-000003
K为类别数量，
Figure PCTCN2022099617-appb-000004
表示X的第i行第j列个像素点，
Figure PCTCN2022099617-appb-000005
表示P的第i行第j列个像素的预测概率；将预测概率图P的所有像素点都按照概率从大到小排序，得到排序后的
Figure PCTCN2022099617-appb-000006
通过公式(3)计算所有像素点分类最高概率P_sorted[1]与次高概率P_sorted[2]的差值的负数得到
Figure PCTCN2022099617-appb-000007
称之为不确定度，如公式(4)所示；
P_sorted＝sort(P)       (3)
U＝-(P_sorted[1]-P_sorted[2])       (4)
u i,j表示U第i行第j列个像素点的不确定度，u i,j越大则说明该像素点的预测结果不确定度越高；
选取β×N个最不确定的像素点，β∈[0,1]，剩下(1-β)×N个像素点在影像中均匀采样。
其中，采样点预测的步骤包括：
根据初始分割遥感图像，结合细粒度特征对采样到的不确定像素点进行特征重建，公式表示如公式(5)：
G＝L 1||L 2||L 3||X          (5)
其中，细粒度特征
Figure PCTCN2022099617-appb-000008
来自于编码器中的低层特征图与输入
Figure PCTCN2022099617-appb-000009
设定编码器具备三层卷积层，三个尺度的特征图插值到原始遥感图像，依次得到
Figure PCTCN2022099617-appb-000010
Figure PCTCN2022099617-appb-000011
M＝C 1+C 2+C 3+C；将各特征图与输入X融合，得到重建的细粒度特征表示，||表示特征图拼接操作；
通过公式(6)将细粒度特征G与预测概率图P拼接，得到采样点重建的特征表示
Figure PCTCN2022099617-appb-000012
Figure PCTCN2022099617-appb-000013
根据采样像素点的坐标信息提取每个采样点重建后的特征表示；
R＝G||P       (6)
重建的特征向量作为小型网络的输入，输出采样点的预测结果与初步分割遥感图像进行匹配替换，得到边界优化的遥感图像语义分割结果。
其中，模型训练的超参数包括使用Adam优化器，指数衰减速率为(0.9，0.99)、正则化系数为0.0002，学习率为0.001；由于涉及语义分割与边界检测两个任务，同时要训练边界点上采样模块中的小型网络，因此总体损失函数由三部分组成，如公式(7)所示，语义分割任务与小型网络均采用交叉熵损失函数来训练，边界检测分支网络采用二值交叉熵损失函数来训练：
Figure PCTCN2022099617-appb-000014
θ和
Figure PCTCN2022099617-appb-000015
分别代表语义分割主干网络的参数与边界检测分支网络的参数，δ代表小型网络的参数，
Figure PCTCN2022099617-appb-000016
为语义边界标签，b为边界检测分支网络的预测结果，
Figure PCTCN2022099617-appb-000017
为语义分割标签，y为语义分割网络的预测结果，
Figure PCTCN2022099617-appb-000018
为边界点上采样模块采样的不确定点的标签，z为小型网络的预测结果，λ 1，λ 2是调节语义分割损失与边界提取损失比重的超参数，分别为10，1。
此外，本公开的目的还在于提出一种边界优化的遥感图像语义分割装置，使用如前述技术方案的边界优化的遥感图像语义分割方法进行分割，包括：
网络构建模块，用于构建遥感语义分割网络，遥感语义分割网络是基于经典语义分割网络U-NET网络进行改进得到的；
网络训练模块，用于利用遥感图像数据集对遥感语义分割网络进行训练；
图像分割模块，用于将实时拍摄的遥感图像输入训练完成的遥感图像语义分割网络，输出结果即为对拍摄的遥感图像的语义分割结果。
本公开的目的还在于提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述技术方案任一的方法。
本公开的目的还在于提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述技术方案的方法。
区别于现有技术，本公开提供的边界优化的遥感图像语义分割方法，通过构建包括编码器、边界检测分支网络和边界点上采样模块的遥感图像语义分割网络，在编码阶段，边界检测分支网络中使用门控卷积控制特征图信息，使得分割网络在学习过程中更加关注边界区域的像素，增强对边界信息的编码；解码阶段，针对遥感图像中的边界区域的像素点，设计边界点上采样模块，对采样的像素点使用单独的小型网络训练，采样的像素点的分割结果由小 网络预测，其他区域的分割结果由深层特征图直接插值得到。通过本公开，能够得到更为精细的语义分割结果，同时减少模型参数与计算量。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本公开提供的一种边界优化的遥感图像语义分割方法的流程示意图。
图2是本公开提供的一种边界优化的遥感图像语义分割方法的网络结构示意图。
图3是本公开提供的一种边界优化的遥感图像语义分割方法中上采样操作的流程示意图。
图4是本公开提供的一种边界优化的遥感图像语义分割方法中门控卷积操作的流程示意图。
具体实施方式
下面详细描述本公开的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
下面参考附图描述本公开实施例的一种边界优化的遥感图像语义分割方法。
图1为本公开实施例所提供的一种边界优化的遥感图像语义分割方法的流程示意图。该方法包括以下步骤：
步骤101，构建遥感语义分割网络，遥感语义分割网络是基于经典语义分割网络U-NET网络进行改进得到的。
构建遥感语义分割网络，网络包括编码器、边界检测分支网络和边界点上采样模块。网络结构如图2所示。
其中，编码器以ResNet作为主干网络，包括依序连接的若干层卷积层，前一卷积层输出的特征图输入到后一卷积层中进行特征提取，生成新的特征图。本公开的实施例中，卷积层的数量设置为3层。
边界检测分支网络包括与编码器卷积层相同数量的特征提取层；每一特征提取层包括控制信息流通的门控卷积和上采样机构；每一特征提取层的门控卷积的输入对应连接到编码器的其中一个卷积层，将对应卷积层输出的特征图作为相应特征提取层的门口卷积输入；每一卷积层的特征图经过对应门控卷积插值上采样后，形成不同尺度的特征图进行融合，并与编码器输出的特征图进行融合，结果为遥感图像的初步分割遥感图像。门控卷积和上采样操作 的流程如图3和图4所示。
门控卷积的处理过程如公式(1)所示：
Figure PCTCN2022099617-appb-000019
其中：X为输入的特征图，i，j代表每个像素的位置，σ为sigmoid函数。
边界点上采样模块对初步分割遥感图像进行采样，采集其中置信度低于预设阈值的像素点作为采样点；采样点与编码器每一卷积层输出的不同尺度特征图、原始遥感图像进行匹配融合，融合结果输入至小型网络，输出结果为采样点的预测结果；将采样点的预测结果与初步分割遥感图像进行匹配替换，得到语义分割后的遥感图像。
步骤102：利用遥感图像数据集对遥感语义分割网络进行训练。
利用遥感图像数据集对所述遥感语义分割网络进行训练的步骤包括：
获取遥感图像样本数据集，对数据集中遥感图像的地物类别按像素进行标记，生成对应的标签遥感图像，通过对标签遥感图像使用边缘检测算法自动生产语义边界标签；预处理后划分为训练集、验证集和测试集；
构建包括编码器、边界检测分支网络和边界点上采样模块的遥感图像语义分割网络；
将所述训练集的原始遥感图像输入所述遥感图像语义分割网络中进行训练，确定模型训练的超参数与损失函数，优化遥感图像语义分割网络的参数，至所述验证集预测结果的预测精度达到预设精度阈值；
将所述测试集输入训练好的遥感图像语义分割网络，验证网络分割准确性。
从遥感图像数据库中提取一定数量的遥感图像，构建遥感图像的样本数据集；通过人工对遥感图像中的地物类别按像素进行标记，得到对应的标记图像；在其他实施例中，也可从网络图像数据库中直接获取标记地物边界轮廓的标记遥感图像；将标记遥感图像添加到遥感图像数据集中，对得到的遥感图像数据集进行数据增强操作。
数据增强的操作首先是增加样本数量，具体通过对遥感图像数据集中的原始遥感图像及对应的标签遥感图像进行随机采样，得到尺寸小于原始遥感图像的小图像。在本实施例中，通过随机采样，将原始遥感图像及对应标签遥感图像裁剪为小于原始尺寸的512×512大小的遥感图像与对应标签遥感图像，实现数据增强。
通过随机采样操作后，进一步对全部的遥感图像样本数据集进行参数范围调整，具体包括：随机旋转n×90°(n＝0,1,2,3)，随机水平方向与垂直方向90°翻转，随机尺度缩放0.5倍至1.5倍，随机亮度增强0.5倍至1.5倍，随机对比度增强0.5倍至1.5倍，随机饱和度增强0.5倍至1.5倍；每次采样的样本都进行随机次数与随机程度的数据增强，最大程度的丰富训练样本集以提高深度语义分割网络的泛化能力。这样每次迭代后用验证数据集验证深度语义分割网络的精度，得到精度最高的深度语义分割网络。将测试集中的高分辨率遥感影像输入所 得深度语义分割网络即可得到该影像的语义分割结果。
此外，预处理的方式还包括去重、过滤、降噪、灰度化等常规的操作。
预处理后，将预处理得到的遥感图像数据集按照预设比例划分为训练集、验证集和测试集。
模型训练的超参数包括使用Adam优化器，指数衰减速率、正则化系数或学习率；由于涉及语义分割与边界检测两个任务，同时要训练边界点上采样模块中的小型网络，因此总体损失函数由三部分组成，如公式(7)所示，语义分割任务与小型网络均采用交叉熵损失函数来训练，边界检测分支网络采用二值交叉熵损失函数来训练：
Figure PCTCN2022099617-appb-000020
θ和
Figure PCTCN2022099617-appb-000021
分别代表语义分割主干网络的参数与边界检测分支网络的参数，δ代表小型网络的参数，
Figure PCTCN2022099617-appb-000022
为语义边界标签，b为边界检测分支网络的预测结果，
Figure PCTCN2022099617-appb-000023
为语义分割标签，y为语义分割网络的预测结果，
Figure PCTCN2022099617-appb-000024
为边界点上采样模块采样的不确定点的标签，z为小型网络的预测结果，λ 1，λ 2是调节语义分割损失与边界提取损失比重的超参数。
遥感图像语义分割网络的训练方式为：训练集遥感图像输入编码器，不同卷积层输出的特征图输入边界检测分支网络，编码器、边界检测分支网络的输出结果融合得到初步分割遥感图像，边界点上采样模块基于初步分割遥感图像进行像素点采样，将采样点、编码器每一卷积层输出的特征图及原始遥感图像输入由多层感知机组合形成的小型网络进行预测，输出结果与初步分割遥感图像进行匹配替换，得到边界优化的遥感图像语义分割结果。
具体的，编码器设置三层卷积层，边界检测分支网络对应设置三个特征提取层，将训练集的遥感图像数据输入至编码器中，依次经过每一卷积层进行特征提取，经三层卷积层处理后得到对应的特征图；每一卷积层提取的特征图作为边界检测分支网络对应特征提取层的输入，经过对应特征提取层的门控卷积处理后进行上采样操作，三层特征提取层输出的特征图进行融合，然后与经过上采样操作后的编码器第三个卷积层得到的特征图进行融合，融合后进行上采样操作，从而生成初步分割遥感图像。而三层特征提取层输出的特征图融合后经过上采样操作，生成对应遥感图像的边界检测图像。
针对初步分割遥感图像进行采样，获取采样点。
边界点上采样模块对初步分割遥感图像进行采样的采样过程为：
基于初步分割遥感图像，计算图像中像素点的预测概率值，如公式(2)所示：
P＝θ(X)        (2)
影像
Figure PCTCN2022099617-appb-000025
输入遥感图像语义分割网络θ，得到初始的预测概率图
Figure PCTCN2022099617-appb-000026
K为类别数量，
Figure PCTCN2022099617-appb-000027
表示X的第i行第j列个像素点，
Figure PCTCN2022099617-appb-000028
表示P的第i行第j列个像素的预测概率；将预测概率图P的所有像素点都按照概率从大到小排序，得到排序后 的
Figure PCTCN2022099617-appb-000029
通过公式(3)计算所有像素点分类最高概率P_sorted[1]与次高概率P_sorted[2]的差值的负数得到
Figure PCTCN2022099617-appb-000030
称之为不确定度，如公式(4)所示；
P_sorted＝sort(P)         (3)
U＝-(P_sorted[1]-P_sorted[2])          (4)
u i,j表示U第i行第j列个像素点的不确定度，u i,j越大则说明该像素点的预测结果不确定度越高；
选取β×N个最不确定的像素点，β∈[0,1]，剩下(1-β)×N个像素点在影像中均匀采样。β越大，采样点就主要集中在影像的边界区域。
采集到采样点后，采样点与原始遥感图像及编码器的三层卷积层输出的二维特征图进行融合匹配，采样点的特征由编码器中的特征图、输入影像与初始分割结果融合后共同表示；将采样点的特征输入至小型网络，输出结果即为遥感图像语义分割结果。
采样点预测的步骤包括：
由于初始的分割结果未融合低层特征图，而是由高层特征图插值得到的，使得高频区域的分割结果十分粗糙，边界点上采样模块为了能够恢复语义分割结果的细节信息，根据初始分割遥感图像，结合细粒度特征对采样到的不确定像素点进行特征重建，公式表示如公式(5)：
G＝L 1||L 2||L 3||X        (5)
其中，细粒度特征
Figure PCTCN2022099617-appb-000031
来自于编码器中的低层特征图与输入
Figure PCTCN2022099617-appb-000032
设定编码器具备三层卷积层，三个尺度的特征图插值到原始遥感图像，依次得到
Figure PCTCN2022099617-appb-000033
Figure PCTCN2022099617-appb-000034
M＝C 1+C 2+C 3+C；将各特征图与输入X融合，得到重建的细粒度特征表示，||表示特征图拼接操作；
通过公式(6)将细粒度特征G与预测概率图P拼接，得到采样点重建的特征表示
Figure PCTCN2022099617-appb-000035
Figure PCTCN2022099617-appb-000036
根据采样像素点的坐标信息提取每个采样点重建后的特征表示；
R＝G||P       (6)
重建的特征向量作为小型网络的输入，输出采样点的预测结果与初步分割遥感图像进行匹配替换，得到遥感图像语义分割结果。
网络训练完成后，将测试集输入训练好的遥感图像语义分割网络，验证网络分割准确性。
边界检测分支网络、边界点上采样模块及小型网络的损失函数均为交叉熵损失函数，根据数据集所需分类的类别个数设置网络输出层的类别数为所包含地物的类别数，设置学习率为0.0001、迭代次数为1500、指数衰减速率为(0.9，0.99)、正则化系数为0.0002。
小型网络的网络结构如表1所示：
Figure PCTCN2022099617-appb-000037
表1 小型网络结构
步骤103：将实时拍摄的遥感图像输入训练完成的遥感图像语义分割网络，输出结果即为对拍摄的遥感图像的语义分割结果。
此外，本公开的目的还在于提出一种边界优化的遥感图像语义分割装置，使用如前述技术方案的边界优化的遥感图像语义分割方法进行分割，包括：
网络构建模块，用于构建遥感语义分割网络，遥感语义分割网络是基于经典语义分割网络U-NET网络进行改进得到的；
网络训练模块，用于利用遥感图像数据集对遥感语义分割网络进行训练；
图像分割模块，用于将实时拍摄的遥感图像输入训练完成的遥感图像语义分割网络，输出结果即为对拍摄的遥感图像的语义分割结果。
上述装置的实施过程与前述实施方式中的语义分割方法的实施方式相似甚至相同，此处不再赘述。
本公开的目的还在于提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述技术方案任一的边界优化的遥感图像语义分割方法。
本公开的目的还在于提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述技术方案的边界优化的遥感图像语义分割方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可 以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个 单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

  1. 一种边界优化的遥感图像语义分割方法，包括：
    构建遥感语义分割网络，所述遥感语义分割网络是基于经典语义分割网络U-NET网络进行改进得到的；
    利用遥感图像数据集对所述遥感语义分割网络进行训练；
    将实时拍摄的遥感图像输入训练完成的遥感图像语义分割网络，输出结果即为对拍摄的遥感图像的语义分割结果。
  2. 根据权利要求1所述的边界优化的遥感图像语义分割方法，其中利用遥感图像数据集对所述遥感语义分割网络进行训练的步骤包括：
    获取所述遥感图像样本数据集，对数据集中遥感图像的地物类别按像素进行标记，生成对应的标签遥感图像，通过对标签遥感图像使用边缘检测算法自动生产语义边界标签；预处理后划分为训练集、验证集和测试集；
    构建包括编码器、边界检测分支网络和边界点上采样模块的所述遥感图像语义分割网络；
    将所述训练集的原始遥感图像输入所述遥感图像语义分割网络中进行训练，确定模型训练的超参数与损失函数，优化所述遥感图像语义分割网络的参数，至所述验证集预测结果的预测精度达到预设精度阈值；
    将所述测试集输入训练好的遥感图像语义分割网络，验证网络分割准确性。
  3. 根据权利要求2所述的边界优化的遥感图像语义分割方法，其中所述遥感语义分割网络的训练方式为：训练集遥感图像输入所述编码器，不同卷积层输出的特征图输入所述边界检测分支网络，所述编码器、所述边界检测分支网络的输出结果融合得到初步分割遥感图像，所述边界点上采样模块基于所述初步分割遥感图像进行像素点采样，将所述采样点、所述编码器每一卷积层输出的特征图及原始遥感图像输入由多层感知机组合形成的小型网络进行预测，输出结果与所述初步分割遥感图像进行匹配替换，得到边界优化的遥感图像语义分割结果。
  4. 根据权利要求2或3所述的边界优化的遥感图像语义分割方法，其中对遥感图像及对应的标签遥感图像进行预处理的步骤包括：
    对原始遥感图像与对应的标签遥感图像进行随机采样，每次采样得到512×512大小的遥感图像与对应的标签图；
    对随机采样后得到的遥感图像进行样本增强，包括随机旋转n×90°(n＝0,1,2,3)，随机水平方向与垂直方向90°翻转，随机尺度缩放，随机亮度、对比度、饱和度增强。
  5. 根据权利要求2至4中任一项所述的边界优化的遥感图像语义分割方法，其中所述 编码器以ResNet作为主干网络，包括依序连接的若干层卷积层，前一卷积层输出的特征图输入到后一卷积层中进行特征提取，生成新的特征图。
  6. 根据权利要求5所述的边界优化的遥感图像语义分割方法，其中所述边界检测分支网络包括与所述编码器卷积层相同数量的特征提取层；每一所述特征提取层包括控制信息流通的门控卷积和上采样机构；每一特征提取层的门控卷积的输入对应连接到所述编码器的其中一个卷积层，将对应卷积层输出的特征图作为相应特征提取层的门口卷积输入；每一卷积层的特征图经过对应门控卷积插值上采样后，形成不同尺度的特征图进行融合，并与所述编码器输出的特征图进行融合，结果为遥感图像的初步分割遥感图像。
  7. 根据权利要求6所述的边界优化的遥感图像语义分割方法，其中门控卷积的处理过程如公式(1)所示：
    Figure PCTCN2022099617-appb-100001
    其中：X为输入的特征图，i，j代表每个像素的位置，σ为sigmoid函数。
  8. 根据权利要求6或7所述的边界优化的遥感图像语义分割方法，其中所述边界点上采样模块对所述初步分割遥感图像进行采样，采集其中置信度低于预设阈值的像素点作为采样点；采样点与编码器每一卷积层输出的不同尺度特征图、原始遥感图像进行匹配融合，融合结果输入至小型网络，输出结果为采样点的预测结果；将采样点的预测结果与初步分割遥感图像进行匹配替换，得到边界优化的遥感图像语义分割结果。
  9. 根据权利要求8所述的边界优化的遥感图像语义分割方法，其中所述边界点上采样模块对所述初步分割遥感图像进行采样的采样过程为：
    基于所述初步分割遥感图像，计算图像中像素点的预测概率值，如公式(2)所示：
    P＝θ(X)  (2)
    影像
    Figure PCTCN2022099617-appb-100002
    输入遥感图像语义分割网络θ，得到初始的预测概率图
    Figure PCTCN2022099617-appb-100003
    K为类别数量，
    Figure PCTCN2022099617-appb-100004
    表示X的第i行第j列个像素点，
    Figure PCTCN2022099617-appb-100005
    表示P的第i行第j列个像素的预测概率；将预测概率图P的所有像素点都按照概率从大到小排序，得到排序后的
    Figure PCTCN2022099617-appb-100006
    通过公式(3)计算所有像素点分类最高概率P_sorted[1]与次高概率P_sorted[2]的差值的负数得到
    Figure PCTCN2022099617-appb-100007
    称之为不确定度，如公式(4)所示；
    P_sorted＝sort(P)  (3)
    U＝-(P_sorted[1]-P_sorted[2])  (4)
    u i,j表示U第i行第j列个像素点的不确定度，u i,j越大则说明该像素点的预测结果不确定度越高；
    选取β×N个最不确定的像素点，β∈[0,1]，剩下(1-β)×N个像素点在影像中均匀采 样。
  10. 根据权利要求8或9所述的边界优化的遥感图像语义分割方法，其中采样点预测的步骤包括：
    根据初始分割遥感图像，结合细粒度特征对采样到的不确定像素点进行特征重建，公式表示如公式(5)：
    G＝L 1||L 2||L 3||X  (5)
    其中，细粒度特征
    Figure PCTCN2022099617-appb-100008
    来自于编码器中的低层特征图与输入
    Figure PCTCN2022099617-appb-100009
    设定编码器具备三层卷积层，三个尺度的特征图插值到原始遥感图像，依次得到
    Figure PCTCN2022099617-appb-100010
    Figure PCTCN2022099617-appb-100011
    M＝C 1+C 2+C 3+C；将各特征图与输入X融合，得到重建的细粒度特征表示，||表示特征图拼接操作；
    通过公式(6)将细粒度特征G与预测概率图P拼接，得到采样点重建的特征表示
    Figure PCTCN2022099617-appb-100012
    Figure PCTCN2022099617-appb-100013
    根据采样像素点的坐标信息提取每个采样点重建后的特征表示；
    R＝G||P  (6)
    重建的特征向量作为小型网络的输入，输出采样点的预测结果与初步分割遥感图像进行匹配替换，得到边界优化的遥感图像语义分割结果。
  11. 一种边界优化的遥感图像语义分割装置，使用如权利要求1至10中任一项所述的边界优化的遥感图像语义分割方法进行分割，包括：
    网络构建模块，用于构建遥感语义分割网络，所述遥感语义分割网络是基于经典语义分割网络U-NET网络进行改进得到；
    网络训练模块，用于利用遥感图像数据集对所述遥感语义分割网络进行训练；
    图像分割模块，用于将实时拍摄的遥感图像输入训练完成的遥感图像语义分割网络，输出结果即为对拍摄的遥感图像的语义分割结果。
  12. 根据权利要求11所述的边界优化的遥感图像语义分割装置，其中模型训练的超参数包括使用Adam优化器，指数衰减速率、正则化系数或学习率；由于涉及语义分割与边界检测两个任务，同时要训练边界点上采样模块中的小型网络，因此总体损失函数由三部分组成，如公式(7)所示，语义分割任务与小型网络均采用交叉熵损失函数来训练，边界检测分支网络采用二值交叉熵损失函数来训练：
    Figure PCTCN2022099617-appb-100014
    θ和
    Figure PCTCN2022099617-appb-100015
    分别代表语义分割主干网络的参数与边界检测分支网络的参数，δ代表小型网络的参数，
    Figure PCTCN2022099617-appb-100016
    为语义边界标签，b为边界检测分支网络的预测结果，
    Figure PCTCN2022099617-appb-100017
    为语义分割标签，y为语义分割网络的预测结果，
    Figure PCTCN2022099617-appb-100018
    为边界点上采样模块采样的不确定点的标签，z为小型网络的预测结果，λ 1，λ 2是调节语义分割损失与边界提取损失比重的超参数。
  13. 一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至10中任一项所述的方法。
  14. 一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的方法。
PCT/CN2022/099617 2021-11-03 2022-06-17 边界优化的遥感图像语义分割方法、装置、设备及介质 WO2023077816A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111295557.9A CN114120102A (zh) 2021-11-03 2021-11-03 边界优化的遥感图像语义分割方法、装置、设备及介质
CN202111295557.9 2021-11-03

Publications (1)

Publication Number Publication Date
WO2023077816A1 true WO2023077816A1 (zh) 2023-05-11

Family

ID=80380606

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/099617 WO2023077816A1 (zh) 2021-11-03 2022-06-17 边界优化的遥感图像语义分割方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN114120102A (zh)
WO (1) WO2023077816A1 (zh)

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310916A (zh) * 2023-05-23 2023-06-23 青岛理工大学 一种高分辨率遥感城市图像语义分割方法及系统
CN116311253A (zh) * 2023-05-18 2023-06-23 中国海洋大学 基于尺度分离的海洋遥感图像语义分割方法及系统
CN116310882A (zh) * 2023-05-16 2023-06-23 金乡县林业保护和发展服务中心(金乡县湿地保护中心、金乡县野生动植物保护中心、金乡县国有白洼林场) 基于高分辨率遥感影像的林业信息识别方法
CN116342628A (zh) * 2023-05-31 2023-06-27 之江实验室 病理图像分割方法、装置和计算机设备
CN116363521A (zh) * 2023-06-02 2023-06-30 山东科技大学 一种遥感影像语义预测方法
CN116452901A (zh) * 2023-06-19 2023-07-18 中国科学院海洋研究所 基于深度学习的遥感图像海洋养殖区自动化提取方法
CN116612385A (zh) * 2023-05-22 2023-08-18 中国科学院空天信息创新研究院 基于深度高分辨率关系图卷积的遥感影像多类信息提取方法与系统
CN116665113A (zh) * 2023-07-28 2023-08-29 广东海洋大学 基于不确定性量化的遥感场景识别方法、系统及介质
CN116758026A (zh) * 2023-06-13 2023-09-15 河海大学 一种基于双目遥感图像显著性分析的大坝渗水区域测量方法
CN116758562A (zh) * 2023-08-22 2023-09-15 杭州实在智能科技有限公司 通用文本验证码识别方法及系统
CN116823864A (zh) * 2023-08-25 2023-09-29 锋睿领创(珠海)科技有限公司 基于平衡损失函数的数据处理方法、装置、设备及介质
CN116895023A (zh) * 2023-09-11 2023-10-17 中国石油大学(华东) 一种基于多任务学习的中尺度涡识别方法及系统
CN116912699A (zh) * 2023-09-06 2023-10-20 交通运输部天津水运工程科学研究所 一种基于图像处理的港口溢油扩散趋势预测方法及系统
CN117079103A (zh) * 2023-10-16 2023-11-17 暨南大学 一种用于神经网络训练的伪标签生成方法及系统
CN117079166A (zh) * 2023-10-12 2023-11-17 江苏智绘空天技术研究院有限公司 一种基于高空间分辨率遥感图像的边缘提取方法
CN117078923A (zh) * 2023-07-19 2023-11-17 苏州大学 面向自动驾驶环境的语义分割自动化方法、系统及介质
CN117078867A (zh) * 2023-10-16 2023-11-17 北京渲光科技有限公司 一种三维重建的方法、装置、存储介质及电子设备
CN117115339A (zh) * 2023-07-20 2023-11-24 哈尔滨工业大学 一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法
CN117237623A (zh) * 2023-08-04 2023-12-15 山东大学 一种无人机遥感图像语义分割方法及系统
CN117274826A (zh) * 2023-11-23 2023-12-22 山东锋士信息技术有限公司 基于大模型和提示指引的河湖管理违规问题遥感监测方法
CN117349462A (zh) * 2023-12-06 2024-01-05 自然资源陕西省卫星应用技术中心 一种遥感智能解译样本数据集生成方法
CN117351205A (zh) * 2023-10-23 2024-01-05 中国人民解放军陆军工程大学 一种图像结构化信息提取方法
CN117372881A (zh) * 2023-12-08 2024-01-09 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种烟叶病虫害智能识别方法、介质及系统
CN117372983A (zh) * 2023-10-18 2024-01-09 北京化工大学 一种低算力的自动驾驶实时多任务感知方法及装置
CN117372879A (zh) * 2023-12-07 2024-01-09 山东建筑大学 基于自监督增强的轻量级遥感影像变化检测方法和系统
CN117392539A (zh) * 2023-10-13 2024-01-12 哈尔滨师范大学 一种基于深度学习的河流水体识别方法、电子设备及存储介质
CN117456191A (zh) * 2023-12-15 2024-01-26 武汉纺织大学 一种基于三分支网络结构的复杂环境下语义分割方法
CN117475155A (zh) * 2023-12-26 2024-01-30 厦门瑞为信息技术有限公司 基于半监督学习的轻量级遥感图像分割方法
CN117496361A (zh) * 2024-01-02 2024-02-02 中国科学院空天信息创新研究院 面向遥感解译应用的训练推理一体机
CN117589646A (zh) * 2024-01-19 2024-02-23 中国科学院空天信息创新研究院 大气细颗粒物浓度监测方法、装置、设备及介质
CN117602837A (zh) * 2024-01-23 2024-02-27 内蒙古兴固科技有限公司 一种耐腐蚀纳米微晶建筑板材的生产工艺
CN117612017A (zh) * 2024-01-23 2024-02-27 江西啄木蜂科技有限公司 一种环境自适应的遥感影像变化检测方法
CN117649609A (zh) * 2024-01-30 2024-03-05 中国人民解放军海军航空大学 面向跨时空尺度域的遥感图像建筑物信息提取方法
CN117671509A (zh) * 2024-02-02 2024-03-08 武汉卓目科技有限公司 遥感目标检测方法、装置、电子设备及存储介质
CN117690031A (zh) * 2024-02-04 2024-03-12 中科星图数字地球合肥有限公司 一种基于sam模型的小样本学习遥感图像检测方法
CN117689960A (zh) * 2024-01-31 2024-03-12 中国地质大学（武汉） 一种岩性场景分类模型构建方法及分类方法
CN117710749A (zh) * 2023-12-26 2024-03-15 中国科学院空天信息创新研究院 一种基于扩散模型的遥感图像变化检测方法
CN117787813A (zh) * 2024-02-23 2024-03-29 中国农业科学院农业资源与农业区划研究所 基于细粒度特征约束的城中村识别方法、装置及电子设备
CN117115339B (zh) * 2023-07-20 2024-05-14 哈尔滨工业大学 一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120102A (zh) * 2021-11-03 2022-03-01 中国华能集团清洁能源技术研究院有限公司 边界优化的遥感图像语义分割方法、装置、设备及介质
CN114359120B (zh) * 2022-03-21 2022-06-21 深圳市华付信息技术有限公司 遥感影像处理方法、装置、设备及存储介质
CN115082778B (zh) * 2022-04-28 2023-04-07 中国农业科学院农业信息研究所 一种基于多分支学习的宅基地识别方法及系统
CN115035295B (zh) * 2022-06-15 2024-04-30 湖北工业大学 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法
CN114821074B (zh) * 2022-07-01 2022-10-25 湖南盛鼎科技发展有限责任公司 机载liDAR点云语义分割方法、电子设备及存储介质
CN115393733B (zh) * 2022-08-22 2023-08-18 河海大学 一种基于深度学习的水体自动识别方法及系统
CN115346048A (zh) * 2022-08-25 2022-11-15 珠江水利委员会珠江水利科学研究院 基于边界点选择算法的遥感图像语义分割方法
CN115861824B (zh) * 2023-02-23 2023-06-06 汕头大学 基于改进Transformer的遥感图像识别方法
CN115880309A (zh) * 2023-02-27 2023-03-31 耕宇牧星(北京)空间科技有限公司 一种基于多层循环编码解码器网络的林木图像分割方法
CN116342884B (zh) * 2023-03-28 2024-02-06 阿里云计算有限公司 图像分割及模型训练的方法、服务器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180267163A1 (en) * 2015-09-21 2018-09-20 Saab Ab Detecting objects in images
CN110070540A (zh) * 2019-04-28 2019-07-30 腾讯科技（深圳）有限公司 图像生成方法、装置、计算机设备及存储介质
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN112184683A (zh) * 2020-10-09 2021-01-05 深圳度影医疗科技有限公司 一种超声图像的识别方法、终端设备及存储介质
CN112434663A (zh) * 2020-12-09 2021-03-02 国网湖南省电力有限公司 基于深度学习的输电线路山火检测方法、系统及介质
CN113095109A (zh) * 2019-12-23 2021-07-09 中移(成都)信息通信科技有限公司 一种农作物叶面识别模型训练方法、识别方法及装置
CN114120102A (zh) * 2021-11-03 2022-03-01 中国华能集团清洁能源技术研究院有限公司 边界优化的遥感图像语义分割方法、装置、设备及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180267163A1 (en) * 2015-09-21 2018-09-20 Saab Ab Detecting objects in images
CN110070540A (zh) * 2019-04-28 2019-07-30 腾讯科技（深圳）有限公司 图像生成方法、装置、计算机设备及存储介质
CN113095109A (zh) * 2019-12-23 2021-07-09 中移(成都)信息通信科技有限公司 一种农作物叶面识别模型训练方法、识别方法及装置
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN112184683A (zh) * 2020-10-09 2021-01-05 深圳度影医疗科技有限公司 一种超声图像的识别方法、终端设备及存储介质
CN112434663A (zh) * 2020-12-09 2021-03-02 国网湖南省电力有限公司 基于深度学习的输电线路山火检测方法、系统及介质
CN114120102A (zh) * 2021-11-03 2022-03-01 中国华能集团清洁能源技术研究院有限公司 边界优化的遥感图像语义分割方法、装置、设备及介质

Cited By (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310882B (zh) * 2023-05-16 2023-09-26 金乡县林业保护和发展服务中心(金乡县湿地保护中心、金乡县野生动植物保护中心、金乡县国有白洼林场) 基于高分辨率遥感影像的林业信息识别方法
CN116310882A (zh) * 2023-05-16 2023-06-23 金乡县林业保护和发展服务中心(金乡县湿地保护中心、金乡县野生动植物保护中心、金乡县国有白洼林场) 基于高分辨率遥感影像的林业信息识别方法
CN116311253A (zh) * 2023-05-18 2023-06-23 中国海洋大学 基于尺度分离的海洋遥感图像语义分割方法及系统
CN116311253B (zh) * 2023-05-18 2023-07-21 中国海洋大学 基于尺度分离的海洋遥感图像语义分割方法及系统
CN116612385B (zh) * 2023-05-22 2024-01-26 中国科学院空天信息创新研究院 基于深度高分辨率关系图卷积的遥感影像多类信息提取方法与系统
CN116612385A (zh) * 2023-05-22 2023-08-18 中国科学院空天信息创新研究院 基于深度高分辨率关系图卷积的遥感影像多类信息提取方法与系统
CN116580241B (zh) * 2023-05-22 2024-05-14 内蒙古农业大学 基于双分支多尺度语义分割网络的图像处理方法及系统
CN116310916A (zh) * 2023-05-23 2023-06-23 青岛理工大学 一种高分辨率遥感城市图像语义分割方法及系统
CN116342628A (zh) * 2023-05-31 2023-06-27 之江实验室 病理图像分割方法、装置和计算机设备
CN116342628B (zh) * 2023-05-31 2023-08-08 之江实验室 病理图像分割方法、装置和计算机设备
CN116363521A (zh) * 2023-06-02 2023-06-30 山东科技大学 一种遥感影像语义预测方法
CN116363521B (zh) * 2023-06-02 2023-08-18 山东科技大学 一种遥感影像语义预测方法
CN116758026A (zh) * 2023-06-13 2023-09-15 河海大学 一种基于双目遥感图像显著性分析的大坝渗水区域测量方法
CN116758026B (zh) * 2023-06-13 2024-03-08 河海大学 一种基于双目遥感图像显著性分析的大坝渗水区域测量方法
CN116452901A (zh) * 2023-06-19 2023-07-18 中国科学院海洋研究所 基于深度学习的遥感图像海洋养殖区自动化提取方法
CN116452901B (zh) * 2023-06-19 2023-09-15 中国科学院海洋研究所 基于深度学习的遥感图像海洋养殖区自动化提取方法
CN117078923A (zh) * 2023-07-19 2023-11-17 苏州大学 面向自动驾驶环境的语义分割自动化方法、系统及介质
CN117115339B (zh) * 2023-07-20 2024-05-14 哈尔滨工业大学 一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法
CN117115339A (zh) * 2023-07-20 2023-11-24 哈尔滨工业大学 一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法
CN116665113A (zh) * 2023-07-28 2023-08-29 广东海洋大学 基于不确定性量化的遥感场景识别方法、系统及介质
CN116665113B (zh) * 2023-07-28 2023-10-27 广东海洋大学 基于不确定性量化的遥感场景识别方法、系统及介质
CN117237623A (zh) * 2023-08-04 2023-12-15 山东大学 一种无人机遥感图像语义分割方法及系统
CN117237623B (zh) * 2023-08-04 2024-03-29 山东大学 一种无人机遥感图像语义分割方法及系统
CN116758562A (zh) * 2023-08-22 2023-09-15 杭州实在智能科技有限公司 通用文本验证码识别方法及系统
CN116758562B (zh) * 2023-08-22 2023-12-08 杭州实在智能科技有限公司 通用文本验证码识别方法及系统
CN116823864A (zh) * 2023-08-25 2023-09-29 锋睿领创(珠海)科技有限公司 基于平衡损失函数的数据处理方法、装置、设备及介质
CN116823864B (zh) * 2023-08-25 2024-01-05 锋睿领创(珠海)科技有限公司 基于平衡损失函数的数据处理方法、装置、设备及介质
CN116912699B (zh) * 2023-09-06 2023-12-05 交通运输部天津水运工程科学研究所 一种基于图像处理的港口溢油扩散趋势预测方法及系统
CN116912699A (zh) * 2023-09-06 2023-10-20 交通运输部天津水运工程科学研究所 一种基于图像处理的港口溢油扩散趋势预测方法及系统
CN116895023A (zh) * 2023-09-11 2023-10-17 中国石油大学(华东) 一种基于多任务学习的中尺度涡识别方法及系统
CN116895023B (zh) * 2023-09-11 2024-02-09 中国石油大学(华东) 一种基于多任务学习的中尺度涡识别方法及系统
CN117079166A (zh) * 2023-10-12 2023-11-17 江苏智绘空天技术研究院有限公司 一种基于高空间分辨率遥感图像的边缘提取方法
CN117079166B (zh) * 2023-10-12 2024-02-02 江苏智绘空天技术研究院有限公司 一种基于高空间分辨率遥感图像的边缘提取方法
CN117392539A (zh) * 2023-10-13 2024-01-12 哈尔滨师范大学 一种基于深度学习的河流水体识别方法、电子设备及存储介质
CN117392539B (zh) * 2023-10-13 2024-04-09 哈尔滨师范大学 一种基于深度学习的河流水体识别方法、电子设备及存储介质
CN117078867A (zh) * 2023-10-16 2023-11-17 北京渲光科技有限公司 一种三维重建的方法、装置、存储介质及电子设备
CN117078867B (zh) * 2023-10-16 2023-12-12 北京渲光科技有限公司 一种三维重建的方法、装置、存储介质及电子设备
CN117079103B (zh) * 2023-10-16 2024-01-02 暨南大学 一种用于神经网络训练的伪标签生成方法及系统
CN117079103A (zh) * 2023-10-16 2023-11-17 暨南大学 一种用于神经网络训练的伪标签生成方法及系统
CN117372983A (zh) * 2023-10-18 2024-01-09 北京化工大学 一种低算力的自动驾驶实时多任务感知方法及装置
CN117351205A (zh) * 2023-10-23 2024-01-05 中国人民解放军陆军工程大学 一种图像结构化信息提取方法
CN117274826A (zh) * 2023-11-23 2023-12-22 山东锋士信息技术有限公司 基于大模型和提示指引的河湖管理违规问题遥感监测方法
CN117274826B (zh) * 2023-11-23 2024-03-08 山东锋士信息技术有限公司 基于大模型和提示指引的河湖管理违规问题遥感监测方法
CN117349462A (zh) * 2023-12-06 2024-01-05 自然资源陕西省卫星应用技术中心 一种遥感智能解译样本数据集生成方法
CN117349462B (zh) * 2023-12-06 2024-03-12 自然资源陕西省卫星应用技术中心 一种遥感智能解译样本数据集生成方法
CN117372879A (zh) * 2023-12-07 2024-01-09 山东建筑大学 基于自监督增强的轻量级遥感影像变化检测方法和系统
CN117372879B (zh) * 2023-12-07 2024-03-26 山东建筑大学 基于自监督增强的轻量级遥感影像变化检测方法和系统
CN117372881A (zh) * 2023-12-08 2024-01-09 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种烟叶病虫害智能识别方法、介质及系统
CN117372881B (zh) * 2023-12-08 2024-04-05 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种烟叶病虫害智能识别方法、介质及系统
CN117456191B (zh) * 2023-12-15 2024-03-08 武汉纺织大学 一种基于三分支网络结构的复杂环境下语义分割方法
CN117456191A (zh) * 2023-12-15 2024-01-26 武汉纺织大学 一种基于三分支网络结构的复杂环境下语义分割方法
CN117475155A (zh) * 2023-12-26 2024-01-30 厦门瑞为信息技术有限公司 基于半监督学习的轻量级遥感图像分割方法
CN117475155B (zh) * 2023-12-26 2024-04-02 厦门瑞为信息技术有限公司 基于半监督学习的轻量级遥感图像分割方法
CN117710749A (zh) * 2023-12-26 2024-03-15 中国科学院空天信息创新研究院 一种基于扩散模型的遥感图像变化检测方法
CN117496361B (zh) * 2024-01-02 2024-03-19 中国科学院空天信息创新研究院 面向遥感解译应用的训练推理一体机
CN117496361A (zh) * 2024-01-02 2024-02-02 中国科学院空天信息创新研究院 面向遥感解译应用的训练推理一体机
CN117589646B (zh) * 2024-01-19 2024-04-26 中国科学院空天信息创新研究院 大气细颗粒物浓度监测方法、装置、设备及介质
CN117589646A (zh) * 2024-01-19 2024-02-23 中国科学院空天信息创新研究院 大气细颗粒物浓度监测方法、装置、设备及介质
CN117602837A (zh) * 2024-01-23 2024-02-27 内蒙古兴固科技有限公司 一种耐腐蚀纳米微晶建筑板材的生产工艺
CN117612017A (zh) * 2024-01-23 2024-02-27 江西啄木蜂科技有限公司 一种环境自适应的遥感影像变化检测方法
CN117602837B (zh) * 2024-01-23 2024-04-12 内蒙古兴固科技有限公司 一种耐腐蚀纳米微晶建筑板材的生产工艺
CN117649609B (zh) * 2024-01-30 2024-04-30 中国人民解放军海军航空大学 面向跨时空尺度域的遥感图像建筑物信息提取方法
CN117649609A (zh) * 2024-01-30 2024-03-05 中国人民解放军海军航空大学 面向跨时空尺度域的遥感图像建筑物信息提取方法
CN117689960A (zh) * 2024-01-31 2024-03-12 中国地质大学（武汉） 一种岩性场景分类模型构建方法及分类方法
CN117689960B (zh) * 2024-01-31 2024-04-26 中国地质大学（武汉） 一种岩性场景分类模型构建方法及分类方法
CN117671509A (zh) * 2024-02-02 2024-03-08 武汉卓目科技有限公司 遥感目标检测方法、装置、电子设备及存储介质
CN117690031B (zh) * 2024-02-04 2024-04-26 中科星图数字地球合肥有限公司 一种基于sam模型的小样本学习遥感图像检测方法
CN117690031A (zh) * 2024-02-04 2024-03-12 中科星图数字地球合肥有限公司 一种基于sam模型的小样本学习遥感图像检测方法
CN117787813A (zh) * 2024-02-23 2024-03-29 中国农业科学院农业资源与农业区划研究所 基于细粒度特征约束的城中村识别方法、装置及电子设备

Also Published As

Publication number Publication date
CN114120102A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
WO2023077816A1 (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
US20190243928A1 (en) Semantic segmentation of 2d floor plans with a pixel-wise classifier
CN111563902A (zh) 一种基于三维卷积神经网络的肺叶分割方法及系统
CN111612807A (zh) 一种基于尺度和边缘信息的小目标图像分割方法
US11768876B2 (en) Method and device for visual question answering, computer apparatus and medium
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
CN112801270B (zh) 融合深度卷积与注意力机制的u形网络槽自动识别方法
Zhang et al. Simultaneous pixel-level concrete defect detection and grouping using a fully convolutional model
CN113610822A (zh) 一种基于多尺度信息融合的表面缺陷检测方法
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN116311310A (zh) 一种结合语义分割和序列预测的通用表格识别方法和装置
CN113159215A (zh) 一种基于Faster Rcnn的小目标检测识别方法
CN117217368A (zh) 预测模型的训练方法、装置、设备、介质及程序产品
Kajabad et al. YOLOv4 for urban object detection: Case of electronic inventory in St. Petersburg
Yang et al. A multi-scale feature fusion spatial–channel attention model for background subtraction
CN113269156B (zh) 一种基于多尺度特征融合的信号灯检测识别方法及系统
CN113313668B (zh) 一种地铁隧道表面病害特征提取方法
Ma et al. An attention-based progressive fusion network for pixelwise pavement crack detection
Anilkumar et al. An improved beluga whale optimizer—Derived Adaptive multi-channel DeepLabv3+ for semantic segmentation of aerial images
Li et al. Classification of the qilou (arcade building) using a robust image processing framework based on the Faster R-CNN with ResNet50
Lin et al. MS-AGAN: Road Extraction via Multi-Scale Information Fusion and Asymmetric Generative Adversarial Networks from High-Resolution Remote Sensing Images under Complex Backgrounds
Li et al. Bagging R-CNN: Ensemble for Object Detection in Complex Traffic Scenes
CN112699898A (zh) 一种基于多层特征融合的图像方向识别方法
Tan et al. BSIRNet: A road extraction network with bidirectional spatial information reasoning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22888852

Country of ref document: EP

Kind code of ref document: A1