WO2023087558A1 - 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法 - Google Patents

基于嵌入平滑图神经网络的小样本遥感图像场景分类方法 Download PDF

Info

Publication number
WO2023087558A1
WO2023087558A1 PCT/CN2022/076475 CN2022076475W WO2023087558A1 WO 2023087558 A1 WO2023087558 A1 WO 2023087558A1 CN 2022076475 W CN2022076475 W CN 2022076475W WO 2023087558 A1 WO2023087558 A1 WO 2023087558A1
Authority
WO
WIPO (PCT)
Prior art keywords
sample
label
features
matrix
embedding
Prior art date
Application number
PCT/CN2022/076475
Other languages
English (en)
French (fr)
Inventor
袁正午
唐婵
徐发鹏
占希玲
徐水英
Original Assignee
重庆邮电大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 重庆邮电大学 filed Critical 重庆邮电大学
Publication of WO2023087558A1 publication Critical patent/WO2023087558A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the invention belongs to the field of remote sensing image recognition, and relates to a small-sample remote sensing image scene classification method based on an embedded smooth graph neural network.
  • Scene classification is an important part of remote sensing image processing and analysis, and has a good application prospect.
  • Scene classification is to divide scene images into corresponding scene categories according to different content, which is widely used in land use, land cover, urban planning, geological disaster monitoring, traffic management, etc.
  • In the target recognition of remote sensing images due to the high cost and difficulty of airborne radar and remote sensing satellite image acquisition, only a small number of images can be collected as training templates, so the assistance of a small sample recognition system is needed.
  • small-sample remote sensing image scene classification can play a huge role in the case where there are only a few labeled pictures but a lot of category information, so remote sensing scene classification based on small samples has been well developed.
  • the purpose of the present invention is to provide a small-sample remote sensing image scene classification method based on an embedded smooth graph neural network, which can not only learn from small samples, but also effectively realize accurate classification of images.
  • the present invention provides the following technical solutions:
  • a small-sample remote sensing image scene classification method based on embedded smooth graph neural network First, the scene picture is input into the embedding learning module, and scene embedding features are extracted through a convolutional neural network f ⁇ .
  • a new regularization method, embedding smoothness, is introduced into scene classification. This method can capture the similarity and difference between embedded features without supervision, improve the distinguishability of embedded features, and expand Decision boundaries to reduce the influence of irrelevant features.
  • the task-level relationship is used to construct the graph matrix through the attention mechanism, instead of using the common distance between samples, such as cosine distance or Euclidean distance, the attention mechanism can obtain the target area that needs to be focused on and suppress other useless information, so that Target samples can be associated with all samples in the task and produce more discriminative relational representations between different scene categories. Then a graph is constructed according to the internal relationship among the samples.
  • the label matching module can iteratively generate the predicted labels of the samples in the test set through transductive learning according to the constructed graph until the optimal solution is obtained.
  • the method specifically includes the following steps:
  • S1 Collect remote sensing images, construct training set, test set and verification set, where the test set is used to evaluate the generalization ability of the model, and the verification set is used to adjust hyperparameters;
  • S2 Randomly sample multiple small sample data sets from the training set, each small sample data set is divided into a support set and a query set, and the test set and verification set adopt the same sampling method;
  • S5 Use the attention mechanism to transform the smooth embedded features into the relational representation of task features, so as to construct graphs for different types of samples in the support set and query set samples, and then obtain the distance between support set samples and query set sample nodes The relationship with the task can effectively avoid irrelevant local relationships;
  • S6 Calculate the category similarity between the support set sample and the query set sample, and use the label matching module to label the image with the class name, that is, iteratively generate the predicted label of the sample in the query set through transductive learning until the optimal solution is obtained;
  • S7 Calculate the cross-entropy loss between the real label and the predicted label of the sample in the query set, and update the parameters of each module through end-to-end backpropagation;
  • Steps S2-S7 are repeated until the parameters of each module or network converge.
  • the feature extraction network is constructed and trained through the training data set and the training method of embedding learning, including embedding learning module, embedding smoothing module, relationship graph building module, and label matching module, thus forming a neural network based on embedding smoothing graph.
  • embedding learning module including embedding learning module, embedding smoothing module, relationship graph building module, and label matching module
  • label matching module thus forming a neural network based on embedding smoothing graph.
  • Network-based Scene Classification Model for Few Shot Remote Sensing Images because the number of samples in the target task dataset is far less than that in the training dataset, in order to avoid model overfitting, the fragment-fragment approach of meta-learning can be used to train the entire model to solve the problem of insufficient training data for the target task.
  • each task has N categories, and each category has K samples, which is called N-way K-shot learning.
  • Each task consists of a training set S (with K samples for each category) and a validation set Q (with T samples for all categories).
  • step S3 scene embedding features are extracted through the embedding learning module.
  • f ⁇ ( xi ; ⁇ ) is a feature map
  • ⁇ is a network parameter.
  • the feature extraction network f ⁇ consists of 4 convolutional modules, each of which starts with a 2D convolutional layer containing a 3 ⁇ 3 convolutional kernel with a kernel size of 64.
  • the BN layer is located before the activation function. It normalizes, scales, and translates the data to prevent the data from reaching saturation, thereby preventing the data from being insensitive to the activation function.
  • the ReLU activation function allows the model to add nonlinear factors to solve problems that cannot be solved by linear models.
  • the maximum pooling layer performs sparse processing on the feature map to reduce the amount of data calculation.
  • step S4 the smooth embedding feature specifically includes the following steps:
  • Step S41 Calculate the distance d ij of the paired features (i,j) between the query set sample and the support set sample in the embedded feature, and construct an adjacency matrix according to the obtained distance;
  • Step S42 Calculating the Laplacian of the adjacent matrix for smoothing the embedded features.
  • step S41 the calculation formula of the adjacent matrix A ij constructed is:
  • step S42 the calculation formula of the Laplacian operator S of the adjacent matrix is:
  • D ii represents the degree matrix of the graph
  • the propagation matrix of the support set and the query set is obtained, and then the smoothed embedded features are obtained through the following formula operation, and the calculation formula is:
  • the embedded features before processing are obtained by the embedded learning module
  • ⁇ R is the scale parameter
  • I is the identity matrix
  • the weighted combination of its domains obtains smooth embedded features Embedding smoothing can effectively reduce noise learning and reduce the influence of irrelevant features.
  • a new regularization technology is used to embed smoothing to force the model to learn discriminative and robust embedded features, and to obtain smooth embedded features through domain weighted combination, while suppressing the interference of noise features.
  • step S5 an attention mechanism is used to transform the smooth embedded features into a relational representation of task features, specifically including the following steps:
  • step S51 specifically includes: given a smooth embedded feature For node i, use the common method in the attention mechanism to obtain the corresponding relationship value between the target embedding feature and all other sample features in the task, and the calculation formula of the corresponding attention value is:
  • W ⁇ R (N ⁇ K+T) ⁇ (N ⁇ K+T) represents the attention value obtained by the adaptive task attention module, which is used to represent the weight of the similarity between nodes, and N represents the weight of each small
  • the sample task has N categories, K means that each category in each support set has K samples, T means that there are T samples in all categories in each query set, and m means m small sample tasks; therefore, the query set nodes and support The higher the similarity between nodes of different categories in the set, the larger W ij is .
  • s ij represents the similarity between node i of the query set sample and node j of the support set sample, and its calculation formula is:
  • the smooth embedding feature of the target sample in the query set remodeled as Using matrix inversion operation is a paired distance operation, and then use W i,j to integrate task-level information to obtain the relationship representation of the current task.
  • the calculation formula is expressed as:
  • step S52 the calculation formula of the similarity matrix L between nodes i and j is:
  • O ii represents the degree matrix of the graph.
  • step S6 calculate the category similarity between the support set sample and the query set sample, and use the label matching module to label the image with a category name, specifically including the following steps:
  • Step S61 Predict the query set Q
  • Step S62 When calculating the classification loss between the predicted label and the real label, all learnable parameters are trained end-to-end using the cross-entropy loss.
  • G t+1 ⁇ LG t +(1- ⁇ )Y
  • G T ⁇ G represents the label matrix of the t-th round
  • L is the normalized graph weight
  • ⁇ ⁇ (0,1) is the weighted sum of adjacent values and Y; when t is large enough, the correction sequence has A closed solution, i.e. the prediction score of the predicted label with respect to each class, is formulated as:
  • I denotes the identity matrix
  • step S62 specifically includes: taking the real label from S ⁇ Q and the predicted score G * as corresponding inputs, inputting G * into the softmax function to obtain the predicted probability P, and its calculation formula is:
  • L CE represents the classification loss of the model
  • Indicates the real label corresponding to the sample xi that is, the category matched by each test label; in order to simulate the small sample scenario, all learnable parameters are iteratively updated through end-to-end meta-learning.
  • the present invention can solve the classification problem of small-sample remote sensing scenes, and can well distinguish different types of remote sensing scene images.
  • the present invention regularizes the embedding space through a non-parametric embedding smoothing strategy.
  • the present invention adopts embedding smoothness and also constrains the embedded features, and the embedding learning module can extract more discriminative and robust scene features, so as to better cope with complex and real scenes.
  • the present invention uses the attention mechanism to capture the task-level relationship representation between nodes, which can better identify the category of the predicted picture, thereby constructing the graph.
  • Fig. 1 is the flowchart of the small sample remote sensing image scene classification method of the present embodiment
  • Figure 2 is the 5-way 1-shot scene framework of this embodiment.
  • FIG. 1 is a flowchart of a small-sample remote sensing image scene classification method based on an embedded smooth graph neural network in this embodiment. The method includes the following steps:
  • Step S1 Collect remote sensing images, construct training set, test set and verification set.
  • the test set is used to evaluate the generalization ability of the model
  • the verification set is used to adjust the hyperparameters.
  • Step S2 From the training set, a plurality of small sample data sets are randomly sampled, and each small sample data set is divided into a support set and a query set, wherein the test set and the verification set adopt the same sampling method.
  • Step S3 Extract scene embedding features through the embedding learning module, input the samples of each class in the training set and test set samples xi into the feature extraction network f ⁇ at the same time, and obtain the embedded features Z.
  • the feature extraction network f ⁇ contains 4 convolution modules, and each convolution module starts from a two-dimensional convolution layer containing a 3 ⁇ 3 convolution kernel with a kernel size of 64. After each convolutional layer there is a batch normalization layer (BN layer), a ReLU activation function and a 2 ⁇ 2 max pooling layer.
  • BN layer batch normalization layer
  • ReLU activation function a ReLU activation function a 2 ⁇ 2 max pooling layer.
  • Step S4 Input the obtained embedded feature Z into the embedded smoothing module to convert it into a set of interpolation features, and then smooth the embedded feature. Its specific steps include:
  • a ij is the adjacency matrix obtained according to the distance between the query set and the support set.
  • the propagation matrix of the query set and the support set is obtained, and then the smooth embedded features are obtained through the following formula operation, and the formula is as follows:
  • the embedded features before processing are obtained by the embedded learning module, ⁇ R is the scale parameter, and I is the identity matrix.
  • ⁇ R is the scale parameter
  • I is the identity matrix.
  • Step S5 Use the attention mechanism to transform the smooth embedded features into the relationship representation of specific features between nodes, so as to construct graphs for samples of different categories in the support set and query set samples, and show the relationship between support set samples and query set samples. Relationship.
  • s ij represents the similarity between node i of the query set sample and node j of the support set sample
  • W ⁇ R (N ⁇ K+T) ⁇ (N ⁇ K+T) represents the test node and all other nodes in the task Task-level similarity after node comparison. Therefore, the higher the similarity between the query set nodes and the support set nodes of different categories, the greater W ij is .
  • the calculation formula of similarity is as follows:
  • the embedding features of the target samples in the support set are smooth remodeled as Using matrix inversion operation, is a paired distance operation, and then use W i,j to integrate task-level information to obtain the relationship representation of the current task, and the formula is as follows:
  • the meta-training adopts the scenario paradigm, that is, a graph is constructed for each task in each task.
  • scenario paradigm that is, a graph is constructed for each task in each task.
  • Step S6 Calculate the category similarity between the support set sample and the query set sample, use the label matching module to label the image with the class name, and iteratively generate the predicted label of the sample in the query set through transductive learning until the optimal solution is obtained.
  • the specific steps include:
  • G t+1 ⁇ LG t +(1- ⁇ )Y
  • G t ⁇ G represents the label matrix of round t
  • L is the normalized graph weight
  • ⁇ ⁇ (0,1) is the weighted sum of adjacent values
  • Y is the weighted sum of adjacent values
  • the correction sequence has a closed solution, which is the prediction score of the predicted label with respect to each category, and its formula is as follows:
  • I denotes the identity matrix
  • the meta-training adopts the scenario paradigm, that is, a graph is constructed for each task in each task.
  • scenario paradigm that is, a graph is constructed for each task in each task.
  • L CE represents the classification loss of the model
  • Indicates the real label corresponding to the sample xi that is, the category matched by each test label; in order to simulate the small sample scenario, all learnable parameters are iteratively updated through end-to-end meta-learning.
  • Step S7 Calculate the cross-entropy loss between the real label and the predicted label of the samples in the test set, and update the parameters of each module through end-to-end backpropagation.
  • a small-sample remote sensing image scene classification model based on an embedded smooth graph neural network can be constructed, which can solve the problem of small-sample remote sensing image scene classification.
  • a new regularization method, attention mechanism module and meta-learning are introduced, which can effectively learn a better task-level relationship and effectively achieve accurate classification of remote sensing scene images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于嵌入平滑图神经网络的小样本遥感图像场景分类方法，属于遥感图像识别领域。该方法首先将场景图片输入到嵌入学习模块中，通过一个卷积神经网络提取场景嵌入特征；再将嵌入平滑引入到场景分类中，在无监督的情况下捕获嵌入特征之间的相似性与差异性，提高嵌入特征的可区分性，扩展决策边界，降低无关特征的影响；同时通过注意力机制采用任务级关系来构建图矩阵，将目标样本与任务中的所有样本关联起来，并在不同场景类别之间产生更具有分辨力的关系表示；然后根据样本间的内在联系构造图；标签匹配模块可以根据构造的图，通过直推式学习迭代生成测试集中样本的预测标签，直到得到最优解。本发明能够实现图像的精确分类。

Description

基于嵌入平滑图神经网络的小样本遥感图像场景分类方法 技术领域
本发明属于遥感图像识别领域，涉及一种基于嵌入平滑图神经网络的小样本遥感图像场景分类方法。
背景技术
场景分类是遥感图像处理与分析的重要组成部分，具有很好的应用前景。场景分类是将场景图像按照内容的不同划分为相应的场景类，广泛应用于土地利用、土地覆盖、城市规划、地质灾害监测、交通管理等方面。在遥感图像的目标识别中，由于机载雷达、遥感卫星图像采集的高成本和高难度，所以只能采集到少量图像作为训练模板，因此需要小样本识别系统的协助。其中，小样本遥感图像场景分类能够在仅存少量标注图片但类别信息较多的情况下发挥巨大的作用，因此基于小样本的遥感场景分类就得到了很好的发展。
现有的解决场景分类问题最常用的方法是利用大规模遥感数据训练深度神经网络。近年来，一些研究学者采用迁移学习或元学习的思想来解决标记数据较少的场景分类任务，迁移学习将某个领域或任务上学习到的知识或模式应用到不同但相关的问题中，通过与目标任务相似的元学习来训练网络，模拟真实的测试环境，并泛化到目标任务中，从而在有限的样本下快速实现场景分类。另外，也有一些学者探索使用图表示来解决有限标记数据的图像分类问题，其目的是将学习视为从训练数据到测试数据的信息迁移。
然而，现有的方法主要侧重于利用迁移知识或元知识来完成小样本场景分类任务，而忽略了学习图像特征表示的重要性，并且与自然图像不同的是，遥感图像具有一些独特的属性。在场景分类任务中，由于照明、背景、距离、角度等因素，同类图像之间存在一定的差异，不同类别图像之间存在一定的相似性，所以很容易造成场景分类混乱，从而增加分类的困难。
因此，亟需一种小样本遥感图像场景分类方法来解决上述问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于嵌入平滑图神经网络的小样本遥感图像场景分类方法，该网络不仅能够从小样本中学习，而且能够有效实现图像的精确分类。
为达到上述目的，本发明提供如下技术方案：
一种基于嵌入平滑图神经网络的小样本遥感图像场景分类方法，首先将场景图片输入到嵌入学习模块中，通过一个卷积神经网络f θ提取场景嵌入特征。再将一种新的正则化方法， 即嵌入平滑，引入到场景分类中，该方法可以在无监督的情况下捕获嵌入特征之间的相似性与差异性，提高嵌入特征的可区分性，扩展决策边界，降低无关特征的影响。同时通过注意力机制采用任务级关系来构建图矩阵，而不是使用常见的样本间距离，如余弦距离或欧氏距离，注意力机制可以获得需要重点关注的目标区域，抑制其他的无用信息，这样可以将目标样本与任务中的所有样本关联起来，并在不同场景类别之间产生更具有分辨力的关系表示。然后根据样本间的内在联系构造图。标签匹配模块可以根据构造的图，通过直推式学习迭代生成测试集中样本的预测标签，直到得到最优解。
该方法具体包括以下步骤：
S1：收集遥感图像，构建训练集、测试集和验证集，其中，测试集用来评价模型的泛化能力，验证集用来调整超参数；
S2：从训练集中，随机采样多个小样本数据集，每个小样本数据集都分为支撑集和查询集，其中，测试集和验证集均采用相同的采样方式；
S3：通过嵌入学习模块提取场景嵌入特征，将支撑集每个类的样本和查询集样本x i同时输入到特征提取网络f θ中，得到嵌入特征Z；
S4：将得到的嵌入特征Z输入到嵌入平滑模块中转化为一组插值特征，进而平滑嵌入特征；
S5：采用注意力机制将平滑的嵌入特征转化为任务特征的关系表示，从而对支撑集中不同类别的样本和查询集样本进行图的构造，进而得到支持集样本和查询集样本节点之间的距离和任务的关系，可以有效地避免不相关的局部关系；
S6：计算支撑集样本与查询集样本的类别相似度，利用标签匹配模块对图像进行类名标注，即通过直推式学习迭代生成查询集中样本的预测标签，直到得到最优解；
S7：计算查询集中样本的真实标签与预测标签之间的交叉熵损失，并通过端到端的反向传播的方式更新各个模块的参数；
S8：重复步骤S2～S7，直到各个模块或网络的参数收敛。
进一步，该方法中，通过训练数据集以及嵌入学习的训练方法来构建和训练特征提取网络，包含嵌入学习模块、嵌入平滑模块、关系图构建模块、标签匹配模块，从而组成了基于嵌入平滑图神经网络的小样本遥感图像场景分类模型。此外因为目标任务数据集中样本的数量远远少于训练数据集，所以为了避免模型过拟合，可以采用元学习的片段-片段方式对整个模型进行训练，从而解决目标任务训练数据不足的问题。在遥感图像的场景识别过程中，首先利用训练后的特征提取网络提取场景图片嵌入特征，再利用嵌入平滑模块将嵌入特征转化 为一组插值特征来对进行平滑处理，过滤掉噪声等因素，通过引入注意力机制来构建图的关系网络，然后利用标签匹配模块对图像打标签，最后找出最大类别相似度所对应的类别标签，即为待测图片的类别。本技术方案能够训练到一个很好的端到端的图神经网络，有效实现图像的精确分类。
进一步，步骤S1中，对于小样本遥感场景分类，每个任务有N个类别，每个类别有K个样本，称为N-way K-shot学习。每个任务分别由一个训练集S(每个类别有K个样本)和一个验证集Q(所有类别共有T个样本)组成。
进一步，步骤S3中，通过嵌入学习模块提取场景嵌入特征。f θ(x i；θ)为特性映射，θ是网络参数。特征提取网络f θ包含4个卷积模块，每个卷积模块从一个包含3×3的卷积核，核的大小为64的二维卷积层开始。在每个卷积层之后都有一个批量标准化层(BN层)，一个线性整流函数(ReLU激活函数)和一个2×2最大池化层。BN层位于激活函数之前，它通过对数据标准化、缩放以及平移，来防止数据达到饱和，从而预防数据对激活函数产生不敏感的现象。ReLU激活函数让模型加入非线性因素，解决线性模型不能解决的问题。最大池化层则对特征图进行稀疏处理，减少数据运算量。
进一步，步骤S4中，平滑嵌入特征，具体包括以下步骤：
步骤S41：计算嵌入特征中查询集样本和支撑集样本的成对特征(i,j)的距离d ij，根据得到的距离构建相邻矩阵；
步骤S42：计算相邻矩阵的拉普拉斯算子，用于平滑嵌入特征。
进一步，步骤S41中，构建的相邻矩阵A ij的计算公式为：
Figure PCTCN2022076475-appb-000001
其中，σ为尺度参数，并且对于任意测试样本i，A ii＝0，即任何测试样本和自身都应该属于同一类；当σ＝std(d ij)时，训练阶段是很稳定；std(·)表示支撑集样本和查询集样本特征距离的标准差。
进一步，步骤S42中，相邻矩阵的拉普拉斯算子S的计算公式为：
Figure PCTCN2022076475-appb-000002
Figure PCTCN2022076475-appb-000003
其中，D ii表示图的度矩阵；
通过标签传播公式，得到支撑集和查询集的传播矩阵，然后通过以下公式操作得到平滑之后的嵌入特征，其计算公式为：
Figure PCTCN2022076475-appb-000004
其中，处理前的嵌入特征由嵌入学习模块得到，
Figure PCTCN2022076475-appb-000005
β∈R为尺度参数，I为单位矩阵，其领域的加权组合得到平滑的嵌入特征
Figure PCTCN2022076475-appb-000006
嵌入平滑可以有效地减少噪声学习，降低无关特征的影响。
本发明中，采用的是一种新的正则化技术嵌入平滑，来强制模型学习具有鉴别性和鲁棒性的嵌入特征，通过领域的加权组合得到平滑的嵌入特征，同时抑制噪声特征的干扰。
进一步，步骤S5中，采用注意力机制将平滑的嵌入特征转化为任务特征的关系表示，具体包括以下步骤：
S51：给定光滑的嵌入特征
Figure PCTCN2022076475-appb-000007
对于节点i，利用注意力机制中常见的方法，可以得到目标嵌入特征与任务中所有其他样本特征的对应关系值；
S52：构造k-最邻近图，即找出测试样本附近的k个最近样本，矩阵A的每一行保留前k个最大值，然后在A上应用归一化图拉普拉斯，构建图结构，即节点之间的相似度矩阵。
进一步，步骤S51具体包括：给定光滑的嵌入特征
Figure PCTCN2022076475-appb-000008
对于节点i，利用注意力机制中常见的方法，得到目标嵌入特征与任务中所有其他样本特征的对应关系值，对应的注意力值的计算公式为：
Figure PCTCN2022076475-appb-000009
其中，W∈R (N×K+T)×(N×K+T)表示由自适应任务注意力模块获取的注意力值，用来表示节点之间相似度的权重，N表示每个小样本任务有N个类别，K表示每个支撑集中的每个类别有K个样本，T表示每个查询集中所有类别共有T个样本，m表示m个小样本任务；因此，查询集节点与支撑集不同类别节点之间的相似度越高，W ij越大。s ij表示查询集样本的节点i与支撑集样本的节点j之间的相似度，其计算公式为：
Figure PCTCN2022076475-appb-000010
其中，将查询集中目标样本光滑的嵌入特征
Figure PCTCN2022076475-appb-000011
重塑为
Figure PCTCN2022076475-appb-000012
采用矩阵求逆运算，
Figure PCTCN2022076475-appb-000013
为成对的距离运算，然后利用W i,j整合任务级信息，得到当前任务的关系表示，其计算公式表示为：
Figure PCTCN2022076475-appb-000014
进一步，步骤S52中，节点i与j之间的相似度矩阵L的计算公式为：
Figure PCTCN2022076475-appb-000015
Figure PCTCN2022076475-appb-000016
其中，O ii表示图的度矩阵。
进一步，步骤S6中，计算支持集样本与查询集样本的类别相似度，利用标签匹配模块对图像进行类名标注，具体包括以下步骤：
步骤S61：对查询集Q进行预测；
步骤S62：在计算预测标签和真实标签之间的分类损失时，采用交叉熵损失对所有可学习的参数进行端到端的训练。
进一步，步骤S61中，对查询集Q进行预测，具体包括：设G代表矩阵的集合，每个矩阵由非负值组成，其形状为(N×K+T)×N；如果一个x i属于支撑集并且y i＝1，那么Y∈G的标签矩阵则由Y ij＝1组成，否则Y ij＝0；给定标签矩阵Y，在采用标签传播公式构造图上，标签匹配迭代地识别S∪Q，其公式为：
G t+1＝γLG t+(1-γ)Y
其中，G T∈G表示第t轮的标签矩阵，L为归一化图权重，γ∈(0,1)，是相邻数值和Y的加权求和；当t足够大时，修正序列有一个封闭解，即预测标签相对于每个类别的预测得分，其公式如下：
G *＝(I-γL) -1Y
其中，I表示单位矩阵，因为这种方法直接运用到标签预测，所以逐个任务的学习会变得更加有效。
进一步，步骤S62具体包括：把来自于S∪Q的真实标签和预测得分G *作为相应的输入，把G *输入到softmax函数后得到预测概率P，其计算公式为：
Figure PCTCN2022076475-appb-000017
其中，
Figure PCTCN2022076475-appb-000018
是S∪Q中第i个样本的最后预测标号，
Figure PCTCN2022076475-appb-000019
表示
Figure PCTCN2022076475-appb-000020
的第j个元素；相应的损失如下面公式：
Figure PCTCN2022076475-appb-000021
其中，L CE表示模型的分类损失；I(u)为指示函数，当u为假时，I(u)＝0，当u为真时，I(u)＝1；
Figure PCTCN2022076475-appb-000022
表示样本x i对应的真实标签，即得到每个测试标签所匹配到的类别；为了模拟小 样本场景，所有可学习的参数都通过端到端的元学习迭代更新。
本发明的有益效果在于：
1)本发明能解决小样本遥感场景的分类问题，可以很好地区分不同种类的遥感场景图像。本发明通过非参数嵌入平滑策略对嵌入空间进行正则化。
2)本发明采用嵌入平滑同时也对嵌入特征进行约束，嵌入学习模块能够提取出更具有鉴别性和鲁棒性的场景特征，从而能更好地应对复杂和真实的场景。
3)本发明采用注意力机制捕获节点间任务级关系表示，能更好的识别预测图片的类别，从而构造图。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本实施例的小样本遥感图像场景分类方法流程图；
图2为本实施例的5-way 1-shot场景框架。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1～图1，图1为本实施例的基于嵌入平滑图神经网络的小样本遥感图像场景分类方法程图，该方法包括以下步骤：
步骤S1：收集遥感图像，构建训练集、测试集和验证集。其中，测试集用来评价模型的泛化能力，验证集用来调整超参数。
步骤S2：从训练集中，随机采样多个小样本数据集，每个小样本数据集都分为支撑集和查询集，其中，测试集和验证集均采用相同的采样方式。
步骤S3：通过嵌入学习模块提取场景嵌入特征，将训练集每个类的样本和测试集样本x i同 时输入到特征提取网络f θ中，得到嵌入特征Z。
其中特征提取网络f θ包含4个卷积模块，每个卷积模块从一个包含3×3的卷积核，核的大小为64的二维卷积层开始。在每个卷积层之后都有一个批量标准化层(BN层)，一个ReLU激活函数和一个2×2最大池化层。
步骤S4：将得到的嵌入特征Z输入到嵌入平滑模块中转化为一组插值特征，进而来平滑嵌入特征。其具体步骤包括：
S41：将一个任务的样本输入到嵌入学习模块中，得到一组嵌入特征，计算嵌入特征中验证集样本和不同类别支撑集样本的成对特征(i,j)的距离，根据得到的距离构建相邻矩阵，其公式如下：
Figure PCTCN2022076475-appb-000023
其中，σ为尺度参数，并且对于任意测试样本i，A ii＝0，即任何测试样本和自身都应该属于同一类，当σ＝std(d ij)时，训练阶段是很稳定的。
S42：计算矩阵的拉普拉斯算子，用于平滑嵌入特征，其公式如下：
Figure PCTCN2022076475-appb-000024
Figure PCTCN2022076475-appb-000025
其中，A ij是根据查询集与支撑集之间的距离得到的相邻矩阵。
通过标签传播公式，得到查询集和支撑集的传播矩阵，然后通过以下公式操作得到平滑的之后的嵌入特征，其公式如下：
Figure PCTCN2022076475-appb-000026
其中，处理前的嵌入特征由嵌入学习模块得到，
Figure PCTCN2022076475-appb-000027
β∈R为尺度参数，I为单位矩阵。其领域的加权组合得到平滑的嵌入特征
Figure PCTCN2022076475-appb-000028
嵌入平滑可以有效地降低无关特征的影响。
步骤S5：采用注意力机制将平滑的嵌入特征转化为节点之间特定特征的关系表示，从而对支撑集不同类别的样本和查询集样本进行图的构造，显示支持集样本和查询集样本之间的关系。
S51：将提取到的嵌入特征，通过注意力机制转化为目标测试嵌入特征与任务中所有其他支撑集样本特征的对应关系值，其公式如下：
Figure PCTCN2022076475-appb-000029
其中，s ij表示查询集样本的节点i与支撑集样本的节点j之间的相似度，W∈R (N×K+T)×(N×K+T)表示测试节点与任务中所有其他节点比较后的任务级相似度。因此，查询集节点与支撑集不同类别节点之间的相似度越高，W ij越大。其中，相似度的计算公式如下：
Figure PCTCN2022076475-appb-000030
其中，将支撑集中目标样本光滑的嵌入特征
Figure PCTCN2022076475-appb-000031
重塑为
Figure PCTCN2022076475-appb-000032
采用矩阵求逆运算，
Figure PCTCN2022076475-appb-000033
为成对的距离运算，然后利用W i,j整合任务级信息，得到当前任务的关系表示，其公式表示如下：
Figure PCTCN2022076475-appb-000034
S52：节点i与j之间的关系表示W ij可以通过上面的公式来建模，为了构造k-最邻近图，即找出测试样本附近的k个最近样本，W的每一行保留前k个最大值，然后在W上应用归一化图拉普拉斯，构建图结构，即节点之间的相似度矩阵，其公式如下：
Figure PCTCN2022076475-appb-000035
Figure PCTCN2022076475-appb-000036
本实施例中，为了模拟小样本场景，元训练采用情景范式，即对每个任务中的逐个任务分别构建曲线图。一般来说，在5-way 1-shot场景中，N＝5，K＝1，T＝75，W的形状是80×80，是非常有效的参数。
步骤S6：计算支撑集样本与查询集样本的类别相似度，利用标签匹配模块对图像进行类名标注，通过直推式学习迭代生成查询集中样本的预测标签，直到得到最优解，其具体步骤包括：
S61：介绍如何对查询集Q进行预测，假设G代表矩阵的集合，每个矩阵由非负值组成，其形状为(N×K+T)×N。如果一个x i属于支撑集并且y i＝1，那么Y∈G的标签矩阵则由Y ij＝1组成，否则Y ij＝0。给定标签矩阵Y，在采用标签传播公式构造图上，标签匹配迭代地识别S∪Q，即训练集和测试集中样本未显示的标签，其公式如下：
G t+1＝γLG t+(1-γ)Y
其中，G t∈G表示第t轮的标签矩阵，L为归一化图权重，γ∈(0,1)，是相邻数值和Y的加权求和。当t足够大时，修正序列有一个封闭解，即预测标签相对于每个类别的预测得分，其公式如下：
G *＝(I-γL) -1Y
其中，I表示单位矩阵，因为这种方法直接运用到标签预测，所以逐个任务的学习会变得更加有效。
本实施例中，为了模拟小样本场景，元训练采用情景范式，即对每个任务中的逐个任务分别构建曲线图。一般来说，在5-way 1-shot场景中，N＝5，K＝1，T＝75，W的形状是80×80，是非常有效的参数。
S62：在计算预测标签和真实标签之间的分类损失时，为了对所有可学习的参数进行端到端的训练，实验中采用了交叉熵损失。其中，把来自于S∪Q的真实标签和预测得分G *作为相应的输入，把G *输入到softmax函数后就能得到预测概率，其公式如下：
Figure PCTCN2022076475-appb-000037
其中，
Figure PCTCN2022076475-appb-000038
是S∪Q中第i个样本的最后预测标号，
Figure PCTCN2022076475-appb-000039
表示
Figure PCTCN2022076475-appb-000040
的第j个元素；相应的损失如下面公式：
Figure PCTCN2022076475-appb-000041
其中，L CE表示模型的分类损失；I(u)为指示函数，当u为假时，I(u)＝0，当u为真时，I(u)＝1；
Figure PCTCN2022076475-appb-000042
表示样本x i对应的真实标签，即得到每个测试标签所匹配到的类别；为了模拟小样本场景，所有可学习的参数都通过端到端的元学习迭代更新。
步骤S7：计算测试集中样本的真实标签与预测标签之间的交叉熵损失，并通过端到端的反向传播的方式更新各个模块的参数。
本实例中，通过构建嵌入学习模块、嵌入平滑模块、图构建模块、标签匹配模块，组成基于嵌入平滑图神经网络的小样本遥感图像场景分类模型，能够解决小样本遥感图像场景分类问题。并且引入了一种新的正则化方法、注意力机制模块和元学习，能够有效地学习到一个更好的任务级关系，有效实现遥感场景图像的精确分类。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

  1. 一种基于嵌入平滑图神经网络的小样本遥感图像场景分类方法，其特征在于，该方法具体包括以下步骤：
    S1：收集遥感图像，构建训练集、测试集和验证集；
    S2：从训练集中，随机采样多个小样本数据集，每个小样本数据集都分为支撑集和查询集；
    S3：通过嵌入学习模块提取场景嵌入特征，将支撑集每个类的样本和查询集样本x i同时输入到特征提取网络f θ中，得到嵌入特征Z；
    S4：将得到的嵌入特征Z输入到嵌入平滑模块中转化为一组插值特征，进而平滑嵌入特征；
    S5：采用注意力机制将平滑的嵌入特征转化为任务特征的关系表示，从而对支撑集中不同类别的样本和查询集样本进行图的构造，进而得到支持集样本和查询集样本节点之间的距离和任务的关系；
    S6：计算支撑集样本与查询集样本的类别相似度，利用标签匹配模块对图像进行类名标注，即通过直推式学习迭代生成查询集中样本的预测标签，直到得到最优解；
    S7：计算查询集中样本的真实标签与预测标签之间的交叉熵损失，并通过端到端的反向传播的方式更新各个模块的参数；
    S8：重复步骤S2～S7，直到各个模块或网络的参数收敛。
  2. 根据权利要求1所述的小样本遥感图像场景分类方法，其特征在于，步骤S4中，平滑嵌入特征，具体包括以下步骤：
    步骤S41：计算嵌入特征中查询集样本和支撑集样本的成对特征(i,j)的距离d ij，根据得到的距离构建相邻矩阵；
    步骤S42：计算相邻矩阵的拉普拉斯算子，用于平滑嵌入特征。
  3. 根据权利要求2所述的小样本遥感图像场景分类方法，其特征在于，步骤S41中，构建的相邻矩阵A ij的计算公式为：
    Figure PCTCN2022076475-appb-100001
    其中，σ为尺度参数，并且对于任意测试样本i，A ii＝0，即任何测试样本和自身都应该属于同一类；当σ＝std(d ij)时，训练阶段是很稳定；std(·)表示支撑集样本和查询集样本特征距离的标准差。
  4. 根据权利要求3所述的小样本遥感图像场景分类方法，其特征在于，步骤S42中，相 邻矩阵的拉普拉斯算子S的计算公式为：
    Figure PCTCN2022076475-appb-100002
    Figure PCTCN2022076475-appb-100003
    其中，D ii表示图的度矩阵；
    通过标签传播公式，得到支撑集和查询集的传播矩阵，然后通过以下公式操作得到平滑之后的嵌入特征，其计算公式为：
    Figure PCTCN2022076475-appb-100004
    其中，处理前的嵌入特征由嵌入学习模块得到，
    Figure PCTCN2022076475-appb-100005
    β∈R为尺度参数，I为单位矩阵，其领域的加权组合得到平滑的嵌入特征
    Figure PCTCN2022076475-appb-100006
  5. 根据权利要求4所述的小样本遥感图像场景分类方法，其特征在于，步骤S5中，采用注意力机制将平滑的嵌入特征转化为任务特征的关系表示，具体包括以下步骤：
    S51：给定光滑的嵌入特征
    Figure PCTCN2022076475-appb-100007
    对于节点i，利用注意力机制产生更具分辨性的特征表示得到目标嵌入特征与任务中所有其他样本特征的对应关系值；
    S52：构造k-最邻近图，即找出测试样本附近的k个最近样本，矩阵A的每一行保留前k个最大值，然后在A上应用归一化图拉普拉斯，构建图结构，即节点之间的相似度矩阵。
  6. 根据权利要求5所述的小样本遥感图像场景分类方法，其特征在于，步骤S51具体包括：给定光滑的嵌入特征
    Figure PCTCN2022076475-appb-100008
    对于节点i，利用注意力机制，得到目标嵌入特征与任务中所有其他样本特征的对应关系值，对应的注意力值的计算公式为：
    Figure PCTCN2022076475-appb-100009
    其中，W∈R (N×K+T)×(N×K+T)为自适应任务注意力模块获取的注意力值，用来表示节点之间相似度的权重，N表示每个小样本任务有N个类别，K表示每个支撑集中的每个类别有K个样本，T表示每个查询集中所有类别共有T个样本，m表示m个小样本任务；s ij表示查询集样本的节点i与支撑集样本的节点j之间的相似度，其计算公式为：
    Figure PCTCN2022076475-appb-100010
    其中，将查询集中目标样本光滑的嵌入特征
    Figure PCTCN2022076475-appb-100011
    重塑为
    Figure PCTCN2022076475-appb-100012
    采用矩阵求逆运算，
    Figure PCTCN2022076475-appb-100013
    为成对的距离运算，然后利用W i,j整合任务级信息，得到当前任务的关系表示， 其计算公式表示为：
    Figure PCTCN2022076475-appb-100014
  7. 根据权利要求6所述的小样本遥感图像场景分类方法，其特征在于，步骤S52中，节点i与j之间的相似度矩阵L的计算公式为：
    Figure PCTCN2022076475-appb-100015
    Figure PCTCN2022076475-appb-100016
    其中，O ii表示图的度矩阵。
  8. 根据权利要求7所述的小样本遥感图像场景分类方法，其特征在于，步骤S6中，计算支持集样本与查询集样本的类别相似度，利用标签匹配模块对图像进行类名标注，具体包括以下步骤：
    步骤S61：对查询集Q进行预测；
    步骤S62：在计算预测标签和真实标签之间的分类损失时，采用交叉熵损失对所有可学习的参数进行端到端的训练。
  9. 根据权利要求8所述的小样本遥感图像场景分类方法，其特征在于，步骤S61中，对查询集Q进行预测，具体包括：设G代表矩阵的集合，每个矩阵由非负值组成，其形状为(N×K+T)×N；如果一个x i属于支撑集并且y i＝1，那么Y∈G的标签矩阵则由Y ij＝1组成，否则Y ij＝0；给定标签矩阵Y，在采用标签传播公式构造图上，标签匹配迭代地识别S∪Q，其公式为：
    G t+1＝γLG t+(1-γ)Y
    其中，G T∈G表示第t轮的标签矩阵，L为归一化图权重，γ∈(0,1)，是相邻数值和Y的加权求和；当t足够大时，修正序列有一个封闭解，即预测标签相对于每个类别的预测得分，其公式如下：
    G *＝(I-γL) -1Y
    其中，I表示单位矩阵。
  10. 根据权利要求9所述的小样本遥感图像场景分类方法，其特征在于，步骤S62具体包括：把来自于S∪Q的真实标签和预测得分G *作为相应的输入，把G *输入到softmax函数后得到预测概率P，其计算公式为：
    Figure PCTCN2022076475-appb-100017
    其中，
    Figure PCTCN2022076475-appb-100018
    是S∪Q中第i个样本的最后预测标号，
    Figure PCTCN2022076475-appb-100019
    表示
    Figure PCTCN2022076475-appb-100020
    的第j个元素；相应的损失如下面公式：
    Figure PCTCN2022076475-appb-100021
    其中，L CE表示模型的分类损失；I(u)为指示函数，当u为假时，I(u)＝0，当u为真时，I(u)＝1；
    Figure PCTCN2022076475-appb-100022
    表示样本x i对应的真实标签，即得到每个测试标签所匹配到的类别。
PCT/CN2022/076475 2021-11-22 2022-02-16 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法 WO2023087558A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111387970.8 2021-11-22
CN202111387970.8A CN114067160B (zh) 2021-11-22 2021-11-22 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法

Publications (1)

Publication Number Publication Date
WO2023087558A1 true WO2023087558A1 (zh) 2023-05-25

Family

ID=80279122

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/076475 WO2023087558A1 (zh) 2021-11-22 2022-02-16 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法

Country Status (2)

Country Link
CN (1) CN114067160B (zh)
WO (1) WO2023087558A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453032A (zh) * 2023-06-16 2023-07-18 福建农林大学 一种海洋生态检测系统
CN116660389A (zh) * 2023-07-21 2023-08-29 山东大禹水务建设集团有限公司 一种基于人工智能的河道底泥探测及修复系统
CN116721301A (zh) * 2023-08-10 2023-09-08 中国地质大学（武汉） 目标场景分类模型训练方法、分类方法、设备及存储介质
CN116821776A (zh) * 2023-08-30 2023-09-29 福建理工大学 一种基于图自注意力机制的异质图网络节点分类方法
CN116863327A (zh) * 2023-06-05 2023-10-10 中国石油大学(华东) 一种基于双域分类器协同对抗的跨域小样本分类方法
CN116958904A (zh) * 2023-08-07 2023-10-27 济宁安泰矿山设备制造有限公司 一种基于小样本检测的井下异物识别方法
CN117093928A (zh) * 2023-10-18 2023-11-21 南开大学 基于谱域图神经网络的自适应图节点异常检测方法
CN117233725A (zh) * 2023-11-15 2023-12-15 中国空气动力研究与发展中心计算空气动力研究所 基于图神经网络多特征融合的相干雷达目标检测方法
CN117437234A (zh) * 2023-12-21 2024-01-23 四川云实信息技术有限公司 基于图神经网络的航片地物分类与变化检测方法
CN117455970A (zh) * 2023-12-22 2024-01-26 山东科技大学 基于特征融合的机载激光测深与多光谱卫星影像配准方法
CN117475518A (zh) * 2023-12-27 2024-01-30 华东交通大学 一种同步人体运动识别与预测方法及系统
CN117557909A (zh) * 2023-11-27 2024-02-13 中国科学院空天信息创新研究院 面向小样本弱小目标的遥感基础模型持续学习方法及装置
CN117649602A (zh) * 2023-12-06 2024-03-05 燕东科技(广东)有限公司 基于人工智能的图像处理方法及系统
CN117671165A (zh) * 2023-10-19 2024-03-08 兰州交通大学 一种基于图注意力网络的dem数据综合方法
CN117710370A (zh) * 2024-02-05 2024-03-15 江西财经大学 多任务驱动的真实失真全景图像盲质量评价方法与系统
CN117853491A (zh) * 2024-03-08 2024-04-09 山东省计算中心（国家超级计算济南中心） 基于多场景任务下的少样本工业产品异常检测方法及系统
CN117649602B (zh) * 2023-12-06 2024-06-07 燕东科技(广东)有限公司 基于人工智能的图像处理方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114943859B (zh) * 2022-05-05 2023-06-20 兰州理工大学 面向小样本图像分类的任务相关度量学习方法及装置
CN115033689B (zh) * 2022-05-27 2023-04-18 重庆邮电大学 一种基于小样本文本分类原型网络欧氏距离计算方法
CN114814776B (zh) * 2022-06-24 2022-10-14 中国空气动力研究与发展中心计算空气动力研究所 基于图注意力网络和迁移学习的pd雷达目标检测方法
CN117058470B (zh) * 2023-10-12 2024-01-26 宁德思客琦智能装备有限公司 一种基于小样本学习的三维点云分类的方法和系统
CN117648585B (zh) * 2024-01-29 2024-05-10 中国人民解放军军事科学院国防科技创新研究院 基于任务相似度的智能决策模型泛化方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016392A (zh) * 2020-07-17 2020-12-01 浙江理工大学 一种基于高光谱图像的大豆虫害程度的小样本检测方法
CN112052762A (zh) * 2020-08-27 2020-12-08 西安电子科技大学 基于高斯原型的小样本isar图像目标识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288013A (zh) * 2020-10-30 2021-01-29 中南大学 基于元度量学习的小样本遥感场景分类方法
CN112818903B (zh) * 2020-12-10 2022-06-07 北京航空航天大学 一种基于元学习和协同注意力的小样本遥感图像目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016392A (zh) * 2020-07-17 2020-12-01 浙江理工大学 一种基于高光谱图像的大豆虫害程度的小样本检测方法
CN112052762A (zh) * 2020-08-27 2020-12-08 西安电子科技大学 基于高斯原型的小样本isar图像目标识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ORIOL VINYALS, BLUNDELL CHARLES, LILLICRAP TIMOTHY, KAVUKCUOGLU KORAY, WIERSTRA DAAN: "Matching Networks for One Shot Learning", 29 December 2017 (2017-12-29), XP055584964, Retrieved from the Internet <URL:https://arxiv.org/pdf/1606.04080.pdf> [retrieved on 20190502] *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863327A (zh) * 2023-06-05 2023-10-10 中国石油大学(华东) 一种基于双域分类器协同对抗的跨域小样本分类方法
CN116863327B (zh) * 2023-06-05 2023-12-15 中国石油大学(华东) 一种基于双域分类器协同对抗的跨域小样本分类方法
CN116453032B (zh) * 2023-06-16 2023-08-25 福建农林大学 一种海洋生态检测系统
CN116453032A (zh) * 2023-06-16 2023-07-18 福建农林大学 一种海洋生态检测系统
CN116660389A (zh) * 2023-07-21 2023-08-29 山东大禹水务建设集团有限公司 一种基于人工智能的河道底泥探测及修复系统
CN116660389B (zh) * 2023-07-21 2023-10-13 山东大禹水务建设集团有限公司 一种基于人工智能的河道底泥探测及修复系统
CN116958904A (zh) * 2023-08-07 2023-10-27 济宁安泰矿山设备制造有限公司 一种基于小样本检测的井下异物识别方法
CN116958904B (zh) * 2023-08-07 2024-05-07 济宁安泰矿山设备制造有限公司 一种基于小样本检测的井下异物识别方法
CN116721301A (zh) * 2023-08-10 2023-09-08 中国地质大学（武汉） 目标场景分类模型训练方法、分类方法、设备及存储介质
CN116721301B (zh) * 2023-08-10 2023-10-24 中国地质大学（武汉） 目标场景分类模型训练方法、分类方法、设备及存储介质
CN116821776B (zh) * 2023-08-30 2023-11-28 福建理工大学 一种基于图自注意力机制的异质图网络节点分类方法
CN116821776A (zh) * 2023-08-30 2023-09-29 福建理工大学 一种基于图自注意力机制的异质图网络节点分类方法
CN117093928A (zh) * 2023-10-18 2023-11-21 南开大学 基于谱域图神经网络的自适应图节点异常检测方法
CN117671165A (zh) * 2023-10-19 2024-03-08 兰州交通大学 一种基于图注意力网络的dem数据综合方法
CN117233725B (zh) * 2023-11-15 2024-01-23 中国空气动力研究与发展中心计算空气动力研究所 基于图神经网络多特征融合的相干雷达目标检测方法
CN117233725A (zh) * 2023-11-15 2023-12-15 中国空气动力研究与发展中心计算空气动力研究所 基于图神经网络多特征融合的相干雷达目标检测方法
CN117557909A (zh) * 2023-11-27 2024-02-13 中国科学院空天信息创新研究院 面向小样本弱小目标的遥感基础模型持续学习方法及装置
CN117649602A (zh) * 2023-12-06 2024-03-05 燕东科技(广东)有限公司 基于人工智能的图像处理方法及系统
CN117649602B (zh) * 2023-12-06 2024-06-07 燕东科技(广东)有限公司 基于人工智能的图像处理方法及系统
CN117437234B (zh) * 2023-12-21 2024-02-23 四川云实信息技术有限公司 基于图神经网络的航片地物分类与变化检测方法
CN117437234A (zh) * 2023-12-21 2024-01-23 四川云实信息技术有限公司 基于图神经网络的航片地物分类与变化检测方法
CN117455970A (zh) * 2023-12-22 2024-01-26 山东科技大学 基于特征融合的机载激光测深与多光谱卫星影像配准方法
CN117455970B (zh) * 2023-12-22 2024-05-10 山东科技大学 基于特征融合的机载激光测深与多光谱卫星影像配准方法
CN117475518B (zh) * 2023-12-27 2024-03-22 华东交通大学 一种同步人体运动识别与预测方法及系统
CN117475518A (zh) * 2023-12-27 2024-01-30 华东交通大学 一种同步人体运动识别与预测方法及系统
CN117710370A (zh) * 2024-02-05 2024-03-15 江西财经大学 多任务驱动的真实失真全景图像盲质量评价方法与系统
CN117710370B (zh) * 2024-02-05 2024-05-10 江西财经大学 多任务驱动的真实失真全景图像盲质量评价方法与系统
CN117853491A (zh) * 2024-03-08 2024-04-09 山东省计算中心（国家超级计算济南中心） 基于多场景任务下的少样本工业产品异常检测方法及系统
CN117853491B (zh) * 2024-03-08 2024-05-24 山东省计算中心（国家超级计算济南中心） 基于多场景任务下的少样本工业产品异常检测方法及系统

Also Published As

Publication number Publication date
CN114067160A (zh) 2022-02-18
CN114067160B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
WO2023087558A1 (zh) 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
CN108132968B (zh) 网络文本与图像中关联语义基元的弱监督学习方法
CN107133569B (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN110516095B (zh) 基于语义迁移的弱监督深度哈希社交图像检索方法和系统
CN114241282A (zh) 一种基于知识蒸馏的边缘设备场景识别方法及装置
Chen et al. Deep learning from multiple crowds: A case study of humanitarian mapping
Zhang et al. Road recognition from remote sensing imagery using incremental learning
CN112560826B (zh) 图像分类模型的训练方法、图像分类方法及装置
CN113807399A (zh) 一种神经网络训练方法、检测方法以及装置
CN111581368A (zh) 一种基于卷积神经网络的面向智能专家推荐的用户画像方法
WO2022111387A1 (zh) 一种数据处理方法及相关装置
CN113011568A (zh) 一种模型的训练方法、数据处理方法及设备
Chen et al. Learning a two-stage CNN model for multi-sized building detection in remote sensing images
CN113065409A (zh) 一种基于摄像分头布差异对齐约束的无监督行人重识别方法
CN114782752A (zh) 基于自训练的小样本图像集成分类方法及装置
CN113762331A (zh) 关系型自蒸馏方法、装置和系统及存储介质
Gong et al. Robust stepwise correspondence refinement for low-altitude remote sensing image registration
Andrianaivo et al. Architecture recognition by means of convolutional neural networks
Hao Deep learning review and discussion of its future development
CN113066537B (zh) 基于图神经网络的化合物分类方法
Jain et al. Flynet–Neural Network Model for Automatic Building Detection from Satellite Images
Jun et al. Two-view correspondence learning via complex information extraction
Ngestrini Predicting poverty of a region from satellite imagery using CNNs
Lin et al. An attention-based ambient network with 3D convolutional network for incomplete traffic flow prediction
Liang et al. AMEMD-FSL: fuse attention mechanism and earth mover’s distance metric network to deep learning for few-shot image recognition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22894105

Country of ref document: EP

Kind code of ref document: A1