WO2024045375A1 - 一种图像分类中基于样本主成分分析的架构搜索方法 - Google Patents

一种图像分类中基于样本主成分分析的架构搜索方法 Download PDF

Info

Publication number
WO2024045375A1
WO2024045375A1 PCT/CN2022/134583 CN2022134583W WO2024045375A1 WO 2024045375 A1 WO2024045375 A1 WO 2024045375A1 CN 2022134583 W CN2022134583 W CN 2022134583W WO 2024045375 A1 WO2024045375 A1 WO 2024045375A1
Authority
WO
WIPO (PCT)
Prior art keywords
principal component
normal
block1
sample
supernet
Prior art date
Application number
PCT/CN2022/134583
Other languages
English (en)
French (fr)
Inventor
李慧
方徐伟
徐小龙
周松
Original Assignee
天翼电子商务有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 天翼电子商务有限公司 filed Critical 天翼电子商务有限公司
Publication of WO2024045375A1 publication Critical patent/WO2024045375A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Definitions

  • the invention relates to the fields of deep learning and neural network architecture search, and in particular to an architecture search method based on sample principal component analysis in image classification.
  • deep learning models have been widely used in real life, such as face recognition models, image classification models, etc.
  • algorithm engineers engaged in deep learning need to constantly adjust the architecture of the deep learning model according to specific application scenarios. This process requires a lot of time from the algorithm engineers and does not require much effort. Conducive to finding a better network architecture.
  • the neural network architecture search method began to be widely studied by researchers, and algorithm engineers began to apply the neural network architecture search method to the architecture optimization of deep learning models.
  • DARTS differentiated architecture search
  • the DARTS method is mainly used in network construction of image classification models.
  • DARTS pre-sets 8 operations (ops) in the image classification model, such as dil_conv_3x3, dil_conv_5X5, max_pool_3x3, avg_pool_3x3, skip_connection, sep_conv_3x3, sep_conv_5x5 and none, and defines the corresponding 8 weight parameters To represent the importance of the 8 ops.
  • the op selected in the final network is max_pool_3x3. Therefore the performance of the final architecture depends on the importance index - the weight parameter
  • experiments in image classification scenarios show that directly using the size of weight parameters to select ops cannot build a classification network with better performance. In actual scenarios, a network with better performance can often bring greater benefits. For example, in the scenario of determining whether a patient has COVID-19 based on X-rays of the lungs, if the X-rays of the lungs can be classified more accurately, it will greatly reduce the workload of doctors and reduce Anti-epidemic pressure.
  • this patent proposes an architecture search method based on sample principal component analysis.
  • the technical problem to be solved by this invention is to overcome the shortcomings of the existing technology, provide an architecture search method based on sample principal component analysis in image classification, and propose an architecture search method based on sample principal component analysis.
  • This method is based on DARTS , it is proposed to calculate the importance of ops in the classification network based on sample principal component analysis. Compared with the original DARTS that directly uses weight parameters to select the classification network ops, the method proposed in this patent can find a classification network architecture with better performance. .
  • the present invention provides an architecture search method based on sample principal component analysis in image classification, which includes the following steps:
  • the structure of the classification network consists of N normal block1; the input feature map size of normal block1 is kept the same as the output feature map size; N is 16;
  • the supernet contains all optional operations, and the normal block1 of the final classification network only needs to select the most important op among the nodes of the supernet normal block1 to build; in the architecture of the supernet normal block1, a normal block1 consists of 4 nodes, namely nodes 2, 3, 4 and 5 in the figure; nodes 0 and 1 are the outputs of the previous and first two normal block1; some options will be defined between the nodes
  • the operation ops are dil_conv_3x3, dil_conv_5X5, max_pool_3x3, avg_pool_3x3, skip_connection, sep_conv_3x3, sep_conv_5x5 and none; in addition, weight parameters will be defined to weighted sum the output between ops;
  • the data set is divided into two parts, one of which is used to train the model parameter weights in the supernet, and the other is mainly used to train the weight parameters.
  • the model parameters weights and weight parameters alternating training;
  • sample data is normalized, that is, the sample matrix is transformed as follows:
  • the normalized matrix is still recorded as X;
  • This patent proposes an architecture search method based on sample principal component analysis in an image classification scenario.
  • the importance of the op is often mainly evaluated based on the weight parameter value after training, and then the final classification network is built.
  • This method only refers to the weight parameter values after training for selection, and will have a large degree of error.
  • This patent considers all weight parameter values in the model training process, conducts sample principal component analysis on these weight parameter values, selects important ops, and builds a classification network.
  • the sample principal component analysis is performed based on all the weight parameter values generated during the training process. Compared with the weight parameter values obtained after model training, the data samples are considered more comprehensively. Each iteration of model training is analyzed and the overall optimal value is found. Excellent OP can help build a classification network with better performance, further shorten the time required by algorithm engineers in model optimization, improve work efficiency, and thus reduce enterprise costs.
  • Figure 1 is a schematic diagram of normal block 1 of the present invention
  • Figure 2 is a schematic diagram of normal block 1 in the supernet of the present invention.
  • Figure 3 is a schematic diagram of normal block 1 of the classification network of the present invention.
  • Figure 4 is a schematic diagram of the COVID-19 image of the present invention.
  • Figure 5 is a schematic diagram of viral pneumonia of the present invention.
  • Figure 6 is a schematic diagram of a normal chest X-ray according to the present invention.
  • Figure 7 is a schematic diagram of normal block 1 of the pneumonia X-ray classification network of the present invention.
  • the present invention provides an architecture search method based on sample principal component analysis in image classification, which includes the following steps:
  • the structure of the classification network consists of N normal block1, as shown in Figure 1; the input feature map size of normal block1 is kept the same as the output feature map size; N is 16;
  • the supernet contains all optional operations, and the normal block1 of the final classification network only needs to select the most important op among the nodes of the supernet normal block1 to build;
  • the architecture of the supernet normal block1 is shown in Figure 2
  • a normal block1 consists of 4 nodes, namely nodes 2, 3, 4 and 5 in the figure; nodes 0 and 1 are the outputs of the previous and the first two normal block1; the nodes between the nodes will be defined
  • Some optional operation ops are dil_conv_3x3, dil_conv_5X5, max_pool_3x3, avg_pool_3x3, skip_connection, sep_conv_3x3, sep_conv_5x5 and none; in addition, weight parameters are also defined to perform a weighted sum of the outputs between ops.
  • the connections between nodes are as follows As shown in Figure 2;
  • the data set is divided into two parts, one of which is used to train the model parameter weights in the supernet, and the other is mainly used to train the weight parameters.
  • the model parameters weights and weight parameters alternating training;
  • sample data is normalized, that is, the sample matrix is transformed as follows:
  • the normalized matrix is still recorded as X;
  • x 1 accounts for the largest proportion of the principal components y 1 and y 2. Therefore, among the above eight random variables, the op represented by x 1 is more important; therefore, among the 8 random variables between nodes Select dil_conv_3x3 for each op; analyze the other nodes similarly, and get the ops selected between each node to get the normal block1 of the classification network; the normal block1 of the classification network can be shown in Figure 3 below;
  • the method of the present invention is suitable for image classification scenarios, such as medical imaging, indoor and outdoor classification, and other image classification scenarios.
  • image classification scenarios such as medical imaging, indoor and outdoor classification, and other image classification scenarios.
  • COVID-19 has swept the world in the past two years, X-rays of a patient's lungs are the main method to determine whether they are infected with COVID-19.
  • the embodiments of this patent are mainly described based on the classification of pneumonia X-rays.
  • many artificial intelligence experts have begun to use deep learning methods to classify lung X-rays.
  • Lung X-rays can be mainly divided into COVID-19, viral pneumonia and normal chest X-rays.
  • Figure 4 is an image of COVID-19
  • Figure 5 is a viral pneumonia
  • Figure 6 is a normal chest X-ray.
  • Step 6 According to the number set in Step 1, superimpose the normalblock1 of the classification network and perform training to obtain the final result.
  • This patent proposes to fully consider the weight parameter values generated during the supernet iteration process when selecting ops between nodes, instead of taking the results of the last iteration as the criterion and considering a comprehensive sample.
  • the process of selecting the most important OP among the 8 ops of the supernet by the classification network is to select one of the most important variables from 8 random variables, using the random variables in the sample principal component analysis method to The contribution of components is used to measure the importance of op.

Landscapes

  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种图像分类中基于样本主成分分析的架构搜索方法，此方法在DARTS的基础上，提出了基于样本主成分分析来计算分类网络中op的重要性，相比于原本DARTS直接采用权重参数来选择分类网络op，该方法提出的方法，更能找到一个性能更优的分类网络架构。在以往的架构搜索方法中，往往主要以训练结束后的权重参数值大小来评估op的重要性，进而搭建最终的分类网络；这一方法仅参照了训练结束后的权重参数值来进行挑选，会具有较大程度的误差；而该方法考虑了模型训练过程的所有权重参数值，并对这些权重参数值来进行样本主成分分析，挑选出重要的op，搭建分类网络。

Description

一种图像分类中基于样本主成分分析的架构搜索方法 技术领域
本发明涉及深度学习、神经网络架构搜索领域，特别涉及一种图像分类中基于样本主成分分析的架构搜索方法。
背景技术
随着深度学习技术的发展，深度学习模型已被广泛的应用实际生活当中，比如人脸识别模型、图像分类模型等。但在这些深度学习模型的实际开发过程中，需要从事深度学习的算法工程师，不断的根据具体的应用场景，对深度学习模型的架构进行调整，这个过程需要花费算法工程师们大量的时间，也不利于找到更优的网络架构。为解决此问题，神经网络架构搜索方法开始被学者们广泛研究，算法工程师们开始将神经网络架构搜索方法应用于深度学习模型的架构优化。
目前在神经网络架构搜索方面，DARTS(可微分的架构搜索)由于在架构搜索时所需的时间相对较小，已被较多算法工程师开始使用。DARTS方法主要应用于图像分类模型的网络构建。DARTS预先设定了在图像分类模型中8个操作(op)，比如dil_conv_3x3、dil_conv_5X5、max_pool_3x3、avg_pool_3x3、skip_connection、sep_conv_3x3、sep_conv_5x5和none，并定义了对应的8个权重参数
Figure PCTCN2022134583-appb-000001
来代表8个op的重要性。假设在最后得到的8个权重参数大小分别为[0.15,0.2,0.5,0.01,0.05,0.04,0.02,0.03],那么在最后网络中选择的op则为max_pool_3x3。因此最终架构的性能取决于重要性指标——权重参数
Figure PCTCN2022134583-appb-000002
但是在图像分类场景下的实验表明，直接采用权重参数的大小来选择op，并不能构建性能较优的分类网络。而在实际场景中，一个性能更优的网络，往往能带来更大的收益。比如在根据肺部的X光片，来判断患者是否患有新冠肺炎的场景下，若能更准确的对肺部X光片进行分类，将能在很大程度上缩小医生的工作量，降低防疫压力。
当前图像分类模型主要依靠学者经验涉及的vgg，resnet18、resnet50以及seresnet等网络，但在实际应用中，在特定的数据集下，比如肺炎X光片，上述图像分类的网络并不能取得更好的效果，因此需要算法工程师根据当前场景的数据集，不断调整分类网络，这将花费大量的时间，降低了开发效率。
为在DARTS方法中，找到一个更能衡量op重要性的指标，构建性能更优的分类网络，本专利提出了基于样本主成分分析的架构搜索方法。
发明内容
本发明要解决的技术问题是克服现有技术的缺陷，提供一种图像分类中基于样本主成分分析的架构搜索方法，提出了基于样本主成分分析的架构搜索方法，此方法在DARTS的基础上，提出了基于样本主成分分析来计算分类网络中op的重要性，相比于原本DARTS直接采用权重参数来选择分类网络op，本专利提出的方法，更能找到一个性能更优的分类网络架构。
本发明提供了如下的技术方案：
本发明提供一种图像分类中基于样本主成分分析的架构搜索方法，包括以下步骤：
S1、初定分类网络的结构：
确定分类网络的结构由N个normal block1组成；其中保持normal block1的输入特征图大小与输出特征图大小相同；其中N为16；
S2、确定超网的normal block1结构：
超网包含所有可供选择的操作，而最终分类网络的normal block1，则只需要在超网normal block1的节点之间挑选一条最重要的op来进行构建；超网的normal block1的架构中，一个normal block1由4个节点组成，分别为图中的2、3、4和5节点；其中0和1节点为前一个和前两个normal block1的输出；节点之间的将会定义一些可供选择的操作op，分别为dil_conv_3x3、dil_conv_5X5、max_pool_3x3、avg_pool_3x3、skip_connection、 sep_conv_3x3、sep_conv_5x5和none；此外还会定义权重参数来对op之间的输出进行加权求和；
S3、确定超网的normal block1数量N＝8，并开始训练超网：
在训练超网时，将数据集一份为二，其中一份用于训练超网中的模型参数weights，另一份则主要用于训练权重参数
Figure PCTCN2022134583-appb-000003
在训练过程中，模型参数weights和权重参数
Figure PCTCN2022134583-appb-000004
交替训练；
S4、基于样本主成分分析来计算op的重要性，得到子网的normal block1，在超网的每次迭代过程中，都会得到一组更新后的权重参数值；假设进行了50次迭代，那么将两个节点之间的权重参数
Figure PCTCN2022134583-appb-000005
看作随机变量(x 1，x 2…x 8)，样本矩阵X可表示为：
Figure PCTCN2022134583-appb-000006
其中n＝8，m＝50；
在使用样本主成分分析时，一般假设样本数据是规范化的，即对样本矩阵做如下变换：
Figure PCTCN2022134583-appb-000007
其中，
Figure PCTCN2022134583-appb-000008
Figure PCTCN2022134583-appb-000009
规范化后的矩阵，仍记为X；
则样本相关矩阵
Figure PCTCN2022134583-appb-000010
根据样本相关矩阵R计算特征值，得到m个特征值和对应的单位特征向量；这些特征值就是各主成分的方差贡献率；在本专利中要求取主成分的累 计方差贡献率大于75％；假设在实际操作中前两个的主成分方差贡献率就大于75％，即取第一主成分和第二主成分即可；
根据第一主成分和第二主成分的单位特征向量，计算出因子负荷量，即随机变量x i(i＝1，2，……m)对主成分的贡献率；举例来说，x 1在主成分y 1和y 2中的占比最大，因此，在上述8个随机变量中，x 1所代表的op更为重要；因此，在节点之间的8个op选择dil_conv_3x3；其他节点类似这样分析，得到各个节点之间选择的op，即可得到分类网络的normal block1；
S5、依据Step1设置的normal block1数据，搭建最终的分类网络，开始进行训练，值得一提的是，在本专利中提出采用样本主成分分析来计算op重要性的出发点在于，从超网节点之间的8个op来挑选其中一个op，可以看作是在从8个随机变量中来挑选其中一个最为主要的变量；要从8个随机变量中挑选出其中一个最为重要的变量即可利用样本主成分分析法中各随机变量对主成分的贡献度；而若直接根据8个op的输出结果来进行样本主成分分析，由于op的直接输出结果维度太多，参数量较大，计算量较大；而8个op的输出结果是需要与权重参数
Figure PCTCN2022134583-appb-000011
相乘来得到最后的结果，因此衡量权重参数
Figure PCTCN2022134583-appb-000012
的重要性，就可以得到op的重要性。
与现有技术相比，本发明的有益效果如下：
本专利提出了一种在图像分类场景下基于样本主成分分析的架构搜索方法。在以往的架构搜索方法中，往往主要以训练结束后的权重参数值大小来评估op的重要性，进而搭建最终的分类网络。这一方法仅参照了训练结束后的权重参数值来进行挑选，会具有较大程度的误差。而本专利考虑了模型训练过程的所有权重参数值，并对这些权重参数值来进行样本主成分分析，挑选出重要的op，搭建分类网络。
基于训练过程所有产生的权重参数值来进行样本主成分分析，相比于模型训练后得到的权重参数值，数据样本考虑更全，从模型训练的每次迭代中 进行了分析，找到了总体最优的op，有助于构建一个性能更佳的分类网络，进一步缩短算法工程师在模型优化方面所需要的时间，提升工作效率，进而缩减了企业成本。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的normal block1示意图；
图2是本发明的超网中的normal block1示意图；
图3是本发明的分类网络的normal block1示意图；
图4是本发明的COVID-19图像示意图；
图5是本发明的病毒性肺炎示意图；
图6是本发明的正常胸部X光片示意图；
图7是本发明的肺炎X光片分类网络的normal block1示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。其中附图中相同的标号全部指的是相同的部件。
实施例1
如图1-7，本发明提供一种图像分类中基于样本主成分分析的架构搜索方法，包括以下步骤：
S1、初定分类网络的结构：
确定分类网络的结构由N个normal block1组成，如图1所示；其中保持normal block1的输入特征图大小与输出特征图大小相同；其中N为16；
S2、确定超网的normal block1结构：
超网包含所有可供选择的操作，而最终分类网络的normal block1，则只 需要在超网normal block1的节点之间挑选一条最重要的op来进行构建；超网的normal block1的架构如图2所示，一个normal block1由4个节点组成，分别为图中的2、3、4和5节点；其中0和1节点为前一个和前两个normal block1的输出；节点之间的将会定义一些可供选择的操作op，分别为dil_conv_3x3、dil_conv_5X5、max_pool_3x3、avg_pool_3x3、skip_connection、sep_conv_3x3、sep_conv_5x5和none；此外还会定义权重参数来对op之间的输出进行加权求和，节点之间的连接如图2所示；
S3、确定超网的normal block1数量N＝8，并开始训练超网：
在训练超网时，将数据集一份为二，其中一份用于训练超网中的模型参数weights，另一份则主要用于训练权重参数
Figure PCTCN2022134583-appb-000013
在训练过程中，模型参数weights和权重参数
Figure PCTCN2022134583-appb-000014
交替训练；
S4、基于样本主成分分析来计算op的重要性，得到子网的normal block1，在超网的每次迭代过程中，都会得到一组更新后的权重参数值；假设进行了50次迭代，那么将两个节点之间的权重参数
Figure PCTCN2022134583-appb-000015
看作随机变量(x 1，x 2…x 8)，样本矩阵X可表示为：
Figure PCTCN2022134583-appb-000016
其中n＝8，m＝50；
在使用样本主成分分析时，一般假设样本数据是规范化的，即对样本矩阵做如下变换：
Figure PCTCN2022134583-appb-000017
其中，
Figure PCTCN2022134583-appb-000018
Figure PCTCN2022134583-appb-000019
规范化后的矩阵，仍记为X；
则样本相关矩阵
Figure PCTCN2022134583-appb-000020
根据样本相关矩阵R计算特征值，得到m个特征值和对应的单位特征向量；这些特征值就是各主成分的方差贡献率；在本专利中要求取主成分的累计方差贡献率大于75％；假设在实际操作中前两个的主成分方差贡献率就大于75％，即取第一主成分和第二主成分即可；
根据第一主成分和第二主成分的单位特征向量，计算出因子负荷量，即随机变量x i(i＝1，2，…，m)对主成分的贡献率；举例来说，如表一所示：
表一、单位特征向量和主成分的方差贡献率
Figure PCTCN2022134583-appb-000021
从表一中可知，x 1在主成分y 1和y 2中的占比最大，因此，在上述8个随机变量中，x 1所代表的op更为重要；因此，在节点之间的8个op选择dil_conv_3x3；其他节点类似这样分析，得到各个节点之间选择的op，即可得到分类网络的normal block1；分类网络的normal block1可如下图3所示；
S5、依据Step1设置的normal block1数据，搭建最终的分类网络，开始进行训练，值得一提的是，在本专利中提出采用样本主成分分析来计算op重要性的出发点在于，从超网节点之间的8个op来挑选其中一个op，可以看作是在从8个随机变量中来挑选其中一个最为主要的变量；要从8个随机变量中挑选出其中一个最为重要的变量即可利用样本主成分分析法中各随机变 量对主成分的贡献度；而若直接根据8个op的输出结果来进行样本主成分分析，由于op的直接输出结果维度太多，参数量较大，计算量较大；而8个op的输出结果是需要与权重参数
Figure PCTCN2022134583-appb-000022
相乘来得到最后的结果，因此衡量权重参数
Figure PCTCN2022134583-appb-000023
的重要性，就可以得到op的重要性。
进一步的，示例如下：本发明方法适用于图像分类场景，比如医学影像、室内室外分类以及其他图像分类场景。随着近两年，新冠席卷全球，患者肺部的X光片是判断是否感染新冠的主要方法，本专利的实施例主要以肺炎X光片的分类来进行叙述。为缩短肺部X光的判断时间，较多人工智能专家开始采用深度学习的方法来对肺部X光片进行分类。肺部X光片主要可分为COVID-19、病毒性肺炎和正常胸部X光片。其中图4为COVID-19图像、图5为病毒性肺炎和图6为正常胸部X光片。
1.针对当前肺炎X光片分类场景，确定分类网络的NormalBlock1的数量，设为16；
2.设置超网的NormalBlock1数量，设置为8；
3.定义分类网络中需要选择的操作，设置为8个，dil_conv_3x3、dil_conv_5X5、max_pool_3x3、avg_pool_3x3、skip_connection、sep_conv_3x3、sep_conv_5x5和none；
4.设置超网的迭代次数设为100，学习率为0.001，BatchSize设置为64，训练过程更新权重参数并对权重参数进行保存；
5.训练完成后，根据保存的权重参数，基于样本主成分分析法，计算出每个权重参数对第一和第二主成分的贡献度，选取最大贡献度的权重参数所对应的op来构建分类网络的normalblock1，在当前分类场景下得到的normalblock1如图7所示；
6.根据Step1设置的数量，叠加分类网络的normalblock1，进行训练得到最后的结果。
本专利提出在挑选节点之间的op时，充分考虑超网迭代过程中产生的权重参数值，而不是以最后一次迭代的结果为准，考虑样本全面。第二，将分类网络在超网8个op中挑选最重要op的过程，看是在从8个随机变量中来挑选其中一个最为主要的变量，利用了样本主成分分析法中随机变量对主成分的贡献度来衡量op的重要性。第三、考虑到op的直接输出结果维度太多，参数量较大，计算量较大，而8个op的输出结果是需要与权重参数
Figure PCTCN2022134583-appb-000024
相乘来得到最后的结果，因此本专利通过样本主成分分析权重参数
Figure PCTCN2022134583-appb-000025
的重要性，来得到op的重要性。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

  1. 一种图像分类中基于样本主成分分析的架构搜索方法，其特征在于，包括以下步骤：
    S1、初定分类网络的结构：
    确定分类网络的结构由N个normal block1组成；其中保持normal block1的输入特征图大小与输出特征图大小相同；其中N为16；
    S2、确定超网的normal block1结构：
    超网包含所有可供选择的操作，而最终分类网络的normal block1，则只需要在超网normal block1的节点之间挑选一条最重要的op来进行构建；超网的normal block1的架构中，一个normal block1由4个节点组成，分别为图中的2、3、4和5节点；其中0和1节点为前一个和前两个normal block1的输出；节点之间的将会定义一些可供选择的操作op，分别为dil_conv_3x3、dil_conv_5X5、max_pool_3x3、avg_pool_3x3、skip_connection、sep_conv_3x3、sep_conv_5x5和none；此外还会定义权重参数来对op之间的输出进行加权求和；
    S3、确定超网的normal block1数量N＝8，并开始训练超网：
    在训练超网时，将数据集一份为二，其中一份用于训练超网中的模型参数weights，另一份则主要用于训练权重参数
    Figure PCTCN2022134583-appb-100001
    在训练过程中，模型参数weights和权重参数
    Figure PCTCN2022134583-appb-100002
    交替训练；
    S4、基于样本主成分分析来计算op的重要性，得到子网的normal block1，在超网的每次迭代过程中，都会得到一组更新后的权重参数值；假设进行了50次迭代，那么将两个节点之间的权重参数
    Figure PCTCN2022134583-appb-100003
    看作随机变量(x 1，x 2…x 8)，样本矩阵X可表示为：
    Figure PCTCN2022134583-appb-100004
    其中n＝8，m＝50；
    在使用样本主成分分析时，一般假设样本数据是规范化的，即对样本矩阵做如下变换：
    Figure PCTCN2022134583-appb-100005
    其中，
    Figure PCTCN2022134583-appb-100006
    Figure PCTCN2022134583-appb-100007
    规范化后的矩阵，仍记为X；
    则样本相关矩阵
    Figure PCTCN2022134583-appb-100008
    根据样本相关矩阵R计算特征值，得到m个特征值和对应的单位特征向量；这些特征值就是各主成分的方差贡献率；在本专利中要求取主成分的累计方差贡献率大于75％；假设在实际操作中前两个的主成分方差贡献率就大于75％，即取第一主成分和第二主成分即可；
    根据第一主成分和第二主成分的单位特征向量，计算出因子负荷量，即随机变量x i(i＝1，2，…，m)对主成分的贡献率；举例来说，x 1在主成分y 1和y 2中的占比最大，因此，在上述8个随机变量中，x 1所代表的op更为重要；因此，在节点之间的8个op选择dil_conv_3x3；其他节点类似这样分析，得到各个节点之间选择的op，即可得到分类网络的normal block1；
    S5、依据Step1设置的normal block1数据，搭建最终的分类网络，开始进行训练，值得一提的是，在本专利中提出采用样本主成分分析来计算op重要性的出发点在于，从超网节点之间的8个op来挑选其中一个op，可以看作是在从8个随机变量中来挑选其中一个最为主要的变量；要从8个随机变量中挑选出其中一个最为重要的变量即可利用样本主成分分析法中各随机变量对主成分的贡献度；而若直接根据8个op的输出结果来进行样本主成分分 析，由于op的直接输出结果维度太多，参数量较大，计算量较大；而8个op的输出结果是需要与权重参数
    Figure PCTCN2022134583-appb-100009
    相乘来得到最后的结果，因此衡量权重参数
    Figure PCTCN2022134583-appb-100010
    的重要性，就可以得到op的重要性。
PCT/CN2022/134583 2022-08-29 2022-11-28 一种图像分类中基于样本主成分分析的架构搜索方法 WO2024045375A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211040364.3 2022-08-29
CN202211040364 2022-08-29

Publications (1)

Publication Number Publication Date
WO2024045375A1 true WO2024045375A1 (zh) 2024-03-07

Family

ID=90100278

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/134583 WO2024045375A1 (zh) 2022-08-29 2022-11-28 一种图像分类中基于样本主成分分析的架构搜索方法

Country Status (1)

Country Link
WO (1) WO2024045375A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915445A (zh) * 2012-09-17 2013-02-06 杭州电子科技大学 一种改进型的神经网络高光谱遥感影像分类方法
CN108829816A (zh) * 2018-06-12 2018-11-16 郑州云海信息技术有限公司 一种大数据的二次特征选择方法及装置
CN109376787A (zh) * 2018-10-31 2019-02-22 聚时科技(上海)有限公司 流形学习网络及基于其的计算机视觉图像集分类方法
CN111931904A (zh) * 2020-07-10 2020-11-13 华为技术有限公司 神经网络的构建方法和装置
US20220035878A1 (en) * 2021-10-19 2022-02-03 Intel Corporation Framework for optimization of machine learning architectures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915445A (zh) * 2012-09-17 2013-02-06 杭州电子科技大学 一种改进型的神经网络高光谱遥感影像分类方法
CN108829816A (zh) * 2018-06-12 2018-11-16 郑州云海信息技术有限公司 一种大数据的二次特征选择方法及装置
CN109376787A (zh) * 2018-10-31 2019-02-22 聚时科技(上海)有限公司 流形学习网络及基于其的计算机视觉图像集分类方法
CN111931904A (zh) * 2020-07-10 2020-11-13 华为技术有限公司 神经网络的构建方法和装置
US20220035878A1 (en) * 2021-10-19 2022-02-03 Intel Corporation Framework for optimization of machine learning architectures

Similar Documents

Publication Publication Date Title
CN110706152B (zh) 基于生成对抗网络的人脸光照迁移方法
CN105976364B (zh) 基于简化带权无向图的统计平均模型构建方法
CN108335303A (zh) 一种应用于手掌x光片的多尺度手掌骨骼分割方法
Wan et al. Precise facial landmark detection by reference heatmap transformer
WO2022205500A1 (zh) 一种非刚性多模医学图像的配准模型建立方法及其应用
CN114090783A (zh) 一种异构知识图谱融合方法及系统
WO2021139753A1 (zh) 一种数据库的处理方法和装置
Tripathi et al. Optimal pneumonia detection using convolutional neural networks from x-ray images
CN110264030A (zh) 一种新旧动能转换成效评价方法及系统
CN109284316A (zh) 基于数据源多维特性的真值发现方法
CN108764335A (zh) 一种综合能源系统多能需求典型场景生成方法及装置
WO2023142651A1 (zh) 动作生成方法及相关装置、电子设备、存储介质和程序
Zhao et al. A fast unsupervised approach for multi-modality surgical trajectory segmentation
CN113743474A (zh) 基于协同半监督卷积神经网络的数字图片分类方法与系统
Li et al. Left ventricle full quantification using deep layer aggregation based multitask relationship learning
WO2024045375A1 (zh) 一种图像分类中基于样本主成分分析的架构搜索方法
WO2020244049A1 (zh) 基于过渡矩阵的泛在电力物联网分布式经济调度方法
WO2021139483A1 (zh) 向前模型选择方法、设备和可读存储介质
Shankar et al. Progressive fusion for multimodal integration
Chen et al. [Retracted] Design and Research of the AI Badminton Model Based on the Deep Learning Neural Network
WO2024000956A1 (zh) 方面情感分析方法、模型及介质
CN114462526A (zh) 一种分类模型训练方法、装置、计算机设备及存储介质
TW202249029A (zh) 影像標註方法
Ran et al. MfvPose: A multi-scale hybrid framework for human pose estimation
CN112435321A (zh) 一种Leap Motion手部骨骼运动数据优化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22957187

Country of ref document: EP

Kind code of ref document: A1