WO2020172838A1 - 一种改进辅助分类器gan的图像分类方法 - Google Patents

一种改进辅助分类器gan的图像分类方法 Download PDF

Info

Publication number
WO2020172838A1
WO2020172838A1 PCT/CN2019/076429 CN2019076429W WO2020172838A1 WO 2020172838 A1 WO2020172838 A1 WO 2020172838A1 CN 2019076429 W CN2019076429 W CN 2019076429W WO 2020172838 A1 WO2020172838 A1 WO 2020172838A1
Authority
WO
WIPO (PCT)
Prior art keywords
sample
discriminator
real
fake
label
Prior art date
Application number
PCT/CN2019/076429
Other languages
English (en)
French (fr)
Inventor
王进
陈沅涛
王磊
何施茗
张经宇
邹勇松
夏卓群
张建明
Original Assignee
长沙理工大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 长沙理工大学 filed Critical 长沙理工大学
Publication of WO2020172838A1 publication Critical patent/WO2020172838A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the invention relates to the technical field of image classification, in particular to an image classification method for improving the auxiliary classifier GAN.
  • DCNN deep convolutional neural network
  • a generative model is a model that can learn the potential distribution of data and generate new samples.
  • Traditional generative models include Gaussian model, Bayesian network, S-type belief network, Gaussian mixture model GMM, multinomial mixture model MMM, hidden Markov model and hidden Markov random field model.
  • GAN Generative Adversarial Network
  • Training the discriminant network to distinguish between real samples and pseudo samples generated by the generation network is essentially a binary classification problem; training the generation network to generate samples that look as real as possible, allowing the discriminator to incorrectly identify them as The real sample achieves the effect of being fake.
  • GAN belongs to the scope of unsupervised learning. Compared with other generative models, this method that does not require pre-modeling has the disadvantage of poor controllability.
  • DCGAN Deep Convolutional GANs
  • CNN Convolutional Neural Network
  • Conditional Generative Adversarial Networks are trained by adding image category labels to both the generator and the discriminator, so as to achieve the directional generation of images; based on auxiliary classifiers to generate adversarial networks (Auxiliary Classifier Generative Adversarial Networks) ACGAN)
  • CGAN CGAN
  • ACGAN Advanced Classifier Generative Adversarial Networks
  • ACGAN is further improved on the basis of CGAN, and combines the idea of maximum mutual information in InfoGAN. Shows that ACGAN can generate more high-definition samples.
  • the discriminator of the traditional ACGAN network is a natural classifier. When used for image classification, there are many problems such as slow training speed, unstable training process, and poor discrimination effect.
  • the purpose of the present invention is to provide an image classification algorithm (Image Classification Based on Auxiliary Classifier GAN, IC-ACGAN) that improves the auxiliary classifier GAN.
  • An image classification method to improve the auxiliary classifier GAN including:
  • the third convolutional layer and the fifth convolutional layer of the discriminator are respectively changed to the pooling layer, and feature matching (FM) is introduced to make the characteristic output of the generated sample in the discriminator and the real
  • FM feature matching
  • f(x) represents the output of the middle layer of the discriminator
  • x is the input
  • z ⁇ p z is the noise
  • G(z; ⁇ g ) is the generated sample space
  • N is the number of samples in a batch in training
  • ⁇ , ⁇ > indicates the inner product
  • y is the sample label
  • y' is the predicted value of the sample label
  • p is the prediction function
  • CE(y,y') is y The cross entropy loss value with y';
  • the loss function L real of real data is expressed as formula (3):
  • K is the category
  • the input label of the generated sample is consistent with the sample label y, and the cross-entropy loss between the output label y'fake and the input label of the generated sample is CE(y,y' fake ), and the loss function L fake of the generated sample is as follows ( 5) Shown:
  • the generator error L G is expressed as formula (7):
  • the convolutional layer structure of the discrimination network is: kernel_size is 5, stride is 1, padding is 1, and the pooling layer structure is kernel_size is 2, stride is 2.
  • the IC-ACGAN method of the present invention is optimized on the original ACGAN conditions, mainly including the introduction of feature matching, changing the output layer structure of the discriminator, introducing the Softmax classifier, and adopting the semi-supervised learning idea to reconstruct the generator and discriminator Loss function, the introduction of pooling method in the discriminator, etc.
  • the test results show that compared with the original ACGAN method, the classification effect of the IC-ACGAN method on the MNIST, CIFAR10, and CIFAR100 data sets has been greatly improved, and the effect is more It is stable and also has better classification accuracy than convolutional neural networks of the same depth network structure.
  • the pooled generative confrontation network is used to solve the image classification problem.
  • the pooling method can be used to generate the diversity of samples, and on the other hand, the pooling can be used to extract features more effectively and further improve the classification effect.
  • Figure 1 is the GAN network structure
  • Figure 2 is the ACGAN network structure
  • Figure 3 is the ACGAN generator structure (take MNIST data as an example);
  • Figure 4 is the ACGAN discriminator structure (take MNIST data as an example);
  • Figure 5 is the IC-ACGAN network structure (take MNIST data as an example);
  • Figure 6 is the IC-ACGAN discriminator structure (take MNIST data as an example);
  • Figure 7 is a classification effect diagram of different methods on the MNIST training set
  • Figure 8 is a comparison of different methods on the MNIST test set
  • Figure 9 is a classification effect diagram of different methods on the CIFAR10 training set
  • Figure 10 is a comparison of different methods on the CIFAR10 test set
  • Figure 11 is a classification effect diagram of different methods on the CIFAR100 training set
  • Figure 12 is a comparison of different methods on the CIFAR10 test set.
  • Generative confrontation network is a type of generative model, which was proposed by Ian J. Goodfellow in 2014.
  • the GAN model is based on the minimum and maximum two-player game problem, and its confrontation training method is shown in equation (8):
  • the network structure diagram of GAN model is shown as in Fig. 1.
  • the GAN network model includes a generator G and a discriminator D, where the generator is a mapping from noise z ⁇ p z (z) to the generated sample space G(z; ⁇ g ), and the discriminator D (x; ⁇ d ) is It is to judge whether the input x comes from a real sample or a generated sample, so the discriminator is essentially a two-class classification. In the constant confrontation between G and D, the generation distribution p g (x) keeps approaching the real distribution p(x), and finally reaches the Nash equilibrium.
  • the distribution of generated samples is completely consistent with the distribution of real samples, and the purpose of generating real samples is achieved.
  • the two neural networks G and D of GAN both use the traditional back-propagation principle, and the calculation process does not require a complicated Markov chain, nor does it require great relief estimation, and there is no complicated lower limit of variation, which greatly reduces the network
  • the difficulty of training makes it easier to achieve convergence.
  • the original GAN belongs to the scope of unsupervised learning and has poor controllability.
  • CGAN applies the generative confrontation network to the supervised learning method for the first time, which can achieve the effect of label and generated image.
  • ACGAN made further improvements on the basis of CGAN, and combined the idea of maximum mutual information in InfoGAN.
  • Figure 2 is the network structure diagram of ACGAN.
  • Equations (9) and (10) are the objective functions of ACGAN training:
  • the network generator includes 4 fully connected layers and 5 transposed convolutional layers, of which 1, 3 transposed convolutional layers have the same structure: kernel_size is 4, stride is 2, padding is 1; 2, 4, 5 transposed volume
  • kernel_size is 4, stride is 1, padding is 1.
  • Figure 4 is a structural diagram of the discriminator of the corresponding ACGAN model.
  • the structure of the discriminator and the generator is just the opposite, it also includes 5 convolutional layers and 4 fully connected layers, of which the 1, 2, 4 convolutional layers have the same structure: kernel_size is 5, stride is 1, padding is 1; 3, 5
  • the convolutional layer structure is the same: kernel_size is 4, stride is 2, padding is 1.
  • the output layer of the discriminant network outputs the posterior probability estimate of the sample label, which is the estimated value of the sample label in the test set.
  • the present invention proposes an improved ACGAN-based image classification method (IC-ACGAN) by analyzing the synthesis principle of ACGAN high-definition images and the judgment ability of the discriminator.
  • the method can be summarized as follows: in the output layer of the discriminant network, the authenticity of the sample is cancelled, and only the posterior probability estimate of the sample label is output; the real sample is regarded as supervised data, and the generated sample is regarded as labeled Fake data, using the true and false attributes of the sample and the cross-entropy loss function of the sample's output label and the input label to reconstruct the loss function of the generator and the discriminator; the pooling method is introduced in the discriminant network to extract the classification features more effectively; Feature matching is added to the discriminant network to ensure the diversity of generated samples.
  • FM Feature matching
  • f(x) represents the output of the middle layer of the discriminator
  • x is the input
  • z ⁇ p z is noise
  • G(z; ⁇ g ) is the generated sample space. That is, the feature output of the generated sample in the discriminator is matched with the feature output of the real sample in the discriminator, and the classification effect of ACGAN in image classification is improved.
  • the improved network cancels the true and false sample discrimination items in the discriminator, and at the same time introduces feature matching in the discriminator, and other parts remain unchanged.
  • major changes have been made in the loss functions of the generator and the discriminator.
  • real samples as labeled supervised data
  • generating samples as labeled fake data then connect the Softmax classifier to the output layer of the discriminant network to obtain the supervised loss function L supervised of real samples, expressed as equation (2):
  • N is the number of samples in a batch in training
  • ⁇ , ⁇ > indicates the inner product
  • y is the sample label
  • y' is the predicted value of the sample label
  • p is the prediction function
  • CE(y,y') is y
  • L real of real data is expressed as formula (3):
  • the error includes two parts: one part is to determine that the generated sample is the K+1 type, that is, the probability loss value of the fake sample class; the other part is between the output label y'fake of the generated sample and the input label y
  • L fake 0.5 ⁇ (L unsupervised +CE(y,y' fake )) (5).
  • the error L D is expressed as formula (6):
  • Convolutional neural networks have achieved great success in image classification methods, and pooling methods play an important role. As an important step of convolutional neural networks, pooling can not only effectively extract features, but also achieve data dimensionality reduction and prevent overfitting. Pooling is a key step in feature extraction of convolutional neural networks. It has the characteristics of keeping translation, rotation, and expansion invariance. Commonly used pooling methods include average pooling, maximum pooling and random pooling.
  • transposed convolution (Deconv) is used in the discriminant network to replace pooling, so that pooling is abandoned in the generation network.
  • the IC-ACGAN method of this embodiment combines a generative confrontation network with a pooling method, and a pooled generative confrontation network is dedicated to solving classification problems, so that on the one hand, the diversity of generated samples can be used; on the other hand, it can be used Pooling can extract features more effectively.
  • IC-ACGAN is further improved on the basis of introducing feature matching and reconstruction loss function, changing part of the convolutional layer of the discriminator in ACGAN to a pooling layer, while the generator structure remains unchanged. It is to change the 3rd and 5th convolutional layers in the original discriminant network (corresponding to Figure 4) to the pooling layer.
  • the structure of the pooling layer is kernel_size is 2, stride is 2.
  • the improved discriminant network structure is shown in Figure 6.
  • the pooling layer in the IC-ACGAN method uses mean pooling.
  • MNIST is a handwritten font data set, a total of 60,000 training data and 10,000 test data, each data corresponds to a number from 0-9, each data is 28*28 two-dimensional image data, expanded into a vector to 784 dimensions .
  • the network structure of the discriminator in ACGAN in this experiment is described in Figure 4, and the network structure of the discriminator in IC-ACGAN is shown in Figure 6.
  • the batchsize of each training is 100, and a total of 100 epochs are trained for each experiment.
  • both the generator and the discriminator are optimized by Adam, and the learning rate is both 0.0002.
  • the experiment uses the Pytorch deep learning framework and is implemented under GPU conditions.
  • Table 1 shows the average prediction accuracy and variance of different methods on MNIST when the network training stabilizes after training for 50 epochs.
  • Table 1 Means and variances of MNIST predictions for different methods of training 50 to 100 epochs
  • Table 2 shows the highest accuracy rates of various methods on different data sets after training.
  • Table 1 Compared with ACGAN, IC-ACGAN has a smaller variance, so it has better training and testing stability. At the same time, IC-ACGAN's highest prediction accuracy rate is 99.62%, which is higher than ACGAN's 99.50%. The average prediction accuracy rate after 50 epochs is also higher; compared with CNN method, IC-ACGAN method is better than average pooling CNN and Maximum pooling CNN has better highest prediction accuracy and average prediction accuracy.
  • CIFAR10 is more complex data than MNIST.
  • Each image is a 32*32 color image, that is, the image size is 3*32*32.
  • the network structure of the experiment is exactly the same as the MNIST experiment structure, except that the output feature number of the last output layer of the generator becomes 3, and the input layer feature of the discriminator is also 3.
  • Figure 9 shows the effect of various methods on the CIFAR10 training set after 100 epochs have been trained.
  • Figure 10 shows the comparison of different methods on the CIFAR10 test set.
  • Table 3 shows the average prediction accuracy and variance of different methods after 50 epochs.
  • CIFAR100 is data similar to CIFAR10, both of which are three-channel color graphics. But CIFAR100 has a total of 100 categories, each category has a total of 500 training pictures, that is, a total of 50,000 training pictures, and another 10,000 test pictures. At this time, the number of training samples for each category is less, so the performance on the test set is slightly worse.
  • the network structure of various classification methods in CIFAR100 experiment is exactly the same as that in CIFAR10 and MNIST experiments.
  • Figure 11 is the classification effect diagram of different methods on the CIFAR100 training set after training for 100 epochs.
  • Figure 12 is a comparison of different methods on the CIFAR100 test set.
  • ACGAN and IC-ACGAN both show excellent classification effects; when faced with complex high-dimensional data, ACGAN's performance is not as good as the CNN method.
  • the IC-ACGAN method proposed by the present invention It also shows a good classification effect. Therefore, the method of the present invention enhances the adaptability of the network to complex data, and compared with the CNN method of the same structure, the prediction accuracy is also significantly improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种改进辅助分类器GAN的图像分类方法，包括：在ACGAN网络结构的基础上，将判别器的部分卷积层改为池化层，让生成样本在判别器中的特征输出与真实样本在判别器中的特征输出相匹配，在判别网络的输出层连接Softmax分类器，输出样本标签的后验概率估计值；将真实样本看成有标签的监督数据，生成样本看成有标签的假数据，利用样本的真假属性以及样本的输出标签与输入标签的交叉熵损失函数重构生成器和判别器的损失函数。该方法与原始ACGAN方法及同等深度网络结构的卷积神经网络相比，具有更好的分类准确率。

Description

一种改进辅助分类器GAN的图像分类方法 技术领域
本发明涉及图像分类技术领域，具体涉及一种改进辅助分类器GAN的图像分类方法。
背景技术
图像分类是图像处理的热点研究问题，目前最优的方法是深度卷积神经网络(DCNN)方法。DCNN本质上是一种更加有效的特征提取方法，将提取的特征作为分类器的输入从而实现分类。此类网络最大的缺点是只能利用人工提供的样本，模型不能学习样本的空间分布，不能更深层次地理解样本的内在结构，这无疑会影响模型的最终分类效果。
生成模型是一种能够学习到数据的潜在分布并生成新样本的模型。传统的生成模型有高斯模型、贝叶斯网络、S型信度网、高斯混合模型GMM、多项混合模型MMM、隐马尔科夫模型和隐马尔科夫随机场模型等。2014年，Ian J.Goodfellow在总结传统生成网络的优缺点的基础上，提出了生成对抗网络(Generative Adversarial Network,GAN)。GAN的核心思想是同时训练两个相互对抗的网络：生成网络(Generative Network，G)和判别网络(Discriminative Network，D)。训练判别网络使其能将真实样本和生成网络生成的伪样本区分开，其本质是一个二分类问题；训练生成网络使其生成尽可能看似真实的样本，让判别器错误的将其判别为真样本，达到以假乱真的效果。然而，GAN属于无监督学习范围，与其他生成式模型相比，这种不需要预先建模的方式存在可控性不佳的缺点。
为此，现有技术提出了一种将GAN与卷积神经网络(Convolutional Neural Network，CNN)相结合的生成网络模型DCGAN(Deep Convolutional GANs)，从而达到生成网络训练过程更加稳定，生成图像更加清晰的目的。条件生成式对抗网络(Conditional Generative Adversarial Networks，CGAN)训练时在生成器和判别器中都加入了图像的类别标签，从而实现图像的定向生成；基于辅助分类器生成对抗网络(Auxiliary Classifier Generative Adversarial Networks,ACGAN)与CGAN一样，也是利用图像的标签信息进行训练，但此时只是在生成器中加入标签信息，从而实现图像的定向生成。CGAN、ACGAN的应用将GAN带入到监督学习的范畴，可以达到标签与生成图像相对应的效果，其中ACGAN在CGAN的基础上做了进一步改进，并结合了InfoGAN中最大互信息的思想，实验表明，ACGAN能生成更加高清的样本。但是传统的ACGAN网络的判别器是一个天然的分类器，用于图像分类时，存在训练速度慢、训练过程不稳定、判别效果不佳等诸多问题。
发明内容
针对现有技术的上述不足，本发明的目的是提供一种改进辅助分类器GAN的图像分类算法(Image Classification Based on Auxiliary Classifier GAN,IC-ACGAN)。
为实现上述目的，本发明采用以下技术方案：
一种改进辅助分类器GAN的图像分类方法，包括：
在ACGAN网络结构的基础上，将判别器的第3卷积层、第5卷积层分别改为池化层，并引入特征匹配(FM)，使生成样本在判别器中的特征输出与真实样本在判别器中的特征输出相匹配，FM的目标函数如式(1)所示：
Figure PCTCN2019076429-appb-000001
式中，f(x)表示判别器中间层的输出，x为输入，z～p z为噪声，G(z；θ g)为生成样本空间；
将真实样本看成有标签的监督数据，生成样本看成有标签的假数据，然后在判别器的输出层连接Softmax分类器，输出样本标签的后验概率估计值；
其中，真实样本的监督损失函数L supervised，表示为式(2)：
Figure PCTCN2019076429-appb-000002
式中，N为训练中一个batch内的样本数，<·,·>表示内积，y为样本标签，y'为样本标签预测值，p为预测函数，CE(y,y')为y与y'的交叉熵损失值；
真实数据的损失函数L real表示为式(3)：
L real＝L supervised    (3)；
判别生成样本为假样本类的概率期望损失L unsupervised如式(4)所示：
Figure PCTCN2019076429-appb-000003
式中，K为类别；
生成样本的输入标签与样本标签y一致，得到生成样本的输出标签y' fake与输入标签之间的交叉熵损失值为CE(y,y' fake)，生成样 本的损失函数L fake如式(5)所示：
L fake＝0.5×(L unsupervised+CE(y,y' fake))    (5)；
利用样本的真假属性以及样本的输出标签与输入标签的交叉熵损失函数重构生成器和判别器的损失函数，其中，判别器的误差L D表示为式(6)：
L D＝0.5×(L real+L fake)    (6)；
生成器的误差L G表示为式(7)：
L G＝0.5×(L FM+L unsupervised)    (7)；
其中
Figure PCTCN2019076429-appb-000004
表示特征匹配的二范数损失项。
优选的，对于MNIST数据集，判别网络的卷积层结构为：kernel_size是5，stride是1，padding是1，池化层结构为kernel_size是2，stride是2。
本发明的有益效果：
(1)本发明的IC-ACGAN方法在原始ACGAN条件上进行优化，主要包括引入特征匹配、改变判别器的输出层结构，引入Softmax分类器，并采用半监督学习思想重构生成器和判别器损失函数，在判别器中引入池化方法等，测试结果表明，与比原始ACGAN方法相比，IC-ACGAN方法在MNIST、CIFAR10、CIFAR100数据集上的分类效果都有较大提高，效果也更加稳定，同时与同等深度网络结构的卷积神经网络相比，同样具有更好的分类准确率。
(2)将带池化的生成对抗网络用于解决图像分类问题，一方面可以利用池化法生成样本的多样性，另一方面又可以利用池化更加有效地提取特征，进一步提高分类效果。
附图说明
图1是GAN网络结构；
图2是ACGAN网络结构；
图3是ACGAN生成器结构(以MNIST数据为例)；
图4是ACGAN判别器结构(以MNIST数据为例)；
图5是IC-ACGAN网络结构(以MNIST数据为例)；
图6是IC-ACGAN判别器结构(以MNIST数据为例)；
图7是不同方法在MNIST训练集上的分类效果图；
图8是不同方法在MNIST测试集上的比较；
图9是不同方法在CIFAR10训练集上的分类效果图；
图10是不同方法在CIFAR10测试集上的比较；
图11是不同方法在CIFAR100训练集上的分类效果图；
图12是不同方法在CIFAR10测试集上的比较。
具体实施方式
下面通过附图及具体实施方式对本发明进行详细的说明。
生成对抗网络是生成模型的一种，是Ian J.Goodfellow于2014年提出。GAN模型是基于最小最大的二人博弈问题，其对抗训练的方式如式(8)所示：
Figure PCTCN2019076429-appb-000005
GAN模型的网络结构图如图1所示。GAN网络模型包含生成器G和判别器D，其中生成器是噪声z～p z(z)到生成样本空间G(z；θ g)的一个映射，而判别器D(x；θ d)则是判断输入x是来自真实样本还是生成样本，因此判别器本质上是一个二分类。在G与D的不断对抗中，生成分布p g(x)不断靠近真实分布p(x)，最终达到Nash均衡。此时生成器可以完全拟合真实数据分布，即p g(x)＝p(x)，而判别器为D(x)＝p(x)/(p g(x)+p(x))＝1/2。从而实现生成样本的分布与真实样本分布完全一致，达到生成真实样本的目的。GAN的两个神经网络G和D都利用传统的反向传播原理，且计算过程不需要复杂的马尔科夫链、也不需要极大释然估计、没有复杂的变分下限，大大降低了网络的训练难度，更加容易达到收敛。
原始GAN属于无监督学习范围，可控性不佳。CGAN首次将生成对抗网络应用到监督型学习方法中，可以达到标签与生成图像相对应的效果。ACGAN在CGAN的基础上做了进一步改进，并结合了InfoGAN中最大互信息的思想。如图2是ACGAN的网络结构图。
式(9)、式(10)是ACGAN训练的目标函数：
L s＝E[log p(s＝real|x data)]+E[log p(s＝fake)|x fake]    (9)，
L c＝E[log p(C＝c|x data)]+E[log p(C＝c)|x fake]    (10)。
训练D，使L s+L c最大化；训练G，使L c-L s最大化。从网络结构或训练目标函数均可以看出，ACGAN损失函数在GAN的基础上增加了输入样本标签信息与标签后验概率估计值之间的交叉熵。网络训练完成后，输入一个样本x，判别器就可以输出其对应于每一类的概率p(y|x)，选择使得p(y|x)最大的类别k作为输入样本x的标签，从而实现图像分类。
以MNIST数据为例，基于ACGAN的图像分类模型生成器结构如图3所示。网络生成器包括4个全连接层和5个转置卷积层，其中1、3转置卷积层结构相同：kernel_size是4，stride是2，padding是1；2、4、5转置卷积层结构相同：kernel_size是5，stride是1，padding是1。
图4是对应的ACGAN模型的判别器结构图。判别器与生成器结构刚好相反，同样包括5个卷积层和4个全连接层，其中1、2、4卷积层结构相同：kernel_size是5，stride是1，padding是1；3、5卷积层结构相同：kernel_size是4，stride是2，padding是1。判别网络的 输出层除了输出样本真假判别外，还输出样本标签的后验概率估计，也即是测试集中样本标签的估计值。
然而ACGAN图像分类算法存在训练不稳定、效果不佳等问题，本发明通过分析ACGAN高清图像的合成原理及其判别器判断能力，提出一种改进的基于ACGAN的图像分类方法(IC-ACGAN)。
本实施例中，该方法可概括为：在判别网络的输出层取消样本的真假判别，只输出样本标签的后验概率估计值；将真实样本看成监督数据，生成样本看成有标签的假数据，利用样本的真假属性以及样本的输出标签与输入标签的交叉熵损失函数重构生成器和判别器的损失函数；在判别网络中引入池化方法，更有效的提取分类特征；在判别网络中加入特征匹配，保证生成样本多样性。
特征匹配(Feature Matching，FM)是Improved GAN中提出的一种提高训练稳定性、生成样本多样性的方法。假设f(x)表示判别器中间层的输出，则FM的目标函数可表示为式(1)：
Figure PCTCN2019076429-appb-000006
式中，f(x)表示判别器中间层的输出，x为输入，z～p z为噪声，G(z；θ g)为生成样本空间。即让生成样本在判别器中的特征输出与真实样本在判别器中的特征输出相匹配，提高ACGAN在图像分类上的分类效果。
直接利用ACGAN的判别网络D进行分类时，存在训练速度慢、网络不稳定、效果差等问题。因此，对图2的ACGAN网络结构进行改进，改进后网络结构如图5所示。
从网络结构上看，改进后的网络取消了判别器中的真假样本判别项，同时在判别器中引入了特征匹配，除此之外其他部分没有变化。但为了保证网络有效利用真假样本各自特征，在生成器和判别器的损失函数上做了较大改变。将真实样本看成带标签的监督数据，生成样本看成有标签的假数据，然后在判别网络的输出层连接Softmax分类器，得到真实样本的监督损失函数L supervised，表示为式(2)：
Figure PCTCN2019076429-appb-000007
式中，N为训练中一个batch内的样本数，<·,·>表示内积，y为样本标签，y'为样本标签预测值，p为预测函数，CE(y,y')为y与y'的交叉熵损失值。所以，真实数据的损失函数L real表示为式(3)：
L real＝L supervised    (3)；
对生成数据，其误差包括两部分：一部分为判别生成样本为第K+1类，也即是假样本类的概率损失值；另一部分是生成样本的输出标签y' fake与输入标签y之间的交叉熵损失值。令L unsupervised表示判别生成样本为假样本类的概率期望损失，利用Softmax函数性质，令y' K+1＝0得到式(4)：
Figure PCTCN2019076429-appb-000008
同时，因为使用ACGAN网络，所以每个batch内生成样本的输入标签与样本标签y一致，故生成样本的输出标签y' fake与输入标签之间的交叉熵损失值为CE(y,y' fake)。综上可知，生成样本的损失函数L fake如式(5)所示：
L fake＝0.5×(L unsupervised+CE(y,y' fake))    (5)。
训练中不断更新生成器与判别器参数，因此，需要分别构建生成器和判别器的误差。对判别器D，误差L D表示为式(6)：
L D＝0.5×(L real+L fake)    (6)；
对生成器G，误差L G表示为式(7)：
L G＝0.5×(L FM+L unsupervised)    (7)；
其中
Figure PCTCN2019076429-appb-000009
表示特征匹配的二范数损失项。
卷积神经网络在图像分类方法中取得巨大成功，池化方法发挥重要作用。作为卷积神经网络的重要步骤，池化不仅可以有效的提取特征，还可以实现数据降维，防止过拟合现象。池化是卷积神经网络特征提取的关键步骤，它具有保持平移、旋转、伸缩不变性等特点。常用的池化方法包括均值池化、最大池化和随机池化等方法。
在GAN应用过程中，为了使得生成的图片更加高清，在判别网络中使用转置卷积(Deconv)来替代池化，使得池化在生成网络中遭到弃用。本实施例的IC-ACGAN方法将生成对抗网络与池化方法相结合，将带池化的生成对抗网络专用于解决分类问题，这样一方面可以利用生成样本的多样性；另一方面又可以利用池化更加有效的提取特征。
具体地，IC-ACGAN在引入特征匹配和重构损失函数的基础上进一步改进，将ACGAN中判别器的部分卷积层改为池化层，而生成器结构保持不变。是即将原判别网络(对应图4)中的第3、5卷积层改为池化层，池化层结构为kernel_size是2，stride是2，改进后判别网 络的结构如图6所示。
为验证本发明提出算法有效性，计划在MNIST、CIFAR10、CIFAR100数据集上分别进行实验。在所有实验中，IC-ACGAN方法中池化层均采用均值池化。
MNIST为手写字体数据集，共60000条训练数据以及10000条测试数据，每条数据对应0-9中的一个数字，每条数据是28*28的二维图像数据，展开成向量后为784维度。为了增强结果的可比性，本实验的ACGAN中判别器的网络结构如图4所描述，IC-ACGAN中判别器的网络结构如图6所示。每次训练的batchsize为100，每组实验共训练100个epoch。实验中生成器和判别器均采用Adam优化，学习率均为0.0002。实验采用Pytorch深度学习框架，并且在GPU条件下实现。
对于图像分类问题，目前最优的方法之一是CNN方法，所以本实验将IC-ACGAN方法与同等深度网络结构的CNN方法进行比较。为使实验具有更高可比性，对CNN的均值池化和最大池化均进行了实验比较。如图7是训练完100个epoch后，各种不同方法在MNIST训练集上的分类效果图。如图8是不同方法在MNIST测试集上的比较。
表1是训练50个epoch后，网络训练趋于平稳时，不同方法在MNIST上的平均预测准确率与方差。
表1不同方法训练50到100个epoch的MNIST预测均值与方差
模型 均值 方差
均值池化CNN 0.99498 6e-09
最大池化CNN 0.994144 3.264e-09
ACGAN 0.994116 4.06944e-07
IC-ACGAN 0.995604 1.92384e-07
如表2是训练完成后各种不同方法在不同的数据集上的最高准确率。
表2不同方法在MNIST、CIFAR10、CIFAR100上的最高预测准确率
模型 MNIST CIFAR10 CIFAR100
均值池化CNN 0.9951 0.7796 0.4594
最大池化CNN 0.9943 0.7639 0.4283
ACGAN 0.9950 0.7306 0.3989
IC-ACGAN 0.9962 0.7907 0.4803
综合图8、表1、表2可见：与ACGAN相比，IC-ACGAN具有更小的方差，因此具有更好的训练与测试稳定性。同时IC-ACGAN的最高预测准确率为99.62％，高于ACGAN的99.50％，50个epoch后的平均预测准确率同样也更高；与CNN方法相比，IC-ACGAN方法比均值池化CNN和最大池化CNN都有更好的最高预测准确率和平均预测准确率。
CIFAR10是比MNIST更加复杂的数据，每张图像是32*32的彩色图像，即图像大小为3*32*32。共包含10个类别，每个类别5000张图像，即共50000张训练图像，另有10000张测试图片。实验的网络结构与MNIST实验结构完全相同，只是生成器最后的输出层输出特征数变为3，判别器的输入层特征也为3。如图9是训练完100个epoch后，各种不同方法在CIFAR10训练集上的效果图。如图10是不同方法在CIFAR10测试集上的比较。
如表3是50个epoch后，不同方法的平均预测准确率与方差。
表3不同方法训练50到100个epoch的CIFAR10预测均值与方差
模型 均值 方差
均值池化CNN 0.775686 3.935204e-06
最大池化CNN 0.755746 3.878884e-06
ACGAN 0.719572 5.7500464e-05
IC-ACGAN 0.782244 3.1517216e-05
通过图10、表2、表3分析可知：ACGAN方法在MNIST上表现出不错的效果，但当面对复杂的CIFAR10数据时，效果却很差，远不如CNN方法。改进后的IC-ACGAN方法表现出极强的适应能力，面对复杂的CIFAR10数据时，预测准确率同样比相同结构的CNN方法要好得多。
CIFAR100是与CIFAR10类似的数据，都是三通道的彩色图形。但CIFAR100共有100个类别，每个类别共500张训练图片，也即共有50000张训练图片，另有10000测试图片。此时每个类别训练样本数更少，因此，在测试集上的表现也就稍差。CIFAR100实验中各种分类方法网络结构与CIFAR10、MNIST实验中的结构完全一样。如图11是训练完100个epoch后不同方法在CIFAR100训练集上的分类效果图。图12是不同方法在CIFAR100测试集上的比较。
如表4是训练了50个epoch，网络逐渐趋于稳定后，各种不同方法的平均预测准确率与方差：
表4不同方法训练50到100个epoch的CIFAR100预测均值与方差
模型 均值 方差
均值池化CNN 0.452368 4.916176e-06
最大池化CNN 0.40943 5.2557e-06
ACGAN 0.38845 3.04989e-05
IC-ACGAN 0.462822 4.7516916e-05
分析图12、表2、表4可知：与CIFAR10结论相似，与同等结构的CNN方法相比，ACGAN面对复杂的CIFAR100数据时同样表现出较差的效果。本发明提出的IC-ACGAN方法在CIFAR100上同样表现出强大的适应能力，与同等结构的CNN相比，预测准确率有大幅度的提升。
综上可知，当面对相对简单MNIST数据集时，ACGAN、IC-ACGAN均表现出优良分类效果；当面对复杂高维数据时，ACGAN表现则不如CNN方法，本发明提出的IC-ACGAN方法同样表现出较好的分类效果。因此，本发明方法增强了网络对于复杂数据的适应能力，且与同等结构的CNN方法相比，预测准确率也有显著提高。
以上实施例是对本发明的解释，但是，本发明并不局限于上述实施方式中的具体细节，本领域的技术人员在本发明的技术构思范围内进行的多种等同替代或简单变型方式，均应属于本发明的保护范围。

Claims (2)

  1. 一种改进辅助分类器GAN的图像分类方法，其特征在于，包括：
    在ACGAN网络结构的基础条件下，将判别器的第3卷积层、第5卷积层分别改为池化层，并引入特征匹配(FM)，使生成样本在判别器中的特征输出与真实样本在判别器中的特征输出相匹配，FM的目标函数如式(1)所示：
    Figure PCTCN2019076429-appb-100001
    式中，f(x)表示判别器中间层的输出，x为输入，z～p z为噪声，G(z；θ g)为生成样本空间；
    将真实样本看成有标签的监督数据，生成样本看成有标签的假数据，然后在判别器的输出层连接Softmax分类器，输出样本标签的后验概率估计值；
    其中，真实样本的监督损失函数L supervised，表示为式(2)：
    Figure PCTCN2019076429-appb-100002
    式中，N为训练中一个batch内的样本数，<·,·>表示内积，y为样本标签，y'为样本标签预测值，p为预测函数，CE(y,y')为y与y'的交叉熵损失值；
    真实数据的损失函数L real表示为式(3)：
    L real＝L supervised  (3)；
    判别生成样本为假样本类的概率期望损失L unsupervised如式(4)所示：
    Figure PCTCN2019076429-appb-100003
    式中，K为类别；
    生成样本的输入标签与样本标签y一致，得到生成样本的输出标签y' fake与输入标签之间的交叉熵损失值为CE(y,y' fake)，生成样本的损失函数L fake如式(5)所示：
    L fake＝0.5×(L unsupervised+CE(y,y' fake))  (5)；
    利用样本的真假属性以及样本的输出标签与输入标签的交叉熵损失函数重构生成器和判别器的损失函数，其中，判别器的误差L D表示为式(6)：
    L D＝0.5×(L real+L fake)  (6)；
    生成器的误差L G表示为式(7)：
    L G＝0.5×(L FM+L unsupervised)  (7)；
    其中
    Figure PCTCN2019076429-appb-100004
    表示特征匹配的二范数损失项。
  2. 根据权利要求1所述的改进辅助分类器GAN的图像分类方法，其特征在于，对于MNIST数据集，判别网络的卷积层结构为：kernel_size是5，stride是1，padding是1，池化层结构为kernel_size是2，stride是2。
PCT/CN2019/076429 2019-02-26 2019-02-28 一种改进辅助分类器gan的图像分类方法 WO2020172838A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910142328.X 2019-02-26
CN201910142328.XA CN109948660A (zh) 2019-02-26 2019-02-26 一种改进辅助分类器gan的图像分类方法

Publications (1)

Publication Number Publication Date
WO2020172838A1 true WO2020172838A1 (zh) 2020-09-03

Family

ID=67008089

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/076429 WO2020172838A1 (zh) 2019-02-26 2019-02-28 一种改进辅助分类器gan的图像分类方法

Country Status (2)

Country Link
CN (1) CN109948660A (zh)
WO (1) WO2020172838A1 (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329116A (zh) * 2020-11-23 2021-02-05 恩亿科(北京)数据科技有限公司 基于生成对抗网络的畸零空间规划设计生成方法与系统
CN112396110A (zh) * 2020-11-20 2021-02-23 南京大学 一种基于生成对抗级联网络增广图像的方法
CN112434790A (zh) * 2020-11-10 2021-03-02 西安理工大学 一种对于卷积神经网络判别部分黑箱问题的自解释方法
CN112489198A (zh) * 2020-11-30 2021-03-12 江苏科技大学 一种基于对抗学习的三维重建系统及其方法
CN112561791A (zh) * 2020-12-24 2021-03-26 上海海事大学 一种基于优化AnimeGAN的图像风格迁移
CN112598125A (zh) * 2020-11-25 2021-04-02 西安科技大学 一种基于双判别器加权生成对抗网络的手写数字生成方法
CN112633386A (zh) * 2020-12-26 2021-04-09 北京工业大学 基于sacvaegan的高光谱图像分类方法
CN112634216A (zh) * 2020-12-16 2021-04-09 西安理工大学 一种基于深度学习模型的绝缘子自爆检测方法
CN112699809A (zh) * 2020-12-31 2021-04-23 深圳数联天下智能科技有限公司 痘痘类别识别方法、装置、计算机设备及存储介质
CN112966544A (zh) * 2020-12-29 2021-06-15 杭州电子科技大学 一种采用ICGAN与ResNet网络的雷达辐射源信号分类识别方法
CN113222002A (zh) * 2021-05-07 2021-08-06 西安交通大学 一种基于生成式鉴别性对比优化的零样本分类方法
CN113222052A (zh) * 2021-05-25 2021-08-06 云南电网有限责任公司电力科学研究院 用于电力设备高光谱图像分类的生成对抗神经网络方法
CN113240668A (zh) * 2021-06-08 2021-08-10 南京师范大学 一种基于图像数字特征分布的生成熔池图像质量评估方法
CN113283599A (zh) * 2021-06-11 2021-08-20 浙江工业大学 基于神经元激活率的对抗攻击防御方法
CN113326737A (zh) * 2021-05-06 2021-08-31 西北工业大学 一种水中目标的数据增强方法
CN113379715A (zh) * 2021-06-24 2021-09-10 南京信息工程大学 一种水下图像增强和数据集真值图像获得方法
CN113406437A (zh) * 2021-06-21 2021-09-17 西南交通大学 一种基于辅助分类生成对抗网络的输电线路故障检测方法
CN113435263A (zh) * 2021-06-07 2021-09-24 上海应用技术大学 基于cgan数据增强的频谱感知方法及系统
CN113537379A (zh) * 2021-07-27 2021-10-22 沈阳工业大学 一种基于CGANs的立体匹配方法
CN113569632A (zh) * 2021-06-16 2021-10-29 西安电子科技大学 一种基于wgan的小样本地面慢速运动目标分类方法
CN113627503A (zh) * 2021-07-30 2021-11-09 中国科学院计算技术研究所 生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质
CN113627498A (zh) * 2021-07-28 2021-11-09 中国科学院计算技术研究所 人物丑化图像识别和模型训练方法与装置
CN113657240A (zh) * 2021-08-12 2021-11-16 浙江工业大学 一种基于多视角图像扩增的类不平衡珍珠分类方法
CN113688941A (zh) * 2021-09-09 2021-11-23 西北工业大学 基于生成对抗网络的小样本声呐图像分类识别优化方法
CN113869208A (zh) * 2021-09-28 2021-12-31 江南大学 基于sa-acwgan-gp的滚动轴承故障诊断方法
CN113887136A (zh) * 2021-10-08 2022-01-04 东北大学 一种基于改进GAN和ResNet的电动汽车电机轴承故障诊断方法
CN114169385A (zh) * 2021-09-28 2022-03-11 北京工业大学 基于混合数据增强的mswi过程燃烧状态识别方法
CN114429156A (zh) * 2022-01-21 2022-05-03 西安电子科技大学 雷达干扰多域特征对抗学习与检测识别方法
CN114627348A (zh) * 2022-03-22 2022-06-14 厦门大学 多主体任务中基于意图的图片识别方法
CN114821229A (zh) * 2022-04-14 2022-07-29 江苏集萃清联智控科技有限公司 基于条件生成对抗网络的水下声学数据集增广方法及系统
CN117315376A (zh) * 2023-11-28 2023-12-29 聊城莱柯智能机器人有限公司 基于机器学习的机械零件工业质检方法
CN114627348B (zh) * 2022-03-22 2024-05-31 厦门大学 多主体任务中基于意图的图片识别方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490239B (zh) * 2019-08-06 2024-02-27 腾讯医疗健康(深圳)有限公司 图像质控网络的训练方法、质量分类方法、装置及设备
CN110633989B (zh) * 2019-08-16 2023-08-29 创新先进技术有限公司 一种风险行为生成模型的确定方法及装置
CN110598765B (zh) * 2019-08-28 2023-05-26 腾讯科技（深圳）有限公司 样本生成方法、装置、计算机设备及存储介质
CN110647927A (zh) * 2019-09-18 2020-01-03 长沙理工大学 一种基于acgan图像半监督分类算法
CN111008652A (zh) * 2019-11-15 2020-04-14 河海大学 一种基于gan的高光谱遥感影像分类方法
CN111027439B (zh) * 2019-12-03 2022-07-29 西北工业大学 基于辅助分类生成对抗网络的sar目标识别方法
CN111241291B (zh) * 2020-04-24 2023-01-03 支付宝(杭州)信息技术有限公司 利用对抗生成网络生成对抗样本的方法及装置
CN114092721A (zh) * 2020-08-06 2022-02-25 清华大学 一种基于软正交辅助空间的零标签危险品标签生成方法
CN112865866B (zh) * 2021-01-20 2022-04-05 重庆邮电大学 基于gsn的可见光pam系统非线性补偿方法
CN113240655B (zh) * 2021-05-21 2023-04-07 深圳大学 一种自动检测眼底图像类型的方法、存储介质及装置
CN115546574A (zh) * 2021-06-30 2022-12-30 华为技术有限公司 图像分类、模型训练方法、设备、存储介质及计算机程序
CN115809702B (zh) * 2022-11-11 2023-07-11 中南大学 Acgan模型构建方法、图像生成方法及服装设计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180211164A1 (en) * 2017-01-23 2018-07-26 Fotonation Limited Method of training a neural network
CN108805188A (zh) * 2018-05-29 2018-11-13 徐州工程学院 一种基于特征重标定生成对抗网络的图像分类方法
CN109190665A (zh) * 2018-07-30 2019-01-11 国网上海市电力公司 一种基于半监督生成对抗网络的通用图像分类方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971958B2 (en) * 2016-06-01 2018-05-15 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating multimodal digital images
US20180336439A1 (en) * 2017-05-18 2018-11-22 Intel Corporation Novelty detection using discriminator of generative adversarial network
CN108764005B (zh) * 2018-01-31 2019-06-18 华侨大学 一种高光谱遥感图像地物空间波谱特征提取方法及系统
CN108491874B (zh) * 2018-03-19 2021-10-12 天津大学 一种基于生成式对抗网络的图像单分类方法
CN109102014A (zh) * 2018-08-01 2018-12-28 中国海洋大学 基于深度卷积神经网络的类别不平衡的图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180211164A1 (en) * 2017-01-23 2018-07-26 Fotonation Limited Method of training a neural network
CN108805188A (zh) * 2018-05-29 2018-11-13 徐州工程学院 一种基于特征重标定生成对抗网络的图像分类方法
CN109190665A (zh) * 2018-07-30 2019-01-11 国网上海市电力公司 一种基于半监督生成对抗网络的通用图像分类方法和装置

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434790B (zh) * 2020-11-10 2024-03-29 西安理工大学 一种对于卷积神经网络判别部分黑箱问题的自解释方法
CN112434790A (zh) * 2020-11-10 2021-03-02 西安理工大学 一种对于卷积神经网络判别部分黑箱问题的自解释方法
CN112396110A (zh) * 2020-11-20 2021-02-23 南京大学 一种基于生成对抗级联网络增广图像的方法
CN112396110B (zh) * 2020-11-20 2024-02-02 南京大学 一种基于生成对抗级联网络增广图像的方法
CN112329116A (zh) * 2020-11-23 2021-02-05 恩亿科(北京)数据科技有限公司 基于生成对抗网络的畸零空间规划设计生成方法与系统
CN112598125A (zh) * 2020-11-25 2021-04-02 西安科技大学 一种基于双判别器加权生成对抗网络的手写数字生成方法
CN112598125B (zh) * 2020-11-25 2024-04-30 西安科技大学 一种基于双判别器加权生成对抗网络的手写数字生成方法
CN112489198A (zh) * 2020-11-30 2021-03-12 江苏科技大学 一种基于对抗学习的三维重建系统及其方法
CN112634216A (zh) * 2020-12-16 2021-04-09 西安理工大学 一种基于深度学习模型的绝缘子自爆检测方法
CN112634216B (zh) * 2020-12-16 2024-02-09 西安理工大学 一种基于深度学习模型的绝缘子自爆检测方法
CN112561791A (zh) * 2020-12-24 2021-03-26 上海海事大学 一种基于优化AnimeGAN的图像风格迁移
CN112561791B (zh) * 2020-12-24 2024-04-09 上海海事大学 一种基于优化AnimeGAN的图像风格迁移
CN112633386A (zh) * 2020-12-26 2021-04-09 北京工业大学 基于sacvaegan的高光谱图像分类方法
CN112966544B (zh) * 2020-12-29 2024-04-02 杭州电子科技大学 一种采用ICGAN与ResNet网络的雷达辐射源信号分类识别方法
CN112966544A (zh) * 2020-12-29 2021-06-15 杭州电子科技大学 一种采用ICGAN与ResNet网络的雷达辐射源信号分类识别方法
CN112699809A (zh) * 2020-12-31 2021-04-23 深圳数联天下智能科技有限公司 痘痘类别识别方法、装置、计算机设备及存储介质
CN112699809B (zh) * 2020-12-31 2023-08-01 深圳数联天下智能科技有限公司 痘痘类别识别方法、装置、计算机设备及存储介质
CN113326737A (zh) * 2021-05-06 2021-08-31 西北工业大学 一种水中目标的数据增强方法
CN113222002A (zh) * 2021-05-07 2021-08-06 西安交通大学 一种基于生成式鉴别性对比优化的零样本分类方法
CN113222002B (zh) * 2021-05-07 2024-04-05 西安交通大学 一种基于生成式鉴别性对比优化的零样本分类方法
CN113222052B (zh) * 2021-05-25 2023-06-23 云南电网有限责任公司电力科学研究院 用于电力设备高光谱图像分类的生成对抗神经网络方法
CN113222052A (zh) * 2021-05-25 2021-08-06 云南电网有限责任公司电力科学研究院 用于电力设备高光谱图像分类的生成对抗神经网络方法
CN113435263A (zh) * 2021-06-07 2021-09-24 上海应用技术大学 基于cgan数据增强的频谱感知方法及系统
CN113435263B (zh) * 2021-06-07 2024-04-19 上海应用技术大学 基于cgan数据增强的频谱感知方法及系统
CN113240668A (zh) * 2021-06-08 2021-08-10 南京师范大学 一种基于图像数字特征分布的生成熔池图像质量评估方法
CN113240668B (zh) * 2021-06-08 2024-04-16 南京师范大学 一种基于图像数字特征分布的生成熔池图像质量评估方法
CN113283599A (zh) * 2021-06-11 2021-08-20 浙江工业大学 基于神经元激活率的对抗攻击防御方法
CN113283599B (zh) * 2021-06-11 2024-03-19 浙江工业大学 基于神经元激活率的对抗攻击防御方法
CN113569632A (zh) * 2021-06-16 2021-10-29 西安电子科技大学 一种基于wgan的小样本地面慢速运动目标分类方法
CN113406437B (zh) * 2021-06-21 2022-03-08 西南交通大学 一种基于辅助分类生成对抗网络的输电线路故障检测方法
CN113406437A (zh) * 2021-06-21 2021-09-17 西南交通大学 一种基于辅助分类生成对抗网络的输电线路故障检测方法
CN113379715A (zh) * 2021-06-24 2021-09-10 南京信息工程大学 一种水下图像增强和数据集真值图像获得方法
CN113537379B (zh) * 2021-07-27 2024-04-16 沈阳工业大学 一种基于CGANs的立体匹配方法
CN113537379A (zh) * 2021-07-27 2021-10-22 沈阳工业大学 一种基于CGANs的立体匹配方法
CN113627498B (zh) * 2021-07-28 2024-03-12 中国科学院计算技术研究所 人物丑化图像识别和模型训练方法与装置
CN113627498A (zh) * 2021-07-28 2021-11-09 中国科学院计算技术研究所 人物丑化图像识别和模型训练方法与装置
CN113627503B (zh) * 2021-07-30 2023-10-24 中国科学院计算技术研究所 生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质
CN113627503A (zh) * 2021-07-30 2021-11-09 中国科学院计算技术研究所 生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质
CN113657240A (zh) * 2021-08-12 2021-11-16 浙江工业大学 一种基于多视角图像扩增的类不平衡珍珠分类方法
CN113688941A (zh) * 2021-09-09 2021-11-23 西北工业大学 基于生成对抗网络的小样本声呐图像分类识别优化方法
CN113869208A (zh) * 2021-09-28 2021-12-31 江南大学 基于sa-acwgan-gp的滚动轴承故障诊断方法
CN113869208B (zh) * 2021-09-28 2024-06-07 徐州卓越声振测控科技有限公司 基于sa-acwgan-gp的滚动轴承故障诊断方法
CN114169385A (zh) * 2021-09-28 2022-03-11 北京工业大学 基于混合数据增强的mswi过程燃烧状态识别方法
CN114169385B (zh) * 2021-09-28 2024-04-09 北京工业大学 基于混合数据增强的mswi过程燃烧状态识别方法
CN113887136A (zh) * 2021-10-08 2022-01-04 东北大学 一种基于改进GAN和ResNet的电动汽车电机轴承故障诊断方法
CN113887136B (zh) * 2021-10-08 2024-05-14 东北大学 一种基于改进GAN和ResNet的电动汽车电机轴承故障诊断方法
CN114429156A (zh) * 2022-01-21 2022-05-03 西安电子科技大学 雷达干扰多域特征对抗学习与检测识别方法
CN114627348A (zh) * 2022-03-22 2022-06-14 厦门大学 多主体任务中基于意图的图片识别方法
CN114627348B (zh) * 2022-03-22 2024-05-31 厦门大学 多主体任务中基于意图的图片识别方法
CN114821229A (zh) * 2022-04-14 2022-07-29 江苏集萃清联智控科技有限公司 基于条件生成对抗网络的水下声学数据集增广方法及系统
CN114821229B (zh) * 2022-04-14 2023-07-28 江苏集萃清联智控科技有限公司 基于条件生成对抗网络的水下声学数据集增广方法及系统
CN117315376A (zh) * 2023-11-28 2023-12-29 聊城莱柯智能机器人有限公司 基于机器学习的机械零件工业质检方法
CN117315376B (zh) * 2023-11-28 2024-02-13 聊城莱柯智能机器人有限公司 基于机器学习的机械零件工业质检方法

Also Published As

Publication number Publication date
CN109948660A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
WO2020172838A1 (zh) 一种改进辅助分类器gan的图像分类方法
CN110689086B (zh) 基于生成式对抗网络的半监督高分遥感图像场景分类方法
CN113011499B (zh) 一种基于双注意力机制的高光谱遥感图像分类方法
CN107122809B (zh) 基于图像自编码的神经网络特征学习方法
Li et al. Siamese contrastive embedding network for compositional zero-shot learning
Jin et al. Generative adversarial network technologies and applications in computer vision
CN111126488B (zh) 一种基于双重注意力的图像识别方法
Zhu et al. Deep learning multi-view representation for face recognition
CN110046252A (zh) 一种基于注意力机制神经网络与知识图谱的医疗文本分级方法
Li et al. AVN: An adversarial variation network model for handwritten signature verification
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN113642621A (zh) 基于生成对抗网络的零样本图像分类方法
CN111259157A (zh) 一种基于混合双向循环胶囊网络模型的中文文本分类方法
Miao et al. Evolving convolutional neural networks by symbiotic organisms search algorithm for image classification
Yue et al. Multi-task adversarial autoencoder network for face alignment in the wild
Qian et al. A hybrid network with structural constraints for SAR image scene classification
CN108388918B (zh) 具有结构保持特性的数据特征选择方法
Deng et al. Boosting semi-supervised learning with Contrastive Complementary Labeling
CN110378356B (zh) 基于多目标拉格朗日正则的细粒度图像识别方法
Wang Robust embedding framework with dynamic hypergraph fusion for multi-label classification
CN115457374B (zh) 基于推理模式评估深伪图像检测模型泛化性方法及装置
CN117011508A (zh) 一种基于视觉变换和特征鲁棒的对抗训练方法
CN107993311B (zh) 一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法
Wen et al. Graph Regularized and Feature Aware Matrix Factorization for Robust Incomplete Multi-view Clustering
Vepuri Improving facial emotion recognition with image processing and deep learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19917247

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19917247

Country of ref document: EP

Kind code of ref document: A1