WO2019033636A1 - 基于最小化损失学习的不平衡样本分类方法 - Google Patents

基于最小化损失学习的不平衡样本分类方法 Download PDF

Info

Publication number
WO2019033636A1
WO2019033636A1 PCT/CN2017/115848 CN2017115848W WO2019033636A1 WO 2019033636 A1 WO2019033636 A1 WO 2019033636A1 CN 2017115848 W CN2017115848 W CN 2017115848W WO 2019033636 A1 WO2019033636 A1 WO 2019033636A1
Authority
WO
WIPO (PCT)
Prior art keywords
classification
value
neural network
sample
training
Prior art date
Application number
PCT/CN2017/115848
Other languages
English (en)
French (fr)
Inventor
张春慨
Original Assignee
哈尔滨工业大学深圳研究生院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 哈尔滨工业大学深圳研究生院 filed Critical 哈尔滨工业大学深圳研究生院
Publication of WO2019033636A1 publication Critical patent/WO2019033636A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the invention belongs to the technical field of data classification, and particularly relates to an unbalanced sample classification method.
  • Cost-sensitive learning method change the weight of the original data in the evaluation criteria, usually use the artificially set sensitive cost matrix to help calculate the classification loss to solve the imbalance problem.
  • a common feature of traditional classifier optimization algorithms is that they are not balanced with unbalanced data sets like the classical imbalance processing methods. Their main idea is to modify them.
  • the training process or classification process of the classifier adapts to the unbalanced data set, not only reduces the influence of the unbalanced distribution on the training process by optimizing the training process of the algorithm, but also trains the model through normal training ideas, and then performs through a series of other processes.
  • the adjustment of the model, or after obtaining the ordinary model adopts a different method from the classical classification stage in the classification stage to solve the imbalance problem.
  • the traditional classification algorithm can not be directly used for the unbalanced sample classification problem.
  • the usual ideas are very intuitive, and most of them directly affect the data set, whether it is directly changing the sample in the data set.
  • the basic idea of the traditional classification method is to generalize the consistency hypothesis of the training sample space, and to generalize the bias, so that the samples that have not appeared in the entire sample space can be predicted.
  • classifiers They are nothing more than the Vapnik Chervonenkis Dimension function they use, and the bias conditions are different.
  • the classical unbalanced classification algorithm happens to be contrary to the traditional machine learning. Because the classical unbalanced classification algorithm mostly solves the imbalance problem by changing the original sample distribution, the traditional machine learning algorithm is based on training data and real data. It is based on independent and identical distribution. If the distribution of training data is changed, it may have an unknown effect on the results. Although the impact of this kind of influence on some discriminant models is not up to the level that can destroy the effect of the whole model, it is certain that this will affect the decision-making process of the model. Moreover, whether the final prediction process of the real space is biased toward a good direction or a bad direction is usually impossible to judge, especially for some algorithms with random process participation, such as the SMOTE algorithm, the situation of changing the distribution is more serious. Even if the cross-validation method is used to train the model, the average classification accuracy or the classified F1 value will be relatively large in many trials.
  • the present invention designs an algorithm that directly uses the F1 value as a training target to solve the problem of unbalanced data set classification, and has achieved good results.
  • An unbalanced sample classification method based on minimum loss learning is applied to an artificial neural network model, characterized in that the method comprises:
  • Figure 1 is a schematic diagram of a data set probability density curve.
  • the present invention designs a method for directly training a model by targeting the evaluation criteria.
  • the basic idea of the maximum F1 training method and the method can be applied to the unbalanced data set classification problem.
  • the current data set is a one-dimensional unbalanced data set, containing both majority and minority samples.
  • the probability density curve is shown in Figure 1. It is assumed that the ratio of samples of most classes to minority classes is n:1, where n> 1. Obviously, the basic idea of the traditional classifier is to maximize the global accuracy rate as the final training target. For the boundary parts of the two types, even if the probability density is similar, the majority of the boundary part is different because the majority and the minority sample base are different. The number of class samples will be much larger than the number of samples in a few classes. The final classification boundary is very likely to be near the position of line b in the middle of the figure, on the side that is biased toward a few classes.
  • the idea of the classical unbalanced data set classification algorithm is to directly reduce the sample ratio between the majority class and the minority class by some method.
  • the number of sample points of the two types is the same or very close, and then the traditional classification is applied.
  • the classification limit with the highest global classification accuracy rate should be the line a in the figure.
  • This line uses the abscissa of the intersection of two types of probability density curves as the boundary threshold.
  • the minority class on the left side of the boundary line and the majority class on the right side are misclassified samples. It is easy to prove by the area method, and the number of classification error samples is the smallest.
  • the most classic composite evaluation standard of F1 is selected as the optimization target, so the loss function can be used.
  • Set to the (1-F1) value. Feature set of training samples And target output collection
  • h is assumed by the hypothesis h:X ⁇ Y for a single sample as a whole hypothesis for all training samples.
  • the minimum loss value is the same as the maximum value of F1.
  • the concept of minimizing the loss is extended to maximize the objective function:
  • the algorithm of the present invention utilizes the neural network training process to adopt the idea of classifying the network using the current state, then solving the loss and optimizing the loss to reach the next better state, and transforming the evaluation process in the training.
  • the expected value of the loss is solved by the probability of the current output (8), and the expected value is optimized, so that the output and the direct relationship between the parameter and the target can be established. Contact, you can also increase the probability that the target will get a higher value by optimizing the expected value, so that the meaning of training is not lost.
  • the nature of the root covariance can be considered as the covariance will always be 0, so there is a relationship (10).
  • the expected value is the upper bound of the approximation and relatively close, so it is also possible to continuously expand the expectation and converge to a global optimal solution or a local optimal solution, which has achieved the training goal.
  • the idea of maximizing the specific objective function of the algorithm for solving the imbalance problem has been introduced above, and the objective function of the overall F1 value applied to the training set is constructed by using the evaluation criteria of the unbalanced sample classification.
  • the algorithm of maximizing F1 value is applied to the artificial neural network (ANN) model.
  • ANN artificial neural network
  • the most commonly used effective weighting strategy is the backpropagation algorithm. Because the final result of the algorithm trains the objective function to the maximum value. Therefore, the update process is as shown in equations (11) and (12). Where ⁇ represents the learning rate, its size affects the convergence speed of the neural network and the convergence accuracy, and occasionally may affect the final convergence to which very good solution.
  • the inner product result of the net j table node j passes the result before the sigmod function, and o j is the result of the net j processed by the sigmod function.
  • Algorithm 1 minimizes loss neural network
  • Both ⁇ l and ⁇ kl are parameters in the neural network model, and their updating methods are all updated by the gradient descent method in (11) (12), that is, each time the output layer deviation is added to the partial derivative of each node.
  • the ⁇ kl and ⁇ l here are formally replaceable and are calculated according to this equation).
  • (13) and (14) are the partial differentials obtained for the output layer parameter ⁇ , and the calculation method is
  • the experimental data sets are all from the UCI machine learning data set.
  • the data set selection process the data sets that have appeared in other unbalanced data set classification algorithms are selected, and the following 8 data sets are available.
  • the parameters are as follows: 1 is shown.
  • the invention adopts SMOTE algorithm, Adaboost algorithm, structured support vector machine algorithm (SSVM), classical neural network algorithm (ANN), sensitive cost learning algorithm (SCL) and algorithm of the invention (ML-ANN) for comparison.
  • SSVM structured support vector machine algorithm
  • ANN classical neural network algorithm
  • SCL sensitive cost learning algorithm
  • ML-ANN algorithm of the invention
  • the algorithm of the present invention has achieved some success in the unbalanced data set classification algorithm, and the result is generally superior to the previous algorithm.

Abstract

一种基于最小化损失学习的不平衡样本分类方法，采取先使用当前状态的网络对所有训练集进行分类，然后求解损失并对此损失进行优化以达到下一更优状态这一思想，将训练中的评价过程进行变换，不再使用当前状态下神经网络的具体分类结果，而是采用当前输出的概率求解损失的期望值，并对期望值进行优化，这样既可以建立输出和参数与目标间的直接联系，也可以通过优化期望值来增加目标获取更高值的概率。该方法利用不平衡样本分类的评价标准构建了应用于训练集的关于整体F1值的目标函数，再将最大化F1值算法应用到了人工神经网络(ANN)模型中。

Description

基于最小化损失学习的不平衡样本分类方法 技术领域
本发明属于数据分类技术领域，具体涉及一种不平衡样本分类方法。
背景技术
随着移动互联网技术的兴起，越来越多的原始数据被收集起来用于分析与挖掘，其中很多领域内的数据是严重不平衡的，即属于不同类别的样本数量相差极为悬殊。传统的机器学习方法通常采用全局分类准确率作为训练目标，在不平衡数据集上表现欠佳，所以不平衡数据分类算法也逐渐成为一个受人关注的课题。
根据现有的研究成果，经典的解决不平衡数据集的主要方法可以总结为以下几种：
(1)原始训练数据重构：通过重采样技术改变多数类或少数类样本的数目，从而使原始数据变得相对平衡；
(2)集成学习方法：训练多个弱分类器，最后通过投票或权值相加的方法得出分类结果，通常在训练过程中通过权值改变或原始数据集分割来解决不平衡问题；
(3)代价敏感学习方法：改变原始数据在评判标准中的权值，通常使用人为设定的敏感代价矩阵来协助计算分类损失，以解决不平衡问题。
传统分类器优化算法有一个共同的特点，就是针对不平衡样本分类问题，它们不再是像经典不平衡处理方法那样针对不平衡的数据集进行一些平衡化的调整，它们的主要思想是通过修改分类器的训练过程或者分类过程来适应不平衡的数据集，既通过优化算法的训练过程来减轻不平衡分布对训练过程的影响，或者采用正常的训练思路训练模型后，通过一系列其他过程进行对模型的调整，又或是得到普通的模型之后在分类阶段采用与经典分类阶段不同的方法来解决不平衡问题。
传统分类算法是无法直接用于不平衡样本分类问题的，而对于经典的不平衡样本分类算法，其通常的思路都很直观，大都是直接作用于数据集上，无论是直接改变数据集中样本的权值分布，还是通过某种特殊的方法来增删数据集中的各类的样本，最后都是为了让原始的不平衡数据集可以达到一个相对平衡的状态，最后便可以应用传统的分类方法来解决原始问题。
众所周知，传统的分类方法其根本思想都是通过对训练样本空间进行一致性假设的归纳，既归纳偏置，从而可以对整个样本空间中未出现过的样本进行预测，对于不同的分类器来说，只不过是它们采用的VC维(Vapnik Chervonenkis Dimension)函数，以及偏置条件不同。
不幸的是经典不平衡分类算法恰好与传统机器学习的思想相左，由于经典不平衡分类算法大多是通过改变原始样本分布来解决不平衡问题的，而传统机器学习算法是建立在训练数据与真实数据是独立同分布的基础上的，如果改变了训练数据的分布，完全可能对结果产生未知的影响。虽然这一种影响对于一些判别模型的影响还达不到可以破坏整个模型效果的级别，但是可以肯定的是，这一定会影响模型的决策过程。而且这种影响对真实空间的最终预测过程是偏向好的方向还是坏的方向通常是无法判断的，尤其是对一些有随机过程参与的算法，如SMOTE算法等，其改变分布的情况更为严重，即使使用交叉验证的方法来训练模型，也会造成多次试验中平均的分类准确率或分类F1值都会波动相对较大。
发明内容
为解决现有技术中存在的问题，本发明设计了一种直接以F1值为训练目标的算法来解决不平衡数据集分类问题，并取得了不错的效果。
本发明具体通过如下技术方案实现：
一种基于最小化损失学习的不平衡样本分类方法，应用于人工神经网络模型中，其特征在于：所述方法包括：
S1：设置学习率η、最大迭代次数m、隐藏节点数目l和目标F1值f，输入样本集合
Figure PCTCN2017115848-appb-000001
S2：对输入—隐藏层连接系数矩阵ωkl和隐藏—输出层连接系数向量θl进行初始化，每一个分量范围为(-0.1,0.1)；令ωkl′←0、θl′←0、f′←0；
S3：根据现有模型对样本集合对样本集合
Figure PCTCN2017115848-appb-000002
求解
Figure PCTCN2017115848-appb-000003
并求解当前F1值fnow；
S4：如果fnow>f，则返回当前ωkl、θl；否则执行S5；
S5：如果fnow>f′，则ωkl′←ωkl,θl′←θl；
S6：根据下式(a)与(b)更新θl，根据下式(c)更新ωkl，
Figure PCTCN2017115848-appb-000004
Figure PCTCN2017115848-appb-000005
Figure PCTCN2017115848-appb-000006
S7：回到步骤S3，直到迭代次数达到m；
S8：返回ωkl′、θl′；
S9：利用优化后的人工神经网络模型对不平衡样本进行分类。
附图说明
图1是数据集概率密度曲线示意图。
具体实施方式
下面结合附图说明及具体实施方式对本发明进一步说明。
本发明设计了一种通过以评价标准为目标从而直接对模型训练的方法，下面首先介绍最大化F1值训练法的基本思想以及该方法为何可以应用于不平衡数据集分类问题。
假设当前的数据集是一维不平衡数据集，包含多数类与少数类两种样本，概率密度曲线如图1所示，并假设多数类与少数类的样本比例为n:1，其中n>1。显然以传统分类器的基本思想既以最大化全局准确率为最终训练目标，对于两类的边界部分，即使其概率密度大小相似，但是因为多数类与少数类样本基数不同，所以边界部分的多数类样本个数会远多于少数类的样本个数，最终分类界线极有可能在图中线b的位置附近，处于偏向少数类的一侧。
而经典的不平衡数据集分类算法的思想是直接采用某种方法强行的缩小多数类与少数类之间的样本比值，通常会使两类的样本点数目达到相同或十分接近，然后应用传统分类算法时，如果原始数据集的概率密度曲线还是如图1所示，由于已经不存在两类样本基数不同这一问题，所以使全局分类准确率最高的分类界限应该是图中的线a。这条线是以两类概率密度曲线交点的横坐标作为分界阈值，分界线左边的少数类与右边的多数类为错分样本，由面积法易证，此时分类错误样本数最小。
然而由于样本空间的改变，我们只能认为该解(线a)是当前改变后的样本空间中最佳分类线，并不能确定该分界点是否也是原数据集上的最佳点，对于不平衡样本分类问题，在原始数据集上通常采用F1值等复合 评价标准来评价最终分类效果的好坏，而经典不平衡样本分类方法通常只能使原始空间的不平衡分类评价指标有所上升，即使不采用正则项降低过拟合，通常也无法证明该解一定是该原始样本空间中的最优解或者一个极优解。
对于图1的数据集来说，由于它是一维数据，如果比例n固定的话，我们可以知道使该数据集的最终F1值达到最大的分界点一定只有一个，并且是可解的。本发明提出的方法便是基于该思路，跳过了经典算法中改变原始数据集分布的这一过程，直接寻找可以使原始数据集最终分类结果达到最大F1值的分类界限。对于一维问题，其求解方法显然很容易，而对于超过一维的问题并且需要基于传统分类算法设计求解该归纳偏置的时候，该问题的规模将指数上升，因此本发明设计了基于最小化损失学习算法思路的解决方法来解决此问题。
本发明中选取了F1这一最经典的复合评价标准作为优化目标，所以可以将损失函数
Figure PCTCN2017115848-appb-000007
设置为(1-F1)值。训练样本的特征集合
Figure PCTCN2017115848-appb-000008
和目标输出集合
Figure PCTCN2017115848-appb-000009
假设h由对单个样本的假设h:X→Y变为了对所有训练样本的整体假设
Figure PCTCN2017115848-appb-000010
对应了所有样本输入以及所有的分类器输出。对于神经网络的训练，损失值最小和F1值最大其实是一样的，只要将梯度前的符号进行改变即可，所以这里将最小化损失的概念扩充到了最大化目标函数：
Figure PCTCN2017115848-appb-000011
其中
Figure PCTCN2017115848-appb-000012
为所有假设空间，
Figure PCTCN2017115848-appb-000013
如式(6)所示，
Figure PCTCN2017115848-appb-000014
为对样本的假设。我们依然使用如式(2)中所示传统神经网络的sgn函数作为最终分类标准，对于整个训练集上的输出我们用
Figure PCTCN2017115848-appb-000015
来表示，而目标输出依然用
Figure PCTCN2017115848-appb-000016
来表示。为了用
Figure PCTCN2017115848-appb-000017
与
Figure PCTCN2017115848-appb-000018
表示最终的F1值，首先需要求出召回率(Recall)与精确率(precision)，根据混淆矩阵与
Figure PCTCN2017115848-appb-000019
之间的关系，可以得出混淆矩阵中的参数TP满足式(3)，并且可以将召回率公式转化为式(4)的形式，而精确率公式便可以变为式(5)的形式。所以最终的F1值可以表示为式(6)的形式。
Figure PCTCN2017115848-appb-000020
Figure PCTCN2017115848-appb-000021
Figure PCTCN2017115848-appb-000022
Figure PCTCN2017115848-appb-000023
Figure PCTCN2017115848-appb-000024
然而观察式(6)可以发现因为
Figure PCTCN2017115848-appb-000025
与
Figure PCTCN2017115848-appb-000026
都是0与1组成的序列，虽然可以通过
Figure PCTCN2017115848-appb-000027
与
Figure PCTCN2017115848-appb-000028
表示出整个训练集的训练目标，但是由于求解
Figure PCTCN2017115848-appb-000029
的过程中包含了一步sgn(h(x))的操作，所以该F1值仍然是离散的，并无法与神经网络输出以及各个节点间的连接层建立直接的数值联系。在结构化支持向量机中求解任意目标函数时采用的是空间遍历以及双重优化的思路，也因此需要耗费巨量的时间，而在本发明的算法中，我们放弃了这一思路，转而采用神经网络输出层sigmod函数特有的式概率性的性质来将
Figure PCTCN2017115848-appb-000030
与h(x)建立起联系。
本发明的算法利用神经网络训练过程是采取先将使用当前状态的网络进行分类，然后求解损失并对此损失进行优化已达到下一更优状态这一思想，将训练中的评价过程进行变换，不再使用当前状态下神经网络的具体分类结果，而是采用当前输出的形如式(8)的概率求解损失的期望值，并对期望值进行优化，这样既可以建立输出和参数与目标间的直接联系，也可以通过优化期望值来增加目标获取更高值的概率，这样不失训练的意义。
然而建立期望联系我们并不能采用精确求解过程，首先是因为精确求解需要耗费的时间，这有悖于本发明设计快速算法的初衷，其次可以看到精确求解算法最后求解出的状态—概率空间已经无法存储每一样本对其的贡献，也就是无法直接建立期望与样本之间的关系，所以也无法直接建立期望与神经网络权值之间的关系，为了解决这两个主要问题，本发明采用式(7)中的近似关系。
Figure PCTCN2017115848-appb-000031
P(y＝1|x；θm,ωnm)≈h(x)                    (8)
E(XY)＝E(X)E(Y)+E((X-E(X))(Y-E(Y)))            (9)
Figure PCTCN2017115848-appb-000032
由于有期望与协方差的关系(9)，所以，对于式(7)中的分子分母分别取期望，分子的期望便如式中右侧的分子的形式，而分母的期望由于后续反向传播算法中希望可以对有所样本都可以带入，而不是对于一部分样本会舍去分类器输出，所以继续采用的平方的形式而不是直接期望的形式，但 是即使取平方由于最终将会接近于0或1，所以其整体值是接近的。而对于式(9)中的后一项两个变量的协方差，我们可以发现X与Y均为
Figure PCTCN2017115848-appb-000033
它们分别在分子与分母，所以X与Y的变化趋势相反，根绝协方差的性质，可以认为协方差将一直为0，所以有关系(10)，当算法不断优化右方的近似值的同时，由于期望值为近似值的上界并且相对接近，所以也可以不断使期望扩大，收敛于一个全局最优解或者局部极优解，已达到训练目的。
综上，我们便将原始的神经网络训练目标h:X→Y完全转变为了式
Figure PCTCN2017115848-appb-000034
的形式，并根据不平衡样本分类评价标准中常用的F1值进行了目标函数的设计，然后将离散函数近似为一个连续函数，使该函数可以完美的与每个训练集样本输出建立联系，进而与神经网络参数建立联系，并且证明了神经网络的训练过程中可以在优化该近似函数的同时优化整个训练集上的最终F1值，满足最初的设计思想。
上文中已将介绍了本发明的算法解决不平衡问题的特定目标函数最大化的思想，并利用不平衡样本分类的评价标准构建了应用于训练集的关于整体F1值的目标函数，之后，我们将最大化F1值算法应用到了人工神经网络(ANN)模型中，对于神经网络模型，其最常用的有效权值策略便是反向传播算法，由于本算法的最终结果将目标函数训练到最大值，所以其更新过程如式(11)与(12)所示。其中η代表了学习率，其大小影响了神经网络的收敛速度以及收敛精度，偶尔也可能会影响到最终收敛于哪一个极优解附近。
Figure PCTCN2017115848-appb-000035
Figure PCTCN2017115848-appb-000036
所以为了求解出每一个权值的更新量，我们需要求解出整个目标函数F1对于每一个节点中每一个参数的偏微分，对于输出节点：
Figure PCTCN2017115848-appb-000037
Figure PCTCN2017115848-appb-000038
其中netj表节点j的内积结果通过sigmod函数前的结果，而oj为netj经过sigmod函数处理后的结果。对于隐藏节点更新量，这里并没有办法直接使用目标函数求解，所以要根据每个隐藏节点的下游节点来更新其连接参数，其更新方案如式(15)所示。由于本算法为二分类问题，所以输出节点也就是netk只有一个，可以得到式(16)的形式，其中δk为输出节点的偏微分
Figure PCTCN2017115848-appb-000039
ωkj为节点k的第j个分量(j＝1,…,l)，也就是输出节点与第j个隐藏节点之间的连接权值，DownStream为一个隐藏层节点的所有下游节点结合。
Figure PCTCN2017115848-appb-000040
Figure PCTCN2017115848-appb-000041
本发明的算法具体过程如下所示。
算法1最小化损失神经网络
Figure PCTCN2017115848-appb-000042
θl和ωkl都是神经网络模型中的参数，其更新方式都是如(11)(12)中通过梯度下降法进行更新，即每次加上输出层偏差对每个节点的偏导数得到(这里的ωkl与θl在形式上是可以替换的，都是按这个方程进行计算)。(13)和(14)即是对于输出层参数θ求得的偏微分，计算方式就是
Figure PCTCN2017115848-appb-000043
为了对该算法的有效性进行验证，本发明做了以下对比实验。实验数据集均来自于UCI机器学习数据集，对于数据集的选取过程，主要是选取那些在其他不平衡数据集分类算法研究中出现过的数据集，共以下8个数据集，其参数如下表1所示。
表1数据集参数表
Figure PCTCN2017115848-appb-000044
本发明采用了SMOTE算法、Adaboost算法、结构化支持向量机算法(SSVM)、经典神经网络算法(ANN)、敏感代价学习算法(SCL)以及本发明的算法(ML-ANN)进行了对比，其结果如表2所示。
表2不同算法在8个数据集上交叉验证F1值
Figure PCTCN2017115848-appb-000045
由上表可见，本发明的算法在不平衡数据集分类算法上取得了一定的成功，其结果通常优于以往的算法。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (2)

  1. 一种基于最小化损失学习的不平衡样本分类方法，应用于人工神经网络模型中，其特征在于：所述方法包括：
    S1：设置学习率η、最大迭代次数m、隐藏节点数目l和目标F1值f，输入样本集合
    Figure PCTCN2017115848-appb-100001
    S2：对输入—隐藏层连接系数矩阵ωkl和隐藏—输出层连接系数向量θl进行初始化，每一个分量范围为(-0.1,0.1)；令ωkl′←0、θl′←0、f′←0；
    S3：根据现有模型对样本集合对样本集合
    Figure PCTCN2017115848-appb-100002
    求解
    Figure PCTCN2017115848-appb-100003
    并求解当前F1值fnow；
    S4：如果fnow>f，则返回当前ωkl、θl；否则执行S5；
    S5：如果fnow>f′，则ωkl′←ωkl,θl′←θl；
    S6：根据下式(1)与(2)更新θl，根据下式(3)更新ωkl，
    Figure PCTCN2017115848-appb-100004
    Figure PCTCN2017115848-appb-100005
    Figure PCTCN2017115848-appb-100006
    其中，netj代表节点j的内积结果通过sigmod函数前的结果，oj为sigmod函数处理后的结果，δk为输出节点的偏微分
    Figure PCTCN2017115848-appb-100007
    S7：回到步骤S3，直到迭代次数达到m；
    S8：返回ωkl′、θl′；
    S9：利用优化后的人工神经网络模型对不平衡样本进行分类。
  2. 根据权利要求1所述的方法，其特征在于：所述对不平衡样本进行分类具体包括：将样本特征输入w和θ所表征的人工神经网络分类模型，输出分类类标。
PCT/CN2017/115848 2017-08-16 2017-12-13 基于最小化损失学习的不平衡样本分类方法 WO2019033636A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710702075.8 2017-08-16
CN201710702075.8A CN107578061A (zh) 2017-08-16 2017-08-16 基于最小化损失学习的不平衡样本分类方法

Publications (1)

Publication Number Publication Date
WO2019033636A1 true WO2019033636A1 (zh) 2019-02-21

Family

ID=61034482

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/115848 WO2019033636A1 (zh) 2017-08-16 2017-12-13 基于最小化损失学习的不平衡样本分类方法

Country Status (2)

Country Link
CN (1) CN107578061A (zh)
WO (1) WO2019033636A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110851959A (zh) * 2019-10-18 2020-02-28 天津大学 一种融合深度学习和分位数回归的风速区间预测方法
CN111159935A (zh) * 2019-12-11 2020-05-15 同济大学 基于lhs的bp神经网络参数标定方法
CN111240344A (zh) * 2020-02-11 2020-06-05 哈尔滨工程大学 一种基于双神经网络强化学习技术的自主水下机器人无模型控制方法
CN111325338A (zh) * 2020-02-12 2020-06-23 暗物智能科技(广州)有限公司 神经网络结构评价模型构建和神经网络结构搜索方法
CN111652384A (zh) * 2019-03-27 2020-09-11 上海铼锶信息技术有限公司 一种数据量分布的平衡方法及数据处理方法
CN111738420A (zh) * 2020-06-24 2020-10-02 莫毓昌 一种基于多尺度抽样的机电设备状态数据补全与预测方法
CN112529328A (zh) * 2020-12-23 2021-03-19 长春理工大学 一种产品性能预测方法及系统
CN112766379A (zh) * 2021-01-21 2021-05-07 中国科学技术大学 一种基于深度学习多权重损失函数的数据均衡方法
CN113298230A (zh) * 2021-05-14 2021-08-24 西安理工大学 一种基于生成对抗网络的不平衡数据集的预测方法
CN113673579A (zh) * 2021-07-27 2021-11-19 国网湖北省电力有限公司营销服务中心(计量中心) 一种基于小样本的用电负荷分类算法
CN113723679A (zh) * 2021-08-27 2021-11-30 暨南大学 基于代价敏感深度级联森林的饮用水质预测方法及系统
CN113807023A (zh) * 2021-10-04 2021-12-17 北京亚鸿世纪科技发展有限公司 基于门控循环单元网络的工业互联网设备故障预测方法
CN114638336A (zh) * 2021-12-26 2022-06-17 海南大学 聚焦于陌生样本的不平衡学习
CN114676727A (zh) * 2022-03-21 2022-06-28 合肥工业大学 一种基于csi的与位置无关的人体活动识别方法
WO2023078240A1 (en) * 2021-11-03 2023-05-11 International Business Machines Corporation Training sample set generation from imbalanced data in view of user goals
CN116503385A (zh) * 2023-06-25 2023-07-28 吉林大学 基于虚拟全局代理的糖网眼底图像分级方法和设备
CN111178897B (zh) * 2019-12-18 2023-08-08 浙江大学 在不平衡数据上快速特征学习的代价敏感的动态聚类方法
CN117476125A (zh) * 2023-12-27 2024-01-30 豆黄金食品有限公司 一种基于数据分析的腐竹余液回收数据处理系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985382B (zh) * 2018-05-25 2022-07-15 清华大学 基于关键数据通路表示的对抗样本检测方法
CN108921095A (zh) * 2018-07-03 2018-11-30 安徽灵图壹智能科技有限公司 一种基于神经网络的停车位管理系统、方法及停车位
CN110751175A (zh) * 2019-09-12 2020-02-04 上海联影智能医疗科技有限公司 损失函数的优化方法、装置、计算机设备和存储介质
CN111082470B (zh) * 2020-01-15 2022-09-02 合肥工业大学 含低风速分散式风电的配电网多目标动态鲁棒重构方法
CN113627485A (zh) * 2021-07-10 2021-11-09 南京理工大学 基于admm的不平衡大数据分布式分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951809A (zh) * 2015-07-14 2015-09-30 西安电子科技大学 基于不平衡分类指标与集成学习的不平衡数据分类方法
CN105787046A (zh) * 2016-02-28 2016-07-20 华东理工大学 一种基于单边动态下采样的不平衡数据分类系统
CN105868775A (zh) * 2016-03-23 2016-08-17 深圳市颐通科技有限公司 基于pso算法的不平衡样本分类方法
WO2017003831A1 (en) * 2015-06-29 2017-01-05 Microsoft Technology Licensing, Llc Machine learning classification on hardware accelerators with stacked memory

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017003831A1 (en) * 2015-06-29 2017-01-05 Microsoft Technology Licensing, Llc Machine learning classification on hardware accelerators with stacked memory
CN104951809A (zh) * 2015-07-14 2015-09-30 西安电子科技大学 基于不平衡分类指标与集成学习的不平衡数据分类方法
CN105787046A (zh) * 2016-02-28 2016-07-20 华东理工大学 一种基于单边动态下采样的不平衡数据分类系统
CN105868775A (zh) * 2016-03-23 2016-08-17 深圳市颐通科技有限公司 基于pso算法的不平衡样本分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG, CHUNKAI: "A New Approach for Imbalanced Data Classification Based on Minimize Loss Learning", IEEE SECOND INTERNATIONAL CONFERENCE ON DATA SCIENCE IN CYBERSPACE, 29 June 2017 (2017-06-29), XP033139595 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652384A (zh) * 2019-03-27 2020-09-11 上海铼锶信息技术有限公司 一种数据量分布的平衡方法及数据处理方法
CN111652384B (zh) * 2019-03-27 2023-08-18 上海铼锶信息技术有限公司 一种数据量分布的平衡方法及数据处理方法
CN110851959B (zh) * 2019-10-18 2024-04-02 天津大学 一种融合深度学习和分位数回归的风速区间预测方法
CN110851959A (zh) * 2019-10-18 2020-02-28 天津大学 一种融合深度学习和分位数回归的风速区间预测方法
CN111159935A (zh) * 2019-12-11 2020-05-15 同济大学 基于lhs的bp神经网络参数标定方法
CN111178897B (zh) * 2019-12-18 2023-08-08 浙江大学 在不平衡数据上快速特征学习的代价敏感的动态聚类方法
CN111240344B (zh) * 2020-02-11 2023-04-07 哈尔滨工程大学 基于强化学习技术的自主水下机器人无模型控制方法
CN111240344A (zh) * 2020-02-11 2020-06-05 哈尔滨工程大学 一种基于双神经网络强化学习技术的自主水下机器人无模型控制方法
CN111325338A (zh) * 2020-02-12 2020-06-23 暗物智能科技(广州)有限公司 神经网络结构评价模型构建和神经网络结构搜索方法
CN111738420A (zh) * 2020-06-24 2020-10-02 莫毓昌 一种基于多尺度抽样的机电设备状态数据补全与预测方法
CN111738420B (zh) * 2020-06-24 2023-06-06 莫毓昌 一种基于多尺度抽样的机电设备状态数据补全与预测方法
CN112529328B (zh) * 2020-12-23 2023-08-22 长春理工大学 一种产品性能预测方法及系统
CN112529328A (zh) * 2020-12-23 2021-03-19 长春理工大学 一种产品性能预测方法及系统
CN112766379A (zh) * 2021-01-21 2021-05-07 中国科学技术大学 一种基于深度学习多权重损失函数的数据均衡方法
CN112766379B (zh) * 2021-01-21 2023-06-20 中国科学技术大学 一种基于深度学习多权重损失函数的数据均衡方法
CN113298230B (zh) * 2021-05-14 2024-04-09 武汉嫦娥医学抗衰机器人股份有限公司 一种基于生成对抗网络的不平衡数据集的预测方法
CN113298230A (zh) * 2021-05-14 2021-08-24 西安理工大学 一种基于生成对抗网络的不平衡数据集的预测方法
CN113673579A (zh) * 2021-07-27 2021-11-19 国网湖北省电力有限公司营销服务中心(计量中心) 一种基于小样本的用电负荷分类算法
CN113723679A (zh) * 2021-08-27 2021-11-30 暨南大学 基于代价敏感深度级联森林的饮用水质预测方法及系统
CN113723679B (zh) * 2021-08-27 2024-04-16 暨南大学 基于代价敏感深度级联森林的饮用水质预测方法及系统
CN113807023A (zh) * 2021-10-04 2021-12-17 北京亚鸿世纪科技发展有限公司 基于门控循环单元网络的工业互联网设备故障预测方法
WO2023078240A1 (en) * 2021-11-03 2023-05-11 International Business Machines Corporation Training sample set generation from imbalanced data in view of user goals
CN114638336A (zh) * 2021-12-26 2022-06-17 海南大学 聚焦于陌生样本的不平衡学习
CN114638336B (zh) * 2021-12-26 2023-09-22 海南大学 聚焦于陌生样本的不平衡学习
CN114676727B (zh) * 2022-03-21 2024-02-20 合肥工业大学 一种基于csi的与位置无关的人体活动识别方法
CN114676727A (zh) * 2022-03-21 2022-06-28 合肥工业大学 一种基于csi的与位置无关的人体活动识别方法
CN116503385A (zh) * 2023-06-25 2023-07-28 吉林大学 基于虚拟全局代理的糖网眼底图像分级方法和设备
CN116503385B (zh) * 2023-06-25 2023-09-01 吉林大学 基于虚拟全局代理的糖网眼底图像分级方法和设备
CN117476125A (zh) * 2023-12-27 2024-01-30 豆黄金食品有限公司 一种基于数据分析的腐竹余液回收数据处理系统
CN117476125B (zh) * 2023-12-27 2024-04-05 豆黄金食品有限公司 一种基于数据分析的腐竹余液回收数据处理系统

Also Published As

Publication number Publication date
CN107578061A (zh) 2018-01-12

Similar Documents

Publication Publication Date Title
WO2019033636A1 (zh) 基于最小化损失学习的不平衡样本分类方法
CN108388651B (zh) 一种基于图核和卷积神经网络的文本分类方法
CN110263227B (zh) 基于图神经网络的团伙发现方法和系统
Wu et al. Self-adaptive attribute weighting for Naive Bayes classification
CN109389151B (zh) 一种基于半监督嵌入表示模型的知识图谱处理方法和装置
CN113326731A (zh) 一种基于动量网络指导的跨域行人重识别算法
CN107729290B (zh) 一种利用局部敏感哈希优化的超大规模图的表示学习方法
CN104298873A (zh) 一种基于遗传算法和粗糙集的属性约简方法及精神状态评估方法
CN112749757B (zh) 基于门控图注意力网络的论文分类模型构建方法及系统
CN110297888A (zh) 一种基于前缀树与循环神经网络的领域分类方法
WO2020168796A1 (zh) 一种基于高维空间采样的数据增强方法
Quek et al. A novel approach to the derivation of fuzzy membership functions using the Falcon-MART architecture
Tembusai et al. K-nearest neighbor with K-fold cross validation and analytic hierarchy process on data classification
CN110245682A (zh) 一种基于话题的网络表示学习方法
CN112286996A (zh) 一种基于网络链接和节点属性信息的节点嵌入方法
Qiao et al. SRS-DNN: a deep neural network with strengthening response sparsity
Gu et al. Fuzzy time series forecasting based on information granule and neural network
Memon et al. Neural regression trees
Yang et al. Intelligent classification model for railway signal equipment fault based on SMOTE and ensemble learning
Özdemir et al. The modified fuzzy art and a two-stage clustering approach to cell design
Behera et al. A comparative study of back propagation and simulated annealing algorithms for neural net classifier optimization
Wang et al. Kernel-based deep learning for intelligent data analysis
CN113408602A (zh) 一种树突神经网络初始化方法
CN114722212A (zh) 一种面向人物关系网络的自动元路径挖掘方法
Singh et al. Adaptive genetic programming based linkage rule miner for entity linking in Semantic Web

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17921862

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17921862

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17921862

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17921862

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 25/01/2021)