WO2013037169A1

WO2013037169A1 - 基于密度的参数优化单分类支持向量机故障检测方法

Info

Publication number: WO2013037169A1
Application number: PCT/CN2011/082850
Authority: WO
Inventors: 姚马; 王焕钢; 张琳; 徐文立
Original assignee: 清华大学
Priority date: 2011-09-14
Filing date: 2011-11-24
Publication date: 2013-03-21
Also published as: CN102339389B; CN102339389A

Abstract

本发明涉及一种基于密度的参数优化单分类支持向量机故障检测方法，其包括以下步骤：1)设置一包括数据采集设备、置信水平设置模块和监控计算机的故障检测设备；2)通过数据采集设备采集生产过程中产生的正常数据，输入监控计算机，归一化预处理得到总样本集；3)设定置信水平值；4)将总样本集和置信水平值输入到优化故障检测器生成模块中，寻优得到优化故障检测器的模型；5)优化故障检测器应用模块存储优化故障检测器的模型；6)工业生产过程中，通过数据采集设备将采集到的数据输入监控计算机，归一化处理后，输入优化故障检测器应用模块，通过优化故障检测器应用模块中存储的优化故障检测器，实时输出故障检测结果。本发明可广泛用于工业生产线运行状态的故障检测中。

Description

基于密度的参数优化单分类支持向量机故障检测方法技术领域

本发明涉及一种基于数据驱动的生产过程故障检测方法，特别是关于一种基于密度的参数优化单分类支持向量机（One-class Support Vector Machine, OCSVM) 故障检测方法。说

背景技术

工业生产的自动化过程需要对工业生产过程的设备运行状态通过各种传感器进行实时的检测，并根据检测到的数据分析生产过程是否处于异常运行状态，通常将这种利用传感器检测数据分析生产过程异常的方法称为基于数据驱动的生产过程故障检测方法。当检测数据之间具有较强的线性关系，且满足高斯分布时，可以采用 PCA (Principal Component Analysis, 主成书分分析）辅助以 SPE ( Squared Prediction Error, 平方预测误差）和霍特林统计量进行生产过程的故障检测。这方面已经有大量的文献报道和发明专利，并且已经开始应用到生产过程当中，并取得了一定的实际应用效果。

但是很多生产过程的检测数据之间具有较强的非线性特性，而且数据分布特点也不满足高斯分布。在这种情况下，基于 PCA 的故障检测方法就不能满足实际应用的要求。对此，一些用于解决非线性的数据驱动故障检测方法被逐渐提出，例如 ICA ( Independent Component Analys is ,独立成分分析）、 K-近邻（K- nearest neighbour, K- NN) 等方法。其中 OCSVM (One-class Support Vector Machine, 单分类支持向量机）的故障检测方法是一种最新发展起来且行之有效的故障检测方法。与其他非线性方法相比， 0CSVM方法的最大特点是通过构造分类面将正常数据集包围起来，并判断新检测到的数据是否位于该分类面外，若新数据位于分类面外，则说明该数据是异常数据，生产过程处于异常运行状态，由此达到故障检测的目的。而分类面的构成只和数据集中支持向量的部分有关，又支持向量的个数通常远远小于数据集的个数，因此该方法可以大大降低数据处理的复杂度。

在基于 0CSVM 的故障检测方法具体应用过程中，有两个对故障检测性能起到至关重要的参数需要确定。其中一个参数是控制参数，记为 V——在引入允许分类面外的数据点被判为正常数据的松弛变量后，需要对松弛变量带来的错误进行惩罚，控制参数 V用于控制对错分样本惩罚的程度： V越小，对错分样本的惩罚程度越高；反之， V越大，对错分样本的惩罚程度越低。另外一个参数是高斯核函数的宽度参数，该参数反映了高斯核函数的图形形状：该参数值越小，高斯核函数的图形越窄，衰减越快；反之，该参数值越大，高斯核函数的图形越宽，衰减越慢。高斯核函数在使用中有多种形式，应用较为普遍的形式是 (χ,. , χ ) = _εΧρ(- | | - χ | |²/_σ2)，该形式中的参数即为宽度参数，以下均以符号表示宽度参数。

当数据的维数（即传感器的个数）较低时，技术人员可以通过图形观测判断参数选择是否合适。但是，当数据的维数增加时，技术人员无法绘制高维图形以判断参数选择是否合适，这种情形在实际生产过程中普遍存在，因为实际应用中传感器的数量通常都很大。为此，有学者引入 R0C 曲线（Receiver Operating Characteristics curve, 接受者操作特征曲线），并以 AUC 值（Area under an R0C curve, ROC 曲线下的面积值）作为判断参数选择是否合适的指标。 R0C 曲线是以 FPR (False Positive Rate, 异常样本被判为正常的比率）作为横坐标、以 TPR (True Positive Rate, 正常样本被判为正常的比率）作为纵坐标绘制出的二维图形。一个固定的分类器产生一个（FPR， TPR) 数据对，对应 R0C空间上的一个点。 AUC性能指标综合考虑了 TPR和 FPR这两项数据，从而能够合理地评价分类器的运行效果。 AUC值越大，保证了分类结果能够同时获得较大的 TPR值和较小的 FPR值。而 AUC的计算过程并不随着数据维数的增加而有太大的变化。

但是，使用 AUC作为评价指标时，需要一定数量的异常样本才能绘制出具有实际使用价值的 R0C曲线和相应的 AUC值。而工业生产过程中采集到的绝大部分数据是正常样本，因此很难得到足够数量的异常样本，或者得到的异常样本并不能反映全部的异常情况。所以，如何只根据正常样本或者根据含有极少量异常样本的数据集进行故障检测是上述数据处理过程中遇到的关键问题。

发明内容

针对上述问题，本发明的目的是提供一种基于密度的参数优化单分类支持向量机故障检测方法，该方法只需要正常样本集，应用范围广，寻优过程简单，故障检测性能好，得到的分类面能够很好地反映样本集的结构特性、推广能力强。

为实现上述目的，本发明采取以下技术方案：一种基于密度的参数优化单分类支持向量机故障检测方法，其包括以下步骤： 1 ) 设置一包括数据采集设备、置信水平设置模块和监控计算机的故障检测设备；所述监控计算机内预设置有一数据预处理模块、一优化故障检测器生成模块和一优化故障检测器应用模块； 2 ) 数据采集设备采集工业生产线中各监测传感器产生的正常数据，并传输给监控计算机的数据预处理模块，数据预处理模块进行归一化预处理后得到总样本集

Q = { ₂,..., _N) ; 其中， N表示数据采集设备对各个监测传感器进行 N次数据采集； _X =( ，X ，...，x_{i t}f e T，表示对个监测传感器进行第次数据采集，并经过归一化处理后得到的样本，表示监测传感器的个数，表示维列向量； = 1，2，...，N; _¾表示在样本 _X中，对第 _/个传感器在第次数据采集并经过归一化处理后得到的单个样本数据值， _/ = l，2，...， ; 3) 在置信水平设置模块中，对生产过程中采集到的正常数据的真实程度进行评估，设定置信水平值《_; 4) 将上述步骤 2) 中的总样本集 β和步骤 3) 中设定的置信水平值《输入到优化故障检测器生成模块中，寻优得到优化故障检测器的模型： f (x) = sgn

其中，当/ (x) = l时，表示待测样本 x为正常样本， /(_X) = -l时，表示待测样本 X为异常样本； η(·)是符号函数且满足 η(χ) = ^{≥ 0} ; N表示训练集的样本

[-1 x<0 总数； ^表示训练集样本；表示拉格朗日乘子的最优解； (_X，i )表示高斯核函数；表示分类面的偏移量； C_ J 表示控制限； 5)优化故障检测器应用模块存储步骤 4) 得到的优化故障检测器的模型； 6) 工业生产过程中，实时通过数据采集设备采集各监测传感器输出的数据，并通过监控计算机中的数据预处理模块归一化处理后，输入优化故障检测器应用模块中，通过优化故障检测器应用模块中存储的优化故障检测器，实时输出故障检测结果。所述步骤 4)中，寻优得到优化故障检测器模型的关键是通过优化过程得到控制参数 V和宽度参数 _σ的最优值，最终得到优化故障检测器模型，其步骤如下： ① 在所述优化故障检测器生成模块中预置以下子模块：样本密度估计模块、虚拟异常样本生成模块、训练集生成模块、测试集生成模块、 OCSVM (One-class Support Vector Machine, 单分类支持向量机）训练模块、 ROC (Receiver Operating Characteristics curve, 接受者操作特征曲线）性能计算模块、控制参数设置模块、宽度参数优化模块、终止条件判定模块、初始分类器生成模块、控制限生成模块以及优化分类器合成模块； ②将步骤 2)中，数据预处理模块归一化预处理后得到的总样本集 β输入样本密度估计模块，通过样本密度估计模块得到各个样本的估计样本密度值，并输入给虚拟异常样本生成模块，虚拟异常样本生成模块根据各个样本的估计样本密度值生成虚拟异常样本集，同时得到正

常样本集^ ^ …，^^; 其中，为指定的密度限值，即选取前 ^*^」个估计样本密度值最小的样本点作为异常样本点； L」表示取整运算； ③训练集生成模块从虚拟异常样本生成模块中得到正常样本集 ^^^，^^^ ，…，^')，并从正常样本集中随机选取部分正常样本构成训练集{^，^，...^^}， N表示训练集的样本总数； ④测试集生成模块从虚拟异常样本生成模块中得到正常样本集 ^^^ ^^，…，^^和虚拟异常样本集^ ，^，…，^^^，并将正常样本集和虚拟异常样本集组合得到测试集 r：

其中，为样本类别标签， =-ι表示虚拟异常样本， =1表示正常样本，且

_ J-l = 1，2"..，L *N」

y' ~ |l ₌L *W」+1，L *N」+2，...，N

⑤将步骤③中训练集生成模块得到的训练集 ^^，...^^^ 以及控制参数设置模块中设置的控制参数 v、当前宽度参数优化模块中设置的宽度参数 σ输入到 0CSVM 训练模块中， 0CSVM训练模块通过求解如下的优化问题：

s.t. 0<a_t≤~^~,i = \,...,N_T (1)

N_T 得到寻优向量 ^(«ρ^...,^) 的最优解，记为，《D，从而得到分类面，分类面表达式为：

其中：式（1) 中的0₁ = («₁，《₂，...， ^) 为拉格朗日乘子，且为优化问题的寻优向量; 、 ^{X X}

^(，_/ = l，...，N)为训练集样本； (^，i = exp( -)为高斯核函数， Ν_τ% σ 训练集的样本总数；式（2) 中 _Χ为变量；满足 >0的样本 ^称为支持向量；由式（3) 给出，其中，对应的^满足 0< <1：

Ν_τ

(3)

⑥将步骤⑤得到的分类面和步骤④测试集生成模块得到的测试集 Γ输入 R0C 性能计算模块，计算 AUC (Area under an ROC curve, ROC 曲线下的面积值）值，记为 A ; ⑦将上述步骤⑥得到的最终 AUC 值 ^输入到终止条件判定模块中，比较当前 AUC值 ^和当前终止条件判定模块中的 AUC最优值，根据智能优化算法选择二者中的较大值存储为，相应的宽度参数值记为其中，初始状态下，终止条件判定模块中的 AUC最优值为 0，相应的宽度参数也为 0;终止条件判定模块判断当前状态是否满足终止条件判定模块中预置的对宽度参数寻优的终止条件：如果当前状态不满足终止条件，则进入宽度参数优化模块，根据智能优化算法更新宽度参数的值，并返回步骤⑤继续迭代；如果当前状态满足终止条件，则输出 AUC最优值对应的宽度参数值 σ*_; ⑧将步骤⑦优化后得到的宽度参数输入初始分类器生成模块，形成初始的故障检测器，其表达式如下：

(^χ) = ^η (4) 其中， ( = l，...，N )为式（1)所示优化问题在宽度参数取 ^时得到的最优解；与 N 的含义与步骤⑤所述相同， X为待检测的样本数据， η(·)是符号函数且满

；由上式（3) 给出； / (x) = l表示样本 X为正常样本，

-1表示样本 x为异常样本； ⑨将步骤 3) 中设定的置信水平值《、总样本集 ρ = {_Χι,_Χ2,...,_ΧΛΓ}以及步骤⑧得到的初始故障检测器输入控制限生成模块，根据置信水平值《和各个样本到初始分类面的近似距离确定控制限的大小，记为

C— Limits； ⑩将步骤⑧得到的初始故障检测器和步骤⑨得到的控制限^：_ ^^输入优化分类器合成模块，得到最终的优化故障检测器，其表达式如下：

/(X) = sgn ^ *K(x, x.)- 7-C_ Limits (5) 其中，各符号的含义和计算方式与上述步骤相同；当 /(χ) = 1时，表示待测样本 _X为正常样本， /(x) = -l表示待测样本 X为异常样本。

所述步骤②中，通过样本密度估计模块得到各个样本的估计样本密度值，虚拟异常样本生成模块根据各个样本的估计样本密度值生成虚拟异常样本集和正常样本集的步骤如下：（a) 估计各个样本点处的密度 _Α( = 1，...，Λ 的表达式为；

3^Κ

Pi = exp ('• = 1"..，N) (6) 其中， A( = 1，...，N)表示第个样本点的密度估计值； d(_Xi.，_Xf)表示第个样本点和与其距离最近的个最近邻样本点间距离的平均值； =i| (_{X X}f)表示所有样本点上述距离值 w_x，_xf)的平均值；表示指定的充分小的正数，优选范围为

10_⁷〜10- ⁴，以防分母出现为零的情况；（b)将各个样本点处的密度按从小到大排序，排序后记为 _Α'≤ ≤…≤ A，排序后的密度对应的样本数据记为 {_Χι'，χ₂'，...，_½'}，即样本 x/处的密度值为 /_; (c) 指定密度限值 ^，密度限值；^可以根据经验公式 = min(0.015*m，0.1)进行选择，其中，为样本的维数，即监测传感器的个数；并选取前 *N」个密度最小的样本点作为异常样本点，其中， L」表示取整运算，从而得到虚拟异常样本集 {χ ,χ ,..., x^^'}和正常样本集 ^^」₊₁'， ₊₂'，. 所述步骤⑤中，控制参数设置模块中的控制参数 V表示错分样本数占总样本数比例的上界；支持向量数占总样本数比例的下界，控制参数 V的优选范围为 0.01〜0. 1; 宽度参数优化模块中宽度参数(7的寻优范围和初始值为：选择样本之间距离的平均值的 1/10作为下界，选择样本之间距离的最大值作为上界，上下界的平均值作为初始值。

所述步骤⑥中， R0C性能计算模块计算 AUC值的具体步骤如下：（a)计算测试集 Γ中的每个样本点到步骤⑤得到的分类面的近似距离，第 _ 个测试样本 x/到分类面的近似距离 '为

其中， _/ = l，...，N， «；, ^以及 N的含义与步骤⑤所述相同，由上式（3) 给出；按照近似距离大小递减排序，测试集 Γ排序后重新记为：

其中，对应的近似距离记为，且 (b) 初始化：记测试集中正常样本的数目为 N_p，虚拟异常样本的数目为 N„ ; 正常样本被判为正常的数目 TP = TP_pre = 0,异常样本被判为正常的数目 = _ pre = 0； AUC面积值 ^4 = 0，样本点到分类面的近似距离值^_^^ = -∞，迭代步数 = 1; (c)如果排序后的第个测试样本 ^ 对应的近似距离满足： ≠d__pre ，则：令 A = A+\FP-FP_pre\*(TP + TP_pre)/2, d_pre = d_i, FP _pre = FP , TP pre = TP , 进入步骤（d); 如果 =d_ r_e，直接进入步骤（d); (d)如果第个测试样本的类别标签 =1，则: ΓΡ = 7Ρ + 1 ; 否则 Ρ = ^ρ ₊ ΐ ; (_e) i = i + l , 并判断 ≤N是否满足：若满足该条件，则转步骤（c) 继续迭代；若条件不满足，则终止循环，进入下面的步骤（f); (f) A = A+\N_n -FP pre \ N_p +TP_pre)/2; (g) 由于 ROC曲线是以异常样本被判为正常的比率 FPR 作为横坐标、以正常样本被判为正常的比率 TPR作为纵坐标绘制出的二维图形，因此，步骤（f) 中得到的 AUC面积值的最终结果为^ 4 = /(N_{p X}N„)，输出最终的 AUC面积值结束。所述步骤⑦中，终止条件判定模块中，预置总的优化迭代次数的上限值作为宽度参数^寻优的终止条件。

所述步骤⑨中，控制限生成模块根据置信水平值和各个样本到初始分类面的近似距离，确定控制限 C_ J to的步骤如下：（a) 在 {1,2,...,N}中随机选取一个整数，并记录该整数对应的总样本集^^ ^，…^^中的样本；重复上述选取，直至选取出 N个样本，组成一个新的集合，作为一组自助样本，记为 ,^,...,^}; d ..., }中的样本数与总样本集 ρ = {_Χι,_Χ2,...,_½}中的样本数相同，都为 N个； (b)将上述步骤（a) 重复 g次，生成 g组与总样本集 ρ = {_Χι,_Χ2,...,_½}含量相同的自助样本；（c) 对每一个自助样本进行以下操作：计算该自助样本中各样本点到初始分类面的近似距离，表达式：

其中， ο 、 ^以及 N的含义与步骤⑧所述相同， i为自助样本中的第 _个样本，由式（3) 确定；按照近似距离从小到大排序，根据指定的置信水平值《选取第 ^*^」个距离值作为该自助样本的控制限；第个自助样本的控制限记为 C_ Limits, , k = l,2,...,q ; ( d) 取 g个控制限的平均值作为最终控制限 C_ m 的值， BP:

1 ^q

C _ Limits =— C_ Limits _k (9)

~ q t=i 本发明由于采取以上技术方案，其具有以下优点： 1、本发明利用样本的密度信息构造出虚拟异常样本以用于后续的分类器优化过程当中，从而不需要系统本身提供足够数量的异常样本，因此，能够应用于只基于正常样本数据集的故障检测问题，应用范围广。 2、本发明通过样本密度信息和密度限构造虚拟异常样本，使得分类面的形状能够反映正常样本在空间中的分布特点，从而使优化分类面能够更加适当地包围样本数据，松紧程度适中。 3、本发明以 AUC值作为评价指标，使故障检测器在保证得到较高 TPR的同时，降低了 FPR的值，从而提高了分类面的推广能力。 4、本发明采用单参数寻优，寻优过程简单。 5、本发明通过控制限调整分类面的位置，使得分类面处于人为可控的状态，从而可以根据实际需要在线折中调节第一类错误率（正常样本被判为异常的概率）和第二类错误率（异常样本被判为正常的概率）的大小，同时，控制限还降低了数据采集误差等噪声对分类面的影响。本方法构思巧妙，精确实用，可广泛应用于工业生产线运行状态的故障检测中。

附图说明

图 1是本发明结构示意图

图 2是本发明模块结构示意图

图 3是本发明优化故障检测器生成模块的子模块结构示意图

图 4是本发明在二维圆环形数据集下得到的二维样本点及分类面显示图，图

4a是宽度参数 (7初始值取 1. 4067得到的结果，图 4b是经过本发明优化后得到的结果

图 5是本发明在二维圆环形数据集下得到的 R0C曲线，图 5a是宽度参数 ^初始值取 1. 4067得到的结果，图 5b是经过本发明优化后得到的结果

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

本发明方法包括以下步骤：

1 ) 如图 1所示，设置一包括数据采集设备 A、置信水平设置模块 B和带显示屏的监控计算机 C的故障检测设备；数据采集设备 A的输入端连接工业生产线中的各个监测传感器，输出端电连接至监控计算机 C，置信水平设置模块 B的输出端连接监控计算机(。如图 2所示，监控计算机 C内预设置有一数据预处理模块 1、一优化故障检测器生成模块 2和一优化故障检测器应用模块 3。如图 3所示，优化故障检测器生成模块 2又包括以下子模块：样本密度估计模块 21、虚拟异常样本生成模块 22、训练集生成模块 23、测试集生成模块 24、 0CSVM训练模块 25、 R0C 性能计算模块 26、控制参数设置模块 27、宽度参数优化模块 28、终止条件判定模块 29、初始分类器生成模块 210、控制限生成模块 211 以及优化分类器合成模块 212。

2 ) 如图 1〜3所示，通过数据采集设备 A采集生产过程中产生的正常数据，并将正常数据传输到监控计算机 C中，通过数据预处理模块 1对上述正常数据进行归一化预处理，从而得到总样本集 β。

在监测工业生产过程中，数据采集设备 Α连接的监测传感器的数量为个，对上述个监测传感器进行 N次数据采集，则 N次采集后，通过数据预处理模块 1对上述数据进行归一化处理得到的样本数据集合即为总样本集 β :

β = {^Χ1 , ^Χ2 " ··, ½ }

其中，对 m个监测传感器进行第次数据采集，并经过归一化处理后得到的样 *¾x_i =(x,₁,x,₂,...,x,_m)ⁱ eR^m , 表示 w维列向量； i = \,2 .,N ·，在样本 x中，对第 j个监测传感器在第次数据采集并经过归一化处理后得到的单个样本数据值为 ¾， j = H..,m。

3)在置信水平设置模块 B中，对生产过程中采集到的正常数据的真实程度进行评估，设定置信水平值。置信水平值的含义为：由于测量噪声等因素的影响，使得得到的正常数据的可信赖程度降低，若通过经验认为得到的正常数据中有 (1-«)%的正常数据是可信赖的，则确信该 (1-«)%的正常数据是正常的。

4) 将上述步骤 2) 中的总样本集 β和步骤 3) 中设定的置信水平值输入到优化故障检测器生成模块 2中，寻优得到优化故障检测器的模型。

5) 优化故障检测器应用模块 3存储步骤 4) 得到的优化故障检测器的模型。

6)工业生产过程中，通过各监测传感器检测到的数据经过数据采集设备 Α采集和监控计算机 C中的数据预处理模块 1归一化处理后，输入优化故障检测器应用模块 3中，通过优化故障检测器应用模块 3中存储的优化故障检测器，实时输出故障检测结果。

上述步骤 4) 中，寻优得到优化故障检测器模型的关键是通过优化过程得到控制参数 V和宽度参数 _σ的最优值，最终得到优化故障检测器模型，其步骤如下：

①将步骤 2)中，数据预处理模块 1归一化预处理后得到的总样本集 β输入样本密度估计模块 21，通过样本密度估计模块 21 得到各个样本的估计样本密度值后，输入给虚拟异常样本生成模块 22，虚拟异常样本生成模块 22根据各个样本的估计样本密度值生成虚拟异常样本集，同时得到正常样本集，具体步骤如下：

(a)估计各个样本点处的密度 _A.( = 1，...，N)_; 目前应用较为广泛的样本点密度估计方法有以下两种： K-近邻密度估计法和 Parzen窗密度估计法；本实施步骤中采用 K-近邻密度估计法，：

其中， _A.( = 1，...，N)表示第个样本点的密度估计值； d(_Xi.，_Xf)表示第个样本点和与其距离最近的个最近邻样本点间距离的平均值； =i| (_{X X}f)表示所有样本点上述距离值 w_x，_xf)的平均值；表示指定的充分小的正数，优选范围为

10_⁷〜10- ⁴，以防分母出现为零的情况； (b) 将各个样本点处的密度按从小到大排序，排序后记为

排序后的密度对应的样本数据记为 ^'，，...，_½'}，即样本 χ/处的密度值为 /_;

(c) 指定密度限值，密度限值;^可以根据经验公式 = min(0.015* ，0.1)进行选择，其中，为样本的维数，即传感器的个数；并选取前 L * N」个估计样本密度值最小的样本点作为虚拟异常样本点，其中， L」表示取整运算，从而得到虚拟异常样本集^ ^ ，…^^^^和正常样本集^^」，：^^」，...，：^')。

②训练集生成模块 23 从虚拟异常样本生成模块 22 中得到正常样本集 { _AiJ+1',x_M+2',...,x }，并从正常样本集中随机选取部分正常样本构成训练集 { ,, ,,.,., ^} , N表示训练集的样本总数。

③测试集生成模块 24 从虚拟异常样本生成模块 22 中得到正常样本集 ^^^ ^^，…，^^和虚拟异常样本集^ ,^',...,^^」^，并将正常样本集和虚拟异常样本集组合得到测试集 Γ：

其中，为样本类别标签， = -ι表示虚拟异常样本， =1表示正常样本，且

_ J-l = 1，2"..，L *N

y' ~ |l ₌L *W +1，L *N +2，...，N

④将步骤②中训练集生成模块 23得到的训练集 {^，^，...， ^}，控制参数设置模块 27中设置的控制参数 v，以及当前宽度参数优化模块 28中设置的宽度参数 _σ 输入到 0CSVM训练模块 25中，得到一个分类面，具体步骤如下。

控制参数设置模块 27中控制参数 V的物理意义：错分样本数（正常样本被判为异常样本或异常样本被判为正常样本）占总样本数比例的上界；支持向量数占总样本数比例的下界。控制参数 V的优选范围为 0.01〜0.1。

宽度参数优化模块 28中宽度参数 ^的寻优范围和初始值：现有不少文献针对宽度参数的选择进行了分析，得到了一些有用的结果；实际选择宽度参数 ^7的上下界和初始值时，可以参考已有的结论并综合考虑计算复杂度进行选择。如可以选择样本之间距离的平均值的 1/10作为下界，选择样本之间距离的最大值作为上界，上下界的平均值作为初始值；或采用后面具体仿真例中使用的选择方法等。

0CSVM训练模块 25通过求解如下的优化问题：

s.t. <a_t< (2)

Ν_τ

得到寻优向量 ^(«Ρ^...,^)的最优解，记为，《D，从而得到分类面，分类面表达式为：

其中：式（2) 中的 ο^^ρ ,...,^^；) 为拉格朗日乘子，且为优化问题（式（2)) χ,·_^χ

的寻优向量； i U = 1，...，N)为训练集样本； (^ = e_Xp( -)为高斯 σ 核函数， N为训练集的样本总数；式（3) 中 _Χ为变量；满足 >0的样本 ^称为支持向量，显然，只有当 >0时，式（3) 中的对应项 (_X，i)才有计算的必要; 表示分类面的偏移量，由式（4) 给出，其中对应的^满足 ₀< <1条件：

Ν_τ

(4)

⑤将上述步骤④得到的分类面和步骤③测试集生成模块 24得到的测试集 Γ输入 R0C性能计算模块 26，计算 AUC值，记为 A。

计算 AUC值的具体步骤如下：

(a) 根据式（5) 计算测试集 Γ中的每个样本点到步骤④得到的分类面的近似距离，第 _ /个测试样本 x/到分类面的近似距离为

dj = l^ai^{K x}j ^~p (5) 其中， _/ = l，...，N， «；, ^以及 N的含义与步骤④所述相同，由上式（4) 给出；按照近似距离大小递减排序，测试集 Γ排序后重新记为：

其中，对应的近似距离记为，且

(b)初始化：记测试集中正常样本的数目为 N_p，虚拟异常样本的数目为 N„; 正常样本被判为正常的数目 TP = TP_p_re = 0 ,异常样本被判为正常的数目 FP = FP pre = Q，其中 ROC曲线的横坐标 FPR =FP I N_n，纵坐标 TPR = TP/N_p； AUC 面积值 = 0，当前循环的前一步存储的近似距离值^_/^6 = -∞，迭代步数 = 1;

(c)如果排序后的第个测试样本对应的近似距离满足： ≠d__pre，贝 IJ: A = A+\FP-FP _pre\*(TP + TP _pre)/2 , d _pre = d_i, FP _pre = FP , TP pre = TP , 进入步骤（d); 如果 =d_/^，直接进入步骤（d);

(d)如果第个测试样本的类别标签 =1，则 ΓΡ = 7Ρ + 1; 否则 F^FP + l;

(e) i = i + l, 并判断 ≤N是否满足：若满足该条件，则转步骤（c) 继续迭代；若条件不满足，则终止循环，进入下面的步骤（f)_;

(f)令^ 4 = + I N„ _ 尸_ re I *(N_p + TP pre) 12；

(g) 由于 ROC曲线是以 FPR (False Positive Rate, 异常样本被判为正常的比率）作为横坐标、以 TPR (True Positive Rate, 正常样本被判为正常的比率）作为纵坐标绘制出的二维图形，因此，步骤（f) 中得到的 AUC面积值的最终结果为^ 4 = /(N_{p X}N„)，输出最终的 AUC面积值结束。

⑥将上述步骤⑤得到的最终 AUC面积值 ^输入到终止条件判定模块 29中，比较当前 AUC面积值 ^和当前终止条件判定模块 29中的 AUC最优值，根据智能优化算法选择二者中的较大值存储为，相应的宽度参数值记为其中，初始状态下，终止条件判定模块 29中的 AUC最优值为 0，相应的宽度参数也为 0；终止条件判定模块 29判断当前状态是否满足终止条件判定模块 29中预置的对宽度参数^寻优的终止条件：

如果当前状态不满足终止条件，则进入宽度参数优化模块 28，根据智能优化算法更新宽度参数 _σ的值，并返回步骤④继续迭代；

如果当前状态满足终止条件，则输出 AUC最优值对应的宽度参数值。终止条件判定模块 29中预置的终止条件不唯一，因此，采用不同的智能优化算法进行宽度参数 _σ寻优，该终止条件就可能不同，例如：可以设置总的优化迭代次数的上限值作为宽度参数^7寻优的终止条件；或采用仿真例中模拟退火算法中使用的终止条件系统温度是否降至终止温度等。

⑦将步骤⑥优化后得到的宽度参数 ^输入初始分类器生成模块 210，形成初始的故障检测器，并进入后续步骤；此初始故障检测器的检测模型如下式所示：

(^x) = sgn (6) 其中， ο ( = 1，...， )是上述式（2)所示优化问题在宽度参数取时得到的最优解； ^与 N的含义与步骤④所述相同， X为待检测的样本数据， η(·)是符号函数且满足 η X ；由上式（4) 给出； /_to(x) = l表示样本 X为正常样本，

f_flrst (χ) = -1表示样本 X为异常样本。

⑧将步骤 3)中设定的置信水平值"、总样本集 ρ = {_Χι,χ₂,...,_½}以及步骤⑦得到的初始故障检测器输入控制限生成模块 211，根据置信水平值《和各个样本到初始分类面的近似距离确定控制限的大小，记为 C— Limits'，控制限的具体计算步骤如下：

(a) 在 {1,2,...,N}中随机选取一个整数，并记录该整数对应的总样本集 ρ = {_Χι,_Χ2,...,_ΧΛΓ}中的样本；重复上述选取（包括多次选取同一整数的情况），直至选取出 N个样本，组成一个新的集合，这个新集合便是一组自助样本，记为

{^₂,. ,^}； ,^,..., }中的样本数与总样本集 ρ = {_Χι,χ₂,...,_½}中的样本数相同，都为 N个，但是 ^^,...,^}中的样本有可能会出现重复。

(b)将步骤（a) 重复 g次，生成 g组与总样本集 ρ = {_Χι,_Χ2,...,_½}含量相同的自助样本；

(c)对每一个自助样本进行以下操作：计算该自助样本中各样本点到初始分类面的近似距离，计算公式如下式（7) ：

其中， a：、 ^以及 N的含义与步骤⑦所述相同， i为自助样本中的第 _/个样本，由式（4) 确定；按照近似距离从小到大排序，根据指定的置信水平值《选取第 | «*N|个距离值作为该自助样本的控制限；第个自助样本的控制限记为 C— Limits _k， k = \,2,...,q；

(d) 取 g个控制限的平均值作为最终控制限 C_ Jm 的值，即：

1 ^q

C _ Limits =— C_ Limits _k (8)

~ q

⑨将步骤⑦得到的初始故障检测器和步骤⑧得到的控制限 C_ Jm 输入优化分类器合成模块 212，得到最终的优化故障检测器，其检测模型函数表达式如下：

/(X) = sgn ^ *K(x, x.)- 7-C_ Limits (9) 其中，各符号的含义和计算方式与上述步骤相同；当 /(χ) = 1时，表示待测样本 X为正常样本， /(x) = -l表示待测样本 X为异常样本。

下面列举一具体的仿真例进行说明：

本仿真例采用二维圆环形数据集进行仿真实验，该数据集共有 600个正常样本数据，即 N = 600， m = 2 (即有两个传感器）。其仿真步骤及参数设定情况如下：

(1) 对数据集进行归一化处理，得到样本集 ρ = {_Χι,_Χ2,...,_ΧΛΓ}。

(2) 指定置信水平"的值为 0.03。

(3) 根据式（1) 计算各个样本点处的密度 _A.( = 1，...，N)，其中取为 10_⁶。密度限取为 = min(0.015*m，0.1) = 0.03，得到含有 582 个样本点的正常样本集 ^^」₊₁'， ^」₊₂'，...，_½'}和含有 18个样本点的虚拟异常样本集 {«,...,^^」'}。随机选取正常样本集中的 2/3部分构成训练集，因此训练集共含有 388 个样本，即 Λ^=388。综合正常样本集和虚拟异常样本集并添加类别标签得到测试集，其含有 600个样本。

(4)根据参数的物理概念选择控制参数 V为 0.05。记训练集中任意两两不同样本点之间的欧式距离组成的集合为 { | \\,i< j,i = \,...,N_T,j = \,...,N_T}，则宽度参数 _σ的上限可取为 σ =^_χ (其中， d_max是集合中的最大值），下限可取为 ^^ e ^^VlO (其中， e «)是集合 }所有元素的平均值），初始值取为 _σ ）。

(5)本仿真例中使用的智能优化算法为模拟退火算法，使用模拟退火算法对参数 ^7进行寻优的过程如下：

①初始化：初始温度 Γ =0.005，终止温度 7} =0.0001，降温函数的温差系数 ΔΓ = 0.0005 , _c/c=0.001为很小的正数，八^ ^皿-^^) 。，并计算初始 σ值下

0CSVM训练结果的 AUC值和支持向量的数目 n_sv

②设置内循环次数 "为 = 3^l8(1/¾)，初始化 p = 1

③ 在单次内循环中：在 σ 的邻域 [σ-Δ σ + Δ ] ( 其中 A^f = mm(A ,a-a_min,a_miX-a)) 内随机产生一个新的在新参数下进行 0CSVM 训练，生成新的分类面，并求取新的 AUC值 ^4^ 和相应的支持向量数目 / ; 若下述三种情况中的任意一种满足：（ a ) AUC_new-AUC>s_AUC ( b )

AUC -AUC< -s_AUC且 cx_V(^AUC-~^AUC)大于 (0 1)区间上产生的随机数；（ c ) f/C ^ί^|≤^^且 / </ _; 则更新 σ = σ AUC = AUC_new, n_sv = n_sv^

④ / = p + l_; 如果 p≤w，则转步骤③继续迭代；否则，结束内循环，转步骤

⑤；

⑤降温函数！二！ -八^，比较此时的 Γ。和 7}的大小：如果 7 ≥7}，则返回步骤 ②继续迭代；否则，结束整个模拟退火算法，输出最终得到的参数 σ的值，记为最优值 σ

(6)根据最优参数对 (ν,σ^训练样本，得到初始分类器。选择 g = 30，再根据置信水平 _{α = 0}.₀₃、测试集和初始分类器计算得到控制限^_ ^^。再将初始分类器和控制限合成，便可得到优化故障检测器，其检测模型表达式如式（8) 所示。

仿真得到的结果如图 4和图 5所示。其中，图 4显示的是在二维圆环形数据集下得到的二维样本点及分类面显示图，图 4a 为^取初始值得到的结果，图 4b 为经过本发明优化后得到的结果。从图 4中可以看出，图 4a中分类面内部有很大的空隙，分类面并没有很好地包围样本点；而图 4b中的分类面则将样本点包围地恰到好处，松紧程度适中。图 5显示的是对应上述两种情况的 R0C曲线，其中，图 5 为(7取初始值得到的 R0C曲线，其 AUC值为 0.6816; 图 5b为经过本发明优化后得到的 R0C曲线，其 AUC值为 0.9918。可见，经过本发明的优化处理后，故障检测器对应的 AUC值有了很大的提升，大大提高了故障检测器的检测性能。上述各实施例仅用于说明本发明，其中各部件的结构、连接方式等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims

权利求书

1、一种基于密度的参数优化单分类支持向量机故障检测方法，其包括以下步骤：

1) 设置一包括数据采集设备、置信水平设置模块和监控计算机的故障检测设备；所述监控计算机内预设置有一数据预处理模块、一优化故障检测器生成模块和一优化故障检测器应用模块；

2) 数据采集设备采集工业生产线中各监测传感器产生的正常数据，并传输给监控计算机的数据预处理模块，数据预处理模块进行归一化预处理后得到总样本集 ρ = {_Χι,χ₂,...,_½}；

其中， N表示数据采集设备对各个监测传感器进行 N次数据采集； x_!.=(x,₁,x,₂,...,x,_m)^rei?"¹, 表示对个监测传感器进行第次数据采集，并经过归一化处理后得到的样本，表示监测传感器的个数，表示维列向量； = 1，2，...，N; _¾表示在样本 _X中，对第 _/个传感器在第次数据采集并经过归一化处理后得到的单个样本数据值， j = l,2"."m；

3) 在置信水平设置模块中，对生产过程中采集到的正常数据的真实程度进行评估，设定置信水平值《_;

4)将上述步骤 2)中的总样本集 β和步骤 3)中设定的置信水平值《输入到优化故障检测器生成模块中，寻优得到优化故障检测器的模型：

/(X) = sgn ^ *K(x, X.) - 7-C_ Limits 其中，当/ (x) = l时，表示待测样本 X为正常样本， /(_X) = -l时，表示待样本 X为异常样本； η(·)是符号函数且满足 sgn(x) ^表

示训练集的样本总数； ^表示训练集样本；表示拉格朗日乘子的最优解; (x，i)表示高斯核函数；表示分类面的偏移量； C_ J to表示控制限；

5)优化故障检测器应用模块存储步骤 4)得到的优化故障检测器的模型；

6) 工业生产过程中，实时通过数据采集设备采集各监测传感器输出的数据，并通过监控计算机中的数据预处理模块归一化处理后，输入优化故障检测器应用模块中，通过优化故障检测器应用模块中存储的优化故障检测器，实时输出故障检测结果。

2、如权利要求 1 所述的一种基于密度的参数优化单分类支持向量机故障检测方法，其特征在于：所述步骤 4) 中，寻优得到优化故障检测器模型的关键是通过优化过程得到控制参数 V和宽度参数 _σ的最优值，最终得到优化故障检测器模型，其步骤如下：

①在所述优化故障检测器生成模块中预置以下子模块：样本密度估计模块、虚拟异常样本生成模块、训练集生成模块、测试集生成模块、 0CSVM

(One-class Support Vector Machine, 单分类支持向量机）训练模块、 ROC ( Receiver Operating Characterist ics curve , 接受者操作特征曲线）性能计算模块、控制参数设置模块、宽度参数优化模块、终止条件判定模块、初始分类器生成模块、控制限生成模块以及优化分类器合成模块;

②将步骤 2 )中，数据预处理模块归一化预处理后得到的总样本集 ρ输入样本密度估计模块，通过样本密度估计模块得到各个样本的估计样本密度值，并输入给虚拟异常样本生成模块，虚拟异常样本生成模块根据各个样本的估计样本密度值生成虚拟异常样本集 ',^',...^^^'}，同时得到正常样本集 ^ 申'，其中，为指定的密度限值，即选取前 ^^* 」个估计样本密度值最小的样本点作为异常样本点； L」表示取整运

③训练集生成模块从虚拟异常样本生成模块中得到正常样本集

{ _Vj+1', x_M+2', ..., _X }，并从正常样本集中随机选取部分正常样本构成训练集 ^，^，...， ^， N表示训练集的样本总数；

④测试集生成模块从虚拟异常样本生成模块中得到正常样本集 ^^^ ^^，…，^^和虚拟异常样本集^',^',..., ^」，并将正常样本集和虚拟异常样本集组合得到测试集 Γ： )' · · · ' (½ Ί

其中，为样本类别标签， =-ι表示虚拟异常样本， =1表示正常样本，且 = = 1，2，...，L *N」

y' ~

₌L *w」+i，L *N」+2，...，N

⑤将步骤③中训练集生成模块得到的训练集，，...， }，以及控制参数设置模块中设置的控制参数 V、当前宽度参数优化模块中设置的宽度参数 σ输入到 OCSVM训练模块中， 0CSVM训练模块通过求解如下的优化问

得到寻优向量 a = ( ， a₂， ...， a 的最优解，记为 a = ( ，， ...， f，从而得到分类面，分类面表达式为：

其中：式（1) 中的 ^(^，^，…，；^为拉格朗日乘子，且为优化问题的寻优向量；、 ^( = 1，...，N)为训练集样本； (^，） = 6 ( 2 ~~ -)为高 σ 斯核函数， N为训练集的样本总数；式（2) 中 _Χ为变量；满足 >0的样本 ^称为支持向量；由式（3)给出，其中，对应的满足 0< <1： νΝ_τ p = ^a*K(x_k, ) (3)

⑥将步骤⑤得到的分类面和步骤④测试集生成模块得到的测试集 r输入 ROC性能计算模块，计算 AUC (Area under an ROC curve, ROC曲线下的面积值）值，记为 A；

⑦将上述步骤⑥得到的最终 AUC值 A输入到终止条件判定模块中，比较当前 AUC值 ^和当前终止条件判定模块中的 AUC最优值，根据智能优化算法选择二者中的较大值存储为，相应的宽度参数值记为 σ* _; 其中，初始状态下，终止条件判定模块中的 AUC最优值 Α*为 0，相应的宽度参数也为 0; 终止条件判定模块判断当前状态是否满足终止条件判定模块中预置的对宽度参数寻优的终止条件：

如果当前状态不满足终止条件，则进入宽度参数优化模块，根据智能优化算法更新宽度参数^7的值，并返回步骤⑤继续迭代；

如果当前状态满足终止条件，则输出 AUC最优值对应的宽度参数值 σ

⑧将步骤⑦优化后得到的宽度参数俞入初始分类器生成模块，形成

其中， ( = l，...，N )为式（1) 所示优化问题在宽度参数取时得到的最优解； ^与 N的含义与步骤⑤所述相同， X为待检测的样本数据， η(·)是符号函数且满足 sgn(x) ；由上式（3)给出； / (_x) = l表示

样本 X为正常样本， /_to(x) = _l表示样本 X为异常样本;

⑨将步骤 3) 中设定的置信水平值、总样本集 ρ χ,,χ ,...,χ

步骤⑧得到的初始故障检测器输入控制限生成模块，根据置信水平值《和各个样本到初始分类面的近似距离确定控制限的大小，记为 C— Limits；

⑩将步骤⑧得到的初始故障检测器和步骤⑨得到的控制限^：_ ^^ 输入优化分类器合成模块，得到最终的优化故障检测器，其表达式如下：

/(X) = sgn ^ *K(x, x.)- 7-C_ Limits (5) 其中，各符号的含义和计算方式与上述步骤相同；当 /(χ) = 1时，表示待 ί 样本 X为正常样本， /(χ) = -1表示待测样本 X为异常样本。 3、如权利要求 2所述的一种基于密度的参数优化单分类支持向量机故障检测方法，其特征在于：所述步骤②中，通过样本密度估计模块得到各个样本的估计样本密度值，虚拟异常样本生成模块根据各个样本的估计样本密度值生成虚拟异常样本集和正常样本集的步骤如下：

(a) 估计各个样本点处的密度 _A.( = 1，...，N)的表达式为；

3^Κ

Pi = exp ('• = 1"..，N) (6) 其中， A = 1，...，N)表示第个样本点的密度估计值； d(_Xi.，_Xf)表示第个样本点和与其距离最近的个最近邻样本点间距离的平均值； )表示所有样本点上述距离值 Wx _Xf)的平均值；表示

指定的充分小的正数，优选范围为 10- ⁷〜10- ⁴，以防分母出现为零的情况；

( b ) 将各个样本点处的密度按从小到大排序，排序后记为 p» -≤(^ , 排序后的密度对应的样本数据记为 {«...，_½'}，即样本 χ/处的密度值为 /_;

( c ) 指定密度限值；^ ，密度限值；^可以根据经验公式 = min(0.015* ，0.1)进行选择，其中，为样本的维数，即监测传感器的个数；并选取前 *N」个密度最小的样本点作为异常样本点，其中， L」表示取整运算，从而得到虚拟异常样本集 ',^',...,^^'}和正常样本集

^XL W」+1 ,^XL *W」+2 ,···,^ΧΝ I。

4、如权利要求 2所述的一种基于密度的参数优化单分类支持向量机故障检测方法，其特征在于：所述步骤⑤中，控制参数设置模块中的控制参数 V表示错分样本数占总样本数比例的上界；支持向量数占总样本数比例的下界，控制参数 V的优选范围为 0.01〜0.1; 宽度参数优化模块中宽度参数 σ的寻优范围和初始值为：选择样本之间距离的平均值的 1/10作为下界，选择样本之间距离的最大值作为上界，上下界的平均值作为初始值。

5、如权利要求 2 所述的一种基于密度的参数优化单分类支持向量机故障检测方法，其特征在于：所述步骤⑥中， R0C 性能计算模块计算 AUC 值的具体步骤如下：

(a) 计算测试集 Γ中的每个样本点到步骤⑤得到的分类面的近似距离，第 _个测试样本 x 到分类面的近似距离 '为

其中， _/ = l，...，N，、 ^以及 N的含义与步骤⑤所述相同，由上式（3) 给出；按照近似距离大小递减排序，测试集 Γ排序后重新记为：

{(¾, i),(¾,y₂),...,( _N,yw)}

其中， ^对应的近似距离记为，且

(b) 初始化：记测试集中正常样本的数目为^，虚拟异常样本的数目为 N„；正常样本被判为正常的数目 7P = 7P _ pre = 0，异常样本被判为正常的数目 FP = FP_pr_e = 0; AUC面积值 = 0，样本点到分类面的近似距离值 = -∞，迭代步数 = 1;

(c) 如果排序后的第个测试样本对应的近似距离满足： d_t≠d_pre , 贝 U: 令 A = A+ \ FP - FP _ pre \ *( P + TP _ pre) / 2， d_pre = d_i , FP_pre = FP, TP pre = TP , 进入步骤（d); 如果 =d_/^，直接进入步骤（d);

(d) 如果第个测试样本的类别标签 =1，则 ΓΡ = 7Ρ + 1 ; 否则 FP = FP + 1；

(e) i = i + l, 并判断 ≤N是否满足：若满足该条件，则转步骤（c) 继续迭代；若条件不满足，则终止循环，进入下面的步骤（f);

(f) A = A+\N_n-FP_pre\ *(N_p + TP pre) 12；

(g) 由于 ROC曲线是以异常样本被判为正常的比率 FPR作为横坐标、以正常样本被判为正常的比率 TPR作为纵坐标，绘制出的二维图形，因此，步骤（f) 中得到的 AUC面积值的最终结果为 = /(N_{p X}N„)，输出最终的 AUC面积值 ^，结束。

6、如权利要求 2所述的一种基于密度的参数优化单分类支持向量机故障检测方法，其特征在于：所述步骤⑦中，终止条件判定模块中，预置总的优化迭代次数的上限值作为宽度参数 σ寻优的终止条件。

7、如权利要求 2所述的一种基于密度的参数优化单分类支持向量机故障检测方法，其特征在于：所述步骤⑨中，控制限生成模块根据置信水平值 c和各个样本到初始分类面的近似距离，确定控制限 C _ Limits的步骤如下：

(a) 在 {1,2,...,N}中随机选取一个整数，并记录该整数对应的总样本集^^ ^，…^^中的样本；重复上述选取，直至选取出 N个样本，组成一个新的集合，作为一组自助样本，记为 {^,^,..., }_; {^,^, ..., }中的样本数与总样本集 ρ = {_Χι,χ₂,...,_½}中的样本数相同，都为 N个；

(b)将上述步骤（a) 重复 g次，生成 g组与总样本集 ρ = {_Χι,_Χ2,...,_½} 含量相同的自助样本；

(c) 对每一个自助样本进行以下操作：计算该自助样本中各样本点到初始分类面的近似距离，：

其中， ο 、 ^以及 N的含义与步骤⑧所述相同， i 为自助样本中的第 _个样本，由式（3) 确定；按照近似距离从小到大排序，根据指定的置信水平值《选取第 L« * N\个距离值作为该自助样本的控制限；第 A个自助样本的控制限记为 C_£m ， k = \,2,...,q；

(d) 取 g个控制限的平均值作为最终控制限 C_£ m 的值，即：

1 ^q

C Limits =— C Limits, (9)