WO2022116570A1 - 一种基于麦克风阵列的工业设备故障信号定位与识别方法 - Google Patents
一种基于麦克风阵列的工业设备故障信号定位与识别方法 Download PDFInfo
- Publication number
- WO2022116570A1 WO2022116570A1 PCT/CN2021/109200 CN2021109200W WO2022116570A1 WO 2022116570 A1 WO2022116570 A1 WO 2022116570A1 CN 2021109200 W CN2021109200 W CN 2021109200W WO 2022116570 A1 WO2022116570 A1 WO 2022116570A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- layer
- output
- cnn
- predicted
- sound
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 52
- 238000011176 pooling Methods 0.000 claims abstract description 27
- 230000005236 sound signal Effects 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 230000004913 activation Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000010200 validation analysis Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000010606 normalization Methods 0.000 claims abstract description 5
- 238000013519 translation Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 16
- 230000002123 temporal effect Effects 0.000 claims description 8
- 208000001992 Autosomal Dominant Optic Atrophy Diseases 0.000 claims description 4
- 206010011906 Death Diseases 0.000 claims description 4
- 230000006403 short-term memory Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 13
- 230000000306 recurrent effect Effects 0.000 abstract description 7
- 230000004807 localization Effects 0.000 abstract description 4
- 210000002569 neuron Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M7/00—Vibration-testing of structures; Shock-testing of structures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
- G01H3/04—Frequency
- G01H3/08—Analysing frequencies present in complex vibrations, e.g. comparing harmonics present
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
- G01M99/005—Testing of complete machines, e.g. washing-machines or mobile phones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Otolaryngology (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
一种基于麦克风阵列的工业设备故障信号定位与识别方法，采集声音信号，分为训练集、验证集和测试集；对训练集中的声音信号进行特征提取，提取频谱图的相位谱图和幅度谱图；将特征提取模块的输出作为输入被送到卷积神经网络，在每层CNN网络中，使用2D CNN来学习频谱图中的平移不变性；在每层CNN之间，使用批量归一化对输出进行归一化，并沿着频率轴使用最大池化层来降低维数；将来自CNN层的输出，送到RNN层；使用线性激活函数；将全连接层的输出输入到两个并行的全连接层分支，分别用于故障识别和故障定位。使用基于音频信号的非接触式方法，受环境和接触限制更小，故障定位与故障识别同步进行，提高运行效率。
Description
本发明涉及一种工业设备故障信号定位与识别技术，具体为一种基于麦克风阵列的工业设备故障信号定位与识别方法。
随着现代自动化程度的愈加广泛和科技的飞速发展，各行各业都日益趋向智能化、高速化和自动化。在各种机械设备中不仅设备内的各部分密切联系，不同设备之间也相关紧密，最终形成一系列复杂的生产系统。在生产过程中运用先进的故障诊断技术，把机械设备的检测维修列入到生产过程中，实现机械设备可预知，不仅可以延长设备的使用时间，而且还避免了灾难性事故的发生，从一定角度来看，间接的给企业带来巨大的经济效益。
目前常用的故障检测的方法是基于振动。然而在许多实际的生产环境中，由于其工作条件或是设备的精度等因素的限制，接收振动信号的传感器的安装其实并不能实现。而且在高压、高温、高负载、高湿度或是高度腐蚀的工作环境中，传感器所接受到的振动信号其实并不完全只包含器件的信息，也会掺杂很多干扰信息。通过麦克风阵列采集到机械设备运行过程中的声音信号来分析其工作状态已经成为诊断技术较为新颖的解决方案。这进一步解决了传感器放置不便且受到工作环境影响诊断结果的难题，同时从振动信号转为对声音信号分析这一改进，已经不需要过多的机械专业性知识和经验性的判断，从某种层面上降低了故障诊断技术的入门水平，也打破了局限性。
神经网络具有良好的数据拟合功能，利于处理多变量、非线性、强耦合等的复杂问题，然而，目前基于神经网络的故障识别方法没有将故障识别与故障定位二者结合，所估计故障的位置都是相对静止不动的；另外，目前的方法都是使用分类器，从而以固定角度估计故障存在的可能性，导致故障信号定位的精度有限。
发明内容
针对现有技术中工业设备故障信号定位与识别掺杂干扰信息导致故障信号定位的精度有限等不足，本发明要解决的问题是提供一种基于麦克风阵列的工业设备故障信号定位与识别方法，使故障信号的定位具备更高的分精度。
为解决上述技术问题，本发明采用的技术方案是：
本发明提供一种基于麦克风阵列的工业设备故障信号定位与识别方法，包括以下步骤：
1)采集声音信号，将其分为训练集、验证集和测试集；
2)对训练集中的声音信号进行特征提取，将信号进行离散傅里叶变换来提取频谱图的相位谱图和幅度谱图；
3)将特征提取模块的输出作为输入被送到卷积神经网络，在每层CNN网络中，使用2D CNN来学习频谱图中的平移不变性。
4)在每层CNN之间，使用批量归一化对输出进行归一化，并沿着频率轴使用最大池化层来降低维数；
5)将来自CNN层的输出，送到RNN层用来学习音频信号的时间上下文信息；
6)输入一层全连接层，包含D个节点，使用线性激活函数；
7)将全连接层的输出输入到两个并行的全连接层分支，分别用于故障识别和故障定位；
8)使用验证集验证模型的性能指标，使用测试集验证模型的泛化能力。
步骤4)中，沿着频率轴使用最大池化层来降低维数，包括：
401)将上一层的输出结果根据池化滤波器的大小进行分割区块，选择每个区块的最大值来表示特征值；
402)平均池化在分割的区块中，取区块的平均值作为特征值；
403)池化层输出结果通过如下公式计算：
其中，O是输出图像的尺寸，I表示输出入图像的尺寸，P
s为池化层的尺寸，S为移动步长。
步骤5)中，将来自CNN层的输出，送到RNN层用来学习音频信号的时间上下文信息，包括：
501)CNN网络输出的维度被重塑成长度为2B个特征向量的T帧序列，被送到RNN层用来学习音频信号的时间上下文信息；
502)RNN层选用长短期记忆网络，每层LSTM包含C个节点，使用tanh激活函数，此时维度从(T×2×B)调整为(T×C)维度；其中T为特征序列帧长度，B为卷积核数量，C为每层LSTM网络节点数。
步骤7)中，将全连接层的输出输入到两个并行的全连接层分支，具体为：
声音识别分支中，由具有sigmoid激活函数的全连接层组成，包含2个节点，每个节点对应于重叠声源中的两个声音，使用sigmoid激活函数可以同时识别这两个声音类别。
步骤8)中，用验证集验证模型的性能指标，具体为：
801)采用以下公式进行DOA误差计算：
其中，
表示第t个时间帧中的所有实际DOA值，
表示第t个时间帧中的所有预测DOA值，T表示测试集的所有时间帧长度，
是第t个时间帧中
的DOA数量，如果
表示预测的声源数量，即预测结果为单声源，则
为1；如果预测结果为重叠声源，则
为2，H表示匈牙利算法，DOA误差越小，代表网络模型预测精度越高；
802)采用以下公式分别计算分类指标的精确率和召回率，公式分别如下：
其中，TP为将正类预测为正类数，FP为将负类预测为正类数，FN为将正类预测为负类数，TN为将负类预测为负类数；
803)计算精确率和召回率的调和均值F
1，在0到1之间，值越大代表网络模型的识别性能越好，F
1计算公式为：
其中，TP(t)是在第t个时间帧，实际和预测都是活跃的声音类别的数量，FP(t)是在第t个时间帧，预测中活跃但实际不活跃的声音类别的数量，FN(t)表示在预测中不活跃但实际活跃的声音类别数量；T表示测试集上的总时间帧长度。
本发明具有以下有益效果及优点：
1.本发明使用基于音频信号的非接触式方法，而非基于振动的接触式方法，受环境和接触限制更小；定位使用的是回归算法，相对于常规的分类器方法，分辨率更高，并且并行运行故障定位与故障识别分支，两者同步进行的，同时得到结果，提高了运行效率。
2.本发明方法通过串联CNN与RNN，搭建卷积递归神经网络，利用CNN学习声音的频谱结构信息，RNN学习时间上下文信息，实现了动态故障定位和跟踪，而且定位精度远高于CNN模型；针对多处故障数据集，设计改进的卷积递归神经网络，对多处故障进行识别与定位，并且在每个时间帧上预测重叠故障各自的DOA。
3.本发明方法对于包含更多故障类别的重叠故障场景，只需调整卷积递归神经网络模型的故障类别数量等参数，允许无缝集成到更加广泛的故障定位任务中，基于神经网络采用回归方式预测故障的DOA，其优点是网络不限于一组DOA角度，可以作为高分辨率连续DOA估计器执行。
图1为本发明基于神经网络的多故障定位与识别方法的流程图；
图2A为本发明方法中多故障的实际重叠声源图；
图2B为本发明方法中多故障的识别结果的重叠声源预测图；
图3A为本发明方法中的实际方位角图；
图3B为本发明方法中的实际方位角图；
图4A为本发明方法中的实现仰角图；
图4B为本发明方法中的预测仰角图。
下面结合说明书附图对本发明作进一步阐述。
如图1所示，本发明提供一种基于麦克风阵列的工业设备故障信号定位与识别方法，串联CNN和RNN，使用CNN提取声音的频谱信息，随后这些特征作为RNN的输入做进一步的时间建模，与单独计算相比提升了定位精度。同时加入了故障识别分支，实现了多故障的识别与定位，且两者是同时进行的，具有很高的运行效率。
本发明包括以下步骤：
1)采集声音信号，将其分为训练集、验证集和测试集；
2)对训练集中的声音信号进行特征提取，将信号进行离散傅里叶变换来提取频谱图的相位谱图和幅度谱图；
3)将特征提取模块的输出作为输入被送到卷积神经网络，在每层CNN网络中，使用2D CNN来学习频谱图中的平移不变性。
4)在每层CNN之间，使用批量归一化对输出进行归一化，并沿着频率轴使用最大池化层来降低维数；
5)将来自CNN层的输出，送到RNN层用来学习音频信号的时间上下文信息；
6)输入一层全连接层，包含D个节点，使用线性激活函数；
7)将全连接层的输出输入到两个并行的全连接层分支，分别用于故障识别和故障定位；
8)使用验证集验证模型的性能指标，使用测试集验证模型的泛化能力。
步骤1)中，建立的坐标系为以声源平面为XOY平面，以麦克风阵列在XOY平面的投影点为坐标原点O，建立空间直角坐标系O-XYZ。伞形阵列中心是网络摄像头的位置，用于捕捉目标声源移动的视频数据。声源所在的平面XOY与阵列平面平行，且两个平面是同轴的。
同时在不同位置播放不同声音信号。设置麦克风阵列通道数K＝16，音频采样频率f＝12800Hz，摄像头每秒视频帧数FPS＝25，开始采集，采集时间300秒，此时TDMS文件中包含音频数据和视频数据两个部分。
将采集到的声音信号分为训练集、验证集和测试集，各集合间保持独立。
步骤2)中，对于K通道的音频信号中的每一通道信号，使用长度为 M＝1024且50％重叠的汉明窗截取信号，并进行离散傅里叶变换来提取频谱图的相位谱图和幅度谱图，使用M/2个包含基频和各次谐波的正频率部分作为单独的特征。特征提取模块的输出是T帧的特征序列，维度为T×M/2×(2K)，其中2K维度由K维度幅度分量和K维度相位分量组成。
步骤3)中，CNN网络具体为：卷积层的主要功能是将前一层输出的特征图与卷积核进行卷积运算，其结果作为这一层的输出。卷积核大小为3×3，数量为B个，其沿着时间-频率-通道轴作用，卷积运算之后输出图像的尺寸大小为：
其中O为输出图像的尺寸，I是输入图像的尺寸，K为卷积核的尺寸，S是卷积核移动的步长，P表示填充数。使用ReLU对每层CNN的输出进行激活。ReLU公式为：y＝max(0,x)。
卷积核沿着时间-频率-通道轴作用，使用ReLU对每层CNN的输出进行激活。
步骤4)中，沿着频率轴使用最大池化层来降低维数，包括：
401)将上一层的输出结果根据池化滤波器的大小进行分割区块，选择每个区块的最大值来表示特征值；
402)平均池化在分割的区块中，取区块的平均值作为特征值；
403)池化层输出结果通过如下公式计算：
其中，O是输出图像的尺寸，I表示输出入图像的尺寸，P
s为池化层的尺寸，S为移动步长。
池化层可以将参数矩阵极大地缩小，从而降低模型训练的复杂度，减少信息的冗余度其次，还能防止模型过拟合。
在每层CNN之间，使用批量归一化对输出进行归一化，特征序列长度T帧保持不变，当每层CNN的最大池化值为(8，8，4)时，具有B个卷积核的最后一层CNN之后是T×2×B维的输出，其中降为2的频率维度是最大池化的结果。这样频谱图张量(T×M/2×2K)通过这样3层CNN网络后，维度降为T×2×B。
其中序列长度T、CNN的最大池化值分别为在控制变量法下单独改变该参数的值，观察DOA误差的变化，取DOA误差最小时对应的值。序列长度T与DOA误差的关系如表1所示。CNN的最大池化值与DOA误差的关系如表2所示。
表1为特征序列长度对DOA误差影响：
| 实验 | 特征序列长度 | DOA误差 |
| 1 | 16 | 2.27 |
| 2 | 32 | 1.62 |
| 3 | 64 | 1.91 |
| 4 | 128 | 2.38 |
| 5 | 256 | 2.53 |
可以看出在特征序列长度T取32时，DOA误差最小。
表2为最大池化值对DOA误差影响：
| 实验 | 每层CNN的最大池化值 | DOA误差 |
| 1 | (8，2，2) | 4.73 |
| 2 | (8，2，4) | 4.24 |
| 3 | (8，2，8) | 2.76 |
| 4 | (8，4，2) | 4.15 |
| 5 | (8，4，4) | 2.52 |
| 6 | (8，4，8) | 1.92 |
| 7 | (8，8，2) | 2.53 |
| 8 | (8，8，4) | 1.62 |
| 9 | (8，8，8) | 2.73 |
当三层CNN的最大池化值分别为8、8、4时，卷积递归神经网络预测的DOA误差最小。
步骤5)中，将来自CNN层的输出，送到RNN层用来学习音频信号的时间上下文信息，包括：
501)CNN网络输出的维度被重塑成长度为2B个特征向量的T帧序列，被送到RNN层用来学习音频信号的时间上下文信息；
502)RNN层选用长短期记忆网络，每层LSTM包含C个节点，使用tanh激活函数，此时维度从(T×2×B)调整为(T×C)维度；其中T为特征序列帧长度，B为卷积核数量，C为每层LSTM网络节点数；
其中RNN与CNN层数的选取是根据在不同情况下计算DOA误差，取其中最小的DOA误差得到的，CNN-RNN网络层数与DOA关系如表3。
表3为CNN-RNN层数对DOA误差的影响：
| 实验 | CNN-RNN层数 | DOA误差 |
| 1 | 0CNN-1LSTM | 6.48 |
| 2 | 0CNN-2LSTM | 5.54 |
| 3 | 0CNN-3LSTM | 5.74 |
| 4 | 1CNN-0LSTM | 6.43 |
| 5 | 1CNN-1LSTM | 5.42 |
| 6 | 1CNN-2LSTM | 5.21 |
| 7 | 1CNN-3LSTM | 6.03 |
| 8 | 2CNN-0LSTM | 4.71 |
| 9 | 2CNN-1LSTM | 4.07 |
| 10 | 2CNN-2LSTM | 3.82 |
| 11 | 2CNN-3LSTM | 3.29 |
| 12 | 3CNN-0LSTM | 3.13 |
| 13 | 3CNN-1LSTM | 2.17 |
| 14 | 3CNN-2LSTM | 1.62 |
| 15 | 3CNN-3LSTM | 2.48 |
| 16 | 4CNN-1LSTM | 2.94 |
| 17 | 4CNN-2LSTM | 2.53 |
根据上图，可知在3层CNN，2层LSTM时效果最好。
CNN与RNN层节点数量的选取也是根据固定其他变量时，计算不同节点数量时的DOA误差，选取DOA误差最小时对应的节点数量得到。节点数与DOA误差关系如表4。
表4为CNN、RNN层节点数量对DOA误差影响：
| CNN节点数 | RNN节点数 | DOA误差 |
| 32 | 32 | 2.81 |
| 32 | 64 | 1.17 |
| 32 | 128 | 2.71 |
| 64 | 32 | 4.01 |
| 64 | 64 | 2.43 |
| 64 | 128 | 1.62 |
| 128 | 32 | 2.43 |
| 128 | 64 | 2.11 |
| 128 | 128 | 3.03 |
当每层CNN节点数量为32时，且RNN层节点数量为CNN的两倍时，DOA误差最小。取这个数值为CNN-RNN网络节点数值。
步骤6)中，输入一层全连接层，具体为：
全连接层将前面全连接神经元的输出值连接在一个神经元中。依靠全连接神经网络，将其转换成一个一维的输出神经元，输出公式为：
其中，
为第l层中第j个神经元的输出值，
为第(l-1)层第i个神经元的输出，作为第l层的输入，f(·)表示激活函数，M
j表示为l层输入数据的集合，
表示为第l层第j个神经元的偏置项，
表示为第l层的第j个神经元与输入的第i个神经元的连接权重。
经过全连接层后，数据的维度被调整为T×D。
步骤7)的故障识别分支中，由具有sigmoid激活函数的全连接层组成，包含2个节点，每个节点对应于故障中的不同类型的故障信号，使用sigmoid激活函数可以同时识别这两个故障类别。故障定位分支中的全连接层，包含2×2个节点，分别对应两个声源的方位角、仰角，使用线性激活函数。
步骤8)中，采用以下公式进行DOA误差计算：
其中，
表示第t个时间帧中的所有实际DOA值(实际DOA值表示空间中声源的实际方位角和仰角值)，
表示第t个时间帧中的所有预测DOA值，T表示测试集的所有时间帧长度，
是第t个时间帧中
的DOA数量，如果
表示预测的声源数量，即预测结果为单声源，则
为1；如果预测结果为重叠声源，则
为2，H表示匈牙利算法，DOA误差越 小，代表网络模型预测精度越高；
802)采用以下公式分别计算分类指标的精确率和召回率，公式分别如下：
其中，TP(True Positive)为将正类预测为正类数，FP(False Positive)：为将负类预测为正类数，FN(False Negative)：为将正类预测为负类数，TN(True Negative)：为将负类预测为负类数；
803)计算精确率和召回率的调和均值F
1(F-Score)，在0到1之间，值越大代表网络模型的识别性能越好，F
1计算公式为：
其中，TP(t)是在第t个时间帧，实际和预测都是活跃的声音类别的数量，FP(t)是在第t个时间帧，预测中活跃但实际不活跃的声音类别的数量，FN(t)表示在预测中不活跃但实际活跃的声音类别数量，T表示测试集上的总时间帧长度。
本步骤使用DOA误差作为实验的评估指标，DOA误差是预测DOA与实际DOA之间的平均角度误差，设
表示第t个时间帧中的所有实际DOA值(实际DOA值表示空间中故障的实际方位角和仰角值)，
表示第t个时间帧中的所有预测DOA值，T表示测试集的所有时间帧长度。H为匈牙利算法，用于解决分配问题，通过使用预测和实际DOA之间的球面距离来预测它们之间的成对成本，即将各个预测DOA与对应的实际DOA进行匹配
[48]。匈牙利算法计算公式如下：
H＝arccos(sinφ
Psinφ
R+cosφ
Pcosφ
Rcos(λ
R-λ
P))
其中，实际DOA的方位角、仰角记为(φ
R,λ
R)，预测DOA的方位角、仰角记为(φ
P,λ
P)。DOA误差越小，代表网络模型预测精度越高。
将数据分为split1、split2、split3、split4四个独立的部分，分别作为训练集、验证集和测试集，对模型进行交叉训练与验证，验证结果如表5所示：
表5为交叉验证集的结果：
将最佳参数集合代入网络模型，一组交叉验证上模型的训练时间约为2.5小时，共658305个参数，训练完成后，测试集上只需极短的时间。从四个交叉验证中，故障识别分支的F
1值大约为0.975，表明提出的卷积递归神经网络成功地识别了故障，而且识别率很高。当训练集为split1、split2，验证集为split4，测试集上取得了最低DOA误差，即split3中预测故障的DOA与实际DOA之间的平均角度误差为2.62度。
故障识别的结果比较如图2A～2B所示。定位中方向角与仰角结果比较如图3A～3B和图4A～4B所示。
本发明方法通过串联CNN与RNN，搭建卷积递归神经网络，利用CNN学习声音的频谱结构信息，RNN学习时间上下文信息，此网络实现了动态故障定位和跟踪，而且定位精度远高于CNN模型。针对多处故障数据集，设计改进的卷积递归神经网络，对多处故障进行识别与定位，并且在每个时间帧上预测重叠故障各自的DOA。此外，对于包含更多故障类别的重叠故障场景，只需调整卷积递归神经网络模型的故障类别数量等参数，允许无缝集成到更加广泛的故障定位任务中。本文基于神经网络采用回归方式预测故障的DOA，其优点是网络不限于一组DOA角度，可以作为高分辨率连续DOA估计器执行。
Claims (5)
- 一种基于麦克风阵列的工业设备故障信号定位与识别方法，其特征在于包括以下步骤：1)采集声音信号，将其分为训练集、验证集和测试集；2)对训练集中的声音信号进行特征提取，将信号进行离散傅里叶变换来提取频谱图的相位谱图和幅度谱图；3)将特征提取模块的输出作为输入被送到卷积神经网络，在每层CNN网络中，使用2D CNN来学习频谱图中的平移不变性；4)在每层CNN之间，使用批量归一化对输出进行归一化，并沿着频率轴使用最大池化层来降低维数；5)将来自CNN层的输出，送到RNN层用来学习音频信号的时间上下文信息；6)输入一层全连接层，包含D个节点，使用线性激活函数；7)将全连接层的输出输入到两个并行的全连接层分支，分别用于故障识别和故障定位；8)使用验证集验证模型的性能指标，使用测试集验证模型的泛化能力。
- 根据权利要求1所述的基于麦克风阵列的工业设备故障信号定位与识别方法，其特征在于步骤4)中，沿着频率轴使用最大池化层来降低维数，包括：401)将上一层的输出结果根据池化滤波器的大小进行分割区块，选择每个区块的最大值来表示特征值；402)平均池化在分割的区块中，取区块的平均值作为特征值；403)池化层输出结果通过如下公式计算：
其中，O是输出图像的尺寸，I表示输出入图像的尺寸，P s为池化层的尺寸，S为移动步长。 - 根据权利要求1所述的基于麦克风阵列的工业设备故障信号定位与识别方法，其特征在于步骤5)中，将来自CNN层的输出，送到RNN层用来学习音频信号的时间上下文信息，包括：501)CNN网络输出的维度被重塑成长度为2B个特征向量的T帧序列，被送到RNN层用来学习音频信号的时间上下文信息；502)RNN层选用长短期记忆网络，每层LSTM包含C个节点，使用tanh激活函数，此时维度从(T×2×B)调整为(T×C)维度；其中T为特征序列帧长度，B为卷积核数量，C为每层LSTM网络节点数。
- 根据权利要求1所述的基于麦克风阵列的工业设备故障信号定位与识别方法，其特征在于步骤7)中，将全连接层的输出输入到两个并行的全 连接层分支，具体为：声音识别分支中，由具有sigmoid激活函数的全连接层组成，包含2个节点，每个节点对应于重叠声源中的两个声音，使用sigmoid激活函数可以同时识别这两个声音类别。
- 根据权利要求1所述的基于麦克风阵列的工业设备故障信号定位与识别方法，其特征在于步骤8)中，用验证集验证模型的性能指标，具体为：801)采用以下公式进行DOA误差计算：
其中，表示第t个时间帧中的所有实际DOA值，
表示第t个时间帧中的所有预测DOA值，T表示测试集的所有时间帧长度，
是第t个时间帧中
的DOA数量，如果
表示预测的声源数量，即预测结果为单声源，则
为1；如果预测结果为重叠声源，则
为2，H表示匈牙利算法，DOA误差越小，代表网络模型预测精度越高；
802)采用以下公式分别计算分类指标的精确率和召回率，公式分别如下：
其中，TP为将正类预测为正类数，FP为将负类预测为正类数，FN为将正类预测为负类数，TN为将负类预测为负类数；803)计算精确率和召回率的调和均值F 1，在0到1之间，值越大代表网络模型的识别性能越好，F 1计算公式为：
其中，TP(t)是在第t个时间帧，实际和预测都是活跃的声音类别的数量，FP(t)是在第t个时间帧，预测中活跃但实际不活跃的声音类别的数量，FN(t)表示在预测中不活跃但实际活跃的声音类别数量；T表示测试集上的总时间帧长度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/781,475 US20230152187A1 (en) | 2020-12-04 | 2021-07-29 | Fault signal locating and identifying method of industrial equipment based on microphone array |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011416944.9 | 2020-12-04 | ||
| CN202011416944.9A CN112560913B (zh) | 2020-12-04 | 2020-12-04 | 一种基于麦克风阵列的工业设备故障信号定位与识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022116570A1 true WO2022116570A1 (zh) | 2022-06-09 |
Family
ID=75059094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2021/109200 WO2022116570A1 (zh) | 2020-12-04 | 2021-07-29 | 一种基于麦克风阵列的工业设备故障信号定位与识别方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230152187A1 (zh) |
| CN (1) | CN112560913B (zh) |
| WO (1) | WO2022116570A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115828165A (zh) * | 2023-02-15 | 2023-03-21 | 南京工大金泓能源科技有限公司 | 一种新能源智能微电网数据处理方法及系统 |
| CN116310599A (zh) * | 2023-05-17 | 2023-06-23 | 湖北工业大学 | 基于改进cnn-pnn网络的电力变压器故障诊断方法及系统 |
| CN117788841A (zh) * | 2024-02-23 | 2024-03-29 | 青岛大学 | 一种基于双谱分析和cnn的永磁电机退磁故障诊断方法 |
| CN117788841B (zh) * | 2024-02-23 | 2024-05-17 | 青岛大学 | 一种基于双谱分析和cnn的永磁电机退磁故障诊断方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560913B (zh) * | 2020-12-04 | 2023-11-03 | 东北大学 | 一种基于麦克风阵列的工业设备故障信号定位与识别方法 |
| CN114254680B (zh) * | 2022-02-28 | 2022-05-17 | 成都大公博创信息技术有限公司 | 基于多特征信息的深度学习网络调制识别方法 |
| CN115691556B (zh) * | 2023-01-03 | 2023-03-14 | 北京睿科伦智能科技有限公司 | 一种设备端多通道语音质量的检测方法 |
| CN116698977B (zh) * | 2023-08-07 | 2023-10-31 | 山东科技大学 | 一种基于声音信号的煤矸识别传感器及识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154037A (zh) * | 2017-04-20 | 2017-09-12 | 西安交通大学 | 基于深度层次特征提取的风机叶片故障识别方法 |
| CN111160167A (zh) * | 2019-12-18 | 2020-05-15 | 北京信息科技大学 | 基于s变换深度卷积神经网络的主轴故障分类识别方法 |
| US20200371491A1 (en) * | 2017-10-26 | 2020-11-26 | Gb Gas Holdings Limited | Determining Operating State from Complex Sensor Data |
| CN112560913A (zh) * | 2020-12-04 | 2021-03-26 | 东北大学 | 一种基于麦克风阵列的工业设备故障信号定位与识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190273510A1 (en) * | 2018-03-01 | 2019-09-05 | Crowdstrike, Inc. | Classification of source data by neural network processing |
-
2020
- 2020-12-04 CN CN202011416944.9A patent/CN112560913B/zh active Active
-
2021
- 2021-07-29 US US17/781,475 patent/US20230152187A1/en active Pending
- 2021-07-29 WO PCT/CN2021/109200 patent/WO2022116570A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154037A (zh) * | 2017-04-20 | 2017-09-12 | 西安交通大学 | 基于深度层次特征提取的风机叶片故障识别方法 |
| US20200371491A1 (en) * | 2017-10-26 | 2020-11-26 | Gb Gas Holdings Limited | Determining Operating State from Complex Sensor Data |
| CN111160167A (zh) * | 2019-12-18 | 2020-05-15 | 北京信息科技大学 | 基于s变换深度卷积神经网络的主轴故障分类识别方法 |
| CN112560913A (zh) * | 2020-12-04 | 2021-03-26 | 东北大学 | 一种基于麦克风阵列的工业设备故障信号定位与识别方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115828165A (zh) * | 2023-02-15 | 2023-03-21 | 南京工大金泓能源科技有限公司 | 一种新能源智能微电网数据处理方法及系统 |
| CN115828165B (zh) * | 2023-02-15 | 2023-05-02 | 南京工大金泓能源科技有限公司 | 一种新能源智能微电网数据处理方法及系统 |
| CN116310599A (zh) * | 2023-05-17 | 2023-06-23 | 湖北工业大学 | 基于改进cnn-pnn网络的电力变压器故障诊断方法及系统 |
| CN116310599B (zh) * | 2023-05-17 | 2023-08-15 | 湖北工业大学 | 基于改进cnn-pnn网络的电力变压器故障诊断方法及系统 |
| CN117788841A (zh) * | 2024-02-23 | 2024-03-29 | 青岛大学 | 一种基于双谱分析和cnn的永磁电机退磁故障诊断方法 |
| CN117788841B (zh) * | 2024-02-23 | 2024-05-17 | 青岛大学 | 一种基于双谱分析和cnn的永磁电机退磁故障诊断方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112560913B (zh) | 2023-11-03 |
| US20230152187A1 (en) | 2023-05-18 |
| CN112560913A (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022116570A1 (zh) | 一种基于麦克风阵列的工业设备故障信号定位与识别方法 | |
| Souza et al. | Deep learning for diagnosis and classification of faults in industrial rotating machinery | |
| Wang et al. | Multiscale convolutional attention network for predicting remaining useful life of machinery | |
| Wu et al. | A weighted deep domain adaptation method for industrial fault prognostics according to prior distribution of complex working conditions | |
| CN110705525A (zh) | 一种诊断滚动轴承故障的方法及装置 | |
| CN111860446A (zh) | 一种卫星遥测时序数据未知模式的检测系统与方法 | |
| US20200393329A1 (en) | Diagnosing method of engine condition and diagnostic modeling method thereof | |
| Yu et al. | Challenges and opportunities of deep learning-based process fault detection and diagnosis: a review | |
| Huang et al. | The Internet technology for defect detection system with deep learning method in smart factory | |
| CN113158722A (zh) | 基于多尺度深度神经网络的旋转机械故障诊断方法 | |
| Qiu et al. | A piecewise method for bearing remaining useful life estimation using temporal convolutional networks | |
| Zhang et al. | Gated recurrent unit-enhanced deep convolutional neural network for real-time industrial process fault diagnosis | |
| Xu et al. | Global attention mechanism based deep learning for remaining useful life prediction of aero-engine | |
| CN113450827A (zh) | 基于压缩神经网络的设备异常工况声纹分析算法 | |
| Ning et al. | An intelligent device fault diagnosis method in industrial internet of things | |
| Kulevome et al. | Rolling bearing fault diagnostics based on improved data augmentation and ConvNet | |
| Zhang et al. | A Flexible Monitoring Framework via Dynamic-Multilayer Graph Convolution Network | |
| CN114841196A (zh) | 一种基于监督学习的机械设备智能故障检测方法及系统 | |
| Sharmila et al. | A two-step unsupervised learning approach to diagnose machine fault using big data | |
| CN114233581A (zh) | 一种风机机舱智能巡视报警系统 | |
| CN113820123A (zh) | 一种基于改进cnn和选择性集成的齿轮箱故障诊断方法 | |
| Wolf et al. | Unsupervised data-driven automotive diagnostics with improved deep temporal clustering | |
| CN115556099B (zh) | 一种可持续学习的工业机器人故障诊断系统及方法 | |
| Wang et al. | An improved transfer learning method for bearing diagnosis under variable working conditions based on dilated convolution | |
| Chen et al. | Bearing Fault Diagnosis Based on Frequency Subbands Feature Extraction and Multibranch One-Dimension Convolutional Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21899609 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21899609 Country of ref document: EP Kind code of ref document: A1 |