WO2022120665A1 - 一种基于深度学习的电容缺陷智能检测方法 - Google Patents

一种基于深度学习的电容缺陷智能检测方法 Download PDF

Info

Publication number
WO2022120665A1
WO2022120665A1 PCT/CN2020/135051 CN2020135051W WO2022120665A1 WO 2022120665 A1 WO2022120665 A1 WO 2022120665A1 CN 2020135051 W CN2020135051 W CN 2020135051W WO 2022120665 A1 WO2022120665 A1 WO 2022120665A1
Authority
WO
WIPO (PCT)
Prior art keywords
network
feature
deep learning
regression
intelligent detection
Prior art date
Application number
PCT/CN2020/135051
Other languages
English (en)
French (fr)
Inventor
蔡洪斌
卢光辉
王涵
卢平悦
黄娅婷
李一帆
范云翼
王博洋
伏彪
Original Assignee
电子科技大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 电子科技大学 filed Critical 电子科技大学
Priority to PCT/CN2020/135051 priority Critical patent/WO2022120665A1/zh
Publication of WO2022120665A1 publication Critical patent/WO2022120665A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the invention belongs to the field of computer intelligent detection, in particular to an intelligent detection method for capacitance defects based on deep learning.
  • the present invention only judges and detects the physical defects inside the capacitor, such as bubbles, voids, cracks, impurities and the like.
  • a LabVIEW-based capacitor defect detection system is implemented using algorithms such as sparse median filtering, mixed grayscale transformation and image processing of global threshold segmentation.
  • the paper “Research and Development of Capacitor Surface Defect Detection System Based on Machine Vision” adopts a set of capacitor surface defect detection system developed by an improved algorithm based on Canny operator.
  • the paper “Application of Machine Vision in Capacitor Appearance Defect Detection” uses image acquisition, preprocessing, etc.
  • the invention patent "A Machine Vision-Based Capacitive Defect Detection Method” adopts the steps of rotating the capacitor to obtain the capacitive surface image data set, the capacitive surface coding template, and defect detection to complete the detection of the capacitance.
  • the invention patent "An Appearance Defect Detection Device of Electrolytic Capacitor” uses the image collected by the capacitor in all directions without dead angle to judge whether there is a defect.
  • the present invention is mainly aimed at a method for intelligently detecting defects by using a deep learning framework on capacitive images acquired by ultrasonic imaging.
  • the method has good robustness, and can obtain better prediction results even in the presence of a large number of noise points in the image or in the case of different sizes of capacitors.
  • the invention provides an intelligent detection method for capacitance defects based on deep learning, which includes the following main steps:
  • Step 1 crop the dataset, expand the length and width of the original ultrasound capacitive image to an integer multiple of 512, and crop it into several 512 ⁇ 512 pictures.
  • Step 2 data expansion, using the image processing method to process the data obtained in the previous step to obtain a more abundant data set. This step not only expands the number of datasets, but also alleviates the "overfitting" problem to a certain extent.
  • This step mainly includes:
  • Step 2.1 image translation, rotation and zoom processing, translate the original image by any length in any direction or rotate the original image by any angle in any direction or reduce or enlarge the original image. If the transformed image exceeds 512 ⁇ 512, it will be directly truncated. On the contrary, if it is smaller than 512 ⁇ 512, it will be filled with a white background.
  • Step 2.2 add Gaussian noise.
  • Gaussian noise is a mean value of 0 and a variance of is normally distributed and is an additive noise. This step may lead to a lower level of information distortion, but it can greatly increase the learning ability of the network and avoid the phenomenon of "overfitting".
  • Step 3 label smoothing, perform preprocessing on the training sample labels to improve the generalization ability of the network.
  • Step 4 Build a network model and parameters, combine the mainstream feature extraction network architecture, and use feature layer processing techniques such as attention mechanism and multiple feature fusion to build the network model of the present invention.
  • This step mainly includes:
  • Step 4.1 build a backbone network
  • the backbone network is used to perform preliminary feature extraction on the input data, and continuously increase the network depth to obtain feature maps of different scales.
  • a feature layer processing structure is constructed, and the feature layer processing structure is used to further process the feature layer extracted from the backbone network to obtain a feature map with richer semantics.
  • Step 4.3 construct the output structure of the network, according to the specific situation of the detection task and the network design method, it is necessary to design the targeted output results.
  • Step 5 train the network model and parameters, use the data set and network model obtained in the above steps to train the network parameters, and obtain the final training data.
  • Step 6 Apply the network model test data, use the training data obtained in the previous step, test the input data set, and output the predicted value.
  • Step 7 post-processing, further decoding, non-maximum suppression and effect display of the output value of the network.
  • This step mainly includes:
  • Step 7.1 decoding, according to the network output result, perform a decoding operation on the result to obtain the real regression box information.
  • Step 7.2 non-maximum suppression, through the non-maximum suppression method, remove the overlapping frames that overlap more.
  • step 7.3 the effect is displayed.
  • the drawing tool uses the drawing tool to draw information such as the position, label and confidence of the regression frame.
  • FIG. 1 shows the basic flow of an intelligent detection method for capacitance defects based on deep learning of the present invention.
  • FIG. 2 shows the specific flow of an intelligent detection method for capacitance defects based on deep learning of the present invention.
  • FIG. 3 shows a schematic diagram of the backbone network structure of a deep learning-based intelligent detection method for capacitance defects of the present invention.
  • FIG. 4 shows the structure diagram shown in Layer 1 in the backbone network structure diagram of a deep learning-based intelligent detection method for capacitance defects of the present invention.
  • FIG. 5 shows a schematic structural diagram of Layer 2 to Layer 6 in the backbone network structure diagram of a deep learning-based intelligent detection method for capacitance defects of the present invention.
  • FIG. 6 shows a schematic diagram of a feature processing layer structure of a deep learning-based intelligent detection method for capacitance defects of the present invention.
  • Step 1 crop the dataset, expand the length and width of the original ultrasound capacitive image to an integer multiple of 512, and crop it into several 512 ⁇ 512 pictures.
  • Step 2 data expansion, using the image processing method to process the data obtained in the previous step to obtain a more abundant data set. This step not only expands the number of datasets, but also alleviates the "overfitting" problem to a certain extent.
  • This step mainly includes:
  • Step 2.2 add Gaussian noise.
  • Gaussian noise is a mean value of 0 and a variance of is normally distributed and is an additive noise. This step may lead to a lower level of information distortion, but it can greatly increase the learning ability of the network and avoid the phenomenon of "overfitting".
  • Step 3 label smoothing, perform preprocessing on the training sample labels to improve the generalization ability of the network.
  • two categories are often represented by a vector composed of n array elements to represent the probability of each category.
  • the training label there is only 0 or 1 in the vector, indicating that it must not be the category or must be the category.
  • the predicted probability needs to be used to fit the real probability, and the above labeling method will bring two problems: (1) the generalization ability of the model cannot be guaranteed, which is easy to cause over-fitting; (2) full probability and zero probability
  • the distance between the class and other classes is encouraged to be as large as possible, as the gradient is bounded, which can cause the model to trust the predicted class too much.
  • Label smoothing avoids the above problems.
  • the specific method is to modify the label according to formula (1), where ⁇ represents the smoothing factor, which is a hyperparameter.
  • new_label old_label*(1- ⁇ )+ ⁇ /num_class (1)
  • Step 4 Build a network model and parameters, combine the mainstream feature extraction network architecture, and use feature layer processing techniques such as attention mechanism and multiple feature fusion to build the network model of the present invention.
  • This step mainly includes:
  • Step 4.1 build a backbone network
  • the backbone network is used to perform preliminary feature extraction on the input data, and continuously increase the network depth to obtain feature maps of different scales.
  • the backbone feature network is shown in Figure 3.
  • the input image size of the feature extraction network is 512 ⁇ 512, and a total of 6 large-step feature extraction operations are performed.
  • the main function of the Layer1 layer is to increase the number of feature channels. Its composition is shown in Figure 4.
  • the function of Conv2D is to use 32 convolution kernels of size 3 ⁇ 3 to process the input data and increase the number of channels to 32 dimensions.
  • the convolutional feature layer is then processed by a Batch Normalization (BN) layer.
  • BN Batch Normalization
  • the role of the BN layer is to forcibly pull the input distribution that is gradually approaching the interval limit saturation region after the nonlinear function mapping to the standard normal distribution with a mean of 0 and a variance of 1 for each neuron of the hidden layer. Make the input value of the nonlinear transformation function fall into the region that is more sensitive to the input, so as to avoid the problem of "gradient disappearance".
  • the specific implementation process of the BN layer is shown in formulas (2) to (5),
  • the residual structure uses the identity mapping transformation to directly transmit the output of the previous layer to the output structure of the subsequent layer, so that the learning target is changed from h(X) to h(X)-X, that is, the residual of the previous step, in Always keep a large value when backpropagating.
  • SE Block mainly includes two parts: Squeeze and Excitation.
  • the Squeeze operation is a global operation, and its formula is shown in formula (6). This formula converts the input of H ⁇ W ⁇ C into the output of 1 ⁇ 1 ⁇ C.
  • the result of this step is equivalent to the distribution of C feature maps, also called global information.
  • the excitation operation is shown in formula (7), first multiply W1 by the result z obtained by multiplying W1 by Squeeze (this is a fully connected layer operation), the dimension of W1 is C/r ⁇ C, and this r is a scaling parameter, the value of this algorithm is 16, the purpose of this parameter is to reduce the number of channels and thus reduce the amount of calculation.
  • the result of (W1z) is 1 ⁇ 1 ⁇ C/r.
  • the output dimension remains unchanged, and then multiplied with W2 (this is also a full connection operation), the dimension of W2 is C ⁇ C/r, so the output The dimension is 1 ⁇ 1 ⁇ C, and finally s is obtained by sigmoid function activation.
  • the final result can be obtained by multiplying the obtained s by the original feature map.
  • the formula is shown in formula (8).
  • Sc is a number and the weight value of the channel.
  • Each value of the two-dimensional matrix is multiplied by S c .
  • SE Block the network can be more focused on effective channels, making detection more accurate.
  • a feature layer processing structure is constructed, and the feature layer processing structure is used to further process the feature layer extracted from the backbone network to obtain a feature map with richer semantics.
  • the feature layer processing structure of the present invention is shown in Figure 6. This structure uses the feature outputs of the last three layers in the backbone feature extraction structure as the input, and the output of the Layer 6 layer is convolved and upsampled by 2 times and 4 times respectively, and respectively The feature layers output by Layer5 and Layer4 are fused; the output of the Layer4 layer is down-sampled and convolved with the output of the Layer5 feature layer.
  • connection method has the following two advantages: (1) make full use of multi-scale features and introduce multi-scale skip connections, which combine low-level semantics and high-level semantics from scales; (2) deep-supervised training, from comprehensive aggregation Hierarchical representations are learned in feature maps, and the mixed loss Korean is optimized to enhance boundary information.
  • Step 4.3 construct the output structure of the network, according to the specific situation of the detection task and the network design method, it is necessary to design the targeted output results.
  • three feature maps of size 64 ⁇ 64 ⁇ 128, 32 ⁇ 32 ⁇ 256 and 16 ⁇ 16 ⁇ 512 are obtained. Therefore, the network outputs three dimensions correspondingly: 64 ⁇ 64 ⁇ 18, 32 ⁇ 32 ⁇ 18 and 16 ⁇ 16 ⁇ 18, which represent three targets of different scales, of which “18” represents 3 a priori boxes ⁇ (4 Regression box prediction + 1 confidence + 1 detection category).
  • Step 5 Train the network model and parameters, and use the data set and network model obtained in the above steps to train network parameters to obtain final training data. After the above steps, the completed dataset and network structure are now obtained. Once the learning hyperparameters are set in this step, training can begin. Common hyperparameters are: number of iterations, learning rate, split between validation and training sets, and batch size. After the network training is completed, the parameter weight information can be obtained.
  • Step 6 Apply the network model test data, use the training data obtained in the previous step, test the input data set, and output the predicted value.
  • Step 7 post-processing, further decoding, non-maximum suppression and effect display of the output value of the network.
  • This step mainly includes:
  • Step 7.1 decoding, according to the network output result, perform a decoding operation on the result to obtain the real regression box information.
  • the final output result of the deep learning network of the present invention includes: regression box prediction information, confidence level, and category information.
  • the prediction information of the regression box is not the real coordinates of the regression box, but the translation scale and scaling scale of the a priori box, which needs to be decoded by formulas (9) to (12) to obtain the center point coordinates and length and width information of the final predicted regression box.
  • Step 7.2 non-maximum suppression, remove the regression boxes with more overlaps by the non-maximum suppression method. For each regression box, calculate the intersection over union (IoU) between the current regression box and other regression boxes. If IoU ⁇ 0.3 and the predicted label of the regression box is the same object, the regression with higher confidence will be reserved. box, and discard the regression box with lower confidence.
  • IoU intersection over union
  • step 7.3 the effect is displayed.
  • the drawing tool uses the drawing tool to draw information such as the position, label and confidence of the regression frame. For each prediction box, if its confidence > 0.5, draw the position, label category and confidence value of its regression box on the original image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明是一种基于深度学习的电容缺陷智能检测方法。该方法包括：数据集裁剪、数据扩充、标签平滑、构建网络与参数、训练网络模型与参数、应用网络模型测试数据以及后处理。该方法使用深度学习框架提取特征，并对提取的特征进一步加工处理，实现对多尺度缺陷电容的检测，提升了检测的准确率，同时提升了检测的速度，也避免了使用人眼辨别困难大、成本高，以及传统图像处理和计算机视觉等方法的精确度低等问题。

Description

一种基于深度学习的电容缺陷智能检测方法 技术领域
本发明属于计算机智能检测领域，尤其涉及一种基于深度学习的电容缺陷智能检测方法。
背景技术
随着电子信息产业的蓬勃发展，电子器件作为该产业的重要组成部件也逐渐得到关注。电子器件是电子产品的核心单元，然而任何细小的缺陷都可能影响整个产品的使用，甚至对使用者造成重大损失，所以生产厂家会采取提高工艺技术等方法来降低缺陷率。尽管这些方法能从一定程度上降低缺陷率，但是不可避免地还是可能会产生少量的缺陷电容，进而针对电子器件的缺陷检测就显得尤为重要了。传统的缺陷检测方案是依靠人眼对每一个器件进行判别，这不仅要耗费巨大的人力成本，而且在人眼疲劳后也无法保证检测的效率和准确率。因此，提出一种智能的缺陷检测方法意义重大。
本发明仅针对电容内部的物理缺陷，如气泡、空洞、裂纹、杂质等进行判断检测。论文“基于LabVIEW的电容器缺陷检测系统研究”采用稀疏中值滤波、混合灰度变换和全局阈值分割的图像处理等算法，实现了一种基于LabVIEW的电容缺陷检测系统。论文“基于机器视觉的电容器表面缺陷检测系统的研究与开发”采用了一种基于Canny算子的改进算法研发的一套电容器外观缺陷检测系统。论文“机器视觉在电容器外观缺陷检测中的应用”采用图像采集、预处理等方式匹配定位电容区域，并采用阈值分割和模板匹配检测缺陷，并通过Blob分析数据得到检测结果。发明专利“一种基于机器视觉的电容缺陷检测方法”采用转动电容获得电容表面图像数据集、电容表面编码模板、缺陷检测等步骤完成对电容的检测。发明专利“一种电解电容外观缺陷检测装置”采用电容的全方位无死角采集的图像来判断是否存在缺陷。
以上所述的技术方案均采用图像处理或者计算机视觉的方法实现对缺陷电容的筛选。此类检测方法的设计原理比较简单，对于一些较明显的缺陷可以正确检出，但是也存在一个缺点就是鲁棒性差。在实际生产过程中，电容图像可能存在大量的干扰因素，此时通过传统方案难以得到更加精确的结果。
本发明主要针对采用超声波成像采集得到的电容图像，使用深度学习框架进行缺陷智能检测的方法。该方法具备良好的鲁棒性，即使在图像存在大量噪声点，或者电容器件大小不一的情况下，也能获得较好的预测结果。
发明内容
本发明提供了一种基于深度学习的电容缺陷智能检测方法，包括以下主要步骤：
步骤1，数据集裁剪，将原始超声电容图像长宽均扩充为512的整数倍数，并将其裁剪为若干512×512的图片。
步骤2，数据扩充，采用图像处理方法对上一步得到的数据进行处理，得到更加丰富的数据集。此步骤不仅能扩充数据集数量，还能在一定程度上缓解“过拟合”问题。
本步骤主要包括：
步骤2.1，图像平移、旋转以及缩放处理，将原始图片沿任意方向平移任意长度或将原始图像沿任意方向旋转任意角度或将原始图像缩小或放大。若变换后的图片超过512×512，则直接将其截断，反之，若小于512×512，则用白底填充。
步骤2.2，添加高斯噪声，高斯噪声是一个均值为0，方差为
Figure PCTCN2020135051-appb-000001
的正态分布，是一个加性噪声。此步骤可能会导致有较低的信息失真水平，但是却能极大地增加网络的学习能力，避免发生“过拟合”的现象。
步骤3，标签平滑，对训练样本标签执行预处理，提高网络的泛化能力。
步骤4，构建网络模型与参数，结合主流特征提取网络架构，运用注意力机制、多重特征融合等特征层处理技巧搭建本发明网络模型。
本步骤主要包括：
步骤4.1，构建主干网络，主干网络用于对输入数据做初步的特征提取，不断增加网络深度，获得不同尺度的特征图。
步骤4.2，构建特征层处理结构，特征层处理结构用于对主干网络中提取的特征层作进一步的加工，得到语义更加丰富的特征图。
步骤4.3，构建网络的输出结构，根据检测任务的具体情况和网络设计方式，需要设计针对性的输出结果。
步骤5，训练网络模型与参数，使用上述步骤得到的数据集和网络模型训练 网络参数，得到最终训练数据。
步骤6，应用网络模型测试数据，使用上一步得到的训练数据，对输入数据集测试，输出预测值。
步骤7，后处理，对网络的输出值进一步解码、非极大抑制以及效果展示。
本步骤主要包括：
步骤7.1，解码，根据网络输出结果，对该结果进行解码操作，获得真实回归框信息。
步骤7.2，非极大抑制，通过非极大抑制法，去除重叠较多的重叠框。
步骤7.3，效果展示，得出最终预测框后，采用画图工具绘制回归框的位置、标签以及置信度等信息。
附图说明
图1示出了本发明一种基于深度学习的电容缺陷智能检测方法的基本流程。
图2示出了本发明一种基于深度学习的电容缺陷智能检测方法的具体流程。
图3示出了本发明一种基于深度学习的电容缺陷智能检测方法的主干网络结构示意图。
图4示出了本发明一种基于深度学习的电容缺陷智能检测方法的主干网络结构图中Layer1所示结构图。
图5示出了本发明一种基于深度学习的电容缺陷智能检测方法的主干网络结构图中的Layer2～Layer6结构示意图。
图6示出了本发明一种基于深度学习的电容缺陷智能检测方法的特征处理层结构的示意图。
具体实施方式
下面结合附图和实施例对本发明优先实施方式进一步说明。
图1所示的流程图给出了本发明试试的基本流程，图2所示的流程图给出了本发明整个实施的具体过程：
步骤1，数据集裁剪，将原始超声电容图像长宽均扩充为512的整数倍数，并将其裁剪为若干512×512的图片。
步骤2，数据扩充，采用图像处理方法对上一步得到的数据进行处理，得到更加丰富的数据集。此步骤不仅能扩充数据集数量，还能在一定程度上缓解“过拟合”问题。
本步骤主要包括：
步骤2.1，图像平移、旋转以及缩放处理，将原始图片沿任意方向平移任意长度或将原始图像沿任意方向旋转任意角度或将原始图像缩小或放大。若变换后的图片超过512×512，则直接将其截断，反之，若小于512×512，则用白底填充。
步骤2.2，添加高斯噪声，高斯噪声是一个均值为0，方差为
Figure PCTCN2020135051-appb-000002
的正态分布，是一个加性噪声。此步骤可能会导致有较低的信息失真水平，但是却能极大地增加网络的学习能力，避免发生“过拟合”的现象。
步骤3，标签平滑，对训练样本标签执行预处理，提高网络的泛化能力。对于分类任务，常常将两个类别用n个数组元素组成的向量来表示每个类别的概率，在设置训练标签时，向量中只有0或者1，表明必定不是该类别或者必定是该类别。对于损失函数，需要用预测概率去拟合真实概率，然后上述标签方式会带来两个问题：(1)无法保证模型的泛化能力，容易造成过拟合；(2)全概率和零概率鼓励所属类别和其他类别之间的距离尽可能大，由梯度有界可知，这种情况会导致模型过于相信预测的类别。标签平滑可以避免上述问题。其具体做法为，按照公式(1)修改标签，式中∈表示平滑因子，是一个超参数。
new_label＝old_label*(1-∈)+∈/num_class   (1)
步骤4，构建网络模型与参数，结合主流特征提取网络架构，运用注意力机制、多重特征融合等特征层处理技巧搭建本发明网络模型。
本步骤主要包括：
步骤4.1，构建主干网络，主干网络用于对输入数据做初步的特征提取，不断 增加网络深度，获得不同尺度的特征图。主干特征网络如图3所示。特征提取网络的输入图片大小为512×512，一共执行6大步特征提取操作。其中Layer1层的主要作用是提升特征通道数，其组成如图4所示，Conv2D的作用是使用32个大小3×3的卷积核处理输入数据，将通道数提升为32维。后续经过一层Batch Normalization(BN)层处理经过卷积后的特征层。BN层的作用是，对于每一个隐藏层的神经元，把逐渐向非线性函数映射后的区间极限饱和区靠近的输入分布强制拉回到均值为0，方差为1的标准正态分布上，使得非线性变换函数的输入值落入对输入比较敏感的区域，以此避免“梯度消失”的问题。BN层的具体实施过程如公式(2)～(5)所示，
Figure PCTCN2020135051-appb-000003
Figure PCTCN2020135051-appb-000004
Figure PCTCN2020135051-appb-000005
Figure PCTCN2020135051-appb-000006
首先初始化待学习参数γ和β，并输入mini-batch的数据集B(x1,…xm)；按照式(2)计算mini-batch的均值μ β；按照式(3)计算mini-batch的方差
Figure PCTCN2020135051-appb-000007
按照式(4)得到变换后的值
Figure PCTCN2020135051-appb-000008
按照式(5)得出最终的偏移结果y i。主干特征提取网络的Layer2～Layer6十分相似，其组成部分如图5所示。由图可知，从数据输入后首先经过了两个分支曾，左分支为一个大的残差层，右分支为X个残差结构和注意力结构(Squeeze-and-Excitation Block,SE Block)的叠加。残差结构使用恒等映射变换把上一层的输出直接传送到后面层的输出结构中，使得将学习目标由h(X)变为了h(X)-X，即前一步的残差，在反向传播的时候始终保持一个很大的值。SE Block主要包含Squeeze和Excitation两个部分。Squeeze操作就是一个全局操作，其公式如式(6)所示。该公式将H×W×C的输入转化为1×1×C的输出，这一步的结果相当于C个特征图的分布情况，也称作全局信息。Excitation操作如公式(7)所示，先用W1乘以先用W1乘以Squeeze得到的结果z(这是一个全连接层操作)，W1的维度是C/r×C，这个r是一个缩放参数，本算法取值 为16，这个参数的目的是为了减少通道个数从而降低计算量。(W1z)的结果为1×1×C/r，经过Relu激活层后，输出维度不变，之后与W2相乘(这也是全连接操作)，W2的维度是C×C/r，因此输出维度为1×1×C，最后通过sigmoid函数激活得到s。将得到的s乘以原始特征图，即可得到最终结果，其公式如式(8)所示，Sc是一个数，也是该通道的权重值，u c是一个二维矩阵，相当于将该二维矩阵的每一个值都乘以S c。通过SE Block可以让网络更加专注于有效的通道，使得检测更加准确。
Figure PCTCN2020135051-appb-000009
s＝F ex(z,W)＝σ(g(z,W))＝σ(W 2δ(W 1z))    (7)
Figure PCTCN2020135051-appb-000010
步骤4.2，构建特征层处理结构，特征层处理结构用于对主干网络中提取的特征层作进一步的加工，得到语义更加丰富的特征图。本发明特征层处理结构如图6所示，该结构使用主干特征提取结构中的后三层特征输出作为输入，将Layer6层的输出经过卷积后分别向上采样2倍和4倍，并分别与Layer5和Layer4输出的特征层融合；将Layer4层的输出经过下采样和卷积后与Layer5特征层的输出融合。这样的连接方式具备以下两个优势：(1)充分利用多尺度特征，引入多尺度跳跃连接，该连接结合了来自尺度的低级语义和高级语义；(2)进行深监督训练，从全面的聚合特征图中学习层次表示，优化了混合损失韩式以增强边界信息。
步骤4.3，构建网络的输出结构，根据检测任务的具体情况和网络设计方式，需要设计针对性的输出结果。经过特征处理结构后，将得到的三个大小分别为64×64×128、32×32×256和16×16×512的特征图。所以网络对应输出三个维度：64×64×18、32×32×18以及16×16×18，他们分别表示三个不同尺度的目标，其中“18”表示3个先验框×(4个回归框预测值+1个置信度+1个检测类别)。
步骤5，训练网络模型与参数，使用上述步骤得到的数据集和网络模型训练网络参数，得到最终训练数据。经过上述几步后，现已获得完成的数据集和网络结构。此步骤设置了学习超参数后，即可开始训练。常见的超参数有：迭代次数、学习率、验证集与训练集分配比例以及batch size大小。网络训练完成后，即可得到参数权重信息。
步骤6，应用网络模型测试数据，使用上一步得到的训练数据，对输入数据集测试，输出预测值。
步骤7，后处理，对网络的输出值进一步解码、非极大抑制以及效果展示。
本步骤主要包括：
步骤7.1，解码，根据网络输出结果，对该结果进行解码操作，获得真实回归框信息。本发明深度学习网络的最终输出结果包括：回归框预测信息、置信度、种类信息。其中回归框预测信息并非真实的回归框坐标点，而是先验框的平移尺度和缩放尺度，需要经过公式(9)～(12)解码得到最终预测回归框的中心点坐标和长宽信息。
Figure PCTCN2020135051-appb-000011
Figure PCTCN2020135051-appb-000012
Figure PCTCN2020135051-appb-000013
Figure PCTCN2020135051-appb-000014
步骤7.2，非极大抑制，通过非极大抑制法去除重叠较多的回归框。对于每一个回归框，计算当前回归框与其它回归框的交并比(Intersection over Union,IoU)，如果IoU≥0.3并且该回归框的预测标签为同一个物体，则保留置信度较高的回归框，丢弃置信度较低的回归框。
步骤7.3，效果展示，得出最终预测框后，采用画图工具绘制回归框的位置、标签以及置信度等信息。对于每一个预测框，如果其置信度＞0.5，则在原图上绘制其回归框的位置、标签类别以及置信度值。

Claims (6)

  1. 一种基于深度学习的电容缺陷智能检测方法，其特征在于，包括以下步骤：
    步骤1，数据集裁剪，将原始超声电容图像长宽均扩充为512的整数倍数，并将其裁剪为若干512×512的图片。
    步骤2，数据扩充，采用图像处理方法对上一步得到的数据进行处理，得到更加丰富的数据集。
    步骤3，标签平滑，对训练样本标签执行预处理，提高网络的泛化能力。
    步骤4，构建网络模型与参数，结合主流特征提取网络架构，运用注意力机制、多重特征融合等特征层处理技巧搭建本发明网络模型。
    步骤5，训练网络模型与参数，使用上述步骤得到的数据集和网络模型训练网络参数，得到最终训练数据。
    步骤6，应用网络模型测试数据，使用上一步得到的训练数据，对输入数据集测试，输出预测值。
    步骤7，后处理，对网络的输出值进一步解码、非极大抑制以及效果展示。
  2. 根据权利要求1中所述的一种基于深度学习的电容缺陷智能检测方法，其特征在于所述的步骤1中数据集裁剪，先将原数据图片扩充为长宽均为512整数倍数的图片后，将其裁剪为若干512×512的图片。
  3. 根据权利要求1中所述的一种基于深度学习的电容缺陷智能检测方法，其特征在于所述步骤2中数据扩充，采用图像处理方式对上一步得到的数据进行处理，得到更加丰富的数据集。所述的步骤2进一步包括：
    步骤2.1，图像平移、旋转以及缩放处理，将原始图片沿任意方向平移任意长度或将原始图像沿任意方向旋转任意角度或将原始图像缩小或放大。若变换后的图片超过512×512，则直接将其截断，反之，若小于512×512，则用白底填充。
    步骤2.2，添加高斯噪声，高斯噪声是一个均值为0，方差为
    Figure PCTCN2020135051-appb-100001
    的正态分布，是一个加性噪声。
  4. 根据权利要求1中所述的一种基于深度学习的电容缺陷智能检测方法，其特征在于所述步骤3中标签平滑，使用公式(1)处理样本标签。
  5. 根据专利要求1中所述的一种基于深度学习的电容缺陷智能检测方法，其特征在于所述步骤4中构建网络模型与参数，结合主流特征提取网络架构，运用注意力机制、多重特征融合等特征层处理技巧搭建本发明网络模型。所述步骤4 进一步包括：
    步骤4.1，构建主干网络，主干网络用于对输入数据做初步特征提取，不断增加网络深度，获得不同尺度的特征图。主干网络主要分为六大层次，其中Layer1网络层结构如图4所示，其余Layer2～Layer6层相似，不同之处在于残差结构和SE Block的重复次数，如图5所示。
    步骤4.2，构建特征层处理结构，特征处理结构用于对主干网络中提取的特征层作进一步加工，得到语义更加丰富的特征图。本发明特征处理结构如图6所示，该结构使用后三层特征输出作为输入，由图所示的方式跳跃连接，获得语义更加充分的特征图。
    步骤4.3，构建网络的输出结构，本发明网络的输出有三个维度，分别为：64×64×18、32×32×18以及16×16×18，用此三个输出检测不同尺度的目标。
  6. 根据专利要求1中所述的一种基于深度学习的电容缺陷智能检测方法，其特征在于所述步骤7中后处理，对网络的输出值进一步解码、非极大抑制以及效果展示。所述步骤7进一步包括：
    步骤7.1，解码，根据网络输出结果，对该结果进行解码操作，获得真实回归框信息。解码步骤如公式(9)～(12)所示。
    步骤7.2，非极大抑制，通过非极大抑制法去除重叠较多的回归框。对于每一个回归框，计算当前回归框与其它回归框的IoU，如果IoU≥0.3并且与该回归框预测标签为同一类别是，保留置信度较高的回归框，丢弃置信度较低的回归框。
    步骤7.3，效果展示，得出最终预测框，采用画图工具绘制回归框位置、标签以及置信度等信息。对于每一个预测框，如果其置信度＞0.5，则在原图上绘制其回归框的位置、标签类别以及置信度。
PCT/CN2020/135051 2020-12-09 2020-12-09 一种基于深度学习的电容缺陷智能检测方法 WO2022120665A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/135051 WO2022120665A1 (zh) 2020-12-09 2020-12-09 一种基于深度学习的电容缺陷智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/135051 WO2022120665A1 (zh) 2020-12-09 2020-12-09 一种基于深度学习的电容缺陷智能检测方法

Publications (1)

Publication Number Publication Date
WO2022120665A1 true WO2022120665A1 (zh) 2022-06-16

Family

ID=81972927

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/135051 WO2022120665A1 (zh) 2020-12-09 2020-12-09 一种基于深度学习的电容缺陷智能检测方法

Country Status (1)

Country Link
WO (1) WO2022120665A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018818A (zh) * 2022-07-01 2022-09-06 南昌大学 一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法
CN115035082A (zh) * 2022-06-24 2022-09-09 西安电子科技大学芜湖研究院 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法
CN115169407A (zh) * 2022-07-18 2022-10-11 中国科学院国家空间科学中心 基于时域深度特征学习的微弱瞬态信号检测方法及系统
CN115457553A (zh) * 2022-11-11 2022-12-09 南京信息工程大学 一种基于深度学习的布匹缺陷检测方法
CN115512003A (zh) * 2022-11-16 2022-12-23 之江实验室 一种独立关系检测的场景图生成方法和系统
CN115631186A (zh) * 2022-11-08 2023-01-20 哈尔滨工业大学 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN116010794A (zh) * 2023-02-17 2023-04-25 苏芯物联技术(南京)有限公司 一种基于小样本标签数据的焊接缺陷实时智能检测方法
CN116109639A (zh) * 2023-04-13 2023-05-12 常州微亿智造科技有限公司 基于多任务学习网络的缺陷检测方法及装置
CN116109607A (zh) * 2023-02-22 2023-05-12 广东电网有限责任公司云浮供电局 一种基于图像分割的输电线路工程缺陷检测方法
CN116484172A (zh) * 2023-01-19 2023-07-25 南京林业大学 一种基于强鲁棒性多尺度网络的机械故障诊断方法和系统
CN116542005A (zh) * 2023-07-06 2023-08-04 杭州宇谷科技股份有限公司 基于深度学习的换电柜网络布局方法、系统、装置及介质
CN116630296A (zh) * 2023-06-11 2023-08-22 中国海洋大学 基于轻量化网络的水下船体像素级缺陷检测方法及系统
CN116777905A (zh) * 2023-08-16 2023-09-19 厦门微亚智能科技股份有限公司 基于长尾分布数据的智能工业旋转检测方法及系统
CN116843649A (zh) * 2023-07-04 2023-10-03 国网山东省电力公司潍坊供电公司 基于改进YOLOv5网络的输电线路智能缺陷检测方法
CN116883391A (zh) * 2023-09-05 2023-10-13 中国科学技术大学 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法
CN117094705A (zh) * 2023-10-19 2023-11-21 国网安徽省电力有限公司电力科学研究院 一种应用于高压开关柜缺陷预测的方法、系统及设备
CN117197146A (zh) * 2023-11-08 2023-12-08 北京航空航天大学江西研究院 一种铸件内部缺陷自动识别方法
CN117541587A (zh) * 2024-01-10 2024-02-09 山东建筑大学 太阳能电池板缺陷检测方法、系统、电子设备及存储介质
CN117557545A (zh) * 2023-12-05 2024-02-13 广州珐玛珈智能设备股份有限公司 一种360度传送带快速缺陷检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180300008A1 (en) * 2017-04-05 2018-10-18 Wayne Rasanen Assistive text-entry system and method
CN109242830A (zh) * 2018-08-18 2019-01-18 苏州翔升人工智能科技有限公司 一种基于深度学习的机器视觉技术检测方法
CN109978875A (zh) * 2019-04-03 2019-07-05 无锡立赫智能科技有限公司 一种电容器外观缺陷识别方法及识别装置
CN111951232A (zh) * 2020-07-24 2020-11-17 上海微亿智造科技有限公司 一种金属粉末注射成型外观缺陷检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180300008A1 (en) * 2017-04-05 2018-10-18 Wayne Rasanen Assistive text-entry system and method
CN109242830A (zh) * 2018-08-18 2019-01-18 苏州翔升人工智能科技有限公司 一种基于深度学习的机器视觉技术检测方法
CN109978875A (zh) * 2019-04-03 2019-07-05 无锡立赫智能科技有限公司 一种电容器外观缺陷识别方法及识别装置
CN111951232A (zh) * 2020-07-24 2020-11-17 上海微亿智造科技有限公司 一种金属粉末注射成型外观缺陷检测方法及系统

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035082A (zh) * 2022-06-24 2022-09-09 西安电子科技大学芜湖研究院 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法
CN115035082B (zh) * 2022-06-24 2024-03-29 西安电子科技大学芜湖研究院 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法
CN115018818A (zh) * 2022-07-01 2022-09-06 南昌大学 一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法
CN115018818B (zh) * 2022-07-01 2024-03-29 南昌大学 一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法
CN115169407B (zh) * 2022-07-18 2023-04-18 中国科学院国家空间科学中心 基于时域深度特征学习的微弱瞬态信号检测方法及系统
CN115169407A (zh) * 2022-07-18 2022-10-11 中国科学院国家空间科学中心 基于时域深度特征学习的微弱瞬态信号检测方法及系统
CN115631186A (zh) * 2022-11-08 2023-01-20 哈尔滨工业大学 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN115631186B (zh) * 2022-11-08 2023-10-03 哈尔滨工业大学 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN115457553A (zh) * 2022-11-11 2022-12-09 南京信息工程大学 一种基于深度学习的布匹缺陷检测方法
CN115512003A (zh) * 2022-11-16 2022-12-23 之江实验室 一种独立关系检测的场景图生成方法和系统
CN115512003B (zh) * 2022-11-16 2023-04-28 之江实验室 一种独立关系检测的场景图生成方法和系统
CN116484172B (zh) * 2023-01-19 2024-01-30 南京林业大学 一种基于强鲁棒性多尺度网络的机械故障诊断方法和系统
CN116484172A (zh) * 2023-01-19 2023-07-25 南京林业大学 一种基于强鲁棒性多尺度网络的机械故障诊断方法和系统
CN116010794A (zh) * 2023-02-17 2023-04-25 苏芯物联技术(南京)有限公司 一种基于小样本标签数据的焊接缺陷实时智能检测方法
CN116109607A (zh) * 2023-02-22 2023-05-12 广东电网有限责任公司云浮供电局 一种基于图像分割的输电线路工程缺陷检测方法
CN116109607B (zh) * 2023-02-22 2023-10-20 广东电网有限责任公司云浮供电局 一种基于图像分割的输电线路工程缺陷检测方法
CN116109639B (zh) * 2023-04-13 2023-08-18 常州微亿智造科技有限公司 基于多任务学习网络的缺陷检测方法及装置
CN116109639A (zh) * 2023-04-13 2023-05-12 常州微亿智造科技有限公司 基于多任务学习网络的缺陷检测方法及装置
CN116630296A (zh) * 2023-06-11 2023-08-22 中国海洋大学 基于轻量化网络的水下船体像素级缺陷检测方法及系统
CN116630296B (zh) * 2023-06-11 2024-01-23 中国海洋大学 基于轻量化网络的水下船体像素级缺陷检测方法及系统
CN116843649A (zh) * 2023-07-04 2023-10-03 国网山东省电力公司潍坊供电公司 基于改进YOLOv5网络的输电线路智能缺陷检测方法
CN116843649B (zh) * 2023-07-04 2024-05-17 国网山东省电力公司潍坊供电公司 基于改进YOLOv5网络的输电线路智能缺陷检测方法
CN116542005B (zh) * 2023-07-06 2023-10-10 杭州宇谷科技股份有限公司 基于深度学习的换电柜网络布局方法、系统、装置及介质
CN116542005A (zh) * 2023-07-06 2023-08-04 杭州宇谷科技股份有限公司 基于深度学习的换电柜网络布局方法、系统、装置及介质
CN116777905A (zh) * 2023-08-16 2023-09-19 厦门微亚智能科技股份有限公司 基于长尾分布数据的智能工业旋转检测方法及系统
CN116777905B (zh) * 2023-08-16 2023-12-08 厦门微亚智能科技股份有限公司 基于长尾分布数据的智能工业旋转检测方法及系统
CN116883391A (zh) * 2023-09-05 2023-10-13 中国科学技术大学 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法
CN116883391B (zh) * 2023-09-05 2023-12-19 中国科学技术大学 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法
CN117094705B (zh) * 2023-10-19 2024-01-02 国网安徽省电力有限公司电力科学研究院 一种应用于高压开关柜缺陷预测的方法、系统及设备
CN117094705A (zh) * 2023-10-19 2023-11-21 国网安徽省电力有限公司电力科学研究院 一种应用于高压开关柜缺陷预测的方法、系统及设备
CN117197146A (zh) * 2023-11-08 2023-12-08 北京航空航天大学江西研究院 一种铸件内部缺陷自动识别方法
CN117557545A (zh) * 2023-12-05 2024-02-13 广州珐玛珈智能设备股份有限公司 一种360度传送带快速缺陷检测方法及装置
CN117541587A (zh) * 2024-01-10 2024-02-09 山东建筑大学 太阳能电池板缺陷检测方法、系统、电子设备及存储介质
CN117541587B (zh) * 2024-01-10 2024-04-02 山东建筑大学 太阳能电池板缺陷检测方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
WO2022120665A1 (zh) 一种基于深度学习的电容缺陷智能检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
Li et al. Bridging composite and real: towards end-to-end deep image matting
Zhao et al. A surface defect detection method based on positive samples
US20220189142A1 (en) Ai-based object classification method and apparatus, and medical imaging device and storage medium
Saberironaghi et al. Defect detection methods for industrial products using deep learning techniques: A review
Chen et al. EF-Net: A novel enhancement and fusion network for RGB-D saliency detection
Zhang et al. PortraitNet: Real-time portrait segmentation network for mobile device
CN110751154B (zh) 一种基于像素级分割的复杂环境多形状文本检测方法
Huang et al. Scribble-based boundary-aware network for weakly supervised salient object detection in remote sensing images
Liu et al. Conductive particle detection via deep learning for ACF bonding in TFT-LCD manufacturing
Lin et al. An antagonistic training algorithm for TFT-LCD module mura defect detection
Liu et al. Boundary learning by using weighted propagation in convolution network
Zhong et al. PRPN: Progressive region prediction network for natural scene text detection
Zhang et al. Residual attentive feature learning network for salient object detection
Rao et al. Patch attention network with generative adversarial model for semi-supervised binocular disparity prediction
CN116802683A (zh) 图像的处理方法和系统
Dar et al. Efficientu-net: a novel deep learning method for breast tumor segmentation and classification in ultrasound images
Liu et al. Learning position information from attention: End-to-end weakly supervised crack segmentation with GANs
Tao Erasing-inpainting-based data augmentation using denoising diffusion probabilistic models with limited samples for generalized surface defect inspection
Wang et al. MeDERT: A metal surface defect detection model
Qin et al. Summary of scene text detection and recognition
Muntarina et al. MultiResEdge: A deep learning-based edge detection approach
Zhang et al. Key point localization and recurrent neural network based water meter reading recognition
He et al. Unsupervised defect inspection algorithm based on cascaded GAN with edge repair feature fusion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20964604

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20964604

Country of ref document: EP

Kind code of ref document: A1