WO2023155069A1 - 一种基于深度学习的手机电池表面缺陷检测方法 - Google Patents

一种基于深度学习的手机电池表面缺陷检测方法 Download PDF

Info

Publication number
WO2023155069A1
WO2023155069A1 PCT/CN2022/076473 CN2022076473W WO2023155069A1 WO 2023155069 A1 WO2023155069 A1 WO 2023155069A1 CN 2022076473 W CN2022076473 W CN 2022076473W WO 2023155069 A1 WO2023155069 A1 WO 2023155069A1
Authority
WO
WIPO (PCT)
Prior art keywords
label
image
category
mobile phone
data
Prior art date
Application number
PCT/CN2022/076473
Other languages
English (en)
French (fr)
Inventor
杨海东
王华龙
李泽辉
魏登明
Original Assignee
佛山市南海区广工大数控装备协同创新研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 佛山市南海区广工大数控装备协同创新研究院 filed Critical 佛山市南海区广工大数控装备协同创新研究院
Priority to PCT/CN2022/076473 priority Critical patent/WO2023155069A1/zh
Publication of WO2023155069A1 publication Critical patent/WO2023155069A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the invention relates to the field of machine vision detection, in particular to a method for detecting surface defects of mobile phone batteries based on deep learning.
  • the purpose of the present invention is to provide a method for detecting surface defects of mobile phone batteries based on deep learning, which can replace manual detection methods with low precision and efficiency, and reduce production costs.
  • the present invention adopts the following technical solutions:
  • a method for detecting surface defects of mobile phone batteries based on deep learning comprising the following steps:
  • ⁇ cos ⁇
  • ⁇ sin ⁇
  • p a , p b are the abscissa and ordinate values of the center point
  • a and b are the transformed image coordinates.
  • step S4 includes: randomly dividing the preprocessed pictures in the training set into two groups, marking one of the pictures as a marked set D b , and not marking the other group as an unmarked set D w ;
  • the two training sets of the labeled set D b and the unlabeled set D w are used to train a single model at the same time to realize the classification of known defect types and unknown defect types, and the defect categories of these two sets of training sets are disjoint , use the features marked by the label set D b as the input and result of the model, and then use the pictures of the unlabeled set D w as the input of the model, and perform feature classification through the model, so as to finally train the classification Model.
  • step S4 is:
  • step S43 the step of preparing the classification model in the step S43 is:
  • the goal of the model is to classify images corresponding to labeled defect categories and unlabeled defect categories.
  • the problem is formulated as learning a mapping Y from the image domain to the complete label set, where Y is the labeled set and the labeled set plus unlabeled A collection of sets, y is a labeled image;
  • step of image label prediction in the step S44 is:
  • the examples that may have new category labels are initially detected; density clustering is performed on the candidate new category labeled examples that are initially detected, and the confidence level is increased.
  • Candidate examples serve as samples of unseen categories.
  • steps of new category label detection in the step S45 are:
  • a linear classifier with C b output neurons is used for classification, and a multi-layer perceptron (MLP) is used for the data in the D w set, which converts the data Projecting to a low-dimensional representation, and a linear classifier with C w output neurons to achieve;
  • MLP multi-layer perceptron
  • C b is the defect type of the label set
  • ⁇ (x,y) is the loss function value of image X under label y
  • y c is the label probability of category C
  • p c is category C
  • C w is the unlabeled defect category; if x belongs to the labeled data set, use the label for y, and if x belongs to the unlabeled set, use the pseudo label.
  • step of updating the classification model in the step S46 is:
  • the model is updated when the number of data sets D wb' reaches the set number.
  • step S5 also includes:
  • step S51 Perform the dimensionality reduction method in step S452 on the test set sample X to obtain a sample x' in the dimensionality reduction space;
  • the formula of the minimum linear reconstruction error is:
  • S is the predicted category mark of sample X
  • O is the number of categories in the data set
  • X′ is the sample in the dimensionality reduction space
  • w n is the number of category balls
  • Ni is the test sample X belongs to the Gth in the data set
  • the parameter number of the predicted sample of the class label is the number of neighboring samples
  • X' n is the reconstruction coefficient of the sample X'.
  • the type of defect detection can be automatically updated, thereby reducing production line failures caused by battery explosions, and reducing The time consumed by the detection process, etc., thereby reducing the manufacturing cost of mobile phone batteries.
  • the types of defect detection can be updated in time
  • Fig. 1 is a flow chart of a method for detecting surface defects of mobile phone batteries based on deep learning in the present invention.
  • Fig. 2 is a flow chart of an image labeling method for a surface defect detection method of an electric battery according to the present invention.
  • a method for detecting surface defects of mobile phone batteries based on deep learning comprising the following steps:
  • Step S1 also includes: taking pictures from multiple angles of the battery with surface defects and the standard battery without defects.
  • Step S3 also includes: preprocessing the collected surface defect pictures; the picture preprocessing process includes image geometric correction, the specific method is as follows:
  • ⁇ cos ⁇
  • ⁇ sin ⁇
  • p a , p b are the abscissa and ordinate values of the center point
  • a and b are the transformed image coordinates.
  • Step S4 also includes:
  • the processed pictures are randomly divided into two groups, and one group is marked as a marked set D b , and the other group is an unmarked set D w ;
  • Two sets of training sets are used to train a single model at the same time to classify known defect types and unknown defect types.
  • the defect categories of the two sets of training sets are disjoint. Use the marked features of the marked set D b as the input and result of the model, and then use the unmarked pictures in S3 as the input of the model, and classify the features through the model, so as to finally train the classification model.
  • Image annotation is to associate all category labels including new categories with unlabeled data through the category ball model, as the initial label confidence for label propagation, enabling all category labels to perform label propagation with local and global consistency methods , to update the category labels of the unlabeled data using local and global consistency assumptions, and obtain the final association of the unlabeled data with all category labels.
  • the image labeling process in the step S4 is:
  • the goal of the model is to classify images corresponding to labeled and unlabeled classes.
  • This problem can be formulated as learning a mapping Y from the image domain to the complete label set, where Y is the set of one to the labeled set and then to the set of the labeled set plus the unlabeled set, and y is the labeled image;
  • S432. Use a standard convolutional network (E) and an average pooling layer for image feature extraction, and set the network model input sizes to 250, 300, 350, 400, 450, and 500 for feature extraction.
  • the convolutional neural network is used as a feature extractor to extract features from image data, and the extracted vector features are used as input for the subsequent algorithm process.
  • the quality of the feature extractor has a great influence on the effectiveness of subsequent algorithms.
  • each category ball represents a category ball model to be classified; m is the total number of categories of D w .
  • Density clustering is carried out on the candidate new category label examples of the previous preliminary detection, and the candidate examples with increased confidence are obtained as samples of unseen categories.
  • use Represents a labeled dataset The labeled samples belonging to category N in , where Nn is the number of labeled samples of category n, the center of category ball n is Cn, Cn is the center of all samples in the label set, the radius of the ball is Rn, and Rn is the distance from the ball in the sample of the label set The maximum distance between centers is multiplied by ⁇ , and ⁇ is a hyperparameter, which is determined based on experience.
  • MLP multi-layer perceptron
  • C C b +C ww
  • C b is the defect type of the label set
  • C w is the defect type of the unmarked set
  • ⁇ (x,y) is the loss function value of the image X under the label y
  • y c is the category C
  • the label probability of , p c is the predicted probability of category C; if x, belongs to the labeled data set, use the label for y, and if x belongs to the unlabeled set, use the pseudo label.
  • ⁇ (0,1) is an important trade-off parameter for the label propagation item SF q-1 and the initial item label confidence matrix P.
  • Classification rules Among them, all unlabeled samples in the unlabeled set are classified into the category label set ⁇ 1, 2, ... N ⁇ , and a labeled data set is obtained; The model is updated when the number of datasets reaches a set number.
  • step S51 Perform the dimensionality reduction method in step S452 on the test set sample X to obtain the sample X' in the dimensionality reduction space;
  • S is the predicted category mark of sample X
  • O is the number of categories in the data set
  • X′ is the sample in the dimensionality reduction space
  • w n is the number of category balls
  • Ni is the test sample X belongs to the Gth in the data set
  • the parameter number of the predicted sample of the class label is the number of neighboring samples
  • X' n is the reconstruction coefficient of the sample X'.
  • the method of using the minimum linear reconstruction error can be optimized, the calculation is not difficult, and the result error is small.
  • the detection method of the present invention is more effective for detecting surface defects of mobile phones.
  • the present invention first collects images with a plurality of standard and surface-defective mobile phone batteries to form a training set; secondly, divides the images in the training set into two categories, one for labeling and the other for not needing to be labeled, so as to establish a multi-category classifier ; Finally, the new input image is judged based on the classification model to determine the type of surface defect of the mobile phone.
  • the method of the invention increases the identification accuracy of cell phone battery surface defects, realizes automatic updating of defect detection types, effectively reduces production line faults caused by battery explosions, and reduces the time consumed in the detection process, thereby reducing the manufacturing cost of cell phone batteries.

Abstract

本发明公开了一种基于深度学习的手机电池表面缺陷检测方法，首先以多块标准和表面含缺陷的手机电池进行图像采集，以形成训练集；其次，将训练集图像分成两类，一类进行标记，另一类无需标记，以建立多类分类器；最后对新输入的图像基于分类模型判断出手机表面缺陷类型。本发明与工作重复性高且主观因素强的传统的人工检测方法相比，这种检测方法对手机表面缺陷的检测更加有效，增加了手机电池表面缺陷的识别准确度，并且实现自动更新缺陷检测种类，有效减少电池爆炸所引起的生产线故障，以及降低检测流程所耗时间等，从而实现手机电池制造成本降低。

Description

一种基于深度学习的手机电池表面缺陷检测方法 技术领域
本发明涉及机器视觉检测领域，具体涉及一种基于深度学习的手机电池表面缺陷检测方法。
背景技术
电池，是目前手机里必不可少的零件。随着现代化工厂的建设，越来越多的电池生产为半/全自动化生产线，但这样会导致手机电池表面的缺陷更具有不确定性，而有些缺陷的漏检测极大可能导致电池爆炸而引起整条生产线故障，所以电池的检测的准确性是其必须克服的一道挑战，也是手机电池生产行业亟待解决的一个难题。
现在的手机电池生产商由于现有技术不够完善等原因，大多还是选择人工检测的方法，但人工检测又会有以下问题存在：(1)人的主观意识影响评价，检测标准并非固定，尤其在自动化环节中插入人工检测，检测效率低将影响其他环节；(2)对于缺陷并未进行直接分类，将需来二次检测，耗时耗工；(3)电池缺陷随机，人工很难对新出现的缺陷做出准确判断；(4)对出现的新缺陷种类，人工相互传递速度不能及时告知。
发明内容
针对现有技术的不足，本发明的目的旨在提供一种基于深度学习的手机电池表面缺陷检测方法，该方法能够代替精度、效率低的人工检测方法，降低生产成本。
为实现上述目的，本发明采用如下技术方案：
一种基于深度学习的手机电池表面缺陷检测方法，包括以下步骤：
S1、对有表面缺陷的电池和表面没有缺陷的标准电池进行多角度拍摄获得多角度图片，采集手机电池表面缺陷图像；
S2、将采集到的所述缺陷图像分为训练集和测试集；
S3、将所述训练集进行图像预处理；
S4、对预处理后的所述训练集进行图像标注进而训练出分类模型；
S5、将测试集输入至所述分类模型输出分类结果，最终预测出所述测试集中样本类别标记。
进一步地，所述步骤3中的所述图像预处理方法包括图像几何校正，所述图像几何校正的方法为：获得所述训练集中图片的四个顶角坐标(a i,b i)(i＝1,2,3,4),计算出各个包围矩形与水平线的角度δ，删除面积过小的矩形，计算图像中心点，旋转缩放变换矩阵q，进行仿射变换T，具体公式为:
Figure PCTCN2022076473-appb-000001
其中α＝cosδ,β＝sinδ,p a,p b为中心点横纵坐标值，a,b为变换后的图像坐标。
进一步地，所述步骤S4包括：将预处理后的所述训练集中的图片随机分成两组，对其中一组进行图片标记，作为标记集D b,另一组不做标记，为无标记集D w；
所述标记集D b和所述无标记集D w两组训练集同时用来训练单个模型来实现对已知缺陷种类和未知缺陷种类进行分类，这两组训练集的缺陷类别是不相交的，利用所述标记集D b所标记的特征作为所述模型的输入和结果，再利用无标记集D w的图片作为所述模型的输入，通过所述模型进行特征分类，从而最终训练出分 类模型。
进一步地，，所述步骤S4中图像标注的步骤为：
S41、数据准备：所述训练集中的缺陷类别种类包括凹点、凹坑、边缘不齐和胀气；
S42、数据预处理：给定一个所述训练集中的图像x，采用数据增强技术，数据增强技术包括对图像x应用随机裁剪和颜色抖动；
S43、分类模型准备；
S44、图像标记预测；
S45、新类别标记检测。
进一步地，所述步骤S43中分类模型准备的步骤为：
S431、训练一个由θ参数化的神经网络f θ,用来计算完整标签集上的后验概率：f θ＝{p(y|x)；y∈Y},
模型的目标是对已标记的缺陷类别和未标记类的缺陷类别对应的图像进行分类，将这个问题表述为学习从图像域到完整标签集的映射Y，Y为标记集和标记集加未标记集的集合，y为带标签的图像；
S432、利用一个标准卷积网络(E)及一个平均池化层作为图像特征提取,设置网络模型的输入尺寸分别为250，300，350，400，450，500进行特征提取。
S433、利用标记集D b中n个己知类别样本，构建n个已知类别的类别球，接着将无标记集D w中己知类别的类别球外的无标记样本聚类，构建m-n个新类别的类别球，得到每个类别球代表一个待分类类别的类别球模型，m为D w的总类别数。
进一步地，所述步骤S44中所述图像标记预测的步骤为：
基于新类别标记示例和已知标记数据之间的标记相关性的差异，初步检测出可能带有新类别标记的示例；对初步检测的候选新类别标记示例进行密度聚类，得到置信度增高的候选示例作为未见类别的样本。
进一步地，所述步骤S45中新类别标记检测的步骤为：
S451、得到置信度增高的包含新类别标记的示例，然后使用所述神经网络f θ，对候选示例进行数据扩充和特征提取，进一步丰富新类别标记示例的样本数量；
S452、基于标记集D b中的标记信息，对标记集D b,无标记集D w中所有数据进行降维，使所有类别的类内距离更小，类间距离更大；
S453、对于标记集D b集中的数据，进行降维处理后，采用一个具有C b个输出神经元的线性分类器分类，对于D w集中数据使用一个多层感知机(MLP)，它将数据投影到一个低维表示，以及一个具有C w个输出神经元的线性分类器来实现；
S454、将从所述线性分类器中产生的结果输入到网络中输出完整标签集的后验分布；
S455、网络损失函数的构建：采用交叉验证熵作为损失函数微调网络；Z为表示单张图片的标记向量，均值化之后的标记向量为
Figure PCTCN2022076473-appb-000002
网络预测的结果记为P,将输出表示成每个类别出现的概率，网络训练的目标是最小化Z和P的分布差异性，其损失函数可由下式表示：
Figure PCTCN2022076473-appb-000003
S456、得到了p的概率分数之后，我们就可以使用标准的交叉熵来训练整个网络f：
Figure PCTCN2022076473-appb-000004
其中C＝C b+C w，C b为标记集的缺陷种类，ι(x,y)为图像X在标签y下的损失函数值，y c为类别C的标签概率，p c为类别C的预测概率；C w为无标记的缺陷种类；如果x，属于标记数据集，则对y使用标记，如果x属于无标记集，则使用伪标签。
进一步地，所述步骤S46中更新所述分类模型的步骤为：
S461、利用多视图策略来为统一目标生成伪标签：给定一个图像x，采用数据增强技术，得到x的两个不同的新图像v 1和v 2，它们被调整到原始大小并输入给f；
S462、使用交换的预测任务，使得网络对同一图像的不同视图输出一致的预测：ι(v 1+y 2)+ι(v 2+y 1)，即两个损失值的和，y 2和y 1就是图像对应的标签；如果x属于标记集D b时，将v 1和v 2相同的标记关联起来，如果x属于无标记集D w时，计算
Figure PCTCN2022076473-appb-000005
时添加一个熵项，
Figure PCTCN2022076473-appb-000006
为图像x属于无标记集D w时的对应图像的标签；
S463、基于降维空间所有训练集的样本构建一个图G＝(U,W)；
S464、通过分类规则将D w′中所有无标记样本分类到类别标记集合，得到带有类别标记的数据集D wb′；
在数据集D wb′的数量达到设定数目时进行模型更新。
进一步地，所述步骤S5还包括：
S51、对所述测试集样本X进行步骤S452中的降维方法，得到降维空间中的样本x'；
S52、预测它的类别标记为有着最小线性重构误差的类别；
通过标记集D b和无标记集D w，使用最小线性重构误差的方式，预测测试样本X的类别标记，所述最小线性重构误差的公式为：
Figure PCTCN2022076473-appb-000007
其中S为样本X的预测类别标记，O为数据集中含有类别的个数，X′为降维空间中的样本，w n为类别球个数，Ni为测试样本X在数据集中属于第G个类别标记的预测样本的参数个数近邻样本，X′ n是样本X′的重构系数。
本发明的有益效果在于：
基于一种基于深度学习的手机电池表面缺陷检测方法代替传统的人工目测方法，通过增加手机电池表面缺陷的识别准确度，实现自动更新缺陷检测种类，进而减少电池爆炸所引起的生产线故障，以及降低检测流程所耗时间等，从而实现手机电池制造成本降低。同时能够及时更新缺陷检测种类
附图说明：
图1本发明一种基于深度学习的手机电池表面缺陷检测方法流程图。
图2本发明一种机电池表面缺陷检测方法图像标注流程图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述：
一种基于深度学习的手机电池表面缺陷检测方法，包括以下步骤：
S1、采集手机电池表面缺陷图像；
步骤S1还包括：对有表面缺陷的电池和没有缺陷的标准电池进行图片多角度的拍摄。
S2、将采集到的所述缺陷图像分为训练集和测试集；
S3、将训练集进行图像预处理；
步骤S3还包括：对采集到的表面缺陷图片进行预处理；图片预处理过程包括图像几何矫正，具体方法如下：
获得图片的四个顶角坐标(a i,b i)(i＝1,2,3,4),计算出各个包围矩形与水平线的角度δ,删除面积过小的矩形。计算图像中心点，旋转缩放变换矩阵Q，仿射变换T，具体实现公式为：
Figure PCTCN2022076473-appb-000008
其中α＝cosδ,β＝sinδ,p a,p b为中心点横纵坐标值，a,b为变换后的图像坐标。
S4、对预处理后的训练集进行图像标注进而训练出分类模型；
步骤S4还包括：
将处理后的图片随机分成两组，对其中一组进行图片标记，作为标记集D b,另一组为无标记集D w；
标记集D b和无标记集D w两组训练集同时用来训练单个模型来实现对已知缺陷种类和未知缺陷种类进行分类。这两组训练集的缺陷类别是不相交的。利用标记集D b所标记的特征作为模型的输入和结果，再利用S3中未标记的图片作为模型的输入，通过模型进行特征分类，从而最终训练出分类模型。
图像标注是通过类别球模型将包含新类别在内的所有类别标记与无标记数据联系起来，作为进行标记传播的初始标记置信度，使所有类别标记都能够进行局部和全局一致性方法的标记传播，利用局部和全局一致性假设更新无标记数据的类别标记，得到无标记数据与所有类别标记的最终联系。
所述步骤S4中的图像标注流程为：
S41、数据准备；
训练集数据信息
Figure PCTCN2022076473-appb-000009
Figure PCTCN2022076473-appb-000010
S42、数据预处理；
给定一个所述训练集中的图像x，采用数据增强技术，包括对x应用随机裁剪和颜色抖动，得到x的两个不同的“视图”(v1,v2)，它们被调整到原始大小并输入给神经网络f。
S43、分类模型准备；
S431、训练一个由θ参数化的神经网络f θ,用来计算完整标签集上的后验概率：f θ＝{p(y|x)；y∈Y},
模型的目标是对标记类和未标记类对应的图像进行分类。可以将这个问题表述为学习从图像域到完整标签集的映射Y，Y为一到标记集的集合再到标记集加未标记集的集合，y为带标签的图像；
S432、利用一个标准卷积网络(E)及一个平均池化层作为图像特征提取,设置网络模型输入尺寸分别为250，300，350，400，450，500进行特征提取。利用卷积神经网络作为特征提取器对图片数据进行特征提取，提取的向量特征用于后续算法流程的输入。特征提取器的好坏对后续算法的有效性有很大的影响。
S433、利用标记样本集合D b中n个己知类别样本，构建n个已知类别的类别球，接着将D w中己知类别的类别球外的无标记样本聚类，构建m-n个新类别的类别球，得到每个类别球代表一个待分类类别的类别球模型；m为D w的总类别数。
分类模型准备完成后，进行图片标注。通过类别球模型将包含新类别在内的所有类别标记与无标记数据联系起来，作为进行标记传播的初始标记置信度，更 加准确实现缺陷类别的辨别，使所有类别标记都能够进行标记传播，得到无标记数据与所有类别标记的最终联系。具体步骤为：对图片的标记做出预测，以及对待标注的图片进行新类别标记检测；然后对不包含新类型标记的图片记录预测的标记结果，同时对判断为包含新类别标记的图片，保存作为模型之后更新的数据集。
S44、图像标记预测；
基于新类别标记示例和已知标记数据之间的标记相关性的差异，初步检测出可能带有新类别标记的示例；
对前面初步检测的候选新类别标记示例进行密度聚类，得到置信度增高的候选示例作为未见类别的样本。用
Figure PCTCN2022076473-appb-000011
表示标记数据集
Figure PCTCN2022076473-appb-000012
中属于类别N的标记样本，其中Nn为类别n的标记样本个数，类别球n的球心为Cn,Cn为标记集中所有样本中心，球半径为Rn,Rn为标记集的样本中离球心最大距离乘以λ，λ为超参数，依据经验而定。将除所有已知类别球外的无标记样本进行K-means聚类，得到m-n个类别球，用
Figure PCTCN2022076473-appb-000013
表示无标记数据集
Figure PCTCN2022076473-appb-000014
中属于第N个球的无标记样本，其中Mn为第N个球的无标记样本个数，m-n个新类别的类别球的球心c n+m为无标记样本中的所有样本的中心，球半径R n+m为无标记样本离球心的最大距离乘以参数λ w，λ w为超参数，依据经验而定。基于类别球模型和己知类别标记，计算所有训练样本的标记置信度向量Z i,i＝1,2,3...,N+M,得到标记置信度矩阵P。
对于无标记数据集中的无标记样本x,计算其与N个类别球球心距离d i，其标记置信度向量为Z i:Z i＝1-di/Rn；
对于标记数据集中的每一个样本x，其标记置信度向量Z i＝1-d i；
S45、新类别标记检测；
S451、得到置信度很高的包含新类别标记的示例，然后使用预训练卷积网络模型，对候选示例进行数据扩充和特征提取，进一步丰富新类别标记示例的样本数量；
S452、基于标记集D b中的标记信息，对D b,D w集中所有数据进行降维，使所有类别的类内距离更小，类间距离更大；降维处理：将数据集
Figure PCTCN2022076473-appb-000015
和
Figure PCTCN2022076473-appb-000016
投影到降维空间，得到投影空间的数据
Figure PCTCN2022076473-appb-000017
和
Figure PCTCN2022076473-appb-000018
S453、对于D w集中数据使用一个多层感知机(MLP)，它将数据投影到一个低维表示，以及一个具有C w个输出神经元的线性分类器来实现。
S454、将从分类器中产生的结果输入到网络中输出完整标签集的后验分布。
S455、网络损失函数的构建：采用交叉验证熵作为损失函数微调网络。Z为表示单张图片的标记向量，均值化之后的标记向量为
Figure PCTCN2022076473-appb-000019
网络预测的结果记为P,将输出表示成每个类别出现的概率，网络训练的目标是最小化Z和P的分布差异性，其损失函数可由下式表示：
Figure PCTCN2022076473-appb-000020
S456、得到了p的概率分数之后，我们就可以使用标准的交叉熵来训练整个网络f：
Figure PCTCN2022076473-appb-000021
其中C＝C b+C ww，C b为标记集的缺陷种类，C w为无标记的缺陷种类,ι(x,y)为图像X在标签y下的损失函数值，y c为类别C的标签概率，p c为类别C的预测概率；如果x，属于标记数据集，则对y使用标记，如果x属于无标记集，则使用伪标签。
S46、更新所述分类模型：输入测试图片，对训练的到的分类模型进行测试，更新；
S461、利用多视图策略来为统一目标生成伪标签：定一个图像x，采用常见的数据增强技术，包括对x应用随机裁剪和颜色抖动，得到x的两个不同的新图像v 1和v 2，它们被调整到原始大小并输入给f。
S462、使用交换的预测任务，使得网络对同一图像的不同视图输出一致的预测：ι(v 1+y 2)+ι(v 2+y 1)，即两个损失值的和，y 2和y 1就是图像对应的标签；这样使得如果x属于标记集时，将v 1和v 2相同相同的标记关联起来，如果x属于无标记集时，计算
Figure PCTCN2022076473-appb-000022
时添加一个熵项，
Figure PCTCN2022076473-appb-000023
为图像x属于无标记集D w时的对应图像的标签；。
S463、基于降维空间所有训练集的样本D b′∪D w′构建一个图G＝(U,W)。通过分类规则将D w′中所有无标记样本分类到类别标记集合{1,2,...,N+M}，得到带有类别标记的数据集D wb′。
计算图像边的权值W：
Figure PCTCN2022076473-appb-000024
进行标记传播直到收敛为F′。
F q＝α·SF q-1+(1-α)·P,F 0＝P
其中q为迭代次数，α∈(0,1)为用于对标记传播项SF q-1与初始项标记置信度矩阵P的重要性折中参数。
分类规则：
Figure PCTCN2022076473-appb-000025
其中将无标记集中所有无标记样本分类到类别标记集合{1,2，...N},得到带有标记的数据集；
Figure PCTCN2022076473-appb-000026
在数据集的数量达到设定数目时进行模型更新。
S5、将测试集输入至所述分类模型输出分类结果，最终预测出测试集中样本 类别标记。
S51、对测试集样本X进行步骤S452中的降维方法，得到降维空间中的样本X’；
S52、预测它的类别标记为有着最小线性重构误差的类别；
通过数据集D b和D w，使用最小线性重构误差的方式，预测测试样本X的类别标记，所述最小线性重构误差的公式为
Figure PCTCN2022076473-appb-000027
其中S为样本X的预测类别标记，O为数据集中含有类别的个数，X′为降维空间中的样本，w n为类别球个数，Ni为测试样本X在数据集中属于第G个类别标记的预测样本的参数个数近邻样本，X′ n是样本X′的重构系数。
使用最小线性重构误差的方式可优化，计算难度不大，结果误差较小。
本发明与工作重复性高且主观因素强的传统的人工检测方法相比，这种检测方法对手机表面缺陷的检测更加有效。本发明首先以多块标准和表面含缺陷的手机电池进行图像采集，以形成训练集；其次，将训练集图像分成两类，一类进行标记，另一类无需标记，以建立多类分类器；最后对新输入的图像进行基于基于分类模型判断手机表面缺陷类型。本发明方法增加了手机电池表面缺陷的识别准确度，并且实现自动更新缺陷检测种类，有效减少电池爆炸所引起的生产线故障，以及降低检测流程所耗时间等，从而实现手机电池制造成本降低。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要 求的保护范围之内。

Claims (9)

  1. 一种基于深度学习的手机电池表面缺陷检测方法，其特征在于，包括以下步骤：
    S1、对有表面缺陷的电池和表面没有缺陷的标准电池进行多角度拍摄获得多角度图片，采集手机电池表面缺陷图像；
    S2、将采集到的所述缺陷图像分为训练集和测试集；
    S3、将所述训练集进行图像预处理；
    S4、对预处理后的所述训练集进行图像标注进而训练出分类模型；
    S5、将测试集输入至所述分类模型输出分类结果，最终预测出所述测试集中样本类别标记。
  2. 根据权利要求1所述的一种基于深度学习的手机电池表面缺陷检测方法，其特征在于，所述步骤3中的所述图像预处理方法包括图像几何校正，所述图像几何校正的方法为：获得所述训练集中图片的四个顶角坐标(a i,b i)(i＝1,2,3,4),计算出各个包围矩形与水平线的角度δ，删除面积过小的矩形，计算图像中心点，旋转缩放变换矩阵Q，进行仿射变换T，具体公式为:
    Figure PCTCN2022076473-appb-100001
    其中α＝cosδ,β＝sinδ,p a,p b为中心点横纵坐标值，a,b为变换后的图像坐标。
  3. 根据权利要求1所述的一种基于深度学习的手机电池表面缺陷检测方法，其特征在于，所述步骤S4包括：将预处理后的所述训练集中的图片随机分成两组，对其中一组进行图片标记，作为标记集D b,另一组不做标记，为无标记集D w；
    所述标记集D b和所述无标记集D w两组训练集同时用来训练单个模型来实现 对已知缺陷种类和未知缺陷种类进行分类，这两组训练集的缺陷类别是不相交的，利用所述标记集D b所标记的特征作为所述模型的输入和结果，再利用无标记集D w的图片作为所述模型的输入，通过所述模型进行特征分类，从而最终训练出分类模型。
  4. 根据权利要求3所述的一种基于深度学习的手机电池表面缺陷检测方法，其特征在于，所述步骤S4中图像标注的步骤为：
    S41、数据准备：所述训练集中的缺陷类别种类包括凹点、凹坑、边缘不齐和胀气；
    S42、数据预处理：给定一个所述训练集中的图像x，采用数据增强技术，数据增强技术包括对图像x应用随机裁剪和颜色抖动；
    S43、分类模型准备；
    S44、图像标记预测；
    S45、新类别标记检测。
  5. 根据权利要求4所述的一种基于深度学习的手机电池表面缺陷检测方法，其特征在于，所述步骤S43中分类模型准备的步骤为：
    S431、训练一个由θ参数化的神经网络f θ,用来计算完整标签集上的后验概率：f θ＝{p(y|x)；y∈Y},
    模型的目标是对已标记的缺陷类别和未标记类的缺陷类别对应的图像进行分类，将这个问题表述为学习从图像域到完整标签集的映射Y，Y为标记集和标记集加未标记集的集合，y为带标签的图像；
    S432、利用一个标准卷积网络(E)及一个平均池化层作为图像特征提取,设置网络模型的输入尺寸分别为250，300，350，400，450，500进行特征提取；
    S433、利用标记集D b中n个己知类别样本，构建n个已知类别的类别球，接着将无标记集D w中己知类别的类别球外的无标记样本聚类，构建m-n个新类别的类别球，得到每个类别球代表一个待分类类别的类别球模型，m为D w的总类别数。
  6. 根据权利要求4所述的一种基于深度学习的手机电池表面缺陷检测方法，其特征在于，所述步骤S44中所述图像标记预测的步骤为：
    基于新类别标记示例和已知标记数据之间的标记相关性的差异，初步检测出可能带有新类别标记的示例；对初步检测的候选新类别标记示例进行密度聚类，得到置信度增高的候选示例作为未见类别的样本。
  7. 根据权利要求4所述的一种基于深度学习的手机电池表面缺陷检测方法，其特征在于，所述步骤S45中新类别标记检测的步骤为：
    S451、得到置信度增高的包含新类别标记的示例，然后使用所述神经网络f θ，对候选示例进行数据扩充和特征提取，进一步丰富新类别标记示例的样本数量；
    S452、基于标记集D b中的标记信息，对标记集D b,无标记集D w中所有数据进行降维，使所有类别的类内距离更小，类间距离更大；
    S453、对于标记集D b中的数据，进行降维处理后，采用一个具有C b个输出神经元的线性分类器分类，对于D w集中数据使用一个多层感知机(MLP)，它将数据投影到一个低维表示，以及一个具有C w个输出神经元的线性分类器来实现；
    S454、将从所述线性分类器中产生的结果输入到网络中输出完整标签集的后验分布；
    S455、网络损失函数的构建：采用交叉验证熵作为损失函数微调网络；Z为表示单张图片的标记向量，均值化之后的标记向量为
    Figure PCTCN2022076473-appb-100002
    网络预测的结 果记为P,将输出表示成每个类别出现的概率，网络训练的目标是最小化Z和P的分布差异性，其损失函数可由下式表示：
    Figure PCTCN2022076473-appb-100003
    S456、得到了p的概率分数之后，使用标准的交叉熵来训练整个网络f：
    Figure PCTCN2022076473-appb-100004
    其中C＝C b+C w，C b为标记集的缺陷种类，C w为无标记的缺陷种类,ι(x,y)为图像X在标签y下的损失函数值，y c为类别C的标签概率，p c为类别C的预测概率；如果x属于标记数据集，则对y使用标记，如果x属于无标记集，则使用伪标签。
  8. 根据权利要求4所述的一种基于深度学习的手机电池表面缺陷检测方法，其特征在于，所述步骤S46中更新所述分类模型的步骤为：
    S461、利用多视图策略来为统一目标生成伪标签：给定一个图像x，采用数据增强技术，得到x的两个不同的新图像v 1和v 2，调整到原始大小并输入给f；
    S462、使用交换的预测任务，使得网络对同一图像的不同视图输出一致的预测：ι(v 1+y 2)+ι(v 2+y 1)，即两个损失值的和，y 2和y 1就是图像对应的标签；如果x属于标记集D b时，将v 1和v 2相同的标记关联起来，如果x属于无标记集D w时，计算
    Figure PCTCN2022076473-appb-100005
    时添加一个熵项，
    Figure PCTCN2022076473-appb-100006
    为图像x属于无标记集D w时的对应图像的标签；
    S463、基于降维空间所有训练集的样本构建一个图G＝(U,W)；
    S464、通过分类规则将D w′中所有无标记样本分类到类别标记集合，得到带有类别标记的数据集D wb′；
    在数据集D wb′的数量达到设定数目时进行模型更新。
  9. 根据权利要求3所述的一种基于深度学习的手机电池表面缺陷检测方法，其特征在于，所述步骤S5还包括：
    S51、对所述测试集样本X进行步骤S452中的降维方法，得到降维空间中的 样本X′；
    S52、预测它的类别标记为有着最小线性重构误差的类别；
    通过标记集D b和无标记集D w，使用最小线性重构误差的方式，预测测试样本X的类别标记，所述最小线性重构误差的公式为：
    Figure PCTCN2022076473-appb-100007
    其中S为样本X的预测类别标记，O为数据集中含有类别的个数，X′为降维空间中的样本，w n为类别球个数，Ni为测试样本X在数据集中属于第G个类别标记的预测样本的参数个数近邻样本，X′ n是样本X′的重构系数。
PCT/CN2022/076473 2022-02-16 2022-02-16 一种基于深度学习的手机电池表面缺陷检测方法 WO2023155069A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/076473 WO2023155069A1 (zh) 2022-02-16 2022-02-16 一种基于深度学习的手机电池表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/076473 WO2023155069A1 (zh) 2022-02-16 2022-02-16 一种基于深度学习的手机电池表面缺陷检测方法

Publications (1)

Publication Number Publication Date
WO2023155069A1 true WO2023155069A1 (zh) 2023-08-24

Family

ID=87577328

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/076473 WO2023155069A1 (zh) 2022-02-16 2022-02-16 一种基于深度学习的手机电池表面缺陷检测方法

Country Status (1)

Country Link
WO (1) WO2023155069A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883391A (zh) * 2023-09-05 2023-10-13 中国科学技术大学 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法
CN116883417A (zh) * 2023-09-08 2023-10-13 武汉东方骏驰精密制造有限公司 基于机器视觉的工件质检方法及装置
CN117034124A (zh) * 2023-10-07 2023-11-10 中孚信息股份有限公司 基于小样本学习的恶意流量分类方法、系统、设备及介质
CN117078689A (zh) * 2023-10-17 2023-11-17 沈阳宏远电磁线股份有限公司 一种基于机器视觉的线缆缺陷识别方法及系统
CN117094988A (zh) * 2023-10-16 2023-11-21 成都电科星拓科技有限公司 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法
CN117110305A (zh) * 2023-10-25 2023-11-24 北京妙想科技有限公司 一种基于深度学习的电池壳表面缺陷检测方法及系统
CN117409261A (zh) * 2023-12-14 2024-01-16 成都数之联科技股份有限公司 一种基于分类模型的元件角度分类方法及系统
CN117408996A (zh) * 2023-12-13 2024-01-16 山东锋士信息技术有限公司 基于缺陷专注和边缘权重损失的表面缺陷检测方法
CN117576108A (zh) * 2024-01-17 2024-02-20 杭州广立微电子股份有限公司 晶圆缺陷检测的可视化优化方法、装置和计算机设备
CN117576100A (zh) * 2024-01-16 2024-02-20 浙江合丰科技有限公司 一种fpc连接器表面缺陷分级检测评价方法
CN117607155A (zh) * 2024-01-24 2024-02-27 山东大学 一种应变片外观缺陷检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376792A (zh) * 2018-11-07 2019-02-22 河北工业大学 基于多通道残差神经网络的光伏电池外观缺陷分类方法
CN112763496A (zh) * 2020-12-24 2021-05-07 苏州赛众自动化科技有限公司 一种手机电池表面缺陷检测装置及其检测方法
CN112950547A (zh) * 2021-02-03 2021-06-11 佛山科学技术学院 一种基于深度学习的锂电池隔膜缺陷机器视觉检测方法
CN114049313A (zh) * 2021-10-28 2022-02-15 上海电机学院 一种基于改进YOLOv4的锂电池缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376792A (zh) * 2018-11-07 2019-02-22 河北工业大学 基于多通道残差神经网络的光伏电池外观缺陷分类方法
CN112763496A (zh) * 2020-12-24 2021-05-07 苏州赛众自动化科技有限公司 一种手机电池表面缺陷检测装置及其检测方法
CN112950547A (zh) * 2021-02-03 2021-06-11 佛山科学技术学院 一种基于深度学习的锂电池隔膜缺陷机器视觉检测方法
CN114049313A (zh) * 2021-10-28 2022-02-15 上海电机学院 一种基于改进YOLOv4的锂电池缺陷检测方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883391B (zh) * 2023-09-05 2023-12-19 中国科学技术大学 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法
CN116883391A (zh) * 2023-09-05 2023-10-13 中国科学技术大学 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法
CN116883417A (zh) * 2023-09-08 2023-10-13 武汉东方骏驰精密制造有限公司 基于机器视觉的工件质检方法及装置
CN116883417B (zh) * 2023-09-08 2023-12-05 武汉东方骏驰精密制造有限公司 基于机器视觉的工件质检方法及装置
CN117034124A (zh) * 2023-10-07 2023-11-10 中孚信息股份有限公司 基于小样本学习的恶意流量分类方法、系统、设备及介质
CN117034124B (zh) * 2023-10-07 2024-02-23 中孚信息股份有限公司 基于小样本学习的恶意流量分类方法、系统、设备及介质
CN117094988B (zh) * 2023-10-16 2024-02-02 成都电科星拓科技有限公司 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法
CN117094988A (zh) * 2023-10-16 2023-11-21 成都电科星拓科技有限公司 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法
CN117078689A (zh) * 2023-10-17 2023-11-17 沈阳宏远电磁线股份有限公司 一种基于机器视觉的线缆缺陷识别方法及系统
CN117078689B (zh) * 2023-10-17 2024-01-30 沈阳宏远电磁线股份有限公司 一种基于机器视觉的线缆缺陷识别方法及系统
CN117110305A (zh) * 2023-10-25 2023-11-24 北京妙想科技有限公司 一种基于深度学习的电池壳表面缺陷检测方法及系统
CN117110305B (zh) * 2023-10-25 2023-12-22 北京妙想科技有限公司 一种基于深度学习的电池壳表面缺陷检测方法及系统
CN117408996A (zh) * 2023-12-13 2024-01-16 山东锋士信息技术有限公司 基于缺陷专注和边缘权重损失的表面缺陷检测方法
CN117408996B (zh) * 2023-12-13 2024-04-19 山东锋士信息技术有限公司 基于缺陷专注和边缘权重损失的表面缺陷检测方法
CN117409261B (zh) * 2023-12-14 2024-02-20 成都数之联科技股份有限公司 一种基于分类模型的元件角度分类方法及系统
CN117409261A (zh) * 2023-12-14 2024-01-16 成都数之联科技股份有限公司 一种基于分类模型的元件角度分类方法及系统
CN117576100A (zh) * 2024-01-16 2024-02-20 浙江合丰科技有限公司 一种fpc连接器表面缺陷分级检测评价方法
CN117576100B (zh) * 2024-01-16 2024-03-22 浙江合丰科技有限公司 一种fpc连接器表面缺陷分级检测评价方法
CN117576108A (zh) * 2024-01-17 2024-02-20 杭州广立微电子股份有限公司 晶圆缺陷检测的可视化优化方法、装置和计算机设备
CN117607155A (zh) * 2024-01-24 2024-02-27 山东大学 一种应变片外观缺陷检测方法及系统
CN117607155B (zh) * 2024-01-24 2024-04-19 山东大学 一种应变片外观缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
WO2023155069A1 (zh) 一种基于深度学习的手机电池表面缺陷检测方法
CN109977808B (zh) 一种晶圆表面缺陷模式检测与分析方法
Kou et al. Development of a YOLO-V3-based model for detecting defects on steel strip surface
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
WO2021046951A1 (zh) 图像识别方法、系统及存储介质
CN110070074B (zh) 一种构建行人检测模型的方法
CN113160192A (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN108428231B (zh) 一种基于随机森林的多参数零件表面粗糙度学习方法
CN112200121B (zh) 基于evm和深度学习的高光谱未知目标检测方法
CN111079640B (zh) 一种基于自动扩增样本的车型识别方法及系统
CN109544522A (zh) 一种钢板表面缺陷检测方法及系统
CN111444939A (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
CN111860106B (zh) 一种无监督的桥梁裂缝识别方法
CN113066047A (zh) 轮胎x射线图像杂质缺陷检测方法
CN111753877B (zh) 一种基于深度神经网络迁移学习的产品质量检测方法
CN115937518A (zh) 一种基于多源图像融合的路面病害识别方法及系统
CN112200246A (zh) Svm分类器的训练方法和石化储罐锈蚀缺陷分割方法
CN108520539B (zh) 一种基于稀疏学习可变模型的图像目标检测方法
CN111882554B (zh) 一种基于SK-YOLOv3的电力线故障智能检测方法
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
Yu et al. Wafer map defect recognition with few shot learning based on hybrid self-attention mechanism and prototype network
CN115953371A (zh) 一种绝缘子缺陷检测方法、装置、设备和存储介质
Xu et al. Research on improved residual network classification method for defect recognition of thermal battery
CN115082650A (zh) 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22926407

Country of ref document: EP

Kind code of ref document: A1