WO2018072326A1 - 基于图像识别的焊点类型检测和装置 - Google Patents

基于图像识别的焊点类型检测和装置 Download PDF

Info

Publication number
WO2018072326A1
WO2018072326A1 PCT/CN2016/113274 CN2016113274W WO2018072326A1 WO 2018072326 A1 WO2018072326 A1 WO 2018072326A1 CN 2016113274 W CN2016113274 W CN 2016113274W WO 2018072326 A1 WO2018072326 A1 WO 2018072326A1
Authority
WO
WIPO (PCT)
Prior art keywords
solder
neural network
convolutional neural
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/113274
Other languages
English (en)
French (fr)
Inventor
林建民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Publication of WO2018072326A1 publication Critical patent/WO2018072326A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Definitions

  • Embodiments of the present invention relate to the field of automatic optical detection technologies, and in particular, to a solder joint type detection and device based on image recognition.
  • AOI Automatic Optic Inspection
  • the detection principle is to use optical methods to obtain the surface state of the finished product, and to detect foreign matter or surface defects by image processing.
  • Solder defect detection of solder joints on circuit board cards is an important application in the field of circuit board defect detection.
  • the machine captures the circuit board image through the camera, wherein the circuit board image is illuminated by three colors of light to obtain the stereo information of the solder. Then, the partial image of the solder joint is extracted, and the image processing technology is used to determine whether the solder joint has defects such as tin, less tin, and tin, and finally the solder joint of the suspected defect is displayed or marked for convenient viewing and maintenance.
  • the solder defect detection method mainly extracts the color information of the collected solder joint image, for example, extracts the proportion of red, blue, and green colors in the solder joint image, and then judges by threshold or BP neural network is used to detect solder joint defects.
  • the method has problems such as plate making trouble, low precision and poor stability.
  • the invention provides a solder joint type detecting method and device based on image recognition to quickly and accurately detect solder defects.
  • an embodiment of the present invention provides a method for detecting a solder joint type based on image recognition, the method comprising:
  • the image of the solder to be identified is input into the trained convolutional neural network to identify the type of solder joints in the solder image.
  • an embodiment of the present invention further provides a solder joint type detecting device based on image recognition, the device comprising:
  • a training sample set building module for establishing a training sample set based on the acquired solder images of at least two types of solder joints
  • a convolutional neural network training module for training a pre-constructed convolutional neural network based on training samples in a training sample set
  • a solder joint type identification module is configured to input the solder image to be identified into the trained convolutional neural network to identify the type of solder joints in the solder image.
  • a convolutional neural network is first constructed, the convolutional neural network inputs a solder image, and the output is a type of solder joint, and a solder image pair of at least two types of solder joints is selected.
  • the pre-constructed convolutional neural network is trained to input the solder image to be identified into the trained convolutional neural network, identify the type of solder joint, and solve the problem of traditional plate defect detection method with low platemaking trouble and low precision. Problems such as poor stability, by inputting the solder image into the trained convolutional neural network model, the solder joint type can be identified quickly and easily to achieve accurate detection of solder defects.
  • FIG. 1A is a flowchart of a method for detecting a solder joint type based on image recognition according to Embodiment 1 of the present invention
  • FIG. 1B is a schematic view showing a solder image of a solder joint type according to a first embodiment of the present invention
  • 1C is a schematic view showing a solder image of a solder joint type of less tin according to a first embodiment of the present invention
  • 1D is a schematic view showing a solder image of a solder joint type of continuous tin according to a first embodiment of the present invention
  • 1E is a schematic view showing a solder image of a solder joint type of multi-tin according to a first embodiment of the present invention
  • FIG. 2A is a flowchart of a method for detecting a solder joint type based on image recognition according to Embodiment 2 of the present invention
  • FIG. 2B is a schematic flow chart of a training phase of a solder joint type detecting method based on image recognition according to Embodiment 2 of the present invention
  • FIG. 2C is a schematic structural diagram of a convolutional neural network according to Embodiment 2 of the present invention.
  • 2D is a schematic flow chart of an implementation stage of a method for detecting a solder joint type based on image recognition according to a second embodiment of the present invention
  • FIG. 3 is a structural block diagram of a solder joint type detecting device based on image recognition according to Embodiment 3 of the present invention.
  • FIG. 1A is a flowchart of a method for detecting a solder joint type based on image recognition according to a first embodiment of the present invention.
  • the embodiment is applicable to the detection of solder defects, and the method can be applied to a solder joint type detecting device based on image recognition. To perform, specifically including the following steps:
  • solder joints may include two types of solder joints, for example, solder joints may be classified into normal and abnormal types; of course, two or more solder joint types may be included, as shown in FIG. 1B- As shown in 1E, the types of solder joints can be more carefully divided, such as normal (Fig. 1B), less tin (Fig. 1C), tin (Fig. 1D), and/or multi-tin (Fig. 1E).
  • the normal solder joint type can be a type that meets the requirements, for example, the shape of the solder joint or the soldering amount of the solder joint is within a preset error range.
  • the method further includes: acquiring solder images of at least two types of solder joints. Specifically, the type information of the solder joints of the solder image is obtained by a manual labeling method; and the solder images of the at least two types of solder joints obtained by the labeling are obtained based on the type information of the solder joints. Among them, it is possible to determine whether the solder has defects according to the type information of the solder joints, and further, to determine the category information of the solder defects.
  • the solder image in the training sample set may be a large amount of the original solder image obtained; or the original solder image may be data-expanded to generate a new solder image, thereby expanding the original solder image and expanding the original solder image.
  • the subsequent solder images are used as training samples in the training sample set, further increasing the number of samples.
  • Convolutional neural networks are one of the artificial neural networks that can be used in the field of image recognition.
  • the convolutional neural network uses the reconstruction error of input and output as the energy function, and optimizes the connection weight of the network through the forward and backward propagation processes to minimize the energy function.
  • the forward propagation process uses the weight sharing method to reduce the number of weights of training, and reduces the complexity and the number of parameters.
  • the backward propagation process uses the minimum value of the label value and the predicted value as the cost function to perform fine-tuning of the weight.
  • the convolutional neural network may structurally include at least two sub-networks of parallel branches. Specifically, it may be a convolutional neural network to include two, three, and more sub-networks of parallel branches. It can be understood that the number of the specific sub-networks of the convolutional neural network can be set in the actual application process, combined with the type of the solder joints and the characteristics of the solder image, and is not limited herein. Considering the memory and recognition efficiency of the convolutional neural network, the structure of the convolutional neural network can be as simple as possible on the basis of satisfying the requirements. For example, the convolutional neural network can include a first sub-network and a second sub-network in parallel.
  • the training samples (solder images) in the training sample set can be pre-adjusted to RGB images of the same size before inputting the convolutional neural network.
  • the original convolutional neural network is trained by using a large number of training samples to obtain the identification model of the solder joint type.
  • the type of solder joints in the solder image can be identified by simply inputting the image of the solder to be identified into the trained convolutional neural network.
  • a convolutional neural network is first constructed, the convolutional neural network inputs a solder image, and the output is a type of solder joint, and the solder image of at least two types of solder joints is selected to be pre-built.
  • the convolutional neural network is trained to input the image of the solder to be identified into the trained convolutional neural network, identify the type of solder joints, and solve the problem of plate making trouble, low precision and poor stability in the traditional solder defect detection method.
  • the problem is that the solder joint image can be easily and quickly identified by inputting the solder image into the trained convolutional neural network model to achieve accurate detection of solder defects.
  • FIG. 2A is a flowchart of a method for detecting a solder joint type based on image recognition according to Embodiment 2 of the present invention.
  • the present embodiment preferably further optimizes the training sample set based on the acquired solder image of at least two types of solder joints to at least two types acquired.
  • the original solder image of the solder joint is used for data expansion; the training sample set is established based on the original solder image and the expanded solder image.
  • the method further includes: constructing a convolutional neural network including the first sub-network and the second sub-network in parallel The number of levels included in the first sub-network is greater than the number of levels included in the second sub-network.
  • the training samples based on the training sample set preferably further comprises: training and optimizing the pre-constructed convolutional neural network by using a gradient descent method based on the training samples in the training sample set.
  • the method in this embodiment may include:
  • performing data expansion on the acquired original solder image of at least two types of solder joints may include at least one of the following: presetting the original solder image of the obtained at least two types of solder joints Angle rotation, for example, 90 degree, 180 degree or 270 degree rotation of the solder image; random cutting of the original solder image of at least two types of solder joints obtained; at least two types of solder joints obtained at the original
  • the solder image is gamma-gamma-transformed to reduce the effects of external illumination, image brightness, or grayscale values on the solder image. That is, the solder image may be transformed by any one of the above modes or a combination of the two to realize data expansion; or the solder image may be transformed in a plurality of ways to realize data expansion.
  • the original solder image and the expanded solder image are used as training samples, and the training samples in the training sample set are multiplied, and the training sample is concentrated.
  • the training samples are more abundant, and the samples can be presented in multiple angles and in multiple regions. This can also better reduce the possibility of over-fitting of the convolutional neural network, so that the model of the convolutional neural network can obtain better generalization ability.
  • S230 Construct a convolutional neural network including a first sub-network and a second sub-network in parallel, wherein the first sub-network includes a number of levels greater than a number of levels included in the second sub-network.
  • the solder image is captured by the first sub-network having a larger number of levels included
  • the high-level abstract feature information of the middle solder joint type captures the low-level feature information of the solder joint type in the solder image by the second sub-network including the smaller number of layers, thereby realizing the low-level feature information and the high-level of simultaneously capturing the solder image.
  • Abstract feature information to more accurately determine the type of solder joints in the solder image.
  • the constructing the convolutional neural network including the first sub-network and the second sub-network in parallel may include: constructing a second sub-network including a convolution layer, a nonlinear activation function layer, and a pooling layer, And a first sub-network comprising at least two convolutional layers and at least two non-linear activation function layers; the first sub-network and the second sub-network are connected in parallel to construct a convolutional neural network.
  • the first sub-network may include three convolutional layers and three non-linear activation function layers.
  • convolution of an image with a convolution kernel is actually a filtering process that can be used to enhance the original image of the solder image, detect more feature information, and reduce noise.
  • the convolution kernel size of the convolutional layer for example, 3*3, 5*5, etc.
  • the number of convolution kernels for example, 64, etc.
  • the activation function layer uses a nonlinear ReLu activation function layer to provide nonlinear expression capabilities for the features of the training samples.
  • the ReLu function does not need to calculate the index when calculating the activation value and only needs to set the threshold.
  • the ReLu activation function layer can accelerate convergence, shorten the learning period, and enable the network to introduce sparsity on its own, and reduce the interdependence of parameters, which can effectively alleviate the occurrence of over-fitting problems.
  • the pooling layer also called the downsampling layer, is mainly to make the network obtain a certain degree of displacement, scale, deformation invariance, and can reduce the feature vector of the upper layer output, and it is not easy to over-fitting.
  • the constructing includes a convolutional neural network of the first sub-network and the second sub-network in parallel, and may further include: connecting, according to the first sub-network, the second sub-network, and the channel The layer and the at least one fully connected layer connected to the channel connection layer construct a convolutional neural network.
  • the fully connected layer may further include a first fully connected layer and a second fully connected layer.
  • the first fully connected layer may correspond to feature information of the channel connection layer (including specific features and corresponding weight values, etc.);
  • the second connection layer may correspond to a type of solder joint, for example, the solder joint type may be represented as normal , Shaoxi, Lianxi and Duoxi.
  • the gradient descent method is used to train and optimize the pre-constructed convolutional neural network.
  • the pre-constructed convolutional neural network can be optimized using a gradient descent method.
  • the gradient descent method may include Batch Gradient Descent (BGD), Small Batch Gradient Descent MBGD, and Stochastic Gradient Descent (SGD).
  • BGD Batch Gradient Descent
  • SGD Stochastic Gradient Descent
  • the technical solution of the embodiment further expands the data of the training samples, so that the training samples are more abundant, and the convolutional neural network is further generalized, and the pre-built convolutional neural network is optimized by the gradient descent method, so that The trained convolutional neural network can be applied to various solder images to be identified during the application process with higher precision.
  • the training phase we will expand the data of the obtained solder image according to some set data expansion methods, increase the number of training samples, and increase the training.
  • the diversity of the sample reduces the over-fitting; then the expanded training data is input to a pre-constructed convolutional neural network for training, and the volume is optimized by a gradient descent method (such as SGD).
  • the parameters of the neural network if the trained convolutional neural network satisfies the requirements on the test set, the training of the convolutional neural network can be ended.
  • the input training samples may be adjusted in advance into RGB images of 64*64 size and input into the respective parallel sub-networks of the convolutional neural network.
  • two sub-networks are constructed, which are the first sub-network and the second sub-network respectively.
  • the first sub-network consists of three convolutional layers and three nonlinear activation functions (ReLu activation function layer), which are mainly used to extract high-level abstract feature information;
  • the second sub-network consists of a convolution layer and a ReLu
  • the activation function layer and a pooling layer are formed.
  • the level included in the first sub-network is as follows: the first layer is a convolution layer, the convolution kernel of the convolution layer has a size of 3*3, and the number of convolution kernels is 64.
  • the second layer is a nonlinear activation function layer, here is the ReLU activation function, which mainly provides nonlinear expression capability for features;
  • the third layer is convolutional layer, the convolution kernel size is 3*3, and the convolution kernel The number is 64;
  • the fourth layer is the ReLu activation function layer;
  • the fifth layer is the pooling layer (downsampling region 2*2), also called the downsampling layer, mainly to make the network obtain a certain degree of displacement, scale, Deformation invariance;
  • the sixth layer is the convolutional layer, the convolution kernel size is 3*3, the number of convolution kernels is 64;
  • the seventh layer is the ReLu activation function layer;
  • the eighth layer is the pooling layer (downsampling region 2*) 2).
  • the second sub-network includes the following levels: the first layer is a convolutional layer, the convolution kernel size is 5*5, the number of convolution kernels is 64, and the second layer is a nonlinear ReLu activation function layer;
  • the layer is the pooling layer (downsampling area 4*4).
  • the feature information obtained from the first sub-network and the second sub-network is respectively connected through the channel connection layer, and is input to the first fully-connected layer and the second fully-connected layer, wherein the first fully-connected layer of neurons
  • the number is 256
  • the number of neurons in the second fully connected layer is four, which corresponds to the welding that needs to be classified.
  • the type of the solder joint in the solder image can be obtained. Further, it is possible to determine whether or not the solder is defective according to the type of the identified solder joint, thereby realizing the solder defect detection.
  • the implementation phase is simple compared to the training phase. It is only necessary to input the solder image in the actual production environment to the convolutional neural network model after the training is completed, so that the probability distribution of the input solder image data in four categories is obtained. The category with the highest probability can be selected as the defect category of the solder image. If it is one of the three defects of less tin, poly tin, and tin, the solder can be marked and left to the operator for confirmation and repair.
  • the type of solder joints in the solder image can be easily, quickly and accurately recognized, and the inspection and maintenance of the solder defects can be facilitated.
  • the image recognition-based solder joint type detecting device specifically includes a training sample set establishing module 310, a convolutional neural network training module 320, and a solder joint type identifying module 330.
  • the training sample set establishing module 310 is configured to establish a training sample set based on the acquired solder images of at least two types of solder joints; the convolutional neural network training module 320 is configured to pre-build based on the training sample pairs in the training sample set.
  • the convolutional neural network performs training; the solder joint type identification module 330 is configured to input the solder image to be identified into the trained convolutional neural network to identify the type of solder joints in the solder image.
  • a convolutional neural network is first constructed, the convolutional neural network inputs a solder image, and the output is a type of solder joint, and the solder image of at least two types of solder joints is selected to be pre-built.
  • the convolutional neural network is trained to input the image of the solder to be identified into the trained convolutional neural network, identify the type of solder joints, and solve the problem of plate making trouble, low precision and poor stability in the traditional solder defect detection method.
  • the problem is that the solder joint image can be easily and quickly identified by inputting the solder image into the trained convolutional neural network model to achieve accurate detection of solder defects.
  • the training sample set establishing module may include: a solder image data expansion unit and a training sample set establishing unit.
  • the solder image data expansion unit is configured to perform data expansion on the acquired original solder images of at least two types of solder joints; and the training sample set establishing unit is configured to establish a solder image based on the original solder image and the data expansion. Training sample set.
  • the solder image data expansion unit can be used for at least one of the following:
  • a gamma Gamma transform is performed on the original solder images of at least two types of solder joints obtained.
  • the device further includes:
  • a convolutional neural network construction module configured to construct a convolutional neural network including a first sub-network and a second sub-network in parallel before training the pre-constructed convolutional neural network based on the training samples in the training sample set, wherein The number of levels included in the first sub-network is greater than the number of levels included in the second sub-network.
  • the convolutional neural network building module may be specifically configured to:
  • a second sub-network comprising a convolutional layer, a non-linear activation function layer and a pooling layer, and a first sub-network comprising at least two convolution layers and at least two non-linear activation function layers;
  • the first sub-network and the second sub-network are connected in parallel to construct a convolutional neural network.
  • the convolutional neural network building module may further be used to:
  • a convolutional neural network is constructed based on the first sub-network, the second sub-network, a channel connection layer, and at least one fully-connected layer connected to the channel connection layer.
  • the convolutional neural network training module may be specifically configured to:
  • the gradient descent method is used to train and optimize the pre-constructed convolutional neural network.
  • the foregoing apparatus can perform the methods provided in Embodiment 1 and Embodiment 2 of the present invention, and has the corresponding functional modules and beneficial effects of performing the foregoing methods.
  • the foregoing apparatus can perform the methods provided in Embodiment 1 and Embodiment 2 of the present invention, and has the corresponding functional modules and beneficial effects of performing the foregoing methods.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于图像识别的焊点类型检测方法和装置，涉及自动光学检测技术领域。其中，该方法包括：基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集（S110、S210）；基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练（S120）；将待识别的焊锡图像输入到训练完成的所述卷积神经网络中，对焊锡图像中的焊点的类型进行识别（S130、S250）。上述技术方案通过卷积神经网络识别焊锡图像，解决了传统焊锡缺陷检测方法所存在的制版麻烦、精准度低及稳定性差等问题，通过将焊锡图像输入至训练完成的卷积神经网络模型中，即可简单快速地对焊点类型进行识别，能够实现焊锡缺陷的精准检测。

Description

基于图像识别的焊点类型检测和装置 技术领域
本发明实施例涉及自动光学检测技术领域，尤其涉及一种基于图像识别的焊点类型检测和装置。
背景技术
自动光学检测(Automatic Optic Inspection，AOI)是工业制作过程的必要环节，其检测原理是利用光学方式取得成品的表面状态，以影像处理来检测异物或表面瑕疵。而电路板卡焊锡面焊点的焊锡缺陷检测是电路板卡缺陷检测领域中一项重要的应用。机器通过摄像头拍摄电路板卡图像，其中，电路板卡图像由三色光进行照明，获得焊锡的立体信息。然后提取焊点的局部图像，并通过图像处理技术，判断焊点是否有连锡、少锡、多锡等缺陷，最后将疑似缺陷的焊点显示或标记出来，方便查看与检修。
在传统的AOI系统中，焊锡缺陷检测方法主要是通过对采集到的焊点图像颜色信息进行特征提取，例如，提取焊点图像中红色、蓝色、绿色颜色的占比，然后通过阈值判别或BP神经网络进行焊点焊锡缺陷的检测。但是，在实际应用过程中，该方法存在制版麻烦、精准度低及稳定性差等问题。
发明内容
本发明提供一种基于图像识别的焊点类型检测方法和装置，以快速准确地检测焊锡缺陷。
第一方面，本发明实施例提供了一种基于图像识别的焊点类型检测方法，该方法包括：
基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集；
基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练；
将待识别的焊锡图像输入到训练完成的所述卷积神经网络中，对焊锡图像中的焊点的类型进行识别。
第二方面，本发明实施例还提供了一种基于图像识别的焊点类型检测装置，该装置包括：
训练样本集建立模块，用于基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集；
卷积神经网络训练模块，用于基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练；
焊点类型识别模块，用于将待识别的焊锡图像输入到训练完成的所述卷积神经网络中，对焊锡图像中的焊点的类型进行识别。
本发明实施例所提供的技术方案，首先构建了一个卷积神经网络，该卷积神经网络输入的为焊锡图像，输出的为焊点的类型，选取至少两种类型的焊点的焊锡图像对预先构建的卷积神经网络进行训练，进而将待识别的焊锡图像输入至训练完成的卷积神经网络，识别焊点的类型，解决了传统焊锡缺陷检测方法所存在的制版麻烦、精准度低及稳定性差等问题，通过将焊锡图像输入至训练好的卷积神经网络模型中，即可简单快速地对焊点类型进行识别，以实现焊锡缺陷地精准检测。
附图说明
图1A为本发明实施例一所提供的一种基于图像识别的焊点类型检测方法的流程图；
图1B为本发明实施例一所提供的一种焊点类型为正常的焊锡图像示意图；
图1C为本发明实施例一所提供的一种焊点类型为少锡的焊锡图像示意图；
图1D为本发明实施例一所提供的一种焊点类型为连锡的焊锡图像示意图；
图1E为本发明实施例一所提供的一种焊点类型为多锡的焊锡图像示意图；
图2A为本发明实施例二所提供的一种基于图像识别的焊点类型检测方法的流程图；
图2B为本发明实施例二的基于图像识别的焊点类型检测方法训练阶段的流程示意图；
图2C为本发明实施例二所适用的一种卷积神经网络的结构示意图；
图2D为本发明实施例二的基于图像识别的焊点类型检测方法实施阶段的流程示意图；
图3为本发明实施例三所提供的一种基于图像识别的焊点类型检测装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部 分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1A为本发明实施例一提供的一种基于图像识别的焊点类型检测方法的流程图，本实施例可适用于对焊锡缺陷的检测，该方法可以由基于图像识别的焊点类型检测装置来执行，具体包括如下步骤：
S110、基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集。
其中，至少两种类型的焊点可包括两种类型的焊点，例如可将焊点分为正常和不正常两种类型；当然也可包括两种以上的焊点的类型，如图1B-1E所示，可将焊点的类型进行更加细致地划分，如可分为正常(图1B)、少锡(图1C)、连锡(图1D)和/或多锡(图1E)等类型。可以理解的是，正常的焊点类型可以是符合要求的类型，例如，焊点的形状或者焊点焊锡用量在预设的误差范围内。
在基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集之前，还包括：获取至少两种类型的焊点的焊锡图像。具体地，通过人工标注的方法得到焊锡图像的焊点的类型信息；进而基于所述焊点的类型信息获取标注过的获取到的至少两种类型的焊点的焊锡图像。其中，可以根据焊点的类型信息确定焊锡是否存在缺陷，进一步地，还可以确定焊锡缺陷的类别信息。
一般地，为了使得焊点类型的检测准确性更高，需要大量的训练样本。在本实施例中，训练样本集中的焊锡图像可以是获取到的大量的原始的焊锡图像；也可以是将原始的焊锡图像进行数据扩展后生成新的焊锡图像，进而将原始的焊锡图像和扩展后的焊锡图像均作为训练样本集中的训练样本，进一步增加样本的数量。
S120、基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练。
卷积神经网络是人工神经网络中的一种，可用于图像识别领域。卷积神经网络以输入、输出的重构误差为能量函数，通过前向、后向传播过程优化调整网络的联结权值，使能量函数达到最小。其中，前向传播过程采用权值共享方法减少训练的权值个数，降低复杂度与参数个数；后向传播过程以标签值和预测值误差最小为代价函数，进行权值微调。
在本实施例中，为了能够同时捕捉到低层的特征信息和高层抽象的特征信息，卷积神经网络在结构上可以包括至少两个并联分支的子网络。具体可以是卷积神经网络以包括两个、三个以及更多个并联分支的子网络。可以理解的是，卷积神经网络具体的子网络的数量，可以在实际应用过程中，结合焊点的类型以及焊锡图像的特征等进行设定，在此不做限定。考虑到卷积神经网络所占用的内存及识别效率等问题，卷积神经网络的结构可以在满足需求的基础上尽可能地简单化。例如，卷积神经网络可以包括并联的第一子网络和第二子网络。
考虑到卷积网络的构建与训练的便利性，可选地，训练样本集中的训练样本(焊锡图像)在输入卷积神经网络之前，可预先调整为同一大小的RGB图像。
S130、将待识别的焊锡图像输入到训练完成的所述卷积神经网络中，对焊锡图像中的焊点的类型进行识别。
如前所述，在确定了原始的卷积神经网络的网络结构之后，通过使用大量的训练样本对该原始卷积神经网络进行训练，即可得到所述焊点类型的识别模型。只需将待识别的焊锡图像输入到训练完成的卷积神经网络中，即可完成对焊锡图像中的焊点的类型的识别。
本实施例的技术方案，首先构建了一个卷积神经网络，该卷积神经网络输入的为焊锡图像，输出的为焊点的类型，选取至少两种类型的焊点的焊锡图像对预先构建的卷积神经网络进行训练，进而将待识别的焊锡图像输入至训练完成的卷积神经网络，识别焊点的类型，解决了传统焊锡缺陷检测方法所存在的制版麻烦、精准度低及稳定性差等问题，通过将焊锡图像输入至训练好的卷积神经网络模型中，即可简单快速地对焊点类型进行识别，以实现焊锡缺陷地精准检测。
实施例二
图2A为本发明实施例二提供的一种基于图像识别的焊点类型检测方法的流程图。如图2A所示，本实施例在上述各实施例的基础上，优选是将基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集进一步优化为对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展；基于原始的焊锡图像以及数据扩展后的焊锡图像建立训练样本集。
在此基础上，可选是所述基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练之前，还包括：构建包括并联的第一子网络和第二子网络的卷积神经网络，其中，所述第一子网络所包括的层级的数量大于所述第二子网络所包含的层级的数量。
进一步地，在上述各实施例的基础上，所述基于训练样本集中的训练样本 对预先构建的卷积神经网络进行训练，优选是还可以包括：基于训练样本集中的训练样本，采用梯度下降法对预先构建的卷积神经网络进行训练及优化。
具体地，本实施例的方法可以包括：
S210、对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展。
具体地，对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展，可包括下述中的至少一项：对获取到的至少两种类型的焊点原始的焊锡图像依照预设角度旋转，例如，对焊锡图像进行90度、180度或270度旋转；对获取到的至少两种类型的焊点原始的焊锡图像进行随机裁剪；对获取到的至少两种类型的焊点原始的焊锡图像进行伽马Gamma变换，可以削弱外界光照、图像亮度或者灰度值对焊锡图像的影响。即，可以通过上述任一种方式或任两种方式组合对焊锡图像进行变换以实现数据扩展；或者同时采用多种方式组合对焊锡图像进行变换以实现数据扩展。
S220、基于原始的焊锡图像以及数据扩展后的焊锡图像建立训练样本集。
在本实施例中，原始的焊锡图像通过数据扩展后，将原始的焊锡图像以及数据扩展后的焊锡图像均作为训练样本，训练样本集中的训练样本将成倍的增加，且使得训练样本集中的训练样本更加丰富，而且可多角度、多区域地展现样本。这样还可以较好的降低卷积神经网络过拟合的可能性，使得卷积神经网络的模型获得更好的泛化能力。
S230、构建包括并联的第一子网络和第二子网络的卷积神经网络，其中，所述第一子网络所包括的层级的数量大于所述第二子网络所包含的层级的数量。
在本实施例中，通过所包括的层级的数量较多的第一子网络捕捉焊锡图像 中焊点类型的高层抽象的特征信息，通过所包括的层级的数量较少的第二子网络捕捉焊锡图像中焊点类型的低层的特征信息，实现同时捕捉焊锡图像的低层的特征信息和高层抽象的特征信息，以更加准确地判断焊锡图像中焊点的类型。
具体地，所述构建包括并联的第一子网络和第二子网络的卷积神经网络可包括：构建包括一个卷积层、一个非线性激活函数层和一个池化层的第二子网络，以及包括至少两个卷积层和至少两个非线性激活函数层的第一子网络；并联所述第一子网络和所述第二子网络以构建卷积神经网络。示例性地，第一子网络可以包括三个卷积层和三个非线性激活函数层。
在图像处理中，对图像用一个卷积核进行卷积运算，实际上是一个滤波的过程，可用于增强焊锡图像的原始信号，检测更多的特征信息，并且降低噪音。可以理解的是，卷积层的卷积核大小(例如3*3，5*5等)及卷积核的数量(例如64个等)，可以根据实际需求进行设定。
在本实施例中，激活函数层选用非线性ReLu激活函数层，主要为训练样本的特征提供非线性表达能力。在正向传播过程中，相比较于传统的sigmoid和tanh函数，ReLu函数在计算激活值时不需要计算指数而仅需要设置阈值。ReLu激活函数层能够加速收敛，缩短学习周期，使得网络可自行引入稀疏性，且减少了参数的相互依存关系，能够有效缓和过拟合问题的发生。
池化层，也称下采样层，主要是为了使得网络获得一定程度的位移、尺度、形变不变性，而且能够降低上一层输出的特征向量，不易出现过拟合现象。
为了更好地进行特征融合，所述构建包括并联的第一子网络和第二子网络的卷积神经网络，还可以包括：基于所述第一子网络、所述第二子网络、通道连接层以及与所述通道连接层相连的至少一个全连接层构建卷积神经网络。其 中所述全连接层还可以包括第一全连接层和第二全连接层。进一步地，第一全连接层可以对应于通道连接层的特征信息(包括具体特征及对应的权重值等)；第二连接层可对应于焊点的类型，比如可以将焊点类型表示为正常、少锡、连锡及多锡四类。
S240、基于训练样本集中的训练样本，采用梯度下降法对预先构建的卷积神经网络进行训练及优化。
在机器学习算法中，通常需要对原始的模型构建损失函数，接下来便是通过优化算法对损失函数进行优化，以便寻找到最优的参数。在本实施例中，可以采用梯度下降法对预先构建的卷积神经网络进行优化。
示例性地，梯度下降法可包括批量梯度下降法(Batch Gradient Descent，BGD)、小批量梯度下降法MBGD及随机梯度下降算法(Stochastic Gradient Descent，SGD)等。
S250、将待识别的焊锡图像输入到训练完成的所述卷积神经网络中，对焊锡图像中的焊点的类型进行识别。
本实施例的技术方案，进一步地对训练样本进行数据扩展，使得训练样本更加丰富，也使得卷积神经网络更加地泛化，且用梯度下降法对预先构建的卷积神经网络进行优化，使得训练完成的卷积神经网络在应用过程中，可适用于各种待识别的焊锡图像，且精准度更高。
作为本发明实施例的一优选实例，如图2B所示，在训练阶段，我们会根据一些设定好的数据扩展方法，对得到的焊锡图像进行数据扩展，增加训练样本的个数，增加训练样本的多样性，降低过拟合；然后将扩展后的训练数据输入给预先构建好的卷积神经网络进行训练，通过梯度下降方法(如SGD)优化卷 积神经网络的参数；若训练的卷积神经网络在测试集上满足要求，则可以结束卷积神经网络的训练。
具体地，如图2C所示，可预先将输入的训练样本调整为成64*64大小的RGB图像，输入至卷积神经网络的各并联子网络中。在整个网络结构上，为了能够同时捕捉低层的特征信息和高层抽象的特征信息，构建了两个分支的子网络，分别为第一子网络和第二子网络。其中，第一子网络由3个卷积层和3个非线性激活函数(ReLu激活函数层)组成，主要用于提取高层的抽象的特征信息；第二子网络由一个卷积层、一个ReLu激活函数层和一个池化层构成。
在本实施例中，具体地，第一子网络所包括的层级如下所述：第1层是卷积层，卷积层的卷积核大小为3*3，卷积核的数量为64个；第2层是一个非线性激活函数层，此处采用的是ReLU激活函数，主要为特征提供非线性表达能力；第3层是卷积层，卷积核大小为3*3，卷积核的数量为64个；第4层是ReLu激活函数层；第5层是池化层(下采样区域2*2)，也称下采样层，主要是为了使得网络获得一定程度的位移、尺度、形变不变性；第6层是卷积层，卷积核大小为3*3，卷积核数量为64；第7层是ReLu激活函数层；第8层是池化层(下采样区域2*2)。
第二子网络所包括的层级如下所述：其第1层是卷积层，卷积核大小为5*5，卷积核的数量为64；第2层是非线性ReLu激活函数层；第3层是池化层(下采样区域4*4)。
进而，将从第一子网络和第二子网络中分别得到特征信息通过通道连接层连接起来，输入给第一全连接层和第二全连接层，其中，第一全连接层的神经元个数为256个，第二全连接层的神经元个数为4个，即对应着需要分类的焊 点的类型的数目，最后输入Softmax层，即输出层，输出结果。
在实施阶段，如图2D所示，只要将实际待识别的焊锡图像，输入训练完成的卷积神经网络，进行一次前向计算，即可得到该焊锡图像中焊点所属的类型。进而，可以根据识别出的焊点的类型确定焊锡是否存在缺陷，从而实现焊锡缺陷检测。相比于训练阶段，实施阶段很简单。只需将实际生产环境下的焊锡图像，输入给训练完成后的卷积神经网络模型，这样就获得了输入的焊锡图像数据在4个类别上的概率分布。可选取其中概率最大的类别作为焊锡图像的缺陷类别，如果是少锡，多锡，连锡这三种缺陷的一种，则可标注这个焊锡，将其留给作业人员进行确认和修复。
采用本实施例的技术方案，能够简单、快速、准确地识别出焊锡图像中焊点的类型，方便焊锡缺陷的查看与检修。
实施例三
图3所示为本发明实施例三提供的一种基于图像识别的焊点类型检测装置的结构框图，该装置可通过硬件和/或软件的方式实现，并一般可独立的配置在用户终端或服务器中实现本实施例的方法。如图3所示，所述基于图像识别的焊点类型检测装置具体包括：训练样本集建立模块310、卷积神经网络训练模块320和焊点类型识别模块330。
其中，训练样本集建立模块310，用于基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集；卷积神经网络训练模块320，用于基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练；焊点类型识别模块330，用于将待识别的焊锡图像输入到训练完成的所述卷积神经网络中，对焊锡图像中的焊点的类型进行识别。
本实施例的技术方案，首先构建了一个卷积神经网络，该卷积神经网络输入的为焊锡图像，输出的为焊点的类型，选取至少两种类型的焊点的焊锡图像对预先构建的卷积神经网络进行训练，进而将待识别的焊锡图像输入至训练完成的卷积神经网络，识别焊点的类型，解决了传统焊锡缺陷检测方法所存在的制版麻烦、精准度低及稳定性差等问题，通过将焊锡图像输入至训练好的卷积神经网络模型中，即可简单快速地对焊点类型进行识别，以实现焊锡缺陷地精准检测。
在上述技术方案的基础上，所述训练样本集建立模块可包括：焊锡图像数据扩展单元和训练样本集建立单元。其中，焊锡图像数据扩展单元，用于对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展；训练样本集建立单元，用于基于原始的焊锡图像以及数据扩展后的焊锡图像建立训练样本集。
在上述各技术方案的基础上，所述焊锡图像数据扩展单元可用于下述中的至少一项：
对获取到的至少两种类型的焊点原始的焊锡图像依照预设角度旋转；
对获取到的至少两种类型的焊点原始的焊锡图像进行随机裁剪；
对获取到的至少两种类型的焊点原始的焊锡图像进行伽马Gamma变换。
在上述各技术方案的基础上，所述装置还包括：
卷积神经网络构建模块，用于在基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练之前，构建包括并联的第一子网络和第二子网络的卷积神经网络，其中，所述第一子网络所包括的层级的数量大于所述第二子网络所包含的层级的数量。
在上述各技术方案的基础上，所述卷积神经网络构建模块可具体用于：
构建包括一个卷积层、一个非线性激活函数层和一个池化层的第二子网络，以及包括至少两个卷积层和至少两个非线性激活函数层的第一子网络；
并联所述第一子网络和所述第二子网络以构建卷积神经网络。
在上述各技术方案的基础上，所述卷积神经网络构建模块还可进一步用于：
基于所述第一子网络、所述第二子网络、通道连接层以及与所述通道连接层相连的至少一个全连接层构建卷积神经网络。
在上述各技术方案的基础上，所述卷积神经网络训练模块可具体用于：
基于训练样本集中的训练样本，采用梯度下降法对预先构建的卷积神经网络进行训练及优化。
上述装置可执行本发明实施例一和实施例二所提供的方法，具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例一和实施例二所提供的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

  1. 一种基于图像识别的焊点类型检测方法，其特征在于，包括：
    基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集；
    基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练；
    将待识别的焊锡图像输入到训练完成的所述卷积神经网络中，对焊锡图像中的焊点的类型进行识别。
  2. 根据权利要求1所述的方法，其特征在于，所述基于获取到的至少两种类型的焊锡图像建立训练样本集，包括：
    对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展；
    基于原始的焊锡图像以及数据扩展后的焊锡图像建立训练样本集。
  3. 根据权利要求2所述的方法，其特征在于，所述对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展，包括下述中的至少一项：
    对获取到的至少两种类型的焊点原始的焊锡图像依照预设角度旋转；
    对获取到的至少两种类型的焊点原始的焊锡图像进行随机裁剪；
    对获取到的至少两种类型的焊点原始的焊锡图像进行伽马Gamma变换。
  4. 根据权利要求1-3任一所述的方法，其特征在于，所述基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练之前，包括：
    构建包括并联的第一子网络和第二子网络的卷积神经网络，其中，所述第一子网络所包括的层级的数量大于所述第二子网络所包含的层级的数量。
  5. 根据权利要求4所述的方法，其特征在于，所述构建包括并联的第一子网络和第二子网络的卷积神经网络包括：
    构建包括一个卷积层、一个非线性激活函数层和一个池化层的第二子网络，以及包括至少两个卷积层和至少两个非线性激活函数层的第一子网络；
    并联所述第一子网络和所述第二子网络以构建卷积神经网络。
  6. 根据权利要求4所述的方法，其特征在于，所述构建包括并联的第一子网络和第二子网络的卷积神经网络，包括：
    基于所述第一子网络、所述第二子网络、通道连接层以及与所述通道连接层相连的至少一个全连接层构建卷积神经网络。
  7. 根据权利要求1所述的方法，其特征在于，所述基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练，包括：
    基于训练样本集中的训练样本，采用梯度下降法对预先构建的卷积神经网络进行训练及优化。
  8. 一种基于图像识别的焊点类型检测装置，其特征在于，包括：
    训练样本集建立模块，用于基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集；
    卷积神经网络训练模块，用于基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练；
    焊点类型识别模块，用于将待识别的焊锡图像输入到训练完成的所述卷积神经网络中，对焊锡图像中的焊点的类型进行识别。
  9. 根据权利要求8所述的装置，其特征在于，所述训练样本集建立模块包括：
    数据扩展单元，用于对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展；
    训练样本集建立单元，用于基于原始的焊锡图像以及数据扩展后的焊锡图像建立训练样本集。
  10. 根据权利要求8所述的装置，其特征在于，所述装置还包括：
    卷积神经网络构建模块，用于在基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练之前，构建包括并联的第一子网络和第二子网络的卷积神经网络，其中，所述第一子网络所包括的层级的数量大于所述第二子网络所包含的层级的数量。
PCT/CN2016/113274 2016-10-21 2016-12-29 基于图像识别的焊点类型检测和装置 Ceased WO2018072326A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610918423.0A CN106530284A (zh) 2016-10-21 2016-10-21 基于图像识别的焊点类型检测和装置
CN201610918423.0 2016-10-21

Publications (1)

Publication Number Publication Date
WO2018072326A1 true WO2018072326A1 (zh) 2018-04-26

Family

ID=58332774

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/113274 Ceased WO2018072326A1 (zh) 2016-10-21 2016-12-29 基于图像识别的焊点类型检测和装置

Country Status (2)

Country Link
CN (1) CN106530284A (zh)
WO (1) WO2018072326A1 (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109239075A (zh) * 2018-08-27 2019-01-18 北京百度网讯科技有限公司 电池检测方法及装置
CN109726721A (zh) * 2018-12-06 2019-05-07 五邑大学 一种基于卷积神经网络模型的象棋识别方法
CN109859224A (zh) * 2019-01-31 2019-06-07 东北大学 一种传送带矿岩颗粒图像分割方法
CN110163859A (zh) * 2019-05-29 2019-08-23 广东工业大学 基于PoseCNN的焊缝焊接方法、装置及设备
CN110310261A (zh) * 2019-06-19 2019-10-08 河南辉煌科技股份有限公司 一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法
CN110321959A (zh) * 2019-07-09 2019-10-11 安徽理工大学 一种多光谱图像信息和cnn的煤矸识别方法
CN110517180A (zh) * 2019-07-24 2019-11-29 北京旷视科技有限公司 基于高精度神经网络的图像处理方法、装置及电子设备
CN110619355A (zh) * 2019-08-28 2019-12-27 武汉科技大学 基于深度学习的钢铁材料微观组织自动识别方法
CN110674716A (zh) * 2019-09-16 2020-01-10 腾讯云计算（北京）有限责任公司 图像识别方法、装置和存储介质
CN110910363A (zh) * 2019-11-15 2020-03-24 上海交通大学 基于机器视觉和深度学习的虚焊检测方法、系统及介质
CN110930350A (zh) * 2018-09-19 2020-03-27 鸿富锦精密电子(天津)有限公司 机器学习方法及应用机器学习方法的自动光学检测设备
CN111369550A (zh) * 2020-03-11 2020-07-03 创新奇智(成都)科技有限公司 图像配准与缺陷检测方法、模型、训练方法、装置及设备
CN111429405A (zh) * 2020-03-04 2020-07-17 清华大学深圳国际研究生院 基于3d cnn的锡球缺陷检测方法及装置
CN113298806A (zh) * 2021-06-18 2021-08-24 上海市机械施工集团有限公司 焊接缺陷智能检测方法、装置、焊接设备和存储介质
CN113421252A (zh) * 2021-07-07 2021-09-21 南京思飞捷软件科技有限公司 基于改进的卷积神经网络的车身焊接缺陷实际检测方法
US11222234B2 (en) * 2018-09-04 2022-01-11 Boe Technology Group Co., Ltd. Method and apparatus for training a convolutional neural network to detect defects
CN114331941A (zh) * 2020-09-24 2022-04-12 深圳富桂精密工业有限公司 焊接模型训练方法、焊接管控方法、电子设备及存储介质
CN114399665A (zh) * 2022-01-12 2022-04-26 西安建筑科技大学 外墙外保温层缺陷类型识别方法、装置、设备及存储介质
CN114757941A (zh) * 2022-05-19 2022-07-15 国网智能科技股份有限公司 变电站设备缺陷的识别方法、装置、电子设备及存储介质
CN115047039A (zh) * 2022-06-17 2022-09-13 东风汽车集团股份有限公司 对不同焊接类型焊点进行点焊质量检测的方法及系统
CN115272246A (zh) * 2022-07-31 2022-11-01 国网宁夏电力有限公司固原供电公司 一种基于双确认的继电保护装置状态监测方法
CN115392132A (zh) * 2021-09-18 2022-11-25 天津商科数控技术股份有限公司 基于深度学习的焊点质量异常检测方法、装置、系统
CN116245802A (zh) * 2022-12-13 2023-06-09 厦门大学 一种基于卷积神经网络的电子元器件缺陷识别方法及装置
CN117773372A (zh) * 2023-12-14 2024-03-29 南通思凯光电有限公司 一种手持式激光焊接枪头损耗优化方法及系统
CN117884786A (zh) * 2024-03-15 2024-04-16 哈尔滨工业大学（威海） 一种锡球激光焊接缺陷检测方法
CN117984024A (zh) * 2024-04-03 2024-05-07 中国水利水电第十工程局有限公司 基于船闸人字门自动化生产的焊接数据管理方法及系统

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960456A (zh) * 2017-03-28 2017-07-18 长沙全度影像科技有限公司 一种鱼眼相机标定算法评价的方法
CN107123117B (zh) * 2017-04-26 2020-10-20 广东工业大学 一种基于深度学习的ic引脚焊点质量检测方法及装置
CN107563434B (zh) * 2017-08-30 2020-12-15 山东大学 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
CN107730504A (zh) * 2017-10-17 2018-02-23 太原理工大学 基于改进bp神经网络的图像分割方法
CN108154502B (zh) * 2017-12-22 2022-01-11 王华锋 一种基于卷积神经网络的通孔焊点识别方法
CN108257180B (zh) * 2018-02-07 2023-08-04 北京深度奇点科技有限公司 焊接间隙定位方法和装置
CN108346151A (zh) * 2018-03-12 2018-07-31 湖南大学 一种判断激光焊接熔透性的方法
CN108764134A (zh) * 2018-05-28 2018-11-06 江苏迪伦智能科技有限公司 一种适用于巡检机器人的多类型仪表自动定位与识别方法
CN109001211A (zh) * 2018-06-08 2018-12-14 苏州赛克安信息技术有限公司 基于卷积神经网络的长输管道焊缝检测系统及方法
CN108830850B (zh) * 2018-06-28 2020-10-23 信利（惠州）智能显示有限公司 自动光学检测图片分析方法及设备
CN109239102B (zh) * 2018-08-21 2021-04-09 南京理工大学 一种基于cnn的柔性电路板外观缺陷检测方法
CN109342456B (zh) * 2018-09-14 2021-05-11 广东工业大学 一种焊点缺陷检测方法、装置、设备及可读存储介质
CN110929866B (zh) * 2018-09-20 2022-06-24 阿里巴巴集团控股有限公司 神经网络模型的训练方法、装置和系统
KR102175286B1 (ko) * 2018-10-11 2020-11-06 라온피플 주식회사 결함 검출 장치 및 방법
CN111225299A (zh) * 2018-11-27 2020-06-02 中国移动通信集团广东有限公司 一种onu故障识别、修复方法和装置
CN109741296B (zh) * 2018-11-28 2023-10-20 歌尔股份有限公司 产品质量检测方法及装置
CN109727229B (zh) * 2018-11-28 2023-10-20 歌尔股份有限公司 虚焊检测方法及装置
CN109829883B (zh) * 2018-12-19 2020-11-17 歌尔光学科技有限公司 产品质量检测方法及装置
CN109829483B (zh) * 2019-01-07 2021-05-18 鲁班嫡系机器人（深圳）有限公司 缺陷识别模型训练方法、装置、计算机设备和存储介质
CN109752384A (zh) * 2019-01-18 2019-05-14 深海弈智京山智能科技有限公司 一种焊锡盒的焊接引导与焊接缺陷检测系统及使用方法
CN111766253A (zh) * 2019-03-15 2020-10-13 鸿富锦精密电子（成都）有限公司 锡膏印刷品质检测方法、数据处理装置及计算机存储介质
CN110455822A (zh) * 2019-07-10 2019-11-15 苏州卓融新能源科技有限公司 一种pcb板缺陷的检测方法
TWI761806B (zh) * 2019-07-23 2022-04-21 緯創資通股份有限公司 影像辨識裝置、影像辨識方法及其電腦程式產品
CN112308816B (zh) 2019-07-23 2024-02-06 纬创资通股份有限公司 影像辨识装置、影像辨识方法及其存储介质
CN112362679B (zh) 2019-07-23 2024-06-04 纬创资通股份有限公司 影像辨识装置、影像辨识方法及其计算机程序产品
CN112304952B (zh) * 2019-07-23 2024-04-02 纬创资通股份有限公司 影像辨识装置、影像辨识方法及其计算机程序产品
CN111091550A (zh) * 2019-12-12 2020-05-01 创新奇智(北京)科技有限公司 多尺寸自适应的pcb锡膏区域检测系统及检测方法
TWI744999B (zh) 2020-07-23 2021-11-01 和碩聯合科技股份有限公司 焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置
CN112950533A (zh) * 2021-01-21 2021-06-11 重庆大学 基于深度学习的焊点外观类别自动识别方法及系统
CN113792734A (zh) * 2021-09-18 2021-12-14 深圳市商汤科技有限公司 神经网络训练及图像处理的方法、装置、设备及存储介质
CN117484019A (zh) * 2023-10-26 2024-02-02 江汉大学 一种基于NB-IoT远程实时监控焊接的方法、系统及介质
CN118102699B (zh) * 2024-04-07 2024-09-27 深圳市世纪互通科技有限公司 一种元器件贴片的视觉检测方法及贴片机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217214A (zh) * 2014-08-21 2014-12-17 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于可配置卷积神经网络的rgb-d人物行为识别方法
WO2015122272A1 (ja) * 2014-02-14 2015-08-20 オムロン株式会社 品質管理装置、品質管理方法、およびプログラム
CN105184778A (zh) * 2015-08-25 2015-12-23 广州视源电子科技股份有限公司 一种检测方法及装置
WO2016033506A1 (en) * 2014-08-29 2016-03-03 Google Inc. Processing images using deep neural networks
CN105469400A (zh) * 2015-11-23 2016-04-06 广州视源电子科技股份有限公司 电子元件极性方向的快速识别、标注的方法和系统
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1318839C (zh) * 2002-11-28 2007-05-30 威光机械工程股份有限公司 印刷电路板上瑕疵组件的自动光学检测方法
CN101136346A (zh) * 2007-08-31 2008-03-05 中山大学 一种芯片焊点在线检测和缺陷辨识装置及芯片封装装置
CN103544705B (zh) * 2013-10-25 2016-03-02 华南理工大学 一种基于深度卷积神经网络的图像质量测试方法
CN104850845B (zh) * 2015-05-30 2017-12-26 大连理工大学 一种基于非对称卷积神经网络的交通标志识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015122272A1 (ja) * 2014-02-14 2015-08-20 オムロン株式会社 品質管理装置、品質管理方法、およびプログラム
CN104217214A (zh) * 2014-08-21 2014-12-17 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于可配置卷积神经网络的rgb-d人物行为识别方法
WO2016033506A1 (en) * 2014-08-29 2016-03-03 Google Inc. Processing images using deep neural networks
CN105184778A (zh) * 2015-08-25 2015-12-23 广州视源电子科技股份有限公司 一种检测方法及装置
CN105469400A (zh) * 2015-11-23 2016-04-06 广州视源电子科技股份有限公司 电子元件极性方向的快速识别、标注的方法和系统
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109239075A (zh) * 2018-08-27 2019-01-18 北京百度网讯科技有限公司 电池检测方法及装置
US11222234B2 (en) * 2018-09-04 2022-01-11 Boe Technology Group Co., Ltd. Method and apparatus for training a convolutional neural network to detect defects
CN110930350A (zh) * 2018-09-19 2020-03-27 鸿富锦精密电子(天津)有限公司 机器学习方法及应用机器学习方法的自动光学检测设备
CN109726721A (zh) * 2018-12-06 2019-05-07 五邑大学 一种基于卷积神经网络模型的象棋识别方法
CN109859224A (zh) * 2019-01-31 2019-06-07 东北大学 一种传送带矿岩颗粒图像分割方法
CN109859224B (zh) * 2019-01-31 2023-01-24 东北大学 一种传送带矿岩颗粒图像分割方法
CN110163859A (zh) * 2019-05-29 2019-08-23 广东工业大学 基于PoseCNN的焊缝焊接方法、装置及设备
CN110310261A (zh) * 2019-06-19 2019-10-08 河南辉煌科技股份有限公司 一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法
CN110321959A (zh) * 2019-07-09 2019-10-11 安徽理工大学 一种多光谱图像信息和cnn的煤矸识别方法
CN110517180A (zh) * 2019-07-24 2019-11-29 北京旷视科技有限公司 基于高精度神经网络的图像处理方法、装置及电子设备
CN110517180B (zh) * 2019-07-24 2023-09-19 北京旷视科技有限公司 基于高精度神经网络的图像处理方法、装置及电子设备
CN110619355A (zh) * 2019-08-28 2019-12-27 武汉科技大学 基于深度学习的钢铁材料微观组织自动识别方法
CN110619355B (zh) * 2019-08-28 2023-01-06 武汉科技大学 基于深度学习的钢铁材料微观组织自动识别方法
CN110674716A (zh) * 2019-09-16 2020-01-10 腾讯云计算（北京）有限责任公司 图像识别方法、装置和存储介质
CN110910363A (zh) * 2019-11-15 2020-03-24 上海交通大学 基于机器视觉和深度学习的虚焊检测方法、系统及介质
CN111429405A (zh) * 2020-03-04 2020-07-17 清华大学深圳国际研究生院 基于3d cnn的锡球缺陷检测方法及装置
CN111369550B (zh) * 2020-03-11 2022-09-30 创新奇智(成都)科技有限公司 图像配准与缺陷检测方法、模型、训练方法、装置及设备
CN111369550A (zh) * 2020-03-11 2020-07-03 创新奇智(成都)科技有限公司 图像配准与缺陷检测方法、模型、训练方法、装置及设备
CN114331941A (zh) * 2020-09-24 2022-04-12 深圳富桂精密工业有限公司 焊接模型训练方法、焊接管控方法、电子设备及存储介质
CN113298806A (zh) * 2021-06-18 2021-08-24 上海市机械施工集团有限公司 焊接缺陷智能检测方法、装置、焊接设备和存储介质
CN113421252A (zh) * 2021-07-07 2021-09-21 南京思飞捷软件科技有限公司 基于改进的卷积神经网络的车身焊接缺陷实际检测方法
CN113421252B (zh) * 2021-07-07 2024-04-19 南京思飞捷软件科技有限公司 一种基于改进的卷积神经网络的车身焊接缺陷的检测方法
US12365053B2 (en) 2021-09-18 2025-07-22 Tianjin Sunke Digital control technology Co. Ltd. Method, device, and system for detecting welding spot quality abnormalities based on deep learning
CN115392132A (zh) * 2021-09-18 2022-11-25 天津商科数控技术股份有限公司 基于深度学习的焊点质量异常检测方法、装置、系统
CN115392132B (zh) * 2021-09-18 2023-07-11 天津商科数控技术股份有限公司 基于深度学习的焊点质量异常检测方法、装置、系统
CN114399665A (zh) * 2022-01-12 2022-04-26 西安建筑科技大学 外墙外保温层缺陷类型识别方法、装置、设备及存储介质
CN114757941A (zh) * 2022-05-19 2022-07-15 国网智能科技股份有限公司 变电站设备缺陷的识别方法、装置、电子设备及存储介质
CN115047039A (zh) * 2022-06-17 2022-09-13 东风汽车集团股份有限公司 对不同焊接类型焊点进行点焊质量检测的方法及系统
CN115272246A (zh) * 2022-07-31 2022-11-01 国网宁夏电力有限公司固原供电公司 一种基于双确认的继电保护装置状态监测方法
CN116245802A (zh) * 2022-12-13 2023-06-09 厦门大学 一种基于卷积神经网络的电子元器件缺陷识别方法及装置
CN117773372A (zh) * 2023-12-14 2024-03-29 南通思凯光电有限公司 一种手持式激光焊接枪头损耗优化方法及系统
CN117884786A (zh) * 2024-03-15 2024-04-16 哈尔滨工业大学（威海） 一种锡球激光焊接缺陷检测方法
CN117884786B (zh) * 2024-03-15 2024-05-28 哈尔滨工业大学（威海） 一种锡球激光焊接缺陷检测方法
CN117984024A (zh) * 2024-04-03 2024-05-07 中国水利水电第十工程局有限公司 基于船闸人字门自动化生产的焊接数据管理方法及系统

Also Published As

Publication number Publication date
CN106530284A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
WO2018072326A1 (zh) 基于图像识别的焊点类型检测和装置
CN111768386B (zh) 产品缺陷检测方法、装置、电子设备和存储介质
CN108108768B (zh) 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN113906451B (zh) 基于ai的预训练模型决定系统及利用该系统的用于产品生产线的基于ai的视觉检查管理系统
TWI787296B (zh) 光學檢測方法、光學檢測裝置及光學檢測系統
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
Hao et al. Solder joint inspection based on neural network combined with genetic algorithm
JP2026503632A (ja) 欠陥検査モデルの訓練方法、装置及び電子機器
CN117252815B (zh) 基于2d-3d多模态图像的工业零件缺陷检测方法、系统、设备及存储介质
JP2021515885A (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN117011216A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
JP2020064364A (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN111291766A (zh) 利用深度学习的图像识别方法及服务器
US20200090319A1 (en) Machine learning method implemented in aoi device
CN114972216A (zh) 一种纹理表面缺陷检测模型的构建方法及其应用
CN116091506A (zh) 一种基于yolov5的机器视觉缺陷质检方法
CN117726627B (zh) 芯片表面缺陷检测方法及设备
CN117252817B (zh) 一种透明导电薄膜玻璃表面缺陷检测方法及系统
CN111486790A (zh) 一种电池全尺寸检测方法与装置
CN115358981A (zh) 胶水缺陷的确定方法、装置、设备及存储介质
CN118096710B (zh) 一种基于生成对抗模型的插座面板瑕疵在线检测方法及装置
CN110544249A (zh) 一种面向任意角度机箱装配视觉检测的卷积神经网络质量鉴别方法
CN111127462B (zh) 基于多曝光成像的成衣印花缺陷检测系统及检测方法
CN108765391A (zh) 一种基于深度学习的平板玻璃异物影像分析方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16919492

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08.10.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16919492

Country of ref document: EP

Kind code of ref document: A1