WO2019233166A1 - 一种表面缺陷检测方法、装置及电子设备 - Google Patents

一种表面缺陷检测方法、装置及电子设备 Download PDF

Info

Publication number
WO2019233166A1
WO2019233166A1 PCT/CN2019/079746 CN2019079746W WO2019233166A1 WO 2019233166 A1 WO2019233166 A1 WO 2019233166A1 CN 2019079746 W CN2019079746 W CN 2019079746W WO 2019233166 A1 WO2019233166 A1 WO 2019233166A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
training
pixel
images
training sample
Prior art date
Application number
PCT/CN2019/079746
Other languages
English (en)
French (fr)
Inventor
王雪
Original Assignee
杭州海康威视数字技术股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州海康威视数字技术股份有限公司 filed Critical 杭州海康威视数字技术股份有限公司
Publication of WO2019233166A1 publication Critical patent/WO2019233166A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present application relates to the technical field of target detection, and in particular, to a method, an apparatus, and an electronic device for detecting surface defects.
  • Surface defect detection is to determine whether there are defects such as spots, pits, chromatic aberrations, scratches, and defects on the surface of the product.
  • the surface defects of the product have a variety of features, varying shapes, unstable locations, and diverse background textures.
  • surface defects directly affect the aesthetics, performance and other attributes of the product. Therefore, the surface quality of the product is very important.
  • Traditional surface defect detection is to have a quality inspector on the production line, and the quality inspection Inspection, to determine whether there are defects on the surface of the product by human eyes.
  • this manual detection method is inefficient, labor-intensive, and prone to detection errors.
  • the surface defect detection method based on machine learning requires that the sample image contains a defective sample image, and the position of the defect on the product needs to be calibrated by manual calibration. However, due to the limited number of sample images containing defects, coverage cannot be guaranteed All types of defects may occur. Therefore, the above method cannot detect defects that have not appeared in the sample image.
  • the purpose of the embodiments of the present application is to provide a surface defect detection method, a device, and an electronic device, so as to improve the detection rate of surface defects.
  • the specific technical solutions are as follows:
  • an embodiment of the present application provides a method for detecting a surface defect, and the method includes:
  • the deep learning network model is a sample training based on a plurality of non-defective training sample images Set, pre-trained deep learning network models;
  • the difference image if there is an area with a difference greater than a preset difference, it is determined that the image to be detected has a surface defect.
  • an embodiment of the present application provides a surface defect detection device, where the device includes:
  • a calculation module configured to input the image to be detected into a deep learning network model obtained in advance, and obtain a defect-free reconstructed image corresponding to the image to be detected.
  • the deep learning network model is based on training that includes multiple defects.
  • a determining module configured to determine, in the difference image, that a surface defect exists in the image to be detected if an area with a difference greater than a preset difference exists
  • an embodiment of the present application provides an electronic device, including a processor and a memory, where:
  • the memory is used to store a computer program
  • the processor is configured to implement any method step described in the first aspect of the embodiments of the present application when a computer program stored in the memory is executed.
  • an embodiment of the present application provides a computer-readable storage medium.
  • the computer-readable storage medium stores a computer program, and the computer program is implemented by a processor to implement the first aspect of the embodiment of the present application. Any of the method steps.
  • a non-defective reconstructed image corresponding to the to-be-detected image is obtained by inputting the acquired to-be-detected image into a deep learning network model trained in advance, and the reconstructed image and the to-be-detected image are obtained.
  • the difference is obtained to obtain a difference image.
  • the difference image if there is an area with a difference greater than a preset difference, it is determined that the image to be detected has a surface defect.
  • the deep learning network model is based on a plurality of non-defective training sample images. Sample training set, a pre-trained deep learning network model.
  • the deep learning network model is trained from the image of the training sample without defects, compared with the sample image containing the defect, the training sample image without the defect is easier to obtain, and the number of images is large, so the image to be detected is input to the deep learning network.
  • a non-defective reconstructed image corresponding to the image to be detected can be obtained. Since the defective image has a larger difference than the non-defective image, the difference between the reconstructed image and the image to be detected is obtained. If there is an area with a difference greater than a preset difference in the difference image, it can be determined that the image to be detected has surface defects and is not limited by the sample image. The presence of surface defects will cause a significant difference between the reconstructed image and the image to be detected. It not only increases the possibility of detecting unknown types of surface defects, but also improves the detection rate of surface defects.
  • Figure 1 is a schematic diagram of the corresponding defect detection process
  • FIG. 2 is a schematic flowchart of a corresponding deep learning-based surface detection method
  • FIG. 3 is a schematic flowchart of a surface defect detection method according to an embodiment of the present application.
  • FIG. 4 is a schematic flowchart of a surface defect detection method according to an embodiment of the present application.
  • FIG. 5 is a schematic flowchart of a deep learning network model training according to an embodiment of the present application.
  • FIG. 6 is a schematic diagram of a data structure according to an embodiment of the present application.
  • FIG. 7 is a schematic flowchart of a training process of a deep learning network model according to an embodiment of the present application.
  • FIG. 8 is a schematic flowchart of a test process according to an embodiment of the present application.
  • FIG. 9a is a schematic flowchart of pre-training in the corresponding DBNs training
  • FIG. 9b is a schematic flowchart of a network model development in the corresponding DBNs training.
  • FIG. 9c is a schematic flowchart of fine-tuning a network model during training of a corresponding DBNs
  • FIG. 10 is a schematic structural diagram of a corresponding RBM model
  • FIG. 11a is a schematic flowchart of pre-training in the corresponding SDAE training
  • FIG. 11b is a schematic flowchart of a network model expansion in the corresponding SDAE training
  • FIG. 11c is a schematic flowchart of fine-tuning a network model during SDAE training
  • FIG. 12 is a schematic diagram of a corresponding DAE calculation process
  • FIG. 13 is a schematic diagram of a corresponding SDAE calculation process
  • FIG. 14 is a schematic structural diagram of a surface defect detection device according to an embodiment of the present application.
  • FIG. 15 is a schematic structural diagram of an electronic device according to an embodiment of the present application.
  • the traditional surface defect detection method is similar to the traditional machine vision algorithm flow. As shown in Figure 1, the captured image is generally preprocessed, and then a filter is designed to extract features, and the extracted features are analyzed and determined to determine the threshold value. Defects were detected by academic processing. Since the widespread application of machine learning, the field of surface defect detection has also begun to use a lot of machine learning methods. For example, the surface detection method based on deep learning. The process of surface detection method based on deep learning is shown in Figure 2. Deep learning can automatically extract features. Without the need to manually design features, it is possible to learn more abstract representations of images and further improve the accuracy of defect detection.
  • Deep learning-based surface detection methods need to train the deep learning network in advance.
  • the sample images required to be trained include defective sample images.
  • the surface defect detection method based on deep learning cannot detect defects that have not occurred in the sample image.
  • the embodiments of the present application provide a surface defect detection method, a device, and an electronic device.
  • a surface defect detection method provided by an embodiment of the present application is first introduced.
  • the execution subject of a surface defect detection method provided in the embodiments of the present application may be an electronic device, which is used to implement functions such as image processing and target recognition, and may be a camera with a logical processing capability, a remote processor, etc.
  • the electronic device includes at least a chip that can complete logic processing.
  • a method for implementing a surface defect detection method provided in the embodiment of the present application may be at least one of software, hardware circuits, and logic circuits provided in an execution body.
  • An embodiment of the present application provides a surface defect detection method, and a simplified flowchart of the surface defect detection method is shown in FIG. 3.
  • the main steps include: constructing a data set for the training image; training the deep learning network model using the constructed data set; inputting the test image into the trained deep learning network model, and outputting the model; post-processing the model output to obtain the results of the surface defect detection .
  • the surface defect detection method shown in FIG. 3 may include the following steps.
  • the image to be inspected is an image that needs to be inspected for surface defects.
  • the image to be inspected can be a product image stored in a database or an image obtained by real-time shooting of the product.
  • the products mentioned here are generally referred to as products, and It is not limited to a certain type of product, and may be, for example, a mobile phone, a portable computer, cloth, chopsticks, and the like.
  • S402. Input the image to be detected into a deep learning network model obtained in advance to obtain a defect-free reconstructed image corresponding to the image to be detected.
  • a deep learning network model is a deep learning network model that is pre-trained based on a sample training set containing multiple non-defective training sample images.
  • the deep learning network model can be a convolutional neural network model.
  • a convolutional neural network is a feedforward neural network. The artificial neurons in the convolutional neural network can respond to a part of the surrounding cells in the coverage area and have excellent performance for large image processing.
  • a convolutional neural network generally consists of network layers such as a convolutional layer, a pooling layer, a non-linear layer, and a fully connected layer.
  • the deep learning network model in the embodiment of this application may also be a fully convolutional neural network model (excluding fully connected Layer of convolutional neural network).
  • the deep learning network model is based on a sample training set containing multiple non-defective training sample images, and the deep learning network model obtained in advance is trained, after the image to be detected is input into the deep learning network model, the reconstructed image obtained is close to The image of the non-defective sample image corresponding to the image to be detected, and the product image in the reconstructed image is the product image in the image to be detected.
  • the only difference between the two is that the product image in the reconstructed image is free of defects, while the Product drawings may be defective. Due to the training accuracy of the deep learning network model, the reconstructed image may contain defects, but the defects have been weakened in depth, and there are still large differences from the defects in the image to be detected.
  • a training method of a deep learning network model is shown in FIG. 5, and may specifically include the following steps.
  • the sample training set includes multiple non-defective training sample images.
  • the sample training set is a collection of non-defective training sample images.
  • the non-defective training sample images may be the original original non-defective sample images, or the images obtained by data construction of the collected original non-defective sample images.
  • S501 may specifically be: obtaining an original training sample image, where the original training sample image includes a defect-free sample image; transforming and expanding the original training sample image to obtain a transformed image; based on All transformed images and all original training sample images constitute the first number of training sample images; the first number of training sample images are cropped and divided according to a preset size to obtain a second number of training sample images; The training sample image is used as a sample training set.
  • the data structure of the training sample image needs to be constructed.
  • the data structure is mainly divided into two blocks, as shown in FIG. 6, one is data expansion, and the other is partitioning the expanded data.
  • the original training sample images obtained may have only a dozen or twenty, and the attributes such as brightness and contrast at different times in the same scene are different , It will make it difficult to cover all possible situations. Therefore, in order to improve the accuracy of detection, the original training sample image can be transformed and expanded according to brightness transformation, contrast transformation, and scale transformation to obtain the expanded and transformed training sample image. Transform the image. All the transformed images and the original training sample images can be used to form the first number of training sample images. In this way, the training sample images are expanded several times and the coverage of the samples is effectively expanded.
  • the size of the image used for surface defect detection in the general industry is relatively large.
  • the size of the image may be 1280 * 1024.
  • the first number of trainings can be performed according to the preset size.
  • the sample image is cropped and divided into blocks.
  • the preset size is 250 * 250.
  • a 250 * 250 image is used as the second number of training sample images; it can also be cropped in a uniform sampling manner. Starting from the upper left corner of the first number of training sample images, a 250 * 250 range is collected every 25 pixels.
  • the image serves as a second number of training sample images.
  • S502 Perform noise processing on each training sample image in the sample training set to obtain a noise-added image corresponding to each training sample image.
  • noise is unavoidable, and the training sample images in the sample training set are often collected under uncertain noise. Therefore, in order to ensure the stability of the deep learning network, you can add Noise, so that deep learning network models can better learn the data distribution of non-defective samples. The added noise has a greater impact on the final deep learning network model. How to design the noise is also critical. In order to improve the generalization ability of the deep learning network model, it is more effective to deal with different noises and reconstructed from the polluted input. Pure input, so when adding noise, for each training sample image, Gaussian noise, zero mask noise, block noise, etc. can be used to add noise to the training sample image. The way to add noise is related to the type of noise. For example, when adding zero mask noise, you can randomly set a preset proportion of pixels in the training sample image to 0. The way to add other types of noise is no longer one by one here. To repeat.
  • Each noise-added image is input into a preset training model for training, and a deep learning network model is obtained.
  • the method of training a preset training model to obtain a deep learning network model may be a traditional convolutional neural network training method.
  • the noise-added noise-added image is obtained through a convolutional neural network to obtain the output image of the noised image.
  • the error optimization strategy is used for model training.
  • the preset error optimization strategy can be the pixel mean square error between the optimized output image and the training sample image, or the pixel-by-pixel between the optimized output image and the training sample image.
  • the pixel mean square error and gradient mean square error of the points can also be used to optimize other types of errors, which are not repeated here one by one.
  • S503 may specifically include the following steps.
  • step A each noise-added image is input into a preset convolutional neural network to obtain an output image of each noise-added image.
  • the input of the noisy image may be an initial deep learning network model
  • the initial deep learning network model may be a basic or the most commonly used network model in the industry.
  • Step B Calculate the pixel mean square error and the gradient mean square error of pixel by pixel between each output image and the training sample image corresponding to each noised image.
  • step C a total error function value is calculated based on the pixel mean square error and the gradient mean square error from pixel to pixel.
  • step C may specifically be: based on the pixel mean square error and the gradient mean square error of each pixel point, using the total error function to calculate a total error function value.
  • the total error function is:
  • m is the number of pixels on the training sample image corresponding to the input noise image
  • step D it is judged whether the total error function value is less than or equal to the error threshold. If yes, it is determined that the deep learning network model training is completed; otherwise, according to the total error function value, the network parameters of the deep learning network model are adjusted, and the process returns to step A.
  • the error optimization strategy is to optimize the pixel-by-pixel pixel mean square error and gradient mean square error method between the output image and the training sample image.
  • the output image is as close as possible to the The training sample images are close.
  • the angle of the edge gradient makes the output image closer to the training sample image. Defective images often have a lot of texture information and edge information, including the defects themselves, which have edge information. Therefore, adding gradient information can better detect surface defects.
  • the training process of the deep learning network model is shown in FIG. 7.
  • Noise is added to the training image x, and then the convolutional neural network is trained based on the training image to which the noise is added to obtain a reconstructed image x ′ and the reconstructed image Retrain as a training image.
  • a method similar to SDAE can be used to add noise to the training data, so that the deep learning network model can better learn the data distribution of non-defective samples.
  • the training process of a deep learning network model can be performed on an existing deep learning network platform, or it can be implemented through a built program framework, which is not limited here.
  • the difference between the reconstructed image and the to-be-detected image is the difference between the pixels in the reconstructed image and the corresponding pixels in the to-be-detected image.
  • the pixel values can be directly different, and for RGB images, it can be a three-channel component Differences are made separately. Pixels with the same pixel value or the same RGB three-channel component have a difference value close to 0 after the difference, and when the difference between the pixel value or the RGB three-channel component is large, the difference value is larger after the difference. Therefore, The size of the difference can be used to determine if there is a defect.
  • each difference value in the difference image may be normalized, and all difference values are normalized to a range of 0 to 1.
  • FIG. 8 A simplified flowchart of the test process is shown in Figure 8.
  • the image to be detected is input into a trained deep learning network model to obtain a reconstructed image.
  • the reconstructed image is different from the image to be detected to obtain a difference image. There is a large difference in a defective area, and a small difference in a non-defective area. Therefore, you can determine whether there is a defect in the area by the value.
  • the difference between the reconstructed image and the image to be inspected is a defect-free image, and there may be surface defects in the image to be inspected.
  • the area with a small difference indicates that the region in the image to be inspected is not defective, and the difference is A large area indicates that there is a surface defect in the area to be detected.
  • a preset difference can be set. If there is an area with a difference greater than the preset difference, it indicates that the image has surface defects. And it can determine which specific area in the image to be detected has surface defects.
  • classifiers such as SVM (Support Vector Machine), regression model softmax, and ANN (Artificial Neural Networks, artificial neural network) can be used to identify the types of surface defects and classify them.
  • SVM Small Vector Machine
  • regression model softmax regression model softmax
  • ANN Artificial Neural Networks, artificial neural network
  • unsupervised surface defect detection methods mainly use unsupervised learning for pre-training, combined with supervised methods to fine-tune the network, the characteristics of the training set samples are unknown in unsupervised learning, and the samples are not labeled.
  • the completely unsupervised method is mainly divided into two methods, one uses DBNs (Deep Belief Networks, deep confidence networks), and the other uses SDAE.
  • the training process of DBNs is as follows: Use non-defective sample images and train stacked RBM (Restricted Boltzmann Machines, Restricted Boltzmann machines) layer by layer, as shown in Figure 9a; also use non-defective sample images to expand the network model , And then fine-tune, as shown in Figure 9b, Figure 9c.
  • RBM Restricted Boltzmann Machines, Restricted Boltzmann machines
  • DBNs By training the weights between neurons, DBNs can let the entire neural network generate training data according to the maximum probability.
  • the constituent element of DBNs is RBM.
  • RBM neurons are random and have only two states: inactive and active. They are generally represented by binary 0s and 1s. The value is determined according to the law of probability and statistics.
  • RBM has a visible layer and a hidden layer. As shown in Figure 10, there is no connection in the layer. This structure makes the activation condition of each hidden layer unit independent when RBM is given the state of the visible layer unit; otherwise it is hidden in a given In the state of the layer unit, the activation conditions of the visible layer unit are also independent.
  • the activation state of each hidden layer unit is conditionally independent. From this, it can be obtained that the activation probability of the jth hidden layer unit is:
  • the activation probability of the i-th visible layer unit can be obtained by the same principle:
  • h i characterize the i-th hidden layer unit, characterized i V i-th visible layer units, W ij, b j and c j is the RBM network parameters for fitting a given training data, using the maximum likelihood method to maximize
  • the above formula is generally optimized by using the CD (Contrastive Divergence, Contrast Divide) algorithm.
  • the training process of SDAE is as follows: (1) train the first DAE (Denoising Auto-encoder) network, optimize using the optimal gradient descent method, and calculate the output value of the training sample in the hidden layer; (2) Take the result of (1) as the input value for the second DAE network training, and also use the optimal gradient descent method to optimize, and calculate the DAE network output value. Use the same method to train the third DAE network and the fourth DAE network. ; Expand the above 4 DAE networks into a new network, and divide it into two parts: encoding and decoding. Use the weights obtained in (1) and (2) to assign initial values to the network; (4) use the input value as the SDAE network. The output of the target is also optimized using the optimal gradient descent method to obtain the final network weight.
  • DAE Denoising Auto-encoder
  • the input layer of SDAE is 4096 dimensions, and the dimensions of the four hidden layers are 1000, 500, 250, 200, and 50, respectively.
  • the fine-tuning process can use BP (Back Propagation, Back Propagation) algorithm.
  • DAE has the same structure as the traditional AE (Auto-encoder), except that some type of noise is added to the sample input.
  • the learning objective is to reconstruct pure input from the contaminated input.
  • the calculation process is shown in Figure 12, and the calculation process is as follows.
  • the reconstructed decoded output is:
  • W, b, W ', b' are DAE network parameters.
  • the loss function is still to minimize the error between the pure input signal X and the reconstructed Y, or to maximize the common information between the pure input signal and the reconstructed signal, it is different from the traditional AE in that the reconstructed signal Y is signaled by contamination Refactored.
  • DAEs are stacked layer by layer in the form of a deep network structure to form a model structure (called SDAE) formed by connecting DAEs up and down.
  • SDAE model structure
  • the above two methods are divided into two steps.
  • the network model is trained one by one to obtain the network model, and then the network model obtained by the training is expanded and fine-tuned.
  • the process is tedious.
  • the training process of the deep learning network model does not need to be performed step by step.
  • the deep learning network model can be obtained directly through training, and no further fine-tuning is required, which simplifies the training process.
  • the deep learning network model is a sample training set based on a plurality of non-defective training sample images. Deep learning network model.
  • the deep learning network model is trained from the image of the training sample without defects, compared with the sample image containing the defect, the training sample image without the defect is easier to obtain, and the number of images is large, so the image to be detected is input to the deep learning network.
  • a non-defective reconstructed image corresponding to the image to be detected can be obtained. Since the defective image has a larger difference than the non-defective image, the difference between the reconstructed image and the image to be detected is obtained. If there is an area with a difference greater than a preset difference in the difference image, it can be determined that the image to be detected has surface defects and is not limited by the sample image. The presence of surface defects will cause a significant difference between the reconstructed image and the image to be detected. It not only increases the possibility of detecting unknown types of surface defects, but also improves the detection rate of surface defects.
  • an embodiment of the present application provides a surface defect detection device.
  • the surface defect detection device includes:
  • the obtaining module 1410 is configured to obtain an image to be detected.
  • a computing module 1420 is configured to input the image to be detected into a deep learning network model obtained in advance, and obtain a defect-free reconstructed image corresponding to the image to be detected.
  • the deep learning network model is based on a A sample training set of training sample images, a deep learning network model obtained in advance, and the difference between the reconstructed image and the image to be detected is obtained.
  • a determining module 1430 is configured to determine, in the difference image, that a surface defect exists in the image to be detected if an area having a difference greater than a preset difference exists.
  • the obtaining module 1410 may be further configured to obtain a sample training set, where the sample training set includes multiple non-defective training sample images.
  • the device may further include a noise adding module for performing noise processing on each training sample image in the sample training set to obtain a corresponding noise adding image for each training sample image; a training module for converting each training image The noisy image is input to a preset training model for training to obtain the deep learning network model.
  • the obtaining module 1410 may be specifically configured to: obtain an original training sample image, where the original training sample image includes a defect-free sample image; Transform expansion to obtain transformed images; form a first number of training sample images based on all transformed images and all original training sample images; crop and block the first number of training sample images according to a preset size to obtain a second number The training sample images of; using the second number of training sample images as a sample training set.
  • the training module may be specifically configured to: input each of the noise-added images into a preset convolutional neural network to obtain an output image of each of the noise-added images; and calculate each The pixel mean square error and the gradient mean square error of the pixel-by-pixel point between the output image and the training sample image corresponding to each of the noise-enhanced images; based on the pixel mean square error and the gradient mean square error of the pixel-by-pixel point, Calculate the total error function value; determine whether the total error function value is less than or equal to the error threshold; if so, determine that the deep learning network model training is completed; otherwise, adjust the depth of the deep learning network model based on the total error function value.
  • Network parameters and returning to executing the inputting each of the noise-added images into a preset convolutional neural network to obtain an output image of each of the noise-added images.
  • the training module when the training module implements the pixel mean square error and the gradient mean square error based on the pixel-by-pixel point to calculate a total error function value, it may be specifically used to:
  • the pixel mean square error and gradient mean square error of each pixel point are calculated by using the total error function to obtain the total error function value.
  • m is the number of pixels on the training sample image corresponding to the input noise-enhanced image
  • the x ' is the pixel value of the i-th pixel on the output image
  • x is the Pixel value
  • said Is the gradient mean square error from pixel to pixel where Is the gradient value of the i-th pixel point on the output image, the The gradient value of the i-th pixel point on the training sample image corresponding to the input noise image.
  • the deep learning network model is a sample training set based on a plurality of non-defective training sample images. Deep learning network model.
  • the deep learning network model is trained from the image of the training sample without defects, compared with the sample image containing the defect, the training sample image without the defect is easier to obtain, and the number of images is large, so the image to be detected is input to the deep learning network.
  • a non-defective reconstructed image corresponding to the image to be detected can be obtained. Since the defective image has a larger difference than the non-defective image, the difference between the reconstructed image and the image to be detected is obtained. If there is an area with a difference greater than a preset difference in the difference image, it can be determined that the image to be detected has surface defects and is not limited by the sample image. The presence of surface defects will cause a significant difference between the reconstructed image and the image to be detected. It not only increases the possibility of detecting unknown types of surface defects, but also improves the detection rate of surface defects.
  • an embodiment of the present application further provides an electronic device.
  • the electronic device includes a processor 1501 and a memory 1502, where the memory 1502 is used to store a computer program
  • the processor 1501 is configured to execute the following steps when executing a computer program stored in the memory 1502.
  • the deep learning network model is a sample training based on a plurality of non-defective training sample images Set, pre-trained deep learning network models;
  • the difference image if there is an area with a difference greater than a preset difference, it is determined that the image to be detected has a surface defect.
  • the processor 1501 may further implement the following steps: obtaining a sample training set, where the sample training set includes multiple non-defective training sample images; Each training sample image is subjected to noise processing to obtain a corresponding noise image for each training sample image; each said noise image is input to a preset training model for training, and the deep learning network model is obtained.
  • the processor 1501 when the processor 1501 implements the step of acquiring the training set of samples, the following steps may be specifically implemented: acquiring an original training sample image, where the original training sample image includes no defect Transforming and expanding the original training sample image to obtain a transformed image; forming a first number of training sample images based on all the transformed images and all the original training sample images; and combining the first number of training sample images according to Cut and divide into blocks of a preset size to obtain a second number of training sample images; and use the second number of training sample images as a sample training set.
  • the processor 1501 when the processor 1501 implements the steps of inputting each of the noise-added images into a preset training model for training and obtaining the deep learning network model, the processor 1501 may specifically implement The following steps: input each of the noise-enhanced images into a preset convolutional neural network to obtain an output image of each of the noise-enhanced images; and calculate a difference between each of the output images and a training sample image corresponding to each of the noise-enhanced images Pixel mean square error and gradient mean square error from pixel to pixel; calculating a total error function value based on the pixel mean square error and gradient mean square error from pixel to pixel; determining whether the total error function value is less than or equal to an error threshold If yes, it is determined that the training of the deep learning network model is completed; otherwise, the network parameters of the deep learning network model are adjusted according to the total error function value, and returning to execute the inputting each of the noisy images into a preset volume Product neural network to obtain an output image
  • the processor 1501 when the processor 1501 implements the step of calculating the total error function value based on the pixel mean square error and the gradient mean square error of the pixel-by-pixel point, it may specifically implement The following steps: based on the pixel mean square error and gradient mean square error of the pixel-by-pixel point, a total error function value is calculated by using a total error function.
  • the total error function may be:
  • m is the number of pixels on the training sample image corresponding to the input noise-enhanced image
  • the x ' is the pixel value of the i-th pixel on the output image
  • x is the Pixel value
  • said Is the gradient mean square error from pixel to pixel where Is the gradient value of the i-th pixel point on the output image, the The gradient value of the i-th pixel point on the training sample image corresponding to the input noise image.
  • the memory 1502 and the processor 1501 may perform data transmission through a wired connection or a wireless connection, and the computer device may communicate with other devices through a wired communication interface or a wireless communication interface. It should be noted that FIG. 15 only shows an example of data transmission through the bus between the processor 1501 and the memory 1502, and is not a limitation on a specific transmission method.
  • the above memory may include RAM (Random Access Memory, Random Access Memory), and may also include NVM (Non-Volatile Memory, non-volatile memory), such as at least one disk memory.
  • the memory may also be at least one storage device located far from the processor.
  • the above processor may be a general-purpose processor, including a CPU (Central Processing Unit), a NP (Network Processor), etc .; it may also be a DSP (Digital Signal Processor, Digital Signal Processor), ASIC (Application Specific Integrated Circuit (ASIC), FPGA (Field-Programmable Gate Array), or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components.
  • a CPU Central Processing Unit
  • NP Network Processor
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the processor can realize: by inputting the acquired image to be detected into a deep learning network model obtained in advance to obtain the The non-defective reconstructed image corresponding to the image to be detected.
  • the difference between the reconstructed image and the image to be detected is to obtain a difference image.
  • a deep learning network model is a deep learning network model that is pre-trained based on a sample training set containing multiple non-defective training sample images.
  • the deep learning network model is trained from the image of the training sample without defects, compared with the sample image containing the defect, the training sample image without the defect is easier to obtain, and the number of images is large, so the image to be detected is input to the deep learning network.
  • a non-defective reconstructed image corresponding to the image to be detected can be obtained. Since the defective image has a larger difference than the non-defective image, the difference between the reconstructed image and the image to be detected is obtained. If there is an area with a difference greater than a preset difference in the difference image, it can be determined that the image to be detected has surface defects and is not limited by the sample image. The presence of surface defects will cause a significant difference between the reconstructed image and the image to be detected. It not only increases the possibility of detecting unknown types of surface defects, but also improves the detection rate of surface defects.
  • an embodiment of the present application provides a computer-readable storage medium.
  • the computer-readable storage medium stores a computer program, and the computer program is executed by a processor. Realize any step of the above surface defect detection method.
  • the computer-readable storage medium executes an application program of the surface defect detection method provided in the embodiment of the present application at runtime, so that it can be achieved by inputting the acquired image to be detected into a deep learning network model obtained in advance, Obtain a defect-free reconstructed image corresponding to the image to be detected, and make a difference between the reconstructed image and the image to be detected to obtain a difference image.
  • the difference image if there is an area where the difference is greater than a preset difference, determine the to be detected
  • the image has surface defects.
  • the deep learning network model is a deep learning network model that is pre-trained based on a sample training set containing multiple non-defective training sample images.
  • the deep learning network model is trained from the image of the training sample without defects, compared with the sample image containing the defect, the training sample image without the defect is easier to obtain, and the number of images is large, so the image to be detected is input to the deep learning network.
  • a non-defective reconstructed image corresponding to the image to be detected can be obtained. Since the defective image has a larger difference than the non-defective image, the difference between the reconstructed image and the image to be detected is obtained. If there is an area with a difference greater than a preset difference in the difference image, it can be determined that the image to be detected has surface defects and is not limited by the sample image. The presence of surface defects will cause a significant difference between the reconstructed image and the image to be detected. It not only increases the possibility of detecting unknown types of surface defects, but also improves the detection rate of surface defects.
  • an embodiment of the present application provides an application program for executing at runtime: the surface defect detection method provided in the embodiment of the present application.
  • the application executes the surface defect detection method provided in the embodiment of the present application when it is running, so it can be achieved: by inputting the acquired image to be detected into a deep learning network model obtained in advance, the corresponding image to be detected is obtained
  • the defect-free reconstructed image is the difference between the reconstructed image and the image to be detected to obtain a difference image.
  • a learning network model is a deep learning network model that is pre-trained based on a sample training set containing multiple non-defective training sample images.
  • the deep learning network model is trained from the image of the training sample without defects, compared with the sample image containing the defect, the training sample image without the defect is easier to obtain, and the number of images is large, so the image to be detected is input to the deep learning network.
  • a non-defective reconstructed image corresponding to the image to be detected can be obtained. Since the defective image has a larger difference than the non-defective image, the difference between the reconstructed image and the image to be detected is obtained. If there is an area with a difference greater than a preset difference in the difference image, it can be determined that the image to be detected has surface defects and is not limited by the sample image. The presence of surface defects will cause a significant difference between the reconstructed image and the image to be detected. It not only increases the possibility of detecting unknown types of surface defects, but also improves the detection rate of surface defects.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种表面缺陷检测方法、装置及电子设备，其中，表面缺陷检测方法包括：获取待检测图像；将待检测图像输入预先训练得到的深度学习网络模型，得到待检测图像对应的无缺陷的重建图像，深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型；将重建图像与待检测图像作差，得到差值图像；在差值图像中，若存在差值大于预设差值的区域，则确定待检测图像存在表面缺陷。通过本方案，可以提高表面缺陷的检出率。

Description

一种表面缺陷检测方法、装置及电子设备
本申请要求于2018年6月4日提交中国专利局、申请号为201810563651.X发明名称为“一种表面缺陷检测方法、装置及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及目标检测技术领域，特别涉及一种表面缺陷检测方法、装置及电子设备。
背景技术
表面缺陷检测是判断产品表面是否存在斑点、凹坑、色差、划痕、缺损等缺陷，产品表面缺陷具有种类繁多、形态多变、位置不固定以及背景纹理多样化等特点。在工业领域，表面缺陷直接影响着产品的美观、性能等属性，因此，产品的表面质量至关重要，传统的表面缺陷检测是在生产线上配备质检员，由质检员对产品表面进行质检，通过人眼观察判断产品表面是否存在缺陷。然而，这种人工检测的方式效率低下、人工耗时大，且易出现检测错误。
基于机器学习的表面缺陷检测方法要求样本图像为包含有缺陷的样本图像，并且需要通过人工标定的方式标定缺陷在产品上的位置，然而，由于包含有缺陷的样本图像数量有限，并不能保证覆盖可能出现的所有类型的缺陷，因此，上述方法无法检测出样本图像中未出现过的缺陷。
发明内容
本申请实施例的目的在于提供一种表面缺陷检测方法、装置及电子设备，以提高表面缺陷的检出率。具体技术方案如下：
第一方面，本申请实施例提供了一种表面缺陷检测方法，所述方法包括：
获取待检测图像；
将所述待检测图像输入预先训练得到的深度学习网络模型，得到所述待检测图像对应的无缺陷的重建图像，所述深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型；
将所述重建图像与所述待检测图像作差，得到差值图像；
在所述差值图像中，若存在差值大于预设差值的区域，则确定所述待检测图像存在表面缺陷。
第二方面，本申请实施例提供了一种表面缺陷检测装置，所述装置包括：
获取模块，用于获取待检测图像；
计算模块，用于将所述待检测图像输入预先训练得到的深度学习网络模型，得到所述待检测图像对应的无缺陷的重建图像，所述深度学习网络模型 为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型；将所述重建图像与所述待检测图像作差，得到差值图像；
确定模块，用于在所述差值图像中，若存在差值大于预设差值的区域，则确定所述待检测图像存在表面缺陷。
第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的计算机程序时，实现本申请实施例第一方面所述的任一方法步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例第一方面所述的任一方法步骤。
综上可见，本申请实施例提供的方案中，通过将获取的待检测图像输入预先训练得到的深度学习网络模型，得到该待检测图像对应的无缺陷的重建图像，将重建图像与待检测图像作差，得到差值图像，在差值图像中，若存在差值大于预设差值的区域，则确定待检测图像存在表面缺陷，深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型。由于深度学习网络模型是由无缺陷的训练样本图像训练得到的，相较于包含有缺陷的样本图像，无缺陷的训练样本图像更易获取到，且数量多，则将待检测图像输入深度学习网络模型后，可以得到该待检测图像对应的无缺陷的重建图像，由于有缺陷的图像与无缺陷的图像相比，缺陷部分具有较大差异，因此，通过将重建图像与待检测图像作差，如果差值图像中存在差值大于预设差值的区域，可确定待检测图像存在表面缺陷，不受样本图像的限制，有表面缺陷会导致重建图像与待检测图像之间差异明显，这样，既增加了检测出未知的表面缺陷类型的可能性，又提高了表面缺陷的检出率。
附图说明
图1为相应的缺陷检测流程示意图；
图2为相应的基于深度学习的表面检测方法流程示意图；
图3为本申请实施例的表面缺陷检测方法的流程简图；
图4为本申请实施例的表面缺陷检测方法的流程示意图；
图5为本申请实施例的深度学习网络模型训练的流程示意图；
图6为本申请实施例的数据构造示意图；
图7为本申请实施例的深度学习网络模型的训练过程的流程简图；
图8为本申请实施例的测试过程的流程简图；
图9a为相应的DBNs训练中预训练的流程示意图；
图9b为相应的DBNs训练中网络模型展开的流程示意图；
图9c为相应的DBNs训练中网络模型微调的流程示意图；
图10为相应的RBM模型的结构示意图；
图11a为相应的SDAE训练中预训练的流程示意图；
图11b为相应的SDAE训练中网络模型展开的流程示意图；
图11c为相应的SDAE训练中网络模型微调的流程示意图；
图12为相应的DAE计算流程示意图；
图13为相应的SDAE计算流程示意图；
图14为本申请实施例的表面缺陷检测装置的结构示意图；
图15为本申请实施例的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案、及优点更加清楚明白，以下参照附图并举实施例，对本申请进一步详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
传统的表面缺陷检测方法与传统的机器视觉算法流程类似，如图1所示，一般将拍摄得到的图片进行预处理，然后设计滤波器提取特征，对提取的特征进行分析处理确定阈值，经过形态学等处理检测出缺陷。自从机器学习广泛应用后，表面缺陷检测领域也开始大量使用机器学习的方法，例如基于深度学习的表面检测方法，基于深度学习的表面检测方法流程如图2所示，深度学习能够自动提取特征，而不需要人工设计特征，能够学习图像更加抽象的表达，进一步提高缺陷检测精度。
基于深度学习的表面检测方法需要预先对深度学习网络进行训练，要求进行训练的样本图像为包含有缺陷的样本图像，然而，由于包含有缺陷的样本图像数量有限，并不能保证覆盖可能出现的所有类型的缺陷，因此，基于深度学习的表面缺陷检测方法并不能检测出样本图像中未出现过的缺陷。
因此，为了提高表面缺陷的检出率，本申请实施例提供了一种表面缺陷检测方法、装置及电子设备。下面，首先对本申请实施例所提供的一种表面缺陷检测方法进行介绍。
本申请实施例所提供的一种表面缺陷检测方法的执行主体可以为一种电子设备，该电子设备用于实现图像处理、目标识别等功能，可以为具有逻辑处理能力的摄像机、远程处理器等，电子设备中至少包括可以完成逻辑处理的芯片。实现本申请实施例所提供的一种表面缺陷检测方法的方式可以为设置于执行主体中的软件、硬件电路和逻辑电路中的至少一种。
本申请实施例提供了一种表面缺陷检测方法，表面缺陷检测方法的流程简图如图3所示。主要步骤包括：针对训练图像构建数据集；利用构建的数据集训练深度学习网络模型；将测试图像输入训练好的深度学习网络模型， 模型输出；对模型输出进行后处理，得到表面缺陷检测的结果。
下面，对如图3所示的表面缺陷检测方法进行更为详细的介绍，如图4所示，该表面缺陷检测方法可以包括如下步骤。
S401，获取待检测图像。
待检测图像为需要进行表面缺陷检测的图像，待检测图像可以为数据库中已存储的产品图像，也可以为对产品进行实时拍摄得到的图像，这里所提及的产品为泛指的产品，并不局限于某一种类型的产品，可以为例如手机、便携式计算机、布匹、筷子等等。
S402，将待检测图像输入预先训练得到的深度学习网络模型，得到待检测图像对应的无缺陷的重建图像。
深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型。深度学习网络模型可以为卷积神经网络模型，卷积神经网络是一种前馈神经网络，卷积神经网络中的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络一般由卷积层、池化层、非线性层和全连接层等网络层组成，本申请实施例中的深度学习网络模型还可以为全卷积神经网络模型(不包含全连接层的卷积神经网络)。
由于深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型，则将待检测图像输入深度学习网络模型后，所得到的重建图像为接近于与待检测图像对应的无缺陷的样本图像的图像，且重建图像中的产品图就是待检测图像中的产品图，两者唯一区别在于重建图像中的产品图无缺陷，而待检测图像中的产品图可能存在缺陷。由于受深度学习网络模型的训练精准度影响，重建图像中有可能包含有缺陷，但是缺陷已深度弱化，与待检测图像中的缺陷仍然存在较大差异。
在本申请的一种可能的实施方式中，深度学习网络模型的训练方式如图5所示，具体可以包括如下步骤。
S501，获取样本训练集。
样本训练集中包括多个无缺陷的训练样本图像。样本训练集为无缺陷的训练样本图像构成的集合，无缺陷的训练样本图像可以为采集的原始无缺陷的样本图像，也可以为对采集的原始无缺陷的样本图像进行数据构造得到的图像。
在本申请的一种可能的实施方式中，S501具体可以为：获取原始训练样本图像，其中，原始训练样本图像包括无缺陷的样本图像；对原始训练样本图像进行变换扩充，得到变换图像；基于所有变换图像和所有原始训练样本图像，构成第一数量的训练样本图像；将第一数量的训练样本图像按照预设尺寸进行裁剪分块，得到第二数量的训练样本图像；将第二数量的训练样本图像作为样本训练集。
获取样本训练集时，需要对训练样本图像进行数据构造，数据构造主要分为两块，如图6所示，一个是数据扩充，另一个是对扩充后的数据进行分块。
由于无缺陷的样本图像的数量较大，并且场景、类型等区别也较大，获取的原始训练样本图像可能仅仅有十几二十张，并且在同一场景中不同时刻的亮度、对比度等属性不同，则会导致难以覆盖所有可能存在的情况，因此，为了提高检测的准确性，可以按照亮度变换、对比度变换和尺度变换等方式对原始训练样本图像进行变换扩充，得到训练样本图像变换扩充后的变换图像。可以将所有变换图像和原始训练样本图像一起构成第一数量的训练样本图像，这样，就将训练样本图像扩充了几倍，有效的扩大了样本的覆盖。
并且，一般工业上用于表面缺陷检测的图像尺寸都比较大，例如图像的尺寸可能为1280*1024，为了解决大尺寸图像上表面缺陷检测的问题，可以按照预设尺寸对第一数量的训练样本图像进行裁剪分块，例如预设尺寸为250*250，则可以从第一数量的训练样本图像中选取若干点，以这些点为中心，裁剪250*250大小的图像，最终得到若干个大小为250*250的图像作为第二数量的训练样本图像；还可以是以均匀采样的方式进行裁剪，从第一数量的训练样本图像的左上角开始，每隔25个像素采集250*250范围的图像作为第二数量的训练样本图像。
S502，对样本训练集中的各训练样本图像进行加噪处理，得到各训练样本图像分别对应的加噪图像。
由于在实际场景中，不可避免的存在噪声，而样本训练集中的训练样本图像往往是在不确定的噪声下采集的，因此，为了保证深度学习网络的稳定性，可以在各训练样本图像上加入噪声，从而使得深度学习网络模型能够更好的学习到无缺陷样本的数据分布。加入的噪声对最终深度学习网络模型影响比较大，如何设计噪声也是比较关键的，为了提高深度学习网络模型的泛化能力，更大程度的应对不同的噪声，从受污染的输入中重构出纯净的输入，因此，在加入噪声时，可以针对各训练样本图像，使用高斯噪声、零掩模噪声、块状噪声等对该训练样本图像进行加噪处理。加入噪声的方式与噪声的类型相关，例如，在加入零掩膜噪声时，可以随机地将训练样本图像中预设比例的像素点设置为0，加入其他类型的噪声的方式这里不再一一赘述。
S503，将各加噪图像输入预设训练模型进行训练，得到深度学习网络模型。
在得到加噪图像之后，进行深度学习网络模型的训练，加噪图像经过深度学习网络模型后可以得到输出图像。对预设训练模型进行训练得到深度学习网络模型的方式，可以是传统的卷积神经网络的训练方式。
如何训练深度学习模型是整个表面缺陷检测方法的关键，加入噪声的加噪图像经过卷积神经网络得到加噪图像的输出图像，为了能够使得输出图像 更加接近原始的训练样本图像，可以根据预设的误差最优化策略进行模型训练，预设的误差最优化策略可以为最优化输出图像与训练样本图像之间的像素均方误差，也可以为最优化输出图像与训练样本图像之间的逐像素点的像素均方误差及梯度均方误差，还可以为最优化其他类型的误差，这里不再一一赘述。
在本申请的一种可能的实施方式中，S503具体可以包括以下步骤。
步骤A，将各加噪图像输入预设卷积神经网络，得到各加噪图像的输出图像。
在第一次得到输出图像时，加噪图像输入的可以是一个初始深度学习网络模型，初始深度学习网络模型可以为基本的或者业内最为常用的网络模型。
步骤B，计算各输出图像与各加噪图像对应的训练样本图像之间的逐像素点的像素均方误差及梯度均方误差。
步骤C，基于逐像素点的像素均方误差及梯度均方误差，计算总误差函数值。
在本申请的一种可能的实施方式中，步骤C具体可以为：基于逐像素点的像素均方误差及梯度均方误差，利用总误差函数，计算得到总误差函数值。
总误差函数为：
Figure PCTCN2019079746-appb-000001
其中，m为输入的加噪图像对应的训练样本图像上的像素点个数，
Figure PCTCN2019079746-appb-000002
步骤D，判断总误差函数值是否小于或等于误差阈值，若是，则确定深度学习网络模型训练完成；否则根据总误差函数值，调整深度学习网络模型的网络参数，并返回执行步骤A。
本实施例中误差最优化策略为最优化输出图像与训练样本图像之间的逐像素点的像素均方误差及梯度均方误差方式，一方面，从像素值的角度使得输出图像尽可能的与训练样本图像接近，另一方面，从边缘梯度的角度使得输出图像更接近训练样本图像。有缺陷的图像中往往存在许多纹理信息及边缘信息，包括缺陷本身也是具有边缘信息的，因此，加入梯度的信息能够更好的检测表面缺陷。
具体的，深度学习网络模型的训练过程如图7所示，在训练图像x中添加噪声，然后基于添加了噪声的训练图像对卷积神经网络进行训练，得到重建图像x'，并将重建图像作为训练图像重新进行训练。可以采用类似SDAE (Stacked Denosie Autoencode，堆叠降噪自动编码器)的方法在训练数据上加入噪声，使得深度学习网络模型能够更好的学习到无缺陷样本的数据分布。深度学习网络模型的训练过程，可以在已有的深度学习网络平台上进行，也可以通过搭建的程序框架实现，这里不做限定。
S403，将重建图像与待检测图像作差，得到差值图像。
重建图像与待检测图像作差为重建图像中的像素点与待检测图像中的对应像素点分别作差，对于灰度图，可以是像素值直接作差，对于RGB图，可以是三通道分量分别作差，像素值相同或者RGB三通道分量相同的像素点在作差之后差值接近于0，而像素值或者RGB三通道分量差别较大时，在作差之后差值较大，因此，可以通过差值的大小来判断是否存在缺陷。为了计算简便，在得到差值图像后，可以将差值图像中的各差值进行归一化处理，将所有差值都归一化至0～1的范围内。
测试过程的流程简图如图8所示，对于待检测图像，将待检测图像输入训练好的深度学习网络模型中获得重建图像，将重建图像与待检测图像做差，获得一张差值图像，有缺陷的区域会有较大的差异，没有缺陷的区域差异较小，因此，可以通过值的大小来判断该区域是否存在缺陷。
S404，在差值图像中，若存在差值大于预设差值的区域，则确定待检测图像存在表面缺陷。
由于重建图像为无缺陷的图像，而待检测图像中可能存在表面缺陷，通过将重建图像与待检测图像作差，差值较小的区域说明待检测图像中该区域无缺陷，而差值较大的区域说明待检测图像中该区域存在表面缺陷，为了提高检测的准确性，可以设置一预设差值，如果存在差值大于预设差值的区域，则说明待检测图像存在表面缺陷，并且通过能够确定出待检测图像中具体哪一个区域存在表面缺陷。
在确定待检测图像中存在表面缺陷之后，还可以采用SVM(Support Vector Machine，支持向量机)、回归模型softmax、ANN(Artificial Neural Networks，人工神经网络)等分类器，识别表面缺陷的类别，分类器识别表面缺陷类别的具体识别方法这里不再赘述。
目前涉及到无监督的表面缺陷检测方法主要是采用无监督学习方式进行预训练，结合有监督的方法对网络进行微调，无监督学习中训练集样本的特性未知，没有对样本进行标记。完全采用无监督的方法主要分为两种方法，一种采用DBNs(Deep Belief Networks，深度置信网络)，另一种采用SDAE。
DBNs的训练过程如下：采用无缺陷的样本图像，逐层训练堆叠的RBM(Restricted Boltzmann Machines，受限玻尔兹曼机)，如图9a所示；同样采用无缺陷的样本图像将网络模型展开，然后进行微调，如图9b、图9c所示。
DBNs通过训练其神经元间的权重，可以让整个神经网络按照最大概率来生成训练数据。DBNs的组成元件是RBM。在RBM中，神经元是随机的， 且只有未激活和激活两种状态，一般用二进制的0和1表示，取值根据概率统计法则决定。RBM具有一个可见层，一个隐藏层，如图10所示，其层内无连接，这种结构使得RBM在给定可见层单元状态时，各隐藏层单元的激活条件独立；反之在给定隐藏层单元状态时，可见层单元的激活条件也独立。
当给定可见单元状态时，各隐藏层单元的激活状态之间是条件独立的，由此可得第j个隐藏层单元的激活概率为：
Figure PCTCN2019079746-appb-000003
根据RBM的对称结构，同理可得第i个可见层单元的激活概率为：
Figure PCTCN2019079746-appb-000004
h i表征第i个隐藏层单元，v i表征第i个可见层单元，W ij、b j和c j为RBM网络参数，需拟合给定的训练数据，用极大似然法最大化上述公式，一般采用CD(Contrastive Divergence，对比分歧)算法进行优化。
SDAE的训练过程如下：(1)训练第一个DAE(Denoising Auto-encoder，降噪自动编码器)网络，采用最优梯度下降法优化，计算得到训练样本在隐藏层的输出值；(2)将(1)的结果作为第二个DAE网络训练的输入值，同样采用最优梯度下降法来优化，并计算DAE网络输出值，用同样的方法训练第3个DAE网络和第4个DAE网络；将上面的4个DAE网络展开连接成新的网络，且分成编码和解码两部分，用(1)和(2)得到的权值给网络赋初值；(4)将输入值作为SDAE网络的目标输出，同样用最优梯度下降法来优化，得到最终的网络权值。以输入样本图像为64*64的灰度图为例，SDAE的输入层是4096维，4个隐藏层维度分别为1000、500、250、200、50。按照图11a的形式创建网络并得到相应的预训练权值；按图11b的形式展开；把输入样本图像作为网络的目标输出，按图11c对权值做进一步的微调，微调的过程可以采用BP(Back Propagation，反向传播)算法。
DAE与传统的AE(Auto-encoder，自动编码器)具有相同的结构，只是在样本输入时加入了某种类型的噪声，其学习目标是从受污染的输入中重构出纯净的输入。其计算过程如图12所示，计算过程如下。
设输入样本为X，污染后的随机映射样本为
Figure PCTCN2019079746-appb-000005
则DAE的编码输出为：
Figure PCTCN2019079746-appb-000006
重构后的解码输出为：
Z＝g θ'(Y)＝s(W'Y+b')
其参数、结构与基本的AE完全相同，不同点在于损失函数：
L 2(X,Z)＝C(σ 2)‖X-Z‖ 2，线性解码器
或，
L H(X,Z)＝H(B(X)||B(Z))，非线性解码器
其中，W、b、W'、b'为DAE网络参数。损失函数虽然仍旧是最小化纯净输入信号X和重构Y之间的误差，或者说是最大化纯净输入信号和重构信号之间的共有信息，但与传统的AE不同的是，重构信号Y是由受污染信号
Figure PCTCN2019079746-appb-000007
重构得到的。
样本X每训练一次，都会根据噪声发生器
Figure PCTCN2019079746-appb-000008
产生一个不同的
Figure PCTCN2019079746-appb-000009
为了得到更高级的特征表达，用深度网络结构的形式，把DAE逐层堆叠起来，形成一个由DAE上下连接而成的模型结构(称为SDAE)。在训练时，前一层的输出作为后一层的纯净输入，逐层进行训练。学习过程如图13所示。
上述两种方法从训练方法上来看，均要分成两步进行，先逐层训练，得到网络模型，再将训练得到的网络模型展开进行微调，过程比较繁琐。而在本申请实施例中，深度学习网络模型的训练过程并不需要分步进行，直接通过训练可得到深度学习网络模型，而不需要再进行展开微调，简化了训练过程。
应用本实施例，通过将获取的待检测图像输入预先训练得到的深度学习网络模型，得到该待检测图像对应的无缺陷的重建图像，将重建图像与待检测图像作差，得到差值图像，在差值图像中，若存在差值大于预设差值的区域，则确定待检测图像存在表面缺陷，深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型。由于深度学习网络模型是由无缺陷的训练样本图像训练得到的，相较于包含有缺陷的样本图像，无缺陷的训练样本图像更易获取到，且数量多，则将待检测图像输入深度学习网络模型后，可以得到该待检测图像对应的无缺陷的重建图像，由于有缺陷的图像与无缺陷的图像相比，缺陷部分具有较大差异，因此，通过将重建图像与待检测图像作差，如果差值图像中存在差值大于预设差值的区域，可确定待检测图像存在表面缺陷，不受样本图像的限制，有表面缺陷会导致重建图像与待检测图像之间差异明显，这样，既增加了检测出未知的表面缺陷类型的可能性，又提高了表面缺陷的检出率。
相应于上述方法实施例，本申请实施例提供了一种表面缺陷检测装置，如图14所示，该表面缺陷检测装置包括：
获取模块1410，用于获取待检测图像。
计算模块1420，用于将所述待检测图像输入预先训练得到的深度学习网络模型，得到所述待检测图像对应的无缺陷的重建图像，所述深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型；将所述重建图像与所述待检测图像作差，得到差值图像。
确定模块1430，用于在所述差值图像中，若存在差值大于预设差值的区域，则确定所述待检测图像存在表面缺陷。
在本申请的一种可能的实施方式中，所述获取模块1410，还可以用于：获取样本训练集，所述样本训练集中包括多个无缺陷的训练样本图像。
所述装置，还可以包括：加噪模块，用于对所述样本训练集中的各训练样本图像进行加噪处理，得到各训练样本图像分别对应的加噪图像；训练模块，用于将各所述加噪图像输入预设训练模型进行训练，得到所述深度学习网络模型。
在本申请的一种可能的实施方式中，所述获取模块1410，具体可以用于：获取原始训练样本图像，所述原始训练样本图像包括无缺陷的样本图像；对所述原始训练样本图像进行变换扩充，得到变换图像；基于所有变换图像和所有原始训练样本图像，构成第一数量的训练样本图像；将所述第一数量的训练样本图像按照预设尺寸进行裁剪分块，得到第二数量的训练样本图像；将所述第二数量的训练样本图像作为样本训练集。
在本申请的一种可能的实施方式中，所述训练模块，具体可以用于：将各所述加噪图像输入预设卷积神经网络，得到各所述加噪图像的输出图像；计算各所述输出图像与各所述加噪图像对应的训练样本图像之间的逐像素点的像素均方误差及梯度均方误差；基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值；判断所述总误差函数值是否小于或等于误差阈值；若是，则确定所述深度学习网络模型训练完成；否则根据所述总误差函数值，调整所述深度学习网络模型的网络参数，并返回执行所述将各所述加噪图像输入预设卷积神经网络，得到各所述加噪图像的输出图像。
在本申请的一种可能的实施方式中，所述训练模块在实现所述基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值时，具体可以用于：基于所述逐像素点的像素均方误差及梯度均方误差，利用总误差函数，计算得到总误差函数值。
其中，所述总误差函数为：
Figure PCTCN2019079746-appb-000010
其中，所述m为输入的加噪图像对应的训练样本图像上的像素点个数，所 述
Figure PCTCN2019079746-appb-000011
为逐像素点的像素均方误差，所述x'为所述输出图像上第i个像素点的像素值，所述x为输入的加噪图像对应的训练样本图像上第i个像素点的像素值，所述
Figure PCTCN2019079746-appb-000012
为逐像素点的梯度均方误差，所述
Figure PCTCN2019079746-appb-000013
为所述输出图像上第i个像素点的梯度值，所述
Figure PCTCN2019079746-appb-000014
为输入的加噪图像对应的训练样本图像上第i个像素点的梯度值。
应用本实施例，通过将获取的待检测图像输入预先训练得到的深度学习网络模型，得到该待检测图像对应的无缺陷的重建图像，将重建图像与待检测图像作差，得到差值图像，在差值图像中，若存在差值大于预设差值的区域，则确定待检测图像存在表面缺陷，深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型。由于深度学习网络模型是由无缺陷的训练样本图像训练得到的，相较于包含有缺陷的样本图像，无缺陷的训练样本图像更易获取到，且数量多，则将待检测图像输入深度学习网络模型后，可以得到该待检测图像对应的无缺陷的重建图像，由于有缺陷的图像与无缺陷的图像相比，缺陷部分具有较大差异，因此，通过将重建图像与待检测图像作差，如果差值图像中存在差值大于预设差值的区域，可确定待检测图像存在表面缺陷，不受样本图像的限制，有表面缺陷会导致重建图像与待检测图像之间差异明显，这样，既增加了检测出未知的表面缺陷类型的可能性，又提高了表面缺陷的检出率。
为了提高表面缺陷的检出率，本申请实施例还提供了一种电子设备，如图15所示，该电子设备包括处理器1501和存储器1502，其中，所述存储器1502，用于存放计算机程序；所述处理器1501，用于执行所述存储器1502上所存放的计算机程序时，实现如下步骤。
获取待检测图像；
将所述待检测图像输入预先训练得到的深度学习网络模型，得到所述待检测图像对应的无缺陷的重建图像，所述深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型；
将所述重建图像与所述待检测图像作差，得到差值图像；
在所述差值图像中，若存在差值大于预设差值的区域，则确定所述待检测图像存在表面缺陷。
在本申请的一种可能的实施方式中，所述处理器1501还可以实现如下步骤：获取样本训练集，所述样本训练集中包括多个无缺陷的训练样本图像；对所述样本训练集中的各训练样本图像进行加噪处理，得到各训练样本图像 分别对应的加噪图像；将各所述加噪图像输入预设训练模型进行训练，得到所述深度学习网络模型。
在本申请的一种可能的实施方式中，所述处理器1501在实现所述获取样本训练集的步骤时，具体可以实现如下步骤：获取原始训练样本图像，所述原始训练样本图像包括无缺陷的样本图像；对所述原始训练样本图像进行变换扩充，得到变换图像；基于所有变换图像和所有原始训练样本图像，构成第一数量的训练样本图像；将所述第一数量的训练样本图像按照预设尺寸进行裁剪分块，得到第二数量的训练样本图像；将所述第二数量的训练样本图像作为样本训练集。
在本申请的一种可能的实施方式中，所述处理器1501在实现所述将各所述加噪图像输入预设训练模型进行训练，得到所述深度学习网络模型的步骤时，具体可以实现如下步骤：将各所述加噪图像输入预设卷积神经网络，得到各所述加噪图像的输出图像；计算各所述输出图像与各所述加噪图像对应的训练样本图像之间的逐像素点的像素均方误差及梯度均方误差；基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值；判断所述总误差函数值是否小于或等于误差阈值；若是，则确定所述深度学习网络模型训练完成；否则根据所述总误差函数值，调整所述深度学习网络模型的网络参数，并返回执行所述将各所述加噪图像输入预设卷积神经网络，得到各所述加噪图像的输出图像。
在本申请的一种可能的实施方式中，所述处理器1501在实现所述基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值的步骤时，具体可以实现如下步骤：基于所述逐像素点的像素均方误差及梯度均方误差，利用总误差函数，计算得到总误差函数值。
其中，所述总误差函数可以为：
Figure PCTCN2019079746-appb-000015
其中，所述m为输入的加噪图像对应的训练样本图像上的像素点个数，所述
Figure PCTCN2019079746-appb-000016
为逐像素点的像素均方误差，所述x'为所述输出图像上第i个像素点的像素值，所述x为输入的加噪图像对应的训练样本图像上第i个像素点的像素值，所述
Figure PCTCN2019079746-appb-000017
为逐像素点的梯度均方误差，所述
Figure PCTCN2019079746-appb-000018
为所述输出图像上第i个像素点的梯度值，所述
Figure PCTCN2019079746-appb-000019
为输入的加噪图像对应的训练样本图像上第i个像素点的梯度值。
存储器1502与处理器1501之间可以通过有线连接或者无线连接的方式进行数据传输，并且计算机设备可以通过有线通信接口或者无线通信接口与其他的设备进行通信。需要说明的一点，图15中只给出了处理器1501与存储器1502之间通过总线传输数据的示例，并不是对具体传输方式的限定。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。在本申请的一种可能的实施方式中，存储器还可以是至少一个位于远离于上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本实施例中，该电子设备的处理器通过读取存储器中存储的计算机程序，并通过运行该计算机程序，能够实现：通过将获取的待检测图像输入预先训练得到的深度学习网络模型，得到该待检测图像对应的无缺陷的重建图像，将重建图像与待检测图像作差，得到差值图像，在差值图像中，若存在差值大于预设差值的区域，则确定待检测图像存在表面缺陷，深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型。由于深度学习网络模型是由无缺陷的训练样本图像训练得到的，相较于包含有缺陷的样本图像，无缺陷的训练样本图像更易获取到，且数量多，则将待检测图像输入深度学习网络模型后，可以得到该待检测图像对应的无缺陷的重建图像，由于有缺陷的图像与无缺陷的图像相比，缺陷部分具有较大差异，因此，通过将重建图像与待检测图像作差，如果差值图像中存在差值大于预设差值的区域，可确定待检测图像存在表面缺陷，不受样本图像的限制，有表面缺陷会导致重建图像与待检测图像之间差异明显，这样，既增加了检测出未知的表面缺陷类型的可能性，又提高了表面缺陷的检出率。
另外，相应于上述实施例所提供的表面缺陷检测方法，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述表面缺陷检测方法的任一步骤。
本实施例中，计算机可读存储介质在运行时执行本申请实施例所提供的表面缺陷检测方法的应用程序，因此能够实现：通过将获取的待检测图像输入预先训练得到的深度学习网络模型，得到该待检测图像对应的无缺陷的重建图像，将重建图像与待检测图像作差，得到差值图像，在差值图像中，若存在差值大于预设差值的区域，则确定待检测图像存在表面缺陷，深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得 到的深度学习网络模型。由于深度学习网络模型是由无缺陷的训练样本图像训练得到的，相较于包含有缺陷的样本图像，无缺陷的训练样本图像更易获取到，且数量多，则将待检测图像输入深度学习网络模型后，可以得到该待检测图像对应的无缺陷的重建图像，由于有缺陷的图像与无缺陷的图像相比，缺陷部分具有较大差异，因此，通过将重建图像与待检测图像作差，如果差值图像中存在差值大于预设差值的区域，可确定待检测图像存在表面缺陷，不受样本图像的限制，有表面缺陷会导致重建图像与待检测图像之间差异明显，这样，既增加了检测出未知的表面缺陷类型的可能性，又提高了表面缺陷的检出率。
另外，相应于上述实施例所提供的表面缺陷检测方法，本申请实施例提供了一种应用程序，用于在运行时执行：本申请实施例所提供的表面缺陷检测方法。
本实施例中，应用程序在运行时执行本申请实施例所提供的表面缺陷检测方法，因此能够实现：通过将获取的待检测图像输入预先训练得到的深度学习网络模型，得到该待检测图像对应的无缺陷的重建图像，将重建图像与待检测图像作差，得到差值图像，在差值图像中，若存在差值大于预设差值的区域，则确定待检测图像存在表面缺陷，深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型。由于深度学习网络模型是由无缺陷的训练样本图像训练得到的，相较于包含有缺陷的样本图像，无缺陷的训练样本图像更易获取到，且数量多，则将待检测图像输入深度学习网络模型后，可以得到该待检测图像对应的无缺陷的重建图像，由于有缺陷的图像与无缺陷的图像相比，缺陷部分具有较大差异，因此，通过将重建图像与待检测图像作差，如果差值图像中存在差值大于预设差值的区域，可确定待检测图像存在表面缺陷，不受样本图像的限制，有表面缺陷会导致重建图像与待检测图像之间差异明显，这样，既增加了检测出未知的表面缺陷类型的可能性，又提高了表面缺陷的检出率。
对于电子设备以及计算机可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及应用程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (14)

  1. 一种表面缺陷检测方法，其特征在于，所述方法包括：
    获取待检测图像；
    将所述待检测图像输入预先训练得到的深度学习网络模型，得到所述待检测图像对应的无缺陷的重建图像，所述深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型；
    将所述重建图像与所述待检测图像作差，得到差值图像；
    在所述差值图像中，若存在差值大于预设差值的区域，则确定所述待检测图像存在表面缺陷。
  2. 根据权利要求1所述的方法，其特征在于，所述深度学习网络模型的训练方式，包括：
    获取样本训练集，所述样本训练集中包括多个无缺陷的训练样本图像；
    对所述样本训练集中的各训练样本图像进行加噪处理，得到各训练样本图像分别对应的加噪图像；
    将各所述加噪图像输入预设训练模型进行训练，得到所述深度学习网络模型。
  3. 根据权利要求2所述的方法，其特征在于，所述获取样本训练集，包括：
    获取原始训练样本图像，所述原始训练样本图像包括无缺陷的样本图像；
    对所述原始训练样本图像进行变换扩充，得到变换图像；
    基于所有变换图像和所有原始训练样本图像，构成第一数量的训练样本图像；
    将所述第一数量的训练样本图像按照预设尺寸进行裁剪分块，得到第二数量的训练样本图像；
    将所述第二数量的训练样本图像作为样本训练集。
  4. 根据权利要求2所述的方法，其特征在于，所述将各所述加噪图像输入预设训练模型进行训练，得到所述深度学习网络模型，包括：
    将各所述加噪图像输入预设卷积神经网络，得到各所述加噪图像的输出图像；
    计算各所述输出图像与各所述加噪图像对应的训练样本图像之间的逐像素点的像素均方误差及梯度均方误差；
    基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值；
    判断所述总误差函数值是否小于或等于误差阈值；
    若是，则确定所述深度学习网络模型训练完成；
    若否，则根据所述总误差函数值，调整所述深度学习网络模型的网络参 数，并返回执行所述将各所述加噪图像输入预设卷积神经网络，得到各所述加噪图像的输出图像。
  5. 根据权利要求4所述的方法，其特征在于，所述基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值，包括：
    基于所述逐像素点的像素均方误差及梯度均方误差，利用总误差函数，计算得到总误差函数值，其中，所述总误差函数为：
    Figure PCTCN2019079746-appb-100001
    其中，所述m为输入的加噪图像对应的训练样本图像上的像素点个数，所述
    Figure PCTCN2019079746-appb-100002
    为逐像素点的像素均方误差，所述x'为所述输出图像上第i个像素点的像素值，所述x为输入的加噪图像对应的训练样本图像上第i个像素点的像素值，所述
    Figure PCTCN2019079746-appb-100003
    为逐像素点的梯度均方误差，所述
    Figure PCTCN2019079746-appb-100004
    为所述输出图像上第i个像素点的梯度值，所述
    Figure PCTCN2019079746-appb-100005
    为输入的加噪图像对应的训练样本图像上第i个像素点的梯度值。
  6. 一种表面缺陷检测装置，其特征在于，所述装置包括：
    获取模块，用于获取待检测图像；
    计算模块，用于将所述待检测图像输入预先训练得到的深度学习网络模型，得到所述待检测图像对应的无缺陷的重建图像，所述深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型；将所述重建图像与所述待检测图像作差，得到差值图像；
    确定模块，用于在所述差值图像中，若存在差值大于预设差值的区域，则确定所述待检测图像存在表面缺陷。
  7. 根据权利要求6所述的装置，其特征在于，所述获取模块，还用于：
    获取样本训练集，所述样本训练集中包括多个无缺陷的训练样本图像；
    所述装置，还包括：
    加噪模块，用于对所述样本训练集中的各训练样本图像进行加噪处理，得到各训练样本图像分别对应的加噪图像；
    训练模块，用于将各所述加噪图像输入预设训练模型进行训练，得到所述深度学习网络模型。
  8. 根据权利要求7所述的装置，其特征在于，所述获取模块，具体用于：
    获取原始训练样本图像，所述原始训练样本图像包括无缺陷的样本图像；
    对所述原始训练样本图像进行变换扩充，得到变换图像；
    基于所有变换图像和所有原始训练样本图像，构成第一数量的训练样本图像；
    将所述第一数量的训练样本图像按照预设尺寸进行裁剪分块，得到第二数量的训练样本图像；
    将所述第二数量的训练样本图像作为样本训练集。
  9. 根据权利要求7所述的装置，其特征在于，所述训练模块，具体用于：
    将各所述加噪图像输入预设卷积神经网络，得到各所述加噪图像的输出图像；
    计算各所述输出图像与各所述加噪图像对应的训练样本图像之间的逐像素点的像素均方误差及梯度均方误差；
    基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值；
    判断所述总误差函数值是否小于或等于误差阈值；
    若是，则确定所述深度学习网络模型训练完成；
    若否，则根据所述总误差函数值，调整所述深度学习网络模型的网络参数，并返回执行所述将各所述加噪图像输入预设卷积神经网络，得到各所述加噪图像的输出图像。
  10. 根据权利要求9所述的装置，其特征在于，所述训练模块在实现所述基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值时，具体用于：
    基于所述逐像素点的像素均方误差及梯度均方误差，利用总误差函数，计算得到总误差函数值，其中，所述总误差函数为：
    Figure PCTCN2019079746-appb-100006
    其中，所述m为输入的加噪图像对应的训练样本图像上的像素点个数，所述
    Figure PCTCN2019079746-appb-100007
    为逐像素点的像素均方误差，所述x'为所述输出图像上第i个像素点的像素值，所述x为输入的加噪图像对应的训练样本图像上第i个像素点的像素值，所述
    Figure PCTCN2019079746-appb-100008
    为逐像素点的梯度均方误差，所述
    Figure PCTCN2019079746-appb-100009
    为所述输出图像上第i个像素点的梯度值，所述
    Figure PCTCN2019079746-appb-100010
    为输入的加噪图像对应的训练样本图像上第i个像素点的梯度值。
  11. 一种电子设备，其特征在于，包括处理器和存储器，其中，
    所述存储器，用于存放计算机程序；
    所述处理器，用于执行所述存储器上所存放的计算机程序时，实现如下步骤：
    获取待检测图像；
    将所述待检测图像输入预先训练得到的深度学习网络模型，得到所述待检测图像对应的无缺陷的重建图像，所述深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型；
    将所述重建图像与所述待检测图像作差，得到差值图像；
    在所述差值图像中，若存在差值大于预设差值的区域，则确定所述待检测图像存在表面缺陷。
  12. 根据权利要求11所述的电子设备，其特征在于，所述处理器还用于执行所述存储器上所存放的计算机程序时，实现如下步骤：
    获取样本训练集，所述样本训练集中包括多个无缺陷的训练样本图像；
    对所述样本训练集中的各训练样本图像进行加噪处理，得到各训练样本图像分别对应的加噪图像；
    将各所述加噪图像输入预设训练模型进行训练，得到所述深度学习网络模型。
  13. 根据权利要求12所述的电子设备，其特征在于，所述处理器在实现所述获取样本训练集时，具体实现如下步骤：
    获取原始训练样本图像，所述原始训练样本图像包括无缺陷的样本图像；
    对所述原始训练样本图像进行变换扩充，得到变换图像；
    基于所有变换图像和所有原始训练样本图像，构成第一数量的训练样本图像；
    将所述第一数量的训练样本图像按照预设尺寸进行裁剪分块，得到第二数量的训练样本图像；
    将所述第二数量的训练样本图像作为样本训练集。
  14. 根据权利要求12所述的电子设备，其特征在于，所述处理器在实现所述将各所述加噪图像输入预设训练模型进行训练，得到所述深度学习网络模型时，具体实现如下步骤：
    将各所述加噪图像输入预设卷积神经网络，得到各所述加噪图像的输出图像；
    计算各所述输出图像与各所述加噪图像对应的训练样本图像之间的逐像素点的像素均方误差及梯度均方误差；
    基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值；
    判断所述总误差函数值是否小于或等于误差阈值；
    若是，则确定所述深度学习网络模型训练完成；
    若否，则根据所述总误差函数值，调整所述深度学习网络模型的网络参 数，并返回执行所述将各所述加噪图像输入预设卷积神经网络，得到各所述加噪图像的输出图像。
PCT/CN2019/079746 2018-06-04 2019-03-26 一种表面缺陷检测方法、装置及电子设备 WO2019233166A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810563651.X 2018-06-04
CN201810563651.XA CN110619618B (zh) 2018-06-04 2018-06-04 一种表面缺陷检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
WO2019233166A1 true WO2019233166A1 (zh) 2019-12-12

Family

ID=68770049

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/079746 WO2019233166A1 (zh) 2018-06-04 2019-03-26 一种表面缺陷检测方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN110619618B (zh)
WO (1) WO2019233166A1 (zh)

Cited By (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199531A (zh) * 2019-12-27 2020-05-26 中国民航大学 基于泊松图像融合及图像风格化的交互式数据扩展方法
CN111311542A (zh) * 2020-01-15 2020-06-19 歌尔股份有限公司 一种产品质量检测方法及装置
CN111311544A (zh) * 2020-01-19 2020-06-19 无锡赛默斐视科技有限公司 一种基于深度学习的地板缺陷检测方法
CN111325738A (zh) * 2020-02-28 2020-06-23 湖北工业大学 一种用于横穿孔周边裂纹的智能检测方法及系统
CN111429405A (zh) * 2020-03-04 2020-07-17 清华大学深圳国际研究生院 基于3d cnn的锡球缺陷检测方法及装置
CN111553557A (zh) * 2020-03-30 2020-08-18 徐州徐工挖掘机械有限公司 一种基于深度学习的车间产品质量评估方法
CN111553476A (zh) * 2020-04-30 2020-08-18 汪科道 基于记忆分值的神经网络训练方法、装置及存储介质
CN111583223A (zh) * 2020-05-07 2020-08-25 上海闻泰信息技术有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
CN111598863A (zh) * 2020-05-13 2020-08-28 北京阿丘机器人科技有限公司 缺陷检测方法、装置、设备及可读存储介质
CN111626960A (zh) * 2020-05-29 2020-09-04 Oppo广东移动通信有限公司 图像去雾方法、终端及计算机存储介质
CN111696079A (zh) * 2020-05-15 2020-09-22 中山大学 一种基于多任务学习的表面缺陷检测方法
CN111696092A (zh) * 2020-06-11 2020-09-22 深圳市华汉伟业科技有限公司 一种基于特征对比的缺陷检测方法及系统、存储介质
CN111709452A (zh) * 2020-05-21 2020-09-25 五邑大学 酒瓶表面缺陷模型的评价方法、电子装置及存储介质
CN111754486A (zh) * 2020-06-24 2020-10-09 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111784692A (zh) * 2020-08-11 2020-10-16 国网内蒙古东部电力有限公司 一种电力系统中绝缘子缺陷的检测方法、装置及电子设备
CN111814850A (zh) * 2020-06-22 2020-10-23 浙江大华技术股份有限公司 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN111815564A (zh) * 2020-06-09 2020-10-23 浙江华睿科技有限公司 一种检测丝锭的方法、装置及丝锭分拣系统
CN111833311A (zh) * 2020-06-18 2020-10-27 安徽农业大学 基于深度学习的图像识别方法及在水稻病害识别上的应用
CN111862092A (zh) * 2020-08-05 2020-10-30 复旦大学 一种基于深度学习的快递外包装缺陷检测方法及装置
CN111932489A (zh) * 2020-06-03 2020-11-13 西安电子科技大学 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端
CN112070712A (zh) * 2020-06-05 2020-12-11 宁波大学 基于自编码器网络的印刷缺陷检测方法
CN112184648A (zh) * 2020-09-22 2021-01-05 苏州中科全象智能科技有限公司 一种基于深度学习的活塞表面缺陷检测方法及系统
CN112330598A (zh) * 2020-10-14 2021-02-05 浙江华睿科技有限公司 一种化纤表面僵丝缺陷检测的方法、装置及存储介质
CN112348787A (zh) * 2020-11-03 2021-02-09 中科创达软件股份有限公司 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置
CN112381755A (zh) * 2020-09-28 2021-02-19 台州学院 一种基于深度学习的输液器导管涂胶缺陷检测方法
CN112598646A (zh) * 2020-12-23 2021-04-02 山东产研鲲云人工智能研究院有限公司 电容缺陷检测方法、装置、电子设备及存储介质
CN112634147A (zh) * 2020-12-09 2021-04-09 上海健康医学院 自监督学习的pet图像降噪方法、系统、装置及介质
CN112669264A (zh) * 2020-12-17 2021-04-16 国网山西省电力公司运城供电公司 配网线路无人机巡检的人工智能缺陷识别方法和系统
CN112668754A (zh) * 2020-12-03 2021-04-16 国网山西省电力公司大同供电公司 一种基于多源特征信息融合的电力设备缺陷诊断方法
CN112734827A (zh) * 2021-01-07 2021-04-30 京东鲲鹏(江苏)科技有限公司 一种目标检测方法、装置、电子设备和存储介质
CN112766324A (zh) * 2021-01-02 2021-05-07 西安电子科技大学 图像对抗样本检测方法、系统、存储介质、终端及应用
CN112784835A (zh) * 2021-01-21 2021-05-11 恒安嘉新（北京）科技股份公司 圆形印章的真实性识别方法、装置、电子设备及存储介质
CN112861957A (zh) * 2021-02-01 2021-05-28 陕西中良智能科技有限公司 一种油井运行状态检测方法及装置
CN112884743A (zh) * 2021-02-22 2021-06-01 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112967239A (zh) * 2021-02-23 2021-06-15 湖南大学 一种坡口缺陷检测方法、计算设备及可读存储介质
CN112967248A (zh) * 2021-03-03 2021-06-15 北京百度网讯科技有限公司 生成缺陷图像样本的方法、装置、介质及程序产品
CN113034432A (zh) * 2021-01-08 2021-06-25 苏州真目人工智能科技有限公司 一种产品缺陷检测方法、系统、装置及存储介质
CN113077454A (zh) * 2021-04-19 2021-07-06 凌云光技术股份有限公司 一种图像缺陷拟合方法、系统和存储介质
CN113298158A (zh) * 2021-05-28 2021-08-24 平安科技（深圳）有限公司 数据检测方法、装置、设备及存储介质
CN113313689A (zh) * 2021-05-28 2021-08-27 长安大学 一种路面构造深度测量方法、系统、设备及存储介质
CN113378957A (zh) * 2021-06-23 2021-09-10 广东工业大学 一种自适应统计模型训练方法、焊点缺陷检测方法及系统
CN113379689A (zh) * 2021-05-31 2021-09-10 东南大学 一种基于深度学习的缺陷检测算法
CN113379719A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 道路缺陷检测方法、装置、电子设备和存储介质
CN113393431A (zh) * 2021-06-09 2021-09-14 东方电气集团科学技术研究院有限公司 一种用于风机叶片缺陷检测的热成像图像增强训练方法和装置
CN113592024A (zh) * 2021-08-12 2021-11-02 燕山大学 冷轧铜带表面缺陷识别模型训练方法及识别方法、系统
CN113592830A (zh) * 2021-08-04 2021-11-02 航天信息股份有限公司 一种图像缺陷检测方法、装置及存储介质
CN113674285A (zh) * 2021-08-25 2021-11-19 长沙矿山研究院有限责任公司 一种电解/电积镍板智能剪切方法
CN113689341A (zh) * 2020-05-18 2021-11-23 京东方科技集团股份有限公司 图像处理方法及图像处理模型的训练方法
CN113688947A (zh) * 2021-10-11 2021-11-23 国网智能科技股份有限公司 一种配电设备红外图像故障识别方法及系统
CN113706437A (zh) * 2020-05-21 2021-11-26 国网智能科技股份有限公司 一种输电线路细粒度螺栓缺陷诊断方法及系统
CN113706464A (zh) * 2021-07-22 2021-11-26 西安交通大学 一种印刷品外观质量检测方法及系统
CN113724128A (zh) * 2020-05-25 2021-11-30 Tcl科技集团股份有限公司 一种训练样本的扩充方法
CN113763305A (zh) * 2020-05-29 2021-12-07 杭州海康威视数字技术股份有限公司 标定物品缺陷的方法、装置及电子设备
CN113781585A (zh) * 2021-08-27 2021-12-10 华中科技大学 一种增材制造零件表面缺陷在线检测方法及系统
CN113781424A (zh) * 2021-09-03 2021-12-10 苏州凌云光工业智能技术有限公司 一种表面缺陷检测方法、装置及设备
CN113808104A (zh) * 2021-09-16 2021-12-17 西安交通大学 一种基于分块的金属表面缺陷检测方法及系统
CN113888461A (zh) * 2021-08-26 2022-01-04 华能大理风力发电有限公司 基于深度学习的小五金件缺陷检测方法、系统及设备
CN113888477A (zh) * 2021-09-13 2022-01-04 浙江大学 网络模型的训练方法、金属表面缺陷检测方法及电子设备
CN113902695A (zh) * 2021-09-29 2022-01-07 西安工程大学 一种针对色织物裁片缺陷区域的检测方法
CN114065874A (zh) * 2021-11-30 2022-02-18 河北省科学院应用数学研究所 医药玻璃瓶外观缺陷检测模型训练方法、装置及终端设备
CN114140388A (zh) * 2021-10-28 2022-03-04 国网上海市电力公司 工业产品的表面缺陷检测方法及装置
CN114240929A (zh) * 2021-12-28 2022-03-25 季华实验室 一种色差检测方法及装置
CN114418980A (zh) * 2022-01-10 2022-04-29 惠州中科先进制造有限公司 印刷线路板缺陷识别的深度学习方法、系统、设备及介质
CN114463296A (zh) * 2022-01-24 2022-05-10 武汉大学 基于单样本学习的轻量化部件缺陷检测方法
CN114529529A (zh) * 2022-02-21 2022-05-24 清华大学 基于图像仿真增强的花边布匹表面缺陷检测方法及装置
CN114548250A (zh) * 2022-02-15 2022-05-27 深圳闪回科技有限公司 一种基于数据分析的手机外观检测方法及装置
CN114581386A (zh) * 2022-02-23 2022-06-03 清华大学 基于时空数据的缺陷检测方法及装置
CN114862772A (zh) * 2022-04-21 2022-08-05 南京大学 一种基于深度学习特征相关性的无监督缺陷检测方法
CN115115921A (zh) * 2022-07-05 2022-09-27 广东利扬芯片测试股份有限公司 基于残差网路的晶圆缺陷模式识别方法
CN115147353A (zh) * 2022-05-25 2022-10-04 腾讯科技（深圳）有限公司 缺陷检测模型的训练方法、装置、设备、介质及程序产品
CN115564773A (zh) * 2022-11-18 2023-01-03 南方电网数字电网研究院有限公司 基于元学习的小样本图像缺陷检测方法、装置和设备
TWI791970B (zh) * 2020-04-08 2023-02-11 台達電子工業股份有限公司 瑕疵檢測方法及瑕疵檢測裝置
CN116091500A (zh) * 2023-04-07 2023-05-09 成都数之联科技股份有限公司 扩散板缺陷检测方法、模型训练方法、装置、设备和介质
CN111383209B (zh) * 2019-12-20 2023-07-07 广州光达创新科技有限公司 一种基于全卷积自编码器网络的无监督瑕疵检测方法
CN116596875A (zh) * 2023-05-11 2023-08-15 哈尔滨工业大学重庆研究院 晶圆缺陷检测方法、装置、电子设备及存储介质
CN116912237A (zh) * 2023-09-08 2023-10-20 江西拓荒者科技有限公司 一种基于图像识别的印制线路板缺陷检测方法及系统
CN117036226A (zh) * 2022-08-24 2023-11-10 腾讯科技（深圳）有限公司 基于人工智能的物品缺陷检测方法、装置及可读存储介质
CN117132599A (zh) * 2023-10-26 2023-11-28 深圳市利器精工科技有限公司 线路板缺陷检测方法、装置、电子设备及存储介质
CN117274148A (zh) * 2022-12-05 2023-12-22 魅杰光电科技(上海)有限公司 基于深度学习的无监督晶圆缺陷检测方法
CN117392485A (zh) * 2023-12-07 2024-01-12 之江实验室 图像生成模型训练方法、业务执行方法、装置及介质
CN117541908A (zh) * 2024-01-10 2024-02-09 华芯程(杭州)科技有限公司 光学检测图像预测模型的训练方法、装置及预测方法
CN117710365A (zh) * 2024-02-02 2024-03-15 中国电建集团华东勘测设计研究院有限公司 缺陷管道图像的处理方法、装置及电子设备
CN117876263A (zh) * 2024-03-13 2024-04-12 之江实验室 一种天文图像处理方法及装置
CN118212196A (zh) * 2024-03-18 2024-06-18 四川数聚智造科技有限公司 一种基于图像修复的工业缺陷检测方法
WO2024130858A1 (zh) * 2022-12-22 2024-06-27 上海媒智科技有限公司 一种基于深度学习的橡胶管缺陷检测方法和系统

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111208148A (zh) * 2020-02-21 2020-05-29 凌云光技术集团有限责任公司 一种挖孔屏漏光缺陷检测系统
CN113552130A (zh) * 2020-04-08 2021-10-26 台达电子工业股份有限公司 瑕疵检测方法及瑕疵检测装置
CN111598857A (zh) * 2020-05-11 2020-08-28 北京阿丘机器人科技有限公司 产品表面缺陷的检测方法、装置、终端设备及介质
CN111598152B (zh) * 2020-05-12 2023-06-13 北京阿丘机器人科技有限公司 视觉系统复现方法、设备及计算机可读存储介质
CN111680596B (zh) * 2020-05-29 2023-10-13 北京百度网讯科技有限公司 基于深度学习的定位真值校验方法、装置、设备及介质
CN111833300B (zh) * 2020-06-04 2023-03-14 西安电子科技大学 一种基于生成对抗学习的复合材料构件缺陷检测方法和装置
CN113822836B (zh) * 2020-06-05 2024-06-18 英业达科技有限公司 标记图像的方法
CN113850749B (zh) * 2020-06-09 2024-07-09 英业达科技有限公司 训练缺陷侦测器的方法
CN111693534B (zh) 2020-06-12 2023-09-15 北京百度网讯科技有限公司 表面缺陷的检测方法、模型训练方法、装置、设备和介质
CN111833306B (zh) * 2020-06-12 2024-02-13 北京百度网讯科技有限公司 缺陷检测方法和用于缺陷检测的模型训练方法
CN111612788B (zh) * 2020-06-22 2023-07-04 创新奇智(上海)科技有限公司 一种缺陷识别方法、装置和电子设备
CN111553480B (zh) * 2020-07-10 2021-01-01 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机可读介质及电子设备
CN111986103A (zh) * 2020-07-20 2020-11-24 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN114078108B (zh) * 2020-08-11 2023-12-22 北京阅影科技有限公司 图像中异常区域的处理方法、装置和图像分割方法、装置
CN111968095B (zh) * 2020-08-19 2022-08-02 成都数之联科技股份有限公司 一种产品表面缺陷检测方法及系统及装置及介质
CN111951255B (zh) * 2020-08-20 2024-06-18 华北电力大学 缺陷识别方法、装置、终端设备和可读存储介质
CN112085722B (zh) * 2020-09-07 2024-04-09 凌云光技术股份有限公司 一种训练样本图像获取方法及装置
CN111986195B (zh) * 2020-09-07 2024-02-20 凌云光技术股份有限公司 一种外观缺陷检测方法及系统
CN112102306B (zh) * 2020-09-25 2022-10-25 西安交通大学 一种基于双重gan的边缘修复特征融合的缺陷检测方法
CN112330595B (zh) * 2020-10-13 2024-04-02 浙江华睿科技股份有限公司 一种绊丝检测方法、装置、电子设备及存储介质
CN112381794B (zh) * 2020-11-16 2022-05-31 哈尔滨理工大学 一种基于深度卷积生成网络的印刷缺陷检测方法
CN112446869A (zh) * 2020-11-27 2021-03-05 鹏城实验室 基于深度学习的无监督工业品缺陷检测方法及装置
CN114648480A (zh) * 2020-12-17 2022-06-21 杭州海康威视数字技术股份有限公司 表面缺陷检测方法、装置及系统
CN112861906A (zh) * 2020-12-31 2021-05-28 深圳前海微众银行股份有限公司 一种图片异常检测的方法及装置
CN113012097B (zh) * 2021-01-19 2023-12-29 富泰华工业（深圳）有限公司 图像复检方法、计算机装置及存储介质
WO2022178834A1 (zh) * 2021-02-26 2022-09-01 深圳市大疆创新科技有限公司 一种图像处理的方法和装置
CN113284086A (zh) * 2021-03-31 2021-08-20 广东电力信息科技有限公司 电力稀缺缺陷图像生成及检测方法、装置及相关设备
CN113361583A (zh) * 2021-06-01 2021-09-07 珠海大横琴科技发展有限公司 一种对抗样本检测方法和装置
CN113256602A (zh) * 2021-06-10 2021-08-13 中科云尚(南京)智能技术有限公司 一种基于自编码器的无监督风机叶片缺陷检测方法及系统
CN113379729B (zh) * 2021-07-02 2023-07-25 四川启睿克科技有限公司 一种图像微小异常检测方法、装置及计算机可读存储介质
CN113706462A (zh) * 2021-07-21 2021-11-26 南京旭锐软件科技有限公司 产品表面缺陷检测方法、装置、设备及存储介质
CN113793343B (zh) * 2021-08-23 2023-06-06 南昌航空大学 基于图像的缺陷定位分割方法、系统、终端及存储介质
CN114104653A (zh) * 2021-09-14 2022-03-01 精锐视觉智能科技(上海)有限公司 一种输煤仓区域输煤皮带机智能巡检检测方法
CN114119463A (zh) * 2021-10-08 2022-03-01 广东美卡智能信息技术有限公司 一种缺陷的检测方法及装置
CN113888663B (zh) * 2021-10-15 2022-08-26 推想医疗科技股份有限公司 重建模型训练方法、异常检测方法、装置、设备及介质
CN114004829B (zh) * 2021-11-23 2024-09-24 邵阳学院 基于迁移学习的筷子缺陷检测方法及系统
CN114092471B (zh) * 2021-12-21 2024-09-24 河北工业大学 一种用于舵类结构件表面缺陷的视觉检测方法及检测装置
CN114354623A (zh) * 2021-12-30 2022-04-15 苏州凌云视界智能设备有限责任公司 弱印痕提取算法、装置、设备和介质
CN114565567B (zh) * 2022-02-15 2024-04-09 清华大学 复杂纹理花边布的缺陷检测方法及装置
CN114862776A (zh) * 2022-04-22 2022-08-05 深圳职业技术学院 一种产品表面缺陷检测方法、装置、计算机设备及介质
CN114972258B (zh) * 2022-05-27 2023-04-07 深圳先进技术研究院 基于机器视觉的电池表面缺陷检测方法、系统及相关设备
CN115239719A (zh) * 2022-09-22 2022-10-25 南昌昂坤半导体设备有限公司 缺陷检测方法、系统、电子设备及存储介质
CN116503410A (zh) * 2023-06-28 2023-07-28 深圳市谱汇智能科技有限公司 半导体缺陷识别方法、装置、终端设备以及存储介质
CN116958131B (zh) * 2023-09-18 2024-01-05 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质
CN118261905B (zh) * 2024-04-30 2024-09-10 苏州辰瓴光学有限公司 Ai赋能柔性线路板缺陷检测方法及检测设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650770A (zh) * 2016-09-29 2017-05-10 南京大学 一种基于样本学习和人眼视觉特性的mura缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292885A (zh) * 2017-08-08 2017-10-24 广东工业大学 一种基于自动编码器的产品缺陷分类识别方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650770A (zh) * 2016-09-29 2017-05-10 南京大学 一种基于样本学习和人眼视觉特性的mura缺陷检测方法

Cited By (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383209B (zh) * 2019-12-20 2023-07-07 广州光达创新科技有限公司 一种基于全卷积自编码器网络的无监督瑕疵检测方法
CN111199531A (zh) * 2019-12-27 2020-05-26 中国民航大学 基于泊松图像融合及图像风格化的交互式数据扩展方法
CN111199531B (zh) * 2019-12-27 2023-05-12 中国民航大学 基于泊松图像融合及图像风格化的交互式数据扩展方法
CN111311542A (zh) * 2020-01-15 2020-06-19 歌尔股份有限公司 一种产品质量检测方法及装置
CN111311542B (zh) * 2020-01-15 2023-09-19 歌尔股份有限公司 一种产品质量检测方法及装置
CN111311544A (zh) * 2020-01-19 2020-06-19 无锡赛默斐视科技有限公司 一种基于深度学习的地板缺陷检测方法
CN111311544B (zh) * 2020-01-19 2024-04-26 无锡赛默斐视科技有限公司 一种基于深度学习的地板缺陷检测方法
CN111325738B (zh) * 2020-02-28 2023-06-23 湖北工业大学 一种用于横穿孔周边裂纹的智能检测方法及系统
CN111325738A (zh) * 2020-02-28 2020-06-23 湖北工业大学 一种用于横穿孔周边裂纹的智能检测方法及系统
CN111429405A (zh) * 2020-03-04 2020-07-17 清华大学深圳国际研究生院 基于3d cnn的锡球缺陷检测方法及装置
CN111553557A (zh) * 2020-03-30 2020-08-18 徐州徐工挖掘机械有限公司 一种基于深度学习的车间产品质量评估方法
TWI791970B (zh) * 2020-04-08 2023-02-11 台達電子工業股份有限公司 瑕疵檢測方法及瑕疵檢測裝置
CN111553476A (zh) * 2020-04-30 2020-08-18 汪科道 基于记忆分值的神经网络训练方法、装置及存储介质
CN111553476B (zh) * 2020-04-30 2023-12-01 上海个元科技有限公司 基于记忆分值的神经网络训练方法、装置及存储介质
CN111583223B (zh) * 2020-05-07 2023-12-19 上海闻泰信息技术有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
CN111583223A (zh) * 2020-05-07 2020-08-25 上海闻泰信息技术有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
CN111598863B (zh) * 2020-05-13 2023-08-22 北京阿丘机器人科技有限公司 缺陷检测方法、装置、设备及可读存储介质
CN111598863A (zh) * 2020-05-13 2020-08-28 北京阿丘机器人科技有限公司 缺陷检测方法、装置、设备及可读存储介质
CN111696079A (zh) * 2020-05-15 2020-09-22 中山大学 一种基于多任务学习的表面缺陷检测方法
CN111696079B (zh) * 2020-05-15 2023-06-06 中山大学 一种基于多任务学习的表面缺陷检测方法
CN113689341A (zh) * 2020-05-18 2021-11-23 京东方科技集团股份有限公司 图像处理方法及图像处理模型的训练方法
CN113706437A (zh) * 2020-05-21 2021-11-26 国网智能科技股份有限公司 一种输电线路细粒度螺栓缺陷诊断方法及系统
CN111709452A (zh) * 2020-05-21 2020-09-25 五邑大学 酒瓶表面缺陷模型的评价方法、电子装置及存储介质
CN111709452B (zh) * 2020-05-21 2023-06-16 五邑大学 酒瓶表面缺陷模型的评价方法、电子装置及存储介质
CN113706437B (zh) * 2020-05-21 2024-03-15 国网智能科技股份有限公司 一种输电线路细粒度螺栓缺陷诊断方法及系统
CN113724128A (zh) * 2020-05-25 2021-11-30 Tcl科技集团股份有限公司 一种训练样本的扩充方法
CN113724128B (zh) * 2020-05-25 2024-03-15 Tcl科技集团股份有限公司 一种训练样本的扩充方法
CN111626960A (zh) * 2020-05-29 2020-09-04 Oppo广东移动通信有限公司 图像去雾方法、终端及计算机存储介质
CN113763305A (zh) * 2020-05-29 2021-12-07 杭州海康威视数字技术股份有限公司 标定物品缺陷的方法、装置及电子设备
CN113763305B (zh) * 2020-05-29 2023-08-04 杭州海康威视数字技术股份有限公司 标定物品缺陷的方法、装置及电子设备
CN111932489A (zh) * 2020-06-03 2020-11-13 西安电子科技大学 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端
CN111932489B (zh) * 2020-06-03 2024-02-20 西安电子科技大学 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端
CN112070712B (zh) * 2020-06-05 2024-05-03 湖北金三峡印务有限公司 基于自编码器网络的印刷缺陷检测方法
CN112070712A (zh) * 2020-06-05 2020-12-11 宁波大学 基于自编码器网络的印刷缺陷检测方法
CN111815564B (zh) * 2020-06-09 2024-03-29 浙江华睿科技股份有限公司 一种检测丝锭的方法、装置及丝锭分拣系统
CN111815564A (zh) * 2020-06-09 2020-10-23 浙江华睿科技有限公司 一种检测丝锭的方法、装置及丝锭分拣系统
CN111696092A (zh) * 2020-06-11 2020-09-22 深圳市华汉伟业科技有限公司 一种基于特征对比的缺陷检测方法及系统、存储介质
CN111696092B (zh) * 2020-06-11 2023-08-25 深圳市华汉伟业科技有限公司 一种基于特征对比的缺陷检测方法及系统、存储介质
CN111833311A (zh) * 2020-06-18 2020-10-27 安徽农业大学 基于深度学习的图像识别方法及在水稻病害识别上的应用
CN111833311B (zh) * 2020-06-18 2023-12-22 安徽农业大学 基于深度学习的图像识别方法及在水稻病害识别上的应用
CN111814850A (zh) * 2020-06-22 2020-10-23 浙江大华技术股份有限公司 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN111754486B (zh) * 2020-06-24 2023-08-15 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111754486A (zh) * 2020-06-24 2020-10-09 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111862092A (zh) * 2020-08-05 2020-10-30 复旦大学 一种基于深度学习的快递外包装缺陷检测方法及装置
CN111784692A (zh) * 2020-08-11 2020-10-16 国网内蒙古东部电力有限公司 一种电力系统中绝缘子缺陷的检测方法、装置及电子设备
CN112184648A (zh) * 2020-09-22 2021-01-05 苏州中科全象智能科技有限公司 一种基于深度学习的活塞表面缺陷检测方法及系统
CN112381755A (zh) * 2020-09-28 2021-02-19 台州学院 一种基于深度学习的输液器导管涂胶缺陷检测方法
CN112330598A (zh) * 2020-10-14 2021-02-05 浙江华睿科技有限公司 一种化纤表面僵丝缺陷检测的方法、装置及存储介质
CN112330598B (zh) * 2020-10-14 2023-07-25 浙江华睿科技股份有限公司 一种化纤表面僵丝缺陷检测的方法、装置及存储介质
CN112348787A (zh) * 2020-11-03 2021-02-09 中科创达软件股份有限公司 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置
CN112668754A (zh) * 2020-12-03 2021-04-16 国网山西省电力公司大同供电公司 一种基于多源特征信息融合的电力设备缺陷诊断方法
CN112634147A (zh) * 2020-12-09 2021-04-09 上海健康医学院 自监督学习的pet图像降噪方法、系统、装置及介质
CN112634147B (zh) * 2020-12-09 2024-03-29 上海健康医学院 自监督学习的pet图像降噪方法、系统、装置及介质
CN112669264A (zh) * 2020-12-17 2021-04-16 国网山西省电力公司运城供电公司 配网线路无人机巡检的人工智能缺陷识别方法和系统
CN112598646A (zh) * 2020-12-23 2021-04-02 山东产研鲲云人工智能研究院有限公司 电容缺陷检测方法、装置、电子设备及存储介质
CN112598646B (zh) * 2020-12-23 2024-06-11 山东产研鲲云人工智能研究院有限公司 电容缺陷检测方法、装置、电子设备及存储介质
CN112766324B (zh) * 2021-01-02 2024-02-02 西安电子科技大学 图像对抗样本检测方法、系统、存储介质、终端及应用
CN112766324A (zh) * 2021-01-02 2021-05-07 西安电子科技大学 图像对抗样本检测方法、系统、存储介质、终端及应用
CN112734827A (zh) * 2021-01-07 2021-04-30 京东鲲鹏(江苏)科技有限公司 一种目标检测方法、装置、电子设备和存储介质
CN113034432B (zh) * 2021-01-08 2023-10-27 苏州真目人工智能科技有限公司 一种产品缺陷检测方法、系统、装置及存储介质
CN113034432A (zh) * 2021-01-08 2021-06-25 苏州真目人工智能科技有限公司 一种产品缺陷检测方法、系统、装置及存储介质
CN112784835A (zh) * 2021-01-21 2021-05-11 恒安嘉新（北京）科技股份公司 圆形印章的真实性识别方法、装置、电子设备及存储介质
CN112784835B (zh) * 2021-01-21 2024-04-12 恒安嘉新（北京）科技股份公司 圆形印章的真实性识别方法、装置、电子设备及存储介质
CN112861957B (zh) * 2021-02-01 2024-05-03 陕西中良智能科技有限公司 一种油井运行状态检测方法及装置
CN112861957A (zh) * 2021-02-01 2021-05-28 陕西中良智能科技有限公司 一种油井运行状态检测方法及装置
CN112884743A (zh) * 2021-02-22 2021-06-01 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112884743B (zh) * 2021-02-22 2024-03-05 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112967239A (zh) * 2021-02-23 2021-06-15 湖南大学 一种坡口缺陷检测方法、计算设备及可读存储介质
CN112967248B (zh) * 2021-03-03 2024-01-23 北京百度网讯科技有限公司 生成缺陷图像样本的方法、装置、介质及程序产品
CN112967248A (zh) * 2021-03-03 2021-06-15 北京百度网讯科技有限公司 生成缺陷图像样本的方法、装置、介质及程序产品
CN113077454A (zh) * 2021-04-19 2021-07-06 凌云光技术股份有限公司 一种图像缺陷拟合方法、系统和存储介质
CN113313689A (zh) * 2021-05-28 2021-08-27 长安大学 一种路面构造深度测量方法、系统、设备及存储介质
CN113298158B (zh) * 2021-05-28 2024-05-28 平安科技（深圳）有限公司 数据检测方法、装置、设备及存储介质
CN113298158A (zh) * 2021-05-28 2021-08-24 平安科技（深圳）有限公司 数据检测方法、装置、设备及存储介质
CN113379689A (zh) * 2021-05-31 2021-09-10 东南大学 一种基于深度学习的缺陷检测算法
CN113379689B (zh) * 2021-05-31 2024-05-10 东南大学 一种基于深度学习的缺陷检测算法
CN113393431A (zh) * 2021-06-09 2021-09-14 东方电气集团科学技术研究院有限公司 一种用于风机叶片缺陷检测的热成像图像增强训练方法和装置
CN113378957B (zh) * 2021-06-23 2023-04-25 广东工业大学 一种自适应统计模型训练方法、焊点缺陷检测方法及系统
CN113378957A (zh) * 2021-06-23 2021-09-10 广东工业大学 一种自适应统计模型训练方法、焊点缺陷检测方法及系统
CN113379719A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 道路缺陷检测方法、装置、电子设备和存储介质
CN113706464B (zh) * 2021-07-22 2023-09-12 西安交通大学 一种印刷品外观质量检测方法及系统
CN113706464A (zh) * 2021-07-22 2021-11-26 西安交通大学 一种印刷品外观质量检测方法及系统
CN113592830B (zh) * 2021-08-04 2024-05-03 航天信息股份有限公司 一种图像缺陷检测方法、装置及存储介质
CN113592830A (zh) * 2021-08-04 2021-11-02 航天信息股份有限公司 一种图像缺陷检测方法、装置及存储介质
CN113592024B (zh) * 2021-08-12 2024-05-28 燕山大学 冷轧铜带表面缺陷识别模型训练方法及识别方法、系统
CN113592024A (zh) * 2021-08-12 2021-11-02 燕山大学 冷轧铜带表面缺陷识别模型训练方法及识别方法、系统
CN113674285A (zh) * 2021-08-25 2021-11-19 长沙矿山研究院有限责任公司 一种电解/电积镍板智能剪切方法
CN113888461A (zh) * 2021-08-26 2022-01-04 华能大理风力发电有限公司 基于深度学习的小五金件缺陷检测方法、系统及设备
CN113781585B (zh) * 2021-08-27 2024-02-06 华中科技大学 一种增材制造零件表面缺陷在线检测方法及系统
CN113781585A (zh) * 2021-08-27 2021-12-10 华中科技大学 一种增材制造零件表面缺陷在线检测方法及系统
CN113781424B (zh) * 2021-09-03 2024-02-27 苏州凌云光工业智能技术有限公司 一种表面缺陷检测方法、装置及设备
CN113781424A (zh) * 2021-09-03 2021-12-10 苏州凌云光工业智能技术有限公司 一种表面缺陷检测方法、装置及设备
CN113888477A (zh) * 2021-09-13 2022-01-04 浙江大学 网络模型的训练方法、金属表面缺陷检测方法及电子设备
CN113808104A (zh) * 2021-09-16 2021-12-17 西安交通大学 一种基于分块的金属表面缺陷检测方法及系统
CN113808104B (zh) * 2021-09-16 2024-04-02 西安交通大学 一种基于分块的金属表面缺陷检测方法及系统
CN113902695A (zh) * 2021-09-29 2022-01-07 西安工程大学 一种针对色织物裁片缺陷区域的检测方法
CN113688947B (zh) * 2021-10-11 2024-03-15 国网智能科技股份有限公司 一种配电设备红外图像故障识别方法及系统
CN113688947A (zh) * 2021-10-11 2021-11-23 国网智能科技股份有限公司 一种配电设备红外图像故障识别方法及系统
CN114140388A (zh) * 2021-10-28 2022-03-04 国网上海市电力公司 工业产品的表面缺陷检测方法及装置
CN114065874A (zh) * 2021-11-30 2022-02-18 河北省科学院应用数学研究所 医药玻璃瓶外观缺陷检测模型训练方法、装置及终端设备
CN114240929A (zh) * 2021-12-28 2022-03-25 季华实验室 一种色差检测方法及装置
CN114418980A (zh) * 2022-01-10 2022-04-29 惠州中科先进制造有限公司 印刷线路板缺陷识别的深度学习方法、系统、设备及介质
CN114463296B (zh) * 2022-01-24 2024-04-16 武汉大学 基于单样本学习的轻量化部件缺陷检测方法
CN114463296A (zh) * 2022-01-24 2022-05-10 武汉大学 基于单样本学习的轻量化部件缺陷检测方法
CN114548250A (zh) * 2022-02-15 2022-05-27 深圳闪回科技有限公司 一种基于数据分析的手机外观检测方法及装置
CN114529529A (zh) * 2022-02-21 2022-05-24 清华大学 基于图像仿真增强的花边布匹表面缺陷检测方法及装置
CN114529529B (zh) * 2022-02-21 2024-04-09 清华大学 基于图像仿真增强的花边布匹表面缺陷检测方法及装置
CN114581386A (zh) * 2022-02-23 2022-06-03 清华大学 基于时空数据的缺陷检测方法及装置
CN114581386B (zh) * 2022-02-23 2024-04-12 清华大学 基于时空数据的缺陷检测方法及装置
CN114862772A (zh) * 2022-04-21 2022-08-05 南京大学 一种基于深度学习特征相关性的无监督缺陷检测方法
CN115147353A (zh) * 2022-05-25 2022-10-04 腾讯科技（深圳）有限公司 缺陷检测模型的训练方法、装置、设备、介质及程序产品
CN115115921A (zh) * 2022-07-05 2022-09-27 广东利扬芯片测试股份有限公司 基于残差网路的晶圆缺陷模式识别方法
CN117036226A (zh) * 2022-08-24 2023-11-10 腾讯科技（深圳）有限公司 基于人工智能的物品缺陷检测方法、装置及可读存储介质
CN115564773A (zh) * 2022-11-18 2023-01-03 南方电网数字电网研究院有限公司 基于元学习的小样本图像缺陷检测方法、装置和设备
CN115564773B (zh) * 2022-11-18 2023-04-18 南方电网数字电网研究院有限公司 基于元学习的小样本图像缺陷检测方法、装置和设备
CN117274148A (zh) * 2022-12-05 2023-12-22 魅杰光电科技(上海)有限公司 基于深度学习的无监督晶圆缺陷检测方法
WO2024130858A1 (zh) * 2022-12-22 2024-06-27 上海媒智科技有限公司 一种基于深度学习的橡胶管缺陷检测方法和系统
CN116091500A (zh) * 2023-04-07 2023-05-09 成都数之联科技股份有限公司 扩散板缺陷检测方法、模型训练方法、装置、设备和介质
CN116091500B (zh) * 2023-04-07 2023-07-04 成都数之联科技股份有限公司 扩散板缺陷检测方法、模型训练方法、装置、设备和介质
CN116596875A (zh) * 2023-05-11 2023-08-15 哈尔滨工业大学重庆研究院 晶圆缺陷检测方法、装置、电子设备及存储介质
CN116596875B (zh) * 2023-05-11 2023-12-22 哈尔滨工业大学重庆研究院 晶圆缺陷检测方法、装置、电子设备及存储介质
CN116912237A (zh) * 2023-09-08 2023-10-20 江西拓荒者科技有限公司 一种基于图像识别的印制线路板缺陷检测方法及系统
CN116912237B (zh) * 2023-09-08 2023-12-12 江西麦可罗泰克检测技术有限公司 一种基于图像识别的印制线路板缺陷检测方法及系统
CN117132599B (zh) * 2023-10-26 2024-04-09 深圳市利器精工科技有限公司 线路板缺陷检测方法、装置、电子设备及存储介质
CN117132599A (zh) * 2023-10-26 2023-11-28 深圳市利器精工科技有限公司 线路板缺陷检测方法、装置、电子设备及存储介质
CN117392485A (zh) * 2023-12-07 2024-01-12 之江实验室 图像生成模型训练方法、业务执行方法、装置及介质
CN117392485B (zh) * 2023-12-07 2024-02-23 之江实验室 图像生成模型训练方法、业务执行方法、装置及介质
CN117541908B (zh) * 2024-01-10 2024-04-05 华芯程(杭州)科技有限公司 光学检测图像预测模型的训练方法、装置及预测方法
CN117541908A (zh) * 2024-01-10 2024-02-09 华芯程(杭州)科技有限公司 光学检测图像预测模型的训练方法、装置及预测方法
CN117710365B (zh) * 2024-02-02 2024-05-03 中国电建集团华东勘测设计研究院有限公司 缺陷管道图像的处理方法、装置及电子设备
CN117710365A (zh) * 2024-02-02 2024-03-15 中国电建集团华东勘测设计研究院有限公司 缺陷管道图像的处理方法、装置及电子设备
CN117876263A (zh) * 2024-03-13 2024-04-12 之江实验室 一种天文图像处理方法及装置
CN117876263B (zh) * 2024-03-13 2024-05-17 之江实验室 一种天文图像处理方法及装置
CN118212196A (zh) * 2024-03-18 2024-06-18 四川数聚智造科技有限公司 一种基于图像修复的工业缺陷检测方法

Also Published As

Publication number Publication date
CN110619618A (zh) 2019-12-27
CN110619618B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
WO2019233166A1 (zh) 一种表面缺陷检测方法、装置及电子设备
US20210374940A1 (en) Product defect detection method, device and system
WO2022052367A1 (zh) 一种用于遥感图像分类的神经网络优化方法、终端以及存储介质
US11055571B2 (en) Information processing device, recording medium recording information processing program, and information processing method
CN109815770B (zh) 二维码检测方法、装置及系统
CN107784288B (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
US20200090028A1 (en) Neural network-based classification method and classification device thereof
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN110263819A (zh) 一种用于贝类图像的目标检测方法及装置
CN112766279B (zh) 一种基于联合注意力机制的图像特征提取方法
CN106529447A (zh) 一种小样本人脸识别方法
CN113269257A (zh) 一种图像分类方法、装置、终端设备及存储介质
CN111680755B (zh) 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
KR102402194B1 (ko) 딥러닝 기반 엔드-투-엔드 o-ring 결함 검출 방법
CN109859199B (zh) 一种sd-oct图像的淡水无核珍珠质量检测的方法
WO2022134354A1 (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN113284122A (zh) 基于深度学习的卷纸包装缺陷检测方法、装置及存储介质
CN114639102A (zh) 基于关键点与尺寸回归的细胞分割方法和装置
KR102178238B1 (ko) 회전 커널을 이용한 머신러닝 기반 결함 분류 장치 및 방법
CN115620083B (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN116977265A (zh) 缺陷检测模型的训练方法、装置、计算机设备和存储介质
CN111462062B (zh) 一种马赛克瓷砖缺陷检测方法及装置
TWI770817B (zh) 瑕疵檢測方法、電子裝置及存儲介質

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19814004

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19814004

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19814004

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19814004

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 16/06/2021)