WO2022129562A1 - Verfahren zur klassifizierung von bildern und verfahren zur optischen prüfung eines objekts - Google Patents

Verfahren zur klassifizierung von bildern und verfahren zur optischen prüfung eines objekts Download PDF

Info

Publication number
WO2022129562A1
WO2022129562A1 PCT/EP2021/086565 EP2021086565W WO2022129562A1 WO 2022129562 A1 WO2022129562 A1 WO 2022129562A1 EP 2021086565 W EP2021086565 W EP 2021086565W WO 2022129562 A1 WO2022129562 A1 WO 2022129562A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
good
bad
neural network
Prior art date
Application number
PCT/EP2021/086565
Other languages
English (en)
French (fr)
Inventor
Phillip VASSEN
Axel KORT
Original Assignee
Fresenius Medical Care Deutschland Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fresenius Medical Care Deutschland Gmbh filed Critical Fresenius Medical Care Deutschland Gmbh
Priority to EP21840880.5A priority Critical patent/EP4264541A1/de
Priority to JP2023535708A priority patent/JP2023554337A/ja
Priority to MX2023007166A priority patent/MX2023007166A/es
Priority to CN202180084167.9A priority patent/CN116601665A/zh
Priority to US18/039,493 priority patent/US20240096059A1/en
Publication of WO2022129562A1 publication Critical patent/WO2022129562A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present invention relates to a method for classifying images and a method for optically inspecting an object using the method for classifying images.
  • a final inspection as part of a quality control, which includes a visual inspection or optical final inspection may contain, subjected.
  • a visual final inspection depending on the condition of the object determined by the visual inspection, it is determined whether the respective inspected object is in a condition in which it can be delivered to the customer, or whether the product still needs to be improved before delivery or the component or the object are to be made.
  • Such a final optical inspection can be used to check, for example, whether the object or finally assembled device or component of the device is labeled correctly according to a specification, is configured according to customer-specific requirements, and whether the object has one or more optical defects.
  • a surface or surfaces of the object can be checked to see whether they have dents, scratches or stains, which may have been insufficiently removed during a final cleaning of the object.
  • the check can be carried out by human inspectors using defined evaluation criteria. In this process, however, minor defects can be overlooked by the human inspectors, which means that the quality of the delivered products or objects, especially the finally assembled devices, can fluctuate.
  • the manual control is a task that exhausts the concentration and eyesight of the inspectors.
  • optical inspection systems with a camera for recording an image of the object to be inspected and a freely available open source software product whose parameters can be individually adapted to the respective object to be inspected can also be used.
  • the parameters for the resolution and enlargement of the image can be set in the camera and/or software settings, and the fixed points or features to be found by the software that are characteristic of the features of the object to be checked can be set in the software settings.
  • optical test systems are not suitable.
  • a method for classifying images, in which the images are classified according to good images and bad images, has the following steps according to one embodiment:
  • each bad image of at least a subset of the plurality of bad images of the training data corresponds to a respective good image of at least a subset of the plurality of good images of the training data into which at least one image defect is introduced, and wherein the artificial neural network is constructed using respective pairs of a respective good image from the subset of the plurality of good images and a respective bad image from the subset of the plurality of bad images, wherein a respective bad image corresponds to the good image associated with the same pair in which the at least one image error is inserted, tr is ained.
  • each bad image from at least one subset of the plurality of bad images in the training data corresponds to a respective good image from at least one subset of the plurality of good images in the training data, in which at least one image error is inserted.
  • each bad image of the subset of the plurality of bad images of the training data is generated by a good image of the subset of the plurality of good images of the training data, in which the at least one image error is inserted.
  • any number of bad images can be provided for the training data in this way. This is particularly advantageous in a case where a small number of bad images are available, for example, in a case where the images to be classified are images of an object such as a medical device or a component thereof and to be classified Pictures an optical final inspection is to be carried out before the object is delivered to a customer, since the proportion of optically faultless objects intended for optical final inspection is considerably larger than the proportion of optically faulty objects intended for optical final inspection. Furthermore, the possibility of providing any number of bad images for the training data is advantageous in a case in which potential optical anomalies of the objects cannot be covered by corresponding training data or the variety of possible errors is very large.
  • the at least one image error is preferably selected in such a way that it corresponds to or is at least similar to an image error that is actually to be expected and which occurs in an image of the object as a result of an optical defect of an object to be checked.
  • the plurality of bad images can also contain bad images that were not generated from good images.
  • the large number of bad images of the training data can actually contain bad images that were created directly by camera recordings and were not generated.
  • the proportion of bad images generated or the subset of the large number of bad images can make up the majority of the large number of bad images of the training data, preferably over 60%, more preferably over 70% or 80%.
  • the method of classifying images may have the following steps identify: acquiring image data of an image, and classifying the image as a good image or a bad image, the classification being performed using an artificial neural network trained by supervised learning using training data from good images and bad images, each bad image of the training data corresponds to a respective good image of the training data into which at least one image defect is introduced, and the artificial neural network using respective pairs of a respective good image and a respective bad image, each bad image belonging to the same pair associated good image, in which the at least one image error is inserted, is trained.
  • the result of the classification can be output by means of an output device, for example a display device.
  • an output device for example a display device.
  • Attention Heatmaps the decisive areas can be highlighted by optically superimposing a colour-coded calculation result over the original image
  • the artificial neural network can be trained by a respective adaptation of parameters of the artificial neural network after a respective input of the image data from a respective pair of a respective good image and a respective bad image. This advantageously allows the artificial neural network to distinguish the typical flaws of a bad image from typical features of a good image, which is hardly possible when using a different approach to input training data.
  • the at least one image error is a randomized pixel error, a line of pixel errors or an area error, and/or by distorting, blurring or deforming an image section of the good image, by an affine image transformation of the good image, by augmented spots, circular, elliptical or rectangular shapes, which can also be completely or only partially filled in color or in shades of gray.
  • the artificial neural network is preferably designed as a convolutional neural network, which has an input layer, an output layer and a number of hidden layers arranged in between, with the training of the artificial neural network a combination of a regularization in all hidden layers with a loss function takes place.
  • an output from the last layer of the neural network can be converted into a probability distribution by a softmax function, and the classification can be carried out on the basis of the probability distribution.
  • the artificial neural network can be trained using a self-adaptive optimization method, preferably a rectified adam method.
  • a method, in particular a computer-implemented method, for the optical inspection of an object has the following steps:
  • capturing image data of an image includes capturing image data of the at least one image of the object
  • the method for optically inspecting an object can be used, for example, as part of an optical final inspection, in order to inspect an object produced by a manufacturing process, such as a medical device, prior to delivery to a customer with regard to optical defects on a surface of the to inspect the Item and deliver the Item to the Customer only if the process determines that the Item is free of defects and otherwise arrange for the Item to be cleaned or for the Item to be touched up.
  • a manufacturing process such as a medical device
  • the method further includes the following steps:
  • the method also has a step of displaying, if it is determined that the object is faulty, by means of an output device designed as a display device, the at least one image of the object and a mask, which is based on an output of the artificial neural network is generated, wherein the mask overlays the at least one image of the object and indicates an error of the object and its position output by the artificial neural network.
  • an inspector can use the information displayed by the mask to visually inspect the object in the next step and decide whether the object or the manufactured machine can be shipped, whether the object has to go through the cleaning process again or possibly be put on hold for further improvements becomes.
  • capturing image data of at least one image of the object includes capturing image data of a plurality of images of the object at a plurality of different angles relative to the object, wherein
  • the object is determined to be error-free if each of the plurality of images of the object is classified as a good image, or
  • the acquisition of image data from a large number of images of the object at a large number of different angles relative to the object can have the following steps:
  • capturing image data from a large number of images of the object at a large number of different angles relative to the object can have the following steps:
  • the image capturing device is designed to be movable instead of the rotatable platform.
  • the image capturing device can be moved around the object via a rail system, for example.
  • the image acquisition device is moved around the object by a drive device.
  • the artificial neural network is preferably trained using training data from a large number of good images and a large number of bad images, the good images each being images of at least one section of a medical device, preferably a dialysis machine.
  • the at least one image defect corresponds to an optical defect of a surface of the object, preferably a scratch or a dent in the surface of the object or a spot on the surface of the object, or at least similar to it.
  • the images can also be divided into smaller sections and the sections can be calculated in parallel.
  • the same architecture of the neural network can be used here, with the weighting of the nodes being adapted depending on the examined object section.
  • FIG. 1 schematically shows a device for classifying images and, if necessary, for optically inspecting an object according to one embodiment
  • 2A-C schematically show a good image of an object, a bad image of another object and a difference image generated from the good image and the bad image
  • Figures 3A-C schematically show a good image of an object, a bad image of the object and a difference image generated from the good image and the bad image.
  • FIG. 4 shows a flowchart to illustrate a method for classifying images according to an embodiment
  • FIG. 5 shows a flow chart to illustrate a method for the optical inspection of an object.
  • the device 100 for classifying images and, if necessary, for the optical inspection of an object 10 has a chamber 106 or an inspection space 106 which is partially or completely shielded from extraneous light.
  • a rotatable platform 101 is provided in test room 106, on which an object 10 to be tested, for example a medical device such as a dialysis machine, is arranged for testing.
  • an image capturing device 102 can also be moved or rotated around the object 10 .
  • the image capture device 102 such as one or more single image cameras, for example four area cameras, or a video camera is provided in the chamber 106 or the test room 106, which is set up to capture images of the object 10, and in one embodiment high-resolution images , for example with a size of 5496 x 3672 pixels.
  • an illumination device 108 is also provided within the chamber 106 or the test space 106, which is set up to illuminate the object 10, and for example an LED panel or several LEDs panels.
  • a drive device 107 for rotating the rotatable platform 101 and the image acquisition device 102 are connected to a control device 103, which is set up to control the inspection process by actuating the drive device 107 to rotate the rotatable platform 101 and by actuating the image acquisition device 102 to rotate during to control the rotation of the platform 101 to capture a series of images of the object 10 placed on the platform 101 .
  • This configuration makes it possible to capture a large number of images of the object to be inspected 10 from different perspectives using the image acquisition device 102 during the inspection process, and thus preferably to capture images of the entire exposed surface of the object 10 in order to capture the entire exposed surface of an optical to be able to undergo an inspection for visual defects.
  • the control device 103 is also connected to a memory device 104 and a display device 105 .
  • the images captured by the image capturing device 102 or the corresponding image data can be stored in the memory device 104 .
  • a program for classifying the images of the object 10 captured by the image capturing device 102 is stored in the memory device 104 and can be executed by the control device 103 .
  • the control device 103 and/or the storage device 104 can be arranged locally or remotely or can be distributed.
  • a cloud-based architecture can be used.
  • the program is set up to classify the images captured by the image capturing device 102 as good images GB or bad images SB.
  • the program has a software component designed as an artificial neural network.
  • the artificial neural network is trained by supervised learning using training data having a plurality of good images GB and a plurality of bad images SB.
  • the plurality of good images GB are formed by images actually captured from different angles of surfaces of an object 10 that does not have optical defects such as dents, scratches or stains that may have been insufficiently removed during the final cleaning and/or correct according to a Labeled by default and/or configured according to customer-specific wishes.
  • a respective bad image SB of at least one subset of the plurality of bad images SB of the training data corresponds to a respective good image GB of at least one subset of the plurality of good images GB of the training data, in which at least one image error 11 was artificially inserted.
  • the at least one image error 11 is preferably selected in such a way that it corresponds to or is at least similar to an image error or optical error that is actually to be expected and which occurs in the image of the object 10 as a result of an optical defect in the object 10 .
  • the artificial neural network is or is trained in particular using respective pairs formed from a respective good image GB from the subset of the plurality of good images GB and a respective bad image SB from the subset of bad images SB, where a respective bad image SB corresponds to the good image GB belonging to the same pair, in which the at least one image error 11 is inserted.
  • the at least one image error 11 can, for example, be caused by randomized pixel errors, lines of pixel errors or area errors, and/or by distorting, blurring or deforming at least one image section of the good image GB and/or by using affine image transformations, by augmented spots, circular, Elliptical or rectangular shapes, which are preferably at least partially filled with color or shades of gray, can be generated from good images GB or from the corresponding image data. Any number of bad images SB can be generated in this way, as a result of which a large number of optical errors can be simulated.
  • the artificial neural network is trained by a respective adaptation of parameters of the artificial neural network after a respective input of the image data from a respective pair of a respective good image GB and a respective bad image SB.
  • the artificial neural network can be designed, for example, as a flat (“shallow”) convolutional neural network that has an input layer, an output layer and several hidden layers provided in between, preferably a total of at least three hidden, preferably six layers, and two hidden classification layers for preprocessing the output , having.
  • a flat (“shallow”) convolutional neural network that has an input layer, an output layer and several hidden layers provided in between, preferably a total of at least three hidden, preferably six layers, and two hidden classification layers for preprocessing the output , having.
  • the training algorithm used to train the artificial neural network and in particular the loss function used therein, is adapted to the particular choice of training data, namely the pairs of good images GB of the subset of the large number of good images GB and bad images SB Subset of the plurality of bad images SB, adjusted.
  • this problem is solved by a combination of regularization in all network layers and the loss function, a final, normalizing softmax layer and a modern self-adaptive optimization method, for example a “rectified adam” method.
  • the filter depth of the convolutional layers is reduced overall, starting with a filter depth of 50 and the subsequent depths being 40, 30, 20, 20, 10, for example.
  • the L2 norm for example, can be used as a regularization function as a penalty term on the activation signals.
  • a pooling for example by a MaxPooling layer with a 2x2 kernel.
  • the subsequent dense layers can be activated by the sigmoid function.
  • the Softmax activation function is used for the output layer itself.
  • the loss function is mapped by a so-called categorical cross-entropy in order to finally make the assignment to a good or bad picture via the probability distribution.
  • the classification of the training data is preferably carried out using error feedback, in which the traced neuron activity, from which the external (human) teacher can conclude the cause of the "bad image” classification made by the artificial neural network, in which corresponding image can be visualized on the display device 105.
  • the small number of hidden layers is sufficient to detect small, local optical errors, which enables the pixel-precise processing of high-resolution image material with cheap resources and in a few seconds.
  • 2A shows a good image GB of an object 10 or a surface of the object 10 actually captured by the image capture device 102, and FIG minimal actual optical error 12, which is caused, for example, by a dent, a scratch or a stain, the good image GB and the bad image SB2 being recorded with minimally different positioning of the object 10 and the other object 10.
  • 2C schematically shows an image DB2 which was generated by forming the difference between the intensities of the good image GB and the bad image SB2.
  • the representation of the object 10 in dashed form illustrates that at least parts of the features of the object 10, optionally with a changed color, can be taken from the difference image DB2.
  • the image features of the minimum actual optical error 12 contained in the bad image SB2 are almost completely lost in the differential image DB2 when the artificial neural network carries out the weighting of the feature extraction, since there are too many differences between the two different image recordings. Accordingly, in such a case, the features relevant to an optical error cannot be significantly trained and weighted.
  • Fig. 3A shows a good image GB of an object 10 actually captured by the image capture device 102, which has no optical error
  • Fig. 3B shows a bad image SB generated based on the good image GB, which is created by inserting a minimal image error 11 into the good picture GB was generated
  • 3C shows an image which was generated by forming the difference between the intensities of the good image GB and the bad image SB.
  • the image error 11 is clearly recognizable in the image DB generated by subtraction, so that the features relevant to an optical error can be significantly trained and weighted as a result.
  • control device 103 is set up, after the acquisition of image data of an image by the image acquisition device 102, the acquired image by means of the program stored in the memory device 104 for classifying the images acquired by the image acquisition device 102 as good To classify image or bad image, and to output the result of the classification on the display device 105.
  • a program for the optical inspection of an object is also stored in the memory device 104 , which program uses the program for classifying the images of the object 10 captured by the image capture device 102 .
  • Control device 103 is set up to use the program for checking the object stored in memory device 104 to cause image capture device 102 to capture image data of at least one image of object 10, which uses the program to classify the at least one image of object 10 from to classify the images captured by the image capturing device 102 as a good image or as a bad image, to determine that the object 10 is free of defects if the at least one image of the object 10 is classified as a good image, or to determine that the object is defective , if the at least one image of the object 10 is classified as a bad image.
  • the control device 103 is also set up to use the program stored in the memory device 104 for the visual inspection of an object to cause the display device 105 to output information about the fact that the object 10 is free of defects if it is determined that the object 10 is free of defects, or to output information that the object is defective when it is determined that the object is defective.
  • control device 103 is set up to use the program stored in the memory device 104 for the visual inspection of an object to cause the display device 105 to display the at least one image of the object 10 and a mask, which is generated based on an output of the artificial neural network , wherein the mask overlays the at least one image of the object and indicates an error of the object 10 and its position output by the artificial neural network.
  • FIG. 4 shows a flowchart to illustrate a method according to an embodiment for classifying images into good images and bad images.
  • Image data of an image are captured in step S40, wherein the image data can be captured, for example, by means of the image capturing device 102 and can be image data of an image of the object 10.
  • step S41 the image is classified as a good image GB or a bad image SB2 using an artificial neural network described above obtained by supervised learning using training data from a plurality of good images GB and a plurality of bad images images SB is trained, and each bad image SB of at least one subset of the plurality of bad images SB of the training data corresponds to a respective good image GB of at least one subset of the plurality of good images GB of the training data, in which at least one image error 11 is inserted.
  • the artificial neural network using respective pairs of a respective good image GB from the subset of the plurality of good images GB and a respective bad image SB from the subset of the plurality of bad images SB, with a respective bad image SB of the same Pair of associated good image GB, in which the at least one image defect 11 is inserted corresponds to be trained.
  • the artificial neural network can be trained by a respective adjustment of parameters of the artificial neural network after a respective input of the image data from a respective pair of a respective good image GB and a respective bad image SB.
  • the at least one image error 11 can be a randomized pixel error, a line of pixel errors or an area error, and/or by distorting, blurring or deforming an image section of the good image GB, by an affine image transformation of the good image GB, by augmented spots, circular , elliptical or rectangular shapes, which are preferably at least partially colored or filled in shades of gray, are or can be created.
  • the artificial neural network can be embodied as a convolutional neural network, which has an input layer, an output layer and a number of hidden layers arranged in between, a combination of regularization in all hidden layers with a loss function taking place when the artificial neural network is trained.
  • the artificial neural network can be set up to convert an output of the last layer of the artificial neural network into a probability distribution using a softmax function, with the classification taking place on the basis of the probability distribution.
  • the artificial neural network can be trained using a self-adaptive optimization method, preferably a rectified adam method.
  • FIG. 5 shows a flowchart to illustrate a method according to an embodiment for the optical inspection of an object.
  • step S50 image data of at least one image of object 10 is captured, for example using image capture device 102.
  • step S51 the at least one image of the object 10 is then classified as a good image or as a bad image using the method described with reference to FIG Object 10 includes.
  • step S52 it is determined that the object 10 is flawless if the at least one image of the object 10 is classified as a good image in step S51, or it is determined that the object 10 is flawed if the at least one image of the object 10 in step S51 S51 is classified as a bad picture.
  • step S53 information that the object 10 is free of defects is output, for example by means of the display device 105, if it is determined in step S52 that the object 10 is free of defects, or information is output that the object 10 is defective , when it is determined in step S52 that the object 10 is defective.
  • step S54 if it is determined in step S52 that the object 10 is defective, the display device 105 displays the at least one image of the object 10 and a mask, which is generated based on an output of the artificial neural network, the mask which superimposes at least one image of the object 10 and displays an error of the object 10 and its position output from the artificial neural network.
  • Capturing image data of at least one image of the object 10 may include capturing image data of a plurality of images of the object 10 at a plurality of different angles relative to the object 10, wherein in step S52 it is determined that the object 10 is defect-free if each of the plurality of images of the object 10 is classified as a good image in step S51, or the object 10 is determined to be defective in step S52 when at least one of the plurality of images of the object 10 is classified as a bad image in step S51.
  • the acquisition of image data from a large number of images of the object 10 at a large number of different angles relative to the object 10 can include arranging the object 10 on the rotatable platform 101, controlling the drive device 107 of the rotatable platform 101, by means of the Control device 103 to rotate the rotatable platform 101 and capturing, by means of the image acquisition device 102, the image data of the plurality of images of the object 10 at the plurality of different angles relative to the object 10 while the rotatable platform 101 is driven by the drive device 107 is rotated.
  • capturing image data of a plurality of images of object 10 at a plurality of different angles relative to object 10 can include arranging object 10 on a platform, controlling a drive device of an image capturing device, and rotating the image capturing device around the object 10 to move, and a detection by means of An image capture device having image data of the plurality of images of the object 10 at the plurality of different angles relative to the object as the image capture device is moved about the object 10 by the drive means.
  • the artificial neural network can be trained using training data from good images GB and bad images SB, the good images GB being images of at least one section of a medical device, preferably a dialysis machine.
  • the at least one image defect 11 can correspond to an optical defect of a surface of object 10, preferably a scratch or dent in the surface of object 10 or a stain on the surface of object 10.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

Ein Verfahren zur Klassifizierung von Bildern, bei dem die Bilder nach guten Bildern und schlechten Bildern klassifiziert werden, weist die folgenden Schritte auf: - Erfassen von Bilddaten eines Bildes, und - Klassifizieren des Bildes als gutes Bild (GB) oder als schlechtes Bild (SB, SB2), wobei die Klassifizierung unter Verwendung eines künstlichen neuronalen Netzes erfolgt, das durch überwachtes Lernen unter Verwendung von Trainingsdaten aus einer Vielzahl von guten Bildern (GB) und einer Vielzahl von schlechten Bildern (SB) trainiert ist, wobei jedes schlechte Bild (SB) von zumindest einer Teilmenge der Vielzahl von schlechten Bildern (SB) der Trainingsdaten einem jeweiligen guten Bild (GB) von zumindest einer Teilmenge der Vielzahl von guten Bildern (GB) der Trainingsdaten entspricht, in welches zumindest ein Bildfehler (11) eingefügt ist, und wobei das künstliche neuronale Netz unter Verwendung von jeweiligen Paaren aus einem jeweiligen guten Bild (GB) aus der Teilmenge der Vielzahl von guten Bildern (GB) und einem jeweiligen schlechten Bild (SB) aus der Teilmenge der Vielzahl von schlechten Bildern (SB), wobei ein jeweiliges schlechtes Bild (SB) dem demselben Paar zugehörigen guten Bild (GB), in welches der zumindest eine Bildfehler (11) eingefügt ist, entspricht, trainiert ist. Durch das erfindungsgemäße Verfahren ist es möglich insbesondere kleine Fehler (fehlerhafte Flächen ab 1 Pixel) auf großen Flächen zu identifizieren.

Description

Verfahren zur Klassifizierung von Bildern und Verfahren zur optischen Prüfung eines Objekts
Die vorliegende Erfindung betrifft ein Verfahren zur Klassifizierung von Bildern und ein Verfahren zur optischen Prüfung eines Objekts, bei dem das Verfahren zur Klassifizierung von Bildern verwendet wird.
Vor einer Auslieferung an einen Kunden werden Produkte bzw. Objekte, wie etwa medizinische Geräte und/oder Komponenten bzw. Objekte dieser Produkte, die unter Durchführung eines Fertigungsprozesses hergestellt wurden, typischerweise im Rahmen einer Qualitätskontrolle einer Endabnahme, welche eine optische Prüfung bzw. optische Endabnahme enthalten kann, unterzogen. Bei einer derartigen optischen Endabnahme wird in Abhängigkeit von der durch die optische Prüfung festgestellten Beschaffenheit des Objekts bestimmt, ob das jeweilige geprüfte Objekt in einem Zustand ist, in dem es an den Kunden ausgeliefert werden kann, oder ob vor der Auslieferung noch Nachbesserungen an dem Produkt bzw. der Komponente bzw. dem Objekt vorzunehmen sind.
Bei einer solchen optischen Endabnahme kann beispielsweise geprüft werden, ob das Objekt bzw. endmontierte Gerät bzw. die Komponente des Geräts korrekt gemäß einer Vorgabe beschriftet bzw. gelabelt ist, gemäß kundenspezifischen Wünschen konfiguriert ist, und ob das Objekt einen oder mehrere optische Mängel aufweist. Im Rahmen der Prüfung, ob das Objekt optische Mängel aufweist, kann eine Oberfläche bzw. können Oberflächen des Objekts dahingehend geprüft werden, ob diese Dellen, Kratzer oder Flecken, welche eventuell bei einer finalen Reinigung des Objekts unzureichend entfernt wurden, aufweisen. Hierbei kann die Prüfung durch menschliche Kontrolleure anhand definierter Bewertungskriterien durchgeführt werden. In diesem Prozess können von den menschlichen Kontrolleuren jedoch kleinere Mängel übersehen werden, wodurch die Qualität der ausgelieferten Produkte bzw. Objekte, insbesondere der endmontierten Geräte, schwanken kann. Zudem ist die manuelle Kontrolle eine für Konzentration und Sehkraft der Kontrolleure erschöpfende Aufgabe.
Zur Prüfung, ob das Objekt korrekt gemäß einer Vorgabe beschriftet bzw. gelabelt ist und/oder zur Prüfung, ob das Objekt gemäß kundenspezifischen Wünschen konfiguriert ist, können auch bekannte optische Prüfsysteme mit einer Kamera zur Aufnahme eines Bildes des zu prüfenden Objekts und einem frei erhältlichen Open-Source-Software- Produkt, dessen Parameter an das jeweilige zu prüfende Objekt individuell angepasst werden können, verwendet werden. Hierbei können in den Kamera- und/oder Softwareeinstellungen beispielsweise die Parameter für die Auflösung und Vergrößerung des Bildes, sowie in den Softwareeinstellungen die von der Software aufzufindenden Fixpunkte oder Merkmale, die charakteristisch für die zu überprüfenden Merkmale des Objekts sind, eingestellt werden.
Zur Prüfung auf optische Mängel, insbesondere auf geringfügige optische Mängel wie etwa auf kleine Kratzer, kleine Dellen oder kleine Flecken, auf großflächigen Objekten bzw. zur Erkennung dieser Defekte in entsprechenden Bildern der Objekte, insbesondere zur Erkennung von Kleinstanomalien in diesen Bildern, sind derartige bekannte optische Prüfsysteme jedoch nicht geeignet.
Im Rahmen des maschinellen Lernens gibt es Ansätze zur Anomalie-Erkennung in Bildern unter Verwendung des Deep Learning, bei denen klein aufgelöste Bilder mit wenig komplexen Mustern auf Details untersucht werden oder komplexe Muster mittlerer Auflösung auf grobe Anomalien untersucht werden. Aktuelle Modelle, welche für das Deep Learning verwendet werden, sind insbesondere am geeignetsten zur Erkennung von Merkmalen auf mittleren bis großen Pixelflächen. Jedoch ist keines dieser Modelle auf die Klassifizierung von kleinsten Anomalien in hochaufgelösten Bildern mit komplexen und vielseitigen Bildmustern ausgelegt, wie sie in Bildern von großen, nicht spiegelnden und wenig farbintensiven Oberflächen mit kleinen optischen Mängeln auftreten.
Des Weiteren gestaltet sich das Bereitstellen von „schlechten Bildern“ des Objekts zu Trainingszwecken des bei dem Deep Learning verwendeten künstlichen neuronalen Netzes, das heißt von Bildern eines Objekts, das optische Mängel aufweist, schwierig, da der Anteil von Objekten ohne optische Mängel in der Produktion erheblich größer ist. Eine zusätzliche Herausforderung ist ferner, dass eine Vielzahl potenzieller Anomalien bzw. optischer Mängel nicht durch entsprechendes Trainingsmaterial zum Trainieren des bei dem Deep Learning verwendeten künstlichen neuronalen Netzes abgedeckt werden kann. Es ist daher eine Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zur Klassifizierung von Bildern und ein verbessertes Verfahren zur optischen Prüfung eines Objekts bereitzustellen.
Diese Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Patentansprüche und der vorliegenden Beschreibung der Erfindung.
Ein Verfahren, insbesondere computerimplementiertes Verfahren, zur Klassifizierung von Bildern, bei dem die Bilder nach guten Bildern und schlechten Bildern klassifiziert werden, weist gemäß einer Ausführungsform die folgenden Schritte auf:
- Erfassen von Bilddaten eines Bildes, und
- Klassifizieren des Bildes als gutes Bild oder als schlechtes Bild, wobei die Klassifizierung unter Verwendung eines künstlichen neuronalen Netzes erfolgt, das durch überwachtes Lernen unter Verwendung von Trainingsdaten aus einer Vielzahl von guten Bildern und einer Vielzahl von schlechten Bildern trainiert ist, wobei jedes schlechte Bild von zumindest einer Teilmenge der Vielzahl von schlechten Bildern der Trainingsdaten einem jeweiligen guten Bild von zumindest einer Teilmenge der Vielzahl von guten Bilden der Trainingsdaten entspricht, in welches zumindest ein Bildfehler eingefügt ist, und wobei das künstliche neuronale Netz unter Verwendung von jeweiligen Paaren aus einem jeweiligen guten Bild aus der Teilmenge der Vielzahl von guten Bildern und einem jeweiligen schlechten Bild aus der Teilmenge der Vielzahl von schlechten Bildern, wobei ein jeweiliges schlechtes Bild dem demselben Paar zugehörigen guten Bild, in welches der zumindest eine Bildfehler eingefügt ist, entspricht, trainiert ist.
Erfindungsgemäß entspricht jedes schlechte Bild von zumindest einer Teilmenge der Vielzahl von schlechten Bildern der Trainingsdaten einem jeweiligen guten Bild von zumindest einer T eilmenge der Vielzahl von guten Bildern der T rainingsdaten, in welches zumindest ein Bildfehler eingefügt ist. Mit anderen Worten ist jedes schlechte Bild der Teilmenge der Vielzahl von schlechten Bildern der Trainingsdaten durch ein gutes Bild der Teilmenge der Vielzahl von guten Bildern der Trainingsdaten, in welches der zumindest eine Bildfehler eingefügt ist, erzeugt. Auf diese Weise können bei der herkömmlichen Erfassung von tatsächlich mittels einer Bilderfassungseinrichtung erfassten Bildern zur Bereitstellung der schlechten Bilder als Trainingsdaten potenzielle Störgrößen aus dem Umfeld bei der Bilderfassung der schlechten Bilder für die Trainingsdaten reduziert werden.
Weiterhin kann auf diese Weise eine beliebige Anzahl von schlechten Bildern für die Trainingsdaten bereitgestellt werden. Dies ist insbesondere vorteilhaft in einem Fall, in dem eine geringe Anzahl an schlechten Bildern zur Verfügung steht, beispielsweise in einem Fall, in dem die zu klassifizierenden Bilder Bilder eines Objekts wie etwa eines medizinischen Geräts oder einer Komponente davon sind, und anhand der zu klassifizierenden Bilder eine optische Endabnahme vor Auslieferung des Objekts an einen Kunden durchgeführt werden soll, da der Anteil an optisch fehlerfrei zur optischen Endabnahme vorgesehenen Objekten erheblich größer ist als der Anteil an optisch fehlerhaft zur optischen Endabnahme vorgesehenen Objekten. Weiterhin ist die Möglichkeit der Bereitstellung der beliebigen Anzahl von schlechten Bildern für die Trainingsdaten vorteilhaft in einem Fall, in dem potenzielle optische Anomalien der Objekte nicht durch entsprechende Trainingsdaten abgedeckt werden können oder die Vielfalt an möglichen Fehlem sehr groß ist.
Der zumindest eine Bildfehler ist bevorzugt derart gewählt, dass er einem tatsächlich zu erwartendem Bildfehler, welcher in Folge eines optischen Mangels eines zu prüfenden Objekts in einem Bild des Objekts auftritt, entspricht oder diesem zumindest ähnlich ist.
Die Vielzahl von schlechten Bildern kann neben der Teilmenge der Vielzahl von schlechten Bildern auch nicht aus guten Bildern erzeugte schlechte Bilder enthalten. Mit anderen Worten kann die Vielzahl der schlechten Bilder der Trainingsdaten tatsächlich schlechte Bilder, welche direkt durch Kameraaufnahmen entstanden und nicht erzeugt wurden, enthalten. Dabei kann der Anteil an erzeugten schlechten Bildern bzw. der Teilmenge der Vielzahl von schlechten Bildern den Großteil der Vielzahl der schlechten Bilder der Trainingsdaten, vorzugsweise über 60 %, noch bevorzugter über 70 % oder 80 % ausmachen.
Ebenso kann das Verfahren zur Klassifizierung von Bildern, bei dem die Bilder nach guten Bildern und schlechten Bildern klassifiziert werden, die folgenden Schritte ausweisen: Erfassen von Bilddaten eines Bildes, und Klassifizieren des Bildes als gutes Bild oder als schlechtes Bild, wobei die Klassifizierung unter Verwendung eines künstlichen neuronalen Netzes erfolgt, das durch überwachtes Lernen unter Verwendung von Trainingsdaten aus guten Bildern und schlechten Bildern trainiert ist, wobei jedes schlechte Bild der Trainingsdaten einem jeweiligen guten Bild der Trainingsdaten entspricht, in welches zumindest ein Bildfehler eingefügt ist, und wobei das künstliche neuronale Netz unter Verwendung von jeweiligen Paaren aus einem jeweiligen guten Bild und einem jeweiligen schlechten Bild, wobei ein jeweiliges schlechtes Bild dem demselben Paar zugehörigen guten Bild, in welches der zumindest eine Bildfehler eingefügt ist, entspricht, trainiert ist.
In einer Ausführungsform kann nach erfolgter Klassifizierung eine Ausgabe des Ergebnisses der Klassifizierung mittels einer Ausgabeeinrichtung, beispielsweise einer Anzeigeeinrichtung, erfolgen. Visualisiert durch sogenannte Attention Heatmaps können durch optische Überlagerung eines farblich kodierten Berechnungsergebnisses über das Originalbild die entscheidenden Bereiche hervorgehoben werden
Das künstliche neuronale Netz kann durch eine jeweilige Anpassung von Parametern des künstlichen neuronalen Netzes nach einer jeweiligen Eingabe der Bilddaten von einem jeweiligen Paar aus einem jeweiligen guten Bild und einem jeweiligen schlechten Bild trainiert sein. Dadurch wird dem künstlichen neuronalen Netz vorteilhaft ermöglicht, die typischen Fehler eines schlechten Bildes von typischen Merkmalen eines guten Bildes zu unterscheiden, was kaum möglich ist, wenn ein anderer Ansatz zur Eingabe von Trainingsdaten genutzt wird.
Gemäß einer Ausführungsform ist der zumindest eine Bildfehler ein randomisierter Pixelfehler, eine Linie von Pixelfehlem oder ein Flächenfehler, und/oder durch Verzerren, Verwischen oder Deformieren eines Bildabschnitts des guten Bildes, durch eine affine Bildtransformation des guten Bildes, durch augmentierte Flecken, kreis-, ellipsenförmige oder rechteckige Formen, welche zudem vollständig oder nur teilweise farbig oder in Graustufen gefüllt sein können, erzeugt.
Bevorzugt ist das künstliche neuronale Netz als Convolutional Neural Network ausgebildet, das eine Eingangsschicht, eine Ausgangsschicht und mehrere dazwischen angeordnete versteckte Schichten aufweist, wobei bei dem Training des künstlichen neuronalen Netzes eine Kombination einer Regularisierung in allen versteckten Schichten mit einer Verlustfunktion erfolgt.
Dabei kann eine Ausgabe der letzten Schicht des neuronalen Netzes durch eine Softmax-Funktion in eine Wahrscheinlichkeitsverteilung überführt werden, und die Klassifizierung auf Basis der Wahrscheinlichkeitsverteilung erfolgen.
Weiterhin kann dabei das künstliche neuronale Netz unter Verwendung eines selbstadaptiven Optimierungsverfahren, vorzugsweise eines rectified-adam-Verfahrens, trainiert sein.
Durch diese Ausgestaltung können, trotz der hohen Ähnlichkeit der für die Trainingsdaten verwendeten guten Bilder der Teilmenge der Vielzahl von guten Bildern und schlechten Bilder der Teilmenge der Vielzahl von schlechten Bildern, sehr große bzw. kleine Gradienten, welche zu numerischen Instabilitäten im Gradientenverfahren und somit zu Abbrüchen des Optimierungsprozesses oder zur Bestimmung lokaler Minima führen könnten, wodurch das Finden eines geeigneten Parametersatzes für das Modell des künstlichen neuronalen Netzes erschwert würde, vermieden werden.
Ein Verfahren, insbesondere computerimplementiertes Verfahren, zur optischen Prüfung eines Objekts gemäß einer Ausführungsform weist die folgenden Schritte auf:
- Erfassen von Bilddaten zumindest eines Bildes des Objekts,
- Klassifizieren des zumindest einen Bildes des Objekts als ein gutes Bild oder als ein schlechtes Bild unter Verwendung eines vorstehend beschriebenen Verfahrens zur Klassifizierung von Bildern, wobei das Erfassen von Bilddaten eines Bildes das Erfassen von Bilddaten des zumindest einen Bildes des Objekts beinhaltet,
- Bestimmen, dass das Objekt fehlerfrei ist, wenn das zumindest eine Bild des Objekts als gutes Bild klassifiziert wird, oder
- Bestimmen, dass das Objekt fehlerhaft ist, wenn das zumindest eine Bild des Objekts als schlechtes Bild klassifiziert wird.
Das Verfahren zur optischen Prüfung eines Objekts kann beispielsweise im Rahmen einer optischen Endabnahme verwendet werden, um ein mittels eines Fertigungsprozesses hergestelltes Objekt, beispielsweise ein medizinisches Gerät, vor einer Auslieferung an einen Kunden im Hinblick auf optische Fehler einer Oberfläche des Objekts zu prüfen, und das Objekt nur an den Kunden auszuliefern, wenn durch das Verfahren bestimmt wird, dass das Objekt fehlerfrei ist, und andernfalls zu veranlassen, dass das Objekt einer Reinigung unterzogen wird oder dass das Objekt nachgebessert wird.
Gemäß einer Ausführungsform weist das Verfahren ferner die folgenden Schritte auf:
- Ausgeben, mittels einer Ausgabeeinrichtung, einer Information darüber, dass das Objekt fehlerfrei ist, wenn bestimmt wird, dass das Objekt fehlerfrei ist, oder
- Ausgeben, mittels der Ausgabeeinrichtung, einer Information darüber, dass das Objekt fehlerhaft ist, wenn bestimmt wird, dass das Objekt fehlerhaft ist.
In einer bevorzugten Ausführungsform weist das Verfahren ferner einen Schritt eines Anzeigens, wenn bestimmt wird, dass das Objekt fehlerhaft ist, mittels einer als Anzeigeeinrichtung ausgebildeten Ausgabeeinrichtung, des zumindest einen Bildes des Objekts sowie einer Maske auf, welche basierend auf einer Ausgabe des künstlichen neuronalen Netzes erzeugt wird, wobei die Maske das zumindest eine Bild des Objekts überlagert und einen von dem künstlichen neuronalen Netz ausgegebenen Fehler des Objekts und dessen Position anzeigt.
In diesem Fall kann ein Kontrolleur anhand der mittels der Maske angezeigten Informationen im nächsten Schritt selbst das Objekt visuell prüfen und entscheiden, ob ein Versand des Objekts bzw. der gefertigten Maschine stattfinden kann, das Objekt erneut den Reinigungsprozess durchlaufen muss oder eventuell für weitere Nachbesserungen zurückgestellt wird.
Gemäß einer Ausführungsform weist das Erfassen von Bilddaten zumindest eines Bildes des Objekts ein Erfassen von Bilddaten einer Vielzahl von Bildern des Objekts unter einer Vielzahl von verschiedenen Winkeln relativ zu dem Objekt auf, wobei
- bestimmt wird, dass das Objekt fehlerfrei ist, wenn jedes der Vielzahl von Bildern des Objekts als gutes Bild klassifiziert wird, oder
- bestimmt wird, dass das Objekt fehlerhaft ist, wenn zumindest eines der Vielzahl von Bildern des Objekts als schlechtes Bild klassifiziert wird. Hierbei kann in einer Ausführungsform das Erfassen von Bilddaten einer Vielzahl von Bildern des Objekts unter einer Vielzahl von verschiedenen Winkeln relativ zu dem Objekt die folgenden Schritte aufweisen:
- Anordnen des Objekts auf einer rotierbaren Plattform,
- Ansteuern einer Antriebseinrichtung der rotierbaren Plattform, um die rotierbare Plattform zu drehen, und
- Erfassen, mittels einer Bilderfassungseinrichtung, der Bilddaten der Vielzahl von Bildern des Objekts unter der Vielzahl von verschiedenen Winkeln relativ zu dem Objekt, während die rotierbare Plattform von der Antriebseinrichtung gedreht wird.
In einer anderen Ausführungsform kann hierbei das Erfassen von Bilddaten einer Vielzahl von Bildern des Objekts unter einer Vielzahl von verschiedenen Winkeln relativ zu dem Objekt die folgenden Schritte aufweisen:
- Anordnen des Objekts auf einer Plattform,
- Ansteuern einer Antriebseinrichtung einer Bilderfassungseinrichtung, um die Bilderfassungseinrichtung um das Objekt zu bewegen, und
- Erfassen, mittels der Bilderfassungseinrichtung, der Bilddaten der Vielzahl von Bildern des Objekts unter der Vielzahl von verschiedenen Winkeln relativ zu dem Objekt, während die Bilderfassungseinrichtung von der Antriebseinrichtung um das Objekt bewegt wird.
In letzterer Ausführungsform ist anstelle der rotierbaren Plattform die Bilderfassungseinrichtung bewegbar ausgebildet. Hierbei kann die Bilderfassungseinrichtung beispielsweise über ein Schienensystem um das Objekt bewegt werden. Dabei wird die Bilderfassungseinrichtung durch eine Antriebseinrichtung um das Objekt bewegt.
Bevorzugt ist das künstliche neuronale Netz unter Verwendung von Trainingsdaten aus einer Vielzahl von guten Bildern und einer Vielzahl von schlechten Bildern trainiert, wobei die guten Bilder jeweils Bilder zumindest eines Abschnitts eines medizinischen Geräts, vorzugsweise einer Dialysemaschine, sind.
Gemäß einer Ausführungsform entspricht der zumindest eine Bildfehler einem optischen Fehler einer Oberfläche des Objekts, vorzugsweise einem Kratzer oder einer Delle in der Oberfläche des Objekts oder einem Flecken auf der Oberfläche des Objekts, oder ist diesem zumindest ähnlich.
Die Bilder können aber auch in kleinere Abschnitte aufgeteilt werden und die Berechnung der Abschnitte parallel erfolgen. Dabei kann die gleiche Architektur des Neuronalen Netzes verwendet werden, wobei die Gewichtung der Knoten je nach untersuchtem Objektabschnitt angepasst ist.
Weitere bevorzugte Ausgestaltungen des erfindungsgemäßen Verfahrens ergeben sich aus der nachfolgenden Beschreibung der Ausführungsbeispiele in Zusammenhang mit den Figuren und deren Beschreibung. Gleiche Bauteile der Ausführungsbeispiele werden im Wesentlichen durch gleiche Bezugszeichen gekennzeichnet, falls dies nicht anders beschrieben wird oder sich nicht anders aus dem Kontext ergibt. Es zeigen:
Fig. 1 schematisch eine Vorrichtung zur Klassifizierung von Bildern und gegebenenfalls zur optischen Prüfung eines Objekts gemäß einer Ausführungsform,
Fig. 2A-C schematisch ein gutes Bild eines Objekts, ein schlechtes Bild eines anderen Objekts und ein aus dem guten Bild und dem schlechten Bild erzeugtes Differenzbild,
Fig. 3A-C schematisch ein gutes Bild eines Objekts, ein schlechtes Bild des Objekts und ein aus dem guten Bild und dem schlechten Bild erzeugtes Differenzbild.
Fig. 4 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur Klassifizierung von Bildern gemäß einer Ausführungsform, und
Fig. 5 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur optischen Prüfung eines Objekts.
Fig. 1 veranschaulicht schematisch eine Vorrichtung zur Klassifizierung von Bildern und gegebenenfalls zur optischen Prüfung eines Objekts gemäß einer Ausführungsform. Die Vorrichtung 100 zur Klassifizierung von Bildern und gegebenenfalls zur optischen Prüfung eines Objekts 10 weist eine Kammer 106 bzw. einen Prüfraum 106 auf, die bzw. der teilweise oder vollständig von Fremdlicht abgeschirmt ist. In der Kammer 106 bzw. dem Prüfraum 106 ist eine rotierbare Plattform 101 vorgesehen, auf welcher ein zu prüfendes Objekt 10, beispielsweise ein medizinisches Gerät wie etwa eine Dialysemaschine, zur Prüfung angeordnet wird. Alternativ kann anstelle einer rotierbaren Plattform auch eine Bilderfassungseinrichtung 102 um das Objekt 10 bewegt, beziehungsweise rotiert werden. Des Weiteren ist in der Kammer 106 bzw. dem Prüfraum 106 die Bilderfassungseinrichtung 102 wie etwa eine oder mehrere Einzelbildkameras, beispielsweise vier Flächenkameras, oder eine Videokamera vorgesehen, die dazu eingerichtet ist, Bilder von dem Objekt 10 zu erfassen, und in einer Ausführungsform hochauflösende Bilder, beispielsweise mit einer Größe von 5496 x 3672Pixel erfassen kann.
Um eine gleichbleibende und gleichmäßige Ausleuchtung des zu prüfenden Objekts 10 zu gewährleisten, ist ferner eine Beleuchtungseinrichtung 108 innerhalb der Kammer 106 bzw. dem Prüfraum 106 vorgesehen, die dazu eingerichtet ist, das Objekt 10 zu beleuchten, und beispielsweise ein LED-Panel oder mehrere LED-Panels aufweist. Eine Antriebseinrichtung 107 zum Drehen der rotierbaren Plattform 101 und die Bilderfassungseinrichtung 102 sind mit einer Steuereinrichtung 103 verbunden, die dazu eingerichtet ist, den Prüfvorgang durch Ansteuern der Antriebseinrichtung 107, um die rotierbare Plattform 101 zu drehen, und durch Ansteuern der Bilderfassungseinrichtung 102, um während der Drehung der Plattform 101 eine Serie von Bildern des auf der Plattform 101 angeordneten Objekts 10 zu erfassen, zu steuern. Durch diese Ausgestaltung wird ermöglicht, eine Vielzahl von Bildern des zu prüfenden Objekts 10 aus unterschiedlichen Perspektiven mittels der Bilderfassungseinrichtung 102 während des Prüfvorgangs zu erfassen, und somit vorzugsweise Bilder von der gesamten freiliegenden Oberfläche des Objekts 10 zu erfassen, um die gesamte freiliegende Oberfläche einer optischen Prüfung auf optische Mängel hin unterziehen zu können.
Die Steuereinrichtung 103 ist ferner mit einer Speichereinrichtung 104 und einer Anzeigeeinrichtung 105 verbunden. In der Speichereinrichtung 104 können die von der Bilderfassungseinrichtung 102 erfassten Bilder bzw. die entsprechenden Bilddaten gespeichert werden. Weiterhin ist in der Speichereinrichtung 104 ein Programm zum Klassifizieren der von der Bilderfassungseinrichtung 102 erfassten Bilder des Objekts 10 gespeichert, das von der Steuereinrichtung 103 ausgeführt werden kann. Dabei kann die Steuereinrichtung 103 und/oder die Speichereinrichtung 104 lokal oder remote angeordnet oder verteilt ausgebildet sein. So kann eine cloudbasierte Architektur verwendet werden. In einer Ausführungsform ist das Programm dazu eingerichtet, die von der Bilderfassungseinrichtung 102 erfassten Bilder als gute Bilder GB oder schlechte Bilder SB zu klassifizieren. Das Programm weist hierzu eine als künstliches neuronales Netz(werk) ausgebildete Softwarekomponente auf.
Das künstliche neuronale Netz wird bzw. ist durch überwachtes Lernen unter Verwendung von Trainingsdaten, die eine Vielzahl von guten Bildern GB und eine Vielzahl von schlechten Bildern SB aufweisen, trainiert. Die Vielzahl von guten Bildern GB ist durch tatsächlich unter verschiedenen Winkeln erfasste Bilder von Oberflächen eines Objekts 10 gebildet, das keine optischen Mängel wie etwa Dellen, Kratzer oder Flecken, welche eventuell bei der finalen Reinigung unzureichend entfernt wurden, aufweist und/oder korrekt gemäß einer Vorgabe gelabelt ist und/oder gemäß kundenspezifischen Wünschen konfiguriert ist. Hierbei entspricht ein jeweiliges schlechtes Bild SB von zumindest einer Teilmenge der Vielzahl von schlechten Bildern SB der Trainingsdaten einem jeweiligen guten Bild GB von zumindest einer Teilmenge der Vielzahl von guten Bildern GB der Trainingsdaten, in welches zumindest ein Bildfehler 11 künstlich eingefügt wurde. Der zumindest eine Bildfehler 11 wird bevorzugt derart gewählt, dass er einem tatsächlich zu erwartendem Bildfehler bzw. optischen Fehler, welcher in Folge eines optischen Mangels des Objekts 10 in dem Bild des Objekts 10 auftritt, entspricht oder diesem zumindest ähnlich ist.
Das künstliche neuronale Netzwerk wird bzw. ist insbesondere unter Verwendung von jeweiligen Paaren trainiert, die aus einem jeweiligen guten Bild GB aus der Teilmenge der Vielzahl von guten Bildern GB und einem jeweiligen schlechten Bild SB aus der Teilmenge von schlechten Bildern SB gebildet sind, wobei ein jeweiliges schlechtes Bild SB dem demselben Paar zugehörigen guten Bild GB, in welches der zumindest eine Bildfehler 11 eingefügt ist, entspricht. Der zumindest eine Bildfehler 11 kann beispielsweise durch randomisierte Pixelfehler, Linien von Pixelfehlem oder Flächenfehlern, und/oder durch Verzerren, Verwischen oder Deformieren von zumindest einem Bildabschnitt des guten Bildes GB und/oder den Einsatz von affinen Bildtransformationen, durch augmentierte Flecken, kreis-, ellipsenförmige oder rechteckige Formen, welche vorzugsweise zumindest teilweise farbig oder in Graustufen gefüllt sind, aus guten Bildern GB bzw. aus den entsprechenden Bilddaten erzeugt werden. Auf diese Weise kann eine beliebige Anzahl von schlechten Bildern SB erzeugt werden, wodurch eine Vielzahl optischer Fehler simuliert werden kann. Gemäß einer Ausführungsform wird bzw. ist das künstliche neuronale Netz durch eine jeweilige Anpassung von Parametern des künstlichen neuronalen Netzes nach einer jeweiligen Eingabe der Bilddaten von einem jeweiligen Paar aus einem jeweiligen guten Bild GB und einem jeweiligen schlechten Bild SB trainiert. Ein Vorteil dieser Herangehensweise ist, dass es hierdurch dem künstlichen neuronalen Netz ermöglicht wird, die typischen Fehler eines schlechten Bildes SB von typischen Merkmalen eines guten Bildes GB zu unterscheiden, was kaum möglich ist, wenn ein anderer Ansatz zur Eingabe von Trainingsdaten genutzt wird.
Das künstliche neuronale Netz kann beispielsweise als flaches („shallow“) Convolutional Neural Network ausgebildet sein, das eine Eingangsschicht, eine Ausgangsschicht und mehrere dazwischen vorgesehene versteckte Schichten, vorzugsweise insgesamt mindestens drei versteckte, vorzugsweise sechs Schichten, sowie zwei versteckte Klassifikationsschichten zur Vorverarbeitung der Ausgabe, aufweist.
Hierbei ist der Trainingsalgorithmus, der zum Trainieren des künstlichen neuronalen Netzes verwendet wird, und insbesondere die dabei verwendete Loss Funktion, an die besondere Wahl der Trainingsdaten, nämlich die Paare aus guten Bildern GB der Teilmenge der Vielzahl von guten Bildern GB und schlechten Bildern SB der Teilmenge der Vielzahl von schlechten Bildern SB, angepasst.
Basierend auf der relativen Ähnlichkeit der verwendeten guten Bilder GB der Teilmenge der Vielzahl von guten Bildern GB und schlechten Bilder SB der Teilmenge der Vielzahl von schlechten Bildern SB können sehr große bzw. kleine Gradienten zu numerischen Instabilitäten im Gradientenverfahren zu Abbrüchen des Optimierungsprozesses oder zur Bestimmung lokaler Minima führen, sodass sich das Finden eines geeigneten Parametersatzes für das Modell als schwierig gestalten kann. Gemäß der Erfindung wird dieses Problem durch eine Kombination von Regularisierung in allen Netzwerkschichten und der Loss Funktion, einem finalen, normalisierenden Softmax-Layer und einem modernen selbstadaptiven Optimierungsverfahren, beispielsweise einem „rectified-adam“- Verfahren, gelöst.
Nach der Eingangsschicht können sich beispielsweise sechs Convolutional Layer als Filterschichten anschließen, wobei als Aktivierungsfunktion dieser Schichten eine rektifi- zierende Aktivierungsfunktion (ReLU) verwendet werden kann. Die Convolutional Layer reduzieren sich in ihrer Filtertiefe insgesamt, wobei bei einer Filtertiefe von 50 gestartet werden kann und die folgenden Tiefen beispielsweise bei 40, 30, 20, 20, 10 liegen. Als Regularisierungsfunktion kann z.B. die L2-Norm als Penalty-Term auf den Aktivierungssignalen verwendet werden. Nach jeder Convolutional Layer erfolgt eine Verarbeitung, ein Pooling, beispielsweise durch eine MaxPooling Layer mit einem 2x2 Kemel. Vor den sich anschließenden beispielsweise zwei Dense Layer werden die Daten weiter über ein Flattening transformiert. Die sich anschließenden Dense Layer können durch die Sigmoidfunktion aktiviert werden. Bei der Ausgangsschicht selbst wird die Aktivierungsfunktion Softmax verwendet. Die Lossfunktion wird durch eine sogenannte Categorical Crossentropy abgebildet, um schließlich über die Wahrscheinlichkeitsverteilung die Zuordnung zu gutem oder schlechtem Bild zu treffen.
Des Weiteren erfolgt die Klassifizierung der Trainingsdaten vorzugsweise unter Verwendung einer Fehlerrückführung, bei der die zurückverfolgte Neuron-Aktivität, aus welcher der externe (menschliche) Lehrer auf die Ursache der durch das künstliche neuronale Netz erfolgten „schlechtes Bild“-Klassifizierung schließen kann, in dem entsprechenden Bild auf der Anzeigeeinrichtung 105 visualisiert werden kann.
Durch die Verwendung des oben beschriebenen, als flaches Convolutional Neural Network ausgebildeten künstlichen neuronalen Netzes, und durch Trainieren des künstlichen neuronalen Netzes in der oben beschriebenen Weise, können Bilder mit hoher Auflösung verwendet werden, ohne diese in kleine Ausschnitte einteilen zu müssen. Eine Größenordnung ist beispielsweise 3500 x 2500 x 3. Durch die geringe Batchsize von 2 (ein Paar aus einem guten Bild GB und einem zugehörigen schlechten Bild SB) und einer shallow-Convolutional-Neural-Network-Architektur mit vorzugsweise insgesamt mindestens drei, vorzugsweise sechs versteckten Schichten kann sehr schonend auf die wichtige Ressource eines Videospeichers der Steuereinrichtung 103 zugegriffen werden, welcher bei großen Netzwerkarchitekturen und großen Batchsizes oft der Flaschenhals im Sinne der Hardware beim Training neuronaler Netze ist. Um kleine, lokale optische Fehler aufzuspüren ist die geringe Anzahl an versteckten Schichten (Hidden Layer) ausreichend, wodurch die pixelgenaue Verarbeitung von hochauflösendem Bildmaterial mit günstigen Ressourcen und in wenigen Sekunden ermöglicht wird. Mit Bezug auf die Fig. 2 und 3 werden die Vorteile, die sich durch das Training des künstlichen neuronalen Netzes unter Verwendung von jeweiligen Paaren ergeben, welche aus einem jeweiligen guten Bild GB und einem jeweiligen schlechten Bild SB gebildet sind, wobei ein jeweiliges schlechtes Bild SB dem demselben Paar zugehörigen guten Bild GB, in welches der zumindest eine Bildfehler 11 eingefügt ist, entspricht, und die jeweilige Anpassung der Parameter des künstlichen neuronalen Netzes nach einer jeweiligen Eingabe der Bilddaten von einem jeweiligen Paar erfolgt, erläutert.
Fig. 2A zeigt ein tatsächlich von der Bilderfassungseinrichtung 102 erfasstes gutes Bild GB eines Objekts 10 bzw. einer Oberfläche des Objekts 10 und Fig. 2B zeigt ein tatsächlich erfasstes schlechtes Bild SB2 eines anderen Objekts 10 bzw. der Oberfläche des anderen Objekts 10, welches einen minimalen tatsächlichen optischen Fehler 12, der beispielsweise durch eine Delle, einen Kratzer oder einen Flecken verursacht ist, aufweist, wobei das gute Bild GB und das schlechte Bild SB2 bei minimal verschiedener Positionierung des Objekts 10 und des anderen Objekts 10 erfasst wurden. Fig. 2C zeigt schematisch ein Bild DB2, welches durch Differenzbildung der Intensitäten des guten Bildes GB und des schlechten Bildes SB2 erzeugt wurde. Hierbei wird durch die Darstellung des Objekts 10 in gestrichelter Form veranschaulicht, dass zumindest Teile der Merkmale des Objekts 10, gegebenenfalls mit geänderter Farbe, dem Differenzbild DB2 entnommen werden können. Insbesondere gehen in dem Differenzbild DB2 die Bildmerkmale des in dem schlechten Bild SB2 enthaltenen minimalen tatsächlichen optischen Fehlers 12 bei von dem künstlichen neuronalen Netz durchgeführten Gewichtung der Merkmalsextraktion nahezu vollkommen unter, da zu viele Unterschiede zwischen den beiden verschiedenen Bildaufnahmen bestehen. Dementsprechend können in einem derartigen Fall auch nicht die für einen optischen Fehler relevanten Merkmale signifikant trainiert und gewichtet werden.
Fig. 3A zeigt ein tatsächlich von der Bilderfassungseinrichtung 102 erfasstes gutes Bild GB eines Objekts 10, welches keinen optischen Fehler aufweist, und Fig. 3B zeigt ein basierend auf dem guten Bild GB erzeugtes schlechtes Bild SB, welches durch Einfügen eines minimalen Bildfehlers 11 in das gute Bild GB erzeugt wurde. Fig. 3C zeigt ein Bild, welches durch Differenzbildung der Intensitäten des guten Bildes GB und des schlechten Bildes SB erzeugt wurde. Wie aus Fig. 3C ersichtlich, ist der Bildfehler 11 klar in dem durch Differenzbildung erzeugten Bild DB erkennbar, so dass hierdurch die für einen optischen Fehler relevanten Merkmale signifikant trainiert und gewichtet werden können. Wieder mit Bezug auf Fig. 1 , ist die Steuereinrichtung 103 dazu eingerichtet, nach der Erfassung von Bilddaten eines Bildes mittels der Bilderfassungseinrichtung 102, das erfasste Bild mittels des in der Speichereinrichtung 104 gespeicherten Programms zum Klassifizieren der von der der Bilderfassungseinrichtung 102 erfassten Bilder als gutes Bild oder schlechtes Bild zu klassifizieren, und das Ergebnis der Klassifizierung auf der Anzeigeeinrichtung 105 auszugeben.
Gemäß einer Ausführungsform ist in der Speichereinrichtung 104 ferner ein Programm zur optischen Prüfung eines Objekts gespeichert, das das Programm zum Klassifizieren der von der Bilderfassungseinrichtung 102 erfassten Bilder des Objekts 10 nutzt. Die Steuereinrichtung 103 ist dazu eingerichtet, mittels des in der Speichereinrichtung 104 gespeicherten Programms zur Prüfung des Objekts die Bilderfassungseinrichtung 102 zu veranlassen, Bilddaten zumindest eines Bildes des Objekts 10 zu erfassen, das zumindest eine Bild des Objekts 10 unter Verwendung des Programms zum Klassifizieren der von der Bilderfassungseinrichtung 102 erfassten Bilder als ein gutes Bild oder als ein schlechtes Bild zu klassifizieren, zu bestimmen, dass das Objekt 10 fehlerfrei ist, wenn das zumindest eine Bild des Objekts 10 als gutes Bild klassifiziert wird, oder zu bestimmen, dass das Objekt fehlerhaft ist, wenn das zumindest eine Bild des Objekts 10 als schlechtes Bild klassifiziert wird.
Die Steuereinrichtung 103 ist ferner dazu eingerichtet, mittels des in der Speichereinrichtung 104 gespeicherten Programms zur optischen Prüfung eines Objekts die Anzeigeeinrichtung 105 zu veranlassen, eine Information darüber auszugeben, dass das Objekt 10 fehlerfrei ist, wenn bestimmt wird, dass das Objekt 10 fehlerfrei ist, oder eine Information darüber auszugeben, dass das Objekt fehlerhaft ist, wenn bestimmt wird, dass das Objekt fehlerhaft ist.
Des Weiteren ist die Steuereinrichtung 103 dazu eingerichtet, mittels des in der Speichereinrichtung 104 gespeicherten Programms zur optischen Prüfung eines Objekts die Anzeigeeinrichtung 105 zu veranlassen, das zumindest eine Bild des Objekts 10 sowie eine Maske, welche basierend auf einer Ausgabe des künstlichen neuronalen Netzes erzeugt wird, anzuzeigen, wobei die Maske das zumindest eine Bild des Objekts überlagert und einen von dem künstlichen neuronalen Netz ausgegebenen Fehler des Objekts 10 und dessen Position anzeigt. Fig. 4 zeigt ein Flussdiagramm zu Veranschaulichung eines Verfahrens gemäß einer Ausführungsform zur Klassifizierung von Bildern nach guten Bildern und schlechten Bildern.
In Schritt S40 werden Bilddaten eines Bildes erfasst, wobei die Bilddaten beispielsweise mittels der Bilderfassungseinrichtung 102 erfasst werden können und Bilddaten eines Bildes des Objekts 10 sein können.
In Schritt S41 wird das Bild als gutes Bild GB oder als schlechtes Bild SB2 klassifiziert, wobei die Klassifizierung unter Verwendung eines vorstehend beschriebenen künstlichen neuronalen Netzes erfolgt, das durch überwachtes Lernen unter Verwendung von Trainingsdaten aus einer Vielzahl von guten Bildern GB und einer Vielzahl von schlechten Bildern SB trainiert ist, und jedes schlechte Bild SB von zumindest einer Teilmenge der Vielzahl von schlechten Bildern SB der Trainingsdaten einem jeweiligen guten Bild GB von zumindest einer Teilmenge der Vielzahl von guten Bildern GB der Trainingsdaten entspricht, in welches zumindest ein Bildfehler 11 eingefügt ist.
Hierbei kann das künstliche neuronale Netz unter Verwendung von jeweiligen Paaren aus einem jeweiligen guten Bild GB aus der Teilmenge der Vielzahl von guten Bildern GB und einem jeweiligen schlechten Bild SB aus der Teilmenge der Vielzahl von schlechten Bildern SB, wobei ein jeweiliges schlechtes Bild SB dem demselben Paar zugehörigen guten Bild GB, in welches der zumindest eine Bildfehler 11 eingefügt ist, entspricht, trainiert werden oder sein.
Dabei kann das künstliche neuronale Netz durch eine jeweilige Anpassung von Parametern des künstlichen neuronalen Netzes nach einer jeweiligen Eingabe der Bilddaten von einem jeweiligen Paar aus einem jeweiligen guten Bild GB und einem jeweiligen schlechten Bild SB trainiert werden oder sein.
Der zumindest eine Bildfehler 11 kann ein randomisierter Pixelfehler, eine Linie von Pixelfehlern oder ein Flächenfehler sein, und/oder durch Verzerren, Verwischen oder Deformieren eines Bildabschnitts des guten Bildes GB, durch eine affine Bildtransformation des guten Bildes GB, durch augmentierte Flecken, kreis-, ellipsenförmige oder rechteckige Formen, welche vorzugsweise zumindest teilweise farbig oder in Graustufen gefüllt sind, erzeugt werden oder sein.
Das künstliche neuronale Netz kann als Convolutional Neural Network ausgebildet sein, das eine Eingangsschicht, eine Ausgangsschicht und mehrere dazwischen angeordnete versteckte Schichten aufweist, wobei bei dem Training des künstlichen neuronalen Netzes eine Kombination einer Regularisierung in allen versteckten Schichten mit einer Verlustfunktion erfolgt.
Dabei kann das künstliche neuronale Netz dazu eingerichtet sein, eine Ausgabe der letzten Schicht des künstlichen neuronalen Netzes durch eine Softmax-Funktion in eine Wahrscheinlichkeitsverteilung zu überführen, wobei die Klassifizierung auf Basis der Wahrscheinlichkeitsverteilung erfolgt.
Des Weiteren kann hierbei das künstliche neuronale Netz unter Verwendung eines selbstadaptiven Optimierungsverfahren, vorzugsweise eines rectified-adam-Verfahrens, trainiert werden oder sein.
Fig. 5 zeigt ein Flussdiagramm zu Veranschaulichung eines Verfahrens gemäß einer Ausführungsform zur optischen Prüfung eines Objekts.
In Schritt S50 werden Bilddaten zumindest eines Bildes des Objekts 10 erfasst, beispielsweise unter Verwendung der Bilderfassungseinrichtung 102.
In Schritt S51 wird dann das zumindest eine Bild des Objekts 10 unter Verwendung des mit Bezug auf Fig. 4 beschriebenen Verfahrens als ein gutes Bild oder als ein schlechtes Bild klassifiziert, wobei das Erfassen von Bilddaten eines Bildes das Erfassen von Bilddaten des zumindest einen Bildes des Objekts 10 beinhaltet.
In Schritt S52 wird bestimmt, dass das Objekt 10 fehlerfrei ist, wenn das zumindest eine Bild des Objekts 10 in Schritt S51 als gutes Bild klassifiziert wird, oder bestimmt, dass das Objekt 10 fehlerhaft ist, wenn das zumindest eine Bild des Objekts 10 in Schritt S51 als schlechtes Bild klassifiziert wird. In Schritt S53 wird, beispielsweise mittels der Anzeigeeinrichtung 105, eine Information darüber, dass das Objekt 10 fehlerfrei ist, ausgegeben, wenn in Schritt S52 bestimmt wird, dass das Objekt 10 fehlerfrei ist, oder eine Information darüber ausgegeben, dass das Objekt 10 fehlerhaft ist, wenn in Schritt S52 bestimmt wird, dass das Objekt 10 fehlerhaft ist.
In Schritt S54 werden, wenn in Schritt S52 bestimmt wird, dass das Objekt 10 fehlerhaft ist, mittels der Anzeigeeinrichtung 105 das zumindest eine Bild des Objekts 10 sowie eine Maske angezeigt, welche basierend auf einer Ausgabe des künstlichen neuronalen Netzes erzeugt wird, wobei die Maske das zumindest eine Bild des Objekts 10 überlagert und einen von dem künstlichen neuronalen Netz ausgegebenen Fehler des Objekts 10 und dessen Position anzeigt.
Das Erfassen von Bilddaten zumindest eines Bildes des Objekts 10 kann ein Erfassen von Bilddaten einer Vielzahl von Bildern des Objekts 10 unter einer Vielzahl von verschiedenen Winkeln relativ zu dem Objekt 10 aufweisen, wobei in Schritt S52 bestimmt wird, dass das Objekt 10 fehlerfrei ist, wenn jedes der Vielzahl von Bildern des Objekts 10 in Schritt S51 als gutes Bild klassifiziert wird, oder in Schritt S52 bestimmt wird, dass das Objekt 10 fehlerhaft ist, wenn zumindest eines der Vielzahl von Bildern des Objekts 10 in Schritt S51 als schlechtes Bild klassifiziert wird.
Dabei kann in einer Ausführungsform das Erfassen von Bilddaten einer Vielzahl von Bildern des Objekts 10 unter einer Vielzahl von verschiedenen Winkeln relativ zu dem Objekt 10 ein Anordnen des Objekts 10 auf der rotierbaren Plattform 101 , ein Ansteuern der Antriebseinrichtung 107 der rotierbaren Plattform 101 , mittels der Steuereinrichtung 103, um die rotierbare Plattform 101 zu drehen, und ein Erfassen, mittels der Bilderfassungseinrichtung 102, der Bilddaten der Vielzahl von Bildern des Objekts 10 unter der Vielzahl von verschiedenen Winkeln relativ zu dem Objekt 10 aufweisen, während die rotierbare Plattform 101 von der Antriebseinrichtung 107 gedreht wird.
In einer anderen Ausführungsform kann hierbei das Erfassen von Bilddaten einer Vielzahl von Bildern des Objekts 10 unter einer Vielzahl von verschiedenen Winkeln relativ zu dem Objekt 10 ein Anordnen des Objekts 10 auf einer Plattform, ein Ansteuern einer Antriebseinrichtung einer Bilderfassungseinrichtung, um die Bilderfassungseinrichtung um das Objekt 10 zu bewegen, und ein Erfassen, mittels der Bilderfassungseinrichtung, der Bilddaten der Vielzahl von Bildern des Objekts 10 unter der Vielzahl von verschiedenen Winkeln relativ zu dem Objekt aufweisen, während die Bilderfassungseinrichtung von der Antriebseinrichtung um das Objekt 10 bewegt wird. Hierbei kann das künstliche neuronale Netz insbesondere unter Verwendung von Trainingsdaten aus guten Bildern GB und schlechten Bildern SB trainiert sein, wobei die guten Bilder GB jeweils Bilder zumindest eines Abschnitts eines medizinischen Geräts, vorzugsweise einer Dialysemaschine, sind. Weiterhin kann hierbei der zumindest eine Bildfehler 11 einem optischen Fehler einer Oberfläche des Objekts 10, vorzugsweise einem Kratzer oder einer Delle in der Oberfläche des Objekts 10 oder einem Flecken auf der Oberfläche des Objekts 10, entsprechen.

Claims

Patentansprüche Verfahren zur Klassifizierung von Bildern, bei dem die Bilder nach guten Bildern und schlechten Bildern klassifiziert werden, mit den Schritten:
- Erfassen von Bilddaten eines Bildes, und
- Klassifizieren des Bildes als gutes Bild (GB) oder als schlechtes Bild (SB2), wobei die Klassifizierung unter Verwendung eines künstlichen neuronalen Netzes erfolgt, das durch überwachtes Lernen unter Verwendung von Trainingsdaten aus einer Vielzahl von guten Bildern (GB) und einer Vielzahl von schlechten Bildern (SB) trainiert ist, wobei jedes schlechte Bild (SB) von zumindest einer Teilmenge der Vielzahl von schlechten Bildern (SB) der Trainingsdaten einem jeweiligen guten Bild (GB) von zumindest einer Teilmenge der Vielzahl von guten Bildern (GB) der Trainingsdaten entspricht, in welches zumindest ein Bildfehler (11) eingefügt ist, und wobei das künstliche neuronale Netz unter Verwendung von jeweiligen Paaren aus einem jeweiligen guten Bild (GB) aus der Teilmenge der Vielzahl von guten Bilden (GB) und einem jeweiligen schlechten Bild (SB) aus der Teilmenge der Vielzahl von schlechten Bildern (SB), wobei ein jeweiliges schlechtes Bild (SB) dem demselben Paar zugehörigen guten Bild (GB), in welches der zumindest eine Bildfehler (11) eingefügt ist, entspricht, trainiert ist. Verfahren nach Anspruch 1 , bei dem das künstliche neuronale Netz durch eine jeweilige Anpassung von Parametern des künstlichen neuronalen Netzes nach einer jeweiligen Eingabe der Bilddaten von einem jeweiligen Paar aus einem jeweiligen guten Bild (GB) und einem jeweiligen schlechten Bild (SB) trainiert ist. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der zumindest eine Bildfehler (11) ein randomisierter Pixelfehler, eine Linie von Pixelfehlem oder ein Flächenfehler ist, und/oder oder durch Verzerren, Verwischen oder Deformieren eines Bildabschnitts des guten Bildes (GB), durch eine affine Bildtransformation des guten Bildes (GB), durch augmentierte Flecken, kreis-, ellipsenförmige oder rechteckige Formen, welche vorzugsweise zumindest teilweise farbig oder in Graustufen gefüllt sind, erzeugt ist. Verfahren nach einem der vorhergehenden Ansprüche, bei dem das künstliche neuronale Netz als Convolutional Neural Network ausgebildet ist, das eine Eingangsschicht, eine Ausgangsschicht und mehrere dazwischen angeordnete versteckte Schichten aufweist, wobei bei dem Training des künstlichen neuronalen Netzes eine Kombination einer Regularisierung in allen versteckten Schichten mit einer Verlustfunktion erfolgt. Verfahren nach Anspruch 4, bei dem eine Ausgabe der letzten Schicht des künstlichen neuronalen Netzes durch eine Softmax-Funktion in eine Wahrscheinlichkeitsverteilung überführt wird, und die Klassifizierung auf Basis der Wahrscheinlichkeitsverteilung erfolgt. Verfahren nach Anspruch 5, bei dem das künstliche neuronale Netz unter Verwendung eines selbstadaptiven Optimierungsverfahren, vorzugsweise eines rectified-adam-Verfahrens, trainiert ist. Verfahren zur optischen Prüfung eines Objekts (10), mit den Schritten:
- Erfassen von Bilddaten zumindest eines Bildes des Objekts (10),
- Klassifizieren des zumindest einen Bildes des Objekts (10) als ein gutes Bild oder als ein schlechtes Bild unter Verwendung eines Verfahrens zur Klassifizierung von Bildern gemäß einem der Ansprüche 1 bis 6, wobei das Erfassen von Bilddaten eines Bildes das Erfassen von Bilddaten des zumindest einen Bildes des Objekts (10) beinhaltet,
- Bestimmen, dass das Objekt (10) fehlerfrei ist, wenn das zumindest eine Bild des Objekts (10) als gutes Bild klassifiziert wird, oder
- Bestimmen, dass das Objekt (10) fehlerhaft ist, wenn das zumindest eine Bild des Objekts (10) als schlechtes Bild klassifiziert wird. Verfahren zur optischen Prüfung eines Objekts (10) nach Anspruch 7, ferner aufweisend die Schritte:
- Ausgeben, mittels einer Ausgabeeinrichtung (105), einer Information darüber, dass das Objekt (10) fehlerfrei ist, wenn bestimmt wird, dass das Objekt (10) fehlerfrei ist, oder - Ausgeben, mittels der Ausgabeeinrichtung (105), einer Information darüber, dass das Objekt (10) fehlerhaft ist, wenn bestimmt wird, dass das Objekt (10) fehlerhaft ist.
9. Verfahren zur optischen Prüfung eines Objekts (10) nach Anspruch 8, ferner aufweisend den Schritt:
- Anzeigen, wenn bestimmt wird, dass das Objekt (10) fehlerhaft ist, mittels einer als Anzeigeeinrichtung (105) ausgebildeten Ausgabeeinrichtung, des zumindest einen Bildes des Objekts (10) sowie einer Maske, welche basierend auf einer Ausgabe des künstlichen neuronalen Netzes erzeugt wird, wobei die Maske das zumindest eine Bild des Objekts (10) überlagert und einen von dem künstlichen neuronalen Netz ausgegebenen Fehler des Objekts (10) und dessen Position anzeigt.
10. Verfahren zur optischen Prüfung eines Objekts (10) nach einem der Ansprüche 7 bis 9, bei dem das Erfassen von Bilddaten zumindest eines Bildes des Objekts (10) ein Erfassen von Bilddaten einer Vielzahl von Bildern des Objekts (10) unter einer Vielzahl von verschiedenen Winkeln relativ zu dem Objekt (10) aufweist, wobei
- bestimmt wird, dass das Objekt (10) fehlerfrei ist, wenn jedes der Vielzahl von Bildern des Objekts (10) als gutes Bild klassifiziert wird, oder
- bestimmt wird, dass das Objekt (10) fehlerhaft ist, wenn zumindest eines der Vielzahl von Bildern des Objekts (10) als schlechtes Bild klassifiziert wird.
11. Verfahren zur optischen Prüfung eines Objekts (10) nach Anspruch 10, bei dem das Erfassen von Bilddaten einer Vielzahl von Bildern des Objekts (10) unter einer Vielzahl von verschiedenen Winkeln relativ zu dem Objekt (10) aufweist: - Anordnen des Objekts (10) auf einer rotierbaren Plattform (101),
- Ansteuern einer Antriebseinrichtung (107) der rotierbaren Plattform (101), um die rotierbare Plattform (101) zu drehen, und
- Erfassen, mittels einer Bilderfassungseinrichtung (102), der Bilddaten der Vielzahl von Bildern des Objekts (10) unter der Vielzahl von verschiedenen Winkeln relativ zu dem Objekt (10), während die rotierbare Plattform (101) von der Antriebseinrichtung (107) gedreht wird. Verfahren zur optischen Prüfung eines Objekts (10) nach Anspruch 10, bei dem das Erfassen von Bilddaten einer Vielzahl von Bildern des Objekts (10) unter einer Vielzahl von verschiedenen Winkeln relativ zu dem Objekt (10) aufweist:
- Anordnen des Objekts (10) auf einer Plattform,
- Ansteuern einer Antriebseinrichtung einer Bilderfassungseinrichtung (102), um die Bilderfassungseinrichtung um das Objekt zu bewegen, und
- Erfassen, mittels der Bilderfassungseinrichtung, der Bilddaten der Vielzahl von Bildern des Objekts (10) unter der Vielzahl von verschiedenen Winkeln relativ zu dem Objekt (10), während die Bilderfassungseinrichtung von der Antriebseinrichtung um das Objekt bewegt wird. Verfahren zur optischen Prüfung eines Objekts (10) nach einem der Ansprüche 7 bis 12, bei dem das künstliche neuronale Netz unter Verwendung von Trainingsdaten aus einer Vielzahl von guten Bildern (GB) und einer Vielzahl von schlechten Bildern (SB) trainiert ist, und die guten Bilder (GB) jeweils Bilder zumindest eines Abschnitts eines medizinischen Geräts, vorzugsweise einer Dialysemaschine, sind. Verfahren zur optischen Prüfung eines Objekts (10) nach einem der Ansprüche 7 bis 13, bei dem der zumindest eine Bildfehler (11) einem optischen Fehler einer Oberfläche des Objekts (10), vorzugsweise einem Kratzer oder einer Delle in der Oberfläche des Objekts (10) oder einem Flecken auf der Oberfläche des Objekts (10), entspricht.
PCT/EP2021/086565 2020-12-18 2021-12-17 Verfahren zur klassifizierung von bildern und verfahren zur optischen prüfung eines objekts WO2022129562A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP21840880.5A EP4264541A1 (de) 2020-12-18 2021-12-17 Verfahren zur klassifizierung von bildern und verfahren zur optischen prüfung eines objekts
JP2023535708A JP2023554337A (ja) 2020-12-18 2021-12-17 画像分類方法及び物体の光学検査方法
MX2023007166A MX2023007166A (es) 2020-12-18 2021-12-17 Metodo para clasificar imagenes y metodo para examinar opticamente un objeto.
CN202180084167.9A CN116601665A (zh) 2020-12-18 2021-12-17 用于对图像进行分类的方法和用于对物体进行光学检查的方法
US18/039,493 US20240096059A1 (en) 2020-12-18 2021-12-17 Method for classifying images and method for optically examining an object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020216289.1 2020-12-18
DE102020216289.1A DE102020216289A1 (de) 2020-12-18 2020-12-18 Verfahren zur klassifizierung von bildern und verfahren zur optischen prüfung eines objekts

Publications (1)

Publication Number Publication Date
WO2022129562A1 true WO2022129562A1 (de) 2022-06-23

Family

ID=79425430

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/086565 WO2022129562A1 (de) 2020-12-18 2021-12-17 Verfahren zur klassifizierung von bildern und verfahren zur optischen prüfung eines objekts

Country Status (7)

Country Link
US (1) US20240096059A1 (de)
EP (1) EP4264541A1 (de)
JP (1) JP2023554337A (de)
CN (1) CN116601665A (de)
DE (1) DE102020216289A1 (de)
MX (1) MX2023007166A (de)
WO (1) WO2022129562A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3399466A1 (de) * 2017-05-02 2018-11-07 General Electric Company Neuronales netzwerk-trainingsbilderzeugungssystem
WO2019183153A1 (en) * 2018-03-21 2019-09-26 Kla-Tencor Corporation Training a machine learning model with synthetic images
EP3660491A1 (de) * 2017-07-26 2020-06-03 The Yokohama Rubber Co., Ltd. Defektinspektionsverfahren und defektinspektionsvorrichtung

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI787296B (zh) 2018-06-29 2022-12-21 由田新技股份有限公司 光學檢測方法、光學檢測裝置及光學檢測系統
EP3857508A1 (de) 2018-11-16 2021-08-04 Align Technology, Inc. Maschinenbasierte dreidimensionale (3d)-objektfehlerdetektion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3399466A1 (de) * 2017-05-02 2018-11-07 General Electric Company Neuronales netzwerk-trainingsbilderzeugungssystem
EP3660491A1 (de) * 2017-07-26 2020-06-03 The Yokohama Rubber Co., Ltd. Defektinspektionsverfahren und defektinspektionsvorrichtung
WO2019183153A1 (en) * 2018-03-21 2019-09-26 Kla-Tencor Corporation Training a machine learning model with synthetic images

Also Published As

Publication number Publication date
DE102020216289A1 (de) 2022-06-23
US20240096059A1 (en) 2024-03-21
CN116601665A (zh) 2023-08-15
MX2023007166A (es) 2023-06-29
JP2023554337A (ja) 2023-12-27
EP4264541A1 (de) 2023-10-25

Similar Documents

Publication Publication Date Title
DE102018128158A1 (de) Vorrichtung zur inspektion des erscheinungsbilds
DE10011200A1 (de) Verfahren zur Bewertung von Strukturfehlern auf einer Waferoberfläche
EP3807838A2 (de) Materialprüfung von optischen prüflingen
DE102013001808A1 (de) Verfahren zur zerstörungsfreien Prüfung des Volumens eines Prüflings sowie zur Ausführung eines solchen Verfahrens eingerichtete Prüfvorrichtung
DE112019005951T5 (de) Zentralisierte Analyse mehrerer visueller Prüfvorrichtungen
DE102010032241A1 (de) Verfahren und Vorrichtung zum Erkennen von Oberflächenfehlern
DE102021100496A1 (de) Intelligentes Produktionslinienüberwachungssystem und Überwachungsverfahren
DE10041354A1 (de) Verfahren zur Überprüfung auf Fremdpartikel oder Fehler und entsprechende Vorrichtung
DE102019120696A1 (de) Vorrichtung und Verfahren zur Reifenprüfung
WO2022135787A1 (de) Verfahren und vorrichtung zur optischen qualitätskontrolle während der fertigung von leiterplatten
WO2021115734A1 (de) Verfahren und assistenzsystem zur überprüfung von mustern auf fehlerhaftigkeit
WO2022129562A1 (de) Verfahren zur klassifizierung von bildern und verfahren zur optischen prüfung eines objekts
DE102022130393A1 (de) Verfahren und vorrichtung zur automatischen detektion von defekten
DE102018133092B3 (de) Computer-implementiertes Verfahren zur Analyse von Messdaten aus einer Messung eines Objektes
DE102021211610A1 (de) Verfahren zum Trainieren eines neuronalen Lernmodells zum Detektieren von Produktionsfehlern
WO2018068775A1 (de) Verfahren und anlage zum ermitteln der defektfläche mindestens einer fehlstelle auf mindestens einer funktionsoberfläche eines bauteils oder prüfkörpers
DE112019004583T5 (de) Rationalisierung eines automatischen visuellen prüfprozesses
DE112020004812T5 (de) Bewegung in bildern, die in einem visuellen prüfprozess verwendet werden
AT507939B1 (de) Verfahren zum automatisierten nachweis eines defektes an einer oberfläche eines formteils
DE19527446A1 (de) Verfahren und Vorrichtung zur optischen Oberflächenprüfung von Werkstücken
DE19834718A1 (de) Digitale Bildverarbeitung für ein Qualitätskontrollsystem
DE102018207933A1 (de) Verfahren sowie Überprüfungssystem zur Überprüfung einer hergestellten Getriebebaugruppe
DE102022204406B4 (de) Verfahren zum Klassifizieren und/oder zur Regression von Eingangssignalen unter Zuhilfenahme einer Gram-Matrix-Variante
DE102020120257A1 (de) Verfahren und Analysevorrichtung zum Erzeugen von Trainings- oder Korrekturdaten für ein künstliches neuronales Netz
DE10013137A1 (de) Verfahren zur bildgesteuerten Prüfung und Bearbeitung von Produkten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21840880

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18039493

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023535708

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202180084167.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: MX/A/2023/007166

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021840880

Country of ref document: EP

Effective date: 20230718