WO2024132592A1 - Verfahren und vorrichtung zur erzeugung von anomaliekarten von fertigungsobjekten - Google Patents

Verfahren und vorrichtung zur erzeugung von anomaliekarten von fertigungsobjekten Download PDF

Info

Publication number
WO2024132592A1
WO2024132592A1 PCT/EP2023/084942 EP2023084942W WO2024132592A1 WO 2024132592 A1 WO2024132592 A1 WO 2024132592A1 EP 2023084942 W EP2023084942 W EP 2023084942W WO 2024132592 A1 WO2024132592 A1 WO 2024132592A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
anomaly
image section
vector
sections
Prior art date
Application number
PCT/EP2023/084942
Other languages
English (en)
French (fr)
Inventor
Niklas Mevenkamp
Johannes Persch
Björn BARZ
Original Assignee
Carl Zeiss Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Ag filed Critical Carl Zeiss Ag
Publication of WO2024132592A1 publication Critical patent/WO2024132592A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the application relates to the automatic detection of defects in production objects in industrial mass production.
  • the present invention provides a method for generating an anomaly map for detecting defects of a manufacturing object, comprising dividing a manufacturing object image into a plurality of image sections, determining for each image section an image section vector, wherein each element of the image section vector represents a presence of reference manufacturing object features. len in the respective image section, encoding location information of the image section in the image section vector and determining an anomaly value based on the image section vector, wherein the anomaly value indicates a deviation of the image section vector which is determined based on at least one reference image section vector, and generating the anomaly map based on the anomaly values determined for the image sections, wherein the anomaly values are arranged based on the location information in the anomaly map.
  • the invention further provides a computing device comprising at least one central processing unit and a memory, the memory storing instructions causing the at least one central processing unit to divide a manufacturing object image into a plurality of image sections, and for each image section: to determine an image section vector, each element of the image section vector indicating a presence of reference manufacturing object features in the respective image section, to encode location information of the image section in the image section vector and to determine an anomaly value based on the image section vector, the anomaly value indicating a deviation of the image section vector determined based on at least one reference image section vector, and to generate the anomaly map based on the anomaly values, the anomaly values being displayed in the anomaly map based on the location information.
  • FIGs. 1A and 1B show a flowchart of a method for generating an anomaly map for detecting defects of a manufacturing object according to examples of the present disclosure.
  • Fig. 2 shows an exemplary generation of an anomaly map from a manufacturing object image using the method of Fig. 1 according to examples of the present disclosure.
  • Fig. 3 shows an exemplary computing device configured to perform the method of Fig. 1 in accordance with examples of the present disclosure.
  • An anomaly map is generated based on a production object image, i.e. an image of a production object that is automatically recorded at the end of a production line, for example.
  • a production object image i.e. an image of a production object that is automatically recorded at the end of a production line, for example.
  • the production object image is first divided into image sections.
  • An anomaly value is then determined for each image section. All anomaly values are then combined to form the anomaly map, with the anomaly values being combined according to the position of their associated image sections.
  • Each anomaly value is determined based on a determination of an image section vector.
  • the image section vectors indicate the presence of reference features of reference production objects as well as coded information regarding the position of the respective image sections in the production object image.
  • the respective anomaly values indicate a deviation of the respective image sections of the production object image from reference production object images.
  • Fig. 1 shows a flow chart of a method 100 for generating an anomaly map for detecting defects in a production object. Sub-steps of the method are shown as inner boxes in Fig. 1. Optional steps of the method are shown in Fig. 1 by dashed boxes. The sequence of steps shown in Fig. 1 is only an example and can be varied depending on the requirements for generating the anomaly map.
  • step 110 the method 100 divides a manufacturing object image into a plurality of image sections.
  • the manufacturing object image represents an image of a manufacturing object, for example captured by a camera system or other image capture device at the end of manufacturing of the manufacturing object.
  • the manufacturing object image may accordingly represent any form of file commonly used to store image data, such as compressed file formats based on the Joint Photographie Experts Group (JPEG) standard or the Portable Network Graphics (PNG) file format, or uncompressed file formats based on, for example, the Tag Image File Format (TI FF) standard.
  • JPEG Joint Photographie Experts Group
  • PNG Portable Network Graphics
  • TI FF Tag Image File Format
  • the manufacturing object may represent any type of object that is manufactured by industrial mass production.
  • the manufacturing object may be a lens, a lens housing, a vehicle door, a vehicle, a bare or populated circuit board, or a laptop case.
  • Each image section of the plurality of image sections represents a part of the production object image for which an anomaly value is subsequently determined.
  • Each image section can have a size that corresponds to the requirements for the accuracy of the generation of the anomaly map. In other words, the higher the requirement for the accuracy of the anomaly map, the smaller each image section can be.
  • each image section can accordingly comprise at least one pixel of the production object image.
  • Each image section of the plurality of image sections can be the same size.
  • the image sections can also be of different sizes, for example if there are different requirements for the accuracy of the anomaly map for different areas of the production object image.
  • the image portions partially overlap in some examples of the present disclosure, for example to achieve smoothing of adjacent anomaly values, as will be discussed below.
  • steps 120 to 160 described below are or can be carried out for each of the plurality of image sections, as indicated in Fig. 1A by the L-shaped frame.
  • each image section vector determines an image section vector for each image section.
  • Each element of the image section vector indicates a presence of reference manufacturing object features in the respective image section. Accordingly, each image section vector can be represented as where in equation (1) b is the image section vector and n to r n are the elements indicating the presence of a single reference manufacturing object feature.
  • the reference production object features represent features of reference production objects that have been determined from reference production object images or from reference image sections of the reference production object images.
  • the reference image sections correspond to the corresponding image sections in terms of their dimensions and positions.
  • the reference production object features can be concrete features of reference production objects, such as recurring structures in the reference production object images that have been extracted from the reference production object images using various image analysis methods. Alternatively, these features can also represent abstract features of reference production objects that have been derived from the reference production objects using various image analysis methods. Examples of the present disclosure for both types of reference production object features are presented below.
  • the reference manufacturing object features correspond to reference image sections from a reference image section library.
  • the reference image sections of the reference image section library correspond to image sections of the reference manufacturing object images.
  • the reference image sections represent common image sections of the reference manufacturing objects, such as recurring edges or textured surface sections.
  • the reference image section library is accordingly determined by analyzing a set of reference production images for recurring features. For each recurring feature, a reference image section is then extracted from the set of reference production images.
  • the image section vector of this example of the present disclosure thus indicates a weighting of the reference image sections in the respective image section and thus a combination of the reference image sections in the image section.
  • the image section vector contains the elements n to r n , which for each reference image section respectively indicate its weighting in the image section.
  • This weighting can be determined, for example, by convolving the image section with the respective reference image section.
  • the reference manufacturing object features correspond to manufacturing object basis vectors.
  • the manufacturing object basis vectors are determined based on a mean value and variances between reference manufacturing object images.
  • the manufacturing object basis vectors span a basis that describes the reference image sections of the reference manufacturing object images.
  • a first manufacturing object basis vector corresponds, for example, to a vector that points in the direction of the properties of the reference image sections, i.e., for example, pixel values of the reference image sections that make the greatest contribution to the variance of the properties of the respective reference image section.
  • a second manufacturing object basis vector therefore corresponds to the second largest contribution.
  • These manufacturing object basis vectors can be determined, for example, by determining a respective covariance matrix for all reference image sections of the set of reference manufacturing object images.
  • the eigenvectors of the respective covariance matrix then represent the manufacturing object basis vectors.
  • the image section vector of this example of the present disclosure thus indicates a weighting of the manufacturing object basis vectors.
  • the image section vector of this example of the present disclosure maps the image section onto the basis formed by the production object basis vectors.
  • the elements n to r n of the image section vector of this example of the present disclosure thus indicate, based on the production object basis vectors, which properties of the reference image sections are present in the image section and to what extent.
  • the reference manufacturing object features correspond to parameters of a neural network that has been trained with reference manufacturing object images.
  • the parameters of the neural network thus trained are pointing to the reference image sections.
  • the reference manufacturing object features in this example of the present disclosure correspond at least to the weights of all edges between nodes of the respective layers of the neural network after the neural network has been trained with the set of reference manufacturing object images.
  • the image section vector of this example of the present disclosure indicates a result of at least one convolution of the parameters with the image section followed by an activation function in each case.
  • the activation function can be, for example, a sigmoid function or a rectification function, each of which outputs either zero or the product of an activation of a previous node with a respective edge weighting, whichever is greater.
  • the number of pairs of convolution and activation function depends on the number of layers of the respective implementation of the neural network.
  • the elements n to r n of the image section vector of this example of the present disclosure indicate an activation of all nodes n of the last layer of the neural network.
  • the reference image sections are determined using reference production object images, the reference image sections can have a resolution that corresponds to that of the reference production object images and thus of the production object image.
  • an image section vector that indicates a weighting of reference image sections to indicate the presence of reference object features in the image section can enable the ultimately generated anomaly map to have a resolution that corresponds to that of the production object feature.
  • such an image section vector can increase the separability of the reference production object features from anomalies, whereby such an image section vector can improve the detection of anomalies and thus the determination of anomaly values.
  • the production image can be used to further improve the reference production object features in order to improve the reference production object features in accordance with the approaches for determining the reference production object features discussed above.
  • Step 120 may include a step 121 in which the method 100 normalizes the image section vector based on the reference production object features.
  • an averaged reference image section may be section vector.
  • the averaged reference image section vector can accordingly indicate an average value of the presence of the reference manufacturing object features in the respective reference image sections of the reference manufacturing object images corresponding to the image section.
  • the individual elements of the image section vector can then be normalized in step 120 based on, for example, the corresponding elements of the averaged reference image section vector or the length of the averaged reference image section vector. This normalization can improve the subsequent determination of anomaly values, in particular with regard to weak anomalies or weak defects.
  • Step 120 may further include a step 122 in which the method 100 smoothes the normalization of image section vectors.
  • This smoothing may be carried out based on further image section vectors of further image sections that are arranged adjacent to the image section.
  • differences between neighboring image section vectors can be partially equalized, which would otherwise affect the subsequent determination of the anomaly values.
  • the averaged reference image section vectors can already be smoothed in advance or neighboring image section vectors can be equalized with regard to their individual elements. This can be done, for example, by minimizing the sum consisting of the distance of the element to the corresponding element of the averaged reference image section vector and the total variation of the averaged reference image section vector for each element.
  • the method 100 encodes location information of the image section in the image section vector.
  • the location information indicates a position of the image section within the production object image.
  • the location information can indicate the position of pixels in the production object image, for image sections that are larger than a single pixel, possibly with an offset that describes a height and width of the image section.
  • the location information can also indicate a predefined numbering of the image sections, for example, i.e. if the production object image is divided into 8 image sections that are numbered from zero to seven, five could indicate the image section in the lower left corner.
  • the coding of the location information in the image section vector makes it possible to take the location of the image section into account in the subsequent determination of the anomaly value.
  • a deviation of the image section vector can be detected at one location, which corresponds to the image section at the location, from at least one reference image section vector may represent an anomaly, while a similar deviation of another image section vector from at least one further reference image section vector at another location does not represent an anomaly.
  • an image section may show a front lens of a lens that has a fine scratch. This fine scratch means that the corresponding manufacturing object, i.e. the lens consisting of housing and lens, has a serious defect.
  • the deviation of the image section vector from the at least one reference image section vector caused by the fine scratch on the lens is to be regarded as an anomaly.
  • an image section may show a section of a housing of another manufacturing object, i.e. another lens, which also has a fine scratch. This fine scratch does not mean a defect, in contrast to the fine crater on the front lens. Accordingly, a deviation of the image section vector from the at least one further reference image section vector caused by the fine scratch on the section of the housing is not to be considered an anomaly.
  • the same deviation at different locations within the manufacturing object can therefore mean an anomaly or not an anomaly.
  • the location information is encoded in the image section vector.
  • the method 100 may include a step 130 in which the method 100 calculates at least one trigonometric value based on the location information and at least one trigonometric function. For example, pixel values or another way of specifying the location information may be used as an operand of the at least one trigonometric function to calculate the at least one trigonometric function. This limits the value of the location information in the image patch vector to a range between minus 1 and plus 1. In some examples of the present disclosure, this may improve the determination of the anomaly value taking into account the location information.
  • the pixel values or the other way of specifying the location information can be used as the operand of several trigonometric functions with, for example, different frequencies in order to encode the location information by a large number of trigonometric values.
  • This can, for example, ensure that neighboring location information, for example from image section at pixel 5347 to image section at pixel 5348 or from image section 4 to image section 5, which actually differ only in one position or by the number 1, are encoded such that the encoded neighboring location information differs in more than one position.
  • this may improve the consideration of the location information in determining the anomaly value, since even small location differences lead to large differences in the elements of the image section vector.
  • step 130 may further include a step 132 in which the method 100 appends the at least one trigonometric value as a respective entry in the image section vector. This is illustrated below in equation (2).
  • Equation (2) shows image section vector b, which, in addition to the elements n to r n of equation (1), has the elements h to l m , which represent the results of the m trigonometric functions, by means of which, for example, the location information of the image section can be encoded.
  • Steps 131 and 132 describe encoding the location information using at least one trigonometric value or a trigonometric function. It should be understood that such encoding using at least one trigonometric function is only one example of the present disclosure. Other functions that can encode the location information in a value between minus 1 and plus 1 can be used instead of or together with trigonometric functions. For example, polynomials, wavelets or frequency analysis functions can be used to encode the location information in the same way as described in the context of trigonometric functions.
  • the method 100 determines an anomaly value based on the image section vector.
  • the anomaly value describes whether there is a deviation in the image section from the reference image sections of the reference production object images corresponding to the image section. Consequently, the anomaly value indicates a deviation of the Image section vector, which is determined based on at least one reference image section vector.
  • the reference image section vectors for the reference image sections of the production object images can be determined, for example, by means of unsupervised learning.
  • the at least one reference image section vector can, for example, be the averaged reference image section vector already discussed in step 121, which results as the average value of all reference image section vectors that have been generated for the image section from the reference production object images.
  • the anomaly value results from the distance between the image section vector and the averaged reference image section vector.
  • the at least one reference image section vector can, for example, refer to all or part of all reference image section vectors that have been generated for the image section from the reference production object images.
  • the anomaly value is determined by first determining an area that is spanned by the reference image section vectors. In this example of the present disclosure, the anomaly value then results from the distance of the image section vector from the boundary of this area. This area can, for example, be approximated by a sum of Gaussian distributions. The distance and thus the anomaly value then results from the negative logarithm of the probability of a point on the boundary approximated by the sum of Gaussian distributions.
  • the anomaly value can have a natural threshold value of the deviation.
  • the amount of the natural threshold value can be between zero and a sensitivity parameter.
  • the natural threshold value can be zero, for example, meaning that as soon as a deviation is present, an anomaly is present.
  • the natural threshold value can also be set by the sensitivity parameter to, for example, below zero if a higher sensitivity of the anomaly or defect detection is required.
  • the natural threshold value can also be set by the sensitivity parameter to, for example, above zero if a lower sensitivity of the anomaly or defect detection is required.
  • an anomaly is to be understood as a defect that is present as soon as the anomaly value, which indicates the deviation of the image section vector from the at least one reference image section vector, reaches a value that corresponds to a defect.
  • the anomaly value which indicates the deviation of the image section vector from the at least one reference image section vector.
  • this can be the case for any form of deviation or if the deviation falls below or exceeds a threshold value.
  • the determination of the anomaly value can be carried out, for example, by a one class support vector machine (OC-SVM).
  • the OC-SVM can determine the anomaly value, for example, based on a non-linear activation function.
  • the use of an OC-SVM can improve the determination of the anomaly value, since in modern mass production only a few production objects have a defect, for example only 5% of all production objects or less.
  • the OC-SVM can be set up to detect deviations that only rarely occur in a data set, such as a set of production object images.
  • the determination of the anomaly value in step 140 by means of the deviation of the image section vector from the at least one reference image section vector means that the method 100 can distinguish between pseudo-defects and actual defects.
  • pseudo-defects are understood to mean deviations between production objects or production object images and reference production objects or reference production object images, which arise, for example, from minor manufacturing differences at edges or borders of production objects or minor artifacts in the production object images.
  • the determination of the anomaly value in step 140 is set up in such a way that such deviations that correspond to pseudo-defects are not considered anomalies. This is shown below as an example in Fig. 2.
  • Method 100 may further include a step 150 in which method 100 determines an optimized anomaly value based on the image section vector and the determined anomaly value.
  • method 100 may optimize the determined anomaly value by determining a minimum possible anomaly value based on the image section vector.
  • Method 100 may subsequently use this optimized anomaly value in step 160 to determine an optimized image section vector based on ing on the optimized anomaly value and the image patch vector.
  • the method may determine, based on the optimized anomaly value, an optimized image patch vector corresponding to the anomaly value.
  • the optimized image patch vector may subsequently be used in generating the anomaly map.
  • step 170 the method 100 generates an anomaly map based on the anomaly values determined for the image sections.
  • anomaly map anomaly values are arranged based on the location information of the image sections.
  • the anomaly map therefore represents a graphical representation of the anomaly values. Since the anomaly values have a direct reference to the image sections of the production object image, the anomaly map can have a resolution that corresponds to a resolution of the production object image. The anomaly map can thus provide a graphical representation that can be used to easily locate defects in the production object. Examples of the present disclosure are described below using the substeps of step 170, for example, to describe how the anomaly map can be generated in detail.
  • step 170 may include a step 171 in which the method 100 creates optimized image sections based on the optimized image section vectors from step 160.
  • the optimized image sections thus represent image sections whose deviation from the at least one reference image section vector has been minimized.
  • the method 100 may then form differences of the optimized image sections and the image sections.
  • the anomaly map may be generated accordingly by arranging the differences according to the location information of the optimized image sections or the image sections. Such generation of the anomaly map may further avoid the representation of pseudo-defects.
  • Step 170 can further comprise a step 173 in which the method 100 weights the image sections with the determined anomaly values.
  • the weighting can, for example, represent the brightness value of the individual image sections. Consequently, anomaly-free image sections can be darkened or hidden using the weighting. In the anomaly map thus generated, only image sections that have an anomaly can be visible.
  • the weighted image sections are in turn arranged in the anomaly map according to the location information.
  • Step 170 may further comprise a step 174 in which the method 100 displays the anomaly values as a respective brightness value at a respective location within the anomaly map.
  • the brightness values are in turn arranged based on respective location information of the image sections corresponding to the anomaly values. Using such an anomaly map, for example, a simple localization of the anomalies is possible, since it enables a simple optical representation of the anomaly locations.
  • the method 100 may finally include a step 180 in which the method 100 classifies anomalies based on the anomaly map, the classification indicating a defect class from a plurality of defect classes.
  • exemplary defect classes may be a light scratch, a deep scratch, and a crack. Due to the consideration of the location information in method 100, the defect classes may be further differentiated with respect to their respective location.
  • the plurality of defect classes may include a light scratch on the lens and a light scratch on the housing.
  • determining the anomaly value refers to detecting an anomaly
  • classification refers to categorizing anomalies following detection. In other words, classifying anomalies presupposes and does not include detection.
  • Fig. 2 shows an example of generating an anomaly map from a manufacturing object image according to the previously discussed method 100. More specifically, Fig. 2 shows a manufacturing object image 210 of a lens and two anomaly maps 220 and 230 of the lens.
  • the manufacturing object image 210 includes a deep scratch, ie an anomaly, and two blurred areas at edges of the lens.
  • the anomaly map 220 represents an example of an anomaly map that was not generated from manufacturing object image 210 using the method 100. Accordingly, anomaly map 220 shows three anomalies 240a, 240b and 250. Anomaly 250 corresponds to the deep scratch. Anomalies 240a and 250b correspond to the two blurred areas at the edges of the lens and thus pseudodefects.
  • the anomaly map 230 generated by the method 100 shows only anomaly 250, ie the deep scratch, and not anomalies 240a and 240b, which correspond only to pseudo defects.
  • the juxtaposition of the anomaly maps 220 and 230 illustrates the advantage of the method 100, ie the generation of a Anomaly map in which the anomalies are shown in comparison to the production object image at the same location and, if applicable, at the same resolution, while simultaneously suppressing pseudo-defects.
  • FIG. 3 shows a computing device 300 that can be used both as a network node 310 and as a client 330.
  • Computing device 300 is therefore configured to carry out method 100.
  • Computing device 300 can include a processor 310, a graphics processing unit (GPU) 320, a main memory 330, a bus 340, a storage 350, a removable storage 360, and a communication interface 370.
  • GPU graphics processing unit
  • the processor 310 may be any type of single-core or multi-core processing unit that uses a reduced instruction set (RISC) or a complex instruction set (CISC).
  • Example RISC processing units include ARM-based cores or RISC V-based cores.
  • Example CISC processing units include x86-based cores or x86-64-based cores.
  • the processor 310 may also be an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA) specifically tailored or programmed to perform the method 100.
  • the processor 310 may execute instructions that cause the computing device 300 to perform the method 300.
  • the processor 310 may be directly connected to one of the components of the computing device 300 or may be directly connected to the memory 330, the GPU 320, and the bus 340.
  • GPU 320 may be any type of processing unit optimized for processing graphics-related instructions or, more generally, for parallel processing of instructions. As such, GPU 320 may execute part or all of method 100 to enable rapid parallel processing of instructions related to the method. For example, GPU 320 could be used to execute steps 120-160 of method 100 for multiple image sections in parallel. GPU 320 may also be used to calculate the reference manufacturing object features in parallel. It should be noted that in some embodiments, processor 310 may determine that GPU 320 does not need to execute instructions related to method 100. GPU 320 may interface directly with one of the components of computing device 100 or directly with processor 310 and memory 330. The GPU 320 may also be connected to a display via connection 320C. In some embodiments, the GPU 320 may also be connected to bus 340.
  • the memory 330 may be any type of fast memory that allows the processor 310 and the GPU 320 to store instructions for quick access during processing of the instructions, as well as to cache and buffer data.
  • the memory 330 may be a unified memory connected to both the processor 310 and the GPU 320, allowing the allocation of the memory 330 to the processor 310 and the GPU 320 as needed.
  • the processor 310 and the GPU 320 may be connected to separate processor memories 330a and GPU memories 330b.
  • the memory 350 may be a storage device that enables the storage of program instructions and other data.
  • the memory 350 may be a hard disk drive, a solid state disk (SSD) device, or another type of non-volatile memory.
  • the memory 350 may store the instructions of the method 100 or manufacturing object images, image section vectors, reference manufacturing object images and associated reference image section vectors, and anomaly maps.
  • the removable storage 360 may be a storage device that can be removably connected to the computing device 300. Examples are a digital versatile disc (DVD), a compact disc (CD), a universal serial bus (USB) storage device such as an external SSD, or a magnetic tape.
  • DVD digital versatile disc
  • CD compact disc
  • USB universal serial bus
  • the removable storage 360 may be used, for example, to store the instructions of the method 100 as well as input and output data of the method 100. Depending on the requirements of the computing device 300, the removable storage 360 may also be omitted.
  • the memory 350 and the removable storage 360 may be connected to the processor 310 via the bus 340.
  • the bus 340 may be any type of bus system that allows the processor 310 and optionally the GPU 320 to communicate with the storage device 350 and the removable storage 360.
  • the bus 340 may be, for example, a Peripheral Component Interconnect Express (PCIe) bus or a Serial AT Attachment (SATA) bus.
  • PCIe Peripheral Component Interconnect Express
  • SATA Serial AT Attachment
  • the communication interface 370 may enable the computing device 300 to communicate with external devices via the connection 370C, either directly or via a network.
  • the communication interface 370 may enable the computing device to connect to a wired or wireless network, such as Ethernet, WiFi, or a Controller Area Network (CAN) bus.
  • CAN Controller Area Network
  • the computing device 300 may receive the network data stream or transmit the read accesses to the network node 310 via the connection 370C when the computing device is used as a client 330.
  • the communication interface may also be a USB port or a serial port to enable direct communication with an external device.
  • a method for generating an anomaly map for detecting defects of a manufacturing object comprises: dividing a manufacturing object image into a plurality of image sections, for each image section determining an image section vector, wherein each element of the image section vector indicates a presence of reference manufacturing object features in the respective image section, encoding location information of the image section in the image section vector, and determining an anomaly value based on the image section vector, wherein the anomaly value indicates a deviation of the image section vector determined based on at least one reference image section vector, and generating the anomaly map based on the anomaly values determined for the image sections, wherein the anomaly values are arranged in the anomaly map based on the location information.
  • each image portion may include at least one pixel of the manufacturing object image.
  • a resolution of the anomaly map may correspond to a resolution of the manufacturing object image.
  • determining the image section vector for a particular image section may include normalizing the image section vector based on the reference manufacturing object features. [0061] In one example, determining the image section vector for a particular image section may further comprise smoothing the normalization of image section vectors based on further image section vectors of further image sections located adjacent to the particular image section.
  • the reference manufacturing object features may correspond to one of: reference image sections from a reference image section library, wherein the reference image sections correspond to image sections of reference manufacturing object images, and wherein the image section vector indicates a weighting of the reference image sections in the respective image section; manufacturing object basis vectors, wherein the manufacturing object basis vectors are determined based on a mean and variances between reference manufacturing object images, wherein the image section vector indicates a weighting of the manufacturing object basis vectors; parameters of a neural network that has been trained with reference manufacturing object images, wherein the parameters are indicative of reference image sections, and wherein the image section vector indicates a result of at least one convolution of the parameters with the respective image section followed by an activation function in each case.
  • encoding the location information of the image portion may include calculating at least one trigonometric value based on the location information and at least one trigonometric function and appending the at least one trigonometric value as a respective entry in the image portion vector.
  • the method may further comprise, for each image portion, determining an optimized anomaly value based on the image portion vector and the determined anomaly value and determining an optimized image portion vector based on the optimized anomaly value and the image portion vector, and generating the anomaly map may further comprise creating optimized image portions based on the optimized image portion vectors and forming differences of the optimized image portions and the image portions, wherein the anomaly map may be generated based on the differences arranged according to the location information.
  • generating the anomaly map may include weighting the image portions with the determined anomaly values, wherein the anomaly map may be generated based on the weighted image portions arranged according to the location information. [0066] In one example, generating the anomaly map may include representing the anomaly values as a respective brightness value at a respective location within the anomaly map based on the respective location information.
  • the reference image portion vector may be generated using unsupervised learning based on a plurality of reference manufacturing object images.
  • the anomaly value may have a natural threshold of deviation, where an amount of the natural threshold may be between zero and a sensitivity parameter.
  • the determination of the anomaly value may be performed by a one class support vector machine -OC-SVM-.
  • the OC-SVM may determine the anomaly value based on a nonlinear activation function.
  • the method may further comprise classifying anomalies based on the anomaly map, wherein the classification may indicate a defect class from a plurality of defect classes.
  • a computing device may be provided that includes at least one central processing unit and a memory, wherein the memory may store instructions that may cause the at least one central processing unit to divide a manufacturing object image into a plurality of image sections; and for each image section: to determine an image section vector, wherein each element of the image section vector indicates a presence of reference manufacturing object features in the respective image section, to encode location information of the image section in the image section vector and determine an anomaly value based on the image section vector, wherein the anomaly value may indicate a deviation of the image section vector that may be determined based on at least one reference image section vector; and to generate the anomaly map based on the anomaly values, wherein the anomaly values may be displayed in the anomaly map based on the location information.
  • the memory may further store instructions that can cause the at least one central processing unit to perform the method of any of claims 1 to 15.

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Die Anmeldung betritt ein Verfahren und eine Vorrichtung zum Erzeugen einer Anomaliekarte zur Detektion von Defekten eines Fertigungsobjekts. Ein Fertigungsobjektbild wird in eine Vielzahl von Bildabschnitten aufgeteilt. Für jeden Bildabschnitt wird dann ein Bildabschnittsvektor bestimmt. Jedes Element des Bildabschnittsvektors gibt eine Anwesenheit von Referenzfertigungsobjektmerkmalen in dem jeweiligen Bildabschnitt an. Weiter wird für jedes Bildelement eine Ortsinformation des Bildabschnitts in dem Bidabschnittsvektor kodiert und ein Anomaliewert basierend auf dem Bildabschnittsvektor bestimmt. Der Anomaliewert gibt eine Abweichung des Bildabschnittsvektors an, die basierend auf mindestens einem Referenzbildabschnittsvektor bestimmt wird. Schließlich wird die Anomaliekarte basierend auf den für die Bildabschnitte bestimmten Anomaliewerten erzeugt. Die Anomaliewerte werden dabei basierend auf den Ortsinformationen in der Anomaliekarte angeordnet.

Description

Beschreibung
Verfahren und Vorrichtung zur Erzeugung von Anomaliekarten von Fertigungsobjekten
TECHNISCHES GEBIET
[0001] Die Anmeldung bezieht sich auf die automatische Erkennung von Defekten an Fertigungsobjekten in der industriellen Massenfertigung.
HINTERGRUND
[0002] Bei der Inspektion von Fertigungsobjekten der industriellen Massenfertigung zur Detektion von Defekten wird zunehmend auf eine automatische Defektdetektion gesetzt. Diese automatische Defektdetektion kann beispielsweise mittels maschinellem Lernen implementiert werden. Bestehende Ansätze zur automatischen Defektdetektion neigen allerdings dazu, feine Unterschiede zwischen Fertigungsobjekte fälschlicherweise als Defekt zu detektieren. Zudem liefern die bestehenden Ansätze keine oder nur ungenaue Informationen hinsichtlich der Position von an den Fertigungsobjekten detektierten Defekten. Dies kann u.a. dadurch bedingt sein, dass die von bestehenden Ansätzen zur automatischen Defektdetektion verwendeten Auflösungen niedriger sein können als die ursprünglichen Auflösungen von Aufnahmen der Fertigungsobjekte.
[0003] Vor diesem Hintergrund ist es ein Ziel der vorliegenden Erfindung, eine verbesserte automatische Erkennung von Defekten an Fertigungsobjekten in der industriellen Massenfertigung bereitzustellen.
ZUSAMMENFASSUNG DER ERFINDUNG
[0004] Um dieses Ziel zu erfüllen, stellt die vorliegende Erfindung ein Verfahren zum Erzeugen einer Anomaliekarte zur Detektion von Defekten eines Fertigungsobjekts zur Verfügung, umfassend Aufteilen eines Fertigungsobjektbildes in eine Vielzahl von Bildabschnitten, für jeden Bildabschnitt Bestimmen eines Bildabschnittsvektors, wobei jedes Element des Bildabschnittsvektors eine Anwesenheit von Referenzfertigungsobjektmerkma- len in dem jeweiligen Bildabschnitt angibt, Kodieren einer Ortsinformation des Bildabschnitts in dem Bildabschnittsvektor und Bestimmen eines Anomaliewerts basierend auf dem Bildabschnittsvektor, wobei der Anomaliewert eine Abweichung des Bildabschnittsvektors angibt, die basierend auf mindestens einem Referenzbildabschnittsvektor bestimmt wird, und Erzeugen der Anomaliekarte basierend auf den für die Bildabschnitte bestimmten Anomaliewerten, wobei die Anomaliewerte basierend auf den Ortsinformationen in der Anomaliekarte angeordnet werden.
[0005] Weiter stellt die Erfindung zur Erfüllung dieses Ziels eine Rechenvorrichtung, umfassend mindestens eine Zentralverarbeitungseinheit und einen Speicher bereit, wobei auf dem Speicher Anweisungen gespeichert sind, die die mindestens eine Zentralverarbeitungseinheit veranlassen zum Aufteilen eines Fertigungsobjektbildes in eine Vielzahl von Bildabschnitten, und für jeden Bildabschnitt: zum Bestimmen eines Bildabschnittsvektors, wobei jedes Element des Bildabschnittsvektors eine Anwesenheit von Referenzfertigungsobjektmerkmalen in dem jeweiligen Bildabschnitt angibt, zum Kodieren einer Ortsinformation des Bildabschnitts in dem Bildabschnittsvektor und Bestimmen eines Anomaliewerts basierend auf dem Bildabschnittsvektor, wobei der Anomaliewert eine Abweichung des Bildabschnittsvektors angibt, die basierend auf mindestens einem Referenzbildabschnittsvektor bestimmt wird sowie zum Erzeugen der Anomaliekarte basierend auf den Anomaliewerten, wobei die Anomaliewerte basierend auf den Ortsinformationen in der Anomaliekarte angezeigt werden.
KURZE BESCHREIBUNG DER FIGUREN
[0006] Ausführungsformen der vorliegenden Erfindung werden nachfolgend mit Bezug zu den angehängten Figuren beschrieben, in denen gleiche Bezugszeichen sich auf gleiche Elemente beziehen.
[0007] Figs. 1A und 1 B zeigen ein Flussdiagram eines Verfahrens zum Erzeugen einer Anomaliekarte zur Detektion von Defekten eines Fertigungsobjekts gemäß Beispielen der vorliegenden Offenbarung.
[0008] Fig. 2 zeigt eine beispielhafte Erzeugung einer Anomaliekarte aus einem Fertigungsobjektbild mittels des Verfahrens der Fig. 1 gemäß Beispielen der vorliegenden Offenbarung. [0009] Fig. 3 zeigt eine beispielhafte Rechenvorrichtung, die zur Ausführung des Verfahrens der Fig. 1 eingerichtet ist gemäß Beispielen der vorliegenden Offenbarung.
[0010] Es sollte verstanden werden, dass das Bereitstellen dieser Figuren nicht beabsichtigt, die vorliegende Offenbarung auf die in den Figuren gezeigten Aspekte zu beschränken. Vielmehr werden diese Figuren bereitgestellt, um beim Verständnis der vorliegenden Erfindung zu helfen. Der Fachmann wird sogleich verstehen, dass Aspekte der vorliegenden Erfindung, die in einer Figur gezeigt werden, mit Aspekten aus einer anderen Figur kombiniert werden können oder dass in einer Figur gezeigte Aspekte weggelassen werden können, ohne sich vom Gegenstand der vorliegenden Offenbarung zu entfernen.
DETAILLIERTE BESCHREIBUNG
[0011] Im Folgenden werden ein Verfahren und eine Vorrichtung dargestellt, die zum Erzeugen einer Anomaliekarte zur Detektion von Defekten eines Fertigungsobjekts eingerichtet sind. Ausgehend von einem Fertigungsobjektbild, d.h. einem Bild eines Fertigungsobjekts, das beispielsweise automatisch am Ende einer Fertigungsstraße aufgenommen wird, wird eine Anomaliekarte erzeugt. Dazu wird das Fertigungsobjektbild zunächst in Bildabschnitte aufgeteilt. Für jeden Bildabschnitt wird sodann jeweils ein Anomaliewert ermittelt. Alle Anomaliewerte werden danach zu der Anomaliekarte zusammengefügt, wobei die Anomaliewerte entsprechend der Position ihrer zugehörigen Bildabschnitte zusammengefügt werden.
[0012] Jeder Anomaliewert wird ausgehend von einer Bestimmung eines Bildabschnittsvektors ermittelt. Die Bildabschnittsvektoren geben die Anwesenheit von Referenzmerkmalen von Referenzfertigungsobjekten sowie eine kodierte Information hinsichtlich der Position der jeweiligen Bildabschnitte in dem Fertigungsobjektbild an. Auf dieser Grundlage geben die jeweiligen Anomaliewerte eine Abweichung der jeweiligen Bildabschnitte des Fertigungsobjektbildes von Referenzfertigungsobjektbildern an.
[0013] Dieses generelle Konzept wird nachfolgend anhand des Flussdiagrams der Fig. 1 und der beispielhaften Erzeugung einer Anomaliekarte der Fig. 2 dargestellt. Des Weiteren beschreibt Fig. 3 eine Vorrichtung zur Ausführung des Verfahrens zum Erzeugen einer Anomaliekarte zur Detektion von Defekten eines Fertigungsobjekts. [0014] Fig. 1 zeigt ein Flussdiagramm eines Verfahrens 100 zum Erzeugen einer Anomaliekarte zur Detektion von Defekten eines Fertigungsobjekts. Unterschritte des Verfahrens werden als innenliegende Kästen in Fig. 1 dargestellt. Optionale Schritte des Verfahrens werden in Fig. 1 durch gestrichelte Kästen angezeigt. Die in Fig. 1 gezeigte Abfolge der Schritte ist nur beispielhaft und kann, je nach den Anforderungen an das Erzeugen der Anomaliekarte, variiert werden.
[0015] In Schritt 110 teilt das Verfahren 100 ein Fertigungsobjektbild in eine Vielzahl von Bildabschnitten.
[0016] Das Fertigungsobjektbild stellt eine Abbildung eines Fertigungsobjekts dar, die beispielsweise von einem Kamerasystem oder einer anderen Bilderfassungsvorrichtung am Ende einer Fertigung des Fertigungsobjekts aufgenommen ist. Das Fertigungsobjektbild kann dementsprechend jede Form von Datei darstellen, die üblicherweise zur Speicherung von Bilddaten verwendet werden, wie beispielsweise komprimierte Dateiformate basierend auf dem Joint Photographie Experts Group (JPEG) Standard oder dem Portable Network Graphics (PNG) Dateiformat, oder unkomprimierte Dateiformate basierend beispielsweise auf dem Tag Image File Format (TI FF) Standard.
[0017] Das Fertigungsobjekt kann jede Art von Objekt darstellen, das durch industrielle Massenfertigung hergestellt wird. Beispielsweise kann es sich bei dem Fertigungsobjekt um eine Linse, ein Objektivgehäuse, eine Fahrzeugtür, ein Fahrzeug, eine unbestückte oder bestückte Platine oder ein Laptopgehäuse handeln.
[0018] Jeder Bildabschnitt der Vielzahl von Bildabschnitten stellt einen Teil des Fertigungsobjektbildes dar, für den jeweils nachfolgend ein Anomaliewert bestimmt wird. Jeder Bildabschnitt kann dabei eine Größe aufweisen, die den Anforderungen an die Genauigkeit der Erzeugung der Anomaliekarte entspricht. In anderen Worten kann jeder Bildabschnitt umso kleiner sein, je höher die Anforderung an die Genauigkeit der Anomaliekarte ist. In manchen Beispielen der vorliegenden Offenbarung kann dementsprechend jeder Bildabschnitt mindestens einen Pixel des Fertigungsobjektbildes umfassen. Jeder Bildabschnitt der Vielzahl von Bildabschnitten kann gleich groß sein. In manchen Beispielen der vorliegenden Offenbarung können die Bildabschnitte auch unterschiedlich groß sein, beispielsweise wenn unterschiedliche Anforderungen an die Genauigkeit der Anomaliekarte für unterschiedliche Bereiche des Fertigungsobjektbildes bestehen. Zudem können sich die Bildabschnitte in einigen Beispielen der vorliegenden Offenbarung teilweise überlappen, um beispielsweise eine Glättung angrenzender Anomaliewerte zu erreichen, wie nachfolgend besprochen werden wird.
[0019] Die nachfolgend beschriebenen Schritte 120 bis 160 werden bzw. können für jeden der Vielzahl von Bildabschnitten durchgeführt werden, wie in Fig. 1A durch die L-för- mige Einrahmung angedeutet.
[0020] In Schritt 120 bestimmt das Verfahren 100 Für jeden Bildabschnitt einen Bildabschnittsvektor. Jedes Element des Bildabschnittsvektors gibt eine Anwesenheit von Referenzfertigungsobjektmerkmalen in dem jeweiligen Bildabschnitt an. Dementsprechend kann jeder Bildabschnittsvektor dargestellt werden als
Figure imgf000007_0001
wobei in Gleichung (1) b der Bildabschnittsvektor und n bis rn die Elemente darstellen, die die Anwesenheit eines einzelnen Referenzfertigungsobjektmerkmals angeben.
[0021] Die Referenzfertigungsobjektmerkmale stellen Merkmale von Referenzfertigungsobjekten dar, die aus Referenzfertigungsobjektbildern bzw. aus Referenzbildabschnitten der Referenzfertigungsobjektbilder bestimmt worden sind. Die Referenzbildabschnitte entsprechen dabei hinsichtlich ihrer Dimensionen und Positionen den entsprechenden Bildabschnitten. Die Referenzfertigungsobjektmerkmale können konkrete Merkmale von Referenzfertigungsobjekten sein, wie beispielsweise immer wiederkehrende Strukturen in den Referenzfertigungsobjektbildern, die durch diverse Bildanalyseverfahren aus den Referenzfertigungsobjektbildern extrahiert worden sind. Alternativ können diese Merkmale auch abstrakte Merkmale von Referenzfertigungsobjekten darstellen, die mittels diverser Bildanalyseverfahren aus den Referenzfertigungsobjekten abgeleitet worden sind. Beispiele der vorliegenden Offenbarung für beide Arten von Referenzfertigungsobjektmerkmalen werden nachfolgend dargestellt.
[0022] In einem Beispiel der vorliegenden Offenbarung entsprechen die Referenzfertigungsobjektmerkmale Referenzbildabschnitten aus einer Referenzbildabschnittbibliothek. Die Referenzbildabschnitte der Referenzbildabschnittbibliothek entsprechen Bildabschnitten der Referenzfertigungsobjektbilder. In anderen Worten stellen die Referenzbildabschnitte gängige Bildabschnitte der Referenzfertigungsobjekte dar, wie beispielsweise wiederkehrende Kanten oder texturierte Flächenabschnitte. Die Referenzbildabschnittbibliothek wird dementsprechend bestimmt, indem ein Satz von Referenzfertigungsbildern hinsichtlich wiederkehrender Merkmale analysiert wird. Für jedes wiederkehrende Merkmal wird dann ein Referenzbildabschnitt aus dem Satz von Referenzfertigungsbildern extrahiert. Der Bildabschnittsvektor dieses Beispiels der vorliegenden Offenbarung gibt somit eine Gewichtung der Referenzbildabschnitte in dem jeweiligen Bildabschnitt und damit eine Kombination der Referenzbildabschnitte in dem Bildabschnitt an. In anderen Worten beinhaltet der Bildabschnittsvektor bei einer Anzahl von n Referenzbildabschnitten die Elemente n bis rn, die für jeden Referenzbildabschnitt jeweils dessen Gewichtung in dem Bildabschnitt angeben. Diese Gewichtung kann beispielsweise mittels Faltung des Bildabschnitts mit dem jeweiligen Referenzbildabschnitt bestimmt werden.
[0023] In einem Beispiel der vorliegenden Offenbarung entsprechen die Referenzfertigungsobjektmerkmale Fertigungsobjektbasisvektoren. Die Fertigungsobjektbasisvektoren werden bestimmt basierend auf einem Mittelwert und Varianzen zwischen Referenzfertigungsobjektbildern. In anderen Worten spannen die Fertigungsobjektbasisvektoren eine Basis auf, die die Referenzbildabschnitte der Referenzfertigungsobjektbilder beschreibt. Ein erster Fertigungsobjektbasisvektor entspricht dabei beispielsweise einem Vektor, der in die Richtung der Eigenschaften der Referenzbildabschnitte, d.h. beispielsweise von Pixelwerten der Referenzbildabschnitte, zeigt, die den größten Beitrag zur Varianz der Eigenschaften des jeweiligen Referenzbildabschnitts liefern. Ein zweiter Fertigungsobjektbasisvektor entspricht demzufolge dem zweitgrößten Beitrag. Diese Fertigungsobjektbasisvektoren können beispielsweise bestimmt werden, indem für alle Referenzbildabschnitte des Satzes an Referenzfertigungsobjektbildern eine jeweilige Kovarianzmatrix bestimmt wird. Die Eigenvektoren der jeweiligen Kovarianzmatrix stellen dann die Fertigungsobjektbasisvektoren dar. Der Bildabschnittsvektor dieses Beispiels der vorliegenden Offenbarung gibt somit eine Gewichtung der Fertigungsobjektbasisvektoren an. In anderen Worten bildet der Bildabschnittsvektor dieses Beispiels der vorliegenden Offenbarung den Bildabschnitt auf die von den Fertigungsobjektbasisvektoren gebildete Basis ab. Die Elemente n bis rn des Bildabschnittsvektors dieses Beispiels der vorliegenden Offenbarung geben somit anhand der Fertigungsobjektbasisvektoren an, welche Eigenschaften der Referenzbildabschnitte in welchem Maße in dem Bildabschnitt vorhanden sind.
[0024] In einem Beispiel der vorliegenden Offenbarung entsprechen die Referenzfertigungsobjektmerkmale Parametern eines neuronalen Netzes, das mit Referenzfertigungsobjektbildern trainiert worden ist. Die Parameter des so trainierten neuronalen Netzes sind auf die Referenzbildabschnitte hinweisend. Demnach entsprechen die Referenzfertigungsobjektmerkmale in diesem Beispiel der vorliegenden Offenbarung mindestens den Gewichtungen aller Kanten zwischen Knoten der jeweiligen Schichten des neuronalen Netzes nachdem das neuronale Netz mit dem Satz von Referenzfertigungsobjektbildern trainiert worden ist. Somit gibt der Bildabschnittsvektor dieses Beispiels der vorliegenden Offenbarung ein Ergebnis von mindestens einer Faltung der Parameter mit dem Bildabschnitt gefolgt von jeweils einer Aktivierungsfunktion an. Die Aktivierungsfunktion kann beispielsweise eine Sigmoidfunktion oder eine Gleichrichtungsfunktion sein, die jeweils entweder null oder das Produkt einer Aktivierung eines vorangegangenen Knotens mit einerjeweiligen Kantengewichtung ausgibt, je nachdem, welcher Wert größer ist. Die Anzahl der Paare von Faltung und Aktivierungsfunktion hängt dabei von der Anzahl der Schichten der jeweiligen Implementierung des neuronalen Netzes ab. In anderen Worten geben die Elemente n bis rn des Bildabschnittsvektors dieses Beispiels der vorliegenden Offenbarung eine Aktivierung aller Knoten n der letzten Schicht des neuronalen Netzes an.
[0025] Da die Referenzbildabschnitte mittels Referenzfertigungsobjektbildern bestimmt werden, können die Referenzbildabschnitte eine Auflösung aufweisen, die der der Referenzfertigungsobjektbilder und damit des Fertigungsobjektbilds entspricht. Somit kann ein Bildabschnittsvektor, der eine Gewichtung von Referenzbildabschnitten angibt, um die Anwesenheit von Referenzobjektmerkmalen in dem Bildabschnitt anzugeben, es ermöglichen, dass die schlussendlich erzeugte Anomaliekarte eine Auflösung aufweist, die der des Fertigungsobjektmerkmals entspricht. Weiter kann ein solcher Bildabschnittsvektor die Trennbarkeit der Referenzfertigungsobjektmerkmale von Anomalien erhöhen, womit ein solcher Bildabschnittsvektor die Erkennung von Anomalien und damit die Bestimmung von Anomaliewerten verbessern kann. Weiter kann im Rahmen der Erzeugung der Anomaliekarten das Fertigungsbild zur weiteren Verbesserung der Referenzfertigungsobjektmerkmale verwendet werden, um die Referenzfertigungsobjektmerkmale entsprechend der oben besprochenen Ansätze zur Bestimmung der Referenzfertigungsobjektmerkmale zu verbessern.
[0026] Schritt 120 kann einen Schritt 121 beinhalten, in dem das Verfahren 100 den Bildabschnittsvektor basierend auf den Referenzfertigungsobjektmerkmalen normiert. Beispielsweise kann im Rahmen der oben besprochenen Ermittlung der Referenzfertigungsobjektmerkmale aus den Referenzfertigungsobjektbildern ein gemittelter Referenzbildab- schnittsvektor bestimmt werden. Der gemittelte Referenzbildabschnittsvektor kann dementsprechend einen Mittelwert der Anwesenheit der Referenzfertigungsobjektmerkmale in den jeweiligen Referenzbildabschnitten der Referenzfertigungsobjektbilder angeben, die dem Bildabschnitt entsprechen. Die einzelnen Elemente des Bildabschnittsvektors können dann in Schritt 120 basierend auf beispielsweise den entsprechenden Elementen des gemittelten Referenzbildabschnittsvektors oder der Länge des gemittelten Referenzbildabschnittsvektors normiert werden. Diese Normierung kann die nachfolgende Bestimmung von Anomaliewerten verbessern, insbesondere hinsichtlich schwacher Anomalien bzw. schwacher Defekte.
[0027] Schritt 120 kann weiter einen Schritt 122 beinhalten, in dem das Verfahren 100 die Normierung von Bildabschnittsvektoren glättet. Diese Glättung kann basierend auf weiteren Bildabschnittsvektoren weiterer Bildabschnitte, die benachbart zu dem Bildabschnitt angeordnet sind erfolgen. Durch die Glättung können Unterschiede zwischen benachbarten Bildabschnittsvektoren teilweise angeglichen werden, die sich andernfalls auf die nachfolgende Bestimmung der Anomaliewerte auswirken würde. Dazu können beispielsweise die gemittelten Referenzbildabschnittsvektoren bereits vorab geglättet sein oder benachbarte Bildabschnittsvektoren können hinsichtlich ihrer einzelnen Elemente angeglichen werden. Dies kann beispielsweise erfolgen, indem für jedes Element die Summe bestehend aus dem Abstand des Elements zu dem entsprechenden Element des gemittelten Referenzbildabschnittsvektors und der totalen Variation des gemittelten Referenzbildabschnittsvektors minimiert wird.
[0028] In Schritt 130 kodiert das Verfahren 100 eine Ortsinformation des Bildabschnitts in dem Bildabschnittsvektor. Die Ortsinformationen geben dabei eine Position des Bildabschnitts innerhalb des Fertigungsobjektbildes an. Beispielsweise können die Ortsinformationen jeweils die Position von Pixeln in dem Fertigungsobjektbild, bei Bildabschnitten, die größer sind als ein einzelnes Pixel ggf. mit einem Versatz, der eine Höhe und Breite des Bildabschnitts beschreibt, angeben. Die Ortsinformationen können beispielsweise auch eine vordefinierte Nummerierung der Bildabschnitte angeben, d.h. bei einer Aufteilung des Fertigungsobjektbildes in 8 Bildabschnitte, die von null bis sieben durchnummeriert sind, könnte fünf den Bildabschnitt in der unteren linken Ecke bezeichnen.
[0029] Das Kodieren der Ortsinformationen in dem Bildabschnittsvektor ermöglicht es, bei der nachfolgenden Bestimmung des Anomaliewerts den Ort des Bildabschnitts zu berücksichtigen. Beispielsweise kann an einem Ort eine Abweichung des Bildabschnittsvektors, der dem Bildabschnitt an dem Ort entspricht, von mindestens einem Referenzbildabschnittsvektor eine Anomalie darstellen, während eine ähnliche Abweichung eines weiteren Bildabschnittsvektors von mindestens einem weiteren Referenzbildabschnittsvektor an einem anderen Ort keine Anomalie darstellt. Beispielsweise kann ein Bildabschnitt eine vordere Linse eines Objektivs zeigen, die einen feinen Kratzer aufweist. Dieser feine Kratzer bedeutet, dass das entsprechende Fertigungsobjekt, d.h. das Objektiv bestehend aus Gehäuse und Linse, einen gravierenden Defekt aufweist. Dementsprechend ist die Abweichung des Bildabschnittsvektors von dem mindestens einen Referenzbildabschnittsvektor, die von dem feinen Kratzer auf der Linse hervorgerufen wird, als Anomalie zu werten. Im Vergleich dazu kann ein Bildabschnitt einen Abschnitt eines Gehäuses eines weiteren Fertigungsobjekts, d.h. eines weiteren Objektivs, zeigen, das ebenfalls einen feinen Kratzer aufweist. Dieser feine Kratzer bedeutet im Gegensatz zu dem feinen Krater auf der vorderen Linse keinen Defekt. Dementsprechend ist eine Abweichung des Bildabschnittsvektors von dem mindestens einen weiteren Referenzbildabschnittsvektor, die von dem feinen Kratzer auf dem Abschnitt des Gehäuses hervorgerufen wird, nicht als Anomalie zu werten. Wie dieses Beispiel zeigt, kann folglich die gleiche Abweichung an unterschiedlichen Orten innerhalb des Fertigungsobjekts eine Anomalie oder keine Anomalie bedeuten. Um diesem Umstand Rechnung zu tragen, wird die Ortsinformation in dem Bildabschnittsvektor kodiert.
[0030] Um die Ortsinformation in dem Bildabschnittsvektor zu kodieren, kann das Verfahren 130 einen Schritt 130 beinhalten, in dem das Verfahren 100 mindestens einen trigonometrischen Wert basierend auf der Ortsinformation und mindestens einer trigonometrischen Funktion berechnet. Beispielsweise können Pixelwerte oder eine andere Art der Angabe der Ortsinformation als Operand der mindestens einen trigonometrischen Funktion verwendet werden, um den mindestens einen trigonometrischen Funktion zu berechnen. Dies begrenzt den Wert der in dem Bildabschnittsvektor auf einen Bereich zwischen minus 1 und plus 1. In manchen Beispielen der vorliegenden Offenbarung kann dies die Bestimmung des Anomaliewerts unter Berücksichtigung der Ortsinformationen verbessern.
[0031] Weiter können die Pixelwerte oder die andere Art der Angabe der Ortsinformation als Operand mehrerer trigonometrischen Funktionen mit beispielsweise unterschiedlichen Frequenzen verwendet werden, um die Orts information durch eine Vielzahl von trigonometrischen Werten zu kodieren. Damit kann beispielsweise erreicht werden, dass benachbarte Ortsinformationen, beispielsweise von Bildabschnitt bei Pixel 5347 zu Bildabschnitt bei Pixel 5348 oder von Bildabschnitt 4 zu Bildabschnitt 5, die sich tatsächlich nur in einer Position bzw. um die Zahl 1 unterscheiden, so kodiert werden, dass sich die kodierten benachbarten Ortsinformationen in mehr als einer Position unterscheiden. In manchen Beispielen der vorliegenden Offenbarung kann dies die Berücksichtigung der Ortsinformation bei der Bestimmung des Anomaliewerts verbessern, da selbst kleine Ortsunterschiede zu großen Unterschieden bei den Elementen des Bildabschnittsvektors führen.
[0032] Um die mittels des mindestens einen trigonometrischen Werts kodierte Ortsinformation in den Bildabschnittsvektor aufzunehmen, kann Schritt 130 weiter einen Schritt 132 beinhalten, in dem das Verfahren 100 den mindestens einen trigonometrischen Wert als ein jeweiliger Eintrag in dem Bildabschnittsvektor anhängt. Dies ist nachfolgend in Gleichung (2) veranschaulicht.
Figure imgf000012_0001
Gleichung (2) zeigt Bildabschnittsvektor b, der neben den Elementen n bis rn der Gleichung (1) die Elemente h bis lm aufweist, die die Ergebnisse der m trigonometrischen Funktionen darstellen, mittels der beispielsweise die Ortsinformation des Bildabschnitts kodiert werden kann.
[0033] Die Schritte 131 und 132 beschreiben eine Kodierung der Ortsinformation mittels mindestens eines trigonometrischen Werts bzw. einer trigonometrischen Funktion. Es sollte verstanden werden, dass solch eine Kodierung mittels mindestens einer trigonometrischen Funktion nur ein Beispiel der vorliegenden Offenbarung darstellt. Andere Funktionen, die die Ortsinformationen in einem Wert zwischen minus 1 und plus 1 kodieren können, können anstatt oder zusammen mit trigonometrischen Funktionen verwendet werden. Beispielsweise können Polynome, Wavelets oder Frequenzanalysefunktionen verwendet werden, um die Ortsinformationen auf die gleiche Weise zu kodieren wie im Kontext trigonometrischer Funktionen beschrieben.
[0034] In Schritt 140 bestimmt das Verfahren 100 einen Anomaliewert basierend auf dem Bildabschnittsvektor. Allgemein beschreibt der Anomaliewert, ob in dem Bildabschnitt eine Abweichung von den dem Bildabschnitt entsprechenden Referenzbildabschnitten der Referenzfertigungsobjektbilder vorliegt. Folglich gibt der Anomaliewert eine Abweichung des Bildabschnittsvektors an, die basierend auf mindestens einem Referenzbildabschnittsvektor bestimmt wird. Die Referenzbildabschnittsvektoren für die Referenzbildabschnitte der Fertigungsobjektbilder können beispielsweise mittels eines nicht überwachten Lernens bestimmt werden.
[0035] Der mindestens eine Referenzbildabschnittsvektor kann beispielsweise der bereits zu Schritt 121 besprochene gemittelte Referenzbildabschnittsvektor sein, der sich als Mittelwert aus allen Referenzbildabschnittsvektoren ergibt, die für den Bildabschnitt aus den Referenzfertigungsobjektbildern erzeugt worden sind. In diesem Beispiel der vorliegenden Offenbarung ergibt sich der Anomaliewert aus der Distanz zwischen dem Bildabschnittsvektor und dem gemittelten Referenzbildabschnittsvektor.
[0036] Der mindestens eine Referenzbildabschnittsvektor kann sich beispielsweise auf alle oder einen Teil aller Referenzbildabschnittsvektoren beziehen, die für den Bildabschnitt aus den Referenzfertigungsobjektbildern erzeugt worden sind. In diesem Beispiel der vorliegenden Offenbarung wird der Anomaliewert ermittelt, indem zunächst ein Gebiet bestimmt wird, das von den Referenzbildabschnittsvektoren aufgespannt wird. Der Anomaliewert ergibt sich in diesem Beispiel der vorliegenden Offenbarung dann aus der Distanz des Bildabschnittsvektors von der Grenze dieses Gebiets. Dieses Gebiet kann beispielsweise durch eine Summe an Gaussverteilungen angenähert werden. Der Abstand und damit der Anomaliewert ergibt sich dann aus dem negativen Logarithmus der Wahrscheinlichkeit eines Punkts auf der durch die Summe an Gaussverteilungen angenäherte Grenze.
[0037] Der Anomaliewert kann einen natürlichen Schwellwert der Abweichung aufweisen. Der Betrag des natürlichen Schwellwerts kann zwischen null und einem Sensitivitätspara- meter liegen. In anderen Worten kann der natürliche Schwellwert beispielsweise null betragen, d.h. dass, sobald eine Abweichung vorliegt, eine Anomalie vorliegt. Der natürliche Schwellwert kann auch durch den Sensitivitätsparameter auf beispielsweise unter null gesetzt werden, falls eine höhere Sensitivität der Anomalie- bzw. Defektdetektion erforderlich ist. Der natürliche Schwellwert kann auch durch den Sensitivitätsparameter auf beispielsweise über null gesetzt werden, falls eine niedrigere Sensitivität der Anomalie- bzw. Defektdetektion erforderlich ist. [0038] Folglich ist im Kontext der vorliegenden Offenbarung unter Anomalie ein Defekt zu verstehen, der vorliegt, sobald der Anomaliewert, der die Abweichung des Bildabschnittsvektors von dem mindestens einen Referenzbildabschnittsvektor angibt, einen Wert erreicht, der einem Defekt entspricht. Dies kann, je nach Implementierung der vorliegenden Offenbarung, der Fall bei jeder Form der Abweichung sein oder wenn die Abweichung einen Schwellwert unter- bzw. überschreitet.
[0039] Die Bestimmung des Anomaliewerts kann beispielsweise durch eine one class support vector machine (OC-SVM) ausgeführt werden. Die OC-SVM kann den Anomaliewert beispielsweise basierend auf einer nicht-linearen Aktivierungsfunktion bestimmen. Der Einsatz einer OC-SVM kann die Bestimmung des Anomaliewerts verbessern, da in modernen Massenfertigungen nur wenige Fertigungsobjekte einen Defekt aufweisen, beispielsweise nur 5% aller Fertigungsobjekte oder weniger. Die OC-SVM kann eingerichtet sein, nur selten in einem Datensatz, wie einem Satz von Fertigungsobjektbildern, vorkommende Abweichungen zu detektieren.
[0040] Die Bestimmung des Anomaliewerts in Schritt 140 mittels der Abweichung des Bildabschnittsvektors von dem mindestens einen Referenzbildabschnittsvektor führt dazu, dass das Verfahren 100 zwischen Pseudodefekten und tatsächlichen Defekten unterscheiden kann. Unter Pseudodefekten sind im Kontext der vorliegenden Offenbarung Abweichungen zwischen Fertigungsobjekten bzw. Fertigungsobjektbildern und Referenzfertigungsobjekten bzw. Referenzfertigungsobjektbildern zu verstehen, die sich beispielsweise durch kleinere Fertigungsunterschiede an Kanten oder Rändern von Fertigungsobjekten oder kleinere Artefakte in den Fertigungsobjektbildern ergeben. Die Bestimmung des Anomaliewerts in Schritt 140 ist so eingerichtet, dass solche Abweichungen, die Pseudodefekten entsprechen, nicht als Anomalie gewertet werden. Dies wird nachfolgend beispielhaft in Fig. 2 gezeigt.
[0041] Verfahren 100 kann weiter einen Schritt 150 beinhalten, in dem das Verfahren 100 einen optimierten Anomaliewert basierend auf dem Bildabschnittsvektor und dem bestimmten Anomaliewert bestimmt. In anderen Worten kann das Verfahren 100 im Anschluss an das Bestimmen des Anomaliewerts in Schritt 140 den bestimmten Anomaliewert optimieren, indem es einen minimal möglichen Anomaliewert ausgehend von dem Bildabschnittsvektor bestimmt. Diesen optimierten Anomaliewert kann das Verfahren 100 nachfolgend in Schritt 160 verwenden, um einen optimierten Bildabschnittsvektor basie- rend auf dem optimierten Anomaliewert und dem Bildabschnittsvektor zu bestimmen. Anders ausgedrückt kann das Verfahren in Schritt 160, ausgehend von dem optimierten Anomaliewert einen dem Anomaliewert entsprechenden optimierten Bildabschnittsvektor bestimmen. Der optimierte Bildabschnittsvektor kann nachfolgend bei der Erzeugung der Anomaliekarte verwendet werden.
[0042] In Schritt 170 erzeugt das Verfahren 100 eine Anomaliekarte basierend auf den für die Bildabschnitte bestimmten Anomaliewerten. Innerhalb der Anomaliekarte werden dabei Anomaliewerte basierend auf den Ortsinformationen der Bildabschnitte angeordnet. Die Anomaliekarte stellt demnach eine grafische Darstellung der Anomaliewerte dar. Da über die Anomaliewerte ein direkter Bezug zu den Bildabschnitten des Fertigungsobjektbildes besteht, kann die Anomaliekarte eine Auflösung aufweisen, die einer Auflösung des Fertigungsobjektbildes entspricht. Die Anomaliekarte kann somit eine grafische Darstellung bereitstellen, anhand der Defekte des Fertigungsobjekts einfach zu lokalisieren sind. Nachfolgend werden anhand der Unterschritte des Schrittes 170 Beispiele der vorliegenden Offenbarung beschrieben, wie die Anomaliekarte beispielsweise im Detail erzeugt werden kann.
[0043] Dementsprechend kann Schritt 170 einen Schritt 171 umfassen, in dem das Verfahren 100 optimierte Bildabschnitte basierend auf den optimierten Bildabschnittsvektoren aus Schritt 160 erstellt. Die optimierten Bildabschnitte stellen folglich Bildabschnitte dar, deren Abweichung von dem mindestens einen Referenzbildabschnittsvektor minimiert worden ist. In einem weiteren Schritt 172, kann dann das Verfahren 100 Differenzen der optimierten Bildabschnitte und der Bildabschnitte bilden. Die Anomaliekarte kann dementsprechend erzeugt werden, indem die Differenzen gemäß den Ortsinformationen der optimierten Bildabschnitte bzw. der Bildabschnitte angeordnet werden. Eine solche Erzeugung der Anomaliekarte kann die Darstellung von Pseudodefekten weiter vermeiden.
[0044] Schritt 170 kann weiter einen Schritt 173 umfassen, in dem das Verfahren 100 die Bildabschnitte mit den bestimmten Anomaliewerten gewichtet. Die Gewichtung kann beispielsweise den Helligkeitswert der einzelnen Bildabschnitte darstellen. Folglich können mittels der Gewichtung anomaliefreie Bildabschnitte verdunkelt bzw. ausgeblendet werden. In der so erzeugten Anomaliekarte können somit nur Bildabschnitte sichtbar sein, die eine Anomalie aufweisen. Die gewichteten Bildabschnitte werden wiederum in der Anomaliekarte gemäß den Ortsinformationen angeordnet. [0045] Schritt 170 kann weiter einen Schritt 174 umfassen, in dem das Verfahren 100 die Anomaliewerte als ein jeweiliger Helligkeitswert an einem jeweiligen Ort innerhalb der Anomaliekarte wiedergibt. Die Helligkeitswerte werden wiederum basierend auf jeweiligen Ortsinformationen der den Anomaliewerten entsprechenden Bildabschnitte angeordnet. Mittels einer solchen Anomaliekarte ist beispielsweise eine einfache Lokalisation der Anomalien möglich, da sie eine einfach optische Darstellung der Anomalieorte ermöglicht.
[0046] Das Verfahren 100 kann schließ einen Schritt 180 umfassen, in dem das Verfahren 100 Anomalien klassifiziert basierend auf der Anomaliekarte, wobei die Klassifikation eine Defektklasse aus einer Vielzahl von Defektklassen angibt. Im Kontext von Linsen können beispielhafte Defektklassen ein leichter Kratzer, ein tiefer Kratzer und ein Sprung sein. Aufgrund der Berücksichtigung der Ortsinformationen in Verfahren 100 können die Defektklassen weiter hinsichtlich ihres jeweiligen Ortes ausdifferenziert sein. So kann im Kontext von Objektiven die Vielzahl an Defektklassen beispielsweise einen leichten Kratzer auf der Linse und einen leichten Kratzer auf dem Gehäuse beinhalten. Hinsichtlich des Schritts 180 sollte zudem verstanden werden, dass im Kontext der vorliegenden Offenbarung die Bestimmung des Anomaliewerts sich auf die Erkennung einer Anomalie bezieht, wohingegen sich die Klassifizierung auf die Einteilung von Anomalien im Anschluss an deren Erkennung bezieht. In anderen Worten setzt die Klassifizierung von Anomalien deren Erkennung voraus und beinhaltet sie nicht.
[0047] Fig. 2 zeigt eine beispielhafte Erzeugung einer Anomaliekarte aus einem Fertigungsobjektbild gemäß des zuvor besprochenen Verfahrens 100. Genauer zeigt Fig. 2 ein Fertigungsobjektbild 210 einer Linse sowie zwei Anomaliekarten 220 und 230 der Linse. Das Fertigungsobjektbild 210 beinhaltet einen tiefen Kratzer, d.h. eine Anomalie, sowie zwei unscharfe Bereiche an Kanten der Linse. Die Anomaliekarte 220 stellt ein Beispiel einer Anomaliekarte dar, die nicht mittels des Verfahrens 100 aus Fertigungsobjektbild 210 erzeugt worden ist. Dementsprechend zeigt Anomaliekarte 220 drei Anomalien 240a, 240b und 250. Anomalie 250 entspricht dem tiefen Kratzer. Anomalien 240a und 250b entsprechen den zwei unscharfen Bereichen an den Kanten der Linse und damit Pseudodefekten. Die Anomaliekarte 230, die mittels des Verfahrens 100 erzeugt worden ist, zeigt nur Anomalie 250, d.h. den tiefen Kratzer und nicht Anomalien 240a und 240b, die nur Pseudodefekten entsprechen. Demnach veranschaulicht die Nebeneinanderstellung der Anomaliekarten 220 und 230 den Vorteil des Verfahrens 100, d.h. die die Erzeugung einer Anomaliekarte, in der die Anomalien im Vergleich zum Fertigungsobjektbild an dem gleichen Ort und ggf. in gleicher Auflösung gezeigt werden, bei gleichzeitiger Unterdrückung von Pseudodefekten.
[0048] Fig. 3 zeigt eine Rechenvorrichtung 300, die sowohl als Netzwerkknoten 310 als auch als Client 330 eingesetzt werden kann. Rechenvorrichtung 300 ist demnach zur Durchführung des Verfahrens 100 konfiguriert. Die Rechenvorrichtung 300 kann einen Prozessor 310, eine Grafikverarbeitungseinheit (graphics processing unit, GPU) 320, einen Arbeitsspeicher 330, einen Bus 340, einen Speicher 350, einen Wechselspeicher 360, und eine Kommunikationsschnittstelle 370 umfassen.
[0049] Der Prozessor 310 kann jede Art von Einkern- oder Mehrkern-Verarbeitungseinheit sein, die einen reduzierten Befehlssatz (reduced instruction set, RISC) oder einen komplexen Befehlssatz (complex instruction set, CISC) verwendet. Exemplarische RISC- Verarbeitungseinheiten umfassen ARM-basierte Kerne oder RISC V-basierte Kerne. Zu den beispielhaften CISC-Verarbeitungseinheiten gehören x86-basierte Kerne oder x86- 64-basierte Kerne. Der Prozessor 310 kann ferner eine anwendungsspezifische integrierte Schaltung (application specific integrated circuit, ASIC) oder ein feldprogrammierbares Gate-Array (field programmable gate array, FPGA) sein, die speziell auf die Durchführung des Verfahrens 100 zugeschnitten bzw. programmiert ist. Der Prozessor 310 kann Befehle ausführen, die die Rechenvorrichtung 300 veranlassen, das Verfahren 300 durchzuführen. Der Prozessor 310 kann direkt mit einer der Komponenten der Rechenvorrichtung 300 verbunden sein oder direkt mit dem Speicher 330, der GPU 320 und dem Bus 340 verbunden sein.
[0050] GPU 320 kann jede Art von Verarbeitungseinheit sein, die für die Verarbeitung von grafikbezogenen Anweisungen oder allgemeiner für die parallele Verarbeitung von Anweisungen optimiert ist. Als solche kann die GPU 320 einen Teil oder das gesamte Verfahren 100 ausführen, um eine schnelle parallele Verarbeitung von Anweisungen in Bezug auf das Verfahren zu ermöglichen. Beispielsweise könnte GPU 320 dazu verwendet werden, die Schritte 120 bis 160 des Verfahrens 100 für mehrere Bildabschnitte parallel auszuführen. GPU 320 kann zudem verwendet werden, um die Referenzfertigungsobjektmerkmale parallel zu berechnen. Es sollte beachtet werden, dass der Prozessor 310 in einigen Ausführungsformen bestimmen kann, dass die GPU 320 keine Anweisungen in Bezug auf das Verfahren 100 ausführen muss. Die GPU 320 kann direkt mit einer der Komponenten der Rechenvorrichtung 100 oder direkt mit dem Prozessor 310 und dem Speicher 330 verbunden sein. Die GPU 320 kann auch über die Verbindung 320C mit einem Display verbunden sein. In einigen Ausführungsformen kann die GPU 320 auch mit dem Bus 340 verbunden sein.
[0051] Bei dem Speicher 330 kann es sich um jede Art von schnellem Speicher handeln, der es dem Prozessor 310 und der GPU 320 ermöglicht, Befehle für den schnellen Zugriff während der Verarbeitung der Befehle zu speichern sowie Daten zu zwischenzuspeichern und zu puffern. Der Speicher 330 kann ein einheitlicher Speicher sein, der sowohl mit dem Prozessor 310 als auch mit der GPU 320 verbunden ist und die Zuweisung des Speichers 330 an den Prozessor 310 und an die GPU 320 nach Bedarf ermöglicht. Alternativ können der Prozessor 310 und die GPU 320 mit getrennten Prozessorspeichern 330a und GPU-Speichern 330b verbunden sein.
[0052] Der Speicher 350 kann ein Speichergerät sein, das die Speicherung von Programmanweisungen und anderen Daten ermöglicht. Zum Beispiel kann der Speicher 350 ein Festplattenlaufwerk, eine Festkörperspeichervorrichtung (Solid State Disk, SSD) oder ein anderer Typ eines nichtflüchtigen Speichers sein. Auf dem Speicher 350 können beispielsweise die Anweisungen des Verfahrens 100 oder Fertigungsobjektbilder, Bildabschnittsvektoren, Referenzfertigungsobjektbilder und dazugehörige Referenzbildabschnittsvektoren und Anomaliekarten gespeichert werden.
[0053] Der Wechselspeicher 360 kann ein Speichergerät sein, das abnehmbar mit der Rechenvorrichtung 300 verbunden werden kann. Beispiele sind eine Digital Versatile Disc (DVD), eine Compact Disc (CD), ein Universal Serial Bus (USB)-Speichergerät, wie eine externe SSD, oder ein Magnetband. Der Wechselspeicher 360 kann beispielsweise verwendet werden, um die Anweisungen des Verfahrens 100 sowie Eingabe- und Ausgabedaten des Verfahrens 100 zu speichern. Je nach Anforderungen an die Rechenvorrichtung 300 kann Wechselspeicher 360 auch weggelassen werden.
[0054] Der Speicher 350 und der Wechselspeicher 360 können über den Bus 340 mit dem Prozessor 310 verbunden sein. Bei dem Bus 340 kann es sich um jede Art von Bussystem handeln, das es dem Prozessor 310 und optional der GPU 320 ermöglicht, mit der Speichereinrichtung 350 und dem Wechselspeicher 360 zu kommunizieren. Der Bus 340 kann beispielsweise ein Peripheral Component Interconnect Express (PCIe)-Bus oder ein Serial AT Attachment (SATA)-Bus sein. [0055] Die Kommunikationsschnittstelle 370 kann es der Rechenvorrichtung 300 ermöglichen, über die Verbindung 370C mit externen Geräten zu kommunizieren, entweder direkt oder über ein Netzwerk. Die Kommunikationsschnittstelle 370 kann es der Rechenvorrichtung beispielsweise ermöglichen, sich mit einem drahtgebundenen oder drahtlosen Netzwerk zu verbinden, wie z. B. Ethernet, Wifi oder einem Controller Area Network (CAN)- Bus. Beispielsweise kann die Rechenvorrichtung 300 über die Verbindung 370C den Netzwerkdatenstrom empfangen oder die Lesezugriffe an den Netzwerkknoten 310 übertragen, wenn die Rechenvorrichtung als Client 330 eingesetzt wird. Die Kommunikationsschnittstelle kann auch ein USB-Anschluss oder ein serieller Anschluss sein, um eine direkte Kommunikation mit einem externen Gerät zu ermöglichen.
[0056] Die Erfindung wird weiter durch die nachfolgenden Beispiele veranschaulicht.
[0057] In einem Beispiel umfasst ein Verfahren zum Erzeugen einer Anomaliekarte zur Detektion von Defekten eines Fertigungsobjekts: Aufteilen eines Fertigungsobjektbildes in eine Vielzahl von Bildabschnitten, für jeden Bildabschnitt Bestimmen eines Bildabschnittsvektors, wobei jedes Element des Bildabschnittsvektors eine Anwesenheit von Referenzfertigungsobjektmerkmalen in dem jeweiligen Bildabschnitt angibt, Kodieren einer Ortsinformation des Bildabschnitts in dem Bildabschnittsvektor, und Bestimmen eines Anomaliewerts basierend auf dem Bildabschnittsvektor, wobei der Anomaliewert eine Abweichung des Bildabschnittsvektors angibt, die basierend auf mindestens einem Referenzbildabschnittsvektor bestimmt wird, und Erzeugen der Anomaliekarte basierend auf den für die Bildabschnitte bestimmten Anomaliewerten, wobei die Anomaliewerte basierend auf den Ortsinformationen in der Anomaliekarte angeordnet werden.
[0058] In einem Beispiel kann jeder Bildabschnitt mindestens einen Pixel des Fertigungsobjektbildes umfassen.
[0059] In einem Beispiel kann eine Auflösung der Anomaliekarte einer Auflösung des Fertigungsobjektbildes entsprechen.
[0060] In einem Beispiel kann das Bestimmen des Bildabschnittsvektors für einen bestimmten Bildabschnitt ein Normieren des Bildabschnittsvektors basierend auf den Referenzfertigungsobjektmerkmalen umfassen. [0061] In einem Beispiel kann das Bestimmen des Bildabschnittsvektors für einen bestimmten Bildabschnitt weiter ein Glätten der Normierung von Bildabschnittsvektoren basierend auf weiteren Bildabschnittsvektoren weiterer Bildabschnitte, die benachbart zu dem bestimmten Bildabschnitt angeordnet sind, umfassen.
[0062] In einem Beispiel können die Referenzfertigungsobjektmerkmale einem entsprechen von: Referenzbildabschnitten aus einer Referenzbildabschnittbibliothek, wobei die Referenzbildabschnitte Bildabschnitten von Referenzfertigungsobjektbildern entsprechen und wobei der Bildabschnittsvektor eine Gewichtung der Referenzbildabschnitte in dem jeweiligen Bildabschnitt angibt; Fertigungsobjektbasisvektoren, wobei die Fertigungsobjektbasisvektoren bestimmt werden basierend auf einem Mittelwert und Varianzen zwischen Referenzfertigungsobjektbilder, wobei der Bildabschnittsvektor eine Gewichtung der Fertigungsobjektbasisvektoren angibt; Parametern eines neuronalen Netzes, das mit Referenzfertigungsobjektbildern trainiert worden ist, wobei die Parameter auf Referenzbildabschnitte hinweisend sind und wobei der Bildabschnittsvektor ein Ergebnis mindestens einer Faltung der Parameter mit dem jeweiligen Bildabschnitt gefolgt von jeweils einer Aktivierungsfunktion angibt.
[0063] In einem Beispiel kann das Kodieren der Ortsinformation des Bildabschnitts ein Berechnen mindestens eines trigonometrischen Wertes basierend auf der Ortsinformation und mindestens einer trigonometrischen Funktion und Anhängen des mindestens einen trigonometrischen Werts als ein jeweiliger Eintrag in den Bildabschnittsvektor umfassen.
[0064] In einem Beispiel kann das Verfahren für jeden Bildabschnitt weiter ein Bestimmen eines optimierten Anomaliewerts basierend auf dem Bildabschnittsvektor und dem bestimmten Anomaliewert und Bestimmen eines optimierten Bildabschnittsvektors basierend auf dem optimierten Anomaliewert und dem Bildabschnittsvektor umfassen und das Erzeugen der Anomaliekarte kann weiter ein Erstellen optimierter Bildabschnitte basierend auf den optimierten Bildabschnittsvektoren und Bilden von Differenzen der optimierten Bildabschnitte und der Bildabschnitte umfassen, wobei die Anomaliekarte basierend auf den Differenzen angeordnet gemäß den Ortsinformationen erzeugt werden kann.
[0065] In einem Beispiel kann das Erzeugen der Anomaliekarte ein Gewichten der Bildabschnitte mit den bestimmten Anomaliewerten umfassen, wobei die Anomaliekarte basierend auf den gewichteten Bildabschnitten angeordnet gemäß den Ortsinformationen erzeugt werden kann. [0066] In einem Beispiel kann das Erzeugen der Anomaliekarte ein Wiedergeben der Anomaliewerte als ein jeweiliger Helligkeitswert an einem jeweiligen Ort innerhalb der Anomaliekarte basierend auf der jeweiligen Ortsinformation umfassen.
[0067] In einem Beispiel kann der Referenzbildabschnittsvektor mittels eines nicht überwachten Lernens basierend auf einer Vielzahl an Referenzfertigungsobjektbildern erzeugt werden.
[0068] In einem Beispiel kann der Anomaliewert einen natürlichen Schwellwert der Abweichung aufweisen, wobei ein Betrag des natürlichen Schwellwerts zwischen null und einem Sensitivitätsparameter liegen kann.
[0069] In einem Beispiel kann die Bestimmung des Anomaliewerts durch eine one class support vector machine -OC-SVM- ausgeführt werden.
[0070] In einem Beispiel kann die OC-SVM den Anomaliewert basierend auf einer nichtlinearen Aktivierungsfunktion bestimmen.
[0071] In einem Beispiel kann das Verfahren weiter ein Klassifizieren von Anomalien basierend auf der Anomaliekarte umfassen, wobei die Klassifikation eine Defektklasse aus einer Vielzahl von Defektklassen angeben kann.
[0072] In einem Beispiel kann eine Rechenvorrichtung bereitgestellt sein, die mindestens eine Zentralverarbeitungseinheit und einen Speicher umfasst, wobei auf dem Speicher Anweisungen gespeichert sein können, die die mindestens eine Zentralverarbeitungseinheit veranlassen können zum Aufteilen eines Fertigungsobjektbildes in eine Vielzahl von Bildabschnitten; und für jeden Bildabschnitt: zum Bestimmen eines Bildabschnittsvektors, wobei jedes Element des Bildabschnittsvektors eine Anwesenheit von Referenzfertigungsobjektmerkmalen in dem jeweiligen Bildabschnitt angibt, zum Kodieren einer Ortsinformation des Bildabschnitts in dem Bildabschnittsvektor und Bestimmen eines Anomaliewerts basierend auf dem Bildabschnittsvektor, wobei der Anomaliewert eine Abweichung des Bildabschnittsvektors angeben kann, die basierend auf mindestens einem Referenzbildabschnittsvektor bestimmt werden kann; sowie zum Erzeugen der Anomaliekarte basierend auf den Anomaliewerten, wobei die Anomaliewerte basierend auf den Ortsinformationen in der Anomaliekarte angezeigt werden können. [0073] In einem Beispiel kann der Speicher weiter Anweisungen speichern, die die mindestens eine Zentralverarbeitungseinheit veranlassen können, das Verfahren nach einem der Ansprüche 1 bis 15 auszuführen.
[0074] Die vorangegangene Beschreibung wurde bereitgestellt, um das Erzeugen einer Anomaliekarte zur Detektion von Defekten zu beschreiben. Es sollte verstanden werden, dass die Beschreibung in keiner Form beabsichtigt ist, den Umfang der Erfindung auf die genauen Ausführungsformen zu beschränken, die in dieser Beschreibung besprochen worden sind. Vielmehr wird der Fachmann erkennen, dass Ausführungsformen kombiniert, modifiziert oder vereinfacht werden können ohne sich vom Umfang der Erfindung, wie er durch die nachfolgenden Ansprüche definiert ist, zu entfernen.

Claims

Patentansprüche
1. Verfahren (100) zum Erzeugen einer Anomaliekarte (230) zur Detektion von Defekten eines Fertigungsobjekts, umfassend:
Aufteilen (110) eines Fertigungsobjektbildes (210) in eine Vielzahl von Bildabschnitten; für jeden Bildabschnitt:
Bestimmen (120) eines Bildabschnittsvektors, wobei jedes Element des Bildabschnittsvektors eine Anwesenheit von Referenzfertigungsobjektmerkmalen in dem jeweiligen Bildabschnitt angibt;
Kodieren (130) einer Ortsinformation des Bildabschnitts in dem Bildabschnittsvektor; und
Bestimmen (140) eines Anomaliewerts basierend auf dem Bildabschnittsvektor, wobei der Anomaliewert eine Abweichung des Bildabschnittsvektors angibt, die basierend auf mindestens einem Referenzbildabschnittsvektor bestimmt wird; und
Erzeugen (170) der Anomaliekarte basierend auf den für die Bildabschnitte bestimmten Anomaliewerten, wobei die Anomaliewerte basierend auf den Ortsinformationen in der Anomaliekarte angeordnet werden.
2. Verfahren (100) nach Anspruch 1 , wobei jeder Bildabschnitt mindestens einen Pixel des Fertigungsobjektbildes (210) umfasst.
3. Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei eine Auflösung der Anomaliekarte (230) einer Auflösung des Fertigungsobjektbildes (210) entspricht.
4. Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei das Bestimmen (120) des Bildabschnittsvektors für einen bestimmten Bildabschnitt ein Normieren (121) des Bildabschnittsvektors basierend auf den Referenzfertigungsobjektmerkmalen umfasst.
5. Verfahren (100) nach Anspruch 4, wobei das Bestimmen (120) des Bildabschnittsvektors für einen bestimmten Bildabschnitt weiter ein Glätten (122) der Normierung von Bildabschnittsvektoren basierend auf weiteren Bildabschnittsvektoren weiterer Bildabschnitte, die benachbart zu dem bestimmten Bildabschnitt angeordnet sind, umfasst.
6. Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei die Referenzfertigungsobjektmerkmale einem entsprechen von:
Referenzbildabschnitten aus einer Referenzbildabschnittbibliothek, wobei die Referenzbildabschnitte Bildabschnitten von Referenzfertigungsobjektbildern entsprechen und wobei der Bildabschnittsvektor eine Gewichtung der Referenzbildabschnitte in dem jeweiligen Bildabschnitt angibt;
Fertigungsobjektbasisvektoren, wobei die Fertigungsobjektbasisvektoren bestimmt werden basierend auf einem Mittelwert und Varianzen zwischen Referenzfertigungsobjektbildern, wobei der Bildabschnittsvektor eine Gewichtung der Fertigungsobjektbasisvektoren angibt; und
Parametern eines neuronalen Netzes, das mit Referenzfertigungsobjektbildern trainiert worden ist, wobei die Parameter auf Referenzbildabschnitte hinweisend sind und wobei der Bildabschnittsvektor ein Ergebnis mindestens einer Faltung der Parameter mit dem jeweiligen Bildabschnitt gefolgt von jeweils einer Aktivierungsfunktion angibt.
7. Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei das Kodieren (130) der Ortsinformation des Bildabschnitts umfasst:
Berechnen (131) mindestens eines trigonometrischen Wertes basierend auf der Orts information und mindestens einer trigonometrischen Funktion; und
Anhängen (132) des mindestens einen trigonometrischen Werts als ein jeweiliger Eintrag in dem Bildabschnittsvektor.
8. Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei: das Verfahren (100) für jeden Bildabschnitt weiter umfasst:
Bestimmen (150) eines optimierten Anomaliewerts basierend auf dem Bildabschnittsvektor und dem bestimmten Anomaliewert; und
Bestimmen (160) eines optimierten Bildabschnittsvektors basierend auf dem optimierten Anomaliewert und dem Bildabschnittsvektor; und das Erzeugen (170) der Anomaliekarte weiter umfasst:
Erstellen (171) optimierter Bildabschnitte basierend auf den optimierten
Bildabschnittsvektoren; und
Bilden (172) von Differenzen der optimierten Bildabschnitte und der Bildabschnitte, wobei die Anomaliekarte (230) basierend auf den Differenzen angeordnet gemäß den Ortsinformationen erzeugt wird.
9. Verfahren (100) nach einem der Ansprüche 1 bis 7, wobei das Erzeugen (170) der Anomaliekarte umfasst:
Gewichten (173) der Bildabschnitte mit den bestimmten Anomaliewerten, wobei die Anomaliekarte (230) basierend auf den gewichteten Bildabschnitten angeordnet gemäß den Ortsinformationen erzeugt wird.
10. Verfahren (100) nach einem der Ansprüche 1 bis 7, wobei das Erzeugen (170) der Anomaliekarte (230) ein Wiedergeben der Anomaliewerte als ein jeweiliger Helligkeitswert an einem jeweiligen Ort innerhalb der Anomaliekarte (230) basierend auf der jeweiligen Ortsinformation umfasst.
11 . Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei der Referenzbildabschnittsvektor mittels einem nicht überwachten Lernen basierend auf einer Vielzahl an Referenzfertigungsobjektbildern erzeugt wird.
12. Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei der Anomaliewert einen natürlichen Schwellwert der Abweichung aufweist, wobei ein Betrag des natürlichen Schwellwerts zwischen null und einem Sensitivitätsparameter liegt.
13. Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei die Bestimmung des Anomaliewerts durch eine one class support vector machine -OC-SVM- ausgeführt wird.
14. Verfahren (100) nach Anspruch 13, wobei die OC-SVM den Anomaliewert basierend auf einer nicht-linearen Aktivierungsfunktion bestimmt.
15. Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei das Verfahren weiter ein Klassifizieren (180) von Anomalien basierend auf der Anomaliekarte umfasst, wobei die Klassifikation eine Defektklasse aus einer Vielzahl von Defektklassen angibt.
16. Rechenvorrichtung (300), umfassend mindestens eine Zentralverarbeitungseinheit (310) und einen Speicher (350, 360), wobei auf dem Speicher (350, 360) Anweisungen gespeichert sind, die die mindestens eine Zentralverarbeitungseinheit (310) veranlassen, zum:
Aufteilen (110) eines Fertigungsobjektbildes (210) in eine Vielzahl von Bildabschnitten; für jeden Bildabschnitt:
Bestimmen (120) eines Bildabschnittsvektors, wobei jedes Element des Bildabschnittsvektors eine Anwesenheit von Referenzfertigungsobjektmerkmalen in dem jeweiligen Bildabschnitt angibt;
Kodieren (130) einer Ortsinformation des Bildabschnitts in dem Bildabschnittsvektor; und
Bestimmen (140) eines Anomaliewerts basierend auf dem Bildabschnittsvektor, wobei der Anomaliewert eine Abweichung des Bildabschnittsvektors angibt, die basierend auf mindestens einem Referenzbildabschnittsvektor bestimmt wird; und
Erzeugen (170) der Anomaliekarte (230) basierend auf den Anomaliewerten, wobei die Anomaliewerte basierend auf den Ortsinformationen in der Anomaliekarte (230) angezeigt werden.
17. Rechenvorrichtung (300) nach Anspruch 16, wobei der Speicher (350, 360) weiter Anweisungen speichert, die die mindestens eine Zentralverarbeitungseinheit (310) veranlassen, das Verfahren (100) nach einem der Ansprüche 1 bis 15 auszuführen.
PCT/EP2023/084942 2022-12-21 2023-12-08 Verfahren und vorrichtung zur erzeugung von anomaliekarten von fertigungsobjekten WO2024132592A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022134437.1 2022-12-21
DE102022134437.1A DE102022134437A1 (de) 2022-12-21 2022-12-21 Verfahren und Vorrichtung zur Erzeugung von Anomaliekarten von Fertigungsobjekten

Publications (1)

Publication Number Publication Date
WO2024132592A1 true WO2024132592A1 (de) 2024-06-27

Family

ID=89222388

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/084942 WO2024132592A1 (de) 2022-12-21 2023-12-08 Verfahren und vorrichtung zur erzeugung von anomaliekarten von fertigungsobjekten

Country Status (2)

Country Link
DE (1) DE102022134437A1 (de)
WO (1) WO2024132592A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022084082A (ja) * 2020-11-26 2022-06-07 株式会社カネカ 外観検査装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022084082A (ja) * 2020-11-26 2022-06-07 株式会社カネカ 外観検査装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SERGIU DEITSCH ET AL: "Automatic Classification of Defective Photovoltaic Module Cells in Electroluminescence Images", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 9 July 2018 (2018-07-09), XP081021930 *

Also Published As

Publication number Publication date
DE102022134437A1 (de) 2024-06-27

Similar Documents

Publication Publication Date Title
EP1173749B1 (de) Bildbearbeitung zur vorbereitung einer texturanalyse
DE19521346C2 (de) Bilduntersuchungs/-Erkennungsverfahren, darin verwendetes Verfahren zur Erzeugung von Referenzdaten und Vorrichtungen dafür
DE60114469T2 (de) Methode und Gerät zur Bestimmung von interessanten Bildern und zur Bildübermittlung
DE10157958B4 (de) Bildverarbeitungsverfahren und-vorrichtung
DE60307967T2 (de) Bildverarbeitungsverfahren für die untersuchung des erscheinungsbildes
DE102016100101A1 (de) System zum maschinellen sehen und analytisches verfahren zur segmentierung planarer oberflächen
DE60127889T2 (de) Verfahren zur Erkennung Doppelbildern in einem automatischen Albensystem
DE102014211948A1 (de) System und Verfahren zur selektiven Bestimmung von Punktwolken
DE102011086512A1 (de) Verfahren zur Nebeldetektion
DE102013210375A1 (de) Auffinden von text in natürlichen szenen
DE4432002A1 (de) Verfahren zur Rekonstruktion von in Rasterform vorliegenden Linienstrukturen
DE202009013865U1 (de) Konzept zum Auswählen eines optimierten Bewertungsmerkmalsteilsatzes für eine Inspektion von Freiformoberflächen und Konzept zum Inspizieren einer Freiformoberfläche
DE102018109276A1 (de) Bildhintergrundsubtraktion für dynamische beleuchtungsszenarios
DE102020134755A1 (de) Verarbeiten von videoframes über neuronales faltungsnetzwerk durch verwenden von statistiken vorhergehender frames
DE102016100134B4 (de) Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen
EP3931798B1 (de) Schätzung der bewegung einer bildposition
WO2008034599A2 (de) Verfahren und vorrichtung zur bildverarbeitung
EP0394959A2 (de) Verfahren zur Bildauswertung
DE102018113621A1 (de) Verfahren zum Trainieren eines konvolutionellen neuronalen Netzwerks zum Verarbeiten von Bilddaten zur Anwendung in einem Fahrunterstützungssystem
DE202016107422U1 (de) Systeme zum Schätzen der Modulationsübertragungsfunktion in einem Optiksystem
DE102023113166A1 (de) Bildverarbeitungsverfahren und -einrichtung
WO2023030842A1 (de) Verfahren zum beurteilen einer oberfläche eines karosseriebauteils sowie verfahren zum trainieren eines künstlichen neuronalen netzes
WO2024132592A1 (de) Verfahren und vorrichtung zur erzeugung von anomaliekarten von fertigungsobjekten
DE102018127738B4 (de) Kamerablockadeerfassung für autonome Fahrsysteme
WO2017182378A1 (de) Verfahren und vorrichtung zur kantendetektion