WO2023085479A1 - 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법 - Google Patents

실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법 Download PDF

Info

Publication number
WO2023085479A1
WO2023085479A1 PCT/KR2021/016761 KR2021016761W WO2023085479A1 WO 2023085479 A1 WO2023085479 A1 WO 2023085479A1 KR 2021016761 W KR2021016761 W KR 2021016761W WO 2023085479 A1 WO2023085479 A1 WO 2023085479A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect
image
virtual
images
type
Prior art date
Application number
PCT/KR2021/016761
Other languages
English (en)
French (fr)
Inventor
정진하
라문수
이혜연
이현지
Original Assignee
라이트비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라이트비전 주식회사 filed Critical 라이트비전 주식회사
Priority to CN202180104198.6A priority Critical patent/CN118284803A/zh
Publication of WO2023085479A1 publication Critical patent/WO2023085479A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8877—Proximity analysis, local statistics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Definitions

  • the present invention relates to an artificial intelligence-based material defect detection system and method considering the type and distribution of actual defect images.
  • CAM is a technique for visualizing which region of an input image was observed by an artificial neural network trained as a classifier and derived a classification result.
  • an artificial neural network that classifies good/defective products is trained, and CAM is used as a tool to locate defects.
  • the present invention is to provide an artificial intelligence-based material defect image generation method and defect detection system.
  • the present invention is to provide an artificial intelligence-based material defect image generation method and defect detection system capable of constructing a training data set by generating a large number of virtual non-defective and defect images from a small number of defect images.
  • the present invention provides an artificial intelligence-based material defect image generation method and defect detection system capable of learning artificial neural networks by generating a good product image that exactly corresponds to a defect image when a defect image is input by taking a virtual training data set. It is to do.
  • the defect detection system of the present invention allows the generated virtual defect image/virtual good product image to have as many types and even distribution as possible in consideration of the type and distribution of actual defect images.
  • the model trained using the virtual defect/defective image can exhibit uniform performance in various situations that may be encountered in actual use by solving the data imbalance problem according to the type of defect image.
  • a defect detection system includes a learning data generator for generating a plurality of virtual good product images or a plurality of virtual defect images using defect images; a learning unit learning a model for defect detection using the generated virtual good product image or the generated virtual defect image; and a defect detection unit for detecting defects in the input image using the learned model.
  • the learning data generation unit analyzes the type or distribution of the defect image to detect a defect type or background type, and according to the detected defect type or background type, the type, number, or number of the virtual good product image or the virtual defect image create different resolutions.
  • a defect detection system includes a learning data generation unit for generating a plurality of virtual good product images or a plurality of virtual defect images using defect images; a learning unit learning a model for defect detection using the generated virtual good product image or the generated virtual defect image; and a defect detection unit for detecting defects in the input image using the learned model.
  • the learning data generating unit determines the type, number, or resolution of virtual good product images or virtual defect images to be generated by analyzing the type or distribution of the defect images with artificial intelligence, but the virtual good product images or virtual defects generated upon user request. Determine the type, number or resolution of images differently.
  • a defect detection method includes generating a plurality of virtual good product images or a plurality of virtual defect images using a defect image; learning a model for defect detection using the generated virtual good product image or the generated virtual defect image; and detecting defects in the input image using the learned model.
  • the defect type or background type is detected by analyzing the type or distribution of the defect image, and the type, number or resolution of the virtual good product image or the virtual defect image is generated differently according to the detected defect type or background type.
  • the present invention belongs to unsupervised learning capable of performing learning without annotation information, there is an advantage in that labor force generated in the process of generating annotation information can be reduced.
  • the present invention since the present invention generates a large number of virtual non-defective/defective images from a small number of defective images, problems caused by data imbalance and insufficient number of data can be reduced.
  • the present invention creates virtual images so that virtual defect images/virtual good product images can have as many types and even distribution as possible in consideration of the types and distribution of actual defect images, a model learned from the corresponding virtual images is It can demonstrate even performance in various situations that can be encountered in use.
  • FIG. 1 is a schematic block diagram of a defect detection system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of types and distribution of defect images.
  • FIG. 3 is a diagram illustrating a process of generating a virtual good product image using a defective image according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a process of generating a virtual good product image using a good product image according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a process of generating a virtual defect image using a defect image according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a process of converting a randomly generated hypothetical low-resolution defect image into a high-resolution defect image.
  • FIG. 7 is a diagram illustrating a process of detecting a defective area according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a defect image generated by changing the type and location of a defect in an original defect image according to another embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a model learning process according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a defect detection method according to an embodiment of the present invention.
  • FIG. 1 is a block diagram schematically showing a defect detection system according to an embodiment of the present invention
  • FIG. 2 is a diagram showing an example of the type and distribution of defect images
  • FIG. 3 is an embodiment of the present invention.
  • It is a diagram showing a process of generating a virtual good product image using a defect image according to.
  • 4 is a diagram showing a process of generating a virtual good product image using a good product image according to an embodiment of the present invention
  • FIG. 5 is a diagram showing a process of generating a virtual defect image using a defect image according to an embodiment of the present invention
  • 6 is a diagram illustrating a process of converting a randomly generated hypothetical low-resolution defect image into a high-resolution defect image.
  • 7 is a diagram illustrating a defect area detection process according to an embodiment of the present invention
  • FIG. 8 shows a defect image generated by changing the type and location of a defect in an original defect image according to another embodiment of the present invention. it is a drawing
  • the defect detection system 100 includes a learning data generator 110, a learner 115, an image generation model 120, a defect detector 125, a memory ( 130) and a processor 135.
  • the learning data generation unit 110 may analyze types and distributions of a small number of defective images, and generate a plurality of virtual defect images or a plurality of virtual non-defective images based on the analysis result.
  • the learning data generator 110 may include an image type and distribution analyzer 112 , a good image generator 114 and a defective image generator 116 .
  • the image type and distribution analysis unit 112 may analyze the type and distribution of the input defect image to determine the type, number, or resolution of virtual defect images or virtual good product images required.
  • the image type and distribution analysis unit 112 may analyze that there are two types of defects and three types of backgrounds by classifying the type of defect and the type of background in the input defect image.
  • the image type and distribution analysis unit 112 extracts hand-crafted features such as Haar-like features and Histogram of Oriented Gradient from the input image, and then performs clustering can utilize Algorithms that analyze the type of defect and the type of background are not limited to methods that utilize hand-crafted features and cluster classification.
  • the image type and distribution analyzer 112 may analyze the defect type and the background shape of one input image, or may analyze the defect type and background shape of a plurality of input images as a whole.
  • the input image may be a real image rather than a virtual image.
  • the input image is a concept including a real image detected as defective using a virtual good product image or a virtual defect image according to the present invention.
  • the good product image generator 114 may generate as many virtual good product images as determined by the image type and distribution analysis unit 112 using the input defect image. In this case, the good product image generation unit 114 may generate a different number of virtual good product images based on the analyzed defect shape, or generate a different number of virtual good product images based on the analyzed background shape. Alternatively, a different number of virtual good product images may be generated based on the analyzed defect type and the analyzed background type.
  • the non-defective image generating unit 114 may generate a virtual non-defective image through a patch matching technique after removing a defect region from the defective image.
  • the non-defective image generating unit 114 may generate a virtual non-defective image by removing a defect region from each input defect image.
  • the good image generation unit 114 may generate a good image based on a defective image using a patch match technique. Specifically, the good image generation unit 114 may generate a good image by removing a defective region from the defective image and restoring the defective region using information around the defective region. As shown in FIG. 3 , a defect image may include various types of defects rather than the same defect area.
  • the good product image generator 114 may generate a good product image after removing the defective area by applying different imaging techniques according to the defect pattern.
  • the good product image generator 114 may generate a plurality of virtual good product images using the input good product images.
  • the non-defective product image generating unit 114 may generate a virtual non-defective product image using both the defect image and the non-defective product image.
  • a virtual good product image may be generated by removing a defective area from the defective image and then replacing the removed defective area with an area corresponding to the removed defective area in the good product image.
  • the non-defective image generating unit 114 may generate a virtual non-defective image using information around the defective area of the defect image or area information of the non-defective image according to the state of the defect area. For example, if the size of the defective area is large or even the surrounding area is damaged, the removed defective area is replaced with an area of a good product image to generate a virtual good product image, and if the size of the defective area is small, the defective area A virtual good product image may be generated using surrounding information.
  • the good product image generating unit 114 may generate multiple virtual good product images by randomly cutting images after generating a good product image whose resolution of the input good product image is equal to or greater than the reference resolution.
  • the good product image generation unit 114 may generate a good product image having a standard resolution or higher by using PSGAN, and then randomly crop the good product image as shown in FIG. 4 to generate a virtual good product image.
  • the good product image generating unit 114 may generate a plurality of good product images by enlarging a virtual good product image generated from a defective image and then randomly cutting it.
  • the good product image generator 114 may generate a plurality of virtual good product images using a small number of defect images.
  • the defect image generation unit 116 may generate a plurality of virtual defect images using a small number of defect images.
  • the defect image generation unit 116 may generate a plurality of virtual defect images using DCGAN.
  • DCGAN can generate random images from latent variables. Since the result of DCGAN is limited to 64 x 64, a super-resolution defect image can be generated using CycleGAN, an artificial neural network capable of performing a super-resolution function, to create a defect image with higher resolution.
  • CycleGAN is an artificial neural network that performs unpaired image-to-image translation. By learning one domain as a low-resolution image and the other domain as a high-resolution image, a super-resolution artificial neural network can be obtained. (See Fig. 6).
  • the defect image generation unit 116 may convert an input low-resolution defect image into a high-quality, high-resolution defect image using DCGAN and CycleGAN, and then generate a plurality of virtual defect images through a random image conversion process.
  • an algorithm for generating a virtual defect image is not limited to DCGAN and CycleGAN.
  • the defect location in the input image (defect image) and the defect location in the generated virtual defect image were the same or similar.
  • a defect location in the virtual defect image may be different from a defect location in the input image (see FIG. 8).
  • the size or shape of the defect in the virtual defect image may be different from the size or shape of the defect in the input image.
  • the defect image generator 116 generates an input image having a defect in which the contaminant is deposited in the center of the edge region of one side of the substrate. It is possible to generate various virtual defect images having defects with contaminants on the center of the edge area or the side of the edge other than the center by using . In this case, a premise that the contaminant may be deposited here and there on the edge during the process may be set in advance.
  • the defect image generator 116 determines the depth, length or location of the crack from the input image of the substrate having the crack. A number of different defect images may be generated.
  • the defect image generator 116 of the present invention can generate virtual defect images having the same location, shape, or size as the defect in the input image, but also having a different location, shape, or size from the defect in the input image. Defective images can also be created.
  • the defect image generator 116 may generate a defect image having a contaminant different from that of the input image.
  • the shape or size of the contaminant deposited on the substrate may also vary.
  • virtual defect images are generated for one defect
  • virtual defect images may be generated by combining a plurality of different types of defects. For example, a defect image with contaminants and a defect image with cracks may be received and virtual defect images in which contaminants or cracks are formed at various locations may be generated.
  • the defect image generation unit 116 may generate virtual defect images using not only defect images but also non-defective images.
  • various virtual defect images may be generated by extracting a defect from a defect image and displaying the extracted defect at various positions of a good product image.
  • the learning data generation unit 110 may generate a plurality of virtual learning data sets for model learning using a small number of defect images.
  • the plurality of virtual training data sets may be at least one of a plurality of virtual good product images and virtual defect images.
  • the learning data generating unit 110 may selectively or both automatically operate the good image generating unit 114 and the defective image generating unit 116 according to the shape of the defect or the background of the defect image.
  • the non-defective image generating unit 114 and the defective image generating unit 116 may be operated selectively or both.
  • the learning data generating unit 110 may generate the number of virtual good product images or virtual defect images determined by artificial intelligence, but the user may arbitrarily generate virtual good product images or virtual defect images regardless of the number determined by artificial intelligence. number can be determined.
  • the model can be learned using it.
  • the learning unit 115 may train the image generation model 120 using at least one of a plurality of virtual good product images and virtual defect images.
  • the learning unit 115 learns a model using at least one of a plurality of virtual good product images and virtual defect images, so that the image generation model 120 can be trained to generate a good product image using the defective image.
  • a comparison image (good product) corresponding to the input image in the defect detection process image or defect image) can be created.
  • the image generation model 120 is learned using a plurality of virtual good product images and virtual defect images, when a defect image is input, a good product image corresponding to it can be generated.
  • the defect detection unit 125 is a means for detecting defects using an input image and a comparison image.
  • the comparison image may be a virtual good product image corresponding to the defective image. Accordingly, the defect detection unit 125 may detect the defect area by deriving a difference image between the input image and the comparison image.
  • the defect area detection process will be described in more detail with reference to FIG. 7 .
  • a virtual good product image may be generated as shown in 620 of FIG. 7 through the learned image generation model 120. Accordingly, the defect detection unit 125 derives a difference image between the defect image of 610 and the virtual good product image of 620, and then detects the defect area through a hysteresis threshold and morphology operation. there is.
  • the image generation model 120 may generate an appropriate number of virtual good product images in consideration of the defect shape or the background shape of the defect image 610 .
  • the image generation model 120 includes 10000 virtual non-defective images having defects identical to or similar to those of the defect image 610 but having various backgrounds, and backgrounds identical to or similar to those of the defect image 610.
  • 5000 virtual good product images with various defects can be created.
  • the image generating model 120 may generate 10000 virtual good product images in the case of an A defect and 3000 virtual good product images in the case of a B defect.
  • the image generation model 120 generates a different number of virtual good product images according to the shape, type, or number of defects in the defect image 610, and a different number of virtual good product images according to the shape, type, etc. of the background of the defect image 610.
  • a virtual good product image may be created.
  • the memory 130 is a means for storing instructions (program codes) necessary to perform the defect detection method according to an embodiment of the present invention.
  • the processor 135 includes internal components (eg, the learning data generator 110, the learner 115, the image generation model 120, It is a means for controlling the defect detection unit 125, memory 130, etc.).
  • At least one of an image of the defect image detected by the defect detection unit 125 or a virtual good product image and a virtual defect image generated by the image generation model 120 is used again for learning of the image generation model 120. It can be.
  • a virtual good product image and a virtual defect image may be generated through the learned image generation model 120 .
  • a defect area may be detected by comparing the defect image with the virtual good product image, and a defect type, pattern, etc. may be detected by comparing the defect image with the virtual defect image.
  • FIG. 9 is a flowchart illustrating a model learning process according to an embodiment of the present invention.
  • step S900 the defect detection system 100 generates at least one of a plurality of virtual good product images and a virtual defect image using a small number of defect images.
  • the defect detection system 100 may generate a plurality of virtual good product images using a small number of defect images.
  • the defect detection system 100 may generate multiple virtual defect images using a small number of defect images.
  • the defect detection system 100 may generate a plurality of good product images using a small number of good product images.
  • the defect detection system 100 may generate both a plurality of virtual good product images and a virtual defect image using a small number of defect images.
  • the defect detection system 100 may generate a learning data set for learning the image generation model 120 using a small number of input images. Since this is the same as that described with reference to FIGS. 1 to 5, duplicate descriptions will be omitted.
  • step S902 the defect detection system 100 learns the image generation model 120 using at least one of a plurality of virtual good product images and virtual defect images.
  • the image generation model 120 is an image generation model using artificial intelligence, and may generate a comparison image corresponding to an input image.
  • the image generation model 120 may generate a good quality image corresponding to the defective image.
  • the image generation model 120 may be pre-learned using a training data set composed of a virtual defect image and a virtual good product image. Since the learning process of the artificial intelligence model is obvious to those skilled in the art, a separate description thereof will be omitted.
  • a plurality of virtual good product images and virtual defect images necessary for model learning are generated using a small number of defective images, and the model can be learned using them.
  • Model learning using a large number of training data sets has the advantage of further increasing the accuracy of the model.
  • FIG. 10 is a flowchart illustrating a defect detection method according to an embodiment of the present invention.
  • subsequent operations will be described on the assumption that the image generation model 120 is learned using the training data set.
  • step S1000 the defect detection system 100 acquires an input image.
  • step S1002 the defect detection system 100 generates a comparison image by applying the input image to the learned image generation model 120.
  • the comparison image may be a non-defective image obtained by removing a defective region from the defective image.
  • the learned image generation model 120 may generate and output a virtual good product image in which a defect region is removed from a defective image, which is an input image, as a comparison image.
  • step S1004 the defect detection system 100 derives a difference image between the input image and the comparison image, and detects a defect area using the difference image.
  • the defect detection system 100 may set a defect image as a comparison image, a good product image, or both a good product image and a defect image.
  • the defect detection system 100 may determine whether there is a defect after deriving a difference image between the input image and the defect image set as the comparison image.
  • the defect detection system 100 may detect a defect area after deriving a difference image between the input image and the good product image set as the comparison image.
  • the defect detection system 100 may set both a defect image and a non-defective image as comparison images, and may determine defects through comparison with the input image.
  • the defect detection system 100 may use the comparison image for model learning described in FIG. 7 .
  • a plurality of virtual training data sets are generated using a small number of input images (defective images, good images), and a model is trained using them to improve accuracy, and then defects are generated.
  • defect detection performance can be improved by using it for inspection.
  • the defect detection system checks the number of real defect images/defective product images, and appropriately creates virtual defect images/virtual good product images according to the checked number of actual defect images/defective product images to be used for learning. For example, if the number of real defect images/good product images is less than 1000, 20000 virtual defect images/virtual good product images are generated to train the model, and through an iterative defect detection process, up to 5000 real defect images and good product images are secured. , 15,000 virtual defect images/virtual good product images may be generated.
  • artificial intelligence not only detects defects by learning a model by simply generating virtual defect images/virtual good product images, but also considers the number of actual defect images/good product images secured to create virtual defect images/virtual good product images. You can also train a model. As a result, as the defect detection process is repeated, the number of virtual defect images/virtual good product images decreases and real defect images/good product images are used more, so that the accuracy of the image generation model can be increased. In this case, the rate of increase in the number of actual defective images/good product images and the rate of decrease of the virtual defective images/virtual good product images may be the same, but different rates may be effective.
  • each component can be identified as each process.
  • the process of the above-described embodiment can be easily grasped from the viewpoint of components of the device.
  • the technical contents described above may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program commands recorded on the medium may be specially designed and configured for the embodiments or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • a hardware device may be configured to act as one or more software modules to perform the operations of the embodiments and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출 시스템에 관한 것이다. 본 발명의 일 실시예에 따른 결함 검출 시스템은 결함 영상을 이용하여 다수의 가상 양품 영상 또는 다수의 가상 결함 영상을 생성하는 학습 데이터 생성부; 생성된 가상 양품 영상 또는 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부; 및 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함한다. 여기서, 학습 데이터 생성부는 결함 영상의 종류 또는 분포를 분석하여 결함 형태 또는 배경 형태를 검출하고, 검출된 결함 형태 또는 배경 형태에 따라 가상 양품 영상 또는 상기 가상 결함 영상의 종류, 수 또는 해상도를 다르게 생성한다. 따라서, 본 발명은 실제 결함 이미지의 종류와 분포를 고려하여 가상 결함 이미지/가상 양품 이미지가 최대한 다양한 종류와 고른 분포를 가질 수 있도록 가상 이미지를 생성하기 때문에, 해당 가상 이미지들로 학습된 모델은 실사용에서 맞닥뜨릴 수 있는 다양한 상황에서 활용할 수 있다.

Description

실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법
본 발명은 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법에 관한 것이다.
최근 인공지능 기술의 발전에 따라 자동 결함 검출 분야에서도 인공지능이 적용되는 사례가 급증하고 있다. 예를 들어, S. Marino, A. Smolarz, and P. Beauseroy, "Potato defects classification and localization with convolutional neural networks," in Fourteenth International Conference on Quality Control by Artificial Vision, vol. 11472, 2019, pp. 110-117.와 H. Lin, B. Li, X. Wang, Y. Shu, and S. Niu, "Automated defect inspection of LED chip using deep convolutional neural network," Journal of Intelligent Manufacturing, vol. 30, pp. 2525-2534, 2019.에는 각각 감자와 LED 기판의 결함을 자동으로 검출하기 위해 Class Activation Mapping(CAM)이라는 딥러닝 기법을 사용하였다. CAM은 분류기로 학습된 인공신경망이 입력 영상의 어느 영역을 관찰하고 분류 결과를 도출했는지 가시화하는 기법이다. 상기의 예시에서는 양품/결함을 분류하는 인공신경망을 학습하고, CAM을 결함의 위치를 알아내는 도구로써 사용하였다.
종래의 자동 결함 검출을 위한 인공신경망을 학습하기 위해서는 다수의 양품/결함 영상이 필요하지만, 결함의 특성상 결함 영상을 획득하기 어렵고(예: 반도체의 경우 ppm 단위로 결함 발생), 상대적으로 얻기 용이한 양품 영상과 데이터 불균형 문제도 발생한다. 또한 양품/결함에 대한 정보는 기업 비밀이기 때문에 공개되기 어렵기 때문에 데이터셋을 구축하는 난이도가 높은 문제점이 있다.
본 발명은 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출 시스템을 제공하기 위한 것이다.
또한, 본 발명은 소수의 결함 영상으로부터 다수의 가상의 양품 및 결함 영상을 생성하여 훈련 데이터 셋을 구축할 수 있는 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템을 제공하기 위한 것이다.
또한, 본 발명은 가상의 훈련 데이터 셋을 촬영하여 결함 영상이 입력된 경우, 결함 영상과 정확히 대응되는 양품 영상을 생성하여 인공신경망 학습이 가능한 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템을 제공하기 위한 것이다.
게다가, 본 발명의 결함 검출 시스템은 실제 결함 이미지의 종류와 분포를 고려하여 생성되는 가상 결함 이미지/가상 양품 이미지가 최대한 다양한 종류와 고른 분포를 가질 수 있도록 한다. 상기 가상의 결함/양품 이미지를 활용하여 학습된 모델은 결함 이미지의 종류에 따른 데이터의 불균형 문제가 해소되어 실 사용에서 맞닥뜨릴 수 있는 다양한 상황에서 고른 성능을 발휘할 수 있다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 결함 검출 시스템은 결함 영상을 이용하여 다수의 가상 양품 영상 또는 다수의 가상 결함 영상을 생성하는 학습 데이터 생성부; 상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부; 및 상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함한다. 여기서, 상기 학습 데이터 생성부는 상기 결함 영상의 종류 또는 분포를 분석하여 결함 형태 또는 배경 형태를 검출하고, 상기 검출된 결함 형태 또는 배경 형태에 따라 상기 가상 양품 영상 또는 상기 가상 결함 영상의 종류, 수 또는 해상도를 다르게 생성한다.
본 발명의 다른 실시예에 따른 결함 검출 시스템은 결함 영상을 이용하여 다수의 가상 양품 영상 또는 다수의 가상 결함 영상을 생성하는 학습 데이터 생성부; 상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부; 및 상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함한다. 여기서, 상기 학습 데이터 생성부는 상기 결함 영상의 종류 또는 분포를 인공 지능으로 분석하여 생성될 가상 양품 영상 또는 가상 결함 영상의 종류, 수 또는 해상도를 결정하나, 사용자 요청시 생성된 가상 양품 영상 또는 가상 결함 영상의 종류, 수 또는 해상도를 다르게 결정한다.
본 발명의 일 실시예에 따른 결함 검출 방법은 결함 영상을 이용하여 다수의 가상 양품 영상 또는 다수의 가상 결함 영상을 생성하는 단계; 상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 단계; 및 상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 단계를 포함한다. 여기서, 상기 결함 영상의 종류 또는 분포를 분석하여 결함 형태 또는 배경 형태를 검출하고, 상기 검출된 결함 형태 또는 배경 형태에 따라 상기 가상 양품 영상 또는 상기 가상 결함 영상의 종류, 수 또는 해상도를 다르게 생성한다.
본 발명의 일 실시예에 따른 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법을 제공함으로써, 입력된 결함 영상과 정확히 대응되는 양품 영상을 생성함으로써 예측하지 못한 결함 영역도 효과적으로 검출할 수 있다.
또한, 본 발명은 주석 정보 없이 학습을 수행할 수 있는 비지도 학습에 속하기 때문에 주석 정보를 생성하는 과정에서 발생하는 노동력을 줄일 수 있는 이점이 있다.
게다가, 본 발명은 소수의 결함 영상으로부터 다수의 가상 양품/결함 영상을 생성하기 때문에 데이터 불균형 및 데이터 수가 부족해서 발생하는 문제를 줄일 수 있는 이점도 있다.
더욱이, 본 발명은 실제 결함 이미지의 종류와 분포를 고려하여 가상 결함 이미지/가상 양품 이미지가 최대한 다양한 종류와 고른 분포를 가질 수 있도록 가상 이미지를 생성하기 때문에, 해당 가상 이미지들로 학습된 모델은 실 사용에서 맞닥뜨릴 수 있는 다양한 상황에서 고른 성능을 발휘할 수 있다.
도 1은 본 발명의 일 실시예에 따른 결함 검출 시스템을 개략적으로 도시한 블록도이다.
도 2는 결함 영상의 종류와 분포의 일 예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 양품 영상 생성 과정을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 양품 영상을 이용한 가상 양품 영상 생성 과정을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 결함 영상 생성 과정을 도시한 도면이다.
도 6은 무작위로 생성된 가상의 저해상도 결함 영상을 고해상도 결함 영상으로 변환하는 과정을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 결함 영역 검출 과정을 도시한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 원본 결함 영상에서 결함의 종류와 위치가 변형되어 생성된 결함 영상을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 모델의 학습 과정을 나타낸 순서도이다.
도 10은 본 발명의 일 실시예에 따른 결함 검출 방법을 나타낸 순서도이다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 결함 검출 시스템을 개략적으로 도시한 블록도이고, 도 2는 결함 영상의 종류와 분포의 일 예를 도시한 도면이며, 도 3은 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 양품 영상 생성 과정을 도시한 도면이다. 도 4는 본 발명의 일 실시예에 따른 양품 영상을 이용한 가상 양품 영상 생성 과정을 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 결함 영상 생성 과정을 도시한 도면이며, 도 6은 무작위로 생성된 가상의 저해상도 결함 영상을 고해상도 결함 영상으로 변환하는 과정을 도시한 도면이다. 도 7은 본 발명의 일 실시예에 따른 결함 영역 검출 과정을 도시한 도면이며, 도 8은 본 발명의 다른 실시예에 따른 원본 결함 영상에서 결함의 종류와 위치가 변형되어 생성된 결함 영상을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 결함 검출 시스템(100)은 학습 데이터 생성부(110), 학습부(115), 영상 생성 모델(120), 결함 검출부(125), 메모리(130) 및 프로세서(135)를 포함할 수 있다.
학습 데이터 생성부(110)는 보유한 소수의 결함 영상의 종류와 분포를 분석하고, 상기 분석 결과에 기반하여 다수의 가상 결함 영상 또는 다수의 가상 양품 영상을 생성할 수 있다.
학습 데이터 생성부(110)는 영상 종류 및 분포 분석부(112), 양품 영상 생성부(114) 및 결함 영상 생성부(116)를 포함할 수 있다.
영상 종류 및 분포 분석부(112)는 입력된 결함 영상의 종류와 분포를 분석하여 필요한 가상 결함 영상의 또는 가상 양품 영상의 종류, 수 또는 해상도 등을 결정할 수 있다.
예를 들어, 도 2에 도시된 바와 같이, 입력 영상으로 결함 영상이 입력되었다고 가정한다. 영상 종류 및 분포 분석부(112)는 입력된 결함 영상에서 결함의 형태와 배경의 형태를 각각 구분하여 두 종류의 결함과 세 종류의 배경이 존재한다고 분석할 수 있다. 결함의 형태와 배경의 형태를 분석할 때, 영상 종류 및 분포 분석부(112)는 상기 입력 영상에서 Haar-like 특징, Histogram of Oriented Gradient와 같은 hand-crafted 특징을 추출한 후, 군집 분류(clustering)를 활용할 수 있다. 결함의 형태와 배경의 형태를 분석하는 알고리즘은 hand-crafted 특징과 군집 분류를 활용하는 방법으로 한정되지는 않는다.
한편, 영상 종류 및 분포 분석부(112)는 하나의 입력 영상의 결함 형태 및 배경의 형태를 분석할 수도 있고, 복수의 입력 영상들의 결함 형태 및 배경의 형태를 전체적으로 분석할 수도 있다. 여기서, 상기 입력 영상은 가상 영상이 아니라 실제 영상일 수 있다. 또한, 상기 입력 영상은 본 발명의 가상 양품 영상 또는 가상 결함 영상을 이용하여 불량으로 검출된 실제 영상도 포함하는 개념이다.
양품 영상 생성부(114)는 입력된 결함 영상을 이용하여 영상 종류 및 분포 분석부(112)에 결정된 수만큼의 가상 양품 영상을 생성할 수 있다. 이 경우, 양품 영상 생성부(114)는 상기 분석된 결함의 형태를 기준으로 다른 수의 가상 양품 영상을 생성할 수도 있고, 상기 분석된 배경의 형태를 기준으로 다른 수의 가상 양품 영상을 생성할 수도 있으며, 상기 분석된 결함의 형태와 상기 분석된 배경의 형태를 기준으로 다른 수의 가상 양품 영상을 생성할 수도 있다.
예를 들어, 양품 영상 생성부(114)는 상기 결함 영상에서 결함 영역을 제거한 후 패치 매치 기법을 통하여 가상 양품 영상을 생성할 수 있다.
이에 대해 보다 상세히 설명하기로 한다.
예를 들어, 도 3에 도시된 바와 같이, 결함 영상이 각각 입력되었다고 가정한다. 양품 영상 생성부(114)는 입력된 각각의 결함 영상에서 결함 영역을 제거하여 가상의 양품 영상을 생성할 수 있다.
예를 들어, 양품 영상 생성부(114)는 패치 매치 기법을 이용하여 결함 영상을 기초로 양품 영상을 생성할 수 있다. 구체적으로는, 양품 영상 생성부(114)는 결함 영상에서 결함 영역을 제거하며, 결함 영역 주변 정보를 사용하여 해당 결함 영역을 복원함으로써 양품 영상을 생성할 수 있다. 도 3에 도시된 바와 같이, 결함 영상은 동일한 결함 영역을 포함하는 것이 아니라 다양한 형태의 결함을 포함할 수 있다.
따라서, 양품 영상 생성부(114)는 결함의 패턴에 따라 상이한 영상 기법을 적용하여 결함 영역을 제거한 후 양품 영상을 생성할 수 있다.
다른 예로, 양품 영상 생성부(114)는 입력된 양품 영상을 이용하여 다수의 가상 양품 영상을 생성할 수도 있다.
다른 실시예에 따르면, 양품 영상 생성부(114)는 결함 영상과 양품 영상을 모두 이용하여 가상 양품 영상을 생성할 수도 있다. 예를 들어, 상기 결함 영상에서 결함 영역을 제거한 후 상기 양품 영상 중 상기 제거된 결함 영역에 해당하는 영역으로 상기 제거된 결함 영역을 대체시킴에 의해 가상 양품 영상을 생성할 수도 있다.
또 다른 실시예에 따르면, 양품 영상 생성부(114)는 결함 영역의 상태에 따라 결함 영상의 결함 영역 주변 정보 또는 양품 영상의 영역 정보를 이용하여 가상 양품 영상을 생성할 수도 있다. 예를 들어, 상기 결함 영역의 사이즈가 크거나 주변 영역까지 훼손한 경우에는 상기 제거된 결함 영역을 양품 영상의 영역으로 대체시켜 가상의 양품 영상을 생성하고, 상기 결함 영역의 사이즈가 작은 경우 상기 결함 영역 주변 정보를 이용하여 가상 양품 영상을 생성할 수도 있다.
이에 대해 도 4을 참조하여 설명하기로 한다.
예를 들어, 양품 영상 생성부(114)는 입력된 양품 영상의 해상도가 기준 해상도 이상인 양품 영상을 생성한 후 무작위로 영상을 잘라 다수의 가상 양품 영상을 생성할 수도 있다.
예를 들어, 양품 영상 생성부(114)는 PSGAN을 이용하여 기준 해상도 이상인 양품 영상을 생성한 후 도 4에서 보여지는 바와 같이 무작위로 잘라 가상 양품 영상을 생성할 수 있다.
또 다른 예를 들어, 양품 영상 생성부(114)는 결함 영상으로부터 생성된 가상 양품 영상을 확대한 후 무작위로 잘라서 복수의 양품 영상들을 생성할 수도 있다.
정리하면, 양품 영상 생성부(114)는 소수의 결함 영상을 이용하여 다수의 가상 양품 영상을 생성할 수 있다.
결함 영상 생성부(116)는 소수의 결함 영상을 이용하여 다수의 가상 결함 영상을 생성할 수 있다.
예를 들어, 도 5에 도시된 바와 같이 결함 영상이 입력되었다고 가정하기로 한다. 결함 영상 생성부(116)는 DCGAN을 이용하여 다수의 가상 결함 영상을 생성할 수 있다. 여기서, DCGAN은 은닉 변수(latent variable)로부터 무작위 영상을 생성할 수 있다. DCGAN의 결과는 64 x 64로 한정되어 있기 때문에, 더 높은 해상도를 가지는 결함 영상을 만들기 위해 초해상도(super-resolution) 기능을 수행할 수 있는 인공 신경망인 CycleGAN을 이용하여 초해상도 결함 영상을 생성할 수 있다. CycleGAN은 unpaired image-to-image translation을 수행하는 인공신경망으로써, 한 쪽 도메인을 저해상도 영상, 다른 쪽 도메인을 고해상도 영상으로 학습하게 되면 초해상도(super-resolution) 기능을 수행하는 인공신경망을 얻을 수 있다(도 6 참조).
즉, 결함 영상 생성부(116)는 DCGAN과 CycleGAN을 이용하여 입력된 저해상도의 결함 영상을 고품질의 고해상도 결함 영상으로 변환한 후 무작위 영상 변환 과정을 통해 다수의 가상 결함 영상을 생성할 수 있다. 물론, 가상 결함 영상을 생성하는 한 알고리즘은 DCGAN 및 CycleGAN으로 한정되지는 않는다.
도 5에서는 입력 영상(결함 영상)에서의 결함 위치와 생성된 가상 결함 영상에서의 결함 위치가 동일하거나 유사하였다. 그러나, 상기 가상 결함 영상에서의 결함 위치가 상기 입력 영상의 결함 위치와 다를 수 있다(도 8 참조). 또한, 상기 가상 결함 영상에서의 결함의 크기 또는 형태가 상기 입력 영상에서의 결함의 크기 또는 형태와 다를 수도 있다.
예를 들어, 반도체 공정 중 증착 공정에서 기판의 에지 영역으로 오염 물질을 묻을 가능성이 있다고 가정하면, 결함 영상 생성부(116)는 기판의 일변의 에지 영역 중앙에 오염 물질이 묻은 결함을 가지는 입력 영상을 이용하여 다른 변들의 에지 영역 중앙 또는 중앙이 아닌 에지 측면 등에 오염 물질이 묻은 결함을 가지는 다양한 가상 결함 영상들을 생성할 수 있다. 이 경우, 상기 오염 물질이 공정 중 에지의 이곳 저곳에 묻을 수 있다는 전제가 미리 설정되어 있을 수 있다.
다른 예로, 공정 중 기판에 가해지는 충격 및 이로 인한 크랙의 발생 크기 또는 범위가 미리 설정되어 있다면, 결함 영상 생성부(116)는 크랙을 가지는 기판에 대한 입력 영상으로부터 크랙의 깊이, 길이 또는 위치가 달라지는 다수의 결함 영상들을 생성할 수 있다.
즉, 본 발명의 결함 영상 생성부(116)는 입력 영상의 결함과 동일한 위치, 형태 또는 크기를 가지는 가상 결함 영상들을 생성할 수 있을 뿐만 아니라 입력 영상의 결함과 다른 위치, 형태 또는 크기를 가지는 가상 결함 영상들을 생성할 수도 있다.
또한, 결함 영상 생성부(116)는 결함이 오염 물질인 경우 입력 영상의 오염 물질과 다른 오염 물질을 가지는 결함 영상을 생성할 수도 있다. 이 경우, 오염 물질이 달라짐에 따라 오염 물질이 기판에 묻는 형태 또는 사이즈 등도 달라질 수 있다.
위에서는 하나의 결함에 대하여 가상 결함 영상들을 생성하는 것으로 언급하였으나, 복수의 다른 형태의 결함들을 결합시켜 가상 결함 영상들을 생성할 수도 있다. 예를 들어, 오염 물질이 묻은 결함 영상과 크랙이 있는 결함 영상을 입력받아 다양한 위치에 오염 물질 또는 크랙이 형성된 가상 결함 영상들을 생성할 수 있다.
다른 실시예에 따르면, 결함 영상 생성부(116)는 결함 영상뿐만 아니라 양품 영상도 이용하여 가상 결함 영상들을 생성할 수도 있다. 예를 들어, 결함 영상에서 결함을 추출하고, 상기 추출된 결함을 양품 영상의 다양한 위치에 표시하여 다양한 가상 결함 영상들을 생성할 수도 있다.
정리하면, 학습 데이터 생성부(110)는 소수의 결함 영상을 이용하여 모델의 학습을 위한 다수의 가상 학습 데이터 셋을 생성할 수 있다. 또한, 다수의 가상 학습 데이터 셋은 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나일 수 있다.
한편, 학습 데이터 생성부(110)는 상기 결함 영상의 결함 형태 또는 배경 형태에 따라 자동으로 양품 영상 생성부(114)와 결함 영상 생성부(116)를 선택적으로 또는 모두 동작시킬 수도 있고, 사용자의 요청에 따라 양품 영상 생성부(114)와 결함 영상 생성부(116)를 선택적으로 또는 모두 동작시킬 수도 있다. 예를 들어, 학습 데이터 생성부(110)는 인공 지능으로 결정된 수의 가상 양품 영상 또는 가상 결함 영상을 생성할 수도 있지만, 사용자가 인공 지능으로 결정된 수와 상관없이 임의로 가상 양품 영상 또는 가상 결함 영상의 수를 결정할 수도 있다.
이와 같이, 학습 데이터 생성부(110)에 의해 학습 데이터 셋이 생성되면, 이를 이용하여 모델을 학습할 수 있다.
학습부(115)는 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 영상 생성 모델(120)을 학습시킬 수 있다.
학습부(115)는 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 모델을 학습함으로써 영상 생성 모델(120)은 결함 영상을 이용하여 양품 영상을 생성하도록 학습될 수 있다.
영상 생성 모델(120)은 학습부(115)에 의해 학습 데이터 셋(다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나)을 이용하여 학습된 이후 결함 검출 과정에서 입력 영상에 대응하는 비교 영상(양품 영상 또는 결함 영상)을 생성할 수 있다.
예를 들어, 영상 생성 모델(120)은 다수의 가상 양품 영상 및 가상 결함 영상을 이용하여 학습되어 있으므로, 결함 영상이 입력되는 경우 이에 대응하는 양품 영상을 생성할 수 있다.
결함 검출부(125)는 입력 영상과 비교 영상을 이용하여 결함 여부를 검출하기 위한 수단이다.
예를 들어, 입력 영상이 결함 영상인 경우, 비교 영상은 결함 영상에 대응하는 가상 양품 영상일 수 있다. 따라서, 결함 검출부(125)는 입력 영상과 비교 영상의 차영상을 도출하여 결함 영역을 검출할 수 있다.
결함 영역 검출 과정에 대해 도 7을 참조하여 보다 상세히 설명하기로 한다.
예를 들어, 입력 영상이 결함 영상(610)이라고 가정하면, 학습된 영상 생성 모델(120)을 통해 도 7의 620과 같이 가상 양품 영상이 생성될 수 있다. 이에 따라, 결함 검출부(125)는 610의 결함 영상과 620의 가상 양품 영상의 차영상을 도출한 후 히스테레시스 임계값(Hysteresis threshold) 및 모폴로지 연산(morphology operation)을 통해 결함 영역을 검출할 수 있다.
다만, 영상 생성 모델(120)은 결함 영상(610)의 결함 형태 또는 배경 형태를 고려하여 적절한 수의 가상 양품 영상을 생성할 수 있다. 예를 들어, 영상 생성 모델(120)은 결함 영상(610)의 결함과 동일하거나 유사한 결함을 가지되 다양한 배경을 가지는 10000개의 가상 양품 영상과 결함 영상(610)의 배경과 동일하거나 유사한 배경을 가지되 다양한 결함을 가지는 5000개의 가상 양품 영상을 생성할 수 있다. 다른 예로, 영상 생성 모델(120)은 A 결함일 경우에는 10000개의 가상 양품 영상을 생성하고 B 결함일 때는 3000개의 가상 양품 영상을 생성할 수도 있다. 즉, 영상 생성 모델(120)은 결함 영상(610)의 결함의 형태, 종류 또는 수 등에 따라 다른 수의 가상 양품 영상을 생성하고, 결함 영상(610)의 배경의 형태, 종류 등에 따라 다른 수의 가상 양품 영상을 생성할 수도 있다.
메모리(130)는 본 발명의 일 실시예에 따른 결함 검출 방법을 수행하기 위해 필요한 명령어들(프로그램 코드들)을 저장하기 위한 수단이다.
프로세서(135)는 본 발명의 일 실시예에 따른 결함 검출 시스템(100)의 내부 구성 요소들(예를 들어, 학습 데이터 생성부(110), 학습부(115), 영상 생성 모델(120), 결함 검출부(125), 메모리(130) 등)을 제어하기 위한 수단이다.
또한, 결함 검출부(125)에 의해 검출된 결함 영상에 대한 영상 또는 영상 생성 모델(120)에 의해 생성되는 가상 양품 영상 및 가상 결함 영상 중 적어도 하나는 영상 생성 모델(120)의 학습을 위해 다시 이용될 수 있다.
다른 실시예에 따르면, 입력 영상이 결함 영상일 때, 학습된 영상 생성 모델(120)을 통하여 가상 양품 영상과 가상 결함 영상이 생성될 수 있다. 이 경우, 상기 결함 영상과 상기 가상 양품 영상의 비교를 통하여 결함 영역을 검출하고, 상기 결함 영상과 상기 가상 결함 영상의 비교를 통하여 결함의 종류, 패턴 등을 검출할 수도 있다.
도 9는 본 발명의 일 실시예에 따른 모델의 학습 과정을 나타낸 순서도이다.
단계 S900에서 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 생성한다.
일 실시예에 따르면, 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 양품 영상을 생성할 수 있다.
다른 예를 들어, 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 결함 영상을 생성할 수 있다.
또 다른 예를 들어, 결함 검출 시스템(100)은 소수의 양품 영상을 이용하여 다수의 양품 영상을 생성할 수 있다.
또 다른 예를 들어, 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 양품 영상과 가상 결함 영상을 모두 생성할 수도 있다.
이와 같이, 결함 검출 시스템(100)은 소수의 입력 영상을 이용하여 영상 생성 모델(120)의 학습을 위한 학습 데이터 셋을 생성할 수 있다. 이에 대해서는 도 1 내지 도 5를 참조하여 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
단계 S902에서 결함 검출 시스템(100)은 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 영상 생성 모델(120)을 학습한다.
영상 생성 모델(120)은 인공지능을 이용하는 영상 생성 모델로, 입력 영상에 대응하는 비교 영상을 생성할 수 있다.
예를 들어, 입력 영상이 결함 영상인 경우, 영상 생성 모델(120)은 결함 영상에 대응하는 양품 영상을 생성할 수 있다.
이를 위해, 영상 생성 모델(120)은 가상 결함 영상과 가상 양품 영상으로 구성된 학습 데이터 셋을 이용하여 사전 학습될 수 있다. 인공지능 모델의 학습 과정은 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.
일반적으로 인공지능 모델의 경우 모델 학습을 위한 충분한 학습 데이터 셋을 구하기 어려운 문제점이 있다. 이로 인해, 실제 모델에 충분한 학습이 이루어지지 않아 적용에 많은 어려움이 따른다.
이로 인해, 본 발명의 일 실시예에서는 소수의 결함 영상을 이용하여 모델 학습에 필요한 다수의 가상 양품 영상과 가상 결함 영상을 각각 생성하고, 이를 이용하여 모델을 학습할 수 있다.
많은 학습 데이터 셋을 이용한 모델 학습을 통해 모델의 정확도를 더욱 높일 수 있는 이점이 있다.
이와 같이, 학습이 완료된 모델을 이용하여 실제 결함을 검출하는 방법에 대해서는 도 10을 참조하여 설명하기로 한다.
도 10은 본 발명의 일 실시예에 따른 결함 검출 방법을 나타낸 순서도이다. 이하에서는 도 10에서 설명한 바와 같이, 영상 생성 모델(120)이 학습 데이터 셋을 이용하여 학습되어 있는 것을 가정하여 이후의 동작에 대해 설명하기로 한다.
단계 S1000에서 결함 검출 시스템(100)은 입력 영상을 획득한다.
단계 S1002에서 결함 검출 시스템(100)은 학습된 영상 생성 모델(120)에 입력 영상을 적용하여 비교 영상을 생성한다.
예를 들어, 입력 영상이 결함 영상인 경우, 비교 영상은 결함 영상에서 결함 영역이 제거된 양품 영상일 수 있다.
학습된 영상 생성 모델(120)에 입력 영상을 적용하는 경우, 학습된 영상 생성 모델(120)은 입력 영상인 결함 영상에서 결함 영역이 제거된 가상 양품 영상을 비교 영상으로서 생성하여 출력할 수 있다.
단계 S1004에서 결함 검출 시스템(100)은 입력 영상과 비교 영상의 차영상을 도출하고, 차영상을 이용하여 결함 영역을 검출한다.
예를 들어, 결함 검출 시스템(100)은 비교 영상으로 결함 영상을 설정할 수도 있으며, 양품 영상을 설정할 수도 있으며 양품 영상과 결함 영상을 모두 설정할 수도 있다.
결함 검출 시스템(100)은 입력 영상과 비교 영상으로 설정된 결함 영상 사이의 차영상을 도출한 후 결함 여부를 결정할 수도 있다.
다른 예를 들면, 결함 검출 시스템(100)은 입력 영상과 비교 영상으로 설정된 양품 영상 사이의 차영상을 도출한 후 결함 영역을 검출할 수도 있다.
물론, 구현 방법에 따라 결함 검출 시스템(100)은 비교 영상으로 결함 영상과 양품 영상을 모두 설정할 수도 있으며, 입력 영상과의 비교를 통해 결함 여부를 결정할 수도 있다.
또한, 결함 검출 시스템(100)은 비교 영상을 도 7에서 설명한 모델 학습에 이용할 수도 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따르면, 소수의 입력 영상(결함 영상, 양품 영상)을 이용하여 다수의 가상 학습 데이터 셋을 생성하고, 이를 이용하여 모델을 학습하여 정확도를 높인 후 결함 검사에 이용함으로써 결함 검출 성능을 높일 수 있는 이점이 있다.
한편, 위에서는 학습 데이터 셋이 부족하여 가상 결함 영상 및 가상 양품 영상을 생성하여 학습 데이터 셋으로 이용하였으나, 반복 결함 검출 과정을 통하여 실제 결함 영상 및 양품 영상이 다수 확보되면 가상 결함 영상/가상 양품 영상의 수를 줄여 학습에 이용할 수도 있다.
따라서, 상기 결함 검출 시스템은 실제 결함 영상/양품 영상의 수를 체크하고, 상기 체크된 실제 결함 영상/양품 영상의 수에 따라 가상 결함 영상/가상 양품 영상의 적절히 생성하여 학습에 이용할 수 있다. 예를 들어, 실제 결함 영상/양품 영상의 수가 1000개 이하인 경우 가상 결함 영상/가상 양품 영상을 20000개 생성하여 모델을 학습시키고, 반복 결함 검출 과정을 통하여 실제 결함 영상 및 양품 영상이 5000개까지 확보가 되면 가상 결함 영상/가상 양품 영상을 15000개 생성할 수도 있다.
즉, 인공지능은 단순히 가상 결함 영상/가상 양품 영상을 생성하여 모델을 학습하여 결함을 검출할 뿐만 아니라, 확보된 실제 결함 영상/양품 영상의 수까지 고려하여 가상 결함 영상/가상 양품 영상을 생성하여 모델을 학습시킬 수도 있다. 결과적으로, 결함 검출 과정이 반복될 수록 가상 결함 영상/가상 양품 영상의 수가 줄어들게 되고 실제 결함 영상/양품 영상이 더 많이 이용되게 되므로, 영상 생성 모델의 정밀도가 높아질 수 있다. 이 때, 실제 결함 영상/양품 영상의 수의 증가율과 상기 가상 결함 영상/가상 양품 영상의 감소율이 동일할 수도 있지만 다른 것이 효율적일 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (13)

  1. 결함 영상을 이용하여 다수의 가상 양품 영상 또는 다수의 가상 결함 영상을 생성하는 학습 데이터 생성부;
    상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부; 및
    상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함하되,
    상기 학습 데이터 생성부는 상기 결함 영상의 종류 또는 분포를 분석하여 결함 형태 또는 배경 형태를 검출하고, 상기 검출된 결함 형태 또는 배경 형태에 따라 상기 가상 양품 영상 또는 상기 가상 결함 영상의 종류, 수 또는 해상도를 다르게 생성하는 것을 특징으로 하는 결함 검출 시스템.
  2. 제1항에 있어서, 상기 학습 데이터 생성부는 상기 결함 영상에서 Haar-like 특징 또는 Histogram of Oriented Gradient와 같은 hand-crafted 특징을 추출한 후 군집 분류(clustering)를 활용하여 상기 결함 형태 또는 상기 배경 형태를 검출하는 것을 특징으로 하는 결함 검출 시스템.
  3. 제1항에 있어서, 상기 학습 데이터 생성부는,
    상기 결함 영상의 종류 및 분포를 분석하여 상기 결함 형태 또는 상기 배경 형태를 검출하는 영상 종류 및 분포 분석부;
    상기 검출된 결함 형태 또는 상기 검출된 배경 형태에 따라 상기 가상 양품 영상을 생성하는 양품 영상 생성부; 및
    상기 검출된 결함 형태 또는 상기 검출된 배경 형태에 따라 상기 가상 결함 영상을 생성하는 결함 영상 생성부를 포함하는 것을 특징으로 하는 결함 검출 시스템.
  4. 제3항에 있어서, 사용자가 상기 가상 양품 영상 또는 상기 가상 결함 영상의 종류, 수 또는 해상도를 지정한 경우, 상기 영상 종류 및 분포 분석부에 의해 인공지능으로 결정된 종류, 수 또는 해상도와 관계없이 상기 지정된 종류, 수 또는 해상도의 가상 양품 영상 또는 가상 결함 영상을 생성하도록 상기 양품 영상 생성부 또는 상기 결함 영상 생성부를 동작시키는 것을 특징으로 하는 결함 검출 시스템.
  5. 제3항에 있어서, 상기 양품 영상 생성부는 상기 결함 영상에서 결함 영역을 제거한 후 해당 영역을 알맞은 배경으로 메꾸어 가상 양품 영상을 생성하는 것을 특징으로 하는 결함 검출 시스템.
  6. 제3항에 있어서, 상기 결함 영상 생성부는 상기 결함 영상에서 결함 영역을 변형하여 다수의 가상 결함 영상을 생성하거나 상기 결함 영상의 해상도를 기준 해상도로 변환하여 다수의 가상 결함 영상을 생성하되,
    상기 가상 결함 영상의 결함의 위치, 크기 또는 형태 중 적어도 하나는 상기 결함 영상의 결함의 위치, 크기 또는 형태와 다른 것을 특징으로 하는 결함 검출 시스템.
  7. 제1항에 있어서, 상기 결함 검출부는 상기 모델을 이용하여 상기 입력 영상으로부터 결함이 제거된 비교 영상을 생성하고, 상기 생성된 비교 영상과 상기 입력 영상을 비교하여 결함을 검출하는 것을 특징으로 하는 결함 검출 시스템.
  8. 결함 영상을 이용하여 다수의 가상 양품 영상 또는 다수의 가상 결함 영상을 생성하는 학습 데이터 생성부;
    상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부; 및
    상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함하되,
    상기 학습 데이터 생성부는 상기 결함 영상의 종류 또는 분포를 인공 지능으로 분석하여 생성될 가상 양품 영상 또는 가상 결함 영상의 종류, 수 또는 해상도를 결정하나, 사용자 요청시 생성된 가상 양품 영상 또는 가상 결함 영상의 종류, 수 또는 해상도를 다르게 결정하는 것을 특징으로 하는 결함 검출 방법.
  9. 제8항에 있어서, 상기 학습 데이터 생성부는 상기 결함 영상의 종류 또는 분포를 분석하여 결함 형태 또는 배경 형태를 검출하고, 상기 검출된 결함 형태 또는 배경 형태에 따라 상기 가상 양품 영상 또는 상기 가상 결함 영상의 종류, 수 또는 해상도를 다르게 생성하는 것을 특징으로 하는 결함 검출 방법.
  10. 제8항에 있어서, 상기 양품 영상 생성부는 상기 결함 영상에서 결함 영역을 제거한 후 해당 영역을 알맞은 배경으로 메꾸어 가상 양품 영상을 생성하는 것을 특징으로 하는 결함 검출 방법.
  11. 제8항에 있어서, 상기 결함 영상 생성부는 상기 결함 영상에서 결함 영역을 변형하여 다수의 가상 결함 영상을 생성하거나 상기 결함 영상의 해상도를 기준 해상도로 변환하여 다수의 가상 결함 영상을 생성하되,
    상기 가상 결함 영상의 결함의 위치, 크기 또는 형태 중 적어도 하나는 상기 결함 영상의 결함의 위치, 크기 또는 형태와 다른 것을 특징으로 하는 결함 검출 방법.
  12. 결함 영상을 이용하여 다수의 가상 양품 영상 또는 다수의 가상 결함 영상을 생성하는 단계;
    상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 단계; 및
    상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 단계를 포함하되,
    상기 결함 영상의 종류 또는 분포를 분석하여 결함 형태 또는 배경 형태를 검출하고, 상기 검출된 결함 형태 또는 배경 형태에 따라 상기 가상 양품 영상 또는 상기 가상 결함 영상의 종류, 수 또는 해상도를 다르게 생성하는 것을 특징으로 하는 결함 검출 방법.
  13. 제12항에 있어서, 상기 학습 데이터 생성부는 상기 결함 영상에서 Haar-like 특징 또는 Histogram of Oriented Gradient와 같은 hand-crafted 특징을 추출한 후 군집 분류(clustering)를 활용하여 상기 결함 형태 또는 상기 배경 형태를 검출하는 것을 특징으로 하는 결함 검출 방법.
PCT/KR2021/016761 2021-11-15 2021-11-16 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법 WO2023085479A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202180104198.6A CN118284803A (zh) 2021-11-15 2021-11-16 考虑实际缺陷图像的种类和分布的基于人工智能的材料缺陷检测系统及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210156579A KR20230070714A (ko) 2021-11-15 2021-11-15 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법
KR10-2021-0156579 2021-11-15

Publications (1)

Publication Number Publication Date
WO2023085479A1 true WO2023085479A1 (ko) 2023-05-19

Family

ID=86336167

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/016761 WO2023085479A1 (ko) 2021-11-15 2021-11-16 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법

Country Status (3)

Country Link
KR (1) KR20230070714A (ko)
CN (1) CN118284803A (ko)
WO (1) WO2023085479A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150204799A1 (en) * 2014-01-21 2015-07-23 International Business Machines Corporation Computer-based defect root cause and yield impact determination in layered device manufacturing for products and services
EP3764087A2 (en) * 2019-07-05 2021-01-13 Ishida Co., Ltd. Image generating device, inspection apparatus, and learning device
KR102263716B1 (ko) * 2020-01-22 2021-06-10 라이트비전 주식회사 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템
KR20210128190A (ko) * 2020-04-16 2021-10-26 한국세라믹기술원 가상 결함 데이터 생성 방법
KR20210129775A (ko) * 2020-04-20 2021-10-29 세이지리서치 주식회사 사용자 입력에 기반하여 생성된 인공지능 모델을 이용하여 가상 결함 이미지를 생성하기 위한 컴퓨터 프로그램, 방법, 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102282722B1 (ko) 2017-12-15 2021-07-29 주식회사 내일해 결함 검출 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150204799A1 (en) * 2014-01-21 2015-07-23 International Business Machines Corporation Computer-based defect root cause and yield impact determination in layered device manufacturing for products and services
EP3764087A2 (en) * 2019-07-05 2021-01-13 Ishida Co., Ltd. Image generating device, inspection apparatus, and learning device
KR102263716B1 (ko) * 2020-01-22 2021-06-10 라이트비전 주식회사 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템
KR20210128190A (ko) * 2020-04-16 2021-10-26 한국세라믹기술원 가상 결함 데이터 생성 방법
KR20210129775A (ko) * 2020-04-20 2021-10-29 세이지리서치 주식회사 사용자 입력에 기반하여 생성된 인공지능 모델을 이용하여 가상 결함 이미지를 생성하기 위한 컴퓨터 프로그램, 방법, 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
H. LINB. LIX. WANGY SHUS. NIU: "Automated defect inspection of LED chip using deep convolutional neural network", JOURNAL OF INTELLIGENT MANUFACTURING, vol. 30, 2019, pages 2525 - 2534, XP036830977, DOI: 10.1007/s10845-018-1415-x
S. MARINOA. SMOLARZP. BEAUSEROY: "Potato defects classification and localization with convolutional neural networks", FOURTEENTH INTERNATIONAL CONFERENCE ON QUALITY CONTROL BY ARTIFICIAL VISION, vol. 11472, 2019, pages 110 - 117

Also Published As

Publication number Publication date
CN118284803A (zh) 2024-07-02
KR20230070714A (ko) 2023-05-23

Similar Documents

Publication Publication Date Title
WO2019107614A1 (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
WO2021194056A1 (en) Method for training deep learning network based on artificial intelligence and learning device using the same
WO2022114653A1 (ko) 데이터 경계 도출 시스템 및 방법
WO2021080233A1 (ko) 이미지 복원 방법 및 장치
KR102482507B1 (ko) 인공지능 기반 물질변형 검출 방법 및 시스템
WO2020067632A1 (ko) 인공지능 영상 학습을 위한 동영상의 학습 대상 프레임 이미지 샘플링 방법, 장치, 프로그램 및 그 영상 학습 방법
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2021187683A1 (ko) 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템
WO2020032506A1 (ko) 시각 감지 시스템 및 이를 이용한 시각 감지 방법
WO2021033791A1 (ko) 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템
WO2020032420A1 (en) Method for training and testing data embedding network to generate marked data by integrating original data with mark data, and training device and testing device using the same
WO2021225296A1 (en) Method for explainable active learning, to be used for object detector, by using deep encoder and active learning device using the same
WO2016108327A1 (ko) 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2019035544A1 (ko) 학습을 이용한 얼굴 인식 장치 및 방법
WO2016076515A1 (ko) 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치
WO2023085479A1 (ko) 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법
WO2020050456A1 (ko) 설비 데이터의 이상 정도 평가 방법
WO2020235854A1 (ko) 불량 이미지 생성 장치 및 방법
KR20230023263A (ko) 딥러닝 기반 하수도 결함 감지 방법 및 그 장치
WO2024019337A1 (en) Video enhancement method and apparatus
WO2021235701A1 (en) Method for performing adjustable continual learning on deep neural network model by using selective deep generative replay module and device using the same
WO2023282500A1 (ko) 슬라이드 스캔 데이터의 자동 레이블링 방법, 장치 및 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21964189

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021964189

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021964189

Country of ref document: EP

Effective date: 20240507