WO2021095991A1 - 불량 이미지 생성 장치 및 방법 - Google Patents

불량 이미지 생성 장치 및 방법 Download PDF

Info

Publication number
WO2021095991A1
WO2021095991A1 PCT/KR2020/000249 KR2020000249W WO2021095991A1 WO 2021095991 A1 WO2021095991 A1 WO 2021095991A1 KR 2020000249 W KR2020000249 W KR 2020000249W WO 2021095991 A1 WO2021095991 A1 WO 2021095991A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
defective
neural network
generating
masked
Prior art date
Application number
PCT/KR2020/000249
Other languages
English (en)
French (fr)
Inventor
추연학
정재호
박주영
Original Assignee
라온피플 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라온피플 주식회사 filed Critical 라온피플 주식회사
Priority to CN202080073546.3A priority Critical patent/CN114586062A/zh
Publication of WO2021095991A1 publication Critical patent/WO2021095991A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Definitions

  • the present invention relates to an apparatus and method for generating a defective image image. More specifically, it relates to an apparatus and method for generating a defective image for generating a defective image necessary for detecting a defect in a product.
  • defects may occur on the product surface for various reasons.
  • various defects may occur on the surface such as a display panel.
  • defects may occur due to various reasons, such as a malfunction of a manufacturing machine during a panel manufacturing process, a manufacturer's mistake, dust or dust, and a defective film.
  • the above-described background technology is technical information that the inventor possessed for derivation of the present invention or acquired during the derivation process of the present invention, and is not necessarily a known technology disclosed to the general public prior to filing the present invention. .
  • the embodiments disclosed in the present specification aim to provide an apparatus and method for generating a defective image capable of acquiring a plurality of defective images including various defects.
  • An object of the embodiments disclosed in the present specification is to provide an apparatus and method for generating a defective image capable of securing a sufficient number of defective images so as to increase the performance of defect detection.
  • a method for generating a defective image performed by an apparatus for generating a defective image includes the steps of receiving a masked image in which a normal image and a defective shape are masked, the normal image Removing the masked defective shape of the masked image at, and generating a defective image by inputting a normal image from which the defective shape has been removed to a learned artificial neural network to generate a defective image.
  • the defective image generating apparatus receives a masked image in which a normal image and a defective shape are masked, a normal image processor that removes the masked defective shape of the masked image from the normal image, and generates a defective image.
  • a normal image processor that removes the masked defective shape of the masked image from the normal image, and generates a defective image.
  • it includes a defective image generator for generating a defective image by inputting the normal image from which the defective shape is removed into the learned artificial neural network.
  • a computer program performed by a game equipment recommendation device and stored in a readable recording medium to perform a method for generating a defective image, wherein the method for generating a defective image includes masking in which a normal image and a defective shape are masked.
  • Receiving an image, removing the masked defective shape of the masked image from the normal image, and generating a defective image by inputting the normal image from which the defective shape has been removed into a learned artificial neural network to generate a defective image. Includes steps.
  • a computer-readable recording medium in which a program for performing a method for generating a defective image is recorded, the method for generating a defective image comprising: receiving a masked image in which a normal image and a defective shape are masked, the normal image Removing the masked defective shape of the masked image at, and generating a defective image by inputting a normal image from which the defective shape has been removed to a learned artificial neural network to generate a defective image.
  • any one of the above-described problem solving means of the present invention it is possible to provide an apparatus and method for generating a defective image capable of acquiring a plurality of defective images including various defects.
  • any one of the problem solving means of the present invention it is possible to provide an apparatus and method for generating a defective image capable of securing a sufficient number of defective images to increase the performance of defect detection.
  • FIG. 1 is a block diagram illustrating an apparatus for generating a defective image according to an exemplary embodiment.
  • FIG. 2 is a diagram illustrating an operation of learning a defective image in the apparatus for generating a defective image according to an exemplary embodiment.
  • FIG. 3 is a diagram for describing an operation of learning a defective image in the apparatus for generating a defective image according to an exemplary embodiment.
  • FIG. 4 is a flowchart illustrating a method of learning a defective image performed by the apparatus for generating a defective image according to an exemplary embodiment.
  • FIG. 5 is a flowchart illustrating a method of generating a defective image performed by the apparatus for generating a defective image according to an exemplary embodiment.
  • FIG. 6 is a block diagram illustrating an apparatus for determining a defect according to an exemplary embodiment.
  • 1 is a view showing the best mode for the implementation of the present invention.
  • FIG. 1 is a block diagram illustrating an apparatus for generating a defective image according to an exemplary embodiment.
  • the defective image generating apparatus 100 may include a detector 110, a defective remover 120, a defective image generator 130, and a normal image processor 140.
  • the detector 110 may receive an image of a defective sample.
  • the defective sample image is an image obtained by directly photographing a sample with defects (eg, including defects) using a camera or the like.
  • the detector 110 may detect a defective part in the defective sample image.
  • the detector 110 may store a normal image or the like, and may detect a defective portion using an input defective sample image and a comparison between pixels.
  • the masking image generated by the detector 110 may be a binary image, and a defective part is displayed.
  • the detector 110 may create a masked image indicating the defective portion by masking the defective portion from the defective sample image.
  • the detector 110 may output the generated masking image to the defect remover 120.
  • the defect remover 120 may receive a defective sample image and a masking image.
  • the defect remover 120 may generate a defect removal image by matching the defective sample image and the masking image.
  • the defect remover 120 may perform a multiplication operation of data values between pixels corresponding to each other in the defective sample image and the masked image to generate the defect removal image. In this way, the defect remover 120 may generate a defect removal image by removing a defective portion from the defective sample image.
  • the defective image generator 130 may receive an image of a defective sample and an image of removing defects.
  • the defective image generator 130 may learn a defect included in the defective sample image by using the defective sample image and the defect removing image.
  • the defective image generator 130 may be implemented using an artificial neural network for learning of defects (ie, defects).
  • the artificial neural network may include a convolutional neural network (CNN).
  • the defective image generator 130 may learn a defective image.
  • the defective image generator 130 may generate various defective images using an artificial neural network.
  • the normal image processor 140 may receive a masked image in which the defective shape is masked.
  • the masking image may be a binary image, and a defective shape for generating a defective image is displayed.
  • the normal image processor 140 may receive a normal image, that is, a sample image.
  • the defective image generating apparatus 100 includes a masking image generating unit (not shown) located at the front end of the normal image processor 140 to generate a masking image. It may be included in addition.
  • the normal image processor 140 may generate an image from which the masked area is removed by matching the masked image with the normal image. Through this, the normal image processor 140 may reflect the defective shape of the masked image on the normal image. The normal image processor 140 may output the normal image from which the defective shape has been removed to the defective image generator 130.
  • the defective image generator 130 may receive a normal image from which the defective shape has been removed, and generate a defective image using an artificial neural network.
  • the defective image generator 130 may output the generated defective image.
  • the defective image generator 130 implemented using an artificial neural network learned from the defective image receives the normal image from which the area corresponding to the masking area of the masked image has been removed, and generates a defective image in a form close to the actual defective image. I can.
  • the defective image generator 130 may generate a defective image from a normal image masking a defective part using an artificial neural network trained with defective images.
  • the defective image generator 130 may include an artificial neural network capable of generating a defective image by receiving a normal image, and the artificial neural network, for example, an in-painting technique, blending, for generating defects.
  • an in-painting technique for example, an in-painting technique, blending, for generating defects.
  • GANs Generative Adversarial Networks
  • the defective image generator 130 may generate a defective image by learning a defective pattern corresponding to the masking area and filling the defective portion in a natural shape. That is, the defective image generator 130 may reconstruct and fill the masked area in the normal image with information related to the defect using an infating technique.
  • the defective image generator 130 may use a structure of a generator that generates a new defective image and a discriminator that evaluates the authenticity of the defective image generated by the generator. . By competitively learning the generator and the discriminator, the defective image created by the generator can be generated in a form close to the actual defective image.
  • the defective image generating apparatus 100 may generate various defective images required for detecting a defective image.
  • the defective image generating apparatus 100 may use the detector 110, the defective remover 120, the defective image generator 130, and the normal image processor 140 to learn defective images, and after the learning is completed, When generating a defective image, the defective image generator 130 and the normal image processor 140 may be used.
  • the defective image generating apparatus 100 may be implemented with only the defective image generator 130 and the normal image processor 140 when the defective image generator 130 that has been trained is used.
  • the defective image generating device 100 or the defective image generator 130 includes an artificial neural network or may be implemented using an artificial neural network, so that when learning is completed using a defective image, a defect inspection device that inspects the defect of the product It may be applied to and used to generate a defect image for detection of a defect.
  • At least some of the components constituting the defective image generating apparatus 100 may be implemented through a processor, for example, a controller having a processor function such as a central processing unit (CPU).
  • a processor for example, a controller having a processor function such as a central processing unit (CPU).
  • CPU central processing unit
  • FIG. 2 is a diagram illustrating an operation of learning a defective image in the apparatus for generating a defective image according to an exemplary embodiment.
  • the apparatus 100 for generating a defective image may receive an image of a defective sample 210.
  • the defective sample image 210 may include a defective portion 211.
  • the defective image generating apparatus 100 may obtain the masked image 220 by masking the defective portion 211 from the defective sample image 210.
  • the masking image 220 is a binary image, and a defective portion may be displayed in the masking image 220.
  • the defective sample image may include defects that may occur during production or manufacturing, and may include defects that may occur during use.
  • the defective sample image is formed to have a predetermined direction, may include a defect in the form of a line having a predetermined length and thickness, and may be classified in various ways according to the length, thickness, and direction of the defect.
  • the defective sample image may contain defects of a predetermined width or dot shape, and may be classified in various ways according to the size and shape, and formed at the corners of the image (top left, top right, bottom left, bottom right, etc.). May contain defects.
  • the image of the defective sample is a defect in the form of light bleeding due to the phenomena of light bleeding, a defect in the form of a cloud, a defect in which a layer is formed in the form of a contour line, and a defect in a non-uniform shape where uniform rules or patterns cannot be confirmed Can contain a variety of.
  • the defective image generating apparatus 100 may obtain a defect removal image 230 by removing the defective portion 211 from the defective sample image by matching the defective sample image 210 and the masking image 220 with each other.
  • the defective portion 231 has been removed from the defective removal image 230.
  • the apparatus 100 for generating a defective image may include an artificial neural network 10, and may train the artificial neural network 10 by using the defective sample image 210 and the defect removal image 230. Through this, the artificial neural network 10 may learn the defective portion 211 of the defective sample image 210.
  • FIG. 3 is a diagram for describing an operation of learning a defective image in the apparatus for generating a defective image according to an exemplary embodiment.
  • the defective image generating apparatus 100 may receive a masked image 320 obtained by masking a normal image 310 and a defective shape 321.
  • the defective image generating apparatus 100 may remove the masked defective shape 321 of the masked image 320 from the normal image 310.
  • the defective image generating apparatus 100 may generate the defective image 340 by inputting the normal image 330 from which the defective shape 331 has been removed into the artificial neural network 10.
  • the defective image generating apparatus 100 may output a defective image 340 in which a defective shape 341 is formed by inputting a normal image using the artificial neural network 10.
  • FIG. 4 is a flowchart illustrating a method of learning a defective image performed by the apparatus for generating a defective image according to an exemplary embodiment.
  • the method for learning a defective image according to the exemplary embodiment illustrated in FIG. 4 includes steps processed in a time series by the apparatus 100 for generating a defective image illustrated in FIG. 1. Accordingly, even if the contents are omitted below, the contents described above with respect to the apparatus 100 for generating a defective image illustrated in FIG. 1 may also be applied to the method for learning a defective image according to the exemplary embodiment illustrated in FIG. 4.
  • the apparatus 100 for generating a defective image receives an image of a defective sample (S410).
  • the defective sample image may include defects of various shapes.
  • the defective image generating apparatus 100 may obtain a masked image obtained by masking the defective portion (S420).
  • the defective image generating apparatus 100 may detect a defective portion in the defective sample image and mask the detected defective portion.
  • the masking image is a binary image and may be composed of 0s and 1s, or may be implemented as a contrast (black and white) image.
  • a defective part may be displayed in black, and other parts than the defective part may be displayed in white.
  • the defective image generating apparatus 100 may obtain a defect removal image by matching the defective sample image and the masking image (S430).
  • the defective image generating apparatus 100 may obtain a defect removal image from which the defective portion is removed by using the masking image from the defective sample image.
  • the apparatus 100 for generating a defective image may train an artificial neural network by using the defective removal image and the defective sample image (S440). At this time, the artificial neural network learns the defective part of the defective sample image.
  • the apparatus 100 for generating a defective image may train an artificial neural network by repeatedly performing the above-described operation described in FIG. 4 for training an artificial neural network using a predetermined number of defective sample images.
  • FIG. 5 is a flowchart illustrating a method of generating a defective image performed by the apparatus for generating a defective image according to an exemplary embodiment.
  • the method of generating a defective image according to the exemplary embodiment illustrated in FIG. 5 includes steps processed in a time series by the apparatus 100 for generating a defective image illustrated in FIG. 1. Accordingly, even though the contents are omitted below, the contents described above with respect to the defective image generating apparatus 100 illustrated in FIG. 1 may also be applied to the method of generating a defective image according to the exemplary embodiment illustrated in FIG. 5.
  • the apparatus 100 for generating a defective image may receive a normal image and a masked image obtained by masking a defective shape (S510).
  • the masking image is a binary image and may be composed of 0s and 1s, or may be implemented as a contrast (black and white) image.
  • a defective shape may be displayed in black, and a portion other than the defective shape may be displayed in white.
  • the defective image generating apparatus 100 may remove the defective shape of the masked image from the normal image (S520). Through this, the defective image generating apparatus 100 may generate a normal image from which the defective shape has been removed.
  • the defective image generating apparatus 100 may generate a defective image by inputting the normal image from which the defective shape has been removed into the artificial neural network (S530).
  • FIG. 6 is a block diagram illustrating an apparatus for determining a defect according to an exemplary embodiment.
  • the defect determination apparatus 600 may receive a sample image and determine whether a defect exists in the sample image.
  • the defect determination apparatus 600 may include an artificial neural network for determination of a defect. Upon receiving the sample image, the defect determination device 600 may determine whether a defect exists in the sample image.
  • the defect determination device 600 may output a determination result of determining whether a defect exists in the sample image. In this case, when the defect determination device 600 can determine the defect type, it may check the defect type and output information on the identified defect type.
  • the defect determination apparatus 600 may use a defect image generated by the defect image generating apparatus 100 to learn an artificial neural network that determines a defect.
  • the defect determination apparatus 600 may further include a defect correction unit for correcting the determined defect.
  • the defective image generating apparatus 100 may generate a defective image by receiving a normal image or a masking image corresponding to the sample image.
  • the defective image generating apparatus 100 may generate a defective image for training an artificial neural network in the defect determining apparatus 600 and provide it to the defect determining apparatus 600.
  • the defective image generating apparatus 100 may provide a sufficient amount of defective images for learning an artificial neural network to the defect determining apparatus 600.
  • the defect determination apparatus 600 may train an artificial neural network using the defect data. Through this, when the learning of the artificial neural network is completed, the defect determination apparatus 600 may determine the defect of the sample image using the artificial neural network.
  • the defect determining apparatus 600 may perform a defect determination using the artificial neural network that has been learned in the defective image generating apparatus 100.
  • the term' ⁇ unit' used in this embodiment refers to software or hardware components such as field programmable gate array (FPGA) or ASIC, and' ⁇ unit' performs certain roles. However,' ⁇ part' is not limited to software or hardware.
  • The' ⁇ unit' may be configured to be in an addressable storage medium, or may be configured to reproduce one or more processors.
  • ' ⁇ unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , Subroutines, segments of program patent code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays, and variables.
  • the components and functions provided within the' ⁇ units' may be combined into a smaller number of elements and' ⁇ units', or may be separated from the additional elements and' ⁇ units'.
  • components and' ⁇ units' may be implemented to play one or more CPUs in the device.
  • the method for generating a defective image may be implemented as a computer program (or computer program product) including instructions executable by a computer.
  • the computer program includes programmable machine instructions processed by a processor, and may be implemented in a high-level programming language, an object-oriented programming language, an assembly language, or a machine language.
  • the computer program may be recorded on a tangible computer-readable recording medium (eg, a memory, a hard disk, a magnetic/optical medium or a solid-state drive (SSD), etc.).
  • the method for generating a defective image may be implemented by executing the computer program as described above by the computing device.
  • the computing device may include at least some of a processor, a memory, a storage device, a high-speed interface connected to the memory and a high-speed expansion port, and a low-speed interface connected to the low-speed bus and the storage device.
  • a processor may include at least some of a processor, a memory, a storage device, a high-speed interface connected to the memory and a high-speed expansion port, and a low-speed interface connected to the low-speed bus and the storage device.
  • Each of these components is connected to each other using a variety of buses, and can be mounted on a common motherboard or in other suitable manner.
  • the processor can process commands within the computing device.
  • commands include, for example, to display graphic information for providing a GUI (Graphic User Interface) on an external input or output device, such as a display connected to a high-speed interface.
  • GUI Graphic User Interface
  • multiple processors and/or multiple buses may be used with multiple memories and memory types as appropriate.
  • the processor may be implemented as a chipset formed by chips including a plurality of independent analog and/or digital processors.
  • the memory also stores information within the computing device.
  • the memory may be composed of volatile memory units or a set of them.
  • the memory may be composed of a nonvolatile memory unit or a set of them.
  • the memory may be another type of computer-readable medium such as a magnetic or optical disk.
  • the storage device may provide a large-capacity storage space to the computing device.
  • the storage device may be a computer-readable medium or a configuration including such a medium, for example, devices in a storage area network (SAN) or other configurations, a floppy disk device, a hard disk device, an optical disk device, Alternatively, it may be a tape device, a flash memory, or another semiconductor memory device or device array similar thereto.
  • SAN storage area network
  • floppy disk device a hard disk device
  • optical disk device Alternatively, it may be a tape device, a flash memory, or another semiconductor memory device or device array similar thereto.
  • the present invention has industrial applicability as it can be applied to the generation of various defect images for inspection using artificial intelligence to detect defects occurring in products such as display panels using artificial intelligence.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명의 실시예에 따른 불량 이미지 생성 장치에 의해 수행되는 불량 이미지 생성 방법은, 정상 이미지와 불량 모양을 마스킹한 마스킹 이미지를 수신하는 단계, 정상 이미지에서 마스킹 이미지의 마스킹된 불량 모양을 제거하는 단계, 및 불량 이미지 생성을 위해 불량 모양이 제거된 정상 이미지를 학습된 인공 신경망에 입력하여 불량 이미지를 생성하는 단계를 포함할 수 있다.

Description

불량 이미지 생성 장치 및 방법
본 발명은 불량 이미지 영상 생성 장치 및 방법에 관한 것이다. 보다 상세하게는, 제품에서 불량의 검출을 위해 필요한 불량 이미지를 생성하는 불량 이미지 생성 장치 및 방법에 관한 것이다.
2019년 과제번호 및 사사표기
1. 과제번호: 1711094483
2. 사사표기: 본 연구는 과학기술정보통신부와 정보통신기술진흥센터의 글로벌SW전문기업육성사업의 연구결과로 수행되었음(IITP-2019-0-01423-001).
최근에는 다양한 제품을 제조하는 과정에서 제품 표면에 여러 이유로 불량이 발생할 수 있다. 이러한 제품들 중에서도 디스플레이 패널과 같이 표면에 다양한 불량이 발생할 수 있다. 예를 들어, 패널의 제조 공정 상의 제조 기계의 오작동, 제작자의 실수, 먼지나 분진, 필름의 불량 등의 다양한 이유로 불량이 발생할 수 있다.
관련하여, 선행기술문헌 한국등록특허 제10-1188404호에서는 디스플레이 패널 글라스의 편광 특성을 이용한 영상을 획득하여, 검사 영역의 구분없이 글라스 영상에 따른 글라스 표면의 불량 여부를 검사하는 디스플레이 패널 글라스 표면의 불량 검사 방법에 대해 기재한다. 선행기술문헌에서는 글라스 영상의 영상 요소의 임계치와 측정치를 비교하여 불량 여부를 판정하는 내용만을 기재한다. 하지만, 선행기술문헌에서와 같은 방식의 불량 판정은 많은 시간과 처리 공정을 필요로 한다. 이를 방지하기 위해, 인공지능을 활용하여 제품에서 발생된 불량을 검사하기 위한 시도가 증가하고 있다. 그러나, 인공지능을 이용한 검사를 위해서는 불량의 검출을 위한 불량 데이터, 즉 불량 이미지를 필요로 한다.
하지만, 불량은 특정한 형태로 발생되지 않기 때문에 다수의 불량 이미지를 획득하는데 한계가 존재하는 문제점이 있었다. 또한, 불량 검출의 성능을 높이기 위해서는 충분한 개수의 불량 이미지를 필요로 하지만, 불량 이미지의 획득에는 한계가 존재하는 문제점이 있었다.
따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 명세서에서 개시되는 실시예들은 다양한 불량을 포함한 다수의 불량 이미지를 획득할 수 있는 불량 이미지 생성 장치 및 방법을 제시하는 데 목적이 있다.
본 명세서에서 개시되는 실시예들은, 불량 검출의 성능을 높일 수 있도록 충분한 개수의 불량 이미지를 확보할 수 있는 불량 이미지 생성 장치 및 방법을 제시하는 데 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 불량 이미지 생성 장치에 의해 수행되는 불량 이미지 생성 방법은, 정상 이미지와 불량 모양을 마스킹한 마스킹 이미지를 수신하는 단계, 상기 정상 이미지에서 상기 마스킹 이미지의 마스킹된 불량 모양을 제거하는 단계, 및 불량 이미지 생성을 위해 상기 불량 모양이 제거된 정상 이미지를 학습된 인공 신경망에 입력하여 불량 이미지를 생성하는 단계를 포함한다.
다른 실시예에 따르면, 불량 이미지 생성 장치는, 정상 이미지와 불량 모양을 마스킹한 마스킹 이미지를 수신하고, 상기 정상 이미지에서 상기 마스킹 이미지의 마스킹된 불량 모양을 제거하는 정상 이미지 처리기, 및 불량 이미지 생성을 위해 상기 불량 모양이 제거된 정상 이미지를 학습된 인공 신경망에 입력하여 불량 이미지를 생성하는 불량 이미지 생성기를 포함한다.
또 다른 실시예에 따르면, 게임 장비 추천 장치에 의해 수행되며, 불량 이미지 생성 방법을 수행하기 위해 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램으로서, 상기 불량 이미지 생성 방법은, 정상 이미지와 불량 모양을 마스킹한 마스킹 이미지를 수신하는 단계, 상기 정상 이미지에서 상기 마스킹 이미지의 마스킹된 불량 모양을 제거하는 단계, 및 불량 이미지 생성을 위해 상기 불량 모양이 제거된 정상 이미지를 학습된 인공 신경망에 입력하여 불량 이미지를 생성하는 단계를 포함한다.
또 다른 실시예에 따르면, 불량 이미지 생성 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서, 상기 불량 이미지 생성 방법은, 정상 이미지와 불량 모양을 마스킹한 마스킹 이미지를 수신하는 단계, 상기 정상 이미지에서 상기 마스킹 이미지의 마스킹된 불량 모양을 제거하는 단계, 및 불량 이미지 생성을 위해 상기 불량 모양이 제거된 정상 이미지를 학습된 인공 신경망에 입력하여 불량 이미지를 생성하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 다양한 불량을 포함한 다수의 불량 이미지를 획득할 수 있는 불량 이미지 생성 장치 및 방법을 제시할 수 있다.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 불량 검출의 성능을 높일 수 있도록 충분한 개수의 불량 이미지를 확보할 수 있는 불량 이미지 생성 장치 및 방법을 제시할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 불량 이미지 생성 장치를 도시한 블록도이다.
도 2는 일 실시예에 따른 불량 이미지 생성 장치에서 불량 이미지를 학습하는 동작을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 불량 이미지 생성 장치에서 불량 이미지를 학습하는 동작을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 불량 이미지 생성 장치에서 수행되는 불량 이미지 학습 방법을 도시한 순서도이다.
도 5는 일 실시예에 따른 불량 이미지 생성 장치에서 수행되는 불량 이미지 생성 방법을 도시한 순서도이다.
도 6은 일 실시예에 따른 불량 판정 장치를 도시한 블록도이다.
본 발명의 실시를 위한 최선의 형태를 보여주는 도면은 도 1이다.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 불량 이미지 생성 장치를 도시한 블록도이다.
도 1에 도시된 바와 같이, 불량 이미지 생성 장치(100)는 검출기(110), 불량 제거기(120), 불량 이미지 생성기(130) 및 정상 이미지 처리기(140)를 포함할 수 있다.
검출기(110)는 불량 시료 이미지를 입력받을 수 있다. 여기서, 불량 시료 이미지는 불량(예를 들어, 결함(defect)을 포함)이 존재하는 시료를 카메라 등을 사용하여 직접 촬영한 이미지이다. 검출기(110)는 불량 시료 이미지에서 불량 부분을 검출할 수 있다. 예를 들어, 검출기(110)는 정상 이미지 등을 저장할 수 있으며, 입력된 불량 시료 이미지와 픽셀 간 비교 등을 이용하여 불량 부분을 검출할 수 있다. 검출기(110)에서 생성한 마스킹 이미지는 이진(Binary)이미지일 수 있으며, 불량 부분이 표시 된다.
검출기(110)는 불량 시료 이미지에서 불량 부분을 마스킹하여 불량 부분을 표시한 마스킹 이미지를 생성할 수 있다. 검출기(110)는 생성된 마스킹 이미지를 불량 제거기(120)로 출력할 수 있다.
불량 제거기(120)는 불량 시료 이미지와 마스킹 이미지를 입력받을 수 있다. 불량 제거기(120)는 불량 시료 이미지와 마스킹 이미지를 정합하여 불량 제거 이미지를 생성할 수 있다. 예를 들어, 불량 제거기(120)는 불량 제거 이미지 생성을 위해 불량 시료 이미지와 마스킹 이미지에서 서로 대응되는 픽셀 간 데이터 값을 곱셈 연산할 수 있다. 이와 같이, 불량 제거기(120)는 불량 시료 이미지에서 불량 부분을 제거한 불량 제거 이미지를 생성할 수 있다.
불량 이미지 생성기(130)는 불량 시료 이미지와 불량 제거 이미지를 수신할 수 있다. 불량 이미지 생성기(130)는 불량 시료 이미지와 불량 제거 이미지를 이용하여 불량 시료 이미지에 포함된 불량을 학습할 수 있다.
불량 이미지 생성기(130)는 불량(즉, 결함)의 학습을 위해 인공 신경망을 이용하여 구현될 수 있다. 여기서, 인공 신경망은 콘볼루션 신경망(CNN: Convolutional Neural Network)을 포함할 수 있다.
이와 같이, 불량 이미지 생성기(130)는 불량 이미지를 학습할 수 있다. 불량 이미지 생성기(130)는 학습이 완료되면, 인공 신경망을 이용하여 다양한 불량 이미지를 생성할 수 있다.
다음으로, 불량 이미지 생성기(130)에서 불량 이미지를 생성하는 구성을 설명한다.
정상 이미지 처리기(140)는 불량 모양을 마스킹한 마스킹 이미지를 입력받을 수 있다. 여기서, 마스킹 이미지는 이진(Binary)이미지일 수 있으며, 불량 이미지 생성을 위한 불량 모양이 표시되어 있다. 정상 이미지 처리기(140)는 정상 이미지, 즉 시료 이미지를 입력받을 수 있다. 불량 이미지 생성 장치(100)에서 직접 마스킹 이미지를 생성이 가능한 경우, 불량 이미지 생성 장치(100)는 정상 이미지 처리기(140)의 전단에 위치하여 마스킹 이미지를 생성하는 마스킹 이미지 생성부(미도시)를 추가로 포함할 수도 있다.
정상 이미지 처리기(140)는 정상 이미지에 마스킹 이미지를 정합하여 마스킹 영역이 제거된 이미지를 생성할 수 있다. 이를 통해, 정상 이미지 처리기(140)는 정상 이미지에 마스킹 이미지의 불량 모양을 반영할 수 있다. 정상 이미지 처리기(140)는 불량 모양이 제거된 정상 이미지를 불량 이미지 생성기(130)로 출력할 수 있다.
불량 이미지 생성기(130)는 불량 모양이 제거된 정상 이미지를 입력받고, 인공 신경망을 이용하여 불량 이미지를 생성할 수 있다. 불량 이미지 생성기(130)는 생성된 불량 이미지를 출력할 수 있다.
한편, 정상 이미지 처리기(140)로 입력되는 마스킹 이미지는 간단하게 생성이 가능하기 때문에, 다양한 형태로 간단히 만들어낼 수 있다. 따라서, 불량 이미지로 학습된 인공 신경망을 이용하여 구현된 불량 이미지 생성기(130)는 마스킹 이미지의 마스킹 영역에 대응되는 영역이 제거된 정상 이미지를 수신하여 실제 불량 이미지에 가까운 형태의 불량 이미지를 생성할 수 있다.
불량 이미지 생성기(130)는 불량 이미지들로 학습시킨 인공 신경망을 이용하여 불량 부분을 마스킹한 정상 이미지로부터 불량 이미지를 생성할 수 있다.
불량 이미지 생성기(130)는 정상 이미지를 입력받아 불량 이미지를 생성할 수 있는 인공 신경망을 포함할 수 있으며, 인공 신경망은 불량 생성을 위해 예를 들어, 인페인팅(in-painting) 기법, 블렌딩(blending) 기법 및 생산적 적대 신경망(GAN: Generative Adversarial Networks) 등의 다양한 방식을 이용할 수 있다.
예를 들어, 불량 이미지 생성기(130)는 인페인팅 기법을 이용하는 경우, 마스킹 영역에 대응되는 불량 패턴을 학습하여 불량 부분을 자연스러운 형태로 채워 넣어 불량 이미지를 생성할 수 있다. 즉, 불량 이미지 생성기(130)는 인페이팅 기법을 이용하여 정상 이미지 내의 마스킹 영역을 불량에 관련된 정보로 재구성하여 채워 넣을 수 있다.
예를 들어, 불량 이미지 생성기(130)는 GAN 기법을 이용하는 경우, 새로운 불량 이미지를 생성하는 생성기(generator)와 생성기에서 생성된 불량 이미지의 진위를 평가하는 판별기(discriminator)의 구조를 이용할 수 있다. 생성기와 판별기를 경쟁적으로 학습시켜 생성기에서 만든 불량 이미지를 실제 불량 이미지에 가까운 형태로 생성할 수 있다.
상술한 바와 같이, 불량 이미지 생성 장치(100)는 불량 이미지 검출을 위해 필요로 하는 다양한 불량 이미지를 생성할 수 있다.
이러한, 불량 이미지 생성 장치(100)는 불량 이미지 학습을 위해, 검출기(110), 불량 제거기(120), 불량 이미지 생성기(130) 및 정상 이미지 처리기(140)를 사용할 수 있으며, 학습이 완료된 이후에 불량 이미지 생성 시, 불량 이미지 생성기(130)와 정상 이미지 처리기(140)를 사용할 수 있다.
따라서, 불량 이미지 생성 장치(100)는 학습이 완료된 불량 이미지 생성기(130)를 사용하는 경우에는 불량 이미지 생성기(130)와 정상 이미지 처리기(140)만으로 구현될 수 있다.
불량 이미지 생성 장치(100) 또는 불량 이미지 생성기(130)는 인공 신경망을 포함하거나, 인공 신경망을 이용하여 구현될 수 있어, 불량 이미지를 사용하여 학습이 완료되면, 제품의 불량을 검사하는 불량 검사 장치에 적용되어 불량의 검출을 위한 불량 이미지 생성에 이용될 수도 있다.
이러한, 불량 이미지 생성 장치(100)를 구성하는 구성 요소들 중 적어도 일부는 프로세서, 예를 들어, 중앙 처리 장치(CPU)와 같은 프로세서 기능을 갖는 제어부를 통해 구현될 수 있다.
도 2는 일 실시예에 따른 불량 이미지 생성 장치에서 불량 이미지를 학습하는 동작을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 불량 이미지 생성 장치(100)는 불량 시료 이미지(210)를 입력받을 수 있다. 불량 시료 이미지(210)는 불량 부분(211)을 포함할 수 있다.
불량 이미지 생성 장치(100)는 불량 시료 이미지(210)에서 불량 부분(211)을 마스킹하여 마스킹 이미지(220)를 획득할 수 있다. 마스킹 이미지(220)는 이진 이미지로서, 마스킹 이미지(220) 내에 불량 부분이 표시될 수 있다.
불량 시료 이미지는 생산이나 제조 과정에서 발생될 수 있는 불량(defect)을 포함할 수 있으며, 사용 중에 발생될 수 있는 불량을 포함할 수도 있다. 예를 들어, 불량 시료 이미지는 소정의 방향을 갖도록 형성되고, 소정의 길이와 두께를 갖는 라인 형태의 불량을 포함할 수 있으며, 불량의 길이, 두께 및 방향에 따라 다양하게 구분될 수 있다. 불량 시료 이미지는 소정의 넓이 또는 점 형태의 불량을 포함할 수 있으며, 크기와 모양에 따라 다양하게 구분될 수 있으며, 이미지의 모서리 부분(좌측상단, 우측상단, 좌측하단, 우측하단 등)에 형성된 불량을 포함할 수 있다. 또한, 불량 시료 이미지는 빛의 번짐 현상에 따른 빛 번짐 형태의 불량, 구름 형상으로 떼지어 발생되는 불량, 등고선 형태로 층이 형성된 불량 및 균일한 규칙이나 패턴을 확인할 수 없는 불균일한 형태의 불량 등의 다양한 포함할 수 있다.
불량 이미지 생성 장치(100)는 불량 시료 이미지(210)와 마스킹 이미지(220)를 서로 정합하여 불량 시료 이미지에서 불량 부분(211)을 제거한 불량 제거 이미지(230)를 획득할 수 있다. 불량 제거 이미지(230)에서 불량 부분(231)이 제거되어 있다.
불량 이미지 생성 장치(100)는 인공 신경망(10)을 포함할 수 있으며, 불량 시료 이미지(210)와 불량 제거 이미지(230)를 이용하여 인공 신경망(10)을 학습시킬 수 있다. 이를 통해, 인공 신경망(10)은 불량 시료 이미지(210)의 불량 부분(211)을 학습시킬 수 있다.
도 3은 일 실시예에 따른 불량 이미지 생성 장치에서 불량 이미지를 학습하는 동작을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 불량 이미지 생성 장치(100)는 정상 이미지(310)와 불량 모양(321)을 마스킹한 마스킹 이미지(320)를 입력받을 수 있다.
불량 이미지 생성 장치(100)는 정상 이미지(310)에서 마스킹 이미지(320)의 마스킹된 불량 모양(321)을 제거할 수 있다. 불량 이미지 생성 장치(100)는 불량 모양(331)이 제거된 정상 이미지(330)를 인공 신경망(10)에 입력하여 불량 이미지(340)를 생성할 수 있다.
이를 통해, 불량 이미지 생성 장치(100)는 인공 신경망(10)을 이용하여 정상 이미지를 입력으로 하여 불량 모양(341)이 형성된 불량 이미지(340)를 출력할 수 있다.
도 4는 일 실시예에 따른 불량 이미지 생성 장치에서 수행되는 불량 이미지 학습 방법을 도시한 순서도이다.
도 4에 도시된 실시예에 따른 불량 이미지 학습 방법은 도 1에 도시된 불량 이미지 생성 장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1에 도시된 불량 이미지 생성 장치(100)에 관하여 이상에서 기술한 내용은 도 4에 도시된 실시예에 따른 불량 이미지 학습 방법에도 적용될 수 있다.
도 4에 도시된 바와 같이, 불량 이미지 생성 장치(100)는 불량 시료 이미지를 입력받는다(S410). 불량 시료 이미지는 다양한 형상의 불량(defect)을 포함할 수 있다.
불량 이미지 생성 장치(100)는 불량 부분을 마스킹한 마스킹 이미지를 획득할 수 있다(S420). 불량 이미지 생성 장치(100)는 불량 시료 이미지에서 불량 부분을 검출하고, 검출된 불량 부분을 마스킹할 수 있다. 여기서, 마스킹 이미지는 이진 이미지로서 0과 1로 구성되거나, 명암(흑백) 이미지로 구현될 수 있다. 예를 들어, 마스킹 이미지에서 불량 부분을 검은색으로 표시하고, 불량 부분이 아닌 다른 부분을 흰색으로 표시할 수 있다.
불량 이미지 생성 장치(100)는 불량 시료 이미지와 마스킹 이미지를 정합하여 불량 제거 이미지를 획득할 수 있다(S430). 불량 이미지 생성 장치(100)는 불량 시료 이미지에서 마스킹 이미지를 이용하여 불량 부분을 제거한 불량 제거 이미지를 획득할 수 있다.
불량 이미지 생성 장치(100)는 불량 제거 이미지와 불량 시료 이미지를 이용하여 인공 신경망을 학습시킬 수 있다(S440). 이때, 인공 신경망은 불량 시료 이미지의 불량 부분을 학습하게 된다.
불량 이미지 생성 장치(100)는 소정 개수의 불량 시료 이미지를 이용하여 인공 신경망을 학습시키는 도 4에서 설명된 상술한 동작을 반복 수행하여 인공 신경망을 학습시킬 수 있다.
도 5는 일 실시예에 따른 불량 이미지 생성 장치에서 수행되는 불량 이미지 생성 방법을 도시한 순서도이다.
도 5에 도시된 실시예에 따른 불량 이미지 생성 방법은 도 1에 도시된 불량 이미지 생성 장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1에 도시된 불량 이미지 생성 장치(100)에 관하여 이상에서 기술한 내용은 도 5에 도시된 실시예에 따른 불량 이미지 생성 방법에도 적용될 수 있다.
도 5에 도시된 바와 같이, 불량 이미지 생성 장치(100)는 정상 이미지와 불량 모양을 마스킹한 마스킹 이미지를 수신할 수 있다(S510). 여기서, 마스킹 이미지는 이진 이미지로서 0과 1로 구성되거나, 명암(흑백) 이미지로 구현될 수 있다. 예를 들어, 마스킹 이미지에서 불량 모양을 검은색으로 표시하고, 불량 모양이 아닌 다른 부분을 흰색으로 표시할 수 있다.
불량 이미지 생성 장치(100)는 정상 이미지에서 마스킹 이미지의 불량 모양을 제거할 수 있다(S520). 이를 통해, 불량 이미지 생성 장치(100)는 불량 모양이 제거된 정상 이미지를 생성할 수 있다.
불량 이미지 생성 장치(100)는 불량 모양이 제거된 정상 이미지를 인공 신경망에 입력하여 불량 이미지를 생성할 수 있다(S530).
도 6은 일 실시예에 따른 불량 판정 장치를 도시한 블록도이다.
도 6에 도시된 바와 같이, 불량 판정 장치(600)는 시료 이미지를 입력받아 시료 이미지에 불량이 존재하는지 판정할 수 있다.
불량 판정 장치(600)는 불량 판정을 위해 인공 신경망을 포함할 수 있다. 불량 판정 장치(600)는 시료 이미지를 입력받으면, 시료 이미지 내에 불량이 존재하는지 판정할 수 있다.
불량 판정 장치(600)는 시료 이미지에 불량이 존재하는지를 판정한 판정 결과를 출력할 수 있다. 이때, 불량 판정 장치(600)는 불량의 종류까지 판정이 가능한 경우, 불량의 종류를 확인하고, 확인된 불량의 종류에 대한 정보도 함께 출력할 수 있다.
한편, 불량 판정 장치(600)는 불량 판정을 하는 인공 신경망의 학습을 위해 불량 이미지 생성 장치(100)에서 생성된 불량 이미지를 이용할 수 있다. 불량 판정 장치(600)는 불량 판정에 따라 불량 이미지의 보정을 하도록 구현된 경우, 판정된 불량을 보정하는 불량 보정부를 추가로 포함할 수도 있다.
불량 이미지 생성 장치(100)는 시료 이미지에 대응되는 정상 이미지 또는 마스킹 이미지를 입력받아 불량 이미지를 생성할 수 있다. 불량 이미지 생성 장치(100)는 불량 판정 장치(600) 내의 인공 신경망을 학습시키기 위한 불량 이미지를 생성하여 불량 판정 장치(600)로 제공할 수 있다. 불량 이미지 생성 장치(100)는 불량 판정 장치(600)로 인공 신경망의 학습을 위해 충분한 분량의 불량 이미지를 제공할 수 있다.
불량 판정 장치(600)는 불량 데이터를 이용하여 인공 신경망을 학습시킬 수 있다. 이를 통해, 불량 판정 장치(600)는 인공 신경망의 학습이 완료되면, 인공 신경망을 이용하여 시료 이미지의 불량 판정을 할 수 있다.
한편, 불량 판정 장치(600)는 불량 이미지 생성 장치(100) 내에서 학습 완료된 인공 신경망을 이용할 수 있는 경우, 불량 이미지 생성 장치(100)에서 학습 완료된 인공 신경망을 이용하여 불량 판정을 할 수도 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다
또한 본 발명의 일 실시예에 따르는 불량 이미지 생성 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 본 발명의 일 실시예에 따르는 불량 이미지 생성 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 인공지능을 이용하여 디스플레이 패널과 같은 제품에 발생된 불량의 검출을 위해 인공지능을 이용한 검사를 위한 다양한 불량 이미지의 생성에 적용될 수 있음으로 산업상 이용가능성이 있다.

Claims (12)

  1. 불량 이미지 생성 장치에 의해 수행되는 불량 이미지 생성 방법에 있어서,
    정상 이미지와 불량 모양을 마스킹한 마스킹 이미지를 수신하는 단계;
    상기 정상 이미지에서 상기 마스킹 이미지의 마스킹된 불량 모양을 제거하는 단계; 및
    불량 이미지 생성을 위해 상기 불량 모양이 제거된 정상 이미지를 학습된 인공 신경망에 입력하여 불량 이미지를 생성하는 단계를 포함하는 불량 이미지 생성 방법.
  2. 제 1 항에 있어서,
    상기 마스킹 이미지를 수신하는 단계 이전에,
    상기 인공 신경망을 학습시키는 단계를 더 포함하는 불량 이미지 생성 방법.
  3. 제 2 항에 있어서,
    상기 인공 신경망을 학습시키는 단계는,
    불량 시료 이미지를 입력받는 단계;
    상기 불량 시료 이미지의 불량 부분을 마스킹하여 마스킹 이미지를 획득하는 단계;
    상기 불량 시료 이미지와 상기 마스킹 이미지를 서로 정합하여 상기 불량 시료 이미지에서 불량 부분을 제거한 불량 제거 이미지를 획득하는 단계; 및
    상기 불량 시료 이미지와 상기 불량 제거 이미지를 이용하여 상기 인공 신경망을 학습시키는 단계를 포함하는 불량 이미지 생성 방법.
  4. 제 1 항에 있어서,
    상기 인공 신경망은,
    콘볼루션 신경망(CNN)인 불량 이미지 생성 방법.
  5. 제 1 항에 있어서,
    상기 인공 신경망은,
    인페인팅 기법, 블렌딩 기법, 및 생산적 적대 신경망(GAN) 중 하나의 기법을 이용하여 구현되는 불량 이미지 생성 방법.
  6. 정상 이미지와 불량 모양을 마스킹한 마스킹 이미지를 수신하고, 상기 정상 이미지에서 상기 마스킹 이미지의 마스킹된 불량 모양을 제거하는 정상 이미지 처리기; 및
    불량 이미지 생성을 위해 상기 불량 모양이 제거된 정상 이미지를 학습된 인공 신경망에 입력하여 불량 이미지를 생성하는 불량 이미지 생성기를 포함하는 불량 이미지 생성 장치.
  7. 제 6 항에 있어서,
    불량 시료 이미지를 입력받고, 상기 불량 시료 이미지의 불량 부분을 마스킹하여 마스킹 이미지를 획득하는 검출기; 및
    상기 불량 시료 이미지와 상기 마스킹 이미지를 서로 정합하여 상기 불량 시료 이미지에서 불량 부분을 제거한 불량 제거 이미지를 획득하여 상기 불량 이미지 생성기로 출력하는 불량 제거기를 더 포함하는 불량 이미지 생성 장치.
  8. 제 7 항에 있어서,
    상기 불량 이미지 생성기는,
    상기 불량 시료 이미지와 상기 불량 제거 이미지를 이용하여 상기 인공 신경망을 학습시키는 불량 이미지 생성 장치.
  9. 제 6 항에 있어서,
    상기 인공 신경망은,
    콘볼루션 신경망(CNN)인 불량 이미지 생성 장치.
  10. 제 6 항에 있어서,
    상기 인공 신경망은,
    인페인팅 기법, 블렌딩 기법, 및 생산적 적대 신경망(GAN) 중 하나의 기법을 이용하여 구현되는 불량 이미지 생성 장치.
  11. 제 1 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  12. 불량 이미지 생성 장치에 의해 수행되며, 제 1 항에 기재된 방법을 수행하기 위해 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
PCT/KR2020/000249 2019-11-12 2020-01-07 불량 이미지 생성 장치 및 방법 WO2021095991A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202080073546.3A CN114586062A (zh) 2019-11-12 2020-01-07 缺陷图像生成装置和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0144358 2019-11-12
KR1020190144358A KR20210057518A (ko) 2019-11-12 2019-11-12 불량 이미지 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2021095991A1 true WO2021095991A1 (ko) 2021-05-20

Family

ID=75912081

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/000249 WO2021095991A1 (ko) 2019-11-12 2020-01-07 불량 이미지 생성 장치 및 방법

Country Status (3)

Country Link
KR (2) KR20210057518A (ko)
CN (1) CN114586062A (ko)
WO (1) WO2021095991A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592502B1 (ko) * 2021-06-03 2023-10-20 동의대학교 산학협력단 딥러닝 기반의 결함값 분포에 기초한 부품의 품질 관리 시스템 및 방법
CN113658167B (zh) * 2021-08-24 2024-03-26 凌云光技术股份有限公司 一种含缺陷的训练图像生成方法及装置
KR20230138314A (ko) * 2022-03-23 2023-10-05 주식회사 Lg 경영개발원 제품 이미지를 기반으로 불량 제품을 감지하는 인공 지능 장치 및 그 방법
KR20230138335A (ko) * 2022-03-23 2023-10-05 주식회사 Lg 경영개발원 제품 이미지를 기반으로 불량 제품을 감지하는 인공 지능 장치 및 그 방법
KR102595573B1 (ko) * 2022-05-30 2023-10-27 전남대학교산학협력단 인공지능 모델 학습을 위한 이미지 데이터 증강 방법 및 이를 이용한 시스템
KR20240135526A (ko) 2023-03-03 2024-09-11 고려대학교 산학협력단 결함 이미지 합성 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170200264A1 (en) * 2016-01-11 2017-07-13 Kla-Tencor Corporation Image based specimen process control
KR101863196B1 (ko) * 2017-07-24 2018-06-01 한국생산기술연구원 딥러닝 기반 표면 결함 검출장치 및 방법
KR101950681B1 (ko) * 2018-05-04 2019-02-21 주식회사 스켈터랩스 결함 검사 장치, 시스템, 방법 및 컴퓨터 판독가능 저장 매체
KR101975186B1 (ko) * 2018-07-04 2019-05-07 광운대학교 산학협력단 객체 검출을 위한 생성적 적대 신경망 기반의 데이터 생성 장치 및 방법
WO2019107614A1 (ko) * 2017-11-30 2019-06-06 전자부품연구원 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5280671B2 (ja) * 2006-12-20 2013-09-04 富士フイルム株式会社 画像検出器および放射線検出システム
JP5156452B2 (ja) * 2008-03-27 2013-03-06 東京エレクトロン株式会社 欠陥分類方法、プログラム、コンピュータ記憶媒体及び欠陥分類装置
CN104034260B (zh) * 2014-05-27 2017-09-22 佛山职业技术学院 一种瓷砖自动检测装置
KR101992239B1 (ko) * 2017-08-24 2019-06-25 주식회사 수아랩 훈련 데이터를 생성하는 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
KR20200141376A (ko) * 2020-02-04 2020-12-18 주식회사 수아랩 데이터 생성 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170200264A1 (en) * 2016-01-11 2017-07-13 Kla-Tencor Corporation Image based specimen process control
KR101863196B1 (ko) * 2017-07-24 2018-06-01 한국생산기술연구원 딥러닝 기반 표면 결함 검출장치 및 방법
WO2019107614A1 (ko) * 2017-11-30 2019-06-06 전자부품연구원 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
KR101950681B1 (ko) * 2018-05-04 2019-02-21 주식회사 스켈터랩스 결함 검사 장치, 시스템, 방법 및 컴퓨터 판독가능 저장 매체
KR101975186B1 (ko) * 2018-07-04 2019-05-07 광운대학교 산학협력단 객체 검출을 위한 생성적 적대 신경망 기반의 데이터 생성 장치 및 방법

Also Published As

Publication number Publication date
CN114586062A (zh) 2022-06-03
KR20220016245A (ko) 2022-02-08
KR20210057518A (ko) 2021-05-21
KR102559021B1 (ko) 2023-07-24

Similar Documents

Publication Publication Date Title
WO2021095991A1 (ko) 불량 이미지 생성 장치 및 방법
WO2020042741A1 (zh) 电池检测方法及装置
WO2020153712A1 (ko) 기판 검사 장치 및 스크린 프린터의 결함 유형 결정 방법
WO2021066253A1 (ko) 인공지능(ai) 기반 대상물 검사 시스템 및 방법
WO2019168264A1 (ko) 전자 장치 및 그 제어 방법
WO2019039757A1 (ko) 훈련 데이터를 생성하는 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
WO2021071286A1 (ko) 생성적 적대 신경망 기반의 의료영상 학습 방법 및 장치
WO2018066852A1 (ko) 기판 검사장치 및 이를 이용한 기판의 왜곡 보상 방법
WO2021187683A1 (ko) 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템
WO2018143486A1 (ko) 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법
WO2017195984A1 (ko) 3차원 스캐닝 장치 및 방법
WO2020235854A1 (ko) 불량 이미지 생성 장치 및 방법
WO2018074755A1 (ko) 기판 검사장치 및 이를 이용한 기판 검사방법
US6909798B1 (en) Method of erasing repeated patterns and pattern defect inspection device
WO2021040345A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2021101224A1 (ko) 반도체 포토리소그래피 공정의 웨이퍼 결함 검출 시스템
WO2019194356A1 (ko) 전자 장치 및 그 제어 방법
WO2020256407A1 (ko) 제품 검사를 위한 자동 학습 방법 및 시스템
WO2016190698A1 (ko) 잡음 제거를 위한 가중 미디언 필터링 방법 및 장치
WO2013009151A2 (ko) 검사방법
WO2017003240A1 (ko) 영상 변환 장치 및 그 영상 변환 방법
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
WO2019208869A1 (ko) 학습을 이용한 얼굴 특징점 검출 방법 및 장치
WO2022191424A1 (ko) 전자 장치 및 그 제어 방법
WO2015046658A1 (ko) 설진기 재현성 측정 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20888267

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20888267

Country of ref document: EP

Kind code of ref document: A1