KR20210095014A - AI-based material defect detection method and system - Google Patents

AI-based material defect detection method and system Download PDF

Info

Publication number
KR20210095014A
KR20210095014A KR1020200107773A KR20200107773A KR20210095014A KR 20210095014 A KR20210095014 A KR 20210095014A KR 1020200107773 A KR1020200107773 A KR 1020200107773A KR 20200107773 A KR20200107773 A KR 20200107773A KR 20210095014 A KR20210095014 A KR 20210095014A
Authority
KR
South Korea
Prior art keywords
image
defect
defective
virtual
images
Prior art date
Application number
KR1020200107773A
Other languages
Korean (ko)
Other versions
KR102482507B1 (en
Inventor
정진하
라문수
Original Assignee
라이트비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라이트비전 주식회사 filed Critical 라이트비전 주식회사
Publication of KR20210095014A publication Critical patent/KR20210095014A/en
Application granted granted Critical
Publication of KR102482507B1 publication Critical patent/KR102482507B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

Disclosed are an artificial intelligence-based material deformation detecting method and a system thereof. The artificial intelligence-based defect detecting system includes: a learning data generation unit for generating at least one of a plurality of virtual non-defective images and virtual defective images by using the defective image; and a learning unit configured to train a model using at least one of the virtual non-defective images and the virtual defective images. In addition, the present invention may include a method for generating a defect site at various positions in an image and an image result thereof.

Description

인공지능 기반 물질변형 검출 방법 및 시스템{AI-based material defect detection method and system}AI-based material defect detection method and system

본 발명은 인공지능 기반 물질변형 검출 방법 및 시스템에 관한 것이다. The present invention relates to a method and system for detecting material deformation based on artificial intelligence.

최근 인공지능 기술의 발전에 따라 자동 결함 검출 분야에서도 인공지능이 적용되는 사례가 급증하고 있다. 예를 들어, S. Marino, A. Smolarz, and P. Beauseroy, "Potato defects classification and localization with convolutional neural networks," in Fourteenth International Conference on Quality Control by Artificial Vision, vol. 11172, 2019, pp. 110-117.와 H. Lin, B. Li, X. Wang, Y. Shu, and S. Niu, "Automated defect inspection of LED chip using deep convolutional neural network," Journal of Intelligent Manufacturing, vol. 30, pp. 2525-2534, 2019.에는 각각 감자와 LED 기판의 결함을 자동으로 검출하기 위해 Class Activation Mapping(CAM)이라는 딥러닝 기법을 사용하였다. CAM은 분류기로 학습된 인공신경망이 입력 영상의 어느 영역을 관찰하고 분류 결과를 도출했는지 가시화하는 기법이다. 상기의 예시에서는 양품/결함을 분류하는 인공신경망을 학습하고, CAM을 결함의 위치를 알아내는 도구로써 사용하였다.Recently, with the development of artificial intelligence technology, cases in which artificial intelligence is applied in the field of automatic defect detection are rapidly increasing. See, for example, S. Marino, A. Smolarz, and P. Beauseroy, "Potato defects classification and localization with convolutional neural networks," in Fourteenth International Conference on Quality Control by Artificial Vision, vol. 11172, 2019, pp. 110-117. and H. Lin, B. Li, X. Wang, Y. Shu, and S. Niu, “Automated defect inspection of LED chip using deep convolutional neural network,” Journal of Intelligent Manufacturing, vol. 30, pp. In 2525-2534, 2019., a deep learning technique called Class Activation Mapping (CAM) was used to automatically detect defects in the potato and LED substrates, respectively. CAM is a technique that visualizes which area of the input image was observed by the artificial neural network trained with the classifier and the classification result was derived. In the above example, an artificial neural network to classify good products/defects was trained, and CAM was used as a tool for locating defects.

종래의 자동 결함 검출을 위한 인공신경망을 학습하기 위해서는 다수의 양품/결함 영상이 필요하지만, 결함의 특성상 결함 영상을 획득하기 어렵고(예: 반도체의 경우 ppm 단위로 결함 발생), 상대적으로 얻기 용이한 양품 영상과 데이터 불균형 문제도 발생한다. 또한 양품/결함에 대한 정보는 기업 비밀이기 때문에 공개되기 어렵기 때문에 데이터셋을 구축하는 난이도가 높은 문제점이 있다. In order to learn the conventional artificial neural network for automatic defect detection, a large number of good/defective images are required, but due to the nature of the defect, it is difficult to obtain a defect image (e.g., in the case of semiconductors, defects occur in ppm units) and relatively easy to obtain. There is also the problem of quality images and data imbalance. In addition, there is a problem in that the difficulty of constructing a dataset is high because information on good products/defects is difficult to disclose because it is a trade secret.

본 발명은 인공지능 기반 물질변형 검출 방법 및 시스템을 제공하기 위한 것이다. The present invention is to provide a method and system for detecting material deformation based on artificial intelligence.

또한, 본 발명은 소수의 결함 영상으로부터 다수의 가상의 양품 및 결함 영상을 생성하여 훈련 데이터 셋을 구축할 수 있는 인공지능 기반 결함 검출 방법 및 시스템을 제공하기 위한 것이다.Another object of the present invention is to provide an AI-based defect detection method and system capable of constructing a training data set by generating a plurality of virtual non-defective and defective images from a small number of defect images.

또한, 본 발명은 가상의 훈련 데이터 셋을 촬영하여 결함 영상이 입력된 경우, 결함 영상과 정확히 대응되는 양품 영상을 생성하여 인공신경망 학습이 가능한 인공지능 기반 결함 검출 방법 및 시스템을 제공하기 위한 것이다.Another object of the present invention is to provide an artificial intelligence-based defect detection method and system capable of artificial neural network learning by generating a defective image exactly corresponding to the defect image when a defect image is input by photographing a virtual training data set.

본 발명의 일 측면에 따르면, 인공지능 기반 물질변형 검출 시스템이 제공된다.According to one aspect of the present invention, an artificial intelligence-based material deformation detection system is provided.

본 발명의 일 실시예에 따르면, 결함 영상을 이용하여 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 생성하는 학습 데이터 생성부; 및 상기 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 결함 검출을 위한 모델을 학습시키는 학습부를 포함하는 결함 검출 시스템이 제공될 수 있다. According to an embodiment of the present invention, a learning data generator for generating at least one of a plurality of virtual non-defective images and virtual defective images by using the defect image; and a learning unit configured to train a model for defect detection by using at least one of the virtual non-defective image and the virtual defect image.

상기 학습 데이터 생성부는, 상기 결함 영상을 이용하여 다수의 가상 양품 영상을 생성하는 양품 영상 생성부; 및 상기 결함 영상을 이용하여 다수의 가상 결함 영상을 생성하는 결함 영상 생성부를 포함한다. The learning data generating unit may include: a non-defective image generating unit generating a plurality of virtual non-defective images by using the defective image; and a defect image generator for generating a plurality of virtual defect images by using the defect image.

상기 양품 영상 생성부는, 상기 결함 영상에서 결함 영역을 제거한 후 패치 매치 기법을 통하여 가상 양품 영상을 생성하고, 양품 영상의 해상도를 기준 해상도로 높인 후 잘라서 다수의 가상 양품 영상을 생성할 수 있다.The non-defective image generating unit may generate a virtual non-defective image through a patch matching technique after removing a defective region from the defective image, increase the resolution of the non-defective image to a reference resolution, and then cut and generate a plurality of virtual non-defective images.

상기 결함 영상 생성부는, 상기 결함 영상에서 결함 영역을 변형하여 다수의 가상 결함 영상을 생성하거나 상기 결함 영상의 해상도를 기준 해상도로 변환하여 다수의 가상 결함 영상을 생성할 수 있다. 여기서, 상기 가상 결함 영상의 결함의 위치, 크기 및 형태 중 적어도 하나는 상기 결함 영상의 결함의 위치, 크기 및 형태와 다를 수 있다. The defect image generator may generate a plurality of virtual defect images by deforming a defect region in the defect image, or may generate a plurality of virtual defect images by converting a resolution of the defect image into a reference resolution. Here, at least one of the location, size, and shape of the defect in the virtual defect image may be different from the location, size, and shape of the defect in the defect image.

상기 생성된 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 학습시켜 모델을 생성하는 학습부; 및 상기 생성된 모델을 이용하여 입력 영상의 결함을 검출하는 결함 검출부를 더 포함할 수 있다.a learning unit for generating a model by learning at least one of the generated virtual non-defective image and the virtual defective image; and a defect detector configured to detect a defect in the input image by using the generated model.

상기 결함 검출부는 상기 모델을 이용하여 상기 입력 영상으로부터 결함이 제거된 비교 영상을 생성하고, 상기 생성된 비교 영상과 상기 입력 영상을 비교하여 결함을 검출할 수 있다. The defect detector may generate a comparison image in which a defect is removed from the input image by using the model, and may detect a defect by comparing the generated comparison image with the input image.

본 발명의 다른 실시예에 따르면, 제 1 개수의 결함 영상으로부터 제 2 개수의 가상 양품 영상 또는 제 3 개수의 가상 결함 영상을 생성하는 데이터 생성부; 및 상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 입력 영상의 결함을 검출하는 결함 검출부를 포함하되, 상기 제 2 개수 및 상기 제 3 개수는 상기 제 1 개수보다 큰 것을 특징으로 하는 결함 검출 시스템이 제공될 수 있다. According to another embodiment of the present invention, there is provided a data generator for generating a second number of virtual defective images or a third number of virtual defective images from the first number of defective images; and a defect detection unit configured to detect a defect in an input image using the generated virtual non-defective image or the generated virtual defect image, wherein the second number and the third number are greater than the first number. A defect detection system may be provided.

상기 생성된 가상 양품 영상 또는 가상 결함 영상을 학습시켜 모델을 생성하는 학습부; 및 상기 입력 영상을 상기 모델에 적용하여 비교 영상을 생성하는 영상 생성 모델을 더 포함하되, 상기 결함 검출부는 상기 입력 영상과 상기 생성된 비교 영상을 비교하여 결함을 검출할 수 있다.a learning unit for generating a model by learning the generated virtual good product image or virtual defect image; and an image generation model configured to generate a comparison image by applying the input image to the model, wherein the defect detector may detect a defect by comparing the input image with the generated comparison image.

본 발명의 또 다른 실시예에 따르면, 학습된 영상 생성 모델을 이용하여 입력 영상에 대한 비교 영상을 생성하는 영상 생성 모델; 및 상기 입력 영상과 비교 영상의 차영상을 도출한 후 상기 차영상을 이용하여 결함 영역을 검출하는 결함 검출부를 포함하되, 상기 비교 영상은 상기 입력 영상으로부터 결함이 제거된 양품 영상인 것을 특징으로 하는 결함 검출 시스템이 제공될 수 있다. According to another embodiment of the present invention, there is provided an image generating model for generating a comparison image with respect to an input image by using the learned image generating model; and a defect detector for detecting a defective area using the difference image after deriving a difference image between the input image and the comparison image, wherein the comparison image is a defective image from which defects are removed from the input image A defect detection system may be provided.

상기 영상 생성 모델은 결함 영상으로부터 알고리즘을 이용하여 생성된 가상 결함 영상 또는 가상 양품 영상을 학습시켜 생성될 수 있다. The image generation model may be generated by learning a virtual defect image or a virtual non-defective image generated using an algorithm from the defect image.

상기 결함 검출부에 의해 결함 영역이 검출되는 경우, 상기 결함 영역에 상응하는 입력 영상 및 비교 영상 중 적어도 하나를 이용하여 상기 영상 생성 모델을 학습하는 학습부를 더 포함할 수 있다. The method may further include a learning unit configured to learn the image generation model by using at least one of an input image and a comparison image corresponding to the defective area when the defective area is detected by the defect detecting unit.

상기 결함 검출부는, 상기 차영상을 이용하여 히스테레시스 임계값(Hysteresis threshold) 및 모폴로지 연산(morphology operation)을 통해 결함 영역을 검출할 수 있다.The defect detector may detect a defect region through a hysteresis threshold and a morphology operation using the difference image.

본 발명의 다른 측면에 따르면, 인공지능 기반 결함 검출 방법이 제공된다.According to another aspect of the present invention, an artificial intelligence-based defect detection method is provided.

본 발명의 일 실시예에 따르면, (a) 결함 영상을 이용하여 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 생성하는 단계; 및 (b) 상기 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 결함 검출을 위한 모델을 학습시키는 단계를 포함하는 결함 검출 방법이 제공될 수 있다.According to an embodiment of the present invention, the method comprising: (a) generating at least one of a plurality of virtual non-defective images and virtual defective images by using the defect image; and (b) learning a model for defect detection using at least one of the virtual defective image and the virtual defective image.

타겟에 대한 입력 영상을 입력받아 상기 학습된 영상 생성 모델에 적용하여 비교 영상을 생성하는 단계; 및 상기 입력 영상과 비교 영상의 차영상을 도출한 후 상기 차영상을 이용하여 결함 영역을 검출하는 단계를 더 포함하되, 상기 입력 영상은 결함 영상 및 양품 영상 중 어느 하나이며, 상기 비교 영상은 결함 영상 및 양품 영상 중 다른 하나일 수 있다.generating a comparison image by receiving an input image of a target and applying it to the learned image generation model; and detecting a defective region using the difference image after deriving a difference image between the input image and the comparison image, wherein the input image is any one of a defective image and a non-defective image, and the comparison image is a defect It may be the other one of an image and a non-defective image.

본 발명의 일 실시예에 따른 인공지능 기반 물질변형 검출 방법 및 시스템을 제공함으로써, 입력된 결함 영상과 정확히 대응되는 양품 영상을 생성함으로써 예측하지 못한 결함 영역도 효과적으로 검출할 수 있다. By providing a method and system for detecting material deformation based on artificial intelligence according to an embodiment of the present invention, it is possible to effectively detect an unexpected defect region by generating a non-defective image exactly corresponding to the input defect image.

또한, 본 발명은 주석 정보 없이 학습을 수행할 수 있는 비지도 학습에 속하기 때문에 주석 정보를 생성하는 과정에서 발생하는 노동력을 줄일 수 있는 이점이 있다. In addition, since the present invention belongs to unsupervised learning in which learning can be performed without annotation information, there is an advantage in that labor generated in the process of generating annotation information can be reduced.

또한, 본 발명은 소수의 결함 영상으로부터 다수의 가상 양품/결함 영상을 생성하기 때문에 데이터 불균형 및 데이터 수가 부족해서 발생하는 문제를 줄일 수 있는 이점도 있다. In addition, since the present invention generates a large number of virtual non-defective/defective images from a small number of defect images, there is an advantage in that it is possible to reduce problems caused by data imbalance and insufficient number of data.

도 1은 본 발명의 일 실시예에 따른 결함 검출 시스템의 내부 구성을 개략적으로 도시한 블록도.
도 2는 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 양품 영상 생성을 설명하기 위해 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 양품 영상을 이용한 가상 양품 영상 생성을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 결함 영상 생성을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 무작위로 생성된 가상의 저해상도 결함 영상을 고해상도 결함 영상으로 변환하는 과정을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 결함 영역 검출 과정을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 모델의 학습 과정을 나타낸 순서도.
도 8은 본 발명의 일 실시예에 따른 결함 검출 방법을 나타낸 순서도.
도 9는 본 발명의 다른 실시예에 따른 원본 결함 영상에서 결함의 종류와 위치가 변형되어 생성된 결함 영상을 예시한 도면. 1 is a block diagram schematically illustrating an internal configuration of a defect detection system according to an embodiment of the present invention.
2 is a diagram illustrating generation of a virtual good product image using a defect image according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating generation of a virtual non-defective image using a non-defective image according to an embodiment of the present invention.
4 is a view for explaining the generation of a virtual defect image using the defect image according to an embodiment of the present invention.
5 is a diagram illustrating a process of converting a randomly generated virtual low-resolution defect image into a high-resolution defect image according to an embodiment of the present invention.
6 is a view for explaining a defect area detection process according to an embodiment of the present invention.
7 is a flowchart illustrating a learning process of a model according to an embodiment of the present invention.
8 is a flowchart illustrating a defect detection method according to an embodiment of the present invention.
9 is a diagram illustrating a defect image generated by deforming the type and location of a defect in the original defect image according to another embodiment of the present invention.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.As used herein, the singular expression includes the plural expression unless the context clearly dictates otherwise. In this specification, terms such as "consisting of" or "comprising" should not be construed as necessarily including all of the various components or various steps described in the specification, some of which components or some steps are It should be construed that it may not include, or may further include additional components or steps. In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software. .

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 결함 검출 시스템의 내부 구성을 개략적으로 도시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 양품 영상 생성을 설명하기 위해 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 양품 영상을 이용한 가상 양품 영상 생성을 설명하기 위해 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 결함 영상 생성을 설명하기 위해 도시한 도면이고, 도 5는 무작위로 생성된 가상의 저해상도 결함 영상을 고해상도 결함 영상으로 변환하는 과정을 설명하기 위한 도면이며, 도 6은 본 발명의 일 실시예에 따른 결함 영역 검출 과정을 설명하기 위해 도시한 도면이고, 도 9는 본 발명의 다른 실시예에 따른 원본 결함 영상에서 결함의 종류와 위치가 변형되어 생성된 결함 영상을 예시한 도면이다.1 is a block diagram schematically illustrating an internal configuration of a defect detection system according to an embodiment of the present invention, and FIG. 2 is shown to explain generation of a virtual non-defective image using a defect image according to an embodiment of the present invention. 3 is a diagram illustrating generation of a virtual good image using a non-defective image according to an embodiment of the present invention, and FIG. 4 is a virtual defect image using a defective image according to an embodiment of the present invention. FIG. 5 is a diagram illustrating a process of converting a randomly generated virtual low-resolution defect image into a high-resolution defect image, and FIG. 6 is a defect region according to an embodiment of the present invention. It is a diagram illustrating a detection process, and FIG. 9 is a diagram illustrating a defect image generated by changing the type and location of a defect in the original defect image according to another embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 결함 검출 시스템(100)는결함 검출 시스템(100)은 학습 데이터 생성부(110), 학습부(115), 영상 생성 모델(120), 결함 검출부(125), 메모리(130) 및 프로세서(135)를 포함하여 구성된다.Referring to FIG. 1 , a defect detection system 100 according to an embodiment of the present invention includes a learning data generation unit 110 , a learning unit 115 , an image generation model 120 , and a defect. It is configured to include a detection unit 125 , a memory 130 , and a processor 135 .

학습 데이터 생성부(110)는 보유한 소수의 결함 영상을 이용하여 다수의 가상 결함 영상과 다수의 가상 양품 영상을 각각 생성하기 위한 수단이다. The training data generating unit 110 is a means for generating a plurality of virtual defect images and a plurality of virtual non-defective images, respectively, by using a small number of defective images.

학습 데이터 생성부(110)는 양품 영상 생성부(111) 및 결함 영상 생성부(113)를 포함한다. The learning data generating unit 110 includes a good product image generating unit 111 and a defective image generating unit 113 .

양품 영상 생성부(111)는 입력된 결함 영상을 이용하여 다수의 가상 양품 영상을 생성하기 위한 수단이다. The non-defective image generator 111 is a means for generating a plurality of virtual non-defective images by using the input defective image.

예를 들어, 양품 영상 생성부(111)는 결함 영상에서 결함 영역을 제거한 후 패치 매치 기법을 통하여 가상의 양품 영상을 생성할 수 있다. For example, the non-defective image generator 111 may generate a virtual non-defective image through a patch matching technique after removing a defective area from the defective image.

이에 대해 보다 상세히 설명하기로 한다. This will be described in more detail.

예를 들어, 도 2와 같이, 결함 영상이 각각 입력되었다고 가정하기로 한다. 양품 영상 생성부(111)는 입력된 각각의 결함 영상에서 결함 영역을 제거하여 가상의 양품 영상을 생성할 수 있다.For example, as shown in FIG. 2 , it is assumed that each defect image is input. The non-defective image generator 111 may generate a virtual non-defective image by removing a defective area from each of the input defective images.

예를 들어, 양품 영상 생성부(111)는 패치 매치 기법을 이용하여 결함 영상을 기초로 양품 영상을 생성할 수 있다. 즉, 결함 영상에서 결함 영역을 제거하며, 결함 영역 주변 정보를 사용하여 해당 결함 영역을 복원함으로써 양품 영상을 생성할 수 있다. 즉, 양품 영상 생성부(111)는 해당 결함 영상의 결함 영역 주변 정보를 기초로 패치 매치 기법을 통하여 결함 영역을 제거하고 양품 영상을 생성할 수 있다. 도 2에 도시된 바와 같이, 결함 영상은 동일한 결함 영역을 포함하는 것이 아니라 다양한 형태의 결함을 포함할 수 있다. For example, the non-defective image generator 111 may generate a non-defective image based on the defective image using a patch matching technique. That is, a defective image may be generated by removing the defective area from the defective image and reconstructing the defective area using information around the defective area. That is, the non-defective image generating unit 111 may remove the defective area and generate a non-defective image through a patch matching technique based on information about the defective area of the corresponding defective image. As shown in FIG. 2 , the defect image may not include the same defect area, but may include various types of defects.

따라서, 양품 영상 생성부(111)는 결함의 패턴에 따라 상이한 영상 기법을 적용하여 결함 영역을 제거한 후 양품 영상을 생성할 수 있다. Accordingly, the non-defective image generator 111 may generate a non-defective image after removing the defective area by applying different imaging techniques according to the pattern of the defect.

다른 예를 들어, 양품 영상 생성부(111)는 입력된 양품 영상을 이용하여 다수의 가상 양품 영상을 생성할 수도 있다. As another example, the non-defective image generator 111 may generate a plurality of virtual non-defective images by using the input non-defective image.

이에 대해 도 3을 참조하여 설명하기로 한다. This will be described with reference to FIG. 3 .

예를 들어, 양품 영상 생성부(111)는 입력된 양품 영상의 해상도가 기준 해상도 이상인 양품 영상을 생성한 후 무작위로 영상을 잘라 다수의 가상 양품 영상을 생성할 수도 있다. For example, the non-defective image generating unit 111 may generate a non-defective image having a resolution of the input non-defective image equal to or greater than the reference resolution, and then randomly cut the image to generate a plurality of virtual non-defective images.

예를 들어, 양품 영상 생성부(111)는 PSGAN을 이용하여 기준 해상도 이상인 양품 영상을 생성한 후 도 3에서 보여지는 바와 같이 무작위로 잘라(crop) 가상의 양품 영상을 생성할 수 있다. For example, the non-defective image generator 111 may generate a non-defective image having a resolution higher than or equal to the reference resolution using PSGAN and then randomly crop the non-defective image to generate a virtual non-defective image as shown in FIG. 3 .

또 다른 예를 들어, 양품 영상 생성부는 결함 영상으로부터 생성된 가상의 양품 영상을 확대한 후 무작위로 잘라서 복수의 양품 영상들을 생성할 수도 있다. As another example, the non-defective image generator may generate a plurality of non-defective images by enlarging the virtual non-defective image generated from the defective image and then randomly cutting the non-defective image.

다시 정리하면, 양품 영상 생성부(111)는 소수의 결함 영상을 이용하여 다수의 가상 양품 영상을 생성할 수 있다. In other words, the non-defective image generator 111 may generate a plurality of virtual non-defective images by using a small number of defective images.

결함 영상 생성부(113)는 소수의 결함 영상을 이용하여 다수의 가상 결함 영상을 생성하기 위한 수단이다. The defect image generator 113 is a means for generating a plurality of virtual defect images by using a small number of defect images.

예를 들어, 도 4에 도시된 바와 같이 결함 영상이 입력되었다고 가정하기로 한다. 결함 영상 생성부(113)는 DCGAN을 이용하여 다수의 가상 결함 영상을 생성할 수 있다. 여기서, DCGAN은 은닉 변수(latent variable)로부터 무작위 영상을 생성할 수 있다. DCGAN의 결과는 64 x 64로 한정되어 있기 때문에, 더 높은 해상도를 가지는 결함 영상을 만들기 위해 초해상화(super-resolution) 기능을 수행 할 수 있는 인공 신경망인 CycleGAN을 이용하여 초해상화 결함 영상을 생성할 수 있다. CycleGAN은 unpaired image-to-image translation을 수행하는 인공신경망으로써, 한 쪽 도메인을 저해상도 영상, 다른 쪽 도메인을 고해상도 영상으로 학습하게 되면 초해상화(super-resolution) 기능을 수행하는 인공신경망을 얻을 수 있다(도 5 참조).For example, it is assumed that a defect image is input as shown in FIG. 4 . The defect image generator 113 may generate a plurality of virtual defect images using DCGAN. Here, the DCGAN may generate a random image from a latent variable. Since the DCGAN result is limited to 64 x 64, the super-resolution defect image is generated using CycleGAN, an artificial neural network that can perform super-resolution function to create a defect image with higher resolution. can create CycleGAN is an artificial neural network that performs unpaired image-to-image translation. By learning one domain as a low-resolution image and the other domain as a high-resolution image, an artificial neural network that performs a super-resolution function can be obtained. There is (see Fig. 5).

즉, 결함 영상 생성부(113)는 DCGAN과 CycleGAN을 이용하여 입력된 저해상도의 결함 영상을 고품질의 고해상도 결함 영상으로 변환한 후 무작위 영상 변환 과정을 통해 다수의 가상 결함 영상을 생성할 수 있다. 물론, 가상 결함 영상을 생성하는 한 알고리즘은 DCGAN 및 CycleGAN으로 한정되지는 않는다. That is, the defect image generator 113 may convert the input low-resolution defect image into a high-quality, high-resolution defect image using DCGAN and CycleGAN, and then generate a plurality of virtual defect images through a random image conversion process. Of course, one algorithm for generating a virtual defect image is not limited to DCGAN and CycleGAN.

도 4에서는 입력 영상(결함 영상)에서의 결함 위치와 생성된 가상 결함 영상에서의 결함 위치가 동일하거나 유사하였다. 그러나, 상기 가상 결함 영상에서의 결함 위치가 상기 입력 영상의 결함 위치와 다를 수 있다(도 9 참조). 또한, 상기 가상 결함 영상에서의 결함의 크기 또는 형태가 상기 입력 영상에서의 결함의 크기 또는 형태와 다를 수도 있다. In FIG. 4 , the defect location in the input image (defect image) and the defect location in the generated virtual defect image are the same or similar. However, a defect location in the virtual defect image may be different from a defect location in the input image (see FIG. 9 ). Also, the size or shape of the defect in the virtual defect image may be different from the size or shape of the defect in the input image.

예를 들어, 반도체 공정 중 증착 공정에서 기판의 에지 영역으로 오염 물질을 묻을 가능성이 있다고 가정하면, 상기 결함 영상 생성부는 기판의 일변의 에지 영역 중앙에 오염 물질이 묻은 결함을 가지는 입력 영상을 이용하여 다른 변들의 에지 영역 중앙 또는 중앙이 아닌 에지 측면 등에 오염 물질이 묻은 결함을 가지는 다양한 가상 결함 영상들을 생성할 수 있다. 이 경우, 상기 오염 물질이 공정 중 에지의 이곳 저곳에 묻을 수 있다는 전제가 미리 설정되어 있을 수 있다. For example, assuming that there is a possibility that a contaminant is buried in the edge region of the substrate during the deposition process during the semiconductor process, the defect image generator uses an input image having a defect in which the contaminant is embedded in the center of the edge region of one side of the substrate. Various virtual defect images having a defect in which a contaminant is attached to the center of the edge region of other sides or an edge side other than the center may be generated. In this case, the premise that the contaminants may be deposited here and there on the edge during the process may be preset.

다른 예로, 공정 중 기판에 가해지는 충격 및 이로 인한 크랙의 발생 크기 또는 범위가 미리 설정되어 있다면, 상기 결함 영상 생성부는 크랙을 가지는 기판에 대한 입력 영상으로부터 크랙의 깊이, 길이 또는 위치가 달라지는 다수의 결함 영상들을 생성할 수 있다. As another example, if the impact applied to the substrate during the process and the size or range of cracks caused by it are set in advance, the defect image generator includes a plurality of cracks having different depths, lengths, or positions from the input image for the substrate having cracks. Defect images can be generated.

즉, 본 발명의 결함 영상 생성부는 입력 영상의 결함과 동일한 위치, 형태 또는 크기를 가지는 가상 결함 영상들을 생성할 수 있을 뿐만 아니라 입력 영상의 결함과 다른 위치, 형태 또는 크기를 가지는 가상 결함 영상들을 생성할 수도 있다. That is, the defect image generator of the present invention can generate virtual defect images having the same position, shape, or size as the defect of the input image, and also generates virtual defect images having a position, shape, or size different from the defect of the input image. You may.

또한, 상기 결함 영상 생성부는 결함이 오염 물질인 경우 입력 영상의 오염 물질과 다른 오염 물질을 가지는 결함 영상을 생성할 수도 있다. 이 경우, 오염 물질이 달라짐에 따라 오염 물질이 기판에 묻는 형태 또는 사이즈 등도 달라질 수 있다. Also, when the defect is a contaminant, the defect image generator may generate a defect image having a contaminant different from the contaminant of the input image. In this case, as the contaminants change, the shape or size of the contaminants on the substrate may also vary.

다시 정리하면, 학습 데이터 생성부(110)는 소수의 결함 영상을 이용하여 모델의 학습을 위한 다수의 가상 학습 데이터 셋을 생성할 수 있다. 또한, 다수의 가상 학습 데이터 셋은 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나일 수 있다. In other words, the training data generator 110 may generate a plurality of virtual training data sets for model learning by using a small number of defect images. In addition, the plurality of virtual training data sets may be at least one of a plurality of virtual non-defective images and virtual defective images.

이와 같이, 학습 데이터 생성부(110)에 의해 학습 데이터 셋이 생성되면, 이를 이용하여 모델을 학습할 수 있다. In this way, when the training data set is generated by the training data generator 110 , the model can be learned using the training data set.

학습부(115)는 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 영상 생성 모델(120)을 학습하기 위한 수단이다. The learning unit 115 is a means for learning the image generation model 120 using at least one of a plurality of virtual non-defective images and virtual defective images.

학습부(115)는 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 모델을 학습함으로써 영상 생성 모델(120)은 결함 영상을 이용하여 양품 영상을 생성하도록 학습될 수 있다. The learning unit 115 learns the model using at least one of a plurality of virtual non-defective images and virtual defect images, so that the image generation model 120 may be trained to generate a non-defective image using the defective image.

영상 생성 모델(120)은 학습부(115)에 의해 학습 데이터 셋(다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나)을 이용하여 학습된 이후 결함 검출 과정에서 입력 영상에 대응하는 비교 영상(양품 영상 또는 결함 영상)을 생성할 수 있다. The image generation model 120 is learned by the learning unit 115 using a training data set (at least one of a plurality of virtual non-defective images and virtual defective images) and then a comparison image (defective product) corresponding to the input image in the defect detection process. image or defect image).

예를 들어, 영상 생성 모델(120)은 다수의 가상 양품 영상 및 가상 결함 영상을 이용하여 학습되어 있으므로, 결함 영상이 입력되는 경우 이에 대응하는 양품 영상을 생성할 수 있다. For example, since the image generation model 120 is trained using a plurality of virtual non-defective images and virtual defect images, when a defective image is input, a non-defective image corresponding thereto may be generated.

결함 검출부(125)는 입력 영상과 비교 영상을 이용하여 결함 여부를 검출하기 위한 수단이다. The defect detection unit 125 is a means for detecting whether there is a defect using the input image and the comparison image.

예를 들어, 입력 영상이 결함 영상인 경우, 비교 영상은 결함 영상에 대응하는 가상 양품 영상일 수 있다. 따라서, 결함 검출부(125)는 입력 영상과 비교 영상의 차영상을 도출하여 결함 영역을 검출할 수 있다. For example, when the input image is a defective image, the comparison image may be a virtual non-defective image corresponding to the defective image. Accordingly, the defect detection unit 125 may detect a defective area by deriving a difference image between the input image and the comparison image.

결함 영역 검출 과정에 대해 도 6을 참조하여 보다 상세히 설명하기로 한다.The defect region detection process will be described in more detail with reference to FIG. 6 .

예를 들어, 입력 영상이 결함 영상(610)이라고 가정하면, 학습된 영상 생성 모델(120)을 통해 도 6의 620과 같이 가상 양품 영상이 생성될 수 있다. 이에 따라, 결함 검출부(125)는 610의 결함 영상과 620의 가상 양품 영상의 차영상을 도출한 후 히스테레시스 임계값(Hysteresis threshold) 및 모폴로지 연산(morphology operation)을 통해 결함 영역을 검출할 수 있다. For example, assuming that the input image is a defective image 610 , a virtual non-defective image may be generated as shown in 620 of FIG. 6 through the learned image generation model 120 . Accordingly, after deriving a difference image between the defect image of 610 and the virtual non-defective image of 620, the defect detection unit 125 may detect the defective area through a hysteresis threshold and a morphology operation. there is.

메모리(130)는 본 발명의 일 실시예에 따른 결함 검출 방법을 수행하기 위해 필요한 명령어들(프로그램 코드들)을 저장하기 위한 수단이다.The memory 130 is a means for storing instructions (program codes) necessary for performing the defect detection method according to an embodiment of the present invention.

프로세서(135)는 본 발명의 일 실시예에 따른 결함 검출 시스템(100)의 내부 구성 요소들(예를 들어, 학습 데이터 생성부(110), 학습부(115), 영상 생성 모델(120), 결함 검출부(125), 메모리(130) 등)을 제어하기 위한 수단이다. The processor 135 includes internal components of the defect detection system 100 according to an embodiment of the present invention (eg, the training data generator 110 , the learner 115 , the image generation model 120 , It is a means for controlling the defect detection unit 125, the memory 130, etc.).

또한, 결함 검출부(125)에 의해 검출된 결함 영상에 대한 영상 또는 영상 생성 모델(120)에 의해 생성되는 가상 양품 영상 및 가상 결함 영상 중 적어도 하나는 영상 생성 모델(120)의 학습을 위해 다시 이용될 수 있다. In addition, at least one of the image of the defect image detected by the defect detection unit 125 or the virtual good image and the virtual defect image generated by the image generation model 120 is reused for learning the image generation model 120 . can be

도 7은 본 발명의 일 실시예에 따른 모델의 학습 과정을 나타낸 순서도이다. 7 is a flowchart illustrating a learning process of a model according to an embodiment of the present invention.

단계 710에서 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 생성한다. In operation 710 , the defect detection system 100 generates at least one of a plurality of virtual non-defective images and virtual defect images by using a small number of defect images.

일 실시예에 따르면, 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 양품 영상을 생성할 수 있다. According to an embodiment, the defect detection system 100 may generate a plurality of virtual non-defective images by using a small number of defect images.

다른 예를 들어, 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 결함 영상을 생성할 수 있다.As another example, the defect detection system 100 may generate a plurality of virtual defect images by using a small number of defect images.

또 다른 예를 들어, 결함 검출 시스템(100)은 소수의 양품 영상을 이용하여 다수의 양품 영상을 생성할 수 있다. As another example, the defect detection system 100 may generate a plurality of non-defective images by using a small number of non-defective images.

또 다른 예를 들어, 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 양품 영상과 가상 결함 영상을 모두 생성할 수도 있다. As another example, the defect detection system 100 may generate both a plurality of virtual non-defective images and a virtual defect image by using a small number of defect images.

이와 같이, 결함 검출 시스템(100)은 소수의 입력 영상을 이용하여 영상 생성 모델(120)의 학습을 위한 학습 데이터 셋을 생성할 수 있다. 이에 대해서는 도 1 내지 도 4를 참조하여 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다. As such, the defect detection system 100 may generate a training data set for learning the image generation model 120 using a small number of input images. Since this is the same as that described with reference to FIGS. 1 to 4 , the overlapping description will be omitted.

단계 715에서 결함 검출 시스템(100)은 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 영상 생성 모델(120)을 학습한다. In operation 715 , the defect detection system 100 learns the image generation model 120 using at least one of a plurality of virtual non-defective images and virtual defect images.

영상 생성 모델(120)은 인공지능을 이용하는 영상 생성 모델로, 입력 영상에 대응하는 비교 영상을 생성할 수 있다.The image generation model 120 is an image generation model using artificial intelligence, and may generate a comparison image corresponding to an input image.

예를 들어, 입력 영상이 결함 영상인 경우, 영상 생성 모델(120)은 결함 영상에 대응하는 양품 영상을 생성할 수 있다. For example, when the input image is a defective image, the image generation model 120 may generate a non-defective image corresponding to the defective image.

이를 위해, 영상 생성 모델(120)은 가상 결함 영상과 가상 양품 영상으로 구성된 학습 데이터 셋을 이용하여 사전 학습될 수 있다. 인공지능 모델의 학습 과정은 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다. To this end, the image generation model 120 may be pre-trained using a training data set including a virtual defective image and a virtual non-defective image. Since the learning process of the artificial intelligence model is obvious to those skilled in the art, a separate description thereof will be omitted.

일반적으로 인공지능 모델의 경우 모델 학습을 위한 충분한 학습 데이터 셋을 구하기 어려운 문제점이 있다. 이로 인해, 실제 모델에 충분한 학습이 이루어지지 않아 적용에 많은 어려움이 따른다. In general, in the case of artificial intelligence models, there is a problem in that it is difficult to obtain a sufficient training data set for model training. For this reason, there are many difficulties in application because sufficient learning is not performed on the actual model.

이로 인해, 본 발명의 일 실시예에서는 소수의 결함 영상을 이용하여 모델 학습에 필요한 다수의 가상 양품 영상과 가상 결함 영상을 각각 생성하고, 이를 이용하여 모델을 학습할 수 있다. For this reason, in an embodiment of the present invention, a plurality of virtual non-defective images and virtual defective images required for model learning may be generated using a small number of defect images, respectively, and the model may be trained using these images.

많은 학습 데이터 셋을 이용한 모델 학습을 통해 모델의 정확도를 더욱 높일 수 있는 이점이 있다. There is an advantage in that the accuracy of the model can be further improved by training the model using a large number of training data sets.

이와 같이, 학습이 완료된 모델을 이용하여 실제 결함을 검출하는 방법에 대해서는 도 8을 참조하여 설명하기로 한다. As such, a method of detecting an actual defect using the trained model will be described with reference to FIG. 8 .

도 8은 본 발명의 일 실시예에 따른 결함 검출 방법을 나타낸 순서도이다. 이하에서는 도 8에서 설명한 바와 같이, 영상 생성 모델(120)이 학습 데이터 셋을 이용하여 학습되어 있는 것을 가정하여 이후의 동작에 대해 설명하기로 한다.8 is a flowchart illustrating a defect detection method according to an embodiment of the present invention. Hereinafter, as described with reference to FIG. 8 , a subsequent operation will be described on the assumption that the image generation model 120 is trained using the training data set.

단계 810에서 결함 검출 시스템(100)은 입력 영상을 획득한다.In step 810, the defect detection system 100 acquires an input image.

단계 815에서 결함 검출 시스템(100)은 학습된 영상 생성 모델(120)에 입력 영상을 적용하여 비교 영상을 생성한다.In step 815 , the defect detection system 100 generates a comparison image by applying the input image to the learned image generation model 120 .

예를 들어, 입력 영상이 결함 영상인 경우, 비교 영상은 결함 영상에서 결함 영역이 제거된 양품 영상일 수 있다. For example, when the input image is a defective image, the comparison image may be a non-defective image in which a defective area is removed from the defective image.

학습된 영상 생성 모델(120)에 입력 영상을 적용하는 경우, 학습된 영상 생성 모델(120)은 입력 영상인 결함 영상에서 결함 영역이 제거된 가상 양품 영상을 비교 영상으로서 생성하여 출력할 수 있다.When an input image is applied to the learned image generating model 120 , the learned image generating model 120 may generate and output a virtual non-defective image in which a defect region is removed from a defective image, which is an input image, as a comparison image.

단계 820에서 결함 검출 시스템(100)은 입력 영상과 비교 영상의 차영상을 도출하고, 차영상을 이용하여 결함 영역을 검출한다. In operation 820, the defect detection system 100 derives a difference image between the input image and the comparison image, and detects a defect region using the difference image.

예를 들어, 결함 검출 시스템(100)은 비교 영상으로 결함 영상을 설정할 수도 있으며, 양품 영상을 설정할 수도 있으며 양품 영상과 결함 영상을 모두 설정할 수도 있다. For example, the defect detection system 100 may set the defect image as the comparison image, set the defective image, or set both the defective image and the defective image.

결함 검출 시스템(100)은 입력 영상과 비교 영상으로 설정된 결함 영상 사이의 차영상을 도출한 후 결함 여부를 결정할 수도 있다.The defect detection system 100 may determine whether a defect exists after deriving a difference image between the input image and the defect image set as the comparison image.

다른 예를 들면, 결함 검출 시스템(100)은 입력 영상과 비교 영상으로 설정된 양품 영상 사이의 차영상을 도출한 후 결함 영역을 검출할 수도 있다.For another example, the defect detection system 100 may detect the defective area after deriving a difference image between the input image and the non-defective image set as the comparison image.

물론, 구현 방법에 따라 결함 검출 시스템(100)은 비교 영상으로 결함 영상과 양품 영상을 모두 설정할 수도 있으며, 입력 영상과의 비교를 통해 결함 여부를 결정할 수도 있다.Of course, depending on the implementation method, the defect detection system 100 may set both the defective image and the non-defective image as the comparison image, and may determine whether there is a defect through comparison with the input image.

또한, 결함 검출 시스템(100)은 비교 영상을 도 6에서 설명한 모델 학습에 이용할 수도 있다. Also, the defect detection system 100 may use the comparison image for model learning described with reference to FIG. 6 .

상술한 바와 같이, 본 발명의 일 실시예에 따르면, 소수의 입력 영상(결함 영상, 양품 영상)을 이용하여 다수의 가상 학습 데이터 셋을 생성하고, 이를 이용하여 모델을 학습하여 정확도를 높인 후 결함 검사에 이용함으로써 결함 검출 성능을 높일 수 있는 이점이 있다. As described above, according to an embodiment of the present invention, a plurality of virtual training data sets are generated using a small number of input images (defective images, non-defective images), and after increasing the accuracy by learning the model using these, the defect There is an advantage that defect detection performance can be improved by using it for inspection.

본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The apparatus and method according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer readable medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software field. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floppy disks. - Includes magneto-optical media and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at focusing on the embodiments thereof. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

100: 결함 검출 시스템
110: 학습 데이터 생성부
115: 학습부
120: 영상 생성 모델
125: 결함 검출부
130: 메모리
135: 프로세서100: defect detection system
110: training data generation unit
115: study department
120: image generation model
125: defect detection unit
130: memory
135: processor

Claims (15)

양품영상이나 결함 영상 중 하나를 이용하여 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 생성하는 학습 데이터 생성부; 및
상기 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 결함 검출을 위한 모델을 학습시키는 학습부를 포함하는 결함 검출 시스템.
a learning data generating unit for generating at least one of a plurality of virtual non-defective images and virtual defective images by using one of the non-defective images and the defective images; and
and a learning unit configured to train a model for defect detection by using at least one of the virtual defective image and the virtual defect image.
 제1 항에 있어서,
상기 학습 데이터 생성부는,
상기 결함 영상을 이용하여 다수의 가상 양품 영상을 생성하는 양품 영상 생성부; 및
상기 결함 영상을 이용하여 다수의 가상 결함 영상을 생성하는 결함 영상 생성부를 포함하는 결함 검출 시스템.
According to claim 1,
The learning data generation unit,
a non-defective image generator for generating a plurality of virtual non-defective images by using the defective image; and
and a defect image generator configured to generate a plurality of virtual defect images by using the defect image.
 제2 항에 있어서,
상기 양품 영상 생성부는,
상기 결함 영상에서 결함 영역을 제거한 후 패치 매치 기법을 통하여 가상 양품 영상을 생성하고, 양품 영상의 해상도를 기준 해상도로 높인 후 잘라서 다수의 가상 양품 영상을 생성하는 것을 특징으로 하는 결함 검출 시스템.
3. The method of claim 2,
The good product image generating unit,
Defect detection system, characterized in that after removing the defective region from the defect image, generating a virtual non-defective image through a patch matching technique, increasing the resolution of the non-defective image to a reference resolution, and then cropping to generate a plurality of virtual non-defective images.
 제2 항에 있어서,
상기 결함 영상 생성부는,
상기 결함 영상에서 결함 영역을 변형하여 다수의 가상 결함 영상을 생성하거나 상기 결함 영상의 해상도를 기준 해상도로 변환하여 다수의 가상 결함 영상을 생성하되,
상기 가상 결함 영상의 결함의 위치, 크기 또는 형태 중 적어도 하나는 상기 결함 영상의 결함의 위치, 크기 또는 형태와 다른 것을 특징으로 하는 결함 검출 시스템.
3. The method of claim 2,
The defect image generating unit,
A plurality of virtual defect images are generated by deforming a defect region in the defect image, or a plurality of virtual defect images are generated by converting the resolution of the defect image to a reference resolution,
At least one of the location, size, and shape of the defect in the virtual defect image is different from the location, size or shape of the defect in the defect image.
 제1항에 있어서,
상기 생성된 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 학습시켜 모델을 생성하는 학습부; 및
상기 생성된 모델을 이용하여 입력 영상의 결함을 검출하는 결함 검출부를 더 포함하는 것을 특징으로 하는 결함 검출 시스템.
According to claim 1,
a learning unit for generating a model by learning at least one of the generated virtual non-defective image and the virtual defective image; and
The defect detection system according to claim 1, further comprising a defect detection unit configured to detect a defect in the input image by using the generated model.
 제5항에 있어서,
상기 결함 검출부는 상기 모델을 이용하여 상기 입력 영상으로부터 결함이 제거된 비교 영상을 생성하고, 상기 생성된 비교 영상과 상기 입력 영상을 비교하여 결함을 검출하는 것을 특징으로 하는 결함 검출 시스템.
6. The method of claim 5,
The defect detection unit generates a comparison image in which a defect is removed from the input image by using the model, and compares the generated comparison image with the input image to detect the defect.
 제 1 개수의 결함 영상으로부터 제 2 개수의 가상 양품 영상 또는 제 3 개수의 가상 결함 영상을 생성하는 데이터 생성부; 및
상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 입력 영상의 결함을 검출하는 결함 검출부를 포함하되,
상기 제 2 개수 및 상기 제 3 개수는 상기 제 1 개수보다 큰 것을 특징으로 하는 결함 검출 시스템.
a data generator generating a second number of virtual defective images or a third number of virtual defective images from the first number of defective images; and
A defect detector for detecting a defect in an input image by using the generated virtual non-defective image or the generated virtual defect image,
and the second number and the third number are greater than the first number.
 제7항에 있어서,
상기 생성된 가상 양품 영상 또는 가상 결함 영상을 학습시켜 결함 검출을 위한 모델을 생성하는 학습부; 및
상기 입력 영상을 상기 모델에 적용하여 비교 영상을 생성하는 영상 생성 모델을 더 포함하되,
상기 결함 검출부는 상기 입력 영상과 상기 생성된 비교 영상을 비교하여 결함을 검출하는 것을 특징으로 하는 결함 검출 시스템.
8. The method of claim 7,
a learning unit for generating a model for defect detection by learning the generated virtual non-defective image or virtual defect image; and
Further comprising an image generation model for generating a comparison image by applying the input image to the model,
The defect detection unit detects a defect by comparing the input image with the generated comparison image.
 학습된 영상 생성 모델을 이용하여 입력 영상에 대한 비교 영상을 생성하는 영상 생성 모델; 및
상기 입력 영상과 비교 영상의 차영상을 도출한 후 상기 차영상을 이용하여 결함 영역을 검출하는 결함 검출부를 포함하되,
상기 비교 영상은 상기 입력 영상으로부터 결함이 제거된 양품 영상인 것을 특징으로 하는 결함 검출 시스템.
an image generation model for generating a comparison image with respect to an input image by using the learned image generation model; and
After deriving a difference image between the input image and the comparison image, a defect detection unit for detecting a defective area using the difference image,
The comparison image is a defect detection system, characterized in that the defective image is removed from the input image.
 제9항에 있어서,
상기 영상 생성 모델은 결함 영상으로부터 알고리즘을 이용하여 생성된 가상 결함 영상 또는 가상 양품 영상을 학습시킴에 의해 생성되는 것을 특징으로 하는 결함 검출 시스템.
10. The method of claim 9,
The image generation model is a defect detection system, characterized in that it is generated by learning a virtual defect image or a virtual non-defective image generated using an algorithm from the defect image.
 제9 항에 있어서,
상기 결함 검출부에 의해 결함 영역이 검출되는 경우, 상기 결함 영역에 상응하는 입력 영상 및 비교 영상 중 적어도 하나를 이용하여 상기 영상 생성 모델을 학습하는 학습부를 더 포함하는 결함 검출 시스템.
10. The method of claim 9,
and a learning unit configured to learn the image generation model by using at least one of an input image and a comparison image corresponding to the defective area when a defective area is detected by the defect detecting unit.
 제9 항에 있어서,
상기 결함 검출부는,
상기 차영상을 이용하여 히스테레시스 임계값(Hysteresis threshold) 및 모폴로지 연산(morphology operation)을 통해 결함 영역을 검출하는 것을 특징으로 하는 결함 검출 시스템.
10. The method of claim 9,
The defect detection unit,
A defect detection system, characterized in that the defect region is detected through a hysteresis threshold and a morphology operation using the difference image.
 (a) 결함 영상을 이용하여 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 생성하는 단계; 및
(b) 상기 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 결함 검출을 위한 모델을 학습시키는 단계를 포함하는 결함 검출 방법.
(a) generating at least one of a plurality of virtual non-defective images and virtual defective images by using the defect image; and
(b) learning a model for defect detection using at least one of the virtual defective image and the virtual defective image.
 제13 항에 있어서,
타겟에 대한 입력 영상을 입력받아 상기 학습된 영상 생성 모델에 적용하여 비교 영상을 생성하는 단계; 및
상기 입력 영상과 비교 영상의 차영상을 도출한 후 상기 차영상을 이용하여 결함 영역을 검출하는 단계를 더 포함하되,
상기 입력 영상은 결함 영상 및 양품 영상 중 어느 하나이며,
상기 비교 영상은 결함 영상 및 양품 영상 중 다른 하나인 것을 특징으로 하는 결함 검출 방법.
14. The method of claim 13,
generating a comparison image by receiving an input image of a target and applying it to the learned image generation model; and
After deriving a difference image between the input image and the comparison image, the method further comprising the step of detecting a defective area using the difference image,
The input image is any one of a defective image and a defective image,
The comparison image is a defect detection method, characterized in that the other one of a defect image and a non-defective image.
 제13 항 또는 제14항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.

A computer-readable recording medium product on which a program code for performing the method according to claim 13 or 14 is recorded.
KR1020200107773A 2020-01-22 2020-08-26 AI-based material defect detection method and system KR102482507B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200008380 2020-01-22
KR1020200008380 2020-01-22

Publications (2)

Publication Number Publication Date
KR20210095014A true KR20210095014A (en) 2021-07-30
KR102482507B1 KR102482507B1 (en) 2022-12-29

Family

ID=76377906

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200104317A KR102263716B1 (en) 2020-01-22 2020-08-20 AI-based material defect image generation method and defect detection system
KR1020200107773A KR102482507B1 (en) 2020-01-22 2020-08-26 AI-based material defect detection method and system

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200104317A KR102263716B1 (en) 2020-01-22 2020-08-20 AI-based material defect image generation method and defect detection system

Country Status (1)

Country Link
KR (2) KR102263716B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252876A (en) * 2023-11-17 2023-12-19 江西斯迈得半导体有限公司 LED support defect detection method and system
KR102619486B1 (en) * 2022-11-03 2024-01-02 시냅스이미징(주) Inspection system implementing image conversion for super resolution and colorization

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230070714A (en) * 2021-11-15 2023-05-23 라이트비전 주식회사 AI-based material defect detection system and method according to real defect image and defect detection system
KR20230115024A (en) 2022-01-26 2023-08-02 부경대학교 산학협력단 Deep Learning based Vision System for Inspecting Atypical Defect and Method for Controlling the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180113572A (en) * 2016-05-24 2018-10-16 가부시키가이샤 히다치 하이테크놀로지즈 Defect classification apparatus and defect classification method
KR20190021967A (en) * 2017-08-24 2019-03-06 주식회사 수아랩 Method, apparatus and computer program stored in computer readable medium for generating training data
KR20200088682A (en) * 2019-01-15 2020-07-23 삼성전자주식회사 Electronic apparatus and controlling method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180113572A (en) * 2016-05-24 2018-10-16 가부시키가이샤 히다치 하이테크놀로지즈 Defect classification apparatus and defect classification method
KR20190021967A (en) * 2017-08-24 2019-03-06 주식회사 수아랩 Method, apparatus and computer program stored in computer readable medium for generating training data
KR20200088682A (en) * 2019-01-15 2020-07-23 삼성전자주식회사 Electronic apparatus and controlling method thereof

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Defective samples simulation through adversarial training for automatic surface inspection, Neurocomputing V360, 2019.09 *
전자부품의 표면 결함 검출을 위한 CNN 기법, 한국지능시스템학회 논문지 27(3), 2017.6 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102619486B1 (en) * 2022-11-03 2024-01-02 시냅스이미징(주) Inspection system implementing image conversion for super resolution and colorization
CN117252876A (en) * 2023-11-17 2023-12-19 江西斯迈得半导体有限公司 LED support defect detection method and system
CN117252876B (en) * 2023-11-17 2024-02-09 江西斯迈得半导体有限公司 LED support defect detection method and system

Also Published As

Publication number Publication date
KR102263716B1 (en) 2021-06-10
KR102482507B1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
KR102263716B1 (en) AI-based material defect image generation method and defect detection system
CN111488789B (en) Pedestrian detection method and device for monitoring based on image analysis
TWI707300B (en) A system and method configured to generate simulated images from design information and a non-transitory computer-readable medium thereof
JP2019530117A (en) Convolutional neural network based mode selection and defect classification for image fusion
CN111696118B (en) Visual loopback detection method based on semantic segmentation and image restoration in dynamic scene
JP2020126624A (en) Method for recognizing face using multiple patch combination based on deep neural network and improving fault tolerance and fluctuation robustness
TWI798627B (en) Method for detecting defect in semiconductor wafer and semiconductor wafer defect detection system
JP2015511310A (en) Segmentation for wafer inspection
US20220083721A1 (en) Methods and systems for generating shape data for electronic designs
US10789551B2 (en) Method for training and testing data embedding network to generate marked data by integrating original data with mark data, and training device and testing device using the same
JP2008059110A (en) Object identification parameter learning system, object identification parameter learning method and object identification parameter learning program
Kim et al. Adversarial defect detection in semiconductor manufacturing process
KR102325347B1 (en) Apparatus and method of defect classification based on machine-learning
KR20210108338A (en) A computer implemented process to enhance edge defect detection and other defects in ophthalmic lenses
CN111382709A (en) Insulator image detection method based on unmanned aerial vehicle inspection
JP2019159835A (en) Learning program, learning method and learning device
Dehaerne et al. YOLOv8 for defect inspection of hexagonal directed self-assembly patterns: a data-centric approach
JP2023061387A (en) Defect detection using synthetic data and machine learning
US11961221B2 (en) Defect examination on a semiconductor specimen
Zhou et al. Mining lithography hotspots from massive SEM images using machine learning model
CN115359108A (en) Depth prediction method and system based on defocusing under guidance of focal stack reconstruction
KR102498322B1 (en) Apparatus and Method for Classifying States of Semiconductor Device based on Deep Learning
KR20230070714A (en) AI-based material defect detection system and method according to real defect image and defect detection system
KR20230023263A (en) Deep learning-based sewerage defect detection method and apparatus
Fujita et al. Fine-tuned Surface Object Detection Applying Pre-trained Mask R-CNN Models

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant