KR20230070714A - 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법 - Google Patents
실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230070714A KR20230070714A KR1020210156579A KR20210156579A KR20230070714A KR 20230070714 A KR20230070714 A KR 20230070714A KR 1020210156579 A KR1020210156579 A KR 1020210156579A KR 20210156579 A KR20210156579 A KR 20210156579A KR 20230070714 A KR20230070714 A KR 20230070714A
- Authority
- KR
- South Korea
- Prior art keywords
- defect
- image
- virtual
- type
- images
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 428
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000000463 material Substances 0.000 title abstract description 8
- 230000002950 deficient Effects 0.000 claims abstract description 80
- 238000009826 distribution Methods 0.000 claims abstract description 38
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000001747 exhibiting effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 15
- 239000000356 contaminant Substances 0.000 description 10
- 238000012549 training Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 239000000758 substrate Substances 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 235000002595 Solanum tuberosum Nutrition 0.000 description 2
- 244000061456 Solanum tuberosum Species 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005137 deposition process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 235000012015 potatoes Nutrition 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8877—Proximity analysis, local statistics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Chemical & Material Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출 시스템이 개시된다. 상기 결함 검출 시스템은 결함 영상을 이용하여 다수의 가상 양품 영상 또는 다수의 가상 결함 영상을 생성하는 학습 데이터 생성부, 상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부 및 상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함한다. 상기 학습 데이터 생성부는 상기 결함 영상의 종류 및 분포를 분석하여 상기 결함 형태 또는 상기 배경 형태를 검출하는 영상 종류 및 분포 분석부, 상기 검출된 결함 형태 또는 상기 검출된 배경 형태에 따라 상기 가상 양품 영상을 생성하는 양품 영상 생성부 및 상기 검출된 결함 형태 또는 상기 검출된 배경 형태에 따라 상기 가상 결함 영상을 생성하는 결함 영상 생성부를 포함한다. 여기서, 상기 영상 종류 및 분포 분석부는 상기 결함 영상의 종류 및 분포를 분석하여 결함 형태 또는 배경 형태를 검출하고, 상기 검출된 결함 형태 또는 배경 형태에 따라 생성될 가상 양품 영상 또는 가상 결함 영상의 종류, 수 또는 해상도를 다르게 결정하며, 상기 양품 영상 생성부는 상기 결함 영상에서 결함 영역을 제거한 후 해당 영역을 알맞은 배경으로 메꾸어 가상 양품 영상을 생성하고, 상기 결함 영상 생성부는 상기 결함 영상에서 결함 영역을 변형하여 다수의 가상 결함 영상을 생성하거나 상기 결함 영상의 해상도를 기준 해상도로 변환하여 다수의 가상 결함 영상을 생성하고, 상기 가상 결함 영상의 결함의 위치, 크기 또는 형태 중 적어도 하나는 상기 결함 영상의 결함의 위치, 크기 또는 형태와 다르다.
Description
본 발명은 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법에 관한 것이다.
최근 인공지능 기술의 발전에 따라 자동 결함 검출 분야에서도 인공지능이 적용되는 사례가 급증하고 있다. 예를 들어, S. Marino, A. Smolarz, and P. Beauseroy, "Potato defects classification and localization with convolutional neural networks," in Fourteenth International Conference on Quality Control by Artificial Vision, vol. 11472, 2019, pp. 110-117.와 H. Lin, B. Li, X. Wang, Y. Shu, and S. Niu, "Automated defect inspection of LED chip using deep convolutional neural network," Journal of Intelligent Manufacturing, vol. 30, pp. 2525-2534, 2019.에는 각각 감자와 LED 기판의 결함을 자동으로 검출하기 위해 Class Activation Mapping(CAM)이라는 딥러닝 기법을 사용하였다. CAM은 분류기로 학습된 인공신경망이 입력 영상의 어느 영역을 관찰하고 분류 결과를 도출했는지 가시화하는 기법이다. 상기의 예시에서는 양품/결함을 분류하는 인공신경망을 학습하고, CAM을 결함의 위치를 알아내는 도구로써 사용하였다.
종래의 자동 결함 검출을 위한 인공신경망을 학습하기 위해서는 다수의 양품/결함 영상이 필요하지만, 결함의 특성상 결함 영상을 획득하기 어렵고(예: 반도체의 경우 ppm 단위로 결함 발생), 상대적으로 얻기 용이한 양품 영상과 데이터 불균형 문제도 발생한다. 또한 양품/결함에 대한 정보는 기업 비밀이기 때문에 공개되기 어렵기 때문에 데이터셋을 구축하는 난이도가 높은 문제점이 있다.
본 발명은 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출 시스템을 제공하기 위한 것이다.
또한, 본 발명은 소수의 결함 영상으로부터 다수의 가상의 양품 및 결함 영상을 생성하여 훈련 데이터 셋을 구축할 수 있는 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템을 제공하기 위한 것이다.
또한, 본 발명은 가상의 훈련 데이터 셋을 촬영하여 결함 영상이 입력된 경우, 결함 영상과 정확히 대응되는 양품 영상을 생성하여 인공신경망 학습이 가능한 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템을 제공하기 위한 것이다.
게다가, 본 발명의 결함 검출 시스템은 실제 결함 이미지의 종류와 분포를 고려하여 생성되는 가상 결함 이미지/가상 양품 이미지가 최대한 다양한 종류와 고른 분포를 가질 수 있도록 한다. 상기 가상의 결함/양품 이미지를 활용하여 학습된 모델은 결함 이미지의 종류에 따른 데이터의 불균형 문제가 해소되어 실 사용에서 맞닥뜨릴 수 있는 다양한 상황에서 고른 성능을 발휘할 수 있다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 결함 검출 시스템은 결함 영상을 이용하여 다수의 가상 양품 영상 또는 다수의 가상 결함 영상을 생성하는 학습 데이터 생성부; 상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부; 및 상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함한다. 상기 학습 데이터 생성부는 상기 결함 영상의 종류 및 분포를 분석하여 상기 결함 형태 또는 상기 배경 형태를 검출하는 영상 종류 및 분포 분석부; 상기 검출된 결함 형태 또는 상기 검출된 배경 형태에 따라 상기 가상 양품 영상을 생성하는 양품 영상 생성부; 및 상기 검출된 결함 형태 또는 상기 검출된 배경 형태에 따라 상기 가상 결함 영상을 생성하는 결함 영상 생성부를 포함한다. 여기서, 상기 영상 종류 및 분포 분석부는 상기 결함 영상의 종류 및 분포를 분석하여 결함 형태 또는 배경 형태를 검출하고, 상기 검출된 결함 형태 또는 배경 형태에 따라 생성될 가상 양품 영상 또는 가상 결함 영상의 종류, 수 또는 해상도를 다르게 결정하며, 상기 양품 영상 생성부는 상기 결함 영상에서 결함 영역을 제거한 후 해당 영역을 알맞은 배경으로 메꾸어 가상 양품 영상을 생성하고, 상기 결함 영상 생성부는 상기 결함 영상에서 결함 영역을 변형하여 다수의 가상 결함 영상을 생성한다. 상기 가상 결함 영상의 결함의 위치, 크기 또는 형태 중 적어도 하나는 상기 결함 영상의 결함의 위치, 크기 또는 형태와 다르다.
본 발명의 다른 실시예에 따른 결함 검출 시스템은 결함 영상의 종류 및 분포를 분석하여 결함 형태 또는 배경 형태를 검출하고, 상기 검출된 결함 형태 또는 배경 형태에 따라 생성될 가상 양품 영상 또는 가상 결함 영상의 종류, 수 또는 해상도를 다르게 결정하며, 상기 결정된 종류, 수 또는 해상도를 가지는 가상 양품 영상 또는 가상 결함 영상을 생성하는 학습 데이터 생성부; 상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부; 및 상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함한다.
본 발명의 또 다른 실시예에 따른 결함 검출 시스템은 결함 영상에서 결함의 종류를 검출하고, 상기 검출 결과에 따라 가상 양품 영상 또는 가상 결함 영상을 생성하는 학습 데이터 생성부; 상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부; 및 상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함한다. 여기서, 상기 결함의 종류에 따라 상기 생성되는 가상 양품 영상 또는 가상 결함 영상의 수가 달라진다.
본 발명의 또 다른 실시예에 따른 결함 검출 시스템은 결함 영상에서 결함의 분포를 검출하고, 상기 검출 결과에 따라 가상 양품 영상 또는 가상 결함 영상을 생성하는 학습 데이터 생성부; 상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부; 및 상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함한다. 여기서, 상기 결함의 분포에 따라 상기 생성되는 가상 양품 영상 또는 가상 결함 영상의 수가 달라진다.
본 발명의 또 다른 실시예에 따른 결함 검출 시스템은 결함 영상을 이용하여 다수의 가상 양품 영상 또는 다수의 가상 결함 영상을 생성하는 학습 데이터 생성부; 상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부; 및 상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함한다. 여기서, 상기 학습 데이터 생성부는 상기 결함 영상의 종류 또는 분포를 인공 지능으로 분석하여 생성될 가상 양품 영상 또는 가상 결함 영상의 종류, 수 또는 해상도를 결정하나, 사용자 요청시 생성된 가상 양품 영상 또는 가상 결함 영상의 종류, 수 또는 해상도를 다르게 결정한다.
본 발명의 일 실시예에 따른 결함 검출 방법은 결함 영상을 이용하여 다수의 가상 양품 영상 또는 다수의 가상 결함 영상을 생성하는 단계; 상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 단계; 및 상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 단계를 포함한다. 여기서, 상기 결함 영상의 종류 또는 분포를 분석하여 결함 형태 또는 배경 형태를 검출하고, 상기 검출된 결함 형태 또는 배경 형태에 따라 상기 가상 양품 영상 또는 상기 가상 결함 영상의 종류, 수 또는 해상도를 다르게 생성한다.
본 발명의 일 실시예에 따른 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법을 제공함으로써, 입력된 결함 영상과 정확히 대응되는 양품 영상을 생성함으로써 예측하지 못한 결함 영역도 효과적으로 검출할 수 있다.
또한, 본 발명은 주석 정보 없이 학습을 수행할 수 있는 비지도 학습에 속하기 때문에 주석 정보를 생성하는 과정에서 발생하는 노동력을 줄일 수 있는 이점이 있다.
게다가, 본 발명은 소수의 결함 영상으로부터 다수의 가상 양품/결함 영상을 생성하기 때문에 데이터 불균형 및 데이터 수가 부족해서 발생하는 문제를 줄일 수 있는 이점도 있다.
더욱이, 본 발명은 실제 결함 이미지의 종류와 분포를 고려하여 가상 결함 이미지/가상 양품 이미지가 최대한 다양한 종류와 고른 분포를 가질 수 있도록 가상 이미지를 생성하기 때문에, 해당 가상 이미지들로 학습된 모델은 실 사용에서 맞닥뜨릴 수 있는 다양한 상황에서 고른 성능을 발휘할 수 있다.
도 1은 본 발명의 일 실시예에 따른 결함 검출 시스템을 개략적으로 도시한 블록도이다.
도 2는 결함 영상의 종류와 분포의 일 예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 양품 영상 생성 과정을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 양품 영상을 이용한 가상 양품 영상 생성 과정을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 결함 영상 생성 과정을 도시한 도면이다.
도 6은 무작위로 생성된 가상의 저해상도 결함 영상을 고해상도 결함 영상으로 변환하는 과정을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 결함 영역 검출 과정을 도시한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 원본 결함 영상에서 결함의 종류와 위치가 변형되어 생성된 결함 영상을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 모델의 학습 과정을 나타낸 순서도이다.
도 10은 본 발명의 일 실시예에 따른 결함 검출 방법을 나타낸 순서도이다.
도 2는 결함 영상의 종류와 분포의 일 예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 양품 영상 생성 과정을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 양품 영상을 이용한 가상 양품 영상 생성 과정을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 결함 영상 생성 과정을 도시한 도면이다.
도 6은 무작위로 생성된 가상의 저해상도 결함 영상을 고해상도 결함 영상으로 변환하는 과정을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 결함 영역 검출 과정을 도시한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 원본 결함 영상에서 결함의 종류와 위치가 변형되어 생성된 결함 영상을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 모델의 학습 과정을 나타낸 순서도이다.
도 10은 본 발명의 일 실시예에 따른 결함 검출 방법을 나타낸 순서도이다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 결함 검출 시스템을 개략적으로 도시한 블록도이고, 도 2는 결함 영상의 종류와 분포의 일 예를 도시한 도면이며, 도 3은 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 양품 영상 생성 과정을 도시한 도면이다. 도 4는 본 발명의 일 실시예에 따른 양품 영상을 이용한 가상 양품 영상 생성 과정을 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 결함 영상 생성 과정을 도시한 도면이며, 도 6은 무작위로 생성된 가상의 저해상도 결함 영상을 고해상도 결함 영상으로 변환하는 과정을 도시한 도면이다. 도 7은 본 발명의 일 실시예에 따른 결함 영역 검출 과정을 도시한 도면이며, 도 8은 본 발명의 다른 실시예에 따른 원본 결함 영상에서 결함의 종류와 위치가 변형되어 생성된 결함 영상을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 결함 검출 시스템(100)은 학습 데이터 생성부(110), 학습부(115), 영상 생성 모델(120), 결함 검출부(125), 메모리(130) 및 프로세서(135)를 포함할 수 있다.
학습 데이터 생성부(110)는 보유한 소수의 결함 영상의 종류와 분포를 분석하고, 상기 분석 결과에 기반하여 다수의 가상 결함 영상 또는 다수의 가상 양품 영상을 생성할 수 있다.
학습 데이터 생성부(110)는 영상 종류 및 분포 분석부(112), 양품 영상 생성부(114) 및 결함 영상 생성부(116)를 포함할 수 있다.
영상 종류 및 분포 분석부(112)는 입력된 결함 영상의 종류와 분포를 분석하여 필요한 가상 결함 영상의 또는 가상 양품 영상의 종류, 수 또는 해상도 등을 결정할 수 있다.
예를 들어, 도 2에 도시된 바와 같이, 입력 영상으로 결함 영상이 입력되었다고 가정한다. 영상 종류 및 분포 분석부(112)는 입력된 결함 영상에서 결함의 형태와 배경의 형태를 각각 구분하여 두 종류의 결함과 세 종류의 배경이 존재한다고 분석할 수 있다. 결함의 형태와 배경의 형태를 분석할 때, 영상 종류 및 분포 분석부(112)는 상기 입력 영상에서 Haar-like 특징, Histogram of Oriented Gradient와 같은 hand-crafted 특징을 추출한 후, 군집 분류(clustering)를 활용할 수 있다. 결함의 형태와 배경의 형태를 분석하는 알고리즘은 hand-crafted 특징과 군집 분류를 활용하는 방법으로 한정되지는 않는다.
한편, 영상 종류 및 분포 분석부(112)는 하나의 입력 영상의 결함 형태 및 배경의 형태를 분석할 수도 있고, 복수의 입력 영상들의 결함 형태 및 배경의 형태를 전체적으로 분석할 수도 있다. 여기서, 상기 입력 영상은 가상 영상이 아니라 실제 영상일 수 있다. 또한, 상기 입력 영상은 본 발명의 가상 양품 영상 또는 가상 결함 영상을 이용하여 불량으로 검출된 실제 영상도 포함하는 개념이다.
양품 영상 생성부(114)는 입력된 결함 영상을 이용하여 영상 종류 및 분포 분석부(112)에 결정된 수만큼의 가상 양품 영상을 생성할 수 있다. 이 경우, 양품 영상 생성부(114)는 상기 분석된 결함의 형태를 기준으로 다른 수의 가상 양품 영상을 생성할 수도 있고, 상기 분석된 배경의 형태를 기준으로 다른 수의 가상 양품 영상을 생성할 수도 있으며, 상기 분석된 결함의 형태와 상기 분석된 배경의 형태를 기준으로 다른 수의 가상 양품 영상을 생성할 수도 있다.
예를 들어, 양품 영상 생성부(114)는 상기 결함 영상에서 결함 영역을 제거한 후 패치 매치 기법을 통하여 가상 양품 영상을 생성할 수 있다.
이에 대해 보다 상세히 설명하기로 한다.
예를 들어, 도 3에 도시된 바와 같이, 결함 영상이 각각 입력되었다고 가정한다. 양품 영상 생성부(114)는 입력된 각각의 결함 영상에서 결함 영역을 제거하여 가상의 양품 영상을 생성할 수 있다.
예를 들어, 양품 영상 생성부(114)는 패치 매치 기법을 이용하여 결함 영상을 기초로 양품 영상을 생성할 수 있다. 구체적으로는, 양품 영상 생성부(114)는 결함 영상에서 결함 영역을 제거하며, 결함 영역 주변 정보를 사용하여 해당 결함 영역을 복원함으로써 양품 영상을 생성할 수 있다. 도 3에 도시된 바와 같이, 결함 영상은 동일한 결함 영역을 포함하는 것이 아니라 다양한 형태의 결함을 포함할 수 있다.
따라서, 양품 영상 생성부(114)는 결함의 패턴에 따라 상이한 영상 기법을 적용하여 결함 영역을 제거한 후 양품 영상을 생성할 수 있다.
다른 예로, 양품 영상 생성부(114)는 입력된 양품 영상을 이용하여 다수의 가상 양품 영상을 생성할 수도 있다.
다른 실시예에 따르면, 양품 영상 생성부(114)는 결함 영상과 양품 영상을 모두 이용하여 가상 양품 영상을 생성할 수도 있다. 예를 들어, 상기 결함 영상에서 결함 영역을 제거한 후 상기 양품 영상 중 상기 제거된 결함 영역에 해당하는 영역으로 상기 제거된 결함 영역을 대체시킴에 의해 가상 양품 영상을 생성할 수도 있다.
또 다른 실시예에 따르면, 양품 영상 생성부(114)는 결함 영역의 상태에 따라 결함 영상의 결함 영역 주변 정보 또는 양품 영상의 영역 정보를 이용하여 가상 양품 영상을 생성할 수도 있다. 예를 들어, 상기 결함 영역의 사이즈가 크거나 주변 영역까지 훼손한 경우에는 상기 제거된 결함 영역을 양품 영상의 영역으로 대체시켜 가상의 양품 영상을 생성하고, 상기 결함 영역의 사이즈가 작은 경우 상기 결함 영역 주변 정보를 이용하여 가상 양품 영상을 생성할 수도 있다.
이에 대해 도 4을 참조하여 설명하기로 한다.
예를 들어, 양품 영상 생성부(114)는 입력된 양품 영상의 해상도가 기준 해상도 이상인 양품 영상을 생성한 후 무작위로 영상을 잘라 다수의 가상 양품 영상을 생성할 수도 있다.
예를 들어, 양품 영상 생성부(114)는 PSGAN을 이용하여 기준 해상도 이상인 양품 영상을 생성한 후 도 4에서 보여지는 바와 같이 무작위로 잘라 가상 양품 영상을 생성할 수 있다.
또 다른 예를 들어, 양품 영상 생성부(114)는 결함 영상으로부터 생성된 가상 양품 영상을 확대한 후 무작위로 잘라서 복수의 양품 영상들을 생성할 수도 있다.
정리하면, 양품 영상 생성부(114)는 소수의 결함 영상을 이용하여 다수의 가상 양품 영상을 생성할 수 있다.
결함 영상 생성부(116)는 소수의 결함 영상을 이용하여 다수의 가상 결함 영상을 생성할 수 있다.
예를 들어, 도 5에 도시된 바와 같이 결함 영상이 입력되었다고 가정하기로 한다. 결함 영상 생성부(116)는 DCGAN을 이용하여 다수의 가상 결함 영상을 생성할 수 있다. 여기서, DCGAN은 은닉 변수(latent variable)로부터 무작위 영상을 생성할 수 있다. DCGAN의 결과는 64 x 64로 한정되어 있기 때문에, 더 높은 해상도를 가지는 결함 영상을 만들기 위해 초해상도(super-resolution) 기능을 수행할 수 있는 인공 신경망인 CycleGAN을 이용하여 초해상도 결함 영상을 생성할 수 있다. CycleGAN은 unpaired image-to-image translation을 수행하는 인공신경망으로써, 한 쪽 도메인을 저해상도 영상, 다른 쪽 도메인을 고해상도 영상으로 학습하게 되면 초해상도(super-resolution) 기능을 수행하는 인공신경망을 얻을 수 있다(도 6 참조).
즉, 결함 영상 생성부(116)는 DCGAN과 CycleGAN을 이용하여 입력된 저해상도의 결함 영상을 고품질의 고해상도 결함 영상으로 변환한 후 무작위 영상 변환 과정을 통해 다수의 가상 결함 영상을 생성할 수 있다. 물론, 가상 결함 영상을 생성하는 한 알고리즘은 DCGAN 및 CycleGAN으로 한정되지는 않는다.
도 5에서는 입력 영상(결함 영상)에서의 결함 위치와 생성된 가상 결함 영상에서의 결함 위치가 동일하거나 유사하였다. 그러나, 상기 가상 결함 영상에서의 결함 위치가 상기 입력 영상의 결함 위치와 다를 수 있다(도 8 참조). 또한, 상기 가상 결함 영상에서의 결함의 크기 또는 형태가 상기 입력 영상에서의 결함의 크기 또는 형태와 다를 수도 있다.
예를 들어, 반도체 공정 중 증착 공정에서 기판의 에지 영역으로 오염 물질을 묻을 가능성이 있다고 가정하면, 결함 영상 생성부(116)는 기판의 일변의 에지 영역 중앙에 오염 물질이 묻은 결함을 가지는 입력 영상을 이용하여 다른 변들의 에지 영역 중앙 또는 중앙이 아닌 에지 측면 등에 오염 물질이 묻은 결함을 가지는 다양한 가상 결함 영상들을 생성할 수 있다. 이 경우, 상기 오염 물질이 공정 중 에지의 이곳 저곳에 묻을 수 있다는 전제가 미리 설정되어 있을 수 있다.
다른 예로, 공정 중 기판에 가해지는 충격 및 이로 인한 크랙의 발생 크기 또는 범위가 미리 설정되어 있다면, 결함 영상 생성부(116)는 크랙을 가지는 기판에 대한 입력 영상으로부터 크랙의 깊이, 길이 또는 위치가 달라지는 다수의 결함 영상들을 생성할 수 있다.
즉, 본 발명의 결함 영상 생성부(116)는 입력 영상의 결함과 동일한 위치, 형태 또는 크기를 가지는 가상 결함 영상들을 생성할 수 있을 뿐만 아니라 입력 영상의 결함과 다른 위치, 형태 또는 크기를 가지는 가상 결함 영상들을 생성할 수도 있다.
또한, 결함 영상 생성부(116)는 결함이 오염 물질인 경우 입력 영상의 오염 물질과 다른 오염 물질을 가지는 결함 영상을 생성할 수도 있다. 이 경우, 오염 물질이 달라짐에 따라 오염 물질이 기판에 묻는 형태 또는 사이즈 등도 달라질 수 있다.
위에서는 하나의 결함에 대하여 가상 결함 영상들을 생성하는 것으로 언급하였으나, 복수의 다른 형태의 결함들을 결합시켜 가상 결함 영상들을 생성할 수도 있다. 예를 들어, 오염 물질이 묻은 결함 영상과 크랙이 있는 결함 영상을 입력받아 다양한 위치에 오염 물질 또는 크랙이 형성된 가상 결함 영상들을 생성할 수 있다.
다른 실시예에 따르면, 결함 영상 생성부(116)는 결함 영상뿐만 아니라 양품 영상도 이용하여 가상 결함 영상들을 생성할 수도 있다. 예를 들어, 결함 영상에서 결함을 추출하고, 상기 추출된 결함을 양품 영상의 다양한 위치에 표시하여 다양한 가상 결함 영상들을 생성할 수도 있다.
정리하면, 학습 데이터 생성부(110)는 소수의 결함 영상을 이용하여 모델의 학습을 위한 다수의 가상 학습 데이터 셋을 생성할 수 있다. 또한, 다수의 가상 학습 데이터 셋은 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나일 수 있다.
한편, 학습 데이터 생성부(110)는 상기 결함 영상의 결함 형태 또는 배경 형태에 따라 자동으로 양품 영상 생성부(114)와 결함 영상 생성부(116)를 선택적으로 또는 모두 동작시킬 수도 있고, 사용자의 요청에 따라 양품 영상 생성부(114)와 결함 영상 생성부(116)를 선택적으로 또는 모두 동작시킬 수도 있다. 예를 들어, 학습 데이터 생성부(110)는 인공 지능으로 결정된 수의 가상 양품 영상 또는 가상 결함 영상을 생성할 수도 있지만, 사용자가 인공 지능으로 결정된 수와 상관없이 임의로 가상 양품 영상 또는 가상 결함 영상의 수를 결정할 수도 있다.
이와 같이, 학습 데이터 생성부(110)에 의해 학습 데이터 셋이 생성되면, 이를 이용하여 모델을 학습할 수 있다.
학습부(115)는 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 영상 생성 모델(120)을 학습시킬 수 있다.
학습부(115)는 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 모델을 학습함으로써 영상 생성 모델(120)은 결함 영상을 이용하여 양품 영상을 생성하도록 학습될 수 있다.
영상 생성 모델(120)은 학습부(115)에 의해 학습 데이터 셋(다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나)을 이용하여 학습된 이후 결함 검출 과정에서 입력 영상에 대응하는 비교 영상(양품 영상 또는 결함 영상)을 생성할 수 있다.
예를 들어, 영상 생성 모델(120)은 다수의 가상 양품 영상 및 가상 결함 영상을 이용하여 학습되어 있으므로, 결함 영상이 입력되는 경우 이에 대응하는 양품 영상을 생성할 수 있다.
결함 검출부(125)는 입력 영상과 비교 영상을 이용하여 결함 여부를 검출하기 위한 수단이다.
예를 들어, 입력 영상이 결함 영상인 경우, 비교 영상은 결함 영상에 대응하는 가상 양품 영상일 수 있다. 따라서, 결함 검출부(125)는 입력 영상과 비교 영상의 차영상을 도출하여 결함 영역을 검출할 수 있다.
결함 영역 검출 과정에 대해 도 7을 참조하여 보다 상세히 설명하기로 한다.
예를 들어, 입력 영상이 결함 영상(610)이라고 가정하면, 학습된 영상 생성 모델(120)을 통해 도 7의 620과 같이 가상 양품 영상이 생성될 수 있다. 이에 따라, 결함 검출부(125)는 610의 결함 영상과 620의 가상 양품 영상의 차영상을 도출한 후 히스테레시스 임계값(Hysteresis threshold) 및 모폴로지 연산(morphology operation)을 통해 결함 영역을 검출할 수 있다.
다만, 영상 생성 모델(120)은 결함 영상(610)의 결함 형태 또는 배경 형태를 고려하여 적절한 수의 가상 양품 영상을 생성할 수 있다. 예를 들어, 영상 생성 모델(120)은 결함 영상(610)의 결함과 동일하거나 유사한 결함을 가지되 다양한 배경을 가지는 10000개의 가상 양품 영상과 결함 영상(610)의 배경과 동일하거나 유사한 배경을 가지되 다양한 결함을 가지는 5000개의 가상 양품 영상을 생성할 수 있다. 다른 예로, 영상 생성 모델(120)은 A 결함일 경우에는 10000개의 가상 양품 영상을 생성하고 B 결함일 때는 3000개의 가상 양품 영상을 생성할 수도 있다. 즉, 영상 생성 모델(120)은 결함 영상(610)의 결함의 형태, 종류 또는 수 등에 따라 다른 수의 가상 양품 영상을 생성하고, 결함 영상(610)의 배경의 형태, 종류 등에 따라 다른 수의 가상 양품 영상을 생성할 수도 있다.
메모리(130)는 본 발명의 일 실시예에 따른 결함 검출 방법을 수행하기 위해 필요한 명령어들(프로그램 코드들)을 저장하기 위한 수단이다.
프로세서(135)는 본 발명의 일 실시예에 따른 결함 검출 시스템(100)의 내부 구성 요소들(예를 들어, 학습 데이터 생성부(110), 학습부(115), 영상 생성 모델(120), 결함 검출부(125), 메모리(130) 등)을 제어하기 위한 수단이다.
또한, 결함 검출부(125)에 의해 검출된 결함 영상에 대한 영상 또는 영상 생성 모델(120)에 의해 생성되는 가상 양품 영상 및 가상 결함 영상 중 적어도 하나는 영상 생성 모델(120)의 학습을 위해 다시 이용될 수 있다.
다른 실시예에 따르면, 입력 영상이 결함 영상일 때, 학습된 영상 생성 모델(120)을 통하여 가상 양품 영상과 가상 결함 영상이 생성될 수 있다. 이 경우, 상기 결함 영상과 상기 가상 양품 영상의 비교를 통하여 결함 영역을 검출하고, 상기 결함 영상과 상기 가상 결함 영상의 비교를 통하여 결함의 종류, 패턴 등을 검출할 수도 있다.
도 9는 본 발명의 일 실시예에 따른 모델의 학습 과정을 나타낸 순서도이다.
단계 S900에서 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 생성한다.
일 실시예에 따르면, 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 양품 영상을 생성할 수 있다.
다른 예를 들어, 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 결함 영상을 생성할 수 있다.
또 다른 예를 들어, 결함 검출 시스템(100)은 소수의 양품 영상을 이용하여 다수의 양품 영상을 생성할 수 있다.
또 다른 예를 들어, 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 양품 영상과 가상 결함 영상을 모두 생성할 수도 있다.
이와 같이, 결함 검출 시스템(100)은 소수의 입력 영상을 이용하여 영상 생성 모델(120)의 학습을 위한 학습 데이터 셋을 생성할 수 있다. 이에 대해서는 도 1 내지 도 5를 참조하여 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
단계 S902에서 결함 검출 시스템(100)은 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 영상 생성 모델(120)을 학습한다.
영상 생성 모델(120)은 인공지능을 이용하는 영상 생성 모델로, 입력 영상에 대응하는 비교 영상을 생성할 수 있다.
예를 들어, 입력 영상이 결함 영상인 경우, 영상 생성 모델(120)은 결함 영상에 대응하는 양품 영상을 생성할 수 있다.
이를 위해, 영상 생성 모델(120)은 가상 결함 영상과 가상 양품 영상으로 구성된 학습 데이터 셋을 이용하여 사전 학습될 수 있다. 인공지능 모델의 학습 과정은 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.
일반적으로 인공지능 모델의 경우 모델 학습을 위한 충분한 학습 데이터 셋을 구하기 어려운 문제점이 있다. 이로 인해, 실제 모델에 충분한 학습이 이루어지지 않아 적용에 많은 어려움이 따른다.
이로 인해, 본 발명의 일 실시예에서는 소수의 결함 영상을 이용하여 모델 학습에 필요한 다수의 가상 양품 영상과 가상 결함 영상을 각각 생성하고, 이를 이용하여 모델을 학습할 수 있다.
많은 학습 데이터 셋을 이용한 모델 학습을 통해 모델의 정확도를 더욱 높일 수 있는 이점이 있다.
이와 같이, 학습이 완료된 모델을 이용하여 실제 결함을 검출하는 방법에 대해서는 도 10을 참조하여 설명하기로 한다.
도 10은 본 발명의 일 실시예에 따른 결함 검출 방법을 나타낸 순서도이다. 이하에서는 도 10에서 설명한 바와 같이, 영상 생성 모델(120)이 학습 데이터 셋을 이용하여 학습되어 있는 것을 가정하여 이후의 동작에 대해 설명하기로 한다.
단계 S1000에서 결함 검출 시스템(100)은 입력 영상을 획득한다.
단계 S1002에서 결함 검출 시스템(100)은 학습된 영상 생성 모델(120)에 입력 영상을 적용하여 비교 영상을 생성한다.
예를 들어, 입력 영상이 결함 영상인 경우, 비교 영상은 결함 영상에서 결함 영역이 제거된 양품 영상일 수 있다.
학습된 영상 생성 모델(120)에 입력 영상을 적용하는 경우, 학습된 영상 생성 모델(120)은 입력 영상인 결함 영상에서 결함 영역이 제거된 가상 양품 영상을 비교 영상으로서 생성하여 출력할 수 있다.
단계 S1004에서 결함 검출 시스템(100)은 입력 영상과 비교 영상의 차영상을 도출하고, 차영상을 이용하여 결함 영역을 검출한다.
예를 들어, 결함 검출 시스템(100)은 비교 영상으로 결함 영상을 설정할 수도 있으며, 양품 영상을 설정할 수도 있으며 양품 영상과 결함 영상을 모두 설정할 수도 있다.
결함 검출 시스템(100)은 입력 영상과 비교 영상으로 설정된 결함 영상 사이의 차영상을 도출한 후 결함 여부를 결정할 수도 있다.
다른 예를 들면, 결함 검출 시스템(100)은 입력 영상과 비교 영상으로 설정된 양품 영상 사이의 차영상을 도출한 후 결함 영역을 검출할 수도 있다.
물론, 구현 방법에 따라 결함 검출 시스템(100)은 비교 영상으로 결함 영상과 양품 영상을 모두 설정할 수도 있으며, 입력 영상과의 비교를 통해 결함 여부를 결정할 수도 있다.
또한, 결함 검출 시스템(100)은 비교 영상을 도 7에서 설명한 모델 학습에 이용할 수도 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따르면, 소수의 입력 영상(결함 영상, 양품 영상)을 이용하여 다수의 가상 학습 데이터 셋을 생성하고, 이를 이용하여 모델을 학습하여 정확도를 높인 후 결함 검사에 이용함으로써 결함 검출 성능을 높일 수 있는 이점이 있다.
한편, 위에서는 학습 데이터 셋이 부족하여 가상 결함 영상 및 가상 양품 영상을 생성하여 학습 데이터 셋으로 이용하였으나, 반복 결함 검출 과정을 통하여 실제 결함 영상 및 양품 영상이 다수 확보되면 가상 결함 영상/가상 양품 영상의 수를 줄여 학습에 이용할 수도 있다.
따라서, 상기 결함 검출 시스템은 실제 결함 영상/양품 영상의 수를 체크하고, 상기 체크된 실제 결함 영상/양품 영상의 수에 따라 가상 결함 영상/가상 양품 영상의 적절히 생성하여 학습에 이용할 수 있다. 예를 들어, 실제 결함 영상/양품 영상의 수가 1000개 이하인 경우 가상 결함 영상/가상 양품 영상을 20000개 생성하여 모델을 학습시키고, 반복 결함 검출 과정을 통하여 실제 결함 영상 및 양품 영상이 5000개까지 확보가 되면 가상 결함 영상/가상 양품 영상을 15000개 생성할 수도 있다.
즉, 인공지능은 단순히 가상 결함 영상/가상 양품 영상을 생성하여 모델을 학습하여 결함을 검출할 뿐만 아니라, 확보된 실제 결함 영상/양품 영상의 수까지 고려하여 가상 결함 영상/가상 양품 영상을 생성하여 모델을 학습시킬 수도 있다. 결과적으로, 결함 검출 과정이 반복될 수록 가상 결함 영상/가상 양품 영상의 수가 줄어들게 되고 실제 결함 영상/양품 영상이 더 많이 이용되게 되므로, 영상 생성 모델의 정밀도가 높아질 수 있다. 이 때, 실제 결함 영상/양품 영상의 수의 증가율과 상기 가상 결함 영상/가상 양품 영상의 감소율이 동일할 수도 있지만 다른 것이 효율적일 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100: 결함 검출 시스템
110: 학습 데이터 생성부
112 : 영상 종류 및 분포 분석부
114 : 양품 영상 생성부
115: 학습부
116 : 결함 영상 생성부
120: 영상 생성 모델
125: 결함 검출부
130: 메모리
135: 프로세서
110: 학습 데이터 생성부
112 : 영상 종류 및 분포 분석부
114 : 양품 영상 생성부
115: 학습부
116 : 결함 영상 생성부
120: 영상 생성 모델
125: 결함 검출부
130: 메모리
135: 프로세서
Claims (15)
- 결함 영상을 이용하여 다수의 가상 양품 영상 또는 다수의 가상 결함 영상을 생성하는 학습 데이터 생성부;
상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부; 및
상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함하며,
상기 학습 데이터 생성부는,
상기 결함 영상의 종류 및 분포를 분석하여 상기 결함 형태 또는 상기 배경 형태를 검출하는 영상 종류 및 분포 분석부;
상기 검출된 결함 형태 또는 상기 검출된 배경 형태에 따라 상기 가상 양품 영상을 생성하는 양품 영상 생성부; 및
상기 검출된 결함 형태 또는 상기 검출된 배경 형태에 따라 상기 가상 결함 영상을 생성하는 결함 영상 생성부를 포함하되,
상기 영상 종류 및 분포 분석부는 상기 결함 영상의 종류 및 분포를 분석하여 결함 형태 또는 배경 형태를 검출하고, 상기 검출된 결함 형태 또는 배경 형태에 따라 생성될 가상 양품 영상 또는 가상 결함 영상의 종류, 수 또는 해상도를 다르게 결정하며,
상기 양품 영상 생성부는 상기 결함 영상에서 결함 영역을 제거한 후 해당 영역을 알맞은 배경으로 메꾸어 가상 양품 영상을 생성하고,
상기 결함 영상 생성부는 상기 결함 영상에서 결함 영역을 변형하여 다수의 가상 결함 영상을 생성하며,
상기 가상 결함 영상의 결함의 위치, 크기 또는 형태 중 적어도 하나는 상기 결함 영상의 결함의 위치, 크기 또는 형태와 다른 것을 특징으로 하는 결함 검출 시스템. - 제1항에 있어서, 상기 학습 데이터 생성부는 상기 결함 영상에서 Haar-like 특징 또는 Histogram of Oriented Gradient와 같은 hand-crafted 특징을 추출한 후 군집 분류(clustering)를 활용하여 상기 결함 형태 또는 상기 배경 형태를 검출하는 것을 특징으로 하는 결함 검출 시스템.
- 제1항에 있어서, 사용자가 상기 가상 양품 영상 또는 상기 가상 결함 영상의 종류, 수 또는 해상도를 지정한 경우, 상기 영상 종류 및 분포 분석부에 의해 인공지능으로 결정된 종류, 수 또는 해상도와 관계없이 상기 지정된 종류, 수 또는 해상도의 가상 양품 영상 또는 가상 결함 영상을 생성하도록 상기 양품 영상 생성부 또는 상기 결함 영상 생성부를 동작시키는 것을 특징으로 하는 결함 검출 시스템.
- 제1항에 있어서, 상기 결함 검출부는 상기 모델을 이용하여 상기 입력 영상으로부터 결함이 제거된 비교 영상을 생성하고, 상기 생성된 비교 영상과 상기 입력 영상을 비교하여 결함을 검출하는 것을 특징으로 하는 결함 검출 시스템.
- 결함 영상의 종류 및 분포를 분석하여 결함 형태 또는 배경 형태를 검출하고, 상기 검출된 결함 형태 또는 배경 형태에 따라 생성될 가상 양품 영상 또는 가상 결함 영상의 종류, 수 또는 해상도를 다르게 결정하며, 상기 결정된 종류, 수 또는 해상도를 가지는 가상 양품 영상 또는 가상 결함 영상을 생성하는 학습 데이터 생성부;
상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부; 및
상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함하는 것을 특징으로 하는 결함 검출 시스템. - 제5항에 있어서, 상기 학습 데이터 생성부는 상기 결함 영상에서 Haar-like 특징 또는 Histogram of Oriented Gradient와 같은 hand-crafted 특징을 추출한 후 군집 분류(clustering)를 활용하여 상기 결함 형태 또는 상기 배경 형태를 검출하는 것을 특징으로 하는 결함 검출 시스템.
- 결함 영상에서 결함의 종류를 검출하고, 상기 검출 결과에 따라 가상 양품 영상 또는 가상 결함 영상을 생성하는 학습 데이터 생성부;
상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부; 및
상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함하되,
상기 결함의 종류에 따라 상기 생성되는 가상 양품 영상 또는 가상 결함 영상의 수가 달라지는 것을 특징으로 하는 결함 검출 시스템. - 결함 영상에서 결함의 분포를 검출하고, 상기 검출 결과에 따라 가상 양품 영상 또는 가상 결함 영상을 생성하는 학습 데이터 생성부;
상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부; 및
상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함하되,
상기 결함의 분포에 따라 상기 생성되는 가상 양품 영상 또는 가상 결함 영상의 수가 달라지는 것을 특징으로 하는 결함 검출 시스템. - 결함 영상을 이용하여 다수의 가상 양품 영상 또는 다수의 가상 결함 영상을 생성하는 학습 데이터 생성부;
상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 학습부; 및
상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 결함 검출부를 포함하되,
상기 학습 데이터 생성부는 상기 결함 영상의 종류 또는 분포를 인공 지능으로 분석하여 생성될 가상 양품 영상 또는 가상 결함 영상의 종류, 수 또는 해상도를 결정하나, 사용자 요청시 생성된 가상 양품 영상 또는 가상 결함 영상의 종류, 수 또는 해상도를 다르게 결정하는 것을 특징으로 하는 결함 검출 방법. - 제9항에 있어서, 상기 학습 데이터 생성부는 상기 결함 영상의 종류 또는 분포를 분석하여 결함 형태 또는 배경 형태를 검출하고, 상기 검출된 결함 형태 또는 배경 형태에 따라 상기 가상 양품 영상 또는 상기 가상 결함 영상의 종류, 수 또는 해상도를 다르게 생성하는 것을 특징으로 하는 결함 검출 시스템.
- 제9항에 있어서, 상기 양품 영상 생성부는 상기 결함 영상에서 결함 영역을 제거한 후 해당 영역을 알맞은 배경으로 메꾸어 가상 양품 영상을 생성하는 것을 특징으로 하는 결함 검출 시스템.
- 제9항에 있어서, 상기 결함 영상 생성부는 상기 결함 영상에서 결함 영역을 변형하여 다수의 가상 결함 영상을 생성하거나 상기 결함 영상의 해상도를 기준 해상도로 변환하여 다수의 가상 결함 영상을 생성하되,
상기 가상 결함 영상의 결함의 위치, 크기 또는 형태 중 적어도 하나는 상기 결함 영상의 결함의 위치, 크기 또는 형태와 다른 것을 특징으로 하는 결함 검출 시스템. - 결함 영상을 이용하여 다수의 가상 양품 영상 또는 다수의 가상 결함 영상을 생성하는 단계;
상기 생성된 가상 양품 영상 또는 상기 생성된 가상 결함 영상을 이용하여 결함 검출을 위한 모델을 학습시키는 단계; 및
상기 학습된 모델을 이용하여 입력 영상의 결함 여부를 검출하는 단계를 포함하되,
상기 결함 영상의 종류 또는 분포를 분석하여 결함 형태 또는 배경 형태를 검출하고, 상기 검출된 결함 형태 또는 배경 형태에 따라 상기 가상 양품 영상 또는 상기 가상 결함 영상의 종류, 수 또는 해상도를 다르게 생성하는 것을 특징으로 하는 결함 검출 방법. - 제13항에 있어서, 상기 학습 데이터 생성부는 상기 결함 영상에서 Haar-like 특징 또는 Histogram of Oriented Gradient와 같은 hand-crafted 특징을 추출한 후 군집 분류(clustering)를 활용하여 상기 결함 형태 또는 상기 배경 형태를 검출하는 것을 특징으로 하는 결함 검출 방법.
- 제13항 또는 제14항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210156579A KR20230070714A (ko) | 2021-11-15 | 2021-11-15 | 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법 |
| PCT/KR2021/016761 WO2023085479A1 (ko) | 2021-11-15 | 2021-11-16 | 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법 |
| CN202180104198.6A CN118284803A (zh) | 2021-11-15 | 2021-11-16 | 考虑实际缺陷图像的种类和分布的基于人工智能的材料缺陷检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210156579A KR20230070714A (ko) | 2021-11-15 | 2021-11-15 | 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230070714A true KR20230070714A (ko) | 2023-05-23 |
Family
ID=86336167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210156579A KR20230070714A (ko) | 2021-11-15 | 2021-11-15 | 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| KR (1) | KR20230070714A (ko) |
| CN (1) | CN118284803A (ko) |
| WO (1) | WO2023085479A1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102282722B1 (ko) | 2017-12-15 | 2021-07-29 | 주식회사 내일해 | 결함 검출 방법 및 장치 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150204799A1 (en) * | 2014-01-21 | 2015-07-23 | International Business Machines Corporation | Computer-based defect root cause and yield impact determination in layered device manufacturing for products and services |
| JP7250331B2 (ja) * | 2019-07-05 | 2023-04-03 | 株式会社イシダ | 画像生成装置、検査装置及び学習装置 |
| KR102263716B1 (ko) * | 2020-01-22 | 2021-06-10 | 라이트비전 주식회사 | 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템 |
| KR102408754B1 (ko) * | 2020-04-16 | 2022-06-13 | 한국세라믹기술원 | 가상 결함 데이터 생성 방법 |
| KR102430090B1 (ko) * | 2020-04-20 | 2022-08-11 | 세이지리서치 주식회사 | 사용자 입력에 기반하여 생성된 인공지능 모델을 이용하여 가상 결함 이미지를 생성하기 위한 컴퓨터 프로그램, 방법, 및 장치 |
-
2021
- 2021-11-15 KR KR1020210156579A patent/KR20230070714A/ko not_active Application Discontinuation
- 2021-11-16 WO PCT/KR2021/016761 patent/WO2023085479A1/ko active Application Filing
- 2021-11-16 CN CN202180104198.6A patent/CN118284803A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102282722B1 (ko) | 2017-12-15 | 2021-07-29 | 주식회사 내일해 | 결함 검출 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023085479A1 (ko) | 2023-05-19 |
| CN118284803A (zh) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tao et al. | Deep learning for unsupervised anomaly localization in industrial images: A survey | |
| KR102482507B1 (ko) | 인공지능 기반 물질변형 검출 방법 및 시스템 | |
| US20210133989A1 (en) | BBP Assisted Defect Detection Flow for SEM Images | |
| WO2016138838A1 (zh) | 基于投影极速学习机的唇语识别方法和装置 | |
| CN114092387B (zh) | 生成可用于检查半导体样本的训练数据 | |
| KR100868884B1 (ko) | 유리 기판 유리 불량 정보 시스템 및 분류 방법 | |
| KR102325347B1 (ko) | 머신러닝 기반 결함 분류 장치 및 방법 | |
| CN113269709A (zh) | 探测半导体晶片中缺陷的方法及半导体晶片缺陷探测系统 | |
| KR20210108338A (ko) | 안과 렌즈의 에지 결함 및 다른 결함의 검출을 향상시키기 위한 컴퓨터 구현 프로세스 | |
| KR102313215B1 (ko) | 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법 | |
| CN114782410A (zh) | 一种基于轻量化模型的绝缘子缺陷检测方法及其系统 | |
| KR20230023263A (ko) | 딥러닝 기반 하수도 결함 감지 방법 및 그 장치 | |
| CN111767919B (zh) | 一种多层双向特征提取与融合的目标检测方法 | |
| CN111898454A (zh) | 权重二值化神经网络与迁移学习人眼状态检测方法及设备 | |
| KR20230070714A (ko) | 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법 | |
| JP2023061387A (ja) | 合成データ及び機械学習を使用した欠陥検出 | |
| CN113570564B (zh) | 一种基于多路卷积网络的多清晰度伪造人脸视频的检测方法 | |
| Lei et al. | Convolutional neural network (CNN) based automated defect classification (ADC) with imbalanced data | |
| KR102498322B1 (ko) | 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법 | |
| Megahed et al. | Face2face manipulation detection based on histogram of oriented gradients | |
| CN112949344B (zh) | 一种用于异常检测的特征自回归方法 | |
| KR20230052169A (ko) | Shap 기반 이미지 어노테이션 생성 장치 및 방법 | |
| Liu et al. | Adaptive Texture and Spectrum Clue Mining for Generalizable Face Forgery Detection | |
| Fujita et al. | Fine-tuned Surface Object Detection Applying Pre-trained Mask R-CNN Models | |
| Lebedev et al. | Face detection algorithm based on a cascade of ensembles of decision trees |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |