KR102263716B1 - 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템 - Google Patents

Abstract

인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템이 개시된다. 결함 검출 시스템은, 결함 영상을 이용하여 다수의 가상 양품 영상 및 가상 결함 영상을 생성하고, 상기 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 모델을 학습시킬 수 있다. 또한, 결함 부위를 영상 안에서 다양한 위치에 생성하는 방법과 그에 따른 영상 결과물을 포함할 수 있다.

Description

인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템{AI-based material defect image generation method and defect detection system}

본 발명은 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템에 관한 것이다.

최근 인공지능 기술의 발전에 따라 자동 결함 검출 분야에서도 인공지능이 적용되는 사례가 급증하고 있다. 예를 들어, S. Marino, A. Smolarz, and P. Beauseroy, "Potato defects classification and localization with convolutional neural networks," in Fourteenth International Conference on Quality Control by Artificial Vision, vol. 11172, 2019, pp. 110-117.와 H. Lin, B. Li, X. Wang, Y. Shu, and S. Niu, "Automated defect inspection of LED chip using deep convolutional neural network," Journal of Intelligent Manufacturing, vol. 30, pp. 2525-2534, 2019.에는 각각 감자와 LED 기판의 결함을 자동으로 검출하기 위해 Class Activation Mapping(CAM)이라는 딥러닝 기법을 사용하였다. CAM은 분류기로 학습된 인공신경망이 입력 영상의 어느 영역을 관찰하고 분류 결과를 도출했는지 가시화하는 기법이다. 상기의 예시에서는 양품/결함을 분류하는 인공신경망을 학습하고, CAM을 결함의 위치를 알아내는 도구로써 사용하였다.

종래의 자동 결함 검출을 위한 인공신경망을 학습하기 위해서는 다수의 양품/결함 영상이 필요하지만, 결함의 특성상 결함 영상을 획득하기 어렵고(예: 반도체의 경우 ppm 단위로 결함 발생), 상대적으로 얻기 용이한 양품 영상과 데이터 불균형 문제도 발생한다. 또한 양품/결함에 대한 정보는 기업 비밀이기 때문에 공개되기 어렵기 때문에 데이터셋을 구축하는 난이도가 높은 문제점이 있다.

본 발명은 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템을 제공하기 위한 것이다.

또한, 본 발명은 소수의 결함 영상으로부터 다수의 가상의 양품 및 결함 영상을 생성하여 훈련 데이터 셋을 구축할 수 있는 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템을 제공하기 위한 것이다.

또한, 본 발명은 가상의 훈련 데이터 셋을 촬영하여 결함 영상이 입력된 경우, 결함 영상과 정확히 대응되는 양품 영상을 생성하여 인공신경망 학습이 가능한 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템을 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템이 제공된다.

본 발명의 일 실시예에 따르면, 결함 영상을 이용하여 다수의 가상 양품 영상 및 가상 결함 영상을 각각 생성하는 학습 데이터 생성부; 및 상기 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 결함 검출을 위한 모델을 학습시키는 학습부를 포함하되, 상기 학습 데이터 생성부는, 상기 결함 영상에서 결함 영역을 제거한 후 패치 매치 기법을 통하여 가상 양품 영상을 생성하고, 양품 영상의 해상도를 기준 해상도로 높인 후 잘라서 다수의 가상 양품 영상을 생성하는 양품 영상 생성부; 및 상기 결함 영상에서 결함 영역을 변형하여 다수의 가상 결함 영상을 생성하거나 상기 결함 영상의 해상도를 기준 해상도로 변환하여 다수의 가상 결함 영상을 생성하는 결함 영상 생성부를 포함하되, 상기 가상 결함 영상의 결함의 위치, 크기 또는 형태 중 적어도 하나는 상기 결함 영상의 결함의 위치, 크기 또는 형태와 다른 것을 특징으로 하는 결함 검출 시스템이 제공될 수 있다.

상기 생성된 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 학습시켜 모델을 생성하는 학습부; 및 상기 생성된 모델을 이용하여 입력 영상의 결함을 검출하는 결함 검출부를 더 포함하되, 상기 결함 검출부는 상기 모델을 이용하여 상기 입력 영상으로부터 결함이 제거된 비교 영상을 생성하고, 상기 생성된 비교 영상과 상기 입력 영상을 비교하여 결함을 검출할 수 있다.

상기 결함 검출부는, 상기 입력 영상과 상기 비교 영상의 차영상을 도출하며, 상기 차영상을 이용하여 히스테레시스 임계값(Hysteresis threshold) 및 모폴로지 연산(morphology operation)을 통해 결함 영역을 검출할 수 있다.

본 발명의 일 실시예에 따른 인공지능 기반 재료 결함 이미지 생성 방법 및 결함 검출시스템을 제공함으로써, 입력된 결함 영상과 정확히 대응되는 양품 영상을 생성함으로써 예측하지 못한 결함 영역도 효과적으로 검출할 수 있다.

또한, 본 발명은 주석 정보 없이 학습을 수행할 수 있는 비지도 학습에 속하기 때문에 주석 정보를 생성하는 과정에서 발생하는 노동력을 줄일 수 있는 이점이 있다.

또한, 본 발명은 소수의 결함 영상으로부터 다수의 가상 양품/결함 영상을 생성하기 때문에 데이터 불균형 및 데이터 수가 부족해서 발생하는 문제를 줄일 수 있는 이점도 있다.

도 1은 본 발명의 일 실시예에 따른 결함 검출 시스템의 내부 구성을 개략적으로 도시한 블록도.
도 2는 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 양품 영상 생성을 설명하기 위해 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 양품 영상을 이용한 가상 양품 영상 생성을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 결함 영상 생성을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 무작위로 생성된 가상의 저해상도 결함 영상을 고해상도 결함 영상으로 변환하는 과정을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 결함 영역 검출 과정을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 모델의 학습 과정을 나타낸 순서도.
도 8은 본 발명의 일 실시예에 따른 결함 검출 방법을 나타낸 순서도.
도 9는 본 발명의 다른 실시예에 따른 원본 결함 영상에서 결함의 종류와 위치가 변형되어 생성된 결함 영상을 예시한 도면.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 결함 검출 시스템의 내부 구성을 개략적으로 도시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 양품 영상 생성을 설명하기 위해 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 양품 영상을 이용한 가상 양품 영상 생성을 설명하기 위해 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 결함 영상을 이용한 가상 결함 영상 생성을 설명하기 위해 도시한 도면이고, 도 5는 무작위로 생성된 가상의 저해상도 결함 영상을 고해상도 결함 영상으로 변환하는 과정을 설명하기 위한 도면이며, 도 6은 본 발명의 일 실시예에 따른 결함 영역 검출 과정을 설명하기 위해 도시한 도면이고, 도 9는 본 발명의 다른 실시예에 따른 원본 결함 영상에서 결함의 종류와 위치가 변형되어 생성된 결함 영상을 예시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 결함 검출 시스템(100)은 학습 데이터 생성부(110), 학습부(115), 영상 생성 모델(120), 결함 검출부(125), 메모리(130) 및 프로세서(135)를 포함하여 구성된다.

학습 데이터 생성부(110)는 보유한 소수의 결함 영상을 이용하여 다수의 가상 결함 영상과 다수의 가상 양품 영상을 각각 생성하기 위한 수단이다.

학습 데이터 생성부(110)는 양품 영상 생성부(111) 및 결함 영상 생성부(113)를 포함한다.

양품 영상 생성부(111)는 입력된 결함 영상을 이용하여 다수의 가상 양품 영상을 생성하기 위한 수단이다.

예를 들어, 양품 영상 생성부(111)는 결함 영상에서 결함 영역을 제거한 후 패치 매치 기법을 통하여 가상의 양품 영상을 생성할 수 있다.

이에 대해 보다 상세히 설명하기로 한다.

예를 들어, 도 2와 같이, 결함 영상이 각각 입력되었다고 가정하기로 한다. 양품 영상 생성부(111)는 입력된 각각의 결함 영상에서 결함 영역을 제거하여 가상의 양품 영상을 생성할 수 있다.

예를 들어, 양품 영상 생성부(111)는 패치 매치 기법을 이용하여 결함 영상을 기초로 양품 영상을 생성할 수 있다. 즉, 결함 영상에서 결함 영역을 제거하며, 결함 영역 주변 정보를 사용하여 해당 결함 영역을 복원함으로써 양품 영상을 생성할 수 있다. 즉, 양품 영상 생성부(111)는 해당 결함 영상의 결함 영역 주변 정보를 기초로 패치 매치 기법을 통하여 결함 영역을 제거하고 양품 영상을 생성할 수 있다. 도 2에 도시된 바와 같이, 결함 영상은 동일한 결함 영역을 포함하는 것이 아니라 다양한 형태의 결함을 포함할 수 있다.

따라서, 양품 영상 생성부(111)는 결함의 패턴에 따라 상이한 영상 기법을 적용하여 결함 영역을 제거한 후 양품 영상을 생성할 수 있다.

다른 예를 들어, 양품 영상 생성부(111)는 입력된 양품 영상을 이용하여 다수의 가상 양품 영상을 생성할 수도 있다.

이에 대해 도 3을 참조하여 설명하기로 한다.

예를 들어, 양품 영상 생성부(111)는 입력된 양품 영상의 해상도가 기준 해상도 이상인 양품 영상을 생성한 후 무작위로 영상을 잘라 다수의 가상 양품 영상을 생성할 수도 있다.

예를 들어, 양품 영상 생성부(111)는 PSGAN을 이용하여 기준 해상도 이상인 양품 영상을 생성한 후 도 3에서 보여지는 바와 같이 무작위로 잘라(crop) 가상의 양품 영상을 생성할 수 있다.

또 다른 예를 들어, 양품 영상 생성부는 결함 영상으로부터 생성된 가상의 양품 영상을 확대한 후 무작위로 잘라서 복수의 양품 영상들을 생성할 수도 있다.

다시 정리하면, 양품 영상 생성부(111)는 소수의 결함 영상을 이용하여 다수의 가상 양품 영상을 생성할 수 있다.

결함 영상 생성부(113)는 소수의 결함 영상을 이용하여 다수의 가상 결함 영상을 생성하기 위한 수단이다.

예를 들어, 도 4에 도시된 바와 같이 결함 영상이 입력되었다고 가정하기로 한다. 결함 영상 생성부(113)는 DCGAN을 이용하여 다수의 가상 결함 영상을 생성할 수 있다. 여기서, DCGAN은 은닉 변수(latent variable)로부터 무작위 영상을 생성할 수 있다. DCGAN의 결과는 64 x 64로 한정되어 있기 때문에, 더 높은 해상도를 가지는 결함 영상을 만들기 위해 초해상화(super-resolution) 기능을 수행 할 수 있는 인공 신경망인 CycleGAN을 이용하여 초해상화 결함 영상을 생성할 수 있다. CycleGAN은 unpaired image-to-image translation을 수행하는 인공신경망으로써, 한 쪽 도메인을 저해상도 영상, 다른 쪽 도메인을 고해상도 영상으로 학습하게 되면 초해상화(super-resolution) 기능을 수행하는 인공신경망을 얻을 수 있다(도 5 참조).

즉, 결함 영상 생성부(113)는 DCGAN과 CycleGAN을 이용하여 입력된 저해상도의 결함 영상을 고품질의 고해상도 결함 영상으로 변환한 후 무작위 영상 변환 과정을 통해 다수의 가상 결함 영상을 생성할 수 있다. 물론, 가상 결함 영상을 생성하는 한 알고리즘은 DCGAN 및 CycleGAN으로 한정되지는 않는다.

도 4에서는 입력 영상(결함 영상)에서의 결함 위치와 생성된 가상 결함 영상에서의 결함 위치가 동일하거나 유사하였다. 그러나, 상기 가상 결함 영상에서의 결함 위치가 상기 입력 영상의 결함 위치와 다를 수 있다(도 9 참조). 또한, 상기 가상 결함 영상에서의 결함의 크기 또는 형태가 상기 입력 영상에서의 결함의 크기 또는 형태와 다를 수도 있다.

예를 들어, 반도체 공정 중 증착 공정에서 기판의 에지 영역으로 오염 물질을 묻을 가능성이 있다고 가정하면, 상기 결함 영상 생성부는 기판의 일변의 에지 영역 중앙에 오염 물질이 묻은 결함을 가지는 입력 영상을 이용하여 다른 변들의 에지 영역 중앙 또는 중앙이 아닌 에지 측면 등에 오염 물질이 묻은 결함을 가지는 다양한 가상 결함 영상들을 생성할 수 있다. 이 경우, 상기 오염 물질이 공정 중 에지의 이곳 저곳에 묻을 수 있다는 전제가 미리 설정되어 있을 수 있다.

다른 예로, 공정 중 기판에 가해지는 충격 및 이로 인한 크랙의 발생 크기 또는 범위가 미리 설정되어 있다면, 상기 결함 영상 생성부는 크랙을 가지는 기판에 대한 입력 영상으로부터 크랙의 깊이, 길이 또는 위치가 달라지는 다수의 결함 영상들을 생성할 수 있다.

즉, 본 발명의 결함 영상 생성부는 입력 영상의 결함과 동일한 위치, 형태 또는 크기를 가지는 가상 결함 영상들을 생성할 수 있을 뿐만 아니라 입력 영상의 결함과 다른 위치, 형태 또는 크기를 가지는 가상 결함 영상들을 생성할 수도 있다.

또한, 상기 결함 영상 생성부는 결함이 오염 물질인 경우 입력 영상의 오염 물질과 다른 오염 물질을 가지는 결함 영상을 생성할 수도 있다. 이 경우, 오염 물질이 달라짐에 따라 오염 물질이 기판에 묻는 형태 또는 사이즈 등도 달라질 수 있다.

다시 정리하면, 학습 데이터 생성부(110)는 소수의 결함 영상을 이용하여 모델의 학습을 위한 다수의 가상 학습 데이터 셋을 생성할 수 있다. 또한, 다수의 가상 학습 데이터 셋은 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나일 수 있다.

이와 같이, 학습 데이터 생성부(110)에 의해 학습 데이터 셋이 생성되면, 이를 이용하여 모델을 학습할 수 있다.

학습부(115)는 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 영상 생성 모델(120)을 학습하기 위한 수단이다.

학습부(115)는 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 모델을 학습함으로써 영상 생성 모델(120)은 결함 영상을 이용하여 양품 영상을 생성하도록 학습될 수 있다.

영상 생성 모델(120)은 학습부(115)에 의해 학습 데이터 셋(다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나)을 이용하여 학습된 이후 결함 검출 과정에서 입력 영상에 대응하는 비교 영상(양품 영상 또는 결함 영상)을 생성할 수 있다.

예를 들어, 영상 생성 모델(120)은 다수의 가상 양품 영상 및 가상 결함 영상을 이용하여 학습되어 있으므로, 결함 영상이 입력되는 경우 이에 대응하는 양품 영상을 생성할 수 있다.

결함 검출부(125)는 입력 영상과 비교 영상을 이용하여 결함 여부를 검출하기 위한 수단이다.

예를 들어, 입력 영상이 결함 영상인 경우, 비교 영상은 결함 영상에 대응하는 가상 양품 영상일 수 있다. 따라서, 결함 검출부(125)는 입력 영상과 비교 영상의 차영상을 도출하여 결함 영역을 검출할 수 있다.

결함 영역 검출 과정에 대해 도 6을 참조하여 보다 상세히 설명하기로 한다.

예를 들어, 입력 영상이 결함 영상(610)이라고 가정하면, 학습된 영상 생성 모델(120)을 통해 도 6의 620과 같이 가상 양품 영상이 생성될 수 있다. 이에 따라, 결함 검출부(125)는 610의 결함 영상과 620의 가상 양품 영상의 차영상을 도출한 후 히스테레시스 임계값(Hysteresis threshold) 및 모폴로지 연산(morphology operation)을 통해 결함 영역을 검출할 수 있다.

메모리(130)는 본 발명의 일 실시예에 따른 결함 검출 방법을 수행하기 위해 필요한 명령어들(프로그램 코드들)을 저장하기 위한 수단이다.

프로세서(135)는 본 발명의 일 실시예에 따른 결함 검출 시스템(100)의 내부 구성 요소들(예를 들어, 학습 데이터 생성부(110), 학습부(115), 영상 생성 모델(120), 결함 검출부(125), 메모리(130) 등)을 제어하기 위한 수단이다.

또한, 결함 검출부(125)에 의해 검출된 결함 영상에 대한 영상 또는 영상 생성 모델(120)에 의해 생성되는 가상 양품 영상 및 가상 결함 영상 중 적어도 하나는 영상 생성 모델(120)의 학습을 위해 다시 이용될 수 있다.

도 7은 본 발명의 일 실시예에 따른 모델의 학습 과정을 나타낸 순서도이다.

단계 710에서 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 생성한다.

일 실시예에 따르면, 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 양품 영상을 생성할 수 있다.

다른 예를 들어, 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 결함 영상을 생성할 수 있다.

또 다른 예를 들어, 결함 검출 시스템(100)은 소수의 양품 영상을 이용하여 다수의 양품 영상을 생성할 수 있다.

또 다른 예를 들어, 결함 검출 시스템(100)은 소수의 결함 영상을 이용하여 다수의 가상 양품 영상과 가상 결함 영상을 모두 생성할 수도 있다.

이와 같이, 결함 검출 시스템(100)은 소수의 입력 영상을 이용하여 영상 생성 모델(120)의 학습을 위한 학습 데이터 셋을 생성할 수 있다. 이에 대해서는 도 1 내지 도 4를 참조하여 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

단계 715에서 결함 검출 시스템(100)은 다수의 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 영상 생성 모델(120)을 학습한다.

영상 생성 모델(120)은 인공지능을 이용하는 영상 생성 모델로, 입력 영상에 대응하는 비교 영상을 생성할 수 있다.

예를 들어, 입력 영상이 결함 영상인 경우, 영상 생성 모델(120)은 결함 영상에 대응하는 양품 영상을 생성할 수 있다.

이를 위해, 영상 생성 모델(120)은 가상 결함 영상과 가상 양품 영상으로 구성된 학습 데이터 셋을 이용하여 사전 학습될 수 있다. 인공지능 모델의 학습 과정은 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.

일반적으로 인공지능 모델의 경우 모델 학습을 위한 충분한 학습 데이터 셋을 구하기 어려운 문제점이 있다. 이로 인해, 실제 모델에 충분한 학습이 이루어지지 않아 적용에 많은 어려움이 따른다.

이로 인해, 본 발명의 일 실시예에서는 소수의 결함 영상을 이용하여 모델 학습에 필요한 다수의 가상 양품 영상과 가상 결함 영상을 각각 생성하고, 이를 이용하여 모델을 학습할 수 있다.

많은 학습 데이터 셋을 이용한 모델 학습을 통해 모델의 정확도를 더욱 높일 수 있는 이점이 있다.

이와 같이, 학습이 완료된 모델을 이용하여 실제 결함을 검출하는 방법에 대해서는 도 8을 참조하여 설명하기로 한다.

도 8은 본 발명의 일 실시예에 따른 결함 검출 방법을 나타낸 순서도이다. 이하에서는 도 8에서 설명한 바와 같이, 영상 생성 모델(120)이 학습 데이터 셋을 이용하여 학습되어 있는 것을 가정하여 이후의 동작에 대해 설명하기로 한다.

단계 810에서 결함 검출 시스템(100)은 입력 영상을 획득한다.

단계 815에서 결함 검출 시스템(100)은 학습된 영상 생성 모델(120)에 입력 영상을 적용하여 비교 영상을 생성한다.

예를 들어, 입력 영상이 결함 영상인 경우, 비교 영상은 결함 영상에서 결함 영역이 제거된 양품 영상일 수 있다.

학습된 영상 생성 모델(120)에 입력 영상을 적용하는 경우, 학습된 영상 생성 모델(120)은 입력 영상인 결함 영상에서 결함 영역이 제거된 가상 양품 영상을 비교 영상으로서 생성하여 출력할 수 있다.

단계 820에서 결함 검출 시스템(100)은 입력 영상과 비교 영상의 차영상을 도출하고, 차영상을 이용하여 결함 영역을 검출한다.

예를 들어, 결함 검출 시스템(100)은 비교 영상으로 결함 영상을 설정할 수도 있으며, 양품 영상을 설정할 수도 있으며 양품 영상과 결함 영상을 모두 설정할 수도 있다.

결함 검출 시스템(100)은 입력 영상과 비교 영상으로 설정된 결함 영상 사이의 차영상을 도출한 후 결함 여부를 결정할 수도 있다.

다른 예를 들면, 결함 검출 시스템(100)은 입력 영상과 비교 영상으로 설정된 양품 영상 사이의 차영상을 도출한 후 결함 영역을 검출할 수도 있다.

물론, 구현 방법에 따라 결함 검출 시스템(100)은 비교 영상으로 결함 영상과 양품 영상을 모두 설정할 수도 있으며, 입력 영상과의 비교를 통해 결함 여부를 결정할 수도 있다.

또한, 결함 검출 시스템(100)은 비교 영상을 도 6에서 설명한 모델 학습에 이용할 수도 있다.

상술한 바와 같이, 본 발명의 일 실시예에 따르면, 소수의 입력 영상(결함 영상, 양품 영상)을 이용하여 다수의 가상 학습 데이터 셋을 생성하고, 이를 이용하여 모델을 학습하여 정확도를 높인 후 결함 검사에 이용함으로써 결함 검출 성능을 높일 수 있는 이점이 있다.

본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 결함 검출 시스템
110: 학습 데이터 생성부
115: 학습부
120: 영상 생성 모델
125: 결함 검출부
130: 메모리
135: 프로세서

Claims (3)

1. 결함 영상을 이용하여 다수의 가상 양품 영상 및 가상 결함 영상을 각각 생성하는 학습 데이터 생성부; 및
   상기 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 이용하여 결함 검출을 위한 모델을 학습시키는 학습부를 포함하되,
   상기 학습 데이터 생성부는,
   상기 결함 영상에서 결함 영역을 제거한 후 패치 매치 기법을 통하여 가상 양품 영상을 생성하고, 양품 영상의 해상도를 기준 해상도 이상인 고해상도로 높인 후 잘라서 다수의 가상 양품 영상을 생성하는 양품 영상 생성부; 및
   상기 결함 영상에서 결함 영역을 변형하여 다수의 가상 결함 영상을 생성하거나 상기 결함 영상의 해상도를 기준 해상도 이상인 고해상도로 변환하여 다수의 가상 결함 영상을 생성하는 결함 영상 생성부를 포함하되,
   상기 가상 결함 영상의 결함의 위치, 크기 또는 형태 중 적어도 하나는 상기 결함 영상의 결함의 위치, 크기 또는 형태와 다른 것을 특징으로 하는 결함 검출 시스템.
   
2. 제1항에 있어서,
   상기 생성된 가상 양품 영상 및 가상 결함 영상 중 적어도 하나를 학습시켜 모델을 생성하는 학습부; 및
   상기 생성된 모델을 이용하여 입력 영상의 결함을 검출하는 결함 검출부를 더 포함하되,
   상기 결함 검출부는 상기 모델을 이용하여 상기 입력 영상으로부터 결함이 제거된 비교 영상을 생성하고, 상기 생성된 비교 영상과 상기 입력 영상을 비교하여 결함을 검출하는 것을 특징으로 하는 결함 검출 시스템.
   
3. 제2 항에 있어서,
   상기 결함 검출부는,
   상기 입력 영상과 상기 비교 영상의 차영상을 도출하며, 상기 차영상을 이용하여 히스테레시스 임계값(Hysteresis threshold) 및 모폴로지 연산(morphology operation)을 통해 결함 영역을 검출하는 것을 특징으로 하는 결함 검출 시스템.
   

Images