KR102154393B1

KR102154393B1 - 기계 학습 기반의 자동 결함 분류 방법

Info

Publication number: KR102154393B1
Application number: KR1020180070845A
Authority: KR
Inventors: 안민정; 이홍철; 이민영; 김명소; 변성준; 염진섭; 박남재; 박초롱
Original assignee: 에임시스템 주식회사; 고려대학교 산학협력단
Priority date: 2018-06-20
Filing date: 2018-06-20
Publication date: 2020-09-09
Also published as: CN110619343B; CN110619343A; KR20190143192A

Abstract

본 발명에 따른 기계 학습 기반의 자동 결함 분류 방법은, 결함 유형이 알려진 샘플 이미지들을 준비하는 단계; 상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 소정의 전처리 과정을 통해 서로 다른 제1 내지 제N(여기서 N은 2 이상의 자연수) 이미지를 획득하고, 상기 제1 내지 제N 이미지 각각으로부터 데이터 증강(data augmentation)을 통해 제1 내지 제N 이미지 세트를 획득하는 단계; 상기 샘플 이미지들에 대하여 획득된 제1 내지 제N 이미지 세트 각각에 대하여, 제n(n=1, ..., N) 이미지 세트를 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 제n 결함 분류 모델을 생성함으로써, 제1 내지 제N 결함 분류 모델을 생성하는 단계; 및 대상 이미지를 입력받아, 상기 제1 내지 제N 결함 분류 모델을 이용하여 상기 대상 이미지의 결함 유형을 분류하는 단계를 포함한다.

Description

기계 학습 기반의 자동 결함 분류 방법{Automated defect classification method based on machine learning}

본 발명은 기계 학습 기반의 자동 결함 분류 방법에 관한 것으로, 보다 상세하게는 결함 유형이 알려진 샘플 이미지들을 가지고 기계 학습을 수행하여 결함 분류 모델을 생성하고, 결함 분류 모델을 이용하여 대상 이미지로부터 결함 유형을 분류하는 자동 결함 분류 방법에 관한 것이다.

디스플레이 패널, PCB 등과 같은 제품의 이미지로부터 기계 학습을 이용하여 결함을 분류하는 기술은 Smart Factory에 필수적인 기술이다. 제품의 결함을 실시간으로 분석한 후 분석된 결함 종류에 따라서 생산 시스템에 피드백 함으로써 불량 원인을 제거할 수 있어서 결과적으로 연속 공정에서의 대량 불량을 획기적으로 감소시킬 수 있다. 또한 조업조건에 따른 불량 패턴을 분석함으로써 공정 최적화를 할 수 있다.

최근에, CNN(Convolutional Neural Network)과 같은 딥러닝 기법을 이용하여 제품 결함을 분류하기 위한 방법들이 연구되고 있다. 딥러닝 기법에서는 충분한 양의 학습 데이터가 있는 경우 학습 효율 및 분류의 정확도가 증가하지만, 학습 데이터의 양이 적을 경우 학습 효율 및 분류 성능이 떨어지는 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는 적은 양의 학습 데이터로도 학습 효율 및 분류 성능을 향상시킬 수 있는 기계 학습 기반의 자동 결함 분류 방법을 제공하는 데 있다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 기계 학습 기반의 자동 결함 분류 방법은, 결함 유형이 알려진 샘플 이미지들을 준비하는 단계; 상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 소정의 전처리 과정을 통해 서로 다른 제1 내지 제N(여기서 N은 2 이상의 자연수) 이미지를 획득하고, 상기 제1 내지 제N 이미지 각각으로부터 데이터 증강(data augmentation)을 통해 제1 내지 제N 이미지 세트를 획득하는 단계; 상기 샘플 이미지들에 대하여 획득된 제1 내지 제N 이미지 세트 각각에 대하여, 제n(n=1, ..., N) 이미지 세트를 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 제n 결함 분류 모델을 생성함으로써, 제1 내지 제N 결함 분류 모델을 생성하는 단계; 및 대상 이미지를 입력받아, 상기 제1 내지 제N 결함 분류 모델을 이용하여 상기 대상 이미지의 결함 유형을 분류하는 단계를 포함한다.

상기 제1 내지 제N 이미지는, 상기 샘플 이미지, 상기 샘플 이미지를 그레이 스케일 처리하여 획득된 그레이 스케일 이미지, 상기 그레이 스케일 이미지로부터 반복 패턴을 제거하는 과정을 통해 블롭(blob) 영역과 블롭 이외의 영역이 구분된 블롭 이미지, 상기 샘플 이미지에서 상기 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 원본 크롭 이미지, 상기 그레이 스케일 이미지에서 상기 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 그레이 스케일 크롭 이미지, 상기 블롭 이미지에서 상기 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 블롭 크롭 이미지 중 적어도 둘 이상을 포함할 수 있다.

상기 블롭 이미지는, 블롭 영역과 블롭 이외의 영역이 이진(binary)으로 구분된 이진 이미지, 블롭 이외의 영역에 반복 패턴의 윤곽이 남아 있는 MAP 이미지, 블롭 영역을 둘 이상의 픽셀값으로 표현한 MAP2 이미지 중 적어도 하나를 포함할 수 있다.

상기 데이터 증강은, 이미지의 회전, 확대, 좌우반전, 상하반전, 가로이동, 세로이동 및 그 조합 중 적어도 둘 이상을 포함할 수 있다.

상기 기계 학습 기반의 자동 결함 분류 방법은, 상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 획득된 제1 내지 제N 이미지를 각각 상기 제1 내지 제N 결함 분류 모델에 입력하여, 상기 제1 내지 제N 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및 상기 샘플 이미지들에 대하여 획득된 상기 제1 내지 제N 결함 분류 모델마다의 각 결함 유형의 확률값을 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 앙상블 모델을 생성하는 단계를 더 포함하고, 상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 앙상블 모델을 더 이용하여 상기 대상 이미지의 결함 유형을 분류할 수 있다.

상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 대상 이미지로부터 소정의 전처리 과정을 통해 제1 내지 제N 이미지를 획득하는 단계; 상기 대상 이미지로부터 획득된 상기 제1 내지 제N 이미지를 각각 상기 제1 내지 제N 결함 분류 모델에 입력하여, 상기 제1 내지 제N 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및 상기 제1 내지 제N 결함 분류 모델마다 획득된 각 결함 유형의 확률값을 상기 앙상블 모델에 입력하여, 상기 앙상블 모델을 통해 상기 대상 이미지의 결함 유형을 결정하는 단계를 포함할 수 있다.

상기 기계 학습 기반의 자동 결함 분류 방법은, 상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 적어도 둘 이상의 특징값들을 포함하는 특징값 세트를 획득하는 단계; 및 상기 샘플 이미지들에 대하여 획득된 특징값 세트를 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 제(N+1) 결함 분류 모델을 생성하는 단계를 더 포함하고, 상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 제(N+1) 결함 분류 모델을 더 이용하여 상기 대상 이미지의 결함 유형을 분류할 수 있다.

상기 특징값들은, 상기 샘플 이미지로부터 추출된 블롭(blob)의 개수, 형상, 크기 또는 픽셀값에 관련된 값 및 그 조합 중 적어도 둘 이상을 포함할 수 있다.

상기 기계 학습 기반의 자동 결함 분류 방법은, 상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 획득된 제1 내지 제N 이미지 및 특징값 세트를 각각 상기 제1 내지 제N 결함 분류 모델 및 상기 제(N+1) 결함 분류 모델에 입력하여, 상기 제1 내지 제(N+1) 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및 상기 샘플 이미지들에 대하여 획득된 상기 제1 내지 제(N+1) 결함 분류 모델마다의 각 결함 유형의 확률값을 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 앙상블 모델을 생성하는 단계를 더 포함하고, 상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 앙상블 모델을 더 이용하여 상기 대상 이미지의 결함 유형을 분류할 수 있다.

상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 대상 이미지로부터 소정의 전처리 과정을 통해 제1 내지 제N 이미지 및 특징값 세트를 획득하는 단계; 상기 대상 이미지로부터 획득된 상기 제1 내지 제N 이미지 및 특징값 세트를 각각 상기 제1 내지 제N 결함 분류 모델 및 상기 제(N+1) 결함 분류 모델에 입력하여, 상기 제1 내지 제(N+1) 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및 상기 제1 내지 제(N+1) 결함 분류 모델마다 획득된 각 결함 유형의 확률값을 상기 앙상블 모델에 입력하여, 상기 앙상블 모델을 통해 상기 대상 이미지의 결함 유형을 결정하는 단계를 포함할 수 있다.

상기 기술적 과제를 해결하기 위하여 상기된 본 발명에 따른 기계 학습 기반 자동 결함 분류 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

본 발명에 의하면, 샘플 이미지로부터 소정의 전처리 과정을 통해 다양한 이미지를 획득하여 각 이미지마다 개별 결함 분류 모델을 생성함으로써, 적은 양의 샘플 이미지로도 학습 효율 및 분류 성능을 향상시킬 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 기계 학습 기반의 자동 결함 분류 방법에서, 결함 유형이 알려진 샘플 이미지들을 가지고 기계 학습을 통해 개별 결함 분류 모델을 생성하는 과정을 나타내는 흐름도이다.
도 2a는 결함이 포함된 샘플 이미지의 일 예를 보여준다.
도 2b는 도 2a의 샘플 이미지로부터 획득된 이진 이미지의 일 예를 보여준다.
도 2c는 도 2a의 샘플 이미지로부터 획득된 MAP 이미지의 일 예를 보여준다.
도 2d는 도 2a의 샘플 이미지로부터 획득된 MAP2 이미지의 일 예를 보여준다.
도 2e는 도 2a의 샘플 이미지로부터 획득된 그레이 스케일 크롭 이미지의 일 예를 보여준다.
도 3은 본 발명의 일 실시예에 따른 기계 학습 기반의 자동 결함 분류 방법에서, 도 1의 과정을 통해 생성된 개별 결함 분류 모델을 통해 획득되는 각 결함 유형의 확률값을 가지고 기계 학습을 통해 앙상블 모델을 생성하는 과정을 나타내는 흐름도이다.
도 4는 도 1의 과정을 통해 생성된 개별 결함 분류 모델과 도 3의 과정을 통해 생성된 앙상블 모델의 구조의 예를 보여준다.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 기계 학습 기반의 자동 결함 분류 방법에서, 결함 유형이 알려진 샘플 이미지들을 가지고 기계 학습을 통해 개별 결함 분류 모델을 생성하는 과정을 나타내는 흐름도이다. 본 발명의 실시예에서 개별 결함 분류 모델을 위한 기계 학습 알고리즘으로는 예컨대 CNN(Convolutional Neural Network)이 사용될 수 있다.

110단계에서, 결함 유형이 알려진 샘플 이미지들을 준비한다. 샘플 이미지는 예컨대 디스플레이 패널, PCB 등과 같은 제품을 촬영한 이미지로서, 결함 부분이 포함되어 있고 해당 결함의 결함 유형이 분류되어 있는 이미지이다. 도 2a는 결함이 포함된 원본 이미지의 일 예를 보여준다. 일반적으로 딥러닝 기법에서는 이러한 샘플 이미지가 충분한 양이 확보되어야 학습 효율 및 분류의 정확도가 증가하나, 본 발명의 실시예에서는 적은 양의 샘플 이미지로도 학습 효율 및 분류 성능을 향상시키고자 한다.

샘플 이미지들이 준비되면, 샘플 이미지들 각각에 대하여 다음과 같은 120단계 내지 140단계를 수행한다. 실시예에 따라서는 개별 결함 분류 모델이 생성된 뒤 샘플 이미지가 추가될 수도 있는데, 이 경우 추가된 샘플 이미지에 대하여 다음과 같은 120단계 내지 140단계를 수행한다.

120단계에서, 샘플 이미지로부터, 소정의 전처리 과정들을 통해 서로 다른 제1 내지 제N(여기서 N은 2 이상의 자연수) 이미지를 획득한다. 이하에서는 샘플 이미지를 편의상 '원본 이미지'라 칭하기로 한다. 제1 내지 제N 이미지에는 원본 이미지와 원본 이미지를 전처리하여 얻어진 복수 개의 전처리 이미지들이 포함될 수 있다.

상기 전처리 이미지들에는 예컨대, 원본 이미지를 그레이 스케일 처리하여 획득된 그레이 스케일 이미지, 그레이 스케일 이미지로부터 반복 패턴을 제거하는 과정을 통해 결함 부분에 해당하는 블롭(blob) 영역과 블롭 이외의 영역이 구분된 블롭 이미지, 원본 이미지에서 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 원본 크롭 이미지, 그레이 스케일 이미지에서 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 그레이 스케일 크롭 이미지, 블롭 이미지에서 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 블롭 크롭 이미지 등이 포함될 수 있다.

또한 상기 블롭 이미지에는 예컨대, 블롭 영역과 블롭 이외의 영역이 이진(binary)으로 구분된 이진 이미지, 블롭 이외의 영역에 반복 패턴의 윤곽이 남아 있는 MAP 이미지, 블롭 영역을 소정의 임계값을 기준으로 둘 이상의 픽셀값으로 표현한 MAP2 이미지 등이 포함될 수 있다.

이진 이미지, MAP 이미지, MAP2 이미지에서 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 이미지는 각각 이진 크롭 이미지, MAP 크롭 이미지, MAP2 크롭 이미지라 칭하기로 한다.

위에 열거된 그레이 스케일 이미지, 이진 이미지, MAP 이미지, MAP2 이미지, 이진 크롭 이미지, 원본 크롭 이미지, 그레이 스케일 크롭 이미지, MAP 크롭 이미지, MAP2 크롭 이미지의 구체적인 생성 방법의 예를 설명하면 다음과 같다.

그레이 스케일 이미지 : 원본 이미지의 픽셀 정보는 R, G, B 채널의 픽셀값을 포함한다. 그레이 스케일 이미지의 픽셀값은 원본 이미지의 R, G, B 채널의 픽셀값의 가중치 합으로 나타낼 수 있다. 필요에 따라서, 이미지의 픽셀값들이 편향된 경우 히스토그램 평탄화를 통해 픽셀값들을 0~255 사이로 고르게 분포시켜 명암 대비를 개선할 수도 있다.

그레이 스케일 이미지로부터 블롭(blob) 영역과 블롭 이외의 영역이 구분되는 이진 이미지, MAP 이미지, MAP2 이미지를 생성하기 위해 다음과 같이 반복 패턴을 제거하는 과정을 수행한다. 본 발명의 실시예에서는 이미지 내에서 블롭 이외의 부분에 반복 패턴이 나타나는 것으로 가정한다. 예컨대 도 2a를 참조하면, 가운데 근처에 있는 블롭 부분을 제외하면 반복 패턴이 존재함을 확인할 수 있다.

먼저, 이미지(그레이 스케일 이미지)에서 반복 패턴의 주기를 찾는다. 이를 위하여, 패턴의 전체가 충분히 포함될 수 있는 영역을 잘라내고(예컨대 이미지의 좌상 끝단으로부터 가로 1/10, 세로 1/4), 잘라낸 영역을 이미지에서 가로, 세로로 이동시켜 가면서 잘라낸 영영과 가장 유사한 부분이 나타난 경우의 해당 가로, 세로 좌표를 반복 패턴의 주기로 결정한다.

그 다음, 이미지의 임의의 픽셀에서 한 주기만큼 이동한 픽셀을 M 픽셀로 정의하고, 이미지와 동일한 크기로 모든 픽셀값이 128인 그레이 이미지를 생성한다. 그리고 이미지의 각 픽셀(pixel)마다 abs(pixel-M(pixel)) 값을 계산하고, 그레이 이미지의 대응 픽셀마다 픽셀값 128에서 abs(pixel-M(pixel)) 값을 뺀 이미지를 생성하여, 이것을 기준 이미지로 활용한다. abs(pixel-M(pixel)) 값은 반복 패턴일 경우 0 또는 비교적 작은 값을 가지고(픽셀과 M 픽셀의 픽셀값은 동일하거나 유사하므로), 반복 패턴이 아닐 경우(즉, 블롭 부분인 경우) 비교적 큰 값을 가지게 된다. 따라서 상기 기준 이미지에서 블롭 부분의 픽셀값은 비교적 작은 값을, 블롭 이외의 부분의 픽셀값은 128에 가까운 비교적 큰 값을 가지게 된다.

이러한 기준 이미지를 가지고 이진 이미지, MAP 이미지, MAP2 이미지를 생성할 수 있다.

이진 이미지 : 기준 이미지의 각 픽셀을 소정의 임계값(예컨대 70)을 기준으로 임계값보다 작을 경우(즉, 블롭 부분에 해당하는 경우) 흰색(픽셀값 0)으로, 임계값보다 클 경우 검정색(픽셀값 255)으로 변환한다. 이 과정을 통해 블롭 영역은 흰색으로, 블롭 이외의 영역은 검정색으로 나타나는 이진 이미지가 얻어진다. 도 2b는 도 2a의 샘플 이미지로부터 획득된 이진 이미지의 일 예를 보여준다.

MAP 이미지 : 기준 이미지의 각 픽셀을 소정의 임계값(예컨대 70)을 기준으로 임계값보다 작을 경우(즉, 블롭 부분에 해당하는 경우) 검정색(픽셀값 255)으로, 임계값보다 클 경우 (128-'기준 이미지의 픽셀값')으로 변환한다. (128-'기준 이미지의 픽셀값')은 반복 패턴의 윤곽을 표현하게 된다. 따라서 이 과정을 통해 블롭 영역은 검정색으로, 블롭 이외의 영역에는 반복 패턴의 윤곽이 남아 있는 MAP 이미지가 얻어진다. 도 2c는 도 2a의 샘플 이미지로부터 획득된 MAP 이미지의 일 예를 보여준다.

MAP2 이미지 : 기준 이미지의 각 픽셀을 몇 개의 임계값(예컨대, 10, 30, 50, 70)을 기준으로 구간마다 서로 다른 픽셀값으로 변환한다. 예컨대 픽셀값이 10 이하일 경우 255(검정색)로, 10~30일 경우 230으로, 30~50일 경우 210으로, 50~70일 경우 190으로, 70보다 클 경우 128(회색)으로 변환한다. 이 과정을 통해, 블롭 이외의 영역은 회색으로, 블롭 영역은 검정색 또는 진한 회색으로 나타나는 MAP2 이미지가 얻어진다. 도 2d는 도 2a의 샘플 이미지로부터 획득된 MAP2 이미지의 일 예를 보여준다.

이진 크롭 이미지, 원본 크롭 이미지, 그레이 스케일 크롭 이미지, MAP 크롭 이미지, MAP2 크롭 이미지는 각각 이진 이미지, 원본 이미지, 그레이 스케일 이미지, MAP 이미지, MAP2 이미지에서 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 이미지이다. 본 발명의 실시예에서는, 이진 이미지로부터 크롭 영역을 결정하고, 동일한 크롭 영역을 원본 이미지, 그레이 스케일 이미지, MAP 이미지, MAP2 이미지에 적용하여 각각의 크롭 이미지를 획득할 수 있다.

크롭 영역은 이진 이미지에서 블롭들을 추출하고, 추출된 블롭들 중 크기가 가장 큰 블롭의 중심 좌표를 추출하여, 이 중심 좌표를 기준으로 상하좌우의 일정 영역을 크롭 영역으로 결정할 수 있다. 예컨대 중심 좌표를 기준으로 상하좌우 256픽셀을 크롭 영역으로 하면 512*512 크기의 크롭 이미지가 생성된다. 도 2e는 그레이 스케일 이미지에서 블롭 영역의 일부가 포함되도록 일정 영역을 크롭하여 획득한 그레이 스케일 크롭 이미지의 일 예를 보여준다.

이진 이미지에서 블롭들은 다음과 같이 추출할 수 있다. 1) 이진 이미지에서 블롭 영역의 한 픽셀, 즉 픽셀값이 0인 임의의 한 픽셀을 지정한다. 2) 지정된 픽셀을 블롭 시드(seed)로 삼고, 주변 픽셀의 픽셀값이 0이면 주변 픽셀은 새로운 블롭 시드로, 픽셀값이 255이면 블롭 컨투어(contour)로 할당한다. 3) 2)의 과정을 모든 블롭 시드가 블롭 컨투어 또는 이미지 경계면 내에 존재할 때까지 반복한다. 4) 할당된 블롭 시드들을 하나의 블롭으로 추출하고, 이진 이미지 내에 아직 블롭 시드로 할당되지 않은 새로운 픽셀에 대해 1)~4)의 과정을 반복한다. 5) 추출된 블롭들 중 크기가 비교적 작은(예컨대 5 픽셀 미만의) 블롭들은 노이즈로 간주하고 제외할 수 있다.

한편, 이진 이미지에서 위와 같이 추출된 블롭들을 가지고 샘플 이미지의 특징값들을 획득하여 학습 데이터로 활용할 수 있다. 따라서 다시 도 1을 참조하면, 130단계에서, 이진 이미지에서 추출된 블롭들을 이용하여 적어도 둘 이상의 특징값들을 포함하는 특징값 세트를 획득한다.

상기 특징값들에는, 블롭의 개수, 형상, 크기, 또는 픽셀값에 관련된 값 및 그 조합 등이 포함될 수 있다. 특징값들의 구체적인 예는 다음과 같다.

Blob_Area : 추출된 블롭들의 넓이

Blob_Brightness : 블롭 영역의 평균 픽셀값(그레이 이미지의 픽셀값)

Blobs_count : 추출된 블롭의 개수

Convex_hull : 블롭을 둘러싸는 최소 넓이의 볼록다각형

Maxblob_Angle : 가장 큰 블롭을 둘러싸는 가장 작은 직사각형의 기울어진 정도

Maxblob_Perimeter : 가장 큰 블롭의 둘레

Maxblob_Diameter : 가장 큰 블롭의 직경

Maxblob_Length_1st: 가장 큰 블롭을 둘러싸는 가장 작은 직사각형의 긴 변의 길이

Maxblob_Length_2nd: 가장 큰 블롭을 둘러싸는 가장 작은 직사각형의 짧은 변의 길이

Maxblob_Roughness : 가장 큰 블롭의 둘레가 거친 정도 (blob 둘레/hull 둘레)

Maxblob_Solidity : 가장 큰 블롭이 볼록한 정도 (blob 넓이/hull 넓이)

위 특징값들의 평균, 표준편차, 최소값, 최대값, hull feature 등

다음으로 140단계에서, 상기 120단계를 통해 얻어진 제1 내지 제N 이미지 각각으로부터, 데이터 증강(data augmentation)을 통해, 제1 내지 제N 이미지 세트를 획득한다. 여기서 데이터 증강은, 이미지의 회전, 확대, 좌우반전, 상하반전, 가로이동, 세로이동 및 이들의 조합 등을 포함할 수 있다. 샘플 이미지로부터 얻어진 제n(n=1, ..., N) 이미지에 대하여, 데이터 증강을 통해 제n 이미지를 포함하여 수개 내지 수십개의 이미지들로 이루어지는 제n 이미지 세트가 생성될 수 있다.

예컨대, 원본 이미지, 원본 크롭 이미지, 이진 이미지, 이진 크롭 이미지, 그레이 스케일 이미지, 그레이 스케일 크롭 이미지, MAP 이미지, MAP 크롭 이미지, MAP2 이미지, MAP2 크롭 이미지 각각에 대하여, 데이터 증강을 통해, 원본 이미지 세트, 원본 크롭 이미지 세트, 이진 이미지 세트, 이진 크롭 이미지 세트, 그레이 스케일 이미지 세트, 그레이 스케일 크롭 이미지 세트, MAP 이미지 세트, MAP 크롭 이미지 세트, MAP2 이미지 세트, MAP2 크롭 이미지 세트가 생성될 수 있다.

모든 샘플 이미지들에 대하여 상기 120단계 내지 140단계가 완료되면, 150단계에서, 샘플 이미지들에 대하여 획득된 제1 내지 제N 이미지 세트 각각에 대하여, 제n(n=1, ..., N) 이미지 세트를 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 제n 결함 분류 모델을 생성함으로써, 제1 내지 제N 결함 분류 모델을 생성한다.

예컨대, 원본 이미지 세트로 기계 학습을 수행하여 제1 결함 분류 모델을 생성하고, 원본 크롭 이미지 세트로 기계 학습을 수행하여 제2 결함 분류 모델을 생성하고, 이진 이미지 세트로 기계 학습을 수행하여 제3 결함 분류 모델을 생성하고, 이진 크롭 이미지 세트로 기계 학습을 수행하여 제4 결함 분류 모델을 생성하고, 그레이 스케일 이미지 세트로 기계 학습을 수행하여 제5 결함 분류 모델을 생성하고, 그레이 스케일 크롭 이미지 세트로 기계 학습을 수행하여 제6 결함 분류 모델을 생성하고, MAP 이미지 세트로 기계 학습을 수행하여 제7 결함 분류 모델을 생성하고, MAP 크롭 이미지 세트로 기계 학습을 수행하여 제8 결함 분류 모델을 생성하고, MAP2 이미지 세트로 기계 학습을 수행하여 제9 결함 분류 모델을 생성하고, MAP2 크롭 이미지 세트로 기계 학습을 수행하여 제10 결함 분류 모델을 생성할 수 있다.

160단계에서, 상기 130단계를 통해 샘플 이미지들에 대하여 획득된 특징값 세트를 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 제(N+1) 결함 분류 모델을 생성한다.

예컨대, 특징값 세트로 기계 학습을 수행하여 제11 결함 분류 모델을 생성할 수 있다.

결함 유형을 분류하고자 하는 대상 이미지가 주어지면, 도 1의 과정을 통해 생성된 제1 내지 제(N+1) 결함 분류 모델을 이용하여 대상 이미지의 결함 유형을 분류할 수 있다.

도 3은 본 발명의 일 실시예에 따른 기계 학습 기반의 자동 결함 분류 방법에서, 도 1의 과정을 통해 생성된 개별 결함 분류 모델을 통해 획득되는 각 결함 유형의 확률값을 가지고 기계 학습을 통해 앙상블(ensemble) 모델을 생성하는 과정을 나타내는 흐름도이다. 본 발명의 실시예에서 앙상블 모델을 위한 기계 학습 알고리즘으로는 예컨대 인공신경망(Artificial Neural Network) 분류기 중 하나인 MLP(Multi Layer Perceptron)가 사용될 수 있다.

도 3을 참조하면, 샘플 이미지들 각각에 대하여 다음과 같은 310단계 및 320단계를 수행한다.

310단계에서, 샘플 이미지로부터 전처리 과정을 통해 획득된 제1 내지 제N 이미지를 각각 제1 내지 제N 결함 분류 모델에 입력하여, 제1 내지 제N 결함 분류 모델마다 각 결함 유형의 확률값을 획득한다. 가령 결함 유형이 4가지라면, 제1 내지 제N 결함 분류 모델마다 각각 4개의 확률값이 얻어진다.

그리고 320단계에서, 샘플 이미지로부터 획득된 특징값 세트를 제(N+1) 결함 분류 모델에 입력하여, 제(N+1) 결함 분류 모델에 대한 각 결함 유형의 확률값을 획득한다. 이때도 마찬가지로 가령 결함 유형이 4가지라면, 제(N+1) 결함 분류 모델에 대하여 4개의 확률값이 얻어진다.

모든 샘플 이미지들에 대하여 상기 310단계 및 320단계가 완료되면, 330단계에서, 샘플 이미지들에 대하여 획득된 제1 내지 제(N+1) 결함 분류 모델마다의 각 결함 유형의 확률값을 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 앙상블 모델을 생성한다.

도 4는 도 1의 과정을 통해 생성된 개별 결함 분류 모델과 도 3의 과정을 통해 생성된 앙상블 모델의 구조의 예를 보여준다.

도 4를 참조하면, 샘플 이미지에 대하여 11개의 결함 분류 모델마다 각각 4개의 확률값이 얻어져 총 44개의 확률값이 얻어진다. 전체 샘플 이미지들에 대하여 얻어진 11개의 결함 분류 모델마다의 결함 유형 별 확률값을 학습 데이터로 하여 앙상블 모델이 생성된다.

결함 유형을 분류하고자 하는 대상 이미지가 주어지면, 도 1의 과정을 통해 생성된 제1 내지 제(N+1) 결함 분류 모델과 도 3의 과정을 통해 생성된 앙상블 모델을 이용하여 대상 이미지의 결함 유형을 분류할 수 있다.

도 5는 본 발명의 일 실시예에 따른 기계 학습 기반의 자동 결함 분류 방법에서, 대상 이미지로부터 개별 결함 분류 모델과 앙상블 모델을 이용하여 결함 유형을 분류하는 과정을 나타내는 흐름도이다.

510단계에서, 대상 이미지로부터 샘플 이미지에 대하여 수행했던 것과 동일한 전처리 과정을 통해 서로 다른 제1 내지 제N 이미지를 획득한다.

구체적으로, 대상 이미지로부터 획득되는 제1 내지 제N 이미지는, 원본 이미지, 원본 크롭 이미지, 이진 이미지, 이진 크롭 이미지, 그레이 스케일 이미지, 그레이 스케일 크롭 이미지, MAP 이미지, MAP 크롭 이미지, MAP2 이미지, MAP2 크롭 이미지를 포함할 수 있다.

520단계에서, 대상 이미지로부터 샘플 이미지에 대하여 수행했던 것과 동일한 특징값 추출 과정을 통해 특징값 세트를 획득한다.

530단계에서, 대상 이미지로부터 획득된 제1 내지 제N 이미지 및 특징값 세트를 각각 제1 내지 제N 결함 분류 모델 및 제(N+1) 결함 분류 모델에 입력하여, 제1 내지 제(N+1) 결함 분류 모델마다 각 결함 유형의 확률값을 획득한다.

540단계에서, 제1 내지 제(N+1) 결함 분류 모델마다 획득된 각 결함 유형의 확률값을 앙상블 모델에 입력함으로써, 앙상블 모델을 통해 대상 이미지의 결함 유형을 결정한다.

도 4를 참조하여 대상 이미지의 결함 유형을 분류하는 과정을 설명하면, 대상 이미지에 대하여 11개의 결함 분류 모델마다 각각 4개의 확률값이 얻어져 총 44개의 확률값이 얻어지고, 이 확률값들을 앙상블 모델에 입력하면 대상 이미지의 결함 유형이 결정된다.

본 발명의 실시예에 의하면, 샘플 이미지로부터 소정의 전처리 과정을 통해 다양한 이미지를 획득하여 각 이미지마다 개별 결함 분류 모델을 생성함으로써, 비교적 적은 양의 샘플 이미지로도 학습 효율 및 분류 성능을 향상시킬 수 있다.

또한, 개별 결함 분류 모델마다 획득되는 각 결함 유형의 확률값을 학습 데이터로 하여 앙상블 모델을 생성함으로써, 개별 결함 분류 모델 중 가장 성능이 뛰어난 모델의 성능으로 최소한의 분류 성능을 보장할 수 있다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 집적 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

실시예에서 설명하는 특정 실행들은 일 실시예들로서, 어떠한 방법으로도 실시 예의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

컴퓨터 시스템에 의해 수행되는 기계 학습 기반의 자동 결함 분류 방법으로서,
결함 유형이 알려진 샘플 이미지들을 준비하는 단계;
상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 소정의 전처리 과정을 통해 서로 다른 제1 내지 제N(여기서 N은 2 이상의 자연수) 이미지를 획득하고, 상기 제1 내지 제N 이미지 각각으로부터 데이터 증강(data augmentation)을 통해 제1 내지 제N 이미지 세트를 획득하는 단계;
상기 샘플 이미지들에 대하여 획득된 제1 내지 제N 이미지 세트 각각에 대하여, 제n(n=1, ..., N) 이미지 세트를 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 제n 결함 분류 모델을 생성함으로써, 제1 내지 제N 결함 분류 모델을 생성하는 단계; 및
대상 이미지를 입력받아, 상기 제1 내지 제N 결함 분류 모델을 이용하여 상기 대상 이미지의 결함 유형을 분류하는 단계를 포함하는 자동 결함 분류 방법.
제1항에 있어서,
상기 제1 내지 제N 이미지는, 상기 샘플 이미지, 상기 샘플 이미지를 그레이 스케일 처리하여 획득된 그레이 스케일 이미지, 상기 그레이 스케일 이미지로부터 반복 패턴을 제거하는 과정을 통해 블롭(blob) 영역과 블롭 이외의 영역이 구분된 블롭 이미지, 상기 샘플 이미지에서 상기 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 원본 크롭 이미지, 상기 그레이 스케일 이미지에서 상기 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 그레이 스케일 크롭 이미지, 상기 블롭 이미지에서 상기 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 블롭 크롭 이미지 중 적어도 둘 이상을 포함하는 자동 결함 분류 방법.
제2항에 있어서,
상기 블롭 이미지는, 블롭 영역과 블롭 이외의 영역이 이진(binary)으로 구분된 이진 이미지, 블롭 이외의 영역에 반복 패턴의 윤곽이 남아 있는 MAP 이미지, 블롭 영역을 둘 이상의 픽셀값으로 표현한 MAP2 이미지 중 적어도 하나를 포함하는 자동 결함 분류 방법.
제1항에 있어서,
상기 데이터 증강은, 이미지의 회전, 확대, 좌우반전, 상하반전, 가로이동, 세로이동 및 그 조합 중 적어도 둘 이상을 포함하는 자동 결함 분류 방법.
제1항에 있어서,
상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 획득된 제1 내지 제N 이미지를 각각 상기 제1 내지 제N 결함 분류 모델에 입력하여, 상기 제1 내지 제N 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및
상기 샘플 이미지들에 대하여 획득된 상기 제1 내지 제N 결함 분류 모델마다의 각 결함 유형의 확률값을 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 앙상블 모델을 생성하는 단계를 더 포함하고,
상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 앙상블 모델을 더 이용하여 상기 대상 이미지의 결함 유형을 분류하는 자동 결함 분류 방법.
제5항에 있어서,
상기 대상 이미지의 결함 유형을 분류하는 단계는,
상기 대상 이미지로부터 소정의 전처리 과정을 통해 제1 내지 제N 이미지를 획득하는 단계;
상기 대상 이미지로부터 획득된 상기 제1 내지 제N 이미지를 각각 상기 제1 내지 제N 결함 분류 모델에 입력하여, 상기 제1 내지 제N 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및
상기 제1 내지 제N 결함 분류 모델마다 획득된 각 결함 유형의 확률값을 상기 앙상블 모델에 입력하여, 상기 앙상블 모델을 통해 상기 대상 이미지의 결함 유형을 결정하는 단계를 포함하는 자동 결함 분류 방법.
제1항에 있어서,
상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 적어도 둘 이상의 특징값들을 포함하는 특징값 세트를 획득하는 단계; 및
상기 샘플 이미지들에 대하여 획득된 특징값 세트를 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 제(N+1) 결함 분류 모델을 생성하는 단계를 더 포함하고,
상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 제(N+1) 결함 분류 모델을 더 이용하여 상기 대상 이미지의 결함 유형을 분류하는 자동 결함 분류 방법.
제7항에 있어서,
상기 특징값들은, 상기 샘플 이미지로부터 추출된 블롭(blob)의 개수, 형상, 크기 또는 픽셀값에 관련된 값 및 그 조합 중 적어도 둘 이상을 포함하는 자동 결함 분류 방법.
제7항에 있어서,
상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 획득된 제1 내지 제N 이미지 및 특징값 세트를 각각 상기 제1 내지 제N 결함 분류 모델 및 상기 제(N+1) 결함 분류 모델에 입력하여, 상기 제1 내지 제(N+1) 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및
상기 샘플 이미지들에 대하여 획득된 상기 제1 내지 제(N+1) 결함 분류 모델마다의 각 결함 유형의 확률값을 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 앙상블 모델을 생성하는 단계를 더 포함하고,
상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 앙상블 모델을 더 이용하여 상기 대상 이미지의 결함 유형을 분류하는 자동 결함 분류 방법.
제9항에 있어서,
상기 대상 이미지의 결함 유형을 분류하는 단계는,
상기 대상 이미지로부터 소정의 전처리 과정을 통해 제1 내지 제N 이미지 및 특징값 세트를 획득하는 단계;
상기 대상 이미지로부터 획득된 상기 제1 내지 제N 이미지 및 특징값 세트를 각각 상기 제1 내지 제N 결함 분류 모델 및 상기 제(N+1) 결함 분류 모델에 입력하여, 상기 제1 내지 제(N+1) 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및
상기 제1 내지 제(N+1) 결함 분류 모델마다 획득된 각 결함 유형의 확률값을 상기 앙상블 모델에 입력하여, 상기 앙상블 모델을 통해 상기 대상 이미지의 결함 유형을 결정하는 단계를 포함하는 자동 결함 분류 방법.
제1항 내지 제10항 중 어느 한 항의 기계 학습 기반 자동 결함 분류 방법이 컴퓨터 시스템에 의해 실행되도록 하는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.