KR20230127933A

KR20230127933A - 결함 감지 방법 및 시스템

Info

Publication number: KR20230127933A
Application number: KR1020230025227A
Authority: KR
Inventors: 수후이 쿠; 치센 쳉; 이장환
Original assignee: 삼성디스플레이 주식회사
Priority date: 2022-02-24
Filing date: 2023-02-24
Publication date: 2023-09-01
Also published as: EP4235592A1; JP2023123387A; US20230267599A1; TW202347181A

Abstract

결함 감지 방법 및 시스템에 관한 것으로서, 본 발명의 한 실시예에 따른 방법은, 제1 신경망에 의하여, 제1 영상에 의심 영역(suspicious area)을 식별하는 단계, 제2 신경망에 의하여, 무결(無缺)(defect-free) 기준 영상(reference image) 집합에서 상기 제1 영상에 대응하는 무결 기준 영상을 선택하는 단계, 제3 신경망에 의하여, 상기 선택된 무결 기준 영상 내에서 상기 의심 영역에 대응하는 기준 영역(reference region)을 식별하는 단계, 그리고 제4 신경망에 의하여, 상기 의심 영역과 상기 기준 영역 사이의 유사성(similarity)의 수량(measure)을 판단하는 단계를 포함한다.

Description

결함 감지 방법 및 시스템 {METHOD AND SYSTEM OF DETECTING DEFECT}

본 발명은 결함 감지 방법 및 시스템에 관한 것으로서, 더 상세하게는 결함 감지용 신경망 훈련 방법 및 시스템에 관한 것이다.

본 출원은 2022년 2월 24일에 미국 특허청에 출원한 미국 특허출원번호 제63/313,343호(발명의 명칭: REFERENCE SET BASED DEFECT DETECTION FOR MANUFACTURING DISPLAY EXTREME MINOR DEFECTS DETECTION)를 우선권 주장하며, 여기에 인용함으로써 이 출원의 전체 내용을 본원에 포함한다.

제조 과정에서, 예를 들면, 지도 훈련(supervised training)의 수행을 위한 기명(記名)(labeled) 훈련 집합을 모으는 데 장애물이 될 수 있는, 결함이 드문 경우에, 기계 학습 기반 시스템의 결함 감지가 도전 받고 있다. 또한, 입수 가능한 불량 표본 또는 불량 물품의 영상을 어느 정도까지는 검증을 위해 유보해 두는 것이 훈련에 사용하는 것보다 낫다.

본 발명은 이러한 일반적인 기술 환경과 관계 있다.

본 발명이 해결하고자 하는 과제는 신경망의 결함 감지 성능을 향상시키는 것이다.

본 발명의 한 실시예에 따른 방법은, 제1 신경망에 의하여, 제1 영상에 의심 영역(suspicious area)을 식별하는 단계, 제2 신경망에 의하여, 무결(無缺)(defect-free) 기준 영상(reference image) 집합에서 상기 제1 영상에 대응하는 무결 기준 영상을 선택하는 단계, 제3 신경망에 의하여, 상기 선택된 무결 기준 영상 내에서 상기 의심 영역에 대응하는 기준 영역(reference region)을 식별하는 단계, 그리고 제4 신경망에 의하여, 상기 의심 영역과 상기 기준 영역 사이의 유사성(similarity)의 수량(measure)을 판단하는 단계를 포함한다.

본 발명의 한 실시예에 따르면, 상기 제1 신경망은 학생 신경망(student neural network)과 선생 신경망(teacher neural network)을 포함하는 사제 신경망(student teacher neural network)일 수 있다.

본 발명의 한 실시예에 따른 방법은 상기 선생 신경망을 일반 영상(generic image) 집합과 제1 비용 함수로 훈련시키는 단계를 더 포함하며, 상기 각 일반 영상은 분류(classification)로 기명(記名)되어 있고(labeled), 상기 제1 비용 함수는 영상의 옳은 분류를 보상할 수 있다.

본 발명의 한 실시예에 따른 방법은 상기 학생 신경망을 정상 영상(normal image) 집합과 제2 비용 함수로 훈련시키는 단계를 더 포함하며, 상기 제2 비용 함수는 상기 학생 신경망의 잠재 변수와 이에 대응하는 상기 선생 신경망의 잠재 변수 사이의 유사성을 보상할 수 있다.

본 발명의 한 실시예에 따르면, 상기 의심 영역은, 상기 학생 신경망의 제1 잠재 변수 집합과 이에 대응하는 상기 선생 신경망의 잠재 변수 사이의 차이의 수량이 문턱 값을 초과하는 상기 제1 영상의 영역이고, 상기 제1 잠재 변수 집합과 이에 대응하는 상기 선생 신경망의 잠재 변수는 상기 의심 영역의 내부에 대응할 수 있다.

본 발명의 한 실시예에 따르면, 상기 제2 신경망은 합성곱 신경망(convolutional neural network)을 포함할 수 있다.

본 발명의 한 실시예에 따른 방법은 상기 제2 신경망을 일반 영상(generic image) 집합과 비용 함수로 훈련시키는 단계를 더 포함하며, 상기 각 일반 영상은 분류(classification)로 기명(記名)되어 있고(labeled), 상기 비용 함수는 영상의 옳은 분류를 보상할 수 있다.

본 발명의 한 실시예에 따르면, 상기 무결 기준 영상을 선택하는 단계는, 상기 제1 영상과 상기 선택된 무결 기준 영상 사이의 차이의 수량이 최소가 되는 상기 선택된 무결 기준 영상을 선택하는 단계를 포함할 수 있다.

본 발명의 한 실시예에 따르면, 상기 차이의 수량은, 상기 제2 신경망의 입력이 상기 제1 영상인 경우의 상기 제2 신경망의 잠재 특성과 상기 제2 신경망의 입력이 상기 선택된 무결 기준 영상인 경우의 상기 제2 신경망의 잠재 특성 사이의 차이의 L2 노름(norm)일 수 있다.

본 발명의 한 실시예에 따르면, 상기 기준 영역을 식별하는 단계는, 상기 제3 신경망에 의하여, 복수의 추정 좌표(estimated coordinates) 집합을 생성하는 단계를 포함하며, 상기 추정 좌표 집합 각각은 상기 기준 영역의 두 대립(opposing) 꼭지점의 좌표를 정의할 수 있다.

본 발명의 한 실시예에 따른 방법은 상기 제3 신경망을 복수의 크로핑된(cropped) 부분과 비용 함수로 훈련시키는 단계를 더 포함하며, 상기 복수의 크로핑된 부분 각각은 크로핑된 좌표 집합에 기초하여 정상 영상을 크로핑한 부분이고, 상기 비용 함수는 추정 좌표와 크로핑된 좌표의 유사성을 보상할 수 있다.

본 발명의 한 실시예에 따르면, 상기 의심 영역과 상기 기준 영역 사이의 유사성의 수량을 판단하는 단계는, 상기 제4 신경망의 입력이 상기 의심 영역인 경우의 상기 제4 신경망의 잠재 특성과 상기 제4 신경망의 입력이 상기 기준 영역인 경우의 상기 제4 신경망의 잠재 특성 사이의 차이의 수량을 판단하는 단계를 포함할 수 있다.

본 발명의 한 실시예에 따른 방법은 상기 제4 신경망을 일반 영상(generic image) 집합과 비용 함수로 훈련시키는 단계를 더 포함하며, 상기 각 일반 영상은 분류(classification)로 기명(記名)되어 있고(labeled), 상기 비용 함수는 영상의 옳은 분류를 보상할 수 있다.

본 발명의 한 실시예에 따르면, 상기 제1 영상은 제조 과정에 있는 물품(article)의 영상이며, 상기 방법은, 상기 유사성의 수량이 결함의 존재를 나타낸다고 판단하는 단계, 그리고 상기 물품을 상기 제조 과정에서 제거하는 단계를 더 포함할 수 있다.

본 발명의 한 실시예에 따르면, 상기 물품은 표시 패널일 수 있다.

본 발명의 한 실시예에 따르면, 상기 제1 신경망, 상기 제2 신경망, 상기 제3 신경망, 그리고 상기 제4 신경망 중 하나는 상기 제1 신경망, 상기 제2 신경망, 상기 제3 신경망, 그리고 상기 제4 신경망 중 다른 하나와 동일한 신경망일 수 있다.

본 발명의 한 실시예에 따른 시스템은, 하나 이상의 처리 회로를 포함하며, 상기 하나 이상의 처리 회로는, 제1 영상에 의심 영역(suspicious area)을 식별하고, 무결(無缺)(defect-free) 기준 영상(reference image) 집합에서 상기 제1 영상에 대응하는 무결 기준 영상을 선택하고, 상기 선택된 무결 기준 영상 내에서 상기 의심 영역에 대응하는 기준 영역(reference region)을 식별하고, 상기 의심 영역과 상기 기준 영역 사이의 유사성(similarity)의 수량(measure)을 판단한다.

본 발명의 한 실시예에 따르면, 상기 제1 영상은 제조 과정에 있는 표시 패널의 영상일 수 있다.

본 발명의 한 실시예에 따른 시스템은, 하나 이상의 처리 수단을 포함하며, 상기 하나 이상의 처리 수단은, 제1 영상에 의심 영역(suspicious area)을 식별하고, 무결(無缺)(defect-free) 기준 영상(reference image) 집합에서 상기 제1 영상에 대응하는 무결 기준 영상을 선택하고, 상기 선택된 무결 기준 영상 내에서 상기 의심 영역에 대응하는 기준 영역(reference region)을 식별하고, 상기 의심 영역과 상기 기준 영역 사이의 유사성(similarity)의 수량(measure)을 판단한다.

이와 같이 신경망을 훈련시킴으로써 결함 감지 성능을 향상시킬 수 있다.

도 1은 본 발명의 한 실시예에 따른 방법의 흐름도이다.
도 2는 본 발명의 한 실시예에 따른 사제 신경망(student-teacher neural network)의 개략도이다.
도 3은 본 발명의 한 실시예에 따른 합성곱 신경망(convolutional neural network)의 개략도이다.
도 4는 본 발명의 한 실시예에 따른 풀링 층계(pooling layer)와 영역 제안 망의 블록도이다.
도 5는 본 발명의 한 실시예에 따른 두 개의 서로 다른 제품 영상에 대한 처리 과정을 나타낸 개략도이다.

이제 뒤에서 설명할 상세한 설명은 결함 감지 시스템 및 방법의 실시예에 관한 것으로서, 본 발명에 의하여 구현 또는 이용될 유일한 형태를 나타내는 것은 아니다. 이제 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 상세하게 설명한다. 그러나 서로 다른 실시예에서 구현되는 것과 동일한 또는 균등한 기능과 구조도 본 발명의 범위 내에 포함된다. 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면 부호를 붙였다.

제조 과정에서, 기계 학습 기반 시스템의 결함 감지가 도전 받고 있다. 결함이 드문 경우의 예를 들면, 결함 있는 제품의 희소성이 지도 훈련(supervised training)의 수행을 위한 기명(記名)(labeled) 훈련 집합을 모으는 데 장애물이 될 수 있다. 본 발명의 한 실시예에서는, 불량 제품에 기초한 표본을 사용하지 않고 기계 학습 시스템의 훈련을 수행하며, 이에 대하여 여기에서 상세하게 설명한다.

도 1을 참고하면, 본 발명의 한 실시예에서는, 제품의 영상[또는 "제품 영상(product image) ", 예를 들어 표시 패널의 사진]에 있는 결함 감지 방법은, 제품 영상에서 의심 영역(suspicious area)을 식별하는 단계(105), 무결(無缺)(defect-free) 기준 영상(reference image) 집합에서 그 제품 영상에 대응하는 무결 기준 영상을 선택하는 단계(110), 그 무결 기준 영상에서 의심 영역에 대응하는 기준 영역(reference region)을 식별하는 단계(115), 의심 영역과 기준 영역 사이의 유사성(similarity)의 수량(measure)을 판단하는 단계(120)를 포함한다. 유사성 수량이 의심 영역과 기준 영역이 충분히 차이 난다는 것을 나타내면(예를 들어 유사성 수량이 문턱 값 아래이면), 그 제품을 불량인 것으로 간주하여 제조 과정에서 제거(remove)[보기: 제거(scrap) 또는 재작업(rework)]할 수 있다.

도 2를 참고하면, 의심 영역 식별은 사제 신경망(student teacher neural network)에 의하여 수행될 수 있으며, 사제 신경망은 학생 신경망(student neural network)(205)과 선생 신경망(teacher neural network)(210)을 포함할 수 있다. 여기에서 "신경망(neural network)"은 서로 연결된 복수의 뉴런(neuron)을 포함하는 인공(artificial) 신경망을 뜻한다. 이와 같이, [학생 신경망(205) 및 선생 신경망(210)을 포함하는 도 2의 신경망에서처럼] 신경망은 다른 신경망을 포함할 수 있다. 학생 신경망(205) 및 선생 신경망(210) 각각은 하나 이상의 층계(layer) 그룹(215)을 포함할 수 있으며, 각 층계 그룹(215)은 하나 이상의 인공 뉴런 층을 포함할 수 있다. 신경망의 최종 산물이 아닌 층계 그룹(215)의 출력은 (뒤에서 더 상세하게 설명하는) "잠재 변수(latent variable)", "잠재 특성(latent feature)", 또는 "잠재 특성 벡터(latent feature vectors)"라 할 수 있다. 도 2에 도시한 사제 신경망의 훈련은 다음과 같다. 먼저, 선생 신경망(210)은, 지도 훈련을 사용하여, 각각 해당 분류로 기명된(labeled) 일반 영상(generic image) 집합으로 영상 분류를 수행하도록 훈련 받을 수 있다. 이러한 일반 영상은 임의의 일상 영상(everyday image)일 수 있으며, 각각의 일상 영상은 해당 분류 표지(label)로 기명되어(labeled) 있다. (일상 영상은, 예를 들면, "나무"라는 표지가 붙은 나무의 영상, "꽃"이라는 표지가 붙은 꽃의 영상, "망치"라는 표지가 붙은 망치의 영상, "폭포"라는 표지가 붙은 폭포의 영상을 포함할 수 있다.) 선생 신경망(210)을 훈련시키는 데 사용되는 비용 함수는 영상의 옳은 분류를 보상(reward)하는 것일 수 있다. 여기에서, 특정 결과를 "보상하는(reward)" 비용 함수는 다른 결과보다는 그 결과에 적은 비용을 할당하는 것, 이와 같이 훈련에 사용될 때 그 결과를 산출할 가능성이 높아지도록 신경망의 동작에 변화를 일으키는 것이다.

일단 선생 신경망(210)의 훈련을 마치면, 훈련 영상 집합을 학생 신경망(205) 및 선생 신경망(210)을 공급함으로써 학생 신경망(205)을 훈련시킬 수 있으며, 각각의 훈련 영상은 "정상(normal)" 영상(결함이 없는 것으로 여겨지는 제품의 영상)이다. 사제 신경망 훈련의 두 번째 단계에서 학생 신경망(205)을 훈련시키는 데 사용되는 비용 함수는, 학생 신경망의 잠재 변수와 이에 대응하는 선생 신경망의 잠재 변수 사이의 유사성(similarity)을 보상하는 비용 함수일 수 있다. 이러한 유사성은 각 훈련 영상에 대해서 예를 들면, (i) 훈련 영상에 대한 학생 신경망(205)의 잠재 특성 벡터와 (ii) 훈련 영상에 대한 선생 신경망(210)의 잠재 특성 벡터 사이의 차이의 L2 노름(norm)을 사용하여 도량(度量)할 수 있다.

추론(inference)에 사용될 때, 사제 신경망은 제품 영상을 공급받을 수 있으며, 영상의 각 화소에 가능 값(likelihood value)을 할당할 수 있는데, 가능 값은 그 화소가 그 제품의 결함 위치에 대응할 가능성(likelihood)의 척도이다. 가능 값은 예를 들면, (i) 선생 신경망(210) 층계의 출력에서의 잠재 변수와 (ii) 학생 신경망(205) 층계의 출력에서의 잠재 변수 사이의 층계 당 차이의 노름(보기: L12 노름)으로 계산될 수 있다. 이어 가능 값을 문턱 값과 비교할 수 있으며, 가능 값 중 어느 하나라도 문턱 값을 초과하면, 문턱 값을 초과하는 가능 값을 모두 둘러싸는 작은 직사각형을 그 영상의 의심 영역으로 지정할 수 있다.

무결 기준 영상의 선택(도 1의 110)은 다음과 같이 수행될 수 있다. 무결 기준 영상들은 정상 영상의 부분 집합일 수 있다. 무결 기준 영상 각각은 정상 영상 집합에서 완전 무결(entirely free of defects)하다는 강한 확신이 있는 영상으로 선택할 수 있다. 그 선택 과정은 예를 들어 인간 작업자가 그 영상을 세심하게 검토하거나 아무런 결함이 없는 성능 특성을 가지는 제품과 관련 있는 것일 수 있다.

합성곱 신경망(convolutional neural network) 및 분류 헤드(classifying head)를 포함할 수 있는 분류 신경망이 제품 영상에 대응하는 무결 기준 영상의 선택을 수행하도록 훈련시킬 수 있다. 도 3은 그러한 합성곱 신경망의 한 예를 보여주는데, 이 합성곱 신경망은 서로 연결된 복수의 층계(305)를 포함하며, 각 층계(305)는 복수의 인공 뉴런을 포함한다. 신경망은 또한 분류 헤드(310)를 포함할 수 있다. 동작 시에, 신경망 훈련 후 추론 동작을 수행할 때, 신경망의 입력에 영상(315)이 공급될 수 있으며, 신경망은 영상이 분류된 범주를 식별하는 표지를 분류 헤드(310)의 출력에서 생성할 수 있다. 합성곱 신경망의 훈련은 선생 신경망(210)의 훈련과 비슷할 수 있다. 훈련 중에, 분류 신경망은, 지도 훈련을 사용하여, 각각 해당 분류로 기명된(labeled) 일반 영상(generic image) 집합으로 영상 분류를 수행하도록 훈련 받을 수 있다. 이러한 일반 영상은 임의의 일상 영상(everyday image)일 수 있으며, 각각의 일상 영상은 해당 분류 표지(label)로 기명되어(labeled) 있다. 분류 신경망을 훈련시키는 데 사용되는 비용 함수는 영상의 옳은 분류를 보상(reward)하는 것일 수 있다.

추론을 하는 동안, 신경망은 (i) 제품 영상과 (ii) 각 무결 기준 영상을 교대로 공급 받을 수 있으며, 제품 영상에 대응하는 (합성곱 신경망 출력의, 또 분류 헤드가 존재하는 경우 그 입력인) 잠재 특성 벡터를 무결 기준 영상에 대응하는 각 잠재 특성 벡터와 비교한다. 추후의 처리를 위하여 무결 기준 영상의 부분 집합을 선택할 수 있다. [선택된 무결 기준 영상의 부분 집합은 예를 들어 제품 영상과 가장 비슷한 n 개의 무결 영상일 수 있는데, 이는, 선택된 무결 기준 영상 각각에 대해서 (i) 그 무결 기준 영상의 잠재 특성 벡터와 (ii) 제품 영상의 잠재 특성 벡터의 차이의 노름(보기: L2 노름)이 n 개의 최소값 중 하나라는 의미이다.]

본 발명의 한 실시예에서는, 무결 기준 영상의 부분 집합이 (i) 그 무결 기준 영상의 잠재 특성 벡터와 (ii) 제품 영상의 잠재 특성 벡터의 차이의 노름(보기: L2 노름)이 문턱 값보다 작은 부분 집합이다. 본 발명의 한 실시예에서는, 각 무결 기준 영상의 잠재 특성 벡터를 [훈련 완료 후 제품 영상의 특성화(characterization) 시작 전] 제1 추론 동작으로 결정하고, 제품 영상 특성화 과정에서 사용하기 위하여 이를 저장한다. 이와 같이 하면, 제품 영상 특성화 과정에서 각 무결 기준 영상의 잠재 특성 벡터를 다시 계산할 필요가 없다. 그 대신 임의의 제품 영상에 대해서 합성곱 신경망으로부터 잠재 특성 벡터를 구하고, 이 특성 벡터를 저장된 모든 무결 기준 영상의 잠재 특성 벡터와 비교하여, 추후 처리를 위하여 어느 무결 기준 영상들을 선택할지를 판단한다.

이어, 선택된 각 기준 영상 내 기준 영역을 식별할 수 있다. 도 4를 참고하면, 추론 과정에서, 영역 제안 망(regional proposal network)(405)이라고 하는 신경망의 제1 입력(402)에 기준 영상을 공급함과 동시에, 제2 입력(407)에 의심 영역에 대응하는 크기 조절된 영상을 입력할 수 있다. 영역 제안 망(405)은 좌표 집합 열(array of sets of coordinates)을 생성할 수 있다. 각 좌표 집합은 4 개의 숫자[보기: 4 조(粗)(4-tuple)]를 포함하며, 4 개의 숫자 중 첫 번째 숫자 쌍은 (직사각형) 기준 영역의 한 꼭지점의 x 좌표와 y 좌표를 특정하고, 두 번째 숫자 쌍은 (직사각형) 기준 영역의 대립(opposite) 꼭지점의 x 좌표와 y 좌표를 특정한다. 좌표 집합은 차례 목록(ordered list)으로 형성될 수 있는데, 첫 번째 4 조는 영역 제안 망(405)이 의심 영역에 가장 잘 맞는(best matching) 영역으로 간주하는 기준 영역에 대응하고, 두 번째 4 조는 의심 영역에 두 번째로 잘 맞는(secondly best matching) 영역으로 간주하는 기준 영역에 대응하는 등이다. 풀링 층계(pooling layer)(410)는 의심 영역을 표준 크기(보기: 32 x 32 화소)로 크기 조절(resize)[보기: 다운샘플링(down-sampling), 외삽(extrapolation) 또는 보간(interpolation)]할 수 있으며, 영역 제안 망(405)은 표준 크기로 조절된 의심 영역을 수락할 수 있다.

정상 영상의 무작위 선택(된) 직사각 소 영역(subregion), 또는 "크로핑(된) 부분(cropped portions)"을 사용하여 영역 제안 망(405)을 훈련시킬 수 있다. 훈련 시에, 매 회차마다 영역 제안 망(405)의 제1 입력(402)에 기준 영상을 공급하고 제2 입력(407)에는 무작위 선택 크로핑 부분을 공급할 수 있다. 훈련 과정에서, 크로핑(cropping) 수행에 사용되는 (무작위 선택된) 4 조와 영역 제안 망(405)이 생성한 좌표 목록의 첫 번째 4조 사이의 유사성을 보상하는 비용 함수를 사용할 수 있다. 예를 들면, 비용 함수는 IoU(intersection-over-union) 지수(score)가 문턱 값보다 큰 좌표 목록에 기초할 수 있다. {각 IoU 지수는 (i) 참 좌표(true coordinates)가 정의하는 영역과 예측 좌표(predicted coordinates)가 정의하는 영역의 교집합(intersection)[또는 겹친 부분(overlap)]의 (ii) 참 좌표가 정의하는 영역과 예측 좌표가 정의하는 영역의 합집합(union)에 대한 비율의 수량(measure)이다.} 이 좌표들은 비용 함수를 계산하는 데 사용된다. 선택된 기준 영상 각각에 대해서 이 과정을 반복하여, 선택된 기준 영상 각각에 대해서 영역 제안 망(405)이 의심 영역에 가장 잘 대응하는 기준 영역을 식별할 수 있도록 한다.

마지막으로, 의심 영역과 각 기준 영역 사이의 유사성의 수량을 판단할 수 있다. 의심 영역과 적어도 하나의 기준 영역의 유사성이 충분히 크면[예를 들어, 의심 영역과 그 기준 영역의 유사성의 수량이 문턱 값을 초과하면], 그 제품을 결함이 없는 것으로 간주하고, 정상 제조 과정에서 계속하는 것을 허용할 수 있다. 의심 영역과 각 기준 영역 사이의 유사성이 너무 작으면[예를 들어, 기준 영역 각각에 대해서 의심 영역과 그 기준 영역의 유사성의 수량이 문턱 값보다 작으면], 그 제품이 불량인 것으로 간주하고 제조 과정에서 제거한다.

제품 영상과 비슷한 기준 영상을 식별하는 데 사용하는 방법과 유사한 방법을 사용하여 유사성 수량을 생성할 수 있다. 예를 들면, (분류 헤드, 일반 영상 및 옳은 분류를 보상하는 비용 함수로 훈련 받은) 도 3의 신경망 또는 유사한 합성곱 신경망을 사용하여 기준 영역에 대한 잠재 특성 벡터를 생성하고 의심 영역의 특성 벡터를 생성할 수 있으며, 의심 영역과 기준 영역 사이의 차이의 수량을 기준 영역에 대한 잠재 특성 벡터와 의심 영역에 대한 특성 벡터 사이의 차이의 노름(보기: L2 노름)으로서 계산할 수 있다.

도 5는 (도 5의 위쪽에 있는) 제1 제품 영상(505) 및 (도 5의 아래쪽에 있는) 제2 제품 영상(505)에 대한 처리 흐름을 나타낸다. 각 제품 영상 내에 의심 영역(510)이 식별되고, 영역 제안 망(405)은 한 쌍의 기준 영상(515) 각각 내에서 기준 영역(가장 비슷한 부분)을 찾는다. 제1 제품 영상(505)의 경우, 충분히 비슷한 기준 영역이 발견되지 않으며("N/A"), 그 결과 제1 제품 영상(505)은 결함을 포함하는 영상으로 간주된다. 제2 제품 영상(505)의 경우, 충분히 비슷한 기준 영역(520)이 발견되며, 이에 따라 정상 표본들이 유사한 영역을 포함하고 의심 영역(510)이 결함을 포함하지 않는 것으로 판단한다.

여기에서, 두 개의 신경망이 구조가 동일하고 파라미터(보기: 가중치)가 동일하면 서로 동일한 신경망인 것으로 간주한다. 이와 같이, 제1 신경망이 하드웨어의 제1 부품(piece)(보기: 제1 처리 회로) 위에 구현된, 특정 구조로 조직되고 (예를 들어 훈련을 통하여) 특정 파라미터로 구성되는 뉴런 집합이면, 그리고 제2 신경망이 제1 신경망과 동일한 하드웨어 위에 구현되고 동일한 구조 및 파라미터를 가지면, 제2 신경망은 제1 신경망과 동일한 신경망이다. 제3 신경망이 제1 신경망과 다른 별개의 하드웨어 부품 위에 구현되고 제1 신경망과 동일한 구조 및 파라미터를 가지면, 제3 신경망은 제1 신경망 및 제2 신경망과 동일한 신경망이다. 여기에서, 어떤 것의 "부분(portion)"은 그것의 "적어도 일부(at least some)"를 뜻하며, 이는 그것 전체보다 작거나 전체를 뜻할 수 있다. 이와 같이, 어떤 것의 "부분"은 특별한 경우로서 그것 전체를 포함할 수 있다. 즉, 그것 전체는 그것의 부분의 한 예이다. 여기에서, "또는"이라는 용어는 "및/또는"으로 해석되어야 하는데, 예를 들면, "A 또는 B"는 "A" 또는 "B"이거나 "A 및 B" 중 하나를 뜻한다. 여기에서 "직사각형(rectangle)"이라는 용어는 그 특별한 경우로서 정사각형을 포함한다. 즉, 정사각형은 직사각형의 한 예이다. 또한 "직사각형의(rectangular)"라는 용어는 "정사각형의(square)"라는 수식어를 포함한다. 여기에서, 두 양(quantity)의 차이(difference)의 수량(measure)이 문턱 값 초과(또는 미만)라는 판단은 등가의 동작으로서 두 양의 유사성(similarity)의 수량이 문턱 값 미만(또는 초과)이라는 판단을 포함한다.

여기에서 설명한 신경망 각각은 처리 회로 또는 처리 수단으로 구현될 수 있다. (또는 여기에서 설명한 둘 이상의 신경망 또는 모든 신경망이 단 하나의 처리 회로 또는 단 하나의 처리 수단으로 구현될 수도 있고, 하나의 신경망이 복수의 처리 회로 또는 처리 수단으로 구현될 수도 있다.) "처리 회로" 또는 "처리 수단"이라는 용어는 여기에서 데이터 또는 디지털 신호를 처리하는 데 사용하는 하드웨어, 펌웨어 및 소프트웨어의 조합을 뜻한다. 처리 회로는 예를 들면, 응용 주문형 집적 회로(ASIC), 범용 또는 전용 중앙 처리 장치(CPU), 디지털 신호 처리기(DSP), 그래픽 처리 장치(GPU), FPGA 등의 프로그램가능 논리 장치를 포함할 수 있다. 처리 회로에서 각각의 함수는 그 기능을 수행하는 유선 하드웨어 또는 비순간(non-transitory) 저장 매체에 저장된 명령을 수행하는 CPU 등의 범용 하드웨어로 수행될 수 있다. 처리 회로는 하나의 인쇄 회로 기판(PCB)에 제작되거나 서로 연결된 PCB에 분산 배치될 수 있다. 처리 회로는 다른 처리 회로를 포함할 수 있는데, 예를 들면 PCB 상에서 서로 연결된 FPGA와 CPU를 포함할 수 있다.

여기에서, "(배)열(array)"이라는 용어는 저장된 방법과 관계없이[예를 들어 메모리의 연속 위치(consecutive memory locations)에 저장되든 연결 목록(linked list)으로 저장되든 관계없이] 정렬된 숫자 집합을 가리킨다.

여기에서, 방법(보기: 조정) 또는 제1 양(quantity)[보기: 제1 변수(variable)]이 제2 양(보기: 제2 변수)에 "기초"한다고 하면, 제2 양이 그 방법의 입력이거나 제1 양에 영향을 미치는 것을 의미하는데, 예를 들면, 제2 양이 제1 양을 계산하는 함수의 입력(보기: 단일 입력 또는 복수 입력 중 하나)이거나, 제1 양이 제2 양과 동등(equal)하거나, 제1 양이 제2 양과 동일(same)(보기: 메모리 내에서 동일한 장소에 저장)하다는 것을 의미한다.

"제1", "제2", "제3" 등의 용어를 여러 가지 원소, 성분, 영역, 층, 부분 등에 사용하지만, 이들은 이런 수식어에 의하여 한정되지 않는다. 이러한 용어는 어떤 원소, 성분, 영역, 층, 부분을 다른 원소, 성분, 영역, 층, 부분과 구별하기 위하여 사용할 뿐이다. 따라서 여기에서 설명하는 제1 원소, 성분, 영역, 층, 부분은 본 발명의 취지와 범위를 벗어나지 않고 제2 원소, 성분, 영역, 층, 부분이라고 칭할 수도 있다.

여기에서 사용된 용어는 특정 실시예를 설명할 목적으로 사용할 뿐이며 본 발명을 제한하고자 하는 것은 아니다. 여기에서 "실질적으로(substantially)", "약" 및 이와 비슷한 용어들은 근사를 나타내는 표현일 뿐 "정도"를 나타내는 것이 아니며, 당업자가 알 수 있는 측정값 또는 계산값의 고유 오차를 설명하는 데 사용한다.

여기에서 수를 특별히 언급하지 않으면 단수 또는 복수의 경우를 모두 포함한다. 어떤 특징, 단계, 동작, 부분, 성분 등을 "포함"한다는 표현은 해당 부분 외에 다른 특징, 단계, 동작, 부분, 성분 등도 포함할 수 있다는 것을 의미한다. "및/또는"이라는 표현은 나열된 것들 중 하나 또는 둘 이상의 모든 조합을 포함한다. "적어도 하나의(at least one of)" 등의 표현이 항목 목록에 선행한다면, 이는 항목 목록 전체를 수식하는 것이지 목록의 개별 항목을 수식하는 것이 아니다. 또한, 본 발명의 실시예를 설명할 때 사용하는 "수 있다"는 표현은 "본 발명의 하나 이상의 실시예"에 적용 가능하다는 것을 뜻한다. "예시적인"이라는 용어는 예 또는 도면을 나타낸다. 여기에서 "사용", "이용" 등은 이와 유사한 다른 표현과 함께 비슷한 의미로 사용될 수 있다.

구성 요소(element) 또는 층(계)(layer)이 다른 구성 요소 또는 층(계) "위에" 있거나 이들과 "연결" 또는 "결합"되어 있거나 "인접"한 것으로 기재하는 경우, 다른 구성 요소 또는 층(계) 바로 위에 있거나 직접 연결 또는 결합되어 있거나 바로 인접한 경우뿐 아니라, 중간에 또 다른 구성 요소 또는 층(계)이 끼어 있는 경우도 포함한다. 그러나 구성 요소 또는 층(계)이 다른 구성 요소 또는 층(계) "바로 위에" 있거나 이들과 "직접 연결" 또는 "직접 결합"되어 있거나 "바로 인접"한 것으로 기재하면 중간에 또 다른 구성 요소 또는 층(계)이 끼어 있지 않다는 것을 뜻한다.

또한, 여기에 기재한 수치 범위는 해당 범위 안에 포함되는 동일한 정확도의 모든 소(小) 범위(sub-range)를 포함한다. 예를 들면, "1.0 내지 10.0" 또는 "1.0과 10.0 사이"의 범위는 최소값 1.0과 최대값 10.0 및 그 사이에 있는 모든 소 범위, 즉, 1.0 이상의 최소값과 10.0 이하의 최대값을 가지는 소 범위, 예를 들면 2.4 내지 7.6을 포함한다. 이와 비슷하게, "10의 35% 내(within)"라고 설명한 범위는 언급된 최소값 6.5[즉, (1 - 35/100)×10]과 언급된 최대값 13.5[즉, (1 + 35/100)×10] 사이(이들 최소값 및 최소값 포함)에 있는 모든 소 범위(subrange), 즉, 6.5 이상의 최소값과 13.5 이하의 최대값, 예를 들어 7.4 ~ 10.6 과 같은 모든 소 범위를 포함하는 것을 의도한 것이다. 여기에서 언급한 최대 수치 한정은 그 안에 포함되고 그보다 작은 모든 수치 한정을 포함하고, 본 명세서에 기재한 최소 수치 한정은 그 안에 포함되고 그보다 큰 모든 수치 한정을 포함한다.

이상에서 결함 감지 시스템 및 방법의 실시예에 대하여 설명 및 도시하였지만, 당업자라면 이러한 실시예를 변경 및 수정할 수도 있다. 따라서 여기에서 제시한 원리에 따라 구성된 다른 결함 감지 시스템 및 방법도 본 발명에 포함된다. 본 발명은 다음의 청구범위 및 그 등가물에 의하여 정의된다.

205: 학생 신경망
210: 선생 신경망
215: 층계 그룹
305: 층계
310: 분류 헤드
315: 영상
402, 407: 영역 제안 망의 입력
405: 영역 제안 망
410: 풀링 층계
505: 제품 영상
510: 의심 영역
515: 기준 영상
520: 기준 영역

Claims

제1 신경망에 의하여, 제1 영상에 의심 영역(suspicious area)을 식별하는 단계,
제2 신경망에 의하여, 무결(無缺)(defect-free) 기준 영상(reference image) 집합에서 상기 제1 영상에 대응하는 무결 기준 영상을 선택하는 단계,
제3 신경망에 의하여, 상기 선택된 무결 기준 영상 내에서 상기 의심 영역에 대응하는 기준 영역(reference region)을 식별하는 단계, 그리고
제4 신경망에 의하여, 상기 의심 영역과 상기 기준 영역 사이의 유사성(similarity)의 수량(measure)을 판단하는 단계
를 포함하는 방법.
제1항에서,
상기 제1 신경망은 학생 신경망(student neural network)과 선생 신경망(teacher neural network)을 포함하는 사제 신경망(student teacher neural network)인 방법.
제2항에서,
상기 선생 신경망을 일반 영상(generic image) 집합과 제1 비용 함수로 훈련시키는 단계를 더 포함하며,
상기 각 일반 영상은 분류(classification)로 기명(記名)되어 있고(labeled),
상기 제1 비용 함수는 영상의 옳은 분류를 보상하는
방법.
제3항에서,
상기 학생 신경망을 정상 영상(normal image) 집합과 제2 비용 함수로 훈련시키는 단계를 더 포함하며,
상기 제2 비용 함수는 상기 학생 신경망의 잠재 변수와 이에 대응하는 상기 선생 신경망의 잠재 변수 사이의 유사성을 보상하는
방법.
제2항에서,
상기 의심 영역은, 상기 학생 신경망의 제1 잠재 변수 집합과 이에 대응하는 상기 선생 신경망의 잠재 변수 사이의 차이의 수량이 문턱 값을 초과하는 상기 제1 영상의 영역이고, 상기 제1 잠재 변수 집합과 이에 대응하는 상기 선생 신경망의 잠재 변수는 상기 의심 영역의 내부에 대응하는 방법.
제1항에서,
상기 제2 신경망은 합성곱 신경망(convolutional neural network)을 포함하는 방법.
제1항에서,
상기 제2 신경망을 일반 영상(generic image) 집합과 비용 함수로 훈련시키는 단계를 더 포함하며,
상기 각 일반 영상은 분류(classification)로 기명(記名)되어 있고(labeled),
상기 비용 함수는 영상의 옳은 분류를 보상하는
방법.
제6항에서,
상기 무결 기준 영상을 선택하는 단계는, 상기 제1 영상과 상기 선택된 무결 기준 영상 사이의 차이의 수량이 최소가 되는 상기 선택된 무결 기준 영상을 선택하는 단계를 포함하는 방법.
제8항에서,
상기 차이의 수량은,
상기 제2 신경망의 입력이 상기 제1 영상인 경우의 상기 제2 신경망의 잠재 특성과
상기 제2 신경망의 입력이 상기 선택된 무결 기준 영상인 경우의 상기 제2 신경망의 잠재 특성
사이의 차이의 L2 노름(norm)인 방법.
제1항에서,
상기 기준 영역을 식별하는 단계는, 상기 제3 신경망에 의하여, 복수의 추정 좌표(estimated coordinates) 집합을 생성하는 단계를 포함하며,
상기 추정 좌표 집합 각각은 상기 기준 영역의 두 대립(opposing) 꼭지점의 좌표를 정의하는
방법.
제1항에서,
상기 제3 신경망을 복수의 크로핑된(cropped) 부분과 비용 함수로 훈련시키는 단계를 더 포함하며,
상기 복수의 크로핑된 부분 각각은 크로핑된 좌표 집합에 기초하여 정상 영상을 크로핑한 부분이고,
상기 비용 함수는 추정 좌표와 크로핑된 좌표의 유사성을 보상하는
방법.
제1항에서,
상기 의심 영역과 상기 기준 영역 사이의 유사성의 수량을 판단하는 단계는,
상기 제4 신경망의 입력이 상기 의심 영역인 경우의 상기 제4 신경망의 잠재 특성과
상기 제4 신경망의 입력이 상기 기준 영역인 경우의 상기 제4 신경망의 잠재 특성
사이의 차이의 수량을 판단하는 단계
를 포함하는
방법.
제1항에서,
상기 제4 신경망을 일반 영상(generic image) 집합과 비용 함수로 훈련시키는 단계를 더 포함하며,
상기 각 일반 영상은 분류(classification)로 기명(記名)되어 있고(labeled),
상기 비용 함수는 영상의 옳은 분류를 보상하는
방법.
제1항에서,
상기 제1 영상은 제조 과정에 있는 물품(article)의 영상이며,
상기 방법은,
상기 유사성의 수량이 결함의 존재를 나타낸다고 판단하는 단계, 그리고
상기 물품을 상기 제조 과정에서 제거하는 단계
를 더 포함하는
방법.
제14항에서,
상기 물품은 표시 패널인 방법.
제1항에서,
상기 제1 신경망,
상기 제2 신경망,
상기 제3 신경망, 그리고
상기 제4 신경망
중 하나는
상기 제1 신경망,
상기 제2 신경망,
상기 제3 신경망, 그리고
상기 제4 신경망
중 다른 하나와 동일한 신경망인
방법.
하나 이상의 처리 회로를 포함하며,
상기 하나 이상의 처리 회로는,
제1 영상에 의심 영역(suspicious area)을 식별하고,
무결(無缺)(defect-free) 기준 영상(reference image) 집합에서 상기 제1 영상에 대응하는 무결 기준 영상을 선택하고,
상기 선택된 무결 기준 영상 내에서 상기 의심 영역에 대응하는 기준 영역(reference region)을 식별하고,
상기 의심 영역과 상기 기준 영역 사이의 유사성(similarity)의 수량(measure)을 판단하는
시스템.
제17항에서,
상기 제1 영상은 제조 과정에 있는 표시 패널의 영상인 시스템.
하나 이상의 처리 수단을 포함하며,
상기 하나 이상의 처리 수단은,
제1 영상에 의심 영역(suspicious area)을 식별하고,
무결(無缺)(defect-free) 기준 영상(reference image) 집합에서 상기 제1 영상에 대응하는 무결 기준 영상을 선택하고,
상기 선택된 무결 기준 영상 내에서 상기 의심 영역에 대응하는 기준 영역(reference region)을 식별하고,
상기 의심 영역과 상기 기준 영역 사이의 유사성(similarity)의 수량(measure)을 판단하는
시스템.
제19항에서,
상기 제1 영상은 제조 과정에 있는 표시 패널의 영상인 시스템.