KR20230119625A - 결함 검사 장치, 결함 검사 방법 및 제조 방법 - Google Patents

Abstract

피검사체의 화상에 기초하여 상기 피검사체에 발생하는 결함을 검사하는 결함 검사 장치에 있어서, 화상에 기초하여, 소정의 기계 학습 모델을 사용하여 각각 다른 결함의 종류를 판별하는 결함 판별기를 복수개 구비하고, 개개의 결함 판별기가 판별하는 결함의 종류는, 결함 검사 장치가 판별 대상으로 하는 소정수의 결함의 종류의 일부이다. 본 실시 형태는, 결함 검사 장치, 결함 검사 방법, 제조 방법 중 어느 형태에서도 실현할 수 있다. 본 실시 형태에 따르면, 결함 검사에 있어서의 시스템 관리를 용이하게 할 수 있다.

Description

결함 검사 장치, 결함 검사 방법 및 제조 방법

본 발명은 결함 검사 장치, 결함 검사 방법 및 제조 방법에 관한 것이다. 본 발명은, 예를 들어 피검사체의 화상을 나타내는 화상 데이터를 사용하여 피검사체에 발생하는 결함의 상태를 판정하기 위한 기술에 관한 것이다.

본원은, 2020년 12월 15일에 일본에 출원된 일본 특허 출원 제2020-207561호에 대하여 우선권을 주장하고, 그들의 내용을 여기에 원용한다.

제품의 품질을 관리할 때, 제품의 상태를 판정하는 것은 중요하다. 예를 들어, 표면에 금속 또는 산화물 등의 박막으로 덮이는 유리 기판에서는, 그 표면에 있어서 미세한 전자 부재 등이 형성되는 경우가 있다. 이러한 유리 기판은, 예를 들어 액정 디스플레이 등의 각종 디스플레이, 포토마스크, 전자 디바이스 지지, 정보 기록 매체, 평면형 안테나 등에 사용될 수 있다. 유리 기판의 표면에 발생하는 결함은, 단선을 비롯한 불량의 원인이 된다. 결함에는, 예를 들어 흠집, 오염 등이 있다. 그 때문에, 유리 기판의 표면에는, 높은 청정성이나 평탄성 등이 요구되고 있다.

단선 등의 불량을 저감시키기 위해서, 유리 기판의 표면의 상태를 해석하여, 결함의 상태를 판정하고, 필요에 따라서 결함의 발생 원인을 특정하여, 제조 공정에 대한 대책을 실시하는 것이 생각된다. 그래서, 피검사체의 화상에 대하여 기계 학습 모델을 사용하여 결함의 종류를 분류하는 것이 시도되고 있다. 예를 들어, 특허문헌 1에는, 심층 학습(딥 러닝, Deep Learning) 모델을 사용하여 기판인 웨이퍼 상에 발생한 결함을 분류하는 결함 검사 방법에 대하여 기재되어 있다.

일반적으로, 심층 학습 모델은 대량의 훈련 데이터를 사용하여, 입출력 관계를 나타내는 모델 파라미터를 학습해둘 필요가 있다. 학습에 사용되는 훈련 데이터의 양에 따라서는, 오분류가 빈번히 발생할 우려가 있다. 예를 들어, 화상에 표시되는 결함의 종류를 분류하는 경우, 특정한 종류로 오분류될 확률이 높아지는 경우가 있다. 그러한 경우, 유저는, 오분류를 회피하기 위해 모델 파라미터를 수정하려고 생각하는 경우가 있다.

일본 특허 공개 제2019-124591호 공보

그러나, 심층 학습 모델을 비롯한 기계 학습 모델에 있어서 모델 파라미터를 수정하는 경우, 특정한 종류로의 오분류만을 시정하는 것은 곤란하여, 다른 종류로의 분류 결과에도 영향을 미치는 경향이 있다. 즉, 특정한 종류에 대한 분류가 정확하게 이루어지도록 모델 파라미터가 수정되어도, 다른 종류에 대한 분류가 부정확해질 우려가 있다. 모든 종류에 대한 분류를 고려하여 모델 파라미터를 수정해야만 하기 때문에, 시스템 관리에 많은 노동력이나 시간이 소비되는 경우가 있었다.

본 발명은 상기 점을 감안하여 이루어진 것이며, 본 발명의 과제 중 하나는, 결함 검사에 있어서 시스템 관리를 보다 용이하게 하는 결함 검사 장치, 결함 검사 방법 및 제조 방법을 제공하는 것이다.

(1) 본 발명은 상기 과제를 해결하기 위해 이루어진 것이며, 본 발명의 일 양태는, 피검사체의 화상에 기초하여 상기 피검사체에 발생하는 결함을 검사하는 결함 검사 장치에 있어서, 상기 화상에 기초하여, 소정의 기계 학습 모델을 사용하여 각각 다른 상기 결함의 종류를 판별하는 결함 판별기를 복수개 구비하고, 개개의 결함 판별기가 판별하는 상기 결함의 종류는, 상기 결함 검사 장치가 판별 대상으로 하는 소정수의 결함의 종류의 일부인 결함 검사 장치이다.

(2) 본 발명의 다른 양태는, 피검사체의 화상에 기초하여 상기 피검사체에 발생하는 결함을 검사하는 결함 검사 방법이며, 상기 화상에 기초하여, 소정의 기계 학습 모델을 사용하여 각각 다른 상기 결함의 종류를 판별하는 결함 판별 공정을 복수개 구비하고, 개개의 결함 판별 공정에 있어서 판별되는 상기 결함의 종류는, 상기 결함 검사 방법에 있어서 판별 대상으로 하는 소정수의 결함의 종류의 일부인 결함 검사 방법이다.

(3) 본 발명의 다른 양태는, 상기 피검사체는 유리이며, (1)의 결함 검사 장치를 사용한 검사 공정 또는 (2) 결함 검사 방법을 갖는 유리의 제조 방법이어도 된다.

본 발명에 따르면, 결함 검사에 있어서의 시스템 관리를 보다 용이하게 한다. 예를 들어, 다른 종류의 결함의 판정 결과에 영향을 미치지 않고, 특정한 종류에 대한 오판정의 빈도를 저감 또는 해소할 수 있다.

도 1은 본 실시 형태에 관한 결함 검사 장치의 구성예를 나타내는 개략 블록도이다.
도 2는 본 실시 형태에 관한 검사 처리의 제1예를 나타내는 흐름도이다.
도 3은 본 실시 형태에 관한 촬상부에 있어서의 촬상 조건을 설명하기 위한 설명도이다.
도 4는 피검사체의 화상의 일례를 나타내는 도면이다.
도 5는 피검사체의 화상의 다른 예를 나타내는 도면이다.
도 6은 본 실시 형태에 관한 결함 판별기의 접속예를 나타내는 도면이다.
도 7은 본 실시 형태에 관한 결함 판별 처리의 처리 시간의 예를 나타내는 도면이다.
도 8은 본 실시 형태에 관한 기계 학습 모델에 의한 결함의 종별 오답율의 예를 나타내는 도면이다.
도 9는 본 실시 형태에 관한 검사 처리의 제2예를 나타내는 흐름도이다.
도 10은 본 실시 형태에 관한 특징량 공간에 있어서의 거리를 설명하기 위한 설명도이다.
도 11은 본 실시 형태에 관한 검사 처리의 제3예를 나타내는 흐름도이다.
도 12는 본 실시 형태에 관한 검사 공정으로부터 제조 공정에의 피드백 처리의 일례의 설명도이다.
도 13은 본 실시 형태에 관한 유리의 제조 공정의 일례를 나타내는 흐름도이다.
도 14는 본 실시 형태에 관한 기계 학습 모델의 일례를 나타내는 도면이다.

이하, 도면을 참조하면서 본 발명의 실시 형태에 대하여 설명한다.

먼저, 본 실시 형태의 구성에 대하여 설명한다. 도 1은, 본 실시 형태에 관한 결함 검사 장치의 구성예를 나타내는 개략 블록도이다.

본 실시 형태에 관한 결함 검사 장치(100)는 피검사체의 화상을 나타내는 화상 데이터를 사용하여, 그 피검사체에 발생할 수 있는 결함을 검사하기 위한 검사 장치이다. 결함 검사 장치(100)는 피검사체의 화상을 나타내는 화상 데이터를 취득하고, 취득한 화상 데이터에 기초하여 소정의 기계 학습 모델을 사용하여 피검사체에 발생하는 결함의 종류를 판별하는 공정인 결함 판별 공정을 복수개 실행한다. 개개의 결함 판별 공정에서 판별 대상으로 하는 1개 또는 복수 종류의 결함의 후보는, 결함 검사 장치(100) 전체로서 판별 대상으로 하는 소정수(M 종류, M은 2 이상의 소정의 정수)의 결함의 종류(이하, 판별 가능 종류)의 일부로 한다. 또한, 판별 대상으로 하는 1개 또는 복수 종류의 결함의 후보는, 결함 판별 공정마다 다르다.

결함 검사 장치(100)는 제어부(110)와, 촬상부(130)와, 입출력부(140)와, 조작부(150)와, 표시부(160)와, 기억부(170)를 포함하여 구성된다.

제어부(110)는 결함 검사 장치(100)의 기능을 실현하기 위한 처리나, 그 기능을 제어하기 위한 처리를 실행한다. 제어부(110)는 프로세서 등의 범용 부재를 포함하여, 컴퓨터로서 구성되어도 된다. 프로세서는 미리 기억부(170)에 기억시켜 둔 프로그램을 읽어내고, 읽어낸 프로그램에 기술된 지령으로 지시되는 처리를 행하여, 그 기능을 실현한다. 본원에서는, 프로그램에 기술된 지령으로 지시되는 처리를 행하는 것을, 프로그램을 실행하는 프로그램의 실행 등이라 칭하는 경우가 있다. 제어부(110)의 일부 또는 전부는 프로세서 등의 범용 하드웨어에 한정되지 않고, LSI(Large Scale Integration), ASIC(Application Specific Integrated Circuit) 등의 전용 하드웨어를 포함하여 구성되어도 된다. 제어부(110)의 기능을 실현하는 기능부에 대해서는 후술한다.

촬상부(130)는 자체부(自部) 주변의 시야 범위 내에 존재하는 각종 물체를 나타내는 화상을 촬상하고, 촬상한 화상을 나타내는 화상 데이터를 제어부(110)로 출력한다. 촬상부(130)는 1개의 피검사체에 대하여 촬상 조건을 가변으로 하는 기구를 구비해도 되고, 한번에 복수의 촬상 조건에서 촬상하는 기구를 갖고 있어도 된다. 촬상 조건은 촬상되는 화상에 유의미하게 영향을 미치는 조건이다. 피검사체에 발생하는 결함의 종류에 따라서는, 그 결함의 상의 밝기나 형상이 촬상 조건에 의해 현저하게 다른 경우가 있다. 촬상 조건은, 예를 들어 휘도, 촬상 방향, 조명 방법 등의 어느 것, 또는 이들의 조합으로 지정된다.

도 3은, 한번에 4가지의 촬상 조건에서 공통의 1개의 피검사체의 화상을 촬상하는 경우를 예시한다. 4가지의 촬상 조건은, 휘도와 촬상 방향의 조합으로서 2가지, 조명 방법으로서 반사와 투과의 2가지로 각각 분류된다. 휘도와 촬상 방향의 조합에는, 명시야와 암시야가 있다. 명시야란, 조명이 발한 광선을 피검사체 Sb에 조사하고, 피검사체 Sb에서 반사한 반사광 또는 투과한 투과광의 입사 방향이 시야 내에 포함되는 위치 및 방향으로 촬상부(130)(카메라)를 설치하여 이루어지는 촬상 조건이다. 명시야에서는, 피검사체 Sb에서의 반사광 또는 투과광이 직접 카메라에 입사되므로 밝은 화상이 촬상된다. 암시야란, 조명이 발한 광선을 피검사체 Sb에 조사하고, 피검사체 Sb에서 반사한 반사광 또는 투과한 투과광의 입사 방향이 시야 내에 포함되지 않지만, 피검사체 Sb가 시야 내에 포함되는 위치 및 방향으로 촬상부(130)를 설치하여 이루어지는 촬상 조건이다. 암시야에서는, 피검사체 Sb에서의 반사광 또는 투과광이 직접 카메라에 입사되지 않고, 피검사체 Sb의 표면에 발생하는 산란광이 입사되기 때문에, 명시야보다도 어두운 화상이 촬상된다.

촬상부(130)는 정지 화상을 촬상하는 디지털 스틸 카메라, 동화상을 촬상하는 디지털 비디오 카메라 중 어느 것을 포함하여 구성되어도 된다. 동화상은, 일정한 시간 간격(예를 들어, 1/120 내지 1/12초)으로 반복 촬상하여 얻어지는 정지 화상을 포함하여 구성된다.

도 1로 되돌아가서, 입출력부(140)는 무선 또는 유선으로 다른 기기와 각종 데이터를 입출력 가능하게 접속한다. 입출력부(140)는 예를 들어 입출력 인터페이스 또는 통신 인터페이스를 구비한다. 입출력부(140)는 예를 들어 제조 공정에서 사용되는 각종 제어 기기, 계측 기기, 기타 기기에 접속된다.

조작부(150)는 유저의 조작을 접수하고, 접수한 조작에 따른 조작 신호를 생성한다. 조작부(150)는 예를 들어 버튼, 손잡이, 다이얼 등의 전용 부재를 포함하여 구성되어도 되고, 마우스, 키보드 등의 범용 부재를 포함하여 구성되어도 된다. 조작부(150)는 다른 기기로부터 조작 신호를 무선 또는 유선으로 수신하는 입력 인터페이스여도 된다. 다른 기기는, 예를 들어 리모트 컨트롤러, 다기능 휴대 전화기 등의 휴대 기기일 수 있다. 조작부(150)는 취득한 조작 신호를 제어부(110)로 출력한다.

표시부(160)는 제어부(110)로부터 입력되는 표시 데이터에 기초하는 화상, 문자, 기호 등의 표시 정보를 표시한다. 표시부(160)는 예를 들어 액정 디스플레이, 유기 발광 소자 디스플레이 등의 어느 것을 구비해도 된다.

기억부(170)는 상기 프로그램 외에도, 제어부(110)가 실행하는 처리에 사용되는 각종 데이터, 제어부(110)가 취득한 각종 데이터를 기억한다. 기억부(170)는 예를 들어 ROM(Read Only Memory), 플래시 메모리, HDD(Hard Disk Drive) 등의 불휘발성(비일시적) 기억 매체를 포함하여 구성된다. 또한, 기억부(170)는 RAM(Random Access Memory), 레지스터 등의 휘발성 기억 매체를 포함하여 구성된다.

제어부(110)는 그 기능을 실현하는 기능부로서, 결함 검출부(112), 결함 판별부(114), 종합 판정부(116), 모델 학습부(118), 제조 공정 관리부(120), 신종 판정부(122) 및 판정 입력부(124)를 포함하여 구성된다. 이들 기능부는 각각 전용 부재를 포함하여 구성되어도 되고, 프로세서가 소정의 프로그램을 실행함으로써, 그 기능을 발휘해도 된다. 이하의 설명에서는, 피검사체가 박형 패널 디스플레이(FPD: Flat Panel Display)용 유리 기판인 경우를 주로 하지만, 피검사체는 기타 물체여도 된다.

제어부(110)는 그 기능을 실현하는 기능부로서, 결함 검출부(112), 결함 판별부(114), 종합 판정부(116), 모델 학습부(118), 제조 공정 관리부(120), 신종 판정부(122), 및 판정 입력부(124)를 포함하여 구성된다. 이들 기능부는 각각 전용 부재를 포함하여 구성되어도 되고, 프로세서가 소정의 프로그램을 실행함으로써, 그 기능을 발휘해도 된다. 이하의 설명에서는, 피검사체가 박형 패널 디스플레이(FPD: Flat Panel Display)용 유리 기판인 경우를 주로 하지만, 피검사체는 기타 물체여도 된다.

도 1로 되돌아가서, 결함 검출부(112)는 각 1개의 결함 영역을 포함하는 부분의 화상을 결함의 화상으로서 나타내는 화상 데이터를 결함 판별부(114)로 출력한다. 결함 검출부(112)는 피검출체의 화상으로부터 결함 영역이 검출되지 않은 경우에는, 그 피검출체의 화상을 양품 화상으로서 판정하고, 양품 화상을 나타내는 화상 데이터를 종합 판정부(116)로 출력한다. 또한, 그 경우에는, 결함 검출부(112)는 입력 화면의 표시를 지시하는 지시 정보를 판정 입력부(124)로 출력해도 된다.

또한, 결함 영역으로서 정한 영역의 크기가 수평 방향, 수직 방향의 각각에 대하여 소정의 크기의 검출 역치 미만인 경우에는, 결함 검출부(112)는 그 결함 영역의 판정 결과를 무시하고, 정상 영역으로서 정해도 된다. 검출 역치로서, 전형적인 결함의 크기보다도 충분히 작은 크기를 미리 결함 검출부(112)에 설정해 둔다.

결함 판별부(114)는 복수의 결함 판별기를 구비한다. 이하의 설명에서는, 결함 판별기의 개수를 N개(N은 2 이상의 미리 정한 정수)로 하고, 개개의 결함 판별기를 결함 판별기(114-1, 114-2) 등으로 자번호를 붙여 구별하는 경우가 있다. 마찬가지로 개개의 결함 판별기의 구성부도 자번호를 붙여 구별하는 경우가 있다. 개개의 결함 판별기는 반드시 하드웨어만으로 구성되지 않아도 되고, 소정의 프로그램의 실행에 의해, 그 기능이 실현되어도 된다.

N개의 결함 판별기(114-1 내지 114-N)는, 각각 결함 검출부(112)로부터 입력되는 화상 데이터로 나타내지는 화상에 나타내지는 결함의 종류를, 1개 또는 복수 종류의 결함의 후보 중 어느 것으로 판별하는 처리를, 피검사체에 발생한 결함마다 행한다. 판별 가능으로 하는 1개 또는 복수 종류의 결함의 후보는, N개의 결함 판별기(114-1 내지 114-N)간에 다를 수 있다. 이들 후보는, 각각 결함 검출부(112) 전체로서 판별 가능한 M 종류의 판별 가능 종류의 일부를 이룬다. 따라서, M은 N과 동등하거나 N보다 많다. M과 N이 동등한 경우에는, N개의 결함 판별기(114-1 내지 114-N)는, 피검사체에 발생하는 결함의 종류가, 각각 다른 각 1종류의 결함의 종류일지 여부, 혹은 그 1종류일 확률을 판정하는 1 클래스 판별기로서 기능한다. M이 N보다 많은 경우에는, 적어도 1개의 결함 판별기는, 피검사체에 발생하는 결함의 종류가 복수 종류 중 어느 종류일지, 혹은 각각의 종류일 확률을 판정하는 다클래스 판별기로서 기능한다. 이하의 설명에서는, 주로 M과 N이 동등한 경우를 예로 한다.

이어서, 결함 판별기(114-1)의 기능 구성에 대하여 설명한다. 결함 판별기(114-2 내지 114-N)는, 특별히 언급이 없는 한 결함 판별기(114-1)와 공통의 기능 구성을 구비하는 것으로 하고, 결함 판별기(114-1)에 대한 설명을 원용한다.

결함 판별기(114-1)는 전처리 공정, 추론 공정, 결함 판정 공정 및 양부 판정 공정을 실행한다(도 2 스텝 S112-1, S114-1, S116-1 및 S118-1에 상당). 전처리 공정은, 자체 기구(自器)에 입력되는 화상 데이터의 형식을 추론 공정에의 입력으로서 요구되는 형식(예를 들어, 입력값의 요소수)에 정합시키기 위한 처리를 포함한다. 전처리 공정에는, 차원 삭감, 리사이즈의 한쪽 또는 양쪽이 포함된다.

리사이즈는, 처리 대상으로 하는 부분 영역의 수평 방향, 수직 방향의 화소수를 변경하는 처리이다. 리사이즈는 확대도, 축소도 될 수 있다. 결함 판별기(114-1)는, 입력되는 화상의 화소마다의 신호값을 보간하여, 확대 또는 축소 후의 화상의 화소마다의 신호값을 정한다. 결함 판별기(114-1)는 보간에 있어서, 예를 들어 바이리니어 보간, 바이큐빅 보간 등의 공지된 보간 방법이 이용 가능해진다. 결함 판별기(114-1)는, 단순하게 소정의 배율로 화상의 사이즈를 변경하는 것이 아니고, 각 1개의 결함 영역에 대해서, 그 결함 영역의 전체가 포함되고, 그 수평 방향 또는 수직 방향의 직경의 최댓값이, 부분 영역의 수평 방향 또는 수직 방향의 크기의 상수 r(예를 들어, 0.5 이상 1 미만의 실수)배가 되도록 정해도 된다. 직경이란, 결함의 영역을 횡단하는, 모든 방향의 선분의 길이에 상당한다. 예를 들어, 검출된 결함의 형상이 타원형인 경우에는, 그 결함의 직경의 최대값으로서 장축의 길이로 대표된다. 검출된 결함의 형상이 직사각형인 경우에는, 그 결함의 직경의 최대값으로서 긴 변의 길이로 대표된다.

차원 삭감은, 1개의 부분 영역을 각각 다른 촬상 조건에서 촬상한 복수의 화상을, 보다 적은 개수의 화상에 집약하는 처리이다. 차원 삭감은 화상 합성에 의해 실현된다. 화상 합성은, 복수의 화상간에서의 휘도값의 가중치 부여합을 새로운 신호값으로서 화소마다 산출하는 처리를 포함한다. 가중치 부여합은, 개개의 화상 휘도값과 그 화상에 대응하는 가중 계수의 곱인 승산값의 화상간의 총합에 상당한다. 화상 합성에 의해 생성되는 화상의 수는, 최저 1개이면 되지만, 복수(예를 들어, 3개)여도 된다. 화상 합성에 있어서, 예를 들어 알파 블렌딩라는 방법이 사용되어도 된다. 알파 블렌딩이란, 합성 대상으로 하는 화상마다의 가중 계수(알파값)의 총합이 1로 정규화된 방법이다. 결함 판별기(114-1 내지 114-N)간에서는, 화상간의 가중 계수의 비가 달라도 된다. 이에 의해, 결함 판별기마다의 결함의 종류에 따라서, 그 결함의 검출이 용이한 촬상 조건에서의 화상에 대한 가중 계수로서, 기타 화상에 대한 가중 계수보다도 큰 값을 설정해두어도 된다. 예를 들어, 흠집에 대해서는, 명시야에서 촬상된 화상에 대한 가중 계수를 상대적으로 작게 하고, 암시야에서 촬상된 화상에 대한 가중 계수가 커지도록 설정해둔다. 암시야에서 취득된 화상으로부터 흠집의 검출이 보다 확실하게 이루어진다.

차원 삭감에 의해 생성되는 화상의 수를 3개로 하는 경우에는, 결함 판별기(114-1)는, 생성되는 화상마다의 신호값을, 각각 다른 색조의 색신호값으로서 화소마다 채용하고, 3종류의 색조마다의 화상을 통합하여 이루어지는 1개의 컬러 화상을 나타내는 화상 데이터를 생성해도 된다. 컬러 화상을 표시하기 위한 표색계로서, RGB 표색계, YCrCb 표색계 등을 이용할 수 있다. 4개의 촬상 조건이 다른 부분 영역의 화상 Im01 내지 Im04를 차원 삭감에 의해 1개의 컬러 화상 Im05를 합성하는 경우를 예시한다. 먼저, 결함 판별기(114-1)는, 명시야에서 촬상된 화상 Im01, Im02 및 암시야에서 촬상된 화상 Im03, Im04를 취득한다. 이 때, 화상 Im01, Im03은 투과광을 촬상하여 얻어진 화상이며, 화상 Im02, Im04는 반사광을 촬상하여 얻어진 화상이다. 촬상 조건에 의해 결함의 형상이나 휘도가 다르다. 화상 Im05는 결함 판별기(114-1)에 있어서, 적, 녹, 청으로, 각각 다른 가중 계수를 사용하여 4개의 화상의 신호값을 합성하여 얻어진 합성값으로 표시된다. 예를 들어, 화상 Im05의 적 채널의 신호값은 화상 Im01의 휘도값과 화상 Im02의 휘도값을, 각각의 가중 계수의 비로서 0.7:0.3으로 합성하여 얻어진다. 화상 Im05의 녹 채널의 신호값은, 화상 Im03의 휘도값과 화상 Im04의 휘도값을, 각각의 가중 계수의 비로서 0.4:0.6으로 합성하여 얻어진다. 화상 Im05의 청 채널의 신호값은, 화상 Im02의 휘도값과 화상 Im03의 휘도값을, 각각의 가중 계수의 비로서 0.5:0.5로 합성하여 얻어진다.

추론 공정은, 처리 대상으로 하는 화상을 나타내는 화상 데이터에 대하여 피검사체에 발생하는 결함의 종류가 소정의 종류가 될 확률을 정하는 공정이다. 결함 판별기(114-1)는, 화상 데이터를 이루는 화소마다의 신호값을 입력값으로서 입력하고, 입력된 입력값에 대하여 소정의 기계 학습 모델을 사용하여, 그 확률을 출력값으로서 연산한다. 출력값은 0 이상 1 이하의 실수값이 된다. 결함 판별기(114-1)에는, 입력값으로부터 출력값을 연산하기 위한 파라미터 세트(모델 파라미터)를 미리 설정해둔다.

기계 학습 모델로서, 예를 들어 컨벌루션 뉴럴 네트워크(CNN: Convolutional Neural Network), 재귀형 뉴럴 네트워크(RNN: Recurrent Neural Network) 등의 뉴럴 네트워크를 이용할 수 있다. 이용 가능한 기계 학습 모델은, 뉴럴 네트워크에 한정되지 않고, 랜덤 포레스트(RF: Random Forest), 서포트 벡터 머신(SVM: Support Vector Machine) 등의 방법도 이용할 수 있다.

결함 판정 공정은, 추론 공정에 있어서 산출된 확률에 기초하여, 판정 대상으로 하는 종류의 결함에 해당하는지 여부를 판정하는 공정이다. 결함 판별기(114-1)는, 예를 들어 산출된 확률이 소정의 결함의 판정 역치보다도 큰 경우, 그 종류에 해당한다고 판정하고, 산출된 확률이 결함 판정 역치 이하가 되는 경우, 그 종류에 비해당한다고 판정한다. 결함 판정 역치는 판정 대상의 결함의 종류마다 독립적으로 설정되어도 된다. 예를 들어, 개개의 결함 판별기에는, 발생 리스크가 높은 종류의 결함에 대한 결함 판정 역치일수록 작은 값을 설정해두고, 발생 리스크가 낮은 종류의 결함에 대한 결함 판정 역치일수록 큰 값을 설정해둔다. 발생 리스크가 높다는 것은, 발생에 의한 물적 혹은 경제적인 손실이 발생할 가능성이 높은 것, 또는 그들의 손실이 큰 것을 의미한다. 즉, 발생 리스크가 높은 결함의 종류인 고리스크 결함일수록 간과가 허용되지 않고 부정되고, 발생 리스크가 낮은 결함의 종류인 저리스크 결함일수록 검출이 허용되는 경향이 있다. 예를 들어, 흠집, 기포, 이물, 오염의 각각에 대한 리스크는, 그 순서로 낮아지고, 흠집에 대한 리스크가 높다. 그래서, 고리스크 결함일수록 결함 판정 역치를 작게 함으로써 상대적으로 빠짐 없이 결함을 검출할 수 있는 재현율(Recall)을 높게 할 수 있다. 발생 리스크가 낮은 결함의 종류인 저리스크 결함일수록 결함 판정 역치를 크게 함으로써 상대적으로 확실하게 결함으로서 검출할 수 있는 적합율(Precision)을 높게 할 수 있다. 결함 판별기(114-1)는, 판정 대상으로 하는 대상 영역에 대하여, 결함에의 해당 또는 비해당을 나타내는 결함 플래그를 생성하고, 대상 영역과 대응지어 생성된 결함 플래그를 기억부(170)에 기억한다.

또한, 본원에서는, 상기 「이물」, 「오염」과 같이, 결함의 종류로서 소정의 물체가 부착 또는 혼입되어 있는 상태를, 그 물체의 명칭을 사용하여 호칭하는 경우가 있다.

양부 판정 공정은, 결함 판정 공정에 있어서 소정의 결함의 종류에 해당한다고 판정된 경우, 검출된 결함에 대하여 소정의 판정 기준값에 기초하여 결함의 영역의 양부를 판정하는 공정이다. 결함 판정 공정에 있어서 결함에 비해당한다고 판정된 경우에는, 양부 판정 공정은 실행되지 않는다. 결함 판별기(114-1)는, 예를 들어 검출된 결함의 크기(사이즈)가 미리 자체 기구에 설정된 판정 데이터에 나타내지는 판정 기준값보다도 큰 경우, 그 영역을 불량품으로 판정하고, 검출된 결함의 크기가 판정 기준값 이하가 되는 경우, 그 영역을 양품으로 판정한다. 일반적으로 개개의 결함은 2차원 평면 상의 도형으로 표시되지만, 결함 판별기(114-1)는, 검출된 결함의 직경의 최댓값을 결함의 크기로서 결정짓는다. 판정 기준값은 판정 대상의 결함의 종류마다 독립적으로 설정되어도 된다. 예를 들어, 흠집에 대한 판정 기준값은 100 내지 300㎛, 이물에 대한 판정 기준값은 50 내지 120㎛가 된다. 결함 판별기(114-1)는, 판정 대상으로 하는 결함과 그 종류에 대하여 양품 또는 불량품을 나타내는 불량품 플래그를 생성하고, 대상 영역과 대응지어 불량품 플래그를 기억부(170)에 기억한다.

종합 판정부(116)는 검출된 결함 각각의 양부 상태를 참조하여 피검사체 전체의 상태를 판정한다. 종합 판정부(116)는 예를 들어 결함의 종류에 관계없이, 피검사체의 각 결함에 대하여 양부 플래그에 나타내는 모든 양부 판정을 참조하여, 불량품으로 판정된 결함의 개수를 계수한다. 종합 판정부(116)는 전체 종류의 결함 개수가 소정의 판정 기준 개수보다도 많은 경우, 피검사체를 불량품으로 판정하고, 전체 종류의 결함 개수가 소정의 판정 기준 개수 이하가 되는 경우, 피검사체를 양품으로 판정한다.

결함 판별부(114)에서는 결함의 종류간에서 양부 판정 공정이 병행되기 때문에, 1개의 결함에 대하여 복수의 결함의 종류에 대하여 불량품을 나타내는 불량품 플래그가 대응지어지는 경우가 있다. 종합 판정부(116), 그 복수의 불량품 플래그가 대응지어진 결함은, 그 복수의 종류에 해당하는 것으로 취급해도 된다. 예를 들어, 피검사체에서 3개의 결함이 검출될 때, 종합 판정부(116)는 어떤 결함(001)에 대해서는, 흠집 및 이물의 양쪽에 해당하고, 결함(002)에 대해서는, 오염에 해당하고, 결함(003)에 대해서는, 이물 및 오염에 해당한다고 판정한다. 결함 판별부(114)는 현실에 발생한 결함의 개수인 3개를 결함의 개수로서 정해도 되고, 종류마다의 건수의 총합인 5건을 결함의 개수로서 정해도 된다.

또한, 종합 판정부(116)에는, 예를 들어 결함의 종류마다의 결함의 개수의 판정 기준 개수를 나타내는 판정 데이터를 미리 설정해두고, 판정 데이터를 사용하여 피검사체의 상태를 판정해도 된다(룰베이스). 종합 판정부(116)는 결함의 종류마다 각 결함에 대하여 양부 플래그에 나타내는 양부 판정을 참조하여, 결함의 개수를 계수한다. 종합 판정부(116)는, 계수한 결함의 개수가 판정 데이터에 나타내지는 판정 기준 개수 이상이 되는 결함의 종류가 존재할 때, 피검사체를 불량품으로 판정하고, 이러한 결함의 종류가 존재하지 않을 때, 피검사체를 양품으로 판정한다. 발생 리스크가 높은 결함의 종류의 판정 기준 개수일수록 적고, 발생 리스크가 낮은 결함의 종류의 판정 기준 개수일수록 많아도 된다. 예를 들어, 결함의 종류가 흠집, 먼지인 경우에는, 판정 기준 개수는 각각 1개, 5개로 한다. 도 5는, 피검사체에서는 1개의 흠집과 2개의 먼지가 검출되는 경우를 예시한다. 가령 특정한 종류의 결함인 먼지에만 주목하고, 기타 종류의 결함에 주목하지 않을 경우에는, 검출되는 먼지의 개수가 2개로 판정 기준 건수보다도 적기 때문에, 피검사체는 양품으로 판정될 수 있다. 그러나, 흠집의 개수는 1개인 판정 기준 건수와 동등하기 때문에, 종합 판정부(116)는 피검사체를 불량품으로 판정한다. 그 때문에, 개개의 결함의 종류에 대하여 판정 기준 개수와 비교함으로써, 허용되지 않는 결함을 갖는 피검사체에 대하여 양품으로서 판정될 리스크를 회피할 수 있다.

종합 판정부(116)에는 결함의 종류마다의 가중 계수를 미리 설정해두고, 결함의 종류마다의 가중 계수와 결함의 개수의 승산값의 결함의 종류간의 총합인 가중치 부여합을 실효 개수로서 산출해도 된다. 종합 판정부(116)는 실효 개수가 소정의 판정 기준 개수보다도 많은 경우, 피검사체를 불량품으로 판정하고, 실효 개수가 판정 기준 개수 이하가 되는 경우, 피검사체를 양품으로 판정해도 된다.

종합 판정부(116)에 결함 검출부(112)로부터 양품 화상을 나타내는 화상 데이터가 입력될 때, 피검사체를 양품으로 판정해도 된다.

종합 판정부(116)는 결함의 종류에 관계없이, 피검사체의 각 결함에 대하여 양부 플래그에 나타내는 모든 결함 및 종류의 양부 판정이 양품으로 판정되어 있는 경우, 입력 화면의 표시를 나타내는 지시 정보를 판정 입력부(124)로 출력해도 된다.

양품으로 판정된 피검사체는, 출하 대상으로서, 불량품으로 판정된 피검사체는, 폐기 대상 또는 제조 공정으로의 환송 대상이 된다. 종합 판정부(116)는 판정 결과를 나타내는 판정 결과 정보를 제조 공정 관리부(120)로 출력한다. 제조 공정 관리부(120)는 종합 판정부(116)로부터 입력되는 판정 결과 정보를 참조하여, 불량품이라고 판정한 피검사체를 폐기 또는 제조 공정으로 환송한다. 제조 공정 관리부(120)는 예를 들어 제조 공정으로의 환송 또는 폐기를 나타내는 제어 신호를 제조 설비로 출력한다.

또한, 종합 판정부(116)는 판정 결과 정보에 결함의 종류마다의 결함의 개수 또는 모든 결함의 개수 정보를 포함해도 된다.

모델 학습부(118)는 결함 판별부(114)에서 결함의 종류를 판별하기 위해 사용하는 기계 학습 모델의 파라미터군을 모델 파라미터로서 산출한다. 모델 학습부(118)는 판별 대상으로 하는 결함의 종류마다, 훈련 데이터((training data), 학습 데이터(learning data), 교사 데이터(supervised data) 등이라고도 불림)에 대하여 소정의 기계 학습 모델을 사용하여 학습(learning) 처리를 행해 모델 파라미터를 산출한다. 모델 학습부(118)에는, 학습 처리를 행하기 전에, 기지의 입력값과, 그 입력값에 대응하는 출력값의 조인 데이터 세트를 복수 세트(전형적으로는, 1000 내지 10000 이상) 포함하는 훈련 데이터를 설정해둔다. 입력값으로서, 화소마다의 신호값을 포함하는 화상 데이터가 사용된다. 훈련 데이터에 포함되는 각 세트의 출력값으로서, 입력값으로 하는 화상 데이터로 나타내지는 화상이 판별 대상으로 하는 종류의 결함의 화상을 나타내는 경우에는 1이 부여되고, 기타 경우에는 0이 부여된다. 모델 학습부(118)는 학습 처리에 있어서, 예를 들어 입력값으로 하는 화상 데이터마다, 그 결함의 종류와 그 출력값을 부가(애노테이션(annotation))하여 구성된 훈련 데이터를 사용할 수 있다.

학습 처리에 있어서, 모델 학습부(118)는 복수 세트 전체로서 입력값에 대하여 소정의 기계 학습 모델을 사용하여 산출되는 연산값과 출력값의 차의 크기가 제로에 근사하도록 수렴할 때까지 모델 파라미터를 갱신한다. 갱신 전후의 모델 파라미터의 변화량, 또는 갱신 전후의 차의 크기의 변화량이, 소정의 수렴 판정 역치 미만이 될 때, 모델 파라미터가 수렴하였다고 판정할 수 있다.

모델 파라미터의 갱신에 있어서, 예를 들어 최급 강하법(steepest descent), 확률적 구배 강하법(stochastic gradient descent), 공역 구배법(conjugate gradient method), 오차 역전파법(back propagation) 등의 방법을 사용할 수 있다.

차의 크기의 지표값으로서, 예를 들어 평균 제곱 오차(SSD: Sum of Squared Differences), 교차 엔트로피 오차(cross entropy error) 등의 오차 함수를 사용할 수 있다. 모델 학습부(118)는 결함의 종류마다 산출한 모델 파라미터를, 그 결함의 종류의 판별에 관한 결함 판별기에 설정한다.

또한, 모델 학습부(118)는 판정 입력부(124)로부터 입력된 결함의 종류에 대해서, 그 결함의 종류에 관한 출력값을 1로 하고, 판정 대상으로 한 화상 데이터를 입력값으로 하는 데이터 세트를, 그 결함의 종류에 관한 훈련 데이터에 추가해도 된다. 또한, 모델 학습부(118)는 그 이외의 종류에 관한 출력값을 0으로 하고, 판정 대상으로 한 화상 데이터를 입력값으로 하는 데이터 세트를, 그 결함의 종류에 관한 훈련 데이터에 추가해도 된다. 그리고, 모델 학습부(118)는 새롭게 추가한 훈련 데이터를 사용하여, 각각의 결함의 종류에 관한 모델 파라미터를 갱신해도 된다(전이 학습).

제조 공정 관리부(120)는 결함 판별부(114)에 의해 판정된 피검사체로 하는 제품에 발생하는 결함의 상태에 기초하여, 그 제품의 제조 공정을 제어한다. 제조 공정 관리부(120)에는, 예를 들어 미리 결함의 상태 및 수정 조건의 정보를 포함하고, 이들을 대응지어 나타내는 제어 데이터를 미리 설정해둔다. 수정 조건이란, 그 시점에 있어서 제조 공정에서 사용되고 있는 제조 조건을 수정하여 수정 후의 제조 조건을 부여하기 위한 조건이다. 제조 공정 관리부(120)는 결함의 상태 정보의 예로서, 피검사체에 발생한 결함의 종류별 개수를 사용할 수 있다. 결함의 종류마다의 개수는, 종합 판정부(116)로부터 입력되는 판정 결과 정보에 의해 전달된다. 제조 조건에는, 제품의 제조 공정을 실행하기 위한 동작 파라미터, 그 환경을 나타내는 환경 파라미터가 포함될 수 있다. 동작 파라미터에는, 제조 설비를 이루는 동력의 회전 속도, 소비 전력 등이 포함될 수 있다. 환경 파라미터에는, 온도, 압력 등이 포함될 수 있다. 수정 조건은, 변경 후의 제조 조건을 부여하기 위한 어느 종류의 파라미터의 변화량을 가지고 표시될 수 있다. 제조 공정 관리부(120)는 제어 데이터를 사용하여, 참조한 결함의 상태에 대응하는 수정 조건의 정보를 결정짓는다. 제조 공정 관리부(120)는 정한 수정 조건에서의 제조 조건의 변경을 지시하는 제어 정보를 생성하고, 생성한 제어 정보를 제조 설비로 출력한다. 제조 설비는, 제조 공정 관리부(120)로부터 입력되는 제조 정보에서 나타내지는 수정 조건을 사용하여 제조 조건을 수정하고, 수정 후의 제조 조건하에서 제조 공정을 실행한다.

신종 판정부(122)는 피검사체에서 검출된 결함의 종류가, 기지의 결함의 종류 중 어느 것과도 다른 신종인지 여부를 판정한다. 신종 판정부(122)는 예를 들어 결함 검출부(112)가 검출한 결함의 종류가, 결함 판별부(114)가 판별한 결함의 종류 중 어느 것도 아니라고 판정할 때, 그 결함의 종류가 신종이라고 판정한다. 신종 판정부(122)는 예를 들어 결함 판별기(114-1 내지 114-N) 각각에 대응하는 결함의 종류에 대해서, 모두 결함 플래그가 비해당을 나타내는 결함에 대하여, 결함의 종류가 신종이라고 판정할 수 있다. 신종 판정부(122)는 결함의 종류가 신종이라고 판정하는 경우, 결함의 종류가 신종인 것을 나타내는 통지 화면을 표시부(160)에 표시시켜도 된다. 또한, 그 경우에는, 신종 판정부(122)는 판정 입력부(124)에 입력 화면의 표시를 나타내는 지시 정보를 출력해도 된다. 이에 의해, 유저인 작업원에 대하여, 결함의 종류가 신종인 것을 알아차리게 하여, 결함의 종별이나 양부의 판정 입력을 재촉할 수 있다.

판정 입력부(124)는, 화상 데이터에 나타내지는 화상에 표시된 피검사체에 발생하는 결함의 종류 또는 그 피검사체의 양부를 나타내는 조작 신호를 조작부(150)로부터 입력한다. 판정 입력부(124)는 예를 들어 화상 데이터에 나타내지는 피검사체의 화상과, 결함의 종류, 피검사체의 양부 중 어느 것, 또는 그 양쪽을 누름에 의해 지시 가능하게 하는 화면 부품을 포함하는 입력 화면을 생성하고, 생성한 입력 화면을 표시부(160)에 표시시켜도 된다. 누름이란, 현실적으로 누르는 것 외에도, 표시 영역에 포함되는 위치를 나타내는 조작 신호가 조작에 따라서 조작부(150) 또는 기타 기기로부터 입력되는 것을 의미한다. 화면 부품으로서, 예를 들어 버튼, 체크 박스, 메뉴바 등을 이용할 수 있다.

또한, 결함 검출부(112), 종합 판정부(116) 또는 신종 판정부(122)로부터 입력 화면의 표시를 나타내는 지시 정보가 입력될 때, 입력 화면을 표시부(160)에 표시시켜도 된다. 이에 의해 유저에 대한 종별 또는 양부의 판정 입력이 재촉된다.

판정 입력부(124)는 입력된 결함의 종별, 피검사체의 양부의 판정 정보를 종합 판정부(116)로 출력한다. 또한, 판정 입력부(124)는 입력된 결함의 종별을 모델 학습부(118)로 출력해도 된다.

(검사 처리)

다음에 본 실시 형태에 관한 검사 처리의 예에 대하여 설명한다. 도 2는, 본 실시 형태에 관한 검사 처리의 예를 나타내는 흐름도이다.

(스텝 S102) 촬상부(130)는 피검사체의 예로서 FPD용 유리 기판의 화상을 촬상한다. 그 후, 스텝 S104의 처리로 진행한다.

(스텝 S104) 결함 검출부(112)는 촬상부(130)가 촬상한 피검출체의 화상으로부터 결함이 발생하고 있는 부위인 결함 영역을 검출한다. 그 후, 스텝 S110의 처리로 진행한다.

스텝 S110의 처리는 스텝 S110-1 내지 S110-N의 처리를 포함한다. 스텝 S110-1 내지 S110-N의 처리는, 각각 결함 판별기(114-1 내지 114-N)가 촬상된 화상에서 검출된 개개의 결함 영역을 포함하는 공통의 부분 영역마다 병렬로 실행한다. 스텝 S110-2 내지 S110-N의 처리에 대해서는, 각각 스텝 S110-1의 처리와 마찬가지이기 때문에, 그 설명을 원용한다.

(스텝 S112-1) 결함 판별기(114-1)는 부분 영역 내의 화상에 대하여 전처리 공정을 실행한다. 결함 판별기(114-1)는 다른 촬상 조건마다 촬상된 화상에 대한 차원 삭감과, 차원 삭감 후의 화상의 요소수에 대한 화상 추론 공정에의 입력값의 요소수에의 리사이즈가 포함된다. 일례에서는, 처리 대상으로 하는 화상의 요소수로서, 수평 방향의 화소수, 수직 방향의 화소수, 차원수(프레임수)가 각각 200, 200, 4일 때, 전처리 후의 화상의 수평 방향의 요소수, 수직 방향의 요소수, 차원수는, 각각 224, 224, 3이 될 수 있다. 결함 판별기(114-1)는, 수평 방향의 화소수, 수직 방향의 화소수가, 각각 224, 224가 되는 2차원의 컬러 화상으로 재구성해도 된다. 그 후, 스텝 S114-1의 처리로 진행한다.

(스텝 S114-1) 결함 판별기(114-1)는, 전처리 후의 화상을 나타내는 화소마다의 신호값에 대하여 추론 처리를 실행한다. 결함 판별기(114-1)는, 화소마다의 신호값을 입력값으로 하고, 소정의 기계 학습 모델을 사용하여 출력값으로서 부분 영역에 표시되는 결함의 종류가 자체 기구에 소정의 결함의 종류에 해당할 확률을 산출한다. 그 후, 스텝 S116-1의 처리로 진행한다.

(스텝 S116-1) 결함 판별기(114-1)는 결함 판정 공정을 실행한다. 결함 판별기(114-1)는, 산출된 확률이 자체 기구에 설정된 소정의 결함의 판정 역치보다도 큰지 여부에 의해, 결함의 종류가 자체 기구에 소정의 결함의 종류에 해당하는지 여부를 판정한다. 그 후, 스텝 S118-1의 처리로 진행한다.

(스텝 S118-1) 결함 판별기(114-1)는 양부 판정 공정을 실행한다. 결함 판별기(114-1)는, 예를 들어 검출된 결함의 크기가 자체 기구에 설정된 판정 기준값보다도 큰지 여부에 기초하여 양부를 판정한다. 그 후, 스텝 S122의 처리로 진행한다.

(스텝 S122) 종합 판정부(116)는 검출된 개개의 결함의 종류의 양부 상태를 참조하여, 피검사체 전체의 상태로서, 양품인지 불량품인지를 판정한다. 종합 판정부(116)는 예를 들어 불량품으로 판정된 결함의 개수가 소정의 판정 기준 개수보다도 많은지 여부에 의해, 양품인지 불량품인지를 판정한다. 그 후, 제조 공정 관리부(120)는 양품이라고 판정한 피검사체를 출하 대상 제품으로서 채용하고, 불량품이라고 판정한 피검사체를 폐기 또는 제조 공정으로 환송한다. 그 후, 도 2의 처리를 종료한다.

상기한 바와 같이 본 실시 형태에 관한 결함 검사 장치(100)는, 결함의 종류마다, 검출된 결함이 그 종류에 해당하는지 여부를 판정하는 결함 판별기(114-1 내지 114-N)를 구비한다. 그 때문에, 1종류의 판정에 사용되는 모델 파라미터의 수정은, 다른 종류의 결함의 판정에 영향을 미치지 않는다. 또한, 개개의 결함의 종류에 적합한 촬상 조건, 촬상부(130) 또는 전처리를 사용할 수 있다. 그리고, N개의 결함 판별기(114-1 내지 114-N)는 병렬로 배열된다. 즉, 개개의 결함 판별기는, 각각 다른 결함 판별기의 판정 결과에 관계없이, 검출한 결함의 종류가 소정의 결함의 종류에 해당하는지 여부를 판정한다. 그 때문에, 판정 대상으로 하는 결함의 종류가 증가해도 처리 시간에 변화가 발생하지 않고, 또한 개개의 결함 판별기는, 결함의 양부의 판정 기준값에 관계없이, 그 종류의 결함에 대한 정보, 예를 들어 그 종류에 고유한 특징량을 선택한다. 단, 판정 대상의 결함의 종류가 많을수록, 보다 많은 연산 자원을 요한다.

결함 검사 장치(100)에 있어서, 결함 판별기(114-1 내지 114-N)는 직렬로 배열되어도 된다. 보다 구체적으로는, 결함 판별기(114-n)(n은 1 이상 N-1 이하의 정수)가, 부분 영역 내의 화상에 검출된 결함의 종류가, 자체 기구에 소정의 결함의 종류에 해당하지 않는다고 판정할 때, 결함 판별기(114-n+1)가, 검출된 결함의 종류가, 자체 기구에 소정의 결함의 종류에 해당하는지 여부를 판정하는 처리를 개시한다. 결함 판별기(114-n)는, 부분 영역 내의 화상에서 검출된 결함의 종류가 자체 기구에 소정의 종류에 해당한다고 판정할 때, 검출된 결함의 종류를 해당한다고 판정한 종류로서 확정하고, 결함 판별기(114-n+1) 이후의 처리를 행하지 않는다. 도 6에 나타내는 예에서는, 스텝 S110-1에 있어서, 결함 판별기(114-1)는, 검출된 결함의 종류가 흠집인지 여부를 판정하고, 흠집에 해당한다고 판정할 때, 도 6의 처리를 종료한다. 흠집에 비해당한다고 판정할 때, 결함 판별기(114-1)는 스텝 S110-2의 처리로 진행시킨다. 스텝 S110-2에 있어서, 결함 판별기(114-2)는, 검출된 결함의 종류가 기포인지 여부를 판정하고, 기포에 해당한다고 판정할 때, 도 6의 처리를 종료한다. 기포에 비해당한다고 판정할 때, 결함 판별기(114-2)는 이후의 처리로 진행한다.

따라서, 결함 판별기(114-1 내지 114-N)를 직렬로 접속함으로써, 한번에 결함 판별 공정을 실행하는 결함 판별기의 수가 1개에 한정되기 때문에, 한정된 계산 자원을 유효하게 활용할 수 있다. 또한, 후속하는 결함 판별기에서 사용되는 모델 파라미터의 학습은, 선행하는 결함 판별기에서 사용되는 모델 파라미터의 학습과 독립적으로 실행할 수 있기 때문에, 학습에 소요되는 시간이 증대된다는 문제를 발생하지 않게 된다. 단, 후속하는 결함 판별기에 의한 결함 판별 공정의 실행이 개시되는 타이밍은, 선행하는 결함 판별기에 의한 결함 판별 공정이 완료된 후가 된다. 그 때문에, 도 7에 예시되는 바와 같이, 결함 검사 장치(100) 전체로서 판별 대상의 결함의 종류가 많을수록 처리 시간이 느려지는 경향이 있다. 도 7에 있어서, 종축, 횡축은 각각 처리 시간, 모델수를 나타낸다. 모델수는, 검출 대상으로 하는 결함의 종류, 즉, 결함 판별기의 개수에 상당한다. 도 7에 예시되는 처리 시간은, 모델수에 비례하는 성분과 모델수에 관계없이 일정한 성분(약 0.043초, 파선 참조)을 포함한다. 전자는 개개의 결함의 종류에의 해당 유무의 판정에 소요되는 시간에 상당한다. 후자는 촬영, 전처리 등 결함의 종류에 관계없이 소비되는 시간에 상당한다. 단, 결함 판별기의 개수가 10개 이하로 되는 경우에는, 처리 시간은 종래부터 사용되는 다클래스 모델을 사용하는 경우와 거의 동등해진다. 정밀도에 대해서는, 결함 판별기가 채용하는 기계 학습 모델이, 2 클래스 모델인 경우와, 다클래스 모델인 경우와 비교하면, 동등하거나 혹은 2 클래스 모델쪽이 고정밀도가 된다. 2 클래스 모델은, 결함의 종류가 소정의 1종류에 해당하는지 여부를 판정하기 위해 사용하는 기계 학습 모델이다. 다클래스 모델은, 결함의 종류가 소정의 복수 종류의 어느 종류인지를 판정하기 위해 사용하는 기계 학습 모델이다. 도 8에 나타내는 예에서는, 다클래스 모델, 2 클래스 모델의 각각에 대해서, 오답율이 4.0％, 2.0％가 되어, 2 클래스 모델쪽이 고정밀도가 된다.

또한, 직렬로 접속되는 결함 판별기(114-1 내지 114-N)에 대해서는, 각각 판별 대상으로 하는 제1 내지 제N 종류의 결함을, 그들의 발생 빈도의 내림차순이 되도록 정해두어도 된다. 빈출되는 종류의 결함일수록 조기에 검출되기 때문에, 처리 시간이 과대해지지 않게 된다. 또한, 결함 판별기(114-1 내지 114-N)가 각각 판별 대상으로 하는 제1 내지 제N 종류의 결함을, 그들 리스크의 크기의 내림차순이 되도록 결정지어 두어도 된다. 리스크가 큰 종류의 결함일수록 조기에 검출되기 때문에, 결함의 검출 지연에 의한 손해를 저감시킬 수 있다.

이어서, 신종 판정부(122)의 다른 구성예에 대하여 도 9를 사용하여 설명한다. 신종 판정부(122)는 신종 판정 공정(스텝 S122-n)을 실행한다. 신종 판정 공정은 전처리 공정(스텝 S122-a), 추론 공정(스텝 S122-b), 신종도 계산 공정(스텝 S122-c) 및 신종도 판정 공정(스텝 S122-d)을 포함한다. 단, 도 9에서는, 스텝 S110-3의 도시가 생략되어 있지만, 반드시 스텝 S110-3의 처리를 생략하는 것을 의미하는 것은 아니다.

스텝 S122-a에 있어서, 신종 판정부(122)는 스텝 S112-1 또는 스텝 S112-2와 마찬가지의 전처리 공정을 행한다.

스텝 S122-b에 있어서, 신종 판정부(122)는, 자체부에 입력된 부분 화상에 대하여 N 클래스의 기계 학습 모델을 사용한 추론을 행하고, 추론에 있어서 산출되는 특징량을 추출한다. N 클래스의 기계 학습 모델로서, 예를 들어 결함의 종류로서 N 종류 각각의 확률을 출력값으로서 연산하는 N 클래스의 뉴럴 네트워크(예를 들어, CNN)를 사용할 수 있다. 신종 판정부(122)에는, 각 세트에 대해서, 입력값으로 하는 화상 데이터로 나타내지는 화상이 나타내는 결함의 종류에 대하여, 그 종류에 대응하는 차원의 출력값으로서 1이 부여되고, 기타 종류에 대응하는 차원의 출력값으로서 0이 부가된 훈련 데이터를 사용하여 학습된 모델 파라미터를 설정해둔다. 그리고, 신종 판정부(122)는 자체부를 구성하는 뉴럴 네트워크의 입력층과 출력층을 제외한, 소정의 중간층으로부터 출력되는 연산값을, 그 화상의 특징을 나타내는 특징량으로서 취득할 수 있다. 또한, 설정한 모델 파라미터를 사용하여, 결함의 종류가 기지인 개개의 화상에 대하여 후술하는 방법에 의해 화상(결함)의 특징을 나타내는 특징량을 산출하고, 개개의 결함의 종류에 대하여 특징량의 대푯값(예를 들어, 무게 중심)을 신종 판정부(122)에 미리 설정해 둔다.

스텝 S122-c에 있어서, 신종 판정부(122)는 결함의 종류마다 정한 특징량의 대푯값과 취득한 특징량의 거리를 계산하고, 종류마다 계산한 거리 중 최솟값을 신종도로서 정한다. 도 10은, 검출된 결함(검출 결함)에 대한 특징량을 나타내는 이차원의 벡터가, 요소로 하는 특징량 X, Y로 채워진 특징량 공간에 있어서 별표로 표시되어 있다. 그리고, 결함의 종류로서, 오염, 흠집, 기포, 먼지 각각의 대푯값(X표)과 산출된 특징량의 거리 중, 기포의 대푯값과 특징량의 거리가 신종도로서 산출된다.

도 9로 되돌아가서, 스텝 S122-d에 있어서, 신종 판정부(122)는 산출한 신종도가 소정의 거리의 역치보다도 큰 경우, 결함의 종류가 신종이라고 판정하고, 소정의 거리의 역치 이하인 경우, 결함의 종류가 신종이 아니라고 판정한다. 신종 판정부(122)는 어느 종류의 특징량의 분산보다도 충분히 큰 값을 거리의 역치로서 결정해둔다. 거리를 나타내는 지표값으로서, 예를 들어 마할라노비스 거리(Mahalanobis'distance), 민코프스키 거리(Minkowski's distance), 맨해튼 거리(Manhattan distance), 코사인 유사도(cosine similarity) 등을 이용할 수 있다.

또한, 신종 판정부(122)는 결함의 종류가 신종이라고 판정할 때, 판정 대상으로 한 결함의 종류가 신종인 것을 나타내는 신종 검출 정보를 종합 판정부(116)로 출력해도 된다. 또한, 종합 판정부(116)는 신종 검출 정보가 신종 판정부(122)로부터 입력될 때, 신종 검출 정보에서 나타내지는 결함에 대해서, 양부 플래그를 기각해도 된다. 이에 의해, 기존의 판정 결과가 잘못 채용되는 것이 회피된다.

신종 판정부(122)는 신종으로서 판정된 결함을 나타내는 화상의 특징량을 신종의 대푯값으로서 정해도 된다. 신종 판정부(122)는 별개의 화상 데이터로부터 산출되는 특징량이 신종의 대푯값과의 거리가 소정의 거리 이내인 경우, 그 화상 데이터에 나타내지는 결함의 종류가 신종이라고 판정해도 된다. 그리고, 모델 학습부(118)는 입력값으로서 신종의 결함의 화상을 나타내는 화상 데이터가 부여되고, 출력값으로서 1이 부여되는 복수의 세트와, 입력값으로서 기타 종류의 결함의 화상을 나타내는 화상 데이터가 부여되고, 출력값으로서 0이 부여되는 복수의 세트를 포함하는 훈련 데이터를 사용한 학습 처리를 행하여, 화상 데이터로부터 신종의 결함을 판별하기 위한 모델 파라미터를 정해도 된다. 결함 판별부(114)는 정한 모델 파라미터를 사용하여 신종의 결함을 판별하기 위한 새로운 결함 판정기를 구성해도 된다.

이어서, 제조 공정 관리부(120)에 의한 제조 공정의 제어의 예에 대하여 도 11과 도 12를 사용하여 설명한다. 도 11, 도 12에 예시되는 처리는, 스텝 S102-S126의 처리를 포함한다. 스텝 S102-S122의 처리에 대해서는, 상기 설명을 원용한다. 단, 스텝 S122에 있어서, 종합 판정부(116)는 피검사체로 하는 제품에 발생하는 결함의 상태의 예로서, 결함의 종류마다의 개수를 나타내는 판정 결과 정보를 제조 공정 관리부(120)로 출력한다.

스텝 S102-S122의 처리는 일련의 검사 공정에 포함되고, 피검사체로 하는 제품마다의 결함의 상태, 또는 그들의 시계열이 품질 트렌드로서 얻어진다.

스텝 S124에 있어서, 제조 공정 관리부(120)는 미리 자체부에 설정된 제어 데이터를 참조하여, 판정 결과 정보에 나타내지는 결함의 상태에 대응하는 수정 조건(후술)을 정한다.

스텝 S126에 있어서, 제조 공정 관리부(120)는 정한 수정 조건에서의 제조 조건의 변경을 지시하는 제어 정보를 생성하고, 생성한 제어 정보를 제조 설비로 출력한다(피드백). 제조 설비는 제조 공정 관리부(120)로부터 입력되는 제조 정보에서 나타내지는 수정 조건을 사용하여 제조 조건을 수정한다. 수정된 제품마다의 제조 조건, 또는 그들의 시계열이 제어 트렌드로서 얻어진다. 제조 공정에서는, 제조 설비는 수정 후의 제조 조건을 사용하여 제조 공정(스텝 S200)을 실행한다. 본 실시 형태는, 스텝 S102-S122의 검사 공정을 포함하는 제조 방법으로서 실현될 수 있다.

또한, 스텝 S102-S126의 처리는 제조 공정 S200 후가 아니고, 예를 들어 절입·절단 공정 S203과 연마 공정 S204 사이 등의, 제조 공정 S200의 도중에 도입되어도 된다. 그 경우, 스텝 S126에 있어서, 제조 공정 관리부(120)는, 생성된 제어 정보를 스텝 S102-S126보다 선행하는 공정을 실행하는 상류의 제조 설비로 출력해도 되고(피드백), 이것을 대신하거나, 또는 추가로 제조 공정 관리부(120)는, 생성된 제어 정보를 스텝 S102-S126보다도 후속하는 공정을 실행하는 하류의 제조 설비로 출력(피드 포워드)해도 된다. 이에 의해, 스텝 S102-S126보다도 후속하는 하류의 공정에서의 제조 조건이 보다 효율화된다. 예를 들어, 스텝 S102-S126이 연마 공정 S204 전에 도입된 경우에는, 스텝 S126에 있어서 생성되는 제어 정보에 기초하여 연마 공정 S204에 있어서 연마량이 조정된다.

이어서, 유리 기판의 제조 공정에의 적용예에 대하여 설명한다. 제조 공정의 전체에 대해서는, 예를 들어 국제 공개 제2012/090766호 공보, 일본 특허 제5983406호 공보에, 연마 공정에 대해서는, 예를 들어 일본 특허 제4862404호 공보, 특허 제4207153호 공보에, 더 자세하게 기재되어 있다.

유리 기판은 플로트법, 퓨전법 등의 제법을 사용하여 제조된다. 도 13에 예시되는 유리 기판의 제조 공정 S200은, 예를 들어 용해 공정 S201, 성형 공정 S202, 절입·절단 공정 S203, 연마 공정 S204, 제품부 낙하 공정 S205 및 분쇄 공정 S208을 포함한다. 용해 공정 S201, 성형 공정 S202, 절입·절단 공정 S203, 연마 공정 S204, 제품부 낙하 공정 S205 및 분쇄 공정 S208의 각각을 실행하는 용해 수단, 성형 수단, 절입·절단 수단, 연마 수단, 제품부 낙하 수단 및 분쇄 수단은, 제조 설비를 구성한다(도시하지 않음). 본 실시 형태에 관한 결함 검사 장치(100)도 제조 설비에 포함되어도 된다.

용해 수단으로서, 예를 들어 용해 가마가 사용된다. 용해 가마는 용해 공정 S201에 있어서, 유리 원료를 가열함으로써 용해시켜 용융 유리를 형성한다. 성형 수단으로서, 예를 들어 성형 장치가 사용된다. 성형 장치는 용융 주석욕을 구비하고, 성형 공정 S202에 있어서, 용융 주석욕 내의 주석 상에 용해 가마로부터 이송된 용융 유리를 전개하고, 소정의 폭을 갖는 띠상의 유리를 유리 리본으로서 성형한다. 유리 리본은 반송 롤러의 주반송로에 적재되고, 제품으로 하는 유리 기판으로서 포장 수단(도시하지 않음)을 향해 반송되어도 된다. 포장 수단에 도달할 때까지의 사이에, 유리 기판에 대하여 절입·절단 공정 S203, 연마 공정 S204 및 제품부 낙하 공정 S205가 실행된다. 절입·절단 공정 S203을 실행하는 절입·절단 수단으로서, 예를 들어 꺾음 절단 장치가 사용된다. 꺾음 절단 장치는, 주반송로에 흘려지는 유리 리본을 소정의 사이즈의 유리 기판으로서 형성하는 것이며, 반송 방향의 상류에 절입선 가공 장치와, 절입선 가공 장치보다도 하류에 꺾음 장치를 구비한다. 절입·절단 공정 S203에 있어서, 절입선 가공 장치는 커터를 구비하고, 커터의 선단을 유리 리본의 표면에 소정의 압력으로 가압함으로써, 유리 리본에 절입선을 형성한다. 꺾음 장치는 절입선에 따라서 유리 리본을 분할하여 소정의 크기의 유리 기판으로 분할한다.

연마 공정 S204를 실행하는 연마 수단으로서, 분할된 유리 기판의 표면을 연마하는 연마 장치가 사용된다. 연마 장치는, 예를 들어 복수대의 자전 및 공전하는 원형 연마구를 구비하고, 유리 기판의 반송 방향으로 이동하고 있는 상태에서, 유리 기판을 연속 연마한다(연속식). 연마 장치는, 유리 기판의 폭보다도 직경이 작은 원형 연마구를 유리 기판의 이동 중심선을 기준으로 하여 쌍을 이루고, 그 이동 방향을 따라서 지그재그상으로 2대 배치하고, 원형 연마구가 이동 중심선을 초과하도록 하여 유리 기판의 표면을 연마한다.

연마 장치는, 정지하고 있는 상태에서 유리 기판의 표면을 연마하기 위한 구성을 구비하고 있어도 된다(비연속식). 연마 장치는, 예를 들어 기판 접착 스테이지, 막 프레임 설치 스테이지, 연마 스테이지, 막 프레임 분리 스테이지 및 기판 분리 스테이지를 구비한다. 기판 접착 스테이지는 막 프레임에 유리 기판을 접착한다. 막 프레임 설치 스테이지는 막 프레임을 캐리어의 하부에 설치한다. 연마 스테이지는 막 프레임을 캐리어에 설치한 후에, 캐리어와 연마 정반을 상대적으로 접근시켜, 막체에 접착된 기판의 연마면을 연마 정반에 압박하여 연마한다. 막 프레임 분리 스테이지는 캐리어로부터 막 프레임을 분리한다. 기판 분리 스테이지는 막 프레임으로부터 연마 후의 유리 기판을 분리한다.

제품부 낙하 공정 S205를 실행하는 제품부 낙하 수단으로서, 낙하 장치가 사용된다. 낙하 장치는 제어부와 회동 기구를 구비하고, 제품부 낙하 공정 S205에 있어서, 제조된 유리 기판의 주반송로에서의 낙하의 필요 여부를 제어한다. 제어부는, 결함 검사 장치(100)로부터 제조 공정에의 되돌려 보냄을 나타내는 제어 신호를 수신할 때, 회동 기구에 주반송로를 이루는 연결 부재를 회동시킨다. 이에 의해, 불량품으로 판정된 유리 기판이 낙하하고, 포장 수단을 거쳐서 출하되지 않고 제조 공정으로 환송된다. 낙하한 유리 기판은, 장해물에 충돌함으로써 파단되어, 파단물이 된다. 한편, 제어부가 제어 신호를 수신하지 않을 경우에는, 주반송로가 유지된다. 그 때문에, 양품으로 판정된 유리 기판은 포장 수단에 반송되어, 출하 대상이 된다.

분쇄 공정 S208을 실행하는 분쇄 수단으로서, 크러셔가 사용된다. 크러셔는 파단물을 분쇄하는 회전날을 구비하고, 분쇄 공정 S208에 있어서, 유리 원료가 되는 파유리를 형성한다. 파유리는 제조 설비에 구비되는 벨트 컨베이어로 반송되어, 용해 가마에 공급된다.

본 실시 형태에 관한 검사 공정에 있어서, 전형적으로는, 연마 공정 S204에 의해 생성된 연마 후의 유리 기판이 피검사체로서 적용된다. 검사 대상의 결함의 종류에 따라서는, 용해 공정 S201에 의해 발생한 용융 유리, 성형 공정 S202에 의해 발생한 유리 리본, 또는 절입·절단 공정 S203에 의해 발생한 연마 전의 유리 기판이 적용되어도 된다.

본 실시 형태에 관한 결함 검사 장치(100)는 개개의 공정에서 발생할 수 있는 종류의 결함을 판별하고, 판별한 결함에 따른 제어를 실현할 수 있다. 예를 들어, 유리 기판에 발생하는 기포는, 용해 공정 S201에 있어서 용해 유리의 온도가 소정의 기준 온도보다도 낮을수록 발생하는 경향이 있다. 그래서, 제조 공정의 제어에 사용되는 제어 데이터에는, 검출된 결함의 상태로서 기포의 양이 많을수록, 수정 조건으로서 용융 가마의 온도의 상승량이 많아지도록 관련지어 설정해둔다. 이에 의해, 제조 공정 관리부(120)는 검출된 기포가 증가할수록 용융 가마의 온도를 상승시킬 수 있다.

유리 기판 표면에 부착되는 이물은, 연마 공정 S204에 있어서 연마 시간이 기준 시간보다도 짧을수록 잔존하는 경향이 있다. 그래서, 제어 데이터에는, 검출된 결함의 상태로서 이물의 양이 많을수록, 수정 조건으로서 연마 시간의 증가량이 많아지도록 관련지어 설정해둔다. 이에 의해, 제조 공정 관리부(120)는 검출된 이물이 증가할수록 연마 시간을 연장할 수 있다.

유리 기판 표면의 흠집은, 연마 공정 S204에 사용되는 연마제의 열화에 의해 발생하는 경향이 있다. 그래서, 제어 데이터에는, 검출된 결함의 상태로서의 흠집의 양의 기준량과, 수정 조건으로서 연마구의 교환을 관련지어 설정해둔다. 이에 의해, 제조 공정 관리부(120)는 검출된 흠집의 양이 기준량을 초과할 때, 연마구를 교환할 수 있다.

흠집은, 연마 공정 S204에 사용되는 연마구의 유리 기판 표면에 대한 압박력의 부족에 의해서도 발생하는 경향이 있다. 그래서, 제어 데이터에는, 검출된 결함의 상태로서의 흠집의 양이 많을수록, 수정 조건으로서 연마구의 압박력의 증가량이 많아지도록 관련지어 설정해두어도 된다. 이에 의해, 제조 공정 관리부(120)는 검출된 흠집이 증가할수록 연마구의 유리 기판 표면에 대한 압박력을 높게 할 수 있다.

또한, 제조 공정 관리부(120)는 제조 조건에 대한 수정 조건을 나타내는 조작 신호의 조작부(150)로부터의 입력을 접수하고, 그 변경 조건과 판정 결과 정보에서 나타내지는 결함의 상태를 관련지은 정보를 제어 데이터에 포함하여 보존해도 된다. 이에 의해, 유저인 작업원이 조작에 의해 제조 설비에 대하여 지시된 제조 조건과, 검출된 결함의 상태가 관련지은 정보를 가지고 제어 데이터가 갱신된다. 그 때문에, 갱신된 제어 데이터가, 검출된 결함의 상태에 기초하는 제조 조건의 제어에 이용 가능해진다.

(기계 학습 모델)

이어서, 본 실시 형태에 관한 기계 학습 모델의 예에 대하여 설명한다. 도 14는, 본 실시 형태에 관한 기계 학습 모델의 일례로서 CNN을 나타낸다. 도 14에 나타내는 예에서는, CNN에의 입력값이 이차원의 화상 데이터이며, CNN으로부터의 출력값으로서 일차원의 확률(스칼라)이 산출되는 2 클래스 모델이다.

CNN은 인공 뉴럴 네트워크의 일종이며, 1층의 입력층, 복수의 중간층 및 출력층을 구비한다. 도 14에 예시되는 CNN은 입력층 In02, 6층의 중간층 및 출력층 Out16을 구비한다. 6층의 중간층은 3층의 컨벌루션층 Cv04, Cv08, Cn12, 2층의 풀링층 Pl06, Pl10 및 전체 결합층 Fc14를 구비한다. 단, 1층의 컨벌루션층과 1층의 풀링층이 교대로 2회 반복된 후에, 1층의 컨벌루션층 Cv12가 후치(後置)되고, 또한 1층의 전체 결합층 Fc14가 후치된다.

각 층은 1개 이상의 절점(노드, 뉴런 등이라고도 불림)을 갖는다. 각 절점은, 입력값에 대한 소정의 함수의 함수값을 출력값으로서 출력한다.

입력층 In02는, 입력값으로서 입력되는 계측 신호로 나타내지는 샘플점마다의 신호값을 각각 다음 층으로 출력한다. 개개의 샘플점은 각 1개의 화소에 대응한다. 입력층 In02의 각 절점에는, 그 절점에 대응하는 샘플점의 신호값이 입력되고, 입력되는 신호값이 다음 층의 대응하는 절점에 출력한다. 컨벌루션층에는, 커널수가 미리 설정된다. 커널수는, 각각 입력값에 대한 처리(예를 들어, 연산)에 사용하는 커널의 개수에 상당한다. 커널수는 일반적으로 입력값의 개수보다도 적다. 커널이란, 한번에 1개의 출력값을 산출하기 위한 처리 단위를 가리킨다. 어떤 층에 있어서 산출되는 출력값은, 다음 층에의 입력값으로서 사용된다. 커널은 필터라고도 불린다. 커널 사이즈란, 커널에 있어서의 1회의 처리에 사용되는 입력값의 수를 나타낸다. 커널 사이즈는 일반적으로 2 이상의 정수가 된다.

풀링층과 컨벌루션층은 복수의 입력값으로부터 그 특징을 나타내는 특징량을 산출한다. 특징량으로서, 컨벌루션층 Cv04, Cv08, Cv12와 풀링층 Pl06, Pl10 중, 어느 소정의 1층으로부터의 출력값이 신종의 결함의 판정에 이용할 수 있다.

컨벌루션층이란, 복수의 절점의 각각에 직전의 층으로부터 입력되는 입력값에 대하여 커널마다 컨볼루션 연산을 행하여 컨벌루션값을 산출하고, 산출한 컨벌루션값과 바이어스값을 가산하여 얻어지는 보정값에 대한 소정의 활성화 함수의 함수값을 출력값으로서 산출하고, 산출한 출력값을 다음 층으로 출력하는 층이다. 또한, 컨볼루션 연산에서는, 각 절점에는 직전의 층으로부터 1개 또는 복수의 입력값이 입력되고, 각각의 입력값에 대하여 독립된 컨벌루션 계수가 사용된다. 컨벌루션 계수, 바이어스값 및 활성화 함수의 파라미터는, 1세트의 모델 파라미터의 일부가 된다.

활성화 함수로서, 예를 들어 정규화 선형 유닛(Rectified Linear Unit), 시그모이드 함수 등을 이용할 수 있다. 정규화 선형 유닛은, 소정의 역치(예를 들어, 0) 이하의 입력값에 대한 출력값으로서 그 역치로 정하고, 소정의 역치를 초과하는 입력값을 그대로 출력하는 함수이다. 따라서, 이 역치는 1세트의 모델 파라미터의 일부가 될 수 있다. 또한, 컨벌루션층에 대해서는, 직전의 층의 절점으로부터의 입력값의 참조의 필요 여부, 다음 층의 절점에의 출력값의 출력의 필요 여부도, 1세트의 모델 파라미터의 일부가 될 수 있다. 그 때문에, 후술하는 전체 결합층과는 달리, 컨벌루션층의 각 절점은, 직전의 층의 모든 절점과 입력값이 입력되도록 결합한다고는 할 수 없고, 다음 층의 모든 절점에 출력값이 출력되도록 결합한다고는 할 수 없다.

풀링층이란, 직전의 층의 복수의 절점으로부터 각각 입력되는 입력값으로부터 1개의 대푯값을 정하고, 정한 대푯값을 출력값으로서 다음 층으로 출력하는 절점을 갖는 층이다. 대푯값은, 예를 들어 최댓값, 평균값, 최빈값 등 복수의 입력값을 통계적으로 대표하는 값이 사용된다. 풀링층에는 스트라이드를 미리 설정해둔다. 스트라이드란, 1개의 절점에 대하여 입력값을 참조하는 직전의 층의 서로 인접하는 절점의 범위를 나타낸다. 그 때문에, 풀링층은, 직전의 층으로부터의 입력값을, 보다 낮은 차원으로 축약(다운 샘플)하여 출력값을 다음 층에 제공하는 층으로 간주할 수도 있다.

전체 결합층은, 복수의 절점 각각에 직전의 층으로부터 입력되는 입력값에 대하여 컨볼루션 연산을 행하여 컨벌루션값을 산출하고, 산출한 컨벌루션값과 바이어스값을 가산하여 얻어지는 연산값을 출력값으로서 산출하고, 산출한 출력값을 다음 층으로 출력하는 층이다. 즉, 전체 결합층은 직전의 층으로부터 입력되는 복수개의 입력값 모두에 대하여, 입력값의 수보다도 적은 세트수의 파라미터 세트(커널)를 각각 사용하여 컨벌루션 처리를 행하여 얻어지는 연산값을 출력하는 층이다. 따라서, 전체 결합층에서는, 컨벌루션 계수, 바이어스값 및 활성화 함수의 파라미터가, 1세트의 모델 파라미터의 일부가 된다. 이와 같이, 출력층의 직전에 전체 결합층을 배치함으로써, 직전의 층으로부터 부여된 특성값에 대하여 유의하게 영향을 주는 성분을 빠짐 없이 고려하면서 자유도를 저감시켜, 최종적인 출력값을 유도할 수 있다.

또한, CNN의 층의 수, 층마다의 종별, 각 층의 절점의 수 등은, 도 14에 나타낸 것에는 한정되지 않는다. 본 실시 형태에 관한 CNN은, 입력값으로서 복수의 샘플점마다의 신호값을 갖는 계측 신호에 대하여 출력값으로서 결함의 종별마다의 확률을 산출 가능한 구성을 갖고 있으면 된다. 단, 본 실시 형태에 관한 CNN은, 도 14에 예시되는 바와 같이, 1 이상의 컨벌루션층과 풀링층을 교대로 1 주기 이상 반복하여 순차 적층하여 구성되는 중간층을 구비하는 것이 적합하다. 컨벌루션층의 반복에 의해, 특성값에 대하여 유의하게 영향을 주는 성분이 좁혀지기 때문이다. 또한, 이 컨벌루션층의 반복에 있어서, 풀링층이 생략되어도 된다.

또한, 3 클래스 이상의 다클래스 모델로서, 출력값으로서 요소수가 3개 이상으로 되는 벡터값을 산출하는 기계 학습 모델을 사용하면 된다. 결함의 종류의 판정에 응용하는 경우를 예로 하면, 출력값의 요소가 그 요소에 대응하는 결함의 종류의 확률로서 얻어진다. 도 14에 나타내는 예에서는, 전체 결합층 Fc14에는, 개개의 출력값의 요소에 대응하는 파라미터 세트를 설정해둘 필요가 있다. 그 때문에, 다클래스 모델에서는, 모델 학습에 있어서 모든 파라미터 세트에 대하여 소정의 규범에 기초하는 최적화가 행해진다. 그 때문에, 상기한 바와 같이, 가령 1종류만 결함의 판정에 대한 파라미터 세트의 수정을 의도하고 있었다고 해도, 다른 종류의 결함의 판정 결과에 영향을 미칠 수 있다. 그 때문에, 본 실시 형태에 관한 결함 판별부(114)는 각 1종류의 결함에의 해당/비해당을 판정하기 위한 2 클래스 모델을 복수개 사용하는 것이 적합하다.

또한, 상기 예에서는, 기계 학습 모델에의 입력값으로서, 화소마다의 신호값을 적용하는 경우를 주로 했지만, 이것에는 한정되지 않는다. 결함 검사 장치(100)의 제어부(110)는, 화상 데이터로부터 화상에 나타나는 모양(결함도 포함됨)의 특징을 나타내는 특징량을 산출하는 특징 분석부(도시하지 않음)를 구비해도 된다. 그리고, 결함 판별기(114-1 내지 114-N)의 전부 또는 일부는, 화소마다의 신호값 대신에, 혹은 당해 신호값과 함께 특징 분석부가 산출한 특징량을 기계 학습 모델에의 입력값으로서 사용해도 된다. 모델 학습부(118)는 그들 기계 학습 모델의 모델 파라미터의 산출에 사용하는 훈련 데이터를 이루는 입력값으로서, 화소마다의 신호값 대신에, 혹은 당해 신호값과 함께 특징 분석부가 산출한 특징량을 기계 학습 모델에의 입력값으로서 사용한다. 이러한 특징량으로서, 예를 들어 원형도, 오일러수, 페레 직경 등의 형상 특징 파라미터, HOG(Histograms of Oriented Gradients) 특징량, SIFT(Scaled Invariance Feature Transform) 특징량 등의 화상 인식에 이용되는 특징량 등 중 어느 것, 혹은 그들의 조합을 이용할 수 있다. 바꿔 말하면, 산출되는 특징량은, 피검사체의 상태를 나타내는 결함의 특징량으로서 사용될 수 있다. 신종 판정부(122)는 신종의 판정을 위해서, 특징 분석부가 산출한 특징량을 사용해도 된다.

또한, 판정 데이터에는, 피검사체의 상태를 나타내는 정보로서, 결함의 종류마다의 결함의 유무나 개수 대신에 화상 특징량이 포함되어도 된다. 그리고, 결함 판별부(114) 또는 종합 판정부(116)는 판정 데이터를 참조하여, 특징 분석부가 분석한 화상 특징량으로부터 당해 결함의 종류를 정하는 결함 판별기를 더 구비해도 된다.

이상에서 설명한 바와 같이, 본 실시 형태에 관한 결함 검사 장치(100)는, 피검사체의 화상에 기초하여 피검사체에 발생하는 결함을 검사하는 결함 검사 장치이며, 당해 화상에 기초하여, 소정의 기계 학습 모델을 사용하여 각각 다른 결함의 종류를 판별하는 결함 판별기를 복수개 구비한다. 개개의 결함 판별기가 판별하는 결함의 종류는, 결함 검사 장치가 판별 대상으로 하는 소정수의 결함의 종류의 일부이다.

또한, 복수의 상기 결함 판별기는, 각각 피검사체에 발생하는 결함의 종류가 소정의 1종류의 결함에 해당하는지 여부를 판정해도 된다.

또한, 피검사체는 유리이며, 상기 결함 검사 장치를 사용한 검사 공정을 갖는 제조 방법으로서 실현되어도 된다.

이 구성에 의해, 개개의 결함 판별기는, 화상에서 검출되는 결함의 종류를, 각각 소정수의 결함의 종류의 일부인지 여부를 판정한다. 특정한 결함 판별기가 결함의 종류의 판정에 사용하는 파라미터 세트를 변경하는 경우, 소정수의 결함의 종류 모두를 판정 대상으로 하는 경우와는 달리, 기타 결함 판별기가 사용하는 파라미터 세트, 나아가서는, 그 결함의 종류의 판정에 영향을 미치지 않는다. 특히, 개개의 결함 판별기가, 각각 소정의 1종류의 결함에 해당하는지 여부를 판정하는 경우에는, 또한 판정 정밀도의 열화가 회피된다. 그 때문에, 시스템 관리가 보다 용이해진다.

또한, 복수의 결함 판별기는, 각각 다른 결함 판별기에 의한 판정 결과에 관계없이, 피검사체에 발생하는 결함의 종류를 병행하여 판별해도 된다.

이 구성에 의해, 개개의 결함의 종류에의 해당/비해당의 판정이 병렬되므로, 판별 대상으로 하는 결함의 종류가 증가해도 처리 시간이 증가하지 않기 때문에, 신속한 처리를 실현할 수 있다.

또한, 결함 판별기의 개수는 N개이며, 제n 결함 판별기가 피검사체에 발생하는 결함의 종류가, 제n 결함의 종류에 해당하는지 여부를 판정하고, 제n 결함 판별기가, 피검사체에 발생하는 결함의 종류가 제n 결함의 종류에 해당하지 않는다고 판정할 때, 제n+1 결함 판별기는, 상기 피검사체에 발생하는 결함의 종류가, 제n+1 결함의 종류에 해당하는지 여부를 판정하는 처리를 개시해도 된다.

이 구성에 의해, 개개의 결함 판별기가 소정의 결함의 종류에 해당하는지 여부를 판정하는 처리가 직렬로 실행된다. 처리량이 과대해지는 것이 회피되므로, 경제적인 실현에 기여한다.

또한, n은, 제n 결함의 종류의 발생 빈도 또는 리스크의 크기의 내림차순으로 정해져 있어도 된다.

이 구성에 의해, 발생 빈도가 높은 결함의 종류 또는 발생 리스크가 큰 결함의 종류일수록 우선적으로 판별되므로, 시스템 전체로서 결함의 발생에 의한 손해를 억제할 수 있다.

또한, 복수의 결함 판별기는, 각각 기계 학습 모델을 사용하여 결함의 특징량을 추출해도 된다.

이 구성에 의해, 특정한 특징량을 미리 정의해두지 않아도, 개개의 결함의 종류에 따른 특징이 표시된다.

또한, 특정한 종류의 결함을 포함하는 화상을 나타내는 화상 데이터에 대하여, 기계 학습 모델을 사용하여 당해 특정한 종류의 결함을 판별하기 위한 모델 파라미터를 정하는 모델 학습부를 구비해도 된다.

이 구성에 의해, 입력값으로 하는 화상 데이터와 출력값으로 하는 결함의 종류의 관계를 나타내는 훈련 데이터를 사용하여, 그 결함의 종류를 판별하기 위한 모델 파라미터를 정할 수 있다. 그 때문에, 사용 환경에 따른 모델 파라미터를 결함의 종류의 판별에 사용함으로써 판정 정밀도를 향상시킬 수 있다.

또한, 결함 판별기는, 피검사체에 대한 촬상 조건이 다른 복수의 화상을 나타내는 화상 데이터에 기초하여, 결함의 종류를 판별해도 된다.

이 구성에 의해, 화상의 특징의 촬상 조건마다의 차이를 단서로 하여, 보다 정확하게 결함의 종류를 판정할 수 있다.

또한, 결함의 특징을 나타내는 특징량의 공간에 있어서의 거리이며, 결함의 종류마다 미리 정한 대표 특징량과, 화상으로부터 추출되는 특징량인 추출 특징량의 거리를 산출하고, 산출한 거리가 결함의 종류 중 어느 것에 대해서도 소정의 거리의 역치보다도 큰 경우, 화상에서 검출되는 결함의 종류를 신종으로서 판정하는 신종 판정부를 구비해도 된다.

이 구성에 의해, 기지의 결함의 종류와는 특징이 다른 결함을 신종의 결함으로서 판별할 수 있다. 그 때문에, 특징이 다른 결함에 따른 공정 관리를 촉구할 수 있다.

또한, 결함의 종류의 판별에 성공한 결함 판별기가 존재하지 않을 때, 상기 화상에서 검출되는 결함의 종류를 신종으로서 판정하는 신종 판정부를 구비해도 된다.

이 구성에 의해, 종류의 판별을 할 수 없었던 결함을 신종의 결함으로서 판별할 수 있다. 그 때문에, 기지의 결함의 종류에 의존하지 않는 공정 관리를 촉구할 수 있다.

또한, 복수의 결함 판별기가 판별한 결함의 상태에 기초하여, 피검사체의 제조 조건을 수정하기 위한 수정 조건을 정하는 제조 공정 관리부를 더 구비해도 된다.

이 구성에 의해, 판별한 결함의 상태에 따른 피검사체의 제조 공정을 사람 손에 의지하지 않고 효율적으로 제어할 수 있다.

또한, 화상으로부터 결함의 특징량을 분석하는 특징 분석부와, 결함의 특징량과 당해 결함의 종류의 관계를 나타내는 판정 데이터를 사용하여, 상기 특징 분석부가 분석한 결함의 특징량으로부터 당해 결함의 종류를 정하는 제2 결함 판별기를 구비해도 된다.

이 구성에 의해, 기지의 결함의 특징량과 결함의 종류의 관계에 기초하여, 검출된 결함의 특징량에 따른 결함의 종류가 정해진다. 완전히 기계 학습 모델에 의존하지 않고 결함의 종류를 판정할 수 있으므로, 처리량을 저감시킬 수 있다.

또한, 피검사체에 발생하는 결함의 종류를, 취득되는 조작 입력으로 나타내지는 결함의 종류로 정하는 판정 입력부를 구비해도 된다.

이 구성에 의해, 유저에 의해 판정된 결함의 종류를 지득할 수 있다. 완전히 기계 학습 모델에 의존하지 않고 결함의 종류를 판정할 수 있으므로, 판정 오류에 대한 리스크를 저감시킬 수 있다.

또한, 복수의 결함 판별기가 피검사체에 발생하는 결함의 종류를 정하기 전에, 제2 결함 판별기 또는 판정 입력부가 피검사체에 발생하는 결함을 정해도 된다.

이 구성에 의해, 기지의 결함의 특징량과 결함의 종류의 관계를 사용한 판정, 또는 유저에 의한 판정이 행해지기 때문에, 기계 학습 모델에 의해 판정할 수 없는 결함의 종류라도, 결함의 종류를 정할 수 있다.

또한, 본 실시 형태에 관한 유리의 제조 방법은, 피검사체는 유리이며, 상기 결함 검사 장치를 사용한 검사 공정을 갖고 있어도 된다.

이상, 도면을 참조하여 본 발명의 실시 형태에 대하여 상세하게 설명해 왔지만, 구체적인 구성은 상술한 것에 한정되지 않고, 본 발명의 요지를 일탈하지 않는 범위 내에 있어서 다양하게 설계 변경 등을 이룰 수 있다.

예를 들어, 결함 검사 장치(100)는 피검사체의 제조 설비의 일부로서 실현되어도 되고, 피검사체와는 독립된 단일의 기기여도 된다. 결함 검사 장치(100)는 제조 설비에 한정되지 않고, 데이터 축적 장치, PC 등 다른 기기로부터 화상 데이터를 취득해도 된다.

또한, 결함 검사 장치(100)는 촬상부(130), 조작부(150) 및 표시부(160)를 구비하고 있어도 되고, 그들의 일부 또는 전부가 생략되어도 된다. 촬상부(130), 조작부(150) 및 표시부(160)는 각각 입출력부(140)를 경유하여 접속되어도 된다.

결함 검사 장치(100)에 있어서, 모델 학습부(118), 제조 공정 관리부(120), 신종 판정부(122) 및 판정 입력부(124)의 일부 또는 전부가 생략되어도 된다.

피검사체의 종류나 검출 대상으로 하는 결함의 종류나 그 수에 따라서는, 결함 검출부(112)와 종합 판정부(116)의 한쪽 또는 양쪽이 생략되어도 된다.

피검사체로 하는 유리의 폭, 길이, 두께 등의 크기는 임의이다. 또한, 결함 검사 장치(100)는 피검사체로서 유리 이외의 종류의 물체, 예를 들어 회로 기판, 웨이퍼 등의 결함의 유무나 결함의 종류의 판별에 적용되어도 된다.

또한, 상술한 실시 형태에 있어서의 결함 검사 장치(100)의 일부 또는 전부를, LSI(Large Scale Integration) 등의 집적 회로로서 실현해도 된다. 결함 검사 장치(100)의 각 기능 블록은 개별로 프로세서화해도 되고, 일부 또는 전부를 집적하여 프로세서화해도 된다. 또한, 집적 회로화의 방법은 LSI에 한정되지 않고 전용 회로 또는 범용 프로세서로 실현해도 된다. 또한, 반도체 기술의 진보에 의해 LSI를 대체하는 집적 회로화의 기술이 출현할 경우, 당해 기술에 의한 집적 회로를 사용해도 된다.

상기 각 양태의 결함 검사 장치, 결함 검사 방법 및 제조 방법에 의하면, 개개의 결함 판별기는, 화상에서 검출되는 결함의 종류를, 각각 소정수의 결함의 종류의 일부인지 여부를 판정한다. 특정한 결함 판별기가 결함의 종류의 판정에 사용하는 파라미터 세트를 변경하는 경우, 소정수의 결함의 종류 모두를 판정 대상으로 하는 경우와는 달리, 기타 결함 판별기가 사용하는 파라미터 세트, 나아가서는 그 결함의 종류의 판정에 영향을 미치지 않는다. 그 때문에, 시스템 관리가 보다 용이해진다.

100: 결함 검사 장치
110: 제어부
112: 결함 검출부
114: 결함 판별부
116: 종합 판정부
118: 모델 학습부
120: 제조 공정 관리부
122: 신종 판정부
124: 판정 입력부
130: 촬상부
140: 입출력부
150: 조작부
160: 표시부
170: 기억부

Claims (15)

1. 피검사체의 화상에 기초하여 상기 피검사체에 발생하는 결함을 검사하는 결함 검사 장치에 있어서,
   상기 화상에 기초하여, 소정의 기계 학습 모델을 사용하여 각각 다른 상기 결함의 종류를 판별하는 결함 판별기를 복수개 구비하고,
   개개의 결함 판별기가 판별하는 상기 결함의 종류는, 상기 결함 검사 장치가 판별 대상으로 하는 소정수의 결함의 종류의 일부인
   결함 검사 장치.
2. 제1항에 있어서, 복수의 상기 결함 판별기는, 각각 다른 결함 판별기에 의한 판정 결과에 관계없이, 상기 피검사체에 발생하는 결함의 종류를 병행하여 판별하는
   결함 검사 장치.
3. 제1항에 있어서, 상기 결함 판별기의 개수는 N개이며,
   제n(n은 1 이상 N-1 이하의 정수) 결함 판별기는, 상기 피검사체에 발생하는 결함의 종류가, 제n 결함의 종류에 해당하는지 여부를 판정하고,
   제n 결함 판별기가, 상기 피검사체에 발생하는 결함의 종류가, 제n 결함의 종류에 해당하지 않는다고 판정할 때, 제n+1 결함 판별기는, 상기 피검사체에 발생하는 결함의 종류가, 제n+1 결함의 종류에 해당하는지 여부를 판정하는 처리를 개시하는
   결함 검사 장치.
4. 제3에 있어서, 상기 n은, 제n 결함의 종류의 발생 빈도 또는 리스크의 크기의 내림차순으로 정해져 있는
   결함 검사 장치.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 복수의 상기 결함 판별기는, 각각 상기 피검사체에 발생하는 결함의 종류가 소정의 1종류의 결함에 해당하는지 여부를 판정하는
   결함 검사 장치.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 특정한 종류의 결함을 포함하는 화상을 나타내는 화상 데이터에 대하여, 상기 기계 학습 모델을 사용하여 당해 특정한 종류의 결함을 판별하기 위한 모델 파라미터를 정하는 모델 학습부를 구비하는
   결함 검사 장치.
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 결함 판별기는, 상기 피검사체에 대한 촬상 조건이 다른 복수의 화상을 나타내는 화상 데이터에 기초하여, 상기 결함의 종류를 판별하는
   결함 검사 장치.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 결함의 특징을 나타내는 특징량의 공간에 있어서의 거리이며, 상기 결함의 종류마다 미리 정한 대표 특징량과, 상기 화상으로부터 추출되는 특징량인 추출 특징량의 거리를 산출하고,
   산출한 거리가 상기 결함의 종류 중 어느 것에 대해서도 소정의 거리의 역치보다도 큰 경우, 상기 화상에서 검출되는 결함의 종류를 신종으로서 판정하는 신종 판정부를 구비하는
   결함 검사 장치.
9. 제1항 내지 제7항 중 어느 한 항에 있어서, 결함의 종류의 판별에 성공한 결함 판별기가 존재하지 않을 때, 상기 화상에서 검출되는 결함의 종류를 신종으로서 판정하는 신종 판정부를 구비하는
   결함 검사 장치.
10. 제1항 내지 제9항 중 어느 한 항에 있어서, 복수의 상기 결함 판별기가 판별한 결함의 상태에 기초하여, 상기 피검사체의 제조 조건을 수정하기 위한 수정 조건을 정하는 제조 공정 관리부를 더 구비하는
    결함 검사 장치.
11. 제1항 내지 제10항 중 어느 한 항에 있어서, 화상 데이터로부터 결함의 특징량을 분석하는 특징 분석부와,
    결함의 특징량과 당해 결함의 종류의 관계를 나타내는 판정 데이터를 사용하여, 상기 특징 분석부가 분석한 결함의 특징량으로부터 당해 결함의 종류를 정하는 제2 결함 판별기와,
    상기 피검사체에 발생하는 결함의 종류를, 취득되는 조작 입력으로 나타내지는 결함의 종류로 정하는 판정 입력부를 구비하는
    결함 검사 장치.
12. 제11항에 있어서, 복수의 상기 결함 판별기가 상기 피검사체에 발생하는 결함의 종류를 정하기 전에, 상기 제2 결함 판별기 또는 상기 판정 입력부가 상기 피검사체에 발생하는 결함을 정하는
    결함 검사 장치.
13. 피검사체의 화상에 기초하여 상기 피검사체에 발생하는 결함을 검사하는 결함 검사 방법이며,
    상기 화상에 기초하여, 소정의 기계 학습 모델을 사용하여 각각 다른 상기 결함의 종류를 판별하는 결함 판별 공정을 복수개 구비하고,
    개개의 결함 판별 공정에 있어서 판별되는 상기 결함의 종류는, 상기 결함 검사 방법에 있어서 판별 대상으로 하는 소정수의 결함의 종류의 일부인
    결함 검사 방법.
14. 상기 피검사체는 유리이며,
    제13항에 기재된 결함 검사 방법을 사용한 유리의 제조 방법.
15. 상기 피검사체는 유리이며,
    제1항 내지 제12항 중 어느 한 항에 기재된 결함 검사 장치를 사용한 검사 공정
    을 갖는 유리의 제조 방법.

Images