KR20230126163A - 교사 데이터 생성 장치, 교사 데이터 생성 방법 및 기록 매체에 기록된 프로그램 - Google Patents

Abstract

교사 데이터 생성 장치 (4) 는, 대상물을 촬상하여 결함을 검출하는 검사 장치 (2) 로부터, 결함의 검출 영역을 포함하는 소정 사이즈의 결함 화상과, 결함 화상에 있어서의 검출 영역의 범위를 나타내는 결함 정보를 접수하는 화상 접수부 (41) 와, 결함 정보에 기초하여, 결함 화상으로부터 검출 영역을 포함하는 영역을 절출 화상으로서 절출하는 절출 화상 생성부 (42) 와, 디스플레이 (35) 에 결함 화상의 적어도 일부를 표시하는 표시 제어부 (43) 와, 디스플레이 (35) 에 표시된 결함 화상에 대한, 작업자에 의한 결함 종별의 판정 결과의 입력을 접수하는 판정 결과 접수부 (44) 와, 절출 화상에 당해 판정 결과를 라벨링하여 교사 데이터를 생성하는 교사 데이터 생성부 (45) 를 구비한다. 이로써, 결함 영역 이외의 불필요한 영역이 저감된 화상을 포함하는 교사 데이터를 용이하게 생성할 수 있다.

Description

교사 데이터 생성 장치, 교사 데이터 생성 방법 및 기록 매체에 기록된 프로그램{TRAINING DATA GENERATION APPARATUS, TRAINING DATA GENERATION METHOD, AND PROGRAM RECORDED ON RECORDING MEDIUM}

본 발명은, 교사 데이터를 생성하는 기술에 관한 것이다.

대상물을 촬상하여 결함을 검출하는 검사 장치에서는, 결함이 검출되었을 경우에, 결함 영역을 포함하는 소정 사이즈의 결함 화상이 출력된다. 이와 같은 결함 화상이 나타내는 결함의 종별을, 학습이 완료된 모델 (분류기) 에 의해 분류하는 것이 생각된다. 이 경우, 작업자가, 미리 준비된 결함 화상에 대한 결함 종별을 판정함으로써 (즉, 어노테이션에 의해), 당해 결함 화상에 하나의 결함 종별이 라벨링된 교사 데이터가 생성되어, 복수의 교사 데이터를 사용하여 학습을 실시함으로써, 상기 학습이 완료된 모델이 생성된다.

또한, 일본 공개특허공보 2019-87078호 (문헌 1) 에서는, 화상의 결함이 포함되어 있는 영역을 작업자의 입력에 의해 취득하고, 당해 영역의 내부에 포함되는 화소가 소정량 많아지도록, 영역의 외부 가장자리를 확장하는 보정을 실시하고, 보정된 영역을 당해 화상에 관련짓는 것에 의해, 학습용 데이터를 생성하는 수법이 개시되어 있다.

그런데, 검사 장치로부터 출력되는 결함 화상은 일정한 사이즈이고, 결함 영역 이외의 불필요한 영역이 많이 포함된다. 따라서, 이와 같은 결함 화상을 포함하는 교사 데이터를 사용하여 학습을 실시해도, 고정밀도의 학습이 완료된 모델을 얻는 것은 곤란하다. 문헌 1 의 수법과 같이, 결함이 포함되어 있는 영역을 작업자가 입력함으로써, 불필요한 영역이 저감된 화상을 얻는 것도 생각되지만, 작업 부담이 커진다. 따라서, 결함 영역 이외의 불필요한 영역이 저감된 화상을 포함하는 교사 데이터를 용이하게 생성하는 수법이 요구되고 있다.

본 발명은, 교사 데이터를 생성하는 교사 데이터 생성 장치에 관한 것으로, 결함 영역 이외의 불필요한 영역이 저감된 화상을 포함하는 교사 데이터를 용이하게 생성하는 것을 목적으로 하고 있다.

본 발명에 관련된 교사 데이터 생성 장치는, 대상물을 촬상하여 결함을 검출하는 검사 장치로부터, 결함의 검출 영역을 포함하는 소정 사이즈의 결함 화상과, 상기 결함 화상에 있어서의 상기 검출 영역의 범위를 나타내는 결함 정보를 접수하는 화상 접수부와, 상기 결함 정보에 기초하여, 상기 결함 화상으로부터 상기 검출 영역을 포함하는 영역을 절출 화상으로서 절출하는 절출 화상 생성부와, 디스플레이에 상기 결함 화상의 적어도 일부를 표시하는 표시 제어부와, 상기 디스플레이에 표시된 상기 결함 화상에 대한, 작업자에 의한 결함 종별의 판정 결과의 입력을 접수하는 판정 결과 접수부와, 상기 절출 화상에 상기 판정 결과를 라벨링하여 교사 데이터를 생성하는 교사 데이터 생성부를 구비한다.

본 발명에 의하면, 결함 영역 이외의 불필요한 영역이 저감된 화상을 포함하는 교사 데이터를 용이하게 생성할 수 있다.

바람직하게는, 상기 대상물의 각 위치가, 복수의 영역 종별 중 하나의 영역 종별에 속하고 있고, 상기 결함 정보가, 상기 검출 영역이 속하는 영역 종별을 나타내는 영역 종별 정보를 포함하고, 상기 절출 화상 생성부가, 각 영역 종별에 대해 설정된 확장량을 기억하고, 상기 영역 종별 정보를 사용하여 특정되는 확장량만큼 상기 검출 영역을 넓힌 영역을 상기 절출 화상에 포함시킨다.

바람직하게는, 상기 대상물이 프린트 기판이고, 상기 복수의 영역 종별이, 적어도 도금 영역 및 솔더 레지스트 영역을 포함한다.

바람직하게는, 상기 대상물의 각 위치에 대해 복수의 검사 감도 중 하나의 검사 감도가 설정되어 있고, 상기 결함 정보가, 상기 검출 영역의 검출시에 사용된 검사 감도를 나타내는 검사 감도 정보를 포함하고, 상기 절출 화상 생성부가, 각 검사 감도에 대해 설정된 확장량을 기억하고, 상기 검사 감도 정보를 사용하여 특정되는 확장량만큼 상기 검출 영역을 확장한 영역을 상기 절출 화상에 포함시킨다.

바람직하게는, 상기 대상물의 각 위치가, 복수의 영역 종별 중 하나의 영역 종별에 속하고 있고, 상기 결함 정보가, 상기 검출 영역이 속하는 영역 종별을 나타내는 영역 종별 정보를 포함하고, 상기 교사 데이터 생성부가, 상기 판정 결과에 더하여, 상기 검출 영역이 속하는 영역 종별을 상기 절출 화상에 라벨링한다.

본 발명은, 교사 데이터를 생성하는 교사 데이터 생성 방법에 관한 것이기도 하다. 본 발명에 관련된 교사 데이터 생성 방법은, a) 대상물을 촬상하여 결함을 검출하는 검사 장치로부터, 결함의 검출 영역을 포함하는 소정 사이즈의 결함 화상과, 상기 결함 화상에 있어서의 상기 검출 영역의 범위를 나타내는 결함 정보를 접수하는 공정과, b) 상기 결함 정보에 기초하여, 상기 결함 화상으로부터 상기 검출 영역을 포함하는 영역을 절출 화상으로서 절출하는 공정과, c) 디스플레이에 상기 결함 화상의 적어도 일부를 표시하는 공정과, d) 상기 디스플레이에 표시된 상기 결함 화상에 대한, 작업자에 의한 결함 종별의 판정 결과의 입력을 접수하는 공정과, e) 상기 절출 화상에 상기 판정 결과를 라벨링하여 교사 데이터를 생성하는 공정을 구비한다.

바람직하게는, 상기 대상물의 각 위치가, 복수의 영역 종별 중 하나의 영역 종별에 속하고 있고, 상기 결함 정보가, 상기 검출 영역이 속하는 영역 종별을 나타내는 영역 종별 정보를 포함하고, 상기 b) 공정에 있어서, 각 영역 종별에 대해 설정된 확장량이 준비되어 있고, 상기 영역 종별 정보를 사용하여 특정되는 확장량만큼 상기 검출 영역을 확장한 영역이 상기 절출 화상에 포함된다.

바람직하게는, 상기 대상물이 프린트 기판이고, 상기 복수의 영역 종별이, 적어도 도금 영역 및 솔더 레지스트 영역을 포함한다.

바람직하게는, 상기 대상물의 각 위치에 대해 복수의 검사 감도 중 하나의 검사 감도가 설정되어 있고, 상기 결함 정보가, 상기 검출 영역의 검출시에 사용된 검사 감도를 나타내는 검사 감도 정보를 포함하고, 상기 b) 공정에 있어서, 각 검사 감도에 대해 설정된 확장량이 준비되어 있고, 상기 검사 감도 정보를 사용하여 특정되는 확장량만큼 상기 검출 영역을 확장한 영역이 상기 절출 화상에 포함된다.

바람직하게는, 상기 대상물의 각 위치가, 복수의 영역 종별 중 하나의 영역 종별에 속하고 있고, 상기 결함 정보가, 상기 검출 영역이 속하는 영역 종별을 나타내는 영역 종별 정보를 포함하고, 상기 e) 공정에 있어서, 상기 판정 결과에 더하여, 상기 검출 영역이 속하는 영역 종별이 상기 절출 화상에 라벨링되고, 하나의 영역 종별이 라벨링된 복수의 교사 데이터를 사용하여, 상기 하나의 영역 종별의 결함 분류용의 학습이 완료된 모델이 생성된다.

본 발명은, 컴퓨터에 교사 데이터를 생성시키는, 기록 매체에 기록된 프로그램에 관한 것이기도 하다. 본 발명에 관련된 프로그램의 컴퓨터에 의한 실행은, 상기 컴퓨터에, a) 대상물을 촬상하여 결함을 검출하는 검사 장치로부터, 결함의 검출 영역을 포함하는 소정 사이즈의 결함 화상과, 상기 결함 화상에 있어서의 상기 검출 영역의 범위를 나타내는 결함 정보를 접수하는 공정과, b) 상기 결함 정보에 기초하여, 상기 결함 화상으로부터 상기 검출 영역을 포함하는 영역을 절출 화상으로서 절출하는 공정과, c) 디스플레이에 상기 결함 화상의 적어도 일부를 표시하는 공정과, d) 상기 디스플레이에 표시된 상기 결함 화상에 대한, 작업자에 의한 결함 종별의 판정 결과의 입력을 접수하는 공정과, e) 상기 절출 화상에 상기 판정 결과를 라벨링하여 교사 데이터를 생성하는 공정을 실행시킨다.

상기 서술한 목적 및 그 밖의 목적, 특징, 양태 및 이점은, 첨부한 도면을 참조하고 이하에 실시하는 본 발명의 상세한 설명에 의해 명확해진다.

도 1 은, 검사 시스템의 구성을 나타내는 도면이다.
도 2 는, 컴퓨터의 구성을 나타내는 도면이다.
도 3 은, 교사 데이터 생성 장치의 구성을 나타내는 도면이다.
도 4 는, 교사 데이터를 생성하는 처리의 흐름을 나타내는 도면이다.
도 5 는, 촬상 화상을 나타내는 도면이다.
도 6 은, 촬상 화상을 나타내는 도면이다.
도 7 은, 촬상 화상을 나타내는 도면이다.
도 8a 는, 결함 화상을 나타내는 도면이다.
도 8b 는, 결함 화상을 나타내는 도면이다.
도 9 는, 결함 화상을 나타내는 도면이다.
도 10 은, 결함 영역의 근방을 나타내는 도면이다.
도 11 은, 결함 화상을 나타내는 도면이다.
도 12 는, 결함 영역의 근방을 나타내는 도면이다.
도 13 은, 결함 영역의 근방을 나타내는 도면이다.
도 14 는, 결함 영역의 근방을 나타내는 도면이다.
도 15 는, 프린트 기판을 나타내는 도면이다.
도 16 은, 프린트 기판의 일부를 확대하여 나타내는 도면이다.
도 17 은, 분류기의 그 밖의 예를 나타내는 도면이다.

(제 1 실시형태)

도 1 은, 본 발명의 제 1 실시형태에 관련된 검사 시스템 (1) 의 구성을 나타내는 도면이다. 검사 시스템 (1) 은, 대상물인 프린트 기판을 검사한다. 검사 시스템 (1) 은, 검사 장치 (2) 와, 컴퓨터 (3) 를 구비한다. 도 1 에서는, 컴퓨터 (3) 가 실현하는 기능 구성을 파선의 사각형으로 둘러싸고 있다. 검사 장치 (2) 는, 도시 생략된 촬상부와, 이동 기구와, 결함 검출부를 구비한다. 촬상부는, 프린트 기판을 촬상한다. 이동 기구는, 촬상부에 대해 프린트 기판을 상대적으로 이동시킨다. 결함 검출부는, 촬상부로부터 출력되는 화상으로부터 결함을 검출한다. 결함 검출부에 있어서 결함이 검출되면, 결함 영역을 포함하는 소정 사이즈 (결함 블록 사이즈라고도 불린다.) 의 결함 화상이 컴퓨터 (3) 에 출력된다.

도 2 는 컴퓨터 (3) 의 구성을 나타내는 도면이다. 컴퓨터 (3) 는, CPU (31) 와, ROM (32) 과, RAM (33) 과, 고정 디스크 (34) 와, 디스플레이 (35) 와, 입력부 (36) 와, 판독 장치 (37) 와, 통신부 (38) 와, GPU (39) 와, 버스 (30) 를 포함하는 일반적인 컴퓨터 시스템의 구성을 갖는다. CPU (31) 는, 각종 연산 처리를 실시한다. GPU (39) 는, 화상 처리에 관한 각종 연산 처리를 실시한다. ROM (32) 은, 기본 프로그램을 기억한다. RAM (33) 은, 각종 정보를 기억한다. 고정 디스크 (34) 는, 정보 기억을 실시한다. 디스플레이 (35) 는, 화상 등의 각종 정보의 표시를 실시한다. 입력부 (36) 는, 작업자로부터의 입력을 접수하는 키보드 (36a) 및 마우스 (36b) 를 구비한다. 판독 장치 (37) 는, 광 디스크, 자기 디스크, 광 자기 디스크, 메모리 카드 등의 컴퓨터 판독 가능한 기록 매체 (81) 로부터 정보의 판독을 실시한다. 통신부 (38) 는, 검사 시스템 (1) 의 그 밖의 구성, 및, 외부의 장치와의 사이에서 신호를 송수신한다. 버스 (30) 는, CPU (31), GPU (39), ROM (32), RAM (33), 고정 디스크 (34), 디스플레이 (35), 입력부 (36), 판독 장치 (37) 및 통신부 (38) 를 접속하는 신호 회로이다.

컴퓨터 (3) 에서는, 사전에 판독 장치 (37) 를 통하여, 프로그램 프로덕트인 기록 매체 (81) 로부터 프로그램 (811) 이 판독 출력되어 고정 디스크 (34) 에 기억되어 있다. 프로그램 (811) 은 네트워크를 통하여 고정 디스크 (34) 에 기억되어도 된다. CPU (31) 및 GPU (39) 는, 프로그램 (811) 에 따라 RAM (33) 이나 고정 디스크 (34) 를 이용하면서 연산 처리를 실행한다. CPU (31) 및 GPU (39) 는, 컴퓨터 (3) 에 있어서 연산부로서 기능한다. CPU (31) 및 GPU (39) 이외에 연산부로서 기능하는 그 밖의 구성이 채용되어도 된다.

검사 시스템 (1) 에서는, 컴퓨터 (3) 가 프로그램 (811) 에 따라 연산 처리 등을 실행함으로써, 도 1 중에 파선으로 둘러싸는 기능 구성이 실현된다. 즉, 컴퓨터 (3) 의 CPU (31), GPU (39), ROM (32), RAM (33), 고정 디스크 (34) 및 이들의 주변 구성은, 교사 데이터 생성 장치 (4) 와, 학습부 (51) 와, 분류기 (52) 를 실현한다. 이들 기능의 전부 또는 일부는 전용의 전기 회로에 의해 실현되어도 된다. 또, 복수의 컴퓨터에 의해 이들 기능이 실현되어도 된다.

분류기 (52) 는, 검사 장치 (2) 로부터 입력되는 결함 화상이 나타내는 결함을 실제 결함 또는 거짓 결함으로 분류하는 학습이 완료된 모델이다. 학습부 (51) 는, 후술하는 복수의 교사 데이터를 사용하여 학습을 실시함으로써, 학습이 완료된 모델 (분류기 (52)) 을 생성한다. 교사 데이터 생성 장치 (4) 는, 학습부 (51) 에 있어서 사용되는 교사 데이터를 생성한다.

도 3 은, 교사 데이터 생성 장치 (4) 의 구성을 나타내는 도면이다. 교사 데이터 생성 장치 (4) 는, 화상 접수부 (41) 와, 절출 화상 생성부 (42) 와, 표시 제어부 (43) 와, 판정 결과 접수부 (44) 와, 교사 데이터 생성부 (45) 를 구비한다. 화상 접수부 (41) 는, 검사 장치 (2) 에 접속되어, 검사 장치 (2) 로부터의 결함 화상 등의 입력을 접수한다. 절출 화상 생성부 (42) 는, 결함 화상으로부터 후술하는 절출 화상을 절출한다. 표시 제어부 (43) 는, 디스플레이 (35) 에 접속되어, 디스플레이 (35) 에 결함 화상 등을 표시한다. 판정 결과 접수부 (44) 는, 입력부 (36) 에 접속되어, 작업자에 의한 입력부 (36) 를 개재한 입력을 접수한다. 교사 데이터 생성부 (45) 는, 절출 화상에 라벨링을 실시하여 교사 데이터를 생성한다.

도 4 는, 교사 데이터 생성 장치 (4) 가 교사 데이터를 생성하는 처리의 흐름을 나타내는 도면이다. 먼저, 화상 접수부 (41) 에서는, 검사 장치 (2) 로부터 결함 화상과 후술하는 결함 정보가 접수된다 (스텝 S11).

여기서, 검사 장치 (2) 가 결함을 검출하는 처리의 일례에 대해 설명한다. 도 5 는, 프린트 기판의 일부를 촬상한 다계조의 촬상 화상을 나타내는 도면이다. 예를 들어, 촬상 화상은, 컬러 화상이다. 촬상 화상은, 그레이 스케일 화상이어도 된다. 프린트 기판의 주면에는, 복수 종류의 영역이 형성된다. 구체적으로는, 구리 등의 금속이 도금된 도금 영역, 표면에 솔더 레지스트가 형성된 솔더 레지스트 영역 (이하,「SR 영역」이라고도 한다.), 솔더 레지스트 상에 인쇄된 문자나 기호 등인 실크 영역, 관통공의 개구인 스루홀 영역 등이 형성된다. 또, SR 영역은, 솔더 레지스트의 하층이 동박인 제 1 SR 영역과, 솔더 레지스트의 하층이 프린트 기판의 기재인 제 2 SR 영역으로 구별 가능하고, 양자에서는 색이 상이하다. 이상과 같이, 프린트 기판의 주면 상의 각 위치는, 도금 영역, 제 1 SR 영역, 제 2 SR 영역, 실크 영역 등을 포함하는 복수의 영역 종별 중 어느 하나에 속한다.

도 5 의 예는, 도금 영역을 나타내는 영역 (61) 과, SR 영역을 나타내는 영역 (62) 을 포함하고, 영역 (62) 은, 제 1 SR 영역을 나타내는 영역 (621) 과, 제 2 SR 영역을 나타내는 영역 (622) 을 포함한다. 이하의 설명에서는, 영역 (61, 62, 621, 622) 을, 마찬가지로「도금 영역 (61)」,「SR 영역 (62)」,「제 1 SR 영역 (621)」및「제 2 SR 영역 (622)」이라고 한다. 프린트 기판의 그 밖의 종류의 영역에 대해서도, 촬상 화상이 대응하는 영역을 동일한 명칭으로 부른다.

검사 장치 (2) 의 결함 검출부에서는, 예를 들어, 설계 데이터 (CAM 데이터 등) 를 참조함으로써, 촬상 화상에 있어서의 각 위치가 속하는 영역 종별이 특정된다. 또, 각 영역 종별에는, 각 색 성분의 계조치의 정상 범위가 설정되어 있다. 촬상 화상에 있어서, 각 위치의 계조치가 색 성분마다 정상 범위와 비교되어, 정상 범위 외가 되는 화소의 집합이 결함의 영역으로서 검출된다. 도 5 의 예에서는, 제 1 SR 영역 (621) 상에 있어서 주위에 비해 어두운 영역 (71) 이 존재하고 있고, 당해 영역 (71) 이, 촬상 화상을 관찰한 작업자가 인식하는 결함 영역 (71) 이다. 도 6 에서는, 검사 장치 (2) 에 의해 결함으로서 검출되는 영역 (72) (이하,「검출 영역 (72)」이라고 한다.) 의 외부 가장자리를 파선으로 나타내고 있다. 도 6 의 예에서는, 검출 영역 (72) 은, 결함 영역 (71) 과 거의 일치한다.

검사 장치 (2) 에서는, 결함이 검출되면, 검출 영역 (72) 을 포함하는 소정 사이즈의 화상이 결함 화상으로서 취득된다. 또, 결함 화상에 있어서의 검출 영역 (72) 의 위치 및 형상 (크기를 포함한다.) 을 나타내는 결함 정보가 취득된다. 또한, 결함의 검출에서는, 여러 가지 주지된 수법 (검사 로직 등) 이 사용되어도 되고, 영역 종별마다 상이한 수법이 사용되어도 된다.

교사 데이터의 생성을 개시할 때에는, 검사 장치 (2) 에 의해, 복수의 프린트 기판에 대한 다수의 촬상 화상으로부터 복수의 결함 화상이 미리 취득되어 있다. 당해 복수의 결함 화상은, 동일한 사이즈 (결함 블록 사이즈) 이고, 프린트 기판에 있어서의 동일한 크기의 영역을 나타낸다. 또, 각 결함 화상에는, 검출 영역 (72) 의 위치 및 형상을 나타내는 결함 정보가 관련지어져 있다. 도 4 의 스텝 S11 에서는, 복수의 결함 화상과 당해 복수의 결함 화상의 결함 정보가, 화상 접수부 (41) 에 있어서 접수된다. 예를 들어, 복수의 결함 화상의 결함 정보는, 복수의 결함 화상에 각각 관련지어진 상태에서 1 개의 리스트에 포함된다.

계속해서, 절출 화상 생성부 (42) 에서는, 각 결함 화상으로부터 검출 영역 (72) 을 포함하는 영역이, 절출 화상으로서 절출된다 (스텝 S12). 도 6 의 예에서는, 도 7 에 나타내는 바와 같이, 검출 영역 (72) 의 외접 사각형 (73) (도 7 중에 파선으로 나타낸다.) 의 영역이, 절출 화상으로서 절출된다. 외접 사각형 (73) 의 각 변은, 결함 화상의 상하 방향 (열 방향) 또는 좌우 방향 (행 방향) 과 평행하다. 절출 화상 생성부 (42) 의 설계에 따라서는, 검출 영역 (72) 에 대해 설정 가능한 최소의 외접 사각형 (각 변이 상하 방향 및 좌우 방향에 대해 경사져도 된다.) 의 영역이, 절출 화상으로서 절출되어도 된다.

또, 표시 제어부 (43) 에 의해, 디스플레이 (35) 에 결함 화상이 표시된다 (스텝 S13). 디스플레이 (35) 에 표시되는 화상은, 결함 화상의 전체 또는 일부중 어느 것이어도 된다. 예를 들어, 결함 화상의 절출 화상이 표시되어도 되고, 절출 화상을 소정의 화소수만큼 확장한 화상, 즉, 검출 영역 (72), 및, 그 주위를 포함하는 화상이 표시되어도 된다. 이와 같이, 표시 제어부 (43) 는, 디스플레이 (35) 에 결함 화상의 적어도 일부를 표시한다. 일례에서는, 디스플레이 (35) 상의 윈도우에는, 복수의 결함 화상의 섬네일이 배열 표시되어 있고, 작업자가 입력부 (36) 를 개재하여 1 개의 결함 화상의 섬네일을 선택함으로써, 디스플레이 (35) 에 당해 결함 화상 (이하,「선택 결함 화상」이라고 한다.) 의 적어도 일부가 표시된다. 디스플레이 (35) 에 표시하는 결함 화상의 선택은, 여러 가지 주지된 수법에 의해 실시되어도 된다.

판정 결과 접수부 (44) 에서는, 디스플레이 (35) 에 표시된 선택 결함 화상에 대한, 작업자에 의한 실제 결함 또는 거짓 결함의 판정 결과의 입력이 접수된다 (스텝 S14). 일례에서는, 디스플레이 (35) 상의 윈도우에, 선택 결함 화상과 함께,「실제 결함」을 나타내는 버튼 및「거짓 결함」을 나타내는 버튼이 형성된다. 작업자가 선택 결함 화상을 확인하고, 입력부 (36) 를 개재하여 어느 버튼을 선택함으로써, 선택 결함 화상이 나타내는 결함이 실제 결함 또는 거짓 결함 중 어느 것인지를 나타내는 판정 결과의 입력이 실시된다. 당해 판정 결과의 입력은, 판정 결과 접수부 (44) 에 의해 접수된다. 작업자에 의한 판정 결과의 입력은, 여러 가지 주지된 수법에 의해 실시되어도 된다.

교사 데이터 생성부 (45) 에서는, 절출 화상에 판정 결과를 라벨링함으로써, 교사 데이터가 생성된다 (스텝 S15). 교사 데이터는, 결함 화상으로부터 얻어지는 절출 화상과, 당해 결함 화상에 대한 작업자에 의한 판정 결과를 포함하는 데이터이다. 교사 데이터는, 결함 화상을 포함해도 된다. 실제로는, 복수의 결함 화상에 대해, 작업자에 의한 판정 결과의 입력이 실시되어, 복수의 교사 데이터가 생성된다. 이상에 의해, 교사 데이터 생성 처리가 완료되어, 복수의 교사 데이터 (학습용 데이터 세트) 가 얻어진다.

복수의 교사 데이터가 생성되면, 도 1 의 학습부 (51) 에서는, 복수의 교사 데이터에 있어서의 절출 화상의 입력에 대한 분류기의 출력과, 복수의 교사 데이터가 나타내는 판정 결과 (실제 결함 또는 거짓 결함) 가 거의 동일해지도록 기계 학습이 실시되어, 분류기가 생성된다. 분류기는, 화상이 나타내는 결함을 실제 결함 또는 거짓 결함으로 분류하는 학습이 완료된 모델이고, 분류기의 생성에서는, 분류기가 포함하는 파라미터의 값이나, 분류기의 구조가 결정된다. 기계 학습은, 예를 들어, 뉴럴 네트워크를 사용한 딥 러닝에 의해 실시된다. 당해 기계 학습은, 딥 러닝 이외의 주지된 방법에 의해 실시되어도 된다. 분류기 (실제로는, 파라미터의 값이나, 분류기의 구조를 나타내는 정보) 는, 분류기 (52) 에 전송되어 도입된다.

검사 시스템 (1) 이 프린트 기판을 검사할 때에는, 검사 장치 (2) 에 있어서, 프린트 기판의 복수의 위치를 나타내는 복수의 촬상 화상이 취득되어, 복수의 촬상 화상에 있어서의 결함의 유무가 검사된다. 결함이 검출되면, 검출 영역 (72) 을 포함하는 소정 사이즈의 화상이 결함 화상으로서 분류기 (52) 에 출력된다. 분류기 (52) 에서는, 결함 화상이 나타내는 결함이 실제 결함 또는 거짓 결함으로 분류되어, 분류 결과가 기억되거나, 또는, 외부에 출력된다. 바람직한 검사 시스템 (1) 에서는, 컴퓨터 (3) 의 절출 화상 생성부 (42) 에 있어서, 교사 데이터의 생성시와 마찬가지로, 결함 화상에 있어서의 검출 영역 (72) 의 외접 사각형 (73) 의 영역이 절출 화상으로서 절출되어, 당해 절출 화상이 분류기 (52) 에 입력된다. 이로써, 분류기 (52) 에서는, 결함 화상이 나타내는 결함이 실제 결함 또는 거짓 결함 중 어느 것인지를 보다 양호한 정밀도로 분류하는 것이 가능해진다.

여기서, 교사 데이터를 생성하는 비교예의 처리에 대해 설명한다. 도 8a 및 도 8b 는, 결함 화상을 나타내는 도면으로, 결함 영역 (71) 을 포함하고 있다. 도 8a 및 도 8b 에서는, 결함 영역 (71) 에 대해, SR 영역 (62) 보다 간격이 좁은 평행 사선을 부여하고 있고, 결함 영역 (71) 은, 검사 장치 (2) 에 의해 취득되는 검출 영역과 거의 일치한다. 또한, 도 8b 의 예에서는, 복수의 결함 부분 영역 (711) 의 집합이 1 개의 결함 영역 (71) 으로서 검출되어 있다.

제 1 비교예의 처리에서는, 결함 화상의 전체가 교사 데이터의 화상으로서 사용된다. 도 8a 및 도 8b 에 나타내는 바와 같이, 결함 화상은, 통상적으로, 결함 영역 (71) 보다 상당히 큰 영역을 나타내기 때문에, 제 1 비교예에서는, 결함 영역 (71) 이외의 불필요한 영역의 특징도, 학습부 (51) 에 의한 학습에 사용되어 버린다. 바꾸어 말하면, 교사 데이터의 화상이 결함 영역 (71) (검출 영역) 의 특징을 효율적으로 나타내는 것은 되지 않기 때문에, 분류기에 있어서의 분류 정밀도가 낮아진다.

제 2 비교예의 처리에서는, 결함 화상에 있어서, 결함 영역 (71) 을 포함하는 일정 사이즈의 영역이 절출되어, 교사 데이터의 화상으로서 사용된다. 도 8a 및 도 8b 에서는, 제 2 비교예에 있어서 결함 화상으로부터 절출되는 절출 영역 (A1) 을 이점 쇄선으로 나타내고 있다. 절출 영역 (A1) 의 사이즈는, 예를 들어 경험적으로 결정된다. 제 2 비교예에서는, 교사 데이터의 화상 (절출 영역 (A1) 의 화상) 에 있어서, 결함 영역 (71) 이외의 불필요한 영역이 제 1 비교예에 비해 저감되지만, 여전히 어느 정도 포함되어 버린다. 또, 도 8b 의 예와 같이, 결함 영역 (71) 이 비교적 큰 경우, 절출 영역 (A1) 으로부터 비어져 나와 버리기 때문에, 교사 데이터의 화상이 결함 영역 (71) (검출 영역) 의 모든 특징을 나타내는 것은 되지 않게 된다.

또한, 제 1 및 제 2 비교예에 있어서, 분류기에 있어서의 분류 정밀도를 높게 하려면, 많은 교사 데이터가 필요하여, 작업자에 의한 결함 화상에 대한 판정 결과의 입력 횟수 (어노테이션 횟수) 가 증가해 버린다. 많은 교사 데이터를 사용해도, 고정밀도의 분류기를 생성할 수 없는 경우도 있다.

이에 반해, 도 3 의 교사 데이터 생성 장치 (4) 에서는, 결함의 검출 영역 (72) 을 포함하는 소정 사이즈의 결함 화상과, 당해 결함 화상에 있어서의 검출 영역 (72) 의 위치 및 형상을 나타내는 결함 정보가, 검사 장치 (2) 로부터 입력되어, 화상 접수부 (41) 에 있어서 접수된다. 절출 화상 생성부 (42) 에서는, 결함 정보에 기초하여, 결함 화상으로부터 검출 영역 (72) 을 포함하는 영역이 절출 화상으로서 절출된다. 또, 표시 제어부 (43) 에 의해, 결함 화상의 적어도 일부가 디스플레이 (35) 에 표시되어, 표시된 결함 화상에 대한, 작업자에 의한 실제 결함 또는 거짓 결함의 판정 결과의 입력이 판정 결과 접수부 (44) 에 의해 접수된다. 그리고, 교사 데이터 생성부 (45) 에 의해, 당해 판정 결과가 절출 화상에 라벨링되어, 교사 데이터가 생성된다.

이로써, 결함 영역 (71) 이외의 불필요한 영역이 저감된 화상 (절출 화상) 을 포함하는 교사 데이터를 용이하게 생성할 수 있다. 또, 당해 화상에서는, 결함 영역 (71) 의 거의 모든 특징이 나타난다. 이와 같이, 결함 영역 (71) 의 특징을 효율적으로 나타내는 교사 데이터를 사용함으로써, 적은 교사 데이터로 고정밀도의 학습이 완료된 모델 (분류기 (52)) 을 생성할 수 있고, 작업자에 의한 어노테이션 횟수도 줄일 수 있다. 또한, 도 8a 및 도 8b 에서는, 절출 화상으로서 절출되는 검출 영역의 외접 사각형 (73) 을 파선으로 나타내고 있다.

(제 2 실시형태)

다음으로, 본 발명의 제 2 실시형태에 관련된 교사 데이터 생성 처리에 대해 설명한다. 도 9 는, 결함 화상을 나타내는 도면으로, 도금 영역 (61) 상에 결함 영역 (71) 이 존재하는 예를 나타내고 있다. 도 9 에서는, 결함 영역 (71) 에 대해, SR 영역 (62) 보다 간격이 좁은 평행 사선을 부여하고 있다 (후술하는 도 11 내지 도 14 에 있어서 동일). 도 10 은, 결함 영역 (71) 의 근방을 확대하여 나타내는 도면으로, 검사 장치 (2) 에 의해 취득되는 검출 영역 (72) 을 검게 전부 칠하고 있다 (후술하는 도 12 내지 도 14 에 있어서 동일). 도금 영역 (61) 상에 결함 영역 (71) 이 존재하는 경우, 검출 영역 (72) 의 외부 가장자리는, 결함 화상을 관찰한 작업자가 인식하는 결함 영역 (71) 의 외부 가장자리와 거의 일치하는 경향이 있고, 도 10 에서는, 검출 영역 (72) 의 전체가, 결함 영역 (71) 의 전체와 거의 중첩되어 있다.

도 11 은, 결함 화상을 나타내는 도면으로, SR 영역 (62) 상에 결함 영역 (71) 이 존재하는 예를 나타내고 있다. 도 12 는, 결함 영역 (71) 의 근방을 확대하여 나타내는 도면으로, 복수의 검출 부분 영역 (721) 의 집합이 1 개의 검출 영역 (72) 으로서 검출된다. 도 11 및 도 12 에서는, 결함 영역 (71) 의 외부 가장자리를 파선으로 나타내는 것에 의해, 결함 영역 (71) 의 외부 가장자리 (즉, 주위와의 경계) 가 불명료한 것을 나타내고 있다 (후술하는 도 14 에 있어서 동일). SR 영역 (62) 상에 결함 영역 (71) 이 존재하는 경우, 검출 영역 (72) 의 외부 가장자리는, 결함 화상을 관찰한 작업자가 인식하는 결함 영역 (71) 의 외부 가장자리보다 작아지는 경향이 있고, 도 12 에서는, 검출 영역 (72) 은, 결함 영역 (71) 의 일부만과 중첩되어 있다. 또한, 도금 영역 (61) 과 SR 영역 (62) 에서 결함 검출 수법이 상이해도 된다.

이미 서술한 바와 같이, 프린트 기판의 주면 상의 각 위치는, 복수의 영역 종별 중 하나의 영역 종별에 속하고 있고, 검사 장치 (2) 에 있어서도, 촬상 화상에 있어서의 각 위치가 속하는 영역 종별이 특정된다. 본 처리예에 있어서의 검사 장치 (2) 에서는, 결함을 검출했을 때에, 검출 영역 (72) 이 속하는 영역 종별을 나타내는 영역 종별 정보가 생성되어, 결함 정보에 포함된다.

교사 데이터 생성 장치 (4) 에 의한 교사 데이터의 생성에서는, 화상 접수부 (41) 에 있어서, 검사 장치 (2) 로부터 결함 화상과 결함 정보가 접수된다 (도 4 : 스텝 S11). 이미 서술한 바와 같이, 결함 정보는, 결함 화상에 있어서의 검출 영역 (72) 의 위치 및 형상에 추가로, 영역 종별 정보를 포함하고 있다. 절출 화상 생성부 (42) 에서는, 검출 영역 (72) 이 속하는 영역 종별에 따라, 당해 검출 영역 (72) 의 외접 사각형을 상하 좌우로 확장한 영역이, 절출 화상으로서 절출된다 (스텝 S12).

구체적으로는, 외접 사각형을 상하 좌우로 확장하는 화소수 (자연수이다. 이하 동일.) 를 확장량으로 하여, 복수의 영역 종별의 각각에 대해 확장량이 미리 설정되어, 절출 화상 생성부 (42) 에 기억되어 준비되어 있다. 이미 서술한 바와 같이, 도금 영역 (61) 상의 검출 영역 (72) 의 외부 가장자리는, 결함 영역 (71) 의 외부 가장자리와 거의 일치하는 경향이 있기 때문에, 도금 영역 (61) 에 대한 확장량은 비교적 작은 화소수 (예를 들어, 0 ∼ 5 화소) 가 된다. 따라서, 검출 영역 (72) 이 도금 영역 (61) 에 속하는 도 10 의 예에서는, 도 13 에 나타내는 바와 같이, 검출 영역 (72) 의 외접 사각형 (73) (도 13 중에 파선으로 나타낸다.) 의 영역, 또는, 당해 영역을 극히 약간 확장한 영역이, 절출 화상으로서 절출된다. 당해 절출 화상은, 결함 영역 (71) 의 거의 전체를 포함한다.

또, SR 영역 (62) 상의 검출 영역 (72) 의 외부 가장자리는, 결함 영역 (71) 의 외부 가장자리보다 작아지는 경향이 있기 때문에, SR 영역 (62) 에 대한 확장량은 비교적 큰 화소수 (예를 들어, 10 ∼ 20 화소) 가 된다. 따라서, 검출 영역 (72) 이 SR 영역 (62) 에 속하는 도 12 의 예에서는, 도 14 에 나타내는 바와 같이, 검출 영역 (72) 의 외접 사각형 (73) 을 확장량만큼 확장한 영역 (74) 이, 절출 화상으로서 절출된다. 도 14 에서는, 외접 사각형 (73) 및 영역 (74) 을 파선으로 나타내고 있다. 당해 절출 화상 (즉, 영역 (74)) 은, 결함 영역 (71) 의 거의 전체를 포함한다. 또한, 검출 영역 (72) 의 외접 사각형 (73) 을 확장량만큼 확장한 영역 (74) 은, 검출 영역 (72) 을 확장량만큼 확장한 영역의 외접 사각형과 동일하다.

교사 데이터 생성 장치 (4) 에서는, 디스플레이 (35) 에 선택 결함 화상이 표시된 후 (스텝 S13), 선택 결함 화상에 대한 실제 결함 또는 거짓 결함의 판정 결과의 입력이 작업자에 의해 실시되어, 당해 입력이 접수된다 (스텝 S14). 그리고, 절출 화상에 판정 결과를 라벨링함으로써, 교사 데이터가 생성된다 (스텝 S15). 그 후, 상기 서술한 처리예와 마찬가지로, 복수의 교사 데이터를 사용하여 분류기 (52) 가 생성된다.

검사 시스템 (1) 에 있어서의 프린트 기판의 검사에서는, 검사 장치 (2) 에 있어서 결함이 검출되면, 검출 영역 (72) 을 포함하는 소정 사이즈의 화상이 결함 화상으로서 컴퓨터 (3) 에 출력되어, 분류기 (52) 에 의한 분류 결과가 취득된다. 바람직한 검사 시스템 (1) 에서는, 교사 데이터의 생성시와 마찬가지로, 검출 영역 (72) 이 속하는 영역 종별에 따라, 당해 검출 영역 (72) 의 외접 사각형 (73) 을 상하 좌우로 확장한 영역이, 절출 화상으로서 절출되어, 당해 절출 화상이 분류기 (52) 에 입력된다. 이로써, 분류기 (52) 에서는, 결함 화상이 나타내는 결함이 실제 결함 또는 거짓 결함 중 어느 것인지를 보다 양호한 정밀도로 분류하는 것이 가능해진다.

이상과 같이, 본 처리예에서는, 검출 영역 (72) 이 속하는 영역 종별을 나타내는 영역 종별 정보가, 결함 정보에 포함된다. 절출 화상 생성부 (42) 에서는, 각 영역 종별에 대해 설정된 확장량이 기억되어 있고, 영역 종별 정보를 사용하여 특정되는 확장량만큼 검출 영역 (72) 을 확장한 영역이 절출 화상에 포함된다. 이로써, 결함 영역 (71) 의 대략 전체를 나타내는 바람직한 절출 화상을 얻을 수 있어, 고정밀도의 학습이 완료된 모델 (분류기 (52)) 을 생성할 수 있다. 프린트 기판에서는, 도금 영역 및 SR 영역이 대부분을 차지하기 때문에, 바람직한 절출 화상을 얻는다는 관점에서는, 상기 복수의 영역 종별이, 적어도 도금 영역 및 솔더 레지스트 영역을 포함하는 것이 바람직하다.

(제 3 실시형태)

다음으로, 본 발명의 제 3 실시형태에 관련된 교사 데이터 생성 처리에 대해 설명한다. 도 15 는, 프린트 기판 (9) 의 전체를 나타내는 도면이다. 제조 도중의 프린트 기판 (9) 에서는, 최종 제품에 있어서 제거되는 부분인, 버림 기판 영역 (92) 이 포함되어 있다. 도 15 에서는, 버림 기판 영역 (92) 에 평행 사선을 부여하고 있다. 도 16 은, 도 15 의 프린트 기판 (9) 에 있어서 파선으로 둘러싸는 부분 B1 을 확대하여 나타내는 도면으로, 버림 기판 영역 (92) 을 굵은 파선으로 둘러싸고 있다. 도 16 에 나타내는 바와 같이, 프린트 기판 (9) 에서는, 작은 도금 영역이 조밀하게 배열되어 있거나, 미세한 배선 패턴이 형성되는 영역 (91) (도 16 중에서 미세한 파선으로 둘러싸는 영역) 이 존재한다.

영역 (91) 에 존재하는 결함은, 프린트 기판 (9) 의 동작에 큰 영향을 미치기 때문에, 본 처리예에 있어서의 검사 장치 (2) 에서는, 영역 (91) 에 대해, 다른 영역에 비해 엄격한 검사 감도가 설정된다. 이하, 영역 (91) 을「제 1 감도 설정 영역 (91)」이라고 한다. 한편, 이미 서술한 버림 기판 영역 (92) 에 존재하는 결함은, 프린트 기판 (9) 의 동작에 거의 영향을 미치지 않기 때문에, 버림 기판 영역 (92) 에 대해, 다른 영역에 비해 느슨한 검사 감도가 설정된다. 이하, 버림 기판 영역 (92) 을「제 2 감도 설정 영역 (92)」이라고 한다. 또, 제 1 감도 설정 영역 (91) 및 제 2 감도 설정 영역 (92) 이외의 영역 (93) 에는, 중간적인 검사 감도가 설정된다. 이하, 영역 (93) 을「제 3 감도 설정 영역 (93)」이라고 한다.

이와 같이, 프린트 기판 (9) 의 각 위치에는, 복수의 검사 감도 중 어느 1 개가 설정되어 있다. 검사 장치 (2) 에 있어서, 촬상 화상의 각 위치의 계조치가 정상 범위와 비교되는 상기 서술한 예에서는, 검사 감도는 정상 범위의 넓이이다. 제 1 감도 설정 영역 (91) 에서는, 다른 영역보다 좁은 정상 범위가 설정되고, 제 2 감도 설정 영역 (92) 에서는, 다른 영역보다 넓은 정상 범위가 설정된다. 이미 서술한 바와 같이, 결함의 검출에서는, 여러 가지 수법이 사용되어 되고, 검사 감도의 설정의 방법은, 결함의 검출 수법에 따라 적절히 변경된다.

검사 장치 (2) 에서는, 예를 들어, 설계 데이터 (CAM 데이터 등) 를 참조함으로써, 촬상 화상에 있어서의 각 위치가, 제 1 감도 설정 영역 (91), 제 2 감도 설정 영역 (92) 및 제 3 감도 설정 영역 (93) 중 어느 것에 속할지가 특정되어, 비교해야 할 정상 범위가 취득된다. 그리고, 당해 위치의 계조치가 당해 정상 범위와 비교되어, 정상 범위 외가 되는 화소의 집합이, 검출 영역 (72) 으로서 취득된다. 검사 장치 (2) 에서는, 검사 감도 정보가, 이미 서술한 결함 정보에 포함된다. 검사 감도 정보는, 검출 영역 (72) 의 검출시에 사용된 검사 감도가 특정 가능한 정보이고, 본 처리예에 있어서의 검사 감도 정보는, 제 1 감도 설정 영역 (91), 제 2 감도 설정 영역 (92) 및 제 3 감도 설정 영역 (93) 중 어느 1 개를 나타내는 정보이다.

교사 데이터 생성 장치 (4) 에 의한 교사 데이터의 생성에서는, 화상 접수부 (41) 에 있어서, 검사 장치 (2) 로부터 결함 화상과 결함 정보가 접수된다 (도 4 : 스텝 S11). 이미 서술한 바와 같이, 결함 정보는, 결함 화상에 있어서의 검출 영역 (72) 의 위치 및 형상에 더하여, 검사 감도 정보를 포함하고 있다. 절출 화상 생성부 (42) 에서는, 검출 영역 (72) 의 검출시에 사용된 검사 감도에 따라, 당해 검출 영역 (72) 의 외접 사각형 (73) 을 상하 좌우로 확장한 영역이, 절출 화상으로서 절출된다 (스텝 S12).

구체적으로는, 외접 사각형 (73) 을 상하 좌우로 확장하는 화소수를 확장량으로 하여, 복수의 검사 감도의 각각에 대해 확장량이 미리 설정되어, 절출 화상 생성부 (42) 에 기억되어 준비되어 있다. 가장 느슨한 검사 감도에서는 (즉, 검출 영역 (72) 이 제 2 감도 설정 영역 (92) 에 위치하는 경우), 검출 영역 (72) 의 외부 가장자리는, 결함 영역 (71) 의 외부 가장자리보다 작아지는 경향이 있기 때문에, 확장량은 비교적 큰 화소수 α (예를 들어, 8 ∼ 12 화소) 가 된다. 가장 엄격한 검사 감도에서는 (즉, 검출 영역 (72) 이 제 1 감도 설정 영역 (91) 에 위치하는 경우), 검출 영역 (72) 의 외부 가장자리는, 결함 영역 (71) 의 외부 가장자리와 거의 일치하는 경향이 있기 때문에, 확장량은 비교적 작은 화소수 β (예를 들어, 0 ∼ 3 화소) 가 된다. 중간적인 검사 감도에서는 (즉, 검출 영역 (72) 이 제 3 감도 설정 영역 (93) 에 위치하는 경우), 검출 영역 (72) 의 외부 가장자리는, 결함 영역 (71) 의 외부 가장자리보다 약간 작아지는 경향이 있기 때문에, 확장량은, 검사 감도가 가장 느슨한 경우의 화소수와 검사 감도가 가장 엄격한 경우의 화소수 사이의 화소수 γ (예를 들어, 4 ∼ 7 화소) 가 된다.

이상과 같이, 검사 감도가 가장 느슨한 경우의 확장량이 가장 크고, 검사 감도가 가장 엄격한 경우의 확장량이 가장 작아진다. 바꾸어 말하면, α ＞ γ ＞ β 가 만족된다. 그 결과, 검출 영역 (72) 의 외접 사각형 (73) 을 확장량만큼 확장한 영역, 즉, 절출 화상은, 결함 영역 (71) 의 거의 전체를 포함한다.

교사 데이터 생성 장치 (4) 에서는, 디스플레이 (35) 에 선택 결함 화상이 표시된 후 (스텝 S13), 선택 결함 화상에 대한 실제 결함 또는 거짓 결함의 판정 결과의 입력이 작업자에 의해 실시되어, 당해 입력이 접수된다 (스텝 S14). 그리고, 절출 화상에 판정 결과를 라벨링함으로써, 교사 데이터가 생성된다 (스텝 S15). 그 후, 상기 서술한 처리예와 마찬가지로, 복수의 교사 데이터를 사용하여 분류기 (52) 가 생성된다.

검사 시스템 (1) 에 있어서의 프린트 기판의 검사에서는, 검사 장치 (2) 에 있어서 결함이 검출되면, 검출 영역 (72) 을 포함하는 소정 사이즈의 화상이 결함 화상으로서 컴퓨터 (3) 에 출력되어, 분류기 (52) 에 의한 분류 결과가 취득된다. 바람직한 검사 시스템 (1) 에서는, 교사 데이터의 생성시와 마찬가지로, 검출 영역 (72) 의 검출시에 사용된 검사 감도에 따라, 당해 검출 영역 (72) 의 외접 사각형 (73) 을 상하 좌우로 확장한 영역이, 절출 화상으로서 절출되어, 당해 절출 화상이 분류기 (52) 에 입력된다. 이로써, 분류기 (52) 에서는, 결함 화상이 나타내는 결함이 실제 결함 또는 거짓 결함 중 어느 것인지를 보다 양호한 정밀도로 분류하는 것이 가능해진다.

이상과 같이, 본 처리예에서는, 프린트 기판의 각 위치에 대해 복수의 검사 감도 중 하나의 검사 감도가 설정되어 있고, 검출 영역 (72) 의 검출시에 사용된 검사 감도를 나타내는 검사 감도 정보가 결함 정보에 포함된다. 절출 화상 생성부 (42) 에서는, 각 검사 감도에 대해 설정된 확장량이 기억되어 있고, 검사 감도 정보를 사용하여 특정되는 확장량만큼 검출 영역 (72) 을 확장한 영역이 절출 화상에 포함된다. 이로써, 결함 영역 (71) 의 대략 전체를 나타내는 바람직한 절출 화상을 얻을 수 있어, 고정밀도의 학습이 완료된 모델 (분류기 (52)) 을 생성할 수 있다.

(제 4 실시형태)

다음으로, 본 발명의 제 4 실시형태에 관련된 교사 데이터 생성 처리에 대해 설명한다. 이미 서술한 바와 같이, 프린트 기판의 주면 상의 각 위치는, 복수의 영역 종별 중 하나의 영역 종별에 속하고 있다. 검사 장치 (2) 에서는, 결함을 검출했을 때에, 검출 영역 (72) 이 속하는 영역 종별을 나타내는 영역 종별 정보가 생성되어, 결함 정보에 포함된다.

본 처리예에 있어서의, 도 4 의 스텝 S11 ∼ S14 는, 상기 제 1 실시형태와 동일하다. 스텝 S12 에 있어서, 제 2 실시형태와 마찬가지로, 검출 영역 (72) 이 속하는 영역 종별에 따라, 당해 검출 영역 (72) 의 외접 사각형 (73) 을 상하 좌우로 확장한 영역이, 절출 화상으로서 절출되어도 된다. 또, 제 3 실시형태와 마찬가지로, 검출 영역 (72) 의 검출시에 사용된 검사 감도에 따라, 당해 검출 영역 (72) 의 외접 사각형 (73) 을 상하 좌우로 확장한 영역이, 절출 화상으로서 절출되어도 된다.

교사 데이터 생성부 (45) 에서는, 선택 결함 화상에 대한, 작업자에 의한 실제 결함 또는 거짓 결함의 판정 결과에 더하여, 검출 영역 (72) 이 속하는 영역 종별을 절출 화상에 라벨링함으로써, 교사 데이터가 생성된다 (스텝 S15). 교사 데이터 생성 처리에서는, 복수의 결함 화상으로부터 각 영역 종별에 대한 복수의 교사 데이터가 생성된다. 여기서는, 도금 영역용의 복수의 교사 데이터와, SR 영역용의 복수의 교사 데이터가 생성된 것으로 한다.

학습부 (51) 에서는, 도금 영역용의 복수의 교사 데이터를 사용하여 기계 학습을 실시함으로써, 도 17 에 나타내는 도금 영역용 학습이 완료된 모델 (521) 이 생성된다. 또, SR 영역용의 복수의 교사 데이터를 사용하여 기계 학습을 실시함으로써, SR 영역용 학습이 완료된 모델 (522) 이 생성된다.

검사 시스템 (1) 이 프린트 기판을 검사할 때에는, 검사 장치 (2) 에 있어서, 프린트 기판의 복수의 위치를 나타내는 복수의 촬상 화상이 취득되어, 복수의 촬상 화상에 있어서의 결함의 유무가 검사된다. 결함이 검출되면, 검출 영역 (72) 을 포함하는 소정 사이즈의 결함 화상이, 영역 종별 정보를 포함하는 결함 정보와 함께, 분류기 (52) 에 출력된다. 분류기 (52) 에서는, 결함 화상의 검출 영역 (72) 이 도금 영역에 속하는 경우에, 도금 영역용 학습이 완료된 모델 (521) 을 사용하여, 결함 화상이 나타내는 결함이 실제 결함 또는 거짓 결함으로 분류된다. 결함 화상의 검출 영역 (72) 이 SR 영역에 속하는 경우에, SR 영역용 학습이 완료된 모델 (522) 을 사용하여, 결함 화상이 나타내는 결함이 실제 결함 또는 거짓 결함으로 분류된다.

이상과 같이, 본 처리예에서는, 검출 영역 (72) 이 속하는 영역 종별을 나타내는 영역 종별 정보가, 결함 정보에 포함된다. 교사 데이터 생성부 (45) 에서는, 작업자에 의한 실제 결함 또는 거짓 결함의 판정 결과에 더하여, 검출 영역 (72) 이 속하는 영역 종별이 절출 화상에 라벨링된다. 이로써, 학습부 (51) 에서는, 하나의 영역 종별이 라벨링된 복수의 교사 데이터를 사용하여, 당해 영역 종별의 결함 분류용의 학습이 완료된 모델을 생성하는 것이 가능해진다. 이와 같이, 영역 종별마다의 학습이 완료된 모델을 생성함으로써, 분류 정밀도를 더욱 향상시킬 수 있다.

상기 교사 데이터 생성 장치 (4) 및 교사 데이터 생성 방법에서는 여러 가지 변형이 가능하다.

검사 장치 (2) 로부터 교사 데이터 생성 장치 (4) 에 입력되는 결함 정보는, 결함 화상에 있어서의 검출 영역 (72) 의 범위를 나타내는 것이면 되고, 검출 영역 (72) 의 위치 및 형상을 나타내는 것에는 한정되지 않는다. 예를 들어, 결함 정보는, 결함 화상에 있어서의 검출 영역 (72) 의 외접 사각형의 범위 (즉, 상하 방향 및 좌우 방향의 각각에 있어서의 범위) 를 나타내는 것이어도 된다.

절출 화상으로서 절출되는 결함 화상의 영역은, 결함 정보에 기초하여 결정되고, 또한, 검출 영역 (72) 을 포함하는 것이면 되는데, 바람직하게는, 검출 영역 (72) 에 대략 외접하는 영역이다. 검출 영역 (72) 에 대략 외접하는 영역은, 검출 영역 (72) 에 외접하는 영역뿐만 아니라, 이미 서술한 확장량만큼 검출 영역 (72) 을 확장한 영역에 외접하는 영역을 포함한다.

상기 실시형태에서는, 도 4 의 스텝 S14 에 있어서, 결함 화상에 대한 실제 결함 또는 거짓 결함의 판정 결과가 작업자에 의해 입력되지만, 실제 결함 및 거짓 결함 이외의 결함 종별 (예를 들어, 이물질 부착, 막 박리 등) 의 판정 결과가 입력 되어도 된다. 즉, 판정 결과 접수부 (44) 에서는, 디스플레이 (35) 에 표시된 결함 화상에 대한, 작업자에 의한 결함 종별의 판정 결과 (실제 결함 또는 거짓 결함의 판정 결과를 포함한다.) 의 입력이 접수된다.

제 2 실시형태에 있어서, 검출 영역 (72) 이, 상이한 2 이상의 영역 종별에 각각 속하는 부위를 포함하는 경우에, 검출 영역 (72) 의 확장에서는, 당해 2 이상의 영역 종별 중 어느 영역 종별에 대한 확장량이 사용되어도 된다. 결함 영역 (71) 의 대략 전체를 나타내는 바람직한 절출 화상을 얻는다는 관점에서는, 당해 2 이상의 영역 종별에 대한 확장량 중, 최대의 확장량을 사용하는 것이 바람직하다.

제 3 실시형태에 있어서, 검출 영역 (72) 이, 상이한 2 이상의 검사 감도로 각각 검출된 부위를 포함하는 경우에, 검출 영역 (72) 의 확장에서는, 당해 2 이상의 검사 감도 중 어느 검사 감도에 대한 확장량이 사용되어도 된다. 결함 영역 (71) 의 대략 전체를 나타내는 바람직한 절출 화상을 얻는다는 관점에서는, 당해 2 이상의 검사 감도에 대한 확장량 중, 최대의 확장량을 사용하는 것이 바람직하다.

검사 장치 (2) 에 있어서의 검사의 대상물은, 프린트 기판 이외에, 반도체 기판이나 유리 기판 등의 기판이어도 된다. 또, 기계 부품 등, 기판 이외의 대상물의 결함이 검사 장치 (2) 에 의해 검출되어도 된다. 교사 데이터 생성 장치 (4) 는, 여러 가지 대상물의 결함 분류용의 학습이 완료된 모델의 생성에 사용되는, 바람직한 교사 데이터를 용이하게 생성하는 것이 가능하다.

상기 실시형태 및 각 변형예에 있어서의 구성은, 서로 모순되지 않는 한 적절히 조합되어도 된다.

발명을 상세하게 묘사하여 설명했지만, 이미 서술한 설명은 예시적인 것으로 한정적인 것은 아니다. 따라서, 본 발명의 범위를 일탈하지 않는 한, 다수의 변형이나 양태가 가능하다고 할 수 있다.

2 : 검사 장치
3 : 컴퓨터
4 : 교사 데이터 생성 장치
9 : 프린트 기판
35 : 디스플레이
41 : 화상 접수부
42 : 절출 화상 생성부
43 : 표시 제어부
44 : 판정 결과 접수부
45 : 교사 데이터 생성부
72 : 검출 영역
521, 522 : 학습이 완료된 모델
811 : 프로그램
S11 ∼ S15 : 스텝

Claims (11)

1. 교사 데이터를 생성하는 교사 데이터 생성 장치로서,
   대상물을 촬상하여 결함을 검출하는 검사 장치로부터, 결함의 검출 영역을 포함하는 소정 사이즈의 결함 화상과, 상기 결함 화상에 있어서의 상기 검출 영역의 범위를 나타내는 결함 정보를 접수하는 화상 접수부와,
   상기 결함 정보에 기초하여, 상기 결함 화상으로부터 상기 검출 영역을 포함하는 영역을 절출 화상으로서 절출하는 절출 화상 생성부와,
   디스플레이에 상기 결함 화상의 적어도 일부를 표시하는 표시 제어부와,
   상기 디스플레이에 표시된 상기 결함 화상에 대한, 작업자에 의한 결함 종별의 판정 결과의 입력을 접수하는 판정 결과 접수부와,
   상기 절출 화상에 상기 판정 결과를 라벨링하여 교사 데이터를 생성하는 교사 데이터 생성부를 구비하는, 교사 데이터 생성 장치.
2. 제 1 항에 있어서,
   상기 대상물의 각 위치가, 복수의 영역 종별 중 하나의 영역 종별에 속하고 있고,
   상기 결함 정보가, 상기 검출 영역이 속하는 영역 종별을 나타내는 영역 종별 정보를 포함하고,
   상기 절출 화상 생성부가, 각 영역 종별에 대해 설정된 확장량을 기억하고, 상기 영역 종별 정보를 사용하여 특정되는 확장량만큼 상기 검출 영역을 확장한 영역을 상기 절출 화상에 포함시키는, 교사 데이터 생성 장치.
3. 제 2 항에 있어서,
   상기 대상물이 프린트 기판이고, 상기 복수의 영역 종별이, 적어도 도금 영역 및 솔더 레지스트 영역을 포함하는, 교사 데이터 생성 장치.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 대상물의 각 위치에 대해 복수의 검사 감도 중 하나의 검사 감도가 설정되어 있고,
   상기 결함 정보가, 상기 검출 영역의 검출시에 사용된 검사 감도를 나타내는 검사 감도 정보를 포함하고,
   상기 절출 화상 생성부가, 각 검사 감도에 대해 설정된 확장량을 기억하고, 상기 검사 감도 정보를 사용하여 특정되는 확장량만큼 상기 검출 영역을 확장한 영역을 상기 절출 화상에 포함시키는, 교사 데이터 생성 장치.
5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 대상물의 각 위치가, 복수의 영역 종별 중 하나의 영역 종별에 속하고 있고,
   상기 결함 정보가, 상기 검출 영역이 속하는 영역 종별을 나타내는 영역 종별 정보를 포함하고,
   상기 교사 데이터 생성부가, 상기 판정 결과에 더하여, 상기 검출 영역이 속하는 영역 종별을 상기 절출 화상에 라벨링하는, 교사 데이터 생성 장치.
6. 교사 데이터를 생성하는 교사 데이터 생성 방법으로서,
   a) 대상물을 촬상하여 결함을 검출하는 검사 장치로부터, 결함의 검출 영역을 포함하는 소정 사이즈의 결함 화상과, 상기 결함 화상에 있어서의 상기 검출 영역의 범위를 나타내는 결함 정보를 접수하는 공정과,
   b) 상기 결함 정보에 기초하여, 상기 결함 화상으로부터 상기 검출 영역을 포함하는 영역을 절출 화상으로서 절출하는 공정과,
   c) 디스플레이에 상기 결함 화상의 적어도 일부를 표시하는 공정과,
   d) 상기 디스플레이에 표시된 상기 결함 화상에 대한, 작업자에 의한 결함 종별의 판정 결과의 입력을 접수하는 공정과,
   e) 상기 절출 화상에 상기 판정 결과를 라벨링하여 교사 데이터를 생성하는 공정을 구비하는, 교사 데이터 생성 방법.
7. 제 6 항에 있어서,
   상기 대상물의 각 위치가, 복수의 영역 종별 중 하나의 영역 종별에 속하고 있고,
   상기 결함 정보가, 상기 검출 영역이 속하는 영역 종별을 나타내는 영역 종별 정보를 포함하고,
   상기 b) 공정에 있어서, 각 영역 종별에 대해 설정된 확장량이 준비되어 있고, 상기 영역 종별 정보를 사용하여 특정되는 확장량만큼 상기 검출 영역을 확장한 영역이 상기 절출 화상에 포함되는, 교사 데이터 생성 방법.
8. 제 7 항에 있어서,
   상기 대상물이 프린트 기판이고, 상기 복수의 영역 종별이, 적어도 도금 영역 및 솔더 레지스트 영역을 포함하는, 교사 데이터 생성 방법.
9. 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,
   상기 대상물의 각 위치에 대해 복수의 검사 감도 중 하나의 검사 감도가 설정되어 있고,
   상기 결함 정보가, 상기 검출 영역의 검출시에 사용된 검사 감도를 나타내는 검사 감도 정보를 포함하고,
   상기 b) 공정에 있어서, 각 검사 감도에 대해 설정된 확장량이 준비되어 있고, 상기 검사 감도 정보를 사용하여 특정되는 확장량만큼 상기 검출 영역을 확장한 영역이 상기 절출 화상에 포함되는, 교사 데이터 생성 방법.
10. 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 대상물의 각 위치가, 복수의 영역 종별 중 하나의 영역 종별에 속하고 있고,
    상기 결함 정보가, 상기 검출 영역이 속하는 영역 종별을 나타내는 영역 종별 정보를 포함하고,
    상기 e) 공정에 있어서, 상기 판정 결과에 더하여, 상기 검출 영역이 속하는 영역 종별이 상기 절출 화상에 라벨링되고,
    하나의 영역 종별이 라벨링된 복수의 교사 데이터를 사용하여, 상기 하나의 영역 종별의 결함 분류용의 학습이 완료된 모델이 생성되는, 교사 데이터 생성 방법.
11. 컴퓨터에 교사 데이터를 생성시키는, 기록 매체에 기록된 프로그램으로서, 상기 프로그램의 컴퓨터에 의한 실행은, 상기 컴퓨터에,
    a) 대상물을 촬상하여 결함을 검출하는 검사 장치로부터, 결함의 검출 영역을 포함하는 소정 사이즈의 결함 화상과, 상기 결함 화상에 있어서의 상기 검출 영역의 범위를 나타내는 결함 정보를 접수하는 공정과,
    b) 상기 결함 정보에 기초하여, 상기 결함 화상으로부터 상기 검출 영역을 포함하는 영역을 절출 화상으로서 절출하는 공정과,
    c) 디스플레이에 상기 결함 화상의 적어도 일부를 표시하는 공정과,
    d) 상기 디스플레이에 표시된 상기 결함 화상에 대한, 작업자에 의한 결함 종별의 판정 결과의 입력을 접수하는 공정과,
    e) 상기 절출 화상에 상기 판정 결과를 라벨링하여 교사 데이터를 생성하는 공정을 실행시키는, 기록 매체에 기록된 프로그램.