KR20200094089A

KR20200094089A - 화상 인식 시스템 및 화상 인식 방법

Info

Publication number: KR20200094089A
Application number: KR1020200007860A
Authority: KR
Inventors: 신지로 와타나베
Original assignee: 도쿄엘렉트론가부시키가이샤
Priority date: 2019-01-29
Filing date: 2020-01-21
Publication date: 2020-08-06
Also published as: KR102315595B1; CN111563872B; US20200242747A1; JP7262232B2; TW202101625A; TWI832958B; CN111563872A; JP2020119476A

Abstract

공장 내의 검사 장치에 있어서, 인식 대상의 화상 인식이 정확하게 행해지지 않는 경우에, 단기간에 인식 대상을 인식할 수 있도록 할 수 있는 화상 인식 시스템 및 화상 인식 방법을 제공한다. 상기 화상 인식 시스템은, 복수의 검사 장치로부터, 인식 대상을 포함하는 화상 데이터를 수집하는 화상 데이터 수집부와, 사전의 기계 학습으로 얻어지고 상기 인식 대상의 특징부를 인식하는 제1 모델에 대하여, 상기 화상 데이터 수집부에 수집된 화상 데이터에 의해 추가의 기계 학습을 실행하는 학습 실행부와, 상기 학습 실행부에 의한 상기 추가의 기계 학습의 결과에 기초하여, 상기 인식 대상의 상기 특징부를 인식하는 모델을 상기 제1 모델에서 제2 모델로 갱신하는 모델 갱신부와, 상기 복수의 검사 장치 중 특정 검사 장치에 상기 제2 모델을 송신하는 제1 송신부와, 상기 특정 검사 장치에서 상기 제2 모델을 사용해서 상기 인식 대상의 인식을 행한 인식 결과를 수신하여 판정하는 인식 결과 판정부와, 상기 인식 결과 판정부에 의한 판정 결과에 의해, 상기 제2 모델을 상기 복수의 검사 장치 중 적어도 하나에 송신하는 제2 송신부를 포함한다.

Description

화상 인식 시스템 및 화상 인식 방법{IMAGE RECOGNITION SYSTEM AND IMAGE RECOGNITION METHOD}

본 개시는, 화상 인식 시스템 및 화상 인식 방법에 관한 것이다.

반도체 디바이스의 제조 프로세스에서는, 반도체 웨이퍼(이하, 간단히 웨이퍼라고 기재함)에서의 모든 프로세스가 종료된 단계에서, 웨이퍼에 형성되어 있는 복수의 반도체 디바이스(이하, 간단히 디바이스라고 기재함)의 전기적 검사가 행하여진다. 이러한 전기적 검사를 행하는 장치에서는, 일반적으로, 웨이퍼를 흡착 보유 지지하는 스테이지에 대향하여, 웨이퍼에 형성된 반도체 디바이스에 접촉시키는 복수의 프로브를 갖는 프로브 카드를 배치한다. 그리고, 프로브 카드에 스테이지 상의 웨이퍼를 압박시킴으로써, 프로브 카드의 각 프로브를 디바이스의 전극 패드와 접촉시켜 전기적 특성의 검사를 행한다.

이러한 검사 장치에서는, 프로브가 디바이스의 전극 패드에 접촉한 것을 확인하기 위해서, 전극 패드를 카메라로 촬상하고, 그 화상으로부터 바늘 자국을 인식하는 화상 인식 기술이 사용되고 있다(예를 들어 특허문헌 1).

일본 특허 공개 제2005-45194호 공보

본 개시는, 공장 내의 검사 장치에 있어서, 인식 대상의 화상 인식이 정확하게 행해지지 않는 경우에, 단기간이면서 또한 공장 밖으로 정보를 반출하지 않고 인식 대상을 인식할 수 있도록 할 수 있는 화상 인식 시스템 및 화상 인식 방법을 제공한다.

본 개시의 일 형태에 관한 화상 인식 시스템은, 화상 인식 시스템 및 화상 인식 방법을 제공한다. 상기 화상 인식 시스템은, 복수의 검사 장치로부터, 인식 대상을 포함하는 화상 데이터를 수집하는 화상 데이터 수집부와, 사전의 기계 학습으로 얻어지고 상기 인식 대상의 특징부를 인식하는 제1 모델에 대하여, 상기 화상 데이터 수집부에 수집된 화상 데이터에 의해 추가의 기계 학습을 실행하는 학습 실행부와, 상기 학습 실행부에 의한 상기 추가의 기계 학습의 결과에 기초하여, 상기 인식 대상의 상기 특징부를 인식하는 모델을 상기 제1 모델에서 제2 모델로 갱신하는 모델 갱신부와, 상기 복수의 검사 장치 중 특정 검사 장치에 상기 제2 모델을 송신하는 제1 송신부와, 상기 특정 검사 장치에서 상기 제2 모델을 사용해서 상기 인식 대상의 인식을 행한 인식 결과를 수신하여 판정하는 인식 결과 판정부와, 상기 인식 결과 판정부에 의한 판정 결과에 의해, 상기 제2 모델을 상기 복수의 검사 장치 중 적어도 하나에 송신하는 제2 송신부를 포함한다.

본 개시에 의하면, 공장 내의 검사 장치에 있어서, 바늘 자국 등의 인식 대상의 화상 인식이 정확하게 행해지지 않는 경우에도, 단기간에 인식 대상을 인식할 수 있도록 할 수 있는 화상 인식 시스템 및 화상 인식 방법이 제공된다.

도 1은 제1 실시 형태에 관한 화상 인식 시스템의 일례를 구비한 검사 시스템을 개략적으로 도시하는 블록도이다.
도 2는 도 1의 검사 시스템에서의 제1 검사 장치를 나타내는 개략 구성도이다.
도 3은 제1 검사 장치에 있어서, 제1 카메라로 웨이퍼에 형성된 피검사 디바이스를 촬영하는 모습을 도시하는 모식도이다.
도 4는 제1 검사 장치에 있어서, 제2 카메라로 프로브 카드를 촬영하는 모습을 도시하는 모식도이다.
도 5는 제1 실시 형태의 화상 인식 시스템(100)에서의 화상 인식 방법을 설명하기 위한 흐름도이다.
도 6a는 화상 인식의 인식 대상이 프로브의 바늘 자국인 경우의 화상의 예를 나타내는 도면이다.
도 6b는 화상 인식의 인식 대상이 프로브의 바늘 자국인 경우의 화상의 예를 나타내는 도면이다.
도 7a는 화상 인식의 인식 대상이 프로브의 바늘끝인 경우의 화상의 예를 나타내는 도면이다.
도 7b는 화상 인식의 인식 대상이 프로브의 바늘끝인 경우의 화상의 예를 나타내는 도면이다.
도 7c는 화상 인식의 인식 대상이 프로브의 바늘끝인 경우의 화상의 예를 나타내는 도면이다.
도 7d는 화상 인식의 인식 대상이 프로브의 바늘끝인 경우의 화상의 예를 나타내는 도면이다.
도 7e는 화상 인식의 인식 대상이 프로브의 바늘끝인 경우의 화상의 예를 나타내는 도면이다.
도 7f는 화상 인식의 인식 대상이 프로브의 바늘끝인 경우의 화상의 예를 나타내는 도면이다.
도 7g는 화상 인식의 인식 대상이 프로브의 바늘끝인 경우의 화상의 예를 나타내는 도면이다.
도 8은 제1 실시 형태에 관한 화상 인식 시스템의 다른 예를 나타내는 블록도이다.
도 9는 제2 실시 형태에 관한 화상 인식 시스템의 일례를 구비한 검사 시스템을 개략적으로 도시하는 블록도이다.
도 10은 제2 실시 형태의 화상 인식 시스템에서의 화상 인식 방법을 설명하기 위한 흐름도이다.
도 11은 제2 실시 형태에 관한 화상 인식 시스템의 다른 예를 나타내는 블록도이다.
도 12는 제3 실시 형태에 관한 화상 인식 시스템의 일례를 나타내는 블록도이다.
도 13은 제3 실시 형태에 관한 화상 인식 시스템의 다른 예를 나타내는 블록도이다.

이하, 첨부 도면을 참조하여, 본 발명의 실시 형태에 대해서 설명한다.

<제1 실시 형태>

먼저, 제1 실시 형태에 대해서 설명한다.

도 1은, 제1 실시 형태에 관한 화상 인식 시스템의 일례를 구비한 검사 시스템을 개략적으로 도시하는 블록도이다.

검사 시스템(400)은, 공장 내에 마련된 복수의 제1 검사 장치(200)와, 제1 검사 장치(200)의 인식 대상을 포함하는 화상 데이터에서의 인식 대상의 인식 레벨을 향상시키기 위한 화상 인식 시스템(100)을 구비한다.

제1 검사 장치(200)는, 예를 들어 도 2에 도시한 바와 같이, 웨이퍼(W)를 흡착 보유 지지하는 스테이지(201)와, 복수의 프로브(203)를 갖는 프로브 카드(202)와, 테스터(204)와, 제1 카메라(205), 제2 카메라(206)와, 제어부(207)를 구비한다.

스테이지(201)는 얼라이너(도시하지 않음)에 의해 평면 방향 및 상하 방향의 위치 정렬이 가능하게 되어 있고, 프로브(203)를 웨이퍼(W)에 복수 형성된 피검사 디바이스의 전극 패드에 접촉시킴으로써, 테스터(204)에 의한 전기적 검사가 행하여진다. 또한, 제1 검사 장치(200)는, 웨이퍼(W)를 주사시킴으로써, 상대적으로 프로브(203)가 웨이퍼(W)를 주사하면서 검사를 행해도 되고, 웨이퍼(W)에 형성된 복수의 피검사 디바이스에 대하여 일괄적으로 복수의 프로브를 접촉시켜 검사를 행해도 된다. 또한, 제1 검사 장치(200)는, 단체의 검사 장치이어도, 복수의 검사부를 갖는 검사 장치이어도 된다.

제1 카메라(205)는, 이동 가능하게 마련되어, 도 3에 도시한 바와 같이, 웨이퍼(W)에 형성된 피검사 디바이스를 촬상하도록 되어 있다. 또한, 제2 카메라(206)도 이동 가능하게 마련되어, 도 4에 도시한 바와 같이, 프로브 카드(202)를 촬상하도록 되어 있다. 이에 의해, 검사에 필요한 인식 대상을 포함하는 화상 데이터가 얻어진다. 인식 대상으로서는, 예를 들어 전극 패드, 검사 시에 프로브(203)가 디바이스의 전극 패드에 접촉했을 때의 바늘 자국, 프로브(203)의 바늘끝 형상 등을 들 수 있다. 이러한 인식 대상은, 제어부(207)의 화상 인식부(208)에서 인식된다. 전극 패드의 형상의 인식은, 프로브와 전극 패드의 위치 정렬에 필요하고, 바늘끝의 인식은, 바늘끝의 중심 위치 결정에 필요하고, 바늘 자국의 인식은, 프로브가 디바이스의 전극 패드에 접촉한 것을 확인하기 위해서 필요하다.

제1 검사 장치(200)에 있어서, 제어부(207)의 화상 인식부(208)는, 상기 인식 대상에 대해서, 사전에 기계 학습에 의해 얻어진, 인식 대상의 특징부를 인식하는 모델을 사용해서 화상 데이터로부터 인식 대상을 인식하는 소프트웨어가 탑재되어 있다. 모델은 후술하는 추가의 기계 학습에 의해 갱신 가능하게 되어 있다.

기계 학습이란, 인간이 자연스럽게 행하는 학습의 기능을 컴퓨터 등에 행하게 하는 기술·방법을 말한다. 기계 학습으로서는, 딥 러닝을 적합하게 사용할 수 있다. 딥 러닝이란, 복수의 처리층이 계층적으로 접속됨으로써 구축된 다층 신경망을 사용한 기계 학습의 방법이다. 이때 사용되는 모델은 수식이며, 수식 중에는 복수의 파라미터가 존재하고, 각 파라미터의 값이나 가중치 부여 등에 의해, 모델을 변경할 수 있다. 본 예에서는, 제1 검사 장치(200)의 화상 인식부(208)의 초기 상태의 모델은 제1 모델(#1)이다.

화상 인식 시스템(100)은, 도 1에 도시한 바와 같이, 화상 데이터 수집부(10)와, 기계 학습을 실행하는 학습 실행부(20)와, 모델 갱신부(30)와, 제1 송신부(40)와, 인식 결과 판정부(50)와, 제2 송신부(60)를 갖는다.

화상 데이터 수집부(10)는, 제1 검사 장치(200)로부터, 상술한 바와 같은 인식 대상을 포함하는 화상 데이터를 수집한다. 화상 데이터 수집부(10)가 수집하는 화상 데이터로서는, 제1 검사 장치(200)의 화상 인식부(208)에서 인식하지 못한 화상 데이터이면 된다.

학습 실행부(20)는, 사전의 기계 학습으로 얻어진, 인식 대상의 특징부를 인식하는 제1 모델(제1 검사 장치(200)에 탑재된 제1 모델(#1)과 동일함)에 대하여, 화상 데이터 수집부(10)에 수집된 화상 데이터에 의해 추가의 기계 학습을 실행한다. 이때의 기계 학습은, 전형적으로는 상술한 딥 러닝을 사용한다. 학습 실행부(20)에서의 기계 학습의 실행은, 적당한 타이밍에, 자동적으로 실행하도록 할 수 있다. 기계 학습의 실행은 정기적으로 행해도 되고, 화상 데이터 수집부(10)의 데이터가 소정량으로 된 시점에서 행해도 된다. 또한, 기계 학습의 실행을 오퍼레이터의 조작에 의해 행해도 된다.

모델 갱신부(30)는, 학습 실행부(20)에 의한 기계 학습의 결과에 기초하여, 인식 대상의 특징부를 인식하는 모델을 제1 모델(#1)에서 제2 모델(#2)로 갱신한다. 제2 모델은, 제1 모델에서는 인식 대상을 인식하지 못한 화상 데이터에 대해서도 인식 가능한, 보다 인식 레벨이 높은 모델이 될 수 있다.

또한, 학습 실행부(20)와 모델 갱신부(30)는, 일체로 되어 있어도 된다.

제1 송신부(40)는, 모델 갱신부(30)로부터 갱신된 제2 모델을 수취하고, 복수의 제1 검사 장치(200) 중 특정 검사 장치(200)에 제2 모델을 송신한다. 그 특정 제1 검사 장치(200)에서는, 제1 모델에서는 인식 대상을 인식하지 못한 화상 데이터의 인식 대상의 인식 평가를, 제2 모델을 사용해서 행한다.

인식 결과 판정부(50)는, 그 특정 제1 검사 장치(200)에서 제2 모델을 사용하여 행한, 제1 모델에서는 인식 대상을 인식하지 못한 화상 데이터와 마찬가지 또는 동등한 화상 데이터에서의 인식 대상의 인식 결과를 수신해서 판정한다.

제2 송신부(60)는, 인식 결과 판정부(50)에 의한 판정 결과에 의해, 제2 모델을, 특정 제1 검사 장치 이외의 제1 검사 장치(200)에 송신한다. 보다 구체적으로는, 제2 송신부(60)는, 인식 결과 판정부(50)에 의해 인식 결과가 양호하다고 판정된 경우에, 제2 모델을 제1 검사 장치(200)에 송신한다.

이어서, 제1 실시 형태의 화상 인식 시스템(100)에서의 화상 인식 방법에 대해서 설명한다. 도 5는, 제1 실시 형태의 화상 인식 시스템(100)에서의 화상 인식 방법을 설명하기 위한 흐름도이다.

먼저, 공장 내에 설치된 복수의 제1 검사 장치(200)로부터, 인식 대상을 포함하는 화상 데이터를 화상 데이터 수집부(10)에 수집한다(ST1). 이때의 화상 데이터로서는, 제1 검사 장치(200)의 화상 인식부(208)에서 인식하지 못한 것이어도 된다.

이어서, 학습 실행부(20)에 의해, 사전의 기계 학습으로 얻어진, 인식 대상의 특징부를 인식하는 제1 모델에 대하여, 화상 데이터 수집부(10)에 수집된 화상 데이터에 의해 추가의 기계 학습을 실행한다(ST2). 이때의 기계 학습은, 전형적으로는 상술한 딥 러닝을 사용한다.

이어서, 기계 학습의 결과에 기초하여, 모델 갱신부(30)에 의해, 인식 대상의 특징부를 인식하는 모델을 제1 모델에서 제2 모델로 갱신한다(ST3).

이어서, 공장에 설치된 복수의 제1 검사 장치(200) 중, 특정 제1 검사 장치에 제2 모델을 송신한다(ST4).

이어서, 특정 제1 검사 장치(200)에 있어서, 제2 모델을 사용해서 인식 대상의 인식 평가를 행한다(ST5).

이어서, 특정 제1 검사 장치에서 인식을 행한 인식 결과를 판정한다(ST6).

이어서, 상기 ST6의 판정 결과에 의해, 제2 모델을, 제2 송신부(60)로부터 제1 검사 장치(200)에 송신한다(ST7). 구체적으로는, ST6에서 인식 결과 판정부(50)에 의해 인식 결과가 양호하다고 판정된 경우에, 제2 모델을 공장 내의 모든 제1 검사 장치(200)에 송신하여, 모든 검사 장치(200)의 화상 인식부의 모델을 제2 모델로 갱신한다.

또한, 특정 제1 검사 장치(200)에서의 인식 결과가 양호하지 않을 경우에는, 제2 모델로의 갱신을 중지한다. 또한, 상기 예에서는 ST5에서, 특정 제1 검사 장치(200)에서 제2 모델의 인식 평가만을 행하지만, ST5에서 특정 제1 검사 장치(200)의 모델을 제2 모델로 갱신해도 된다. 그 경우는, ST6에서 인식 결과 판정부(50)에 의해 인식 결과가 양호하다고 판정된 경우에, ST7에서 특정 제1 검사 장치(200) 이외의 제1 검사 장치(200)에 제2 모델이 송신된다.

이와 같이, 본 실시 형태의 화상 인식 시스템(100)에 의하면, 공장 내에 설치된 복수의 제1 검사 장치로부터, 화상 데이터 수집부(10)에 인식 대상을 포함하는 화상 데이터를 수집한다. 그리고, 제1 모델에 대하여, 수집된 화상 데이터에 의해 추가의 기계 학습을 실행하고, 모델을 제1 모델에서 새로운 제2 모델로 갱신한다. 특정 제1 장치(200)에서 제2 모델의 인식 결과를 확인 후, 공장 내의 모든 제1 검사 장치(200)의 모델을 새로운 제2 모델로 치환한다. 이에 의해, 공장 내의 모든 제1 검사 장치(200)에 대해서, 항상 갱신된 새로운 모델에 의해 인식 대상을 인식할 수 있게 된다. 이 때문에, 인식 대상의 화상 인식이 정확하게 행하여지지 않는 경우라도, 단기간에 효율적으로 인식 대상을 인식할 수 있도록 할 수 있다. 또한, 공장 밖으로 정보를 반출하지 않고 인식 대상을 인식할 수 있게 된다.

종래는, 특허문헌 1에 기재되어 있는 바와 같이, 바늘 자국 등의 인식 대상을 카메라에 의해 촬상해서 화상으로서 인식하는 것은 행하여지고 있었다. 그러나, 인식 대상의 화상 인식을 행하기 위한 소프트웨어의 갱신에 대해서는 특허문헌 1에는 전혀 기재되어 있지 않다.

일반적으로, 이러한 종류의 인식 대상의 화상 인식에 있어서는, 예를 들어 새로운 디바이스의 검사 시나, 경시 변화, 티끌의 존재, 콘트라스트의 차이 등에 의해 인식 대상이 변화하면, 종전의 소프트웨어로는 대응할 수 없어, 화상 인식을 정확하게 행할 수 없는 인식 결과 불량이 되는 경우가 있다.

예를 들어, 인식 대상이 바늘 자국인 경우, 소프트웨어가 도 6a의 화상에 있어서, 전극 패드(501)에 형성된 바늘 자국(502)을 바늘 자국으로서 인식 가능해도, 도 6b와 같이 바늘 자국(502) 이외에 티끌(503)이 존재하면 정확한 바늘 자국을 인식할 수 없어 인식 결과 불량이 될 수 있다. 또한, 인식 대상이 바늘끝일 경우, 전형적으로는 도 7a와 같은 형상이어도, 경시 변화나 콘트라스트의 차이에 의해, 화상에서는, 예를 들어 도 7b 내지 7g와 같이 일부가 사라지는 경우가 있다. 그 밖에, 국부적으로 얇아지거나, 선단의 마모 등에 의해 특정 부분이 커지는 등, 화상 상 다양한 형태가 발생한다. 이 때문에, 인식 결과 불량이 되기 쉽다. 또한, 새로운 디바이스에서는 디바이스의 전극 패드의 형상이 바뀌는 경우가 있으며, 그 경우는, 전극 패드로서 인식할 수 없게 된다.

종래는, 이러한 사태가 발생하여, 인식 결과 불량이 되었을 경우, 화상 데이터 수집부터 개선안 검토, 소프트웨어의 설계·제작·평가·실장까지를, 서비스 부문 및 기술 부문의 관계자가 행할 필요가 있다. 또한, 인식 결과 불량부터 개선된 소프트웨어가 가동할 때까지 장기간이 필요했다.

이에 반해, 본 실시 형태에 관한 화상 인식 시스템(100)에서는, 상술한 바와 같이, 인식 대상의 화상 인식이 정확하게 행하여지지 않는 경우라도, 기계 학습에 의해 단기간에 효율적으로, 인식 대상을 인식할 수 있도록 할 수 있다. 또한, 공장 밖으로 정보를 반출하지 않고 인식 대상을 인식할 수 있도록 할 수 있으므로, 정보 누설을 방지하는 효과도 얻어진다. 또한, 공장 내의 모든 제1 검사 장치(200)에 대하여, 동일한 모델로 인식 대상의 인식을 행할 수 있고, 공장 내에서 동일한 레벨로 인식 대상을 인식할 수 있다.

또한, 화상 인식 시스템(100)의 변형예로서, 도 8에 도시한 바와 같은, 모델 갱신부(30)에서 제2 모델로 갱신한 후, 단순히 복수의 제1 검사 장치(200)에 모델을 송신하는 검사 장치를 특정하지 않고 제2 모델을 송신하는 기능을 갖는 화상 인식 시스템(100')이어도 된다. 이 경우는, 제1 검사 장치(200)에 있어서 인식 결과가 양호하지 않을 경우에, 모델을 제1 모델로 되돌리는 기구를 별도 마련하거나, 오퍼레이터가 모델을 제1로 되돌림으로써 대응하는 것이 가능하다.

<제2 실시 형태>

이어서, 제2 실시 형태에 대해서 설명한다.

도 9는, 제2 실시 형태에 관한 화상 인식 시스템의 일례를 구비한 검사 시스템을 개략적으로 도시하는 블록도이다.

검사 시스템(401)은, 공장 내에 마련된 상술한 복수의 제1 검사 장치(200)와, 1개 또는 복수의 제2 검사 장치(300)와, 제1 검사 장치(200) 및 제2 검사 장치(300)의 인식 대상을 포함하는 화상 데이터에서의 인식 대상의 인식 레벨을 향상시키기 위한 화상 인식 시스템(101)을 구비한다.

제2 검사 장치(300)는, 기본 구성은 제1 검사 장치(200)와 동일하지만, 화상 인식부의 소프트웨어가, 인식 대상의 특징부를 인식하는 기계 학습으로 얻어진 모델을 사용하지 않는 것인 점이 제1 검사 장치(200)와는 상이하다.

본 실시 형태에 관한 화상 인식 시스템(101)은, 도 9에 도시하는 바와 같이, 화상 데이터 수집부(10)와, 기계 학습을 실행하는 학습 실행부(20)와, 모델 갱신부(30)와, 제1 송신부(40)와, 인식 결과 판정부(50)와, 제2 송신부(60)와, 추정 화상 데이터 수집부(110)와, 추정부(120)와, 데이터 처리부(130)를 갖는다.

학습 실행부(20)와, 모델 갱신부(30)와, 제1 송신부(40)와, 인식 결과 판정부(50)와, 제2 송신부(60)는, 제1 실시 형태와 마찬가지로 구성된다.

추정 화상 데이터 수집부(110)는, 제2 검사 장치(300)로부터, 인식 대상을 포함하는 화상 데이터를 수집한다. 추정 화상 데이터 수집부(110)가 수집하는 화상 데이터로서는, 제2 검사 장치(300)의 화상 인식부에서 인식하지 못한 화상 데이터이면 된다.

추정부(120)는, 추정 화상 데이터 수집부(110)로부터 인식 대상을 포함하는 화상 데이터를 수신하고, 화상 데이터에 대해서 상기 인식 대상의 추정을 행한다. 구체적으로는, 추정부(120)는, 상술한 제1 모델을 사용해서 인식 대상의 추정을 행한다. 제2 검사 장치(300)는, 화상 인식부의 소프트웨어가, 인식 대상의 특징부를 인식하는 모델을 사용하지 않는 것이기 때문에, 추정부(120)에서 제1 검사 장치(200)와 마찬가지의 제1 모델을 사용해서 인식 대상의 추정을 행한다. 추정부(120)는, 모델 갱신부(30)로부터 정보를 수취하고, 제1 모델을 제2 모델로 갱신하는 것이 가능하게 되어 있다. 이에 의해, 추정부(120)에서도 제2 모델을 사용해서 인식 대상의 추정을 행하는 것이 가능해진다.

데이터 처리부(130)는, 추정부(120)에 있어서 인식 대상을 추정(인식)한 결과를, 화상 데이터의 송신원의 제2 검사 장치(300)에 송신한다. 데이터 처리부(130)는, 추정부(120)에 있어서 인식 대상을 추정(인식)하지 못한 경우에는, 인식 대상의 추정 결과를 화상 데이터의 송신원의 제2 검사 장치(300)에 송신함과 함께, 화상 데이터 수집부(10)에 그 화상 데이터를 축적시킨다. 제2 검사 장치(300)에 송신되는 추정 결과는 수치 데이터(인식 대상이 바늘 자국인 경우는, 바늘 자국의 위치·사이즈 등)이다. 또한, 추정부(120)에 있어서 인식 대상을 추정(인식)할 수 있는 경우에는, 그 화상 데이터 자체는 추정 화상 데이터 수집부(110)로부터 폐기된다.

이어서, 제2 실시 형태의 화상 인식 시스템(101)에서의 화상 인식 방법에 대해서 설명한다. 도 10은, 제2 실시 형태의 화상 인식 시스템(101)에서의 화상 인식 방법을 설명하기 위한 흐름도이다.

공장 내에 설치된 제2 검사 장치(300)로부터, 추정 화상 데이터 수집부(110)에 화상 데이터를 수집한다(ST11). 이때의 수집하는 화상 데이터로서는, 제2 검사 장치(300)의 화상 인식부에서 인식하지 못한 화상 데이터이면 된다.

추정 화상 데이터 수집부(110)에서 수집한 화상 데이터에 대해서 추정부(120)에서 인식 대상의 추정을 행한다(ST12). 이 공정은, 상술한 제1 모델을 사용해서 인식 대상의 추정을 행할 수 있다. 이에 의해, 제2 검사 장치(300)의 인식 대상의 인식을 제1 검사 장치(200)와 동일한 레벨로 행할 수 있다. 이 ST12는, 모델 갱신부(30)에서 모델을 제1 모델에서 제2 모델로 갱신했을 때는, 모델 갱신부(30)로부터 정보를 수취하여, 제1 모델을 제2 모델로 갱신해서 행할 수 있다.

ST12에서, 인식 대상을 추정한 경우에는 화상 데이터의 송신원의 제2 검사 장치(300)에 그 결과를 송신한다. 또한, 인식 대상을 추정하지 못한 경우에는, 화상 데이터의 송신원의 제2 검사 장치(300)에 그 결과를 송신함과 함께, 화상 데이터 수집부(10)에 그 화상 데이터를 축적시킨다(ST13). 이에 의해, 제2 검사 장치(300)로부터도 모델 갱신을 위한 화상 데이터를 수집할 수 있다. ST13에서, 제2 검사 장치(300)에 송신되는 것은 수치 데이터(인식 대상이 바늘 자국인 경우는, 바늘 자국의 위치·사이즈 등)이다. 또한, 인식 대상을 추정할 수 있는 경우에는, 그 화상 데이터 자체는 추정 화상 데이터 수집부(110)로부터 폐기된다.

본 실시 형태에서는, 이들 공정 외에도 제1 실시 형태의 ST1 내지 ST7을 실시한다. 도 10에서는 ST11 내지 ST13을 ST1 내지 ST7의 위에 기재하고 있지만, ST1 내지 ST7과 ST11 내지 13의 순번은 한정되지 않고, ST1 내지 ST7을 먼저 행해도, ST1 내지 7과 ST11 내지 13을 동시 병행적으로 행해도 된다.

본 실시 형태의 화상 인식 시스템(101)에 의하면, 제1 실시 형태의 화상 인식 시스템(100)과 마찬가지로, 화상 데이터 수집부(10)에의 인식 대상을 포함하는 화상 데이터의 수집, 추가의 기계 학습, 모델의 갱신을 거쳐서, 모든 제1 검사 장치(200)의 모델을 제2 모델로 치환한다. 이에 의해, 공장 내의 모든 제1 검사 장치(200)에 대해서, 항상 갱신된 새로운 모델에 의해 인식 대상을 인식할 수 있다. 이 때문에, 인식 대상의 화상 인식이 정확하게 행하여지지 않는 경우라도, 단기간에 효율적으로, 또한 공장 밖으로 정보를 반출하지 않고 인식 대상을 인식할 수 있도록 할 수 있다. 또한, 이 외에도, 공장 내에 기계 학습으로 얻어진 모델을 사용하지 않는 제2 검사 장치(300)가 존재하는 경우에도, 인식 대상의 인식 레벨을 제1 검사 장치(200)만의 경우에 가까운 레벨로 할 수 있다. 또한, 제2 검사 장치(300)에 있어서 추정부(120)에서 추정하지 못한 인식 대상을 포함하는 화상 데이터도 화상 데이터 수집부(10)에 수집하여, 추가의 기계 학습을 위한 화상 데이터로서 사용하여 모델의 업그레이드에 기여할 수 있다.

또한, 화상 인식 시스템(101)의 변형예로서, 도 11에 도시하는 바와 같은, 모델 갱신부(30)에서 제2 모델로 갱신한 후, 단순히 복수의 제1 검사 장치(200)에 모델을 송신하는 검사 장치를 특정하지 않고 제2 모델을 송신하는 기능을 갖는 화상 인식 시스템(101')이어도 된다. 이 경우는, 제1 검사 장치(200)에 있어서 인식 결과가 양호하지 않을 경우에, 모델을 제1 모델로 되돌리는 기구를 별도 마련하거나, 오퍼레이터가 모델을 제1로 되돌림으로써 대응하는 것이 가능하다.

<제3 실시 형태>

이어서, 제3 실시 형태에 대해서 설명한다.

도 12는, 제3 실시 형태에 관한 화상 인식 시스템의 일례를 나타내는 블록도이다. 본 실시 형태에서는 제2 실시 형태와 마찬가지로, 검사 장치로서 제1 검사 장치(200)와 제2 검사 장치(300)가 혼재하고 있다.

본 실시 형태에 관한 화상 인식 시스템(102)은, 도 12에 도시하는 바와 같이, 화상 데이터 수집부(10)와, 추정 화상 데이터 수집부(110)와, 추정부(120)와, 데이터 처리부(130)를 갖고 있다. 즉, 화상 인식 시스템(102)은, 제2 실시 형태의 화상 인식 시스템(101)으로부터, 학습 실행부(20), 모델 갱신부(30), 제1 송신부(40), 인식 결과 판정부(50), 제2 송신부(60)를 제외한 것이다.

본 실시 형태에 관한 화상 인식 시스템(102)에서는, 제2 실시 형태의 화상 인식 시스템(101)과 마찬가지로, 공장 내에 설치된 제2 검사 장치(300)로부터, 추정 화상 데이터 수집부(110)에 화상 데이터를 수집한다. 이때의 수집하는 화상 데이터로서는, 제2 검사 장치(300)의 화상 인식부에서 인식하지 못한 화상 데이터이면 된다. 추정 화상 데이터 수집부(110)에서 수집한 화상 데이터에 대해서 추정부(120)에서, 상술한 제1 모델을 사용해서 인식 대상의 추정을 행한다. 그리고, 데이터 처리부(130)에서, 인식 대상의 추정 결과를 화상 데이터의 송신원의 제2 검사 장치(300)에 송신한다. 데이터 처리부(130)는, 추정부(120)에 있어서 인식 대상을 추정하지 못한 경우에는, 화상 데이터의 송신원의 제2 검사 장치(300)에 추정 결과를 송신함과 함께, 화상 데이터 수집부(10)에 그 화상 데이터를 축적시킨다. 화상 데이터 수집부(10)에는, 제1 검사 장치(200)로부터도, 인식 대상을 인식하지 못한 화상 데이터가 수집된다.

따라서, 공장 내의 검사 장치가 제1 모델을 사용해서 기계 학습을 이용하는 제1 검사 장치(200)와, 기계 학습을 이용하지 않는 제2 검사 장치(300)가 혼재할 경우에, 제2 검사 장치(300)도 제1 검사 장치(200)와 동등한 레벨로 인식 대상을 인식할 수 있다. 또한, 제1 검사 장치(200)와 제2 검사 장치(300)의 양쪽으로부터, 화상 데이터 축적부(10)에, 제1 모델에서는 인식 대상을 인식하지 못한 화상 데이터를 축적할 수 있다. 이 때문에, 이들 화상 데이터를 별도 마련된 기계 학습 실행부에 제공함으로써, 모델을 갱신할 수 있고, 인식 대상의 인식 레벨을 향상시킬 수 있다.

또한, 도 13에 도시하는 화상 인식 시스템(103)은, 구성은 화상 인식 시스템(102)과 마찬가지이지만, 공장 내의 검사 장치가 모두 제2 검사 장치(300)의 경우이다. 이 경우에도 마찬가지로, 제2 검사 장치(300)도 제1 검사 장치(200)와 동등한 레벨로 인식 대상을 인식할 수 있다. 또한, 제2 검사 장치(300)로부터 화상 데이터 수집부(10)에, 제1 모델에서는 인식 대상을 인식하지 못한 화상 데이터를 축적할 수 있다. 이 때문에, 이들 화상 데이터를 별도 마련된 기계 학습 실행부에 제공함으로써, 모델을 갱신할 수 있고, 인식 대상의 인식 레벨을 향상시킬 수 있다.

이상, 실시 형태에 대해서 설명했지만, 금회 개시된 실시 형태는, 모든 점에서 예시이며 제한적인 것은 아니라고 생각되어야 한다. 상기 실시 형태는, 첨부의 특허 청구 범위 및 그 주지를 일탈하지 않고, 다양한 형태로 생략, 치환, 변경되어도 된다.

예를 들어, 상기 실시 형태의 검사 장치는 어디까지나 예시이며, 화상 인식에 의해 인식 대상을 인식하는 조작을 포함하는 검사 장치라면 적용 가능하다.

또한, 상기 실시 형태에서는, 인식 대상으로서, 전극 패드, 프로브의 전극 패드에의 바늘 자국, 프로브의 바늘끝을 예시했지만, 이것에 한정하는 것은 아니다.

Claims

복수의 검사 장치로부터, 인식 대상을 포함하는 화상 데이터를 수집하는 화상 데이터 수집부와,
사전의 기계 학습으로 얻어지고 상기 인식 대상의 특징부를 인식하는 제1 모델에 대하여, 상기 화상 데이터 수집부에 수집된 화상 데이터에 의해 추가의 기계 학습을 실행하는 학습 실행부와,
상기 학습 실행부에 의한 상기 추가의 기계 학습의 결과에 기초하여, 상기 인식 대상의 상기 특징부를 인식하는 모델을 상기 제1 모델에서 제2 모델로 갱신하는 모델 갱신부와,
상기 복수의 검사 장치 중 특정 검사 장치에 상기 제2 모델을 송신하는 제1 송신부와,
상기 특정 검사 장치에서 상기 제2 모델을 사용해서 상기 인식 대상의 인식을 행한 인식 결과를 수신하여 판정하는 인식 결과 판정부와,
상기 인식 결과 판정부에 의한 판정 결과에 의해, 상기 제2 모델을 상기 복수의 검사 장치 중 적어도 하나에 송신하는 제2 송신부
를 포함하는 화상 인식 시스템.
제1항에 있어서, 상기 화상 데이터 수집부에는, 상기 인식 대상의 인식을 행한 상기 인식 결과가 불량이 되는 화상 데이터가 수집되는, 화상 인식 시스템.
제1항 또는 제2항에 있어서, 상기 복수의 검사 장치 중 상기 제2 모델이 송신된 상기 검사 장치에서, 상기 인식 대상의 상기 특징부를 인식하는 상기 모델이 상기 제1 모델에서 상기 제2 모델로 갱신되는, 화상 인식 시스템.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 복수의 검사 장치는, 사전의 기계 학습에 의해 얻어진 상기 인식 대상의 상기 특징부를 인식하는 상기 모델을 사용해서 상기 인식 대상의 인식을 행하는 제1 검사 장치를 포함하고,
상기 복수의 검사 장치 중 상기 제2 모델이 송신되는 상기 검사 장치는 상기 제1 검사 장치인, 화상 인식 시스템.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 검사 장치에서 상기 인식 대상을 인식하지 못한 화상 데이터를 수신하여, 상기 화상 데이터에 대해서 상기 인식 대상의 추정을 행하는 추정부와,
상기 추정부에서 상기 인식 대상의 추정 결과를 상기 화상 데이터의 송신원의 상기 검사 장치에 송신하고, 상기 추정부에서 상기 인식 대상을 추정하지 못한 경우에는 상기 화상 데이터 수집부에 그 화상 데이터를 축적시키는 데이터 처리부
를 더 포함하는, 화상 인식 시스템.
제5항에 있어서, 상기 복수의 검사 장치는, 상기 인식 대상의 상기 특징부를 인식하는 상기 모델을 사용하지 않는 제2 검사 장치를 포함하고,
상기 추정부는, 상기 제2 검사 장치에서 상기 인식 대상을 인식하지 못한 화상 데이터를 수신하여, 상기 인식 대상의 추정을 행하는, 화상 인식 시스템.
제5항 또는 제6항에 있어서, 상기 추정부는, 상기 화상 데이터에 대해서 상기 제1 모델을 사용해서 상기 인식 대상의 추정을 행하는, 화상 인식 시스템.
제5항 내지 제7항 중 어느 한 항에 있어서, 상기 추정부는, 상기 모델 갱신부에서 갱신된 상기 제2 모델로 갱신 가능하게 구성되는 상기 제1 모델을 사용하는, 화상 인식 시스템.
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 검사 장치는, 복수의 디바이스가 형성된 웨이퍼에 대하여, 프로브 카드의 각 프로브를 디바이스의 전극 패드와 접촉시켜 전기적 특성의 검사를 행하는 것이며,
상기 인식 대상은, 상기 전극 패드, 상기 전극 패드에 대하여 상기 프로브가 새긴 바늘 자국, 및 상기 프로브의 바늘끝 중 적어도 1종인, 화상 인식 시스템.
복수의 검사 장치로부터, 인식 대상을 포함하는 화상 데이터를 화상 데이터 수집부에 수집하는 공정과,
사전의 기계 학습으로 얻어지고 상기 인식 대상의 특징부를 인식하는 제1 모델에 대하여, 상기 수집된 화상 데이터에 의해 추가의 기계 학습을 실행하는 공정과,
상기 추가의 기계 학습의 결과에 기초하여, 상기 인식 대상의 상기 특징부를 인식하는 모델을 상기 제1 모델에서 제2 모델로 갱신하는 공정과,
상기 복수의 검사 장치 중 특정 검사 장치에 상기 제2 모델을 송신하는 공정과,
상기 특정 검사 장치에서 상기 제2 모델을 사용해서 상기 인식 대상의 인식을 행하는 공정과,
상기 특정 검사 장치에서 인식을 행한 인식 결과를 판정하는 공정과,
상기 판정하는 공정의 판정 결과에 의해, 상기 제2 모델을 상기 복수의 검사 장치 중 적어도 하나에 송신하는 공정
을 포함하는 화상 인식 방법.
제10항에 있어서, 상기 수집하는 공정은, 상기 인식 대상의 인식을 행한 상기 인식 결과가 불량이 되는 화상 데이터를 수집하는, 화상 인식 방법.
제10항 또는 제11항에 있어서, 상기 복수의 검사 장치 중 상기 제2 모델이 송신된 상기 검사 장치에서, 상기 인식 대상의 상기 특징부를 인식하는 상기 모델이 상기 제1 모델에서 상기 제2 모델로 갱신되는, 화상 인식 방법.
제10항 내지 제12항 중 어느 한 항에 있어서, 상기 복수의 검사 장치는, 사전의 기계 학습에 의해 얻어진 상기 인식 대상의 상기 특징부를 인식하는 상기 모델을 사용해서 상기 인식 대상의 인식을 행하는 제1 검사 장치를 포함하고,
상기 복수의 검사 장치 중 상기 제2 모델이 송신되는 상기 검사 장치는 상기 제1 검사 장치인, 화상 인식 방법.
제10항 내지 제13항 중 어느 한 항에 있어서, 상기 검사 장치에서 상기 인식 대상을 인식하지 못한 화상 데이터에 대해서 상기 인식 대상의 추정을 행하는 공정과,
상기 인식 대상의 추정 결과를 상기 화상 데이터의 송신원의 상기 검사 장치에 송신하고, 상기 인식 대상을 추정하지 못한 경우에는 상기 화상 데이터 수집부에 그 화상 데이터를 축적시키는 공정
을 더 포함하는, 화상 인식 방법.
제14항에 있어서, 상기 복수의 검사 장치는, 상기 인식 대상의 상기 특징부를 인식하는 상기 모델을 사용하지 않는 제2 검사 장치를 포함하고,
상기 인식 대상의 추정을 행하는 공정은, 상기 제2 검사 장치에서 상기 인식 대상을 인식하지 못한 화상 데이터에 대해서 상기 인식 대상의 추정을 행하는, 화상 인식 방법.
제14항 또는 제15항에 있어서, 상기 인식 대상의 추정을 행하는 공정은,
기 화상 데이터에 대해서 상기 제1 모델을 사용해서 상기 인식 대상의 추정을 행하는, 화상 인식 방법.
제14항 내지 제16항 중 어느 한 항에 있어서, 상기 인식 대상의 추정을 행하는 공정에서, 상기 모델을 갱신하는 공정에서 갱신된 상기 제2 모델로 갱신 가능하게 구성되는 상기 제1 모델이 사용되는, 화상 인식 방법.
제10항 내지 제17항 중 어느 한 항에 있어서, 상기 검사 장치는, 복수의 디바이스가 형성된 웨이퍼에 대하여, 프로브 카드의 각 프로브를 디바이스의 전극 패드와 접촉시켜 전기적 특성의 검사를 행하는 것이며,
상기 인식 대상은, 상기 전극 패드, 상기 전극 패드에 대하여 상기 프로브가 새긴 바늘 자국, 및 상기 프로브의 바늘끝 중 적어도 1종인, 화상 인식 방법.