KR20210087063A - 화상 평가 장치 및 방법 - Google Patents

Abstract

미지 결함을 검출할 수 있어, 기계 학습 모델의 오인식을 방지하는 것이 가능한 화상 평가 장치 및 방법을 제공하는 것을 목적으로 한다. 전자 디바이스의 결함 화상에 있어서의 결함 정보를 기계 학습에 의한 식별기를 사용하여 식별하는 화상 평가 장치로서, 전자 디바이스의 결함 화상을 저장하는 화상 기억부와, 결함 화상에 있어서의 결함 영역 정보를 저장하는 결함 영역 기억부와, 결함 정보를 기계 학습에 의해 식별하는 식별기와, 결함 화상의 식별 처리의 과정에서, 식별기가 주목하는 주목 화상 정보를 추출하는 화상 추출부와, 주목 화상 정보와 결함 영역 정보를 비교하여, 결함 화상의 식별 가능성을 평가하는 평가부를 구비하는 것을 특징으로 하는 화상 평가 장치.

Description

화상 평가 장치 및 방법

본 발명은, 결함 화상에 있어서의 기계 학습 모델의 주목 영역과, 결함 물체의 위치 정보의 비교에 의한 화상 평가 장치 및 그 방법에 관한 것이다.

근년, 반도체 검사 등의 분야에서 화상으로부터 특징량을 추출하고, 사전에 데이터베이스 등에 등록되어 있는 정보와 비교 대조함으로써 대상물을 판별하는 화상 해석 기술이 이용되고 있다.

이러한 화상 해석 기술의 일례로서 특허문헌 1에 기재된 방법이 알려져 있다. 특허문헌 1에 의하면, 기계 학습 수단의 적용에 의해 입력 화상으로부터 특정 패턴을 강조한 출력 화상을 출력할 수 있다.

또한 대상물을 판별하는 기계 학습 수단의 구체적인 기계 학습의 알고리즘으로서, 뉴럴 네트워크나 서포트 벡터 머신이 알려져 있다. 단, 어느 방법도 어떠한 특징량을 선택하는지에 따라 식별 정밀도가 크게 변동하기 때문에, 특징량의 선택 방법이 중요해지고 있다.

이 점에 관하여, 근년에는, CNN(Convolutional Neural Network; 컨벌루션 뉴럴 네트워크)이라고 불리는 심층 학습기가 개발되어, 주목받고 있다. CNN은 기계 학습기의 일종이며, 화상의 특징을 심층 학습 모델이 자동 학습하고, 화상에 포함된 물체 상(像)의 추출이나, 물체의 판별, 화상의 분류 등을 행하는 것이다.

CNN에 의하면, 종래의 서포트 벡터 머신 등의 기계 학습에 필요한 특징량의 선택을 학습 데이터로부터 자동 추출할 수 있어, 매우 높은 화상 해석 성능을 발휘한다.

일본 특허 공개 제2005-34211호 공보

이와같이 CNN은 높은 인식 성능을 갖지만, 그 반면에 있어서 학습한 종류 이외의 미지 종류의 화상에 대해서도 강하게 반응되어 버려, 높은 확신도로 오인식하는 경우가 많다고 하는 문제를 내포하고 있다.

구체적으로는 예를 들어 CNN의 반도체 제조 라인에 대한 적용 시에, 반도체의 제조 라인에서 발견되는 일부의 결함의 발생 빈도가 낮기 때문에, 대량으로 모아서, 학습시키는 것이 곤란하다.

그 때문에, 교시 데이터에 포함되어 있지 않은 미지 결함을 간과할 우려가 있다고 하는 문제가 있다.

이와 같이, 기계 학습을 반도체의 화상 검사에 활용하는 경우, 학습 완료의 모델이 교시 데이터에 포함되어 있지 않은 미지 종류의 결함 화상에 강하게 반응하여, 높은 확신도로 오인식할 우려가 있다. 이에 의해, 치명적인 결함을 놓쳐, 수율의 저하를 초래할 가능성이 있다. 이 때문에, 미지 결함을 검출하는 수단이 요구되고 있다.

이상의 점에서 본 발명에 있어서는, 미지 결함을 검출할 수 있어, 기계 학습 모델의 오인식을 방지하는 것이 가능한 화상 평가 장치 및 방법을 제공하는 것을 목적으로 한다.

이상의 점에서 본 발명에 있어서는, 「전자 디바이스의 결함 화상에 있어서의 결함 정보를 기계 학습에 의한 식별기를 사용하여 식별하는 화상 평가 장치로서, 전자 디바이스의 결함 화상을 저장하는 화상 기억부와, 결함 화상에 있어서의 결함 영역 정보를 저장하는 결함 영역 기억부와, 결함 정보를 기계 학습에 의해 식별하는 식별기와, 결함 화상의 식별 처리의 과정에서, 식별기가 주목하는 주목 화상 정보를 추출하는 화상 추출부와, 주목 화상 정보와 결함 영역 정보를 비교하여, 결함 화상의 식별 가능성을 평가하는 평가부를 구비하는 것을 특징으로 하는 화상 평가 장치」로 한 것이다.

또한 본 발명에 있어서는, 「전자 디바이스의 결함 화상에 있어서의 결함 정보를, 복수의 기계 학습에 의한 식별기를 사용하여 식별하는 화상 평가 장치로서, 전자 디바이스의 결함 화상을 저장하는 화상 기억부와, 결함 정보를 기계 학습에 의해 식별하는 복수의 식별기와, 결함 화상의 식별 처리의 과정에서, 복수의 식별기가 주목하는 복수의 주목 화상 정보를 추출하는 화상 추출부와, 복수의 주목 화상 정보를 비교하여, 복수의 식별기를 평가하는 평가부를 구비하는 것을 특징으로 하는 화상 평가 장치」로 한 것이다.

또한 본 발명에 있어서는, 「전자 디바이스의 결함 화상에 있어서의 결함 정보를 기계 학습에 의한 식별기를 사용하여 식별하는 화상 평가 방법으로서, 전자 디바이스의 결함 화상을 저장하고, 결함 화상에 있어서의 결함 영역 정보를 저장하고, 결함 화상의 식별 처리의 과정에서, 식별기가 주목하는 주목 화상 정보를 추출하고, 주목 화상 정보와 결함 영역 정보를 비교하여, 결함 화상의 식별 가능성을 평가하는 것을 특징으로 하는 화상 평가 방법」으로 한 것이다.

또한 본 발명에 있어서는, 「전자 디바이스의 결함 화상에 있어서의 결함 영역 정보를, 복수의 기계 학습에 의한 식별기를 사용하여 식별하는 화상 평가 방법으로서, 전자 디바이스의 결함 화상을 저장하고, 결함 화상의 식별 처리의 과정에서, 복수의 식별기가 주목하는 복수의 화상 정보를 추출하고, 복수의 주목 화상 정보를 비교하여, 복수의 식별기를 평가하는 것을 특징으로 하는 화상 평가 방법」으로 한 것이다.

본 발명에 따르면, 미지 결함을 검출할 수 있어, 기계 학습 모델의 오인식을 방지하는 것이 가능해진다.

도 1은 화상 평가부를 구비한 화상 평가 장치의 실시예를 나타내는 도면.
도 2는 중심점 비교에 의한 화상 영역 비교부의 실시예를 나타내는 도면.
도 3은 직사각형 영역 비교에 의한 화상 영역 비교부의 실시예를 나타내는 도면.
도 4는 결함 검출부를 구비한 화상 평가 장치의 실시예를 나타내는 도면.
도 5는 복수의 기계 학습 모델을 비교하는 화상 평가 장치의 실시예를 나타내는 도면.
도 6은 모델 재학습부를 구비한 화상 평가 장치의 실시예를 나타내는 도면.
도 7은 화상 평가 방법의 처리 플로의 실시예를 나타내는 도면.
도 8은 평가 결과 표시부를 구비한 화상 평가 장치의 실시예를 나타내는 도면.
도 9는 평가 결과 표시부에 있어서의 표시예를 나타내는 도면.
도 10은 반도체 검사 시스템의 일례를 설명하는 도면.
도 11은 주사 전자 현미경의 개략 설명도.
도 12는 기계 학습 모델의 학습법을 나타내는 도면.

이하 본 발명의 실시예에 대하여 도면을 참조하여 상세히 설명한다.

본 발명의 화상 평가 장치는, 화상을 취급하는 광범위한 기술 분야에 있어서 적용 가능하지만, 이하에 나타내는 본 발명의 실시예에 있어서는, 기계 학습을 활용한 반도체 검사에서의 미지 결함의 오인식을 방지하기 위한 화상 평가 장치 및 방법을 예시하고 있다. 또한, 그 구체적인 일례로서, 학습 완료의 기계 학습 모델과 결함 물체의 영역 정보를 이용하여, 미지 결함을 검출하는 예를 나타낸다.

그 때문에 본 명세서에 있어서는, 우선 도 10, 도 11을 이용하여 반도체 검사의 전제가 되는 기술을 설명하고, 그 후 실시예에 대하여 도 1 내지 도 9를 이용하여 설명을 행하는 것으로 한다.

이하에, 기계 학습을 활용한 반도체 검사에서의 미지 결함 검출 기능을 구비한 장치, 측정 검사 시스템에 대하여, 도 10, 도 11을 이용하여 설명한다. 보다 구체적으로는, 측정 장치의 일종인 측장용 주사 전자 현미경(Critical Dimension-Scanning Electron Microscope: 이하에 있어서는 CD-SEM 혹은 단순히 SEM이라고 칭함)을 포함하는 장치, 시스템에 대하여 설명한다.

또한, 이하의 설명에서는, 화상을 형성하는 장치로서 하전 입자선 장치를 예시함과 함께, 그 일 양태로서, SEM을 사용한 예를 설명하지만, 이에 한정되지 않고, 예를 들어 시료 위에 이온빔을 주사하여 화상을 형성하는 집속 이온빔(Focused Ion Beam: 이하에 있어서는 'FIB'라고 칭함) 장치를 하전 입자선 장치로서 채용하도록 해도 된다. 단, 미세화가 진행되는 패턴을 고정밀도로 측정하기 위해서는, 매우 높은 배율이 요구되기 때문에, 일반적으로 분해능의 면에서 FIB 장치보다 뛰어난 SEM을 사용하는 것이 바람직하다.

도 10은, 복수의 측정, 혹은 검사 장치가 네트워크에 접속된 반도체 검사 시스템의 개략 설명도이다. 당해 시스템에는, 주로 반도체 웨이퍼나 포토마스크 등의 패턴 치수를 측정하는 CD-SEM(2401), 시료에 전자 빔을 조사함으로써, 화상을 취득하고 당해 화상과 미리 등록되어 있는 참조 화상의 비교에 기초하여 결함을 추출하는 결함 검사 장치(2402)가 네트워크 NW에 접속된 구성으로 되어 있다.

또한, 네트워크 NW에는, 반도체 디바이스의 설계 데이터상에서, 측정 위치나 측정 조건 등을 설정하는 조건 설정 장치(2403), 반도체 디바이스의 설계 데이터와, 반도체 제조 장치의 제조 조건 등에 기초하여, 패턴의 품질을 시뮬레이션하는 시뮬레이터(2404), 및 반도체 디바이스의 레이아웃 데이터나 제조 조건이 등록된 설계 데이터가 기억되는 기억 매체(2405)가 접속되어 있다.

설계 데이터는 예를 들어 GDS 포맷이나 OASIS 포맷 등으로 표현되어 있으며, 소정의 형식으로 기억되어 있다. 또한, 설계 데이터는, 설계 데이터를 표시하는 소프트웨어가 그 포맷 형식을 표시할 수 있고, 도형 데이터로서 취급할 수 있으면, 그 종류는 불문한다. 또한, 기억 매체(2405)는 측정 장치, 검사 장치의 제어 장치, 혹은 조건 설정 장치(2403), 시뮬레이터(2404)에 내장하도록 해도 된다.

또한, CD-SEM(2401) 및 결함 검사 장치(2402)에는, 각각의 제어 장치가 구비되고, 각 장치에 필요한 제어가 행해지지만, 이들 제어 장치에, 상기 시뮬레이터의 기능이나 측정 조건 등의 설정 기능을 탑재하도록 해도 된다.

SEM에서는, 전자원으로부터 방출되는 전자 빔이 복수단의 렌즈로 집속됨과 함께, 집속된 전자 빔은 주사 편향기에 의해, 시료 위를 1차원적, 혹은 2차원적으로 주사된다.

전자 빔의 주사에 의해 시료로부터 방출되는 2차 전자(Secondary Electron: 이하에 있어서는 'SE'라고 칭함) 혹은 후방 산란 전자(Backscattered Electron: 이하에 있어서는 'BSE'라고 칭함)는, 검출기에 의해 검출되고, 상기 주사 편향기의 주사에 동기하여, 프레임 메모리 등의 기억 매체에 기억된다. 이 프레임 메모리에 기억되어 있는 화상 신호는, 제어 장치 내에 탑재된 연산 장치에 의해 적산된다. 또한, 주사 편향기에 의한 주사는 임의의 크기, 위치, 및 방향에 대하여 가능하다.

이상과 같은 제어 등은, 각 SEM의 제어 장치로 행해지고, 전자 빔의 주사의 결과, 얻어진 화상이나 신호는, 네트워크 NW를 통해 조건 설정 장치(2403)로 보내진다. 또한, 본 예에서는, SEM을 제어하는 제어 장치와, 조건 설정 장치(2403)를 별체의 것으로서, 설명하고 있지만, 이에 한정되지는 않고, 조건 설정 장치(2403)로 장치의 제어와 측정 처리를 일괄적으로 행하도록 해도 되고, 각 제어 장치로, SEM의 제어와 측정 처리를 함께 행하도록 해도 된다.

또한, 상기 조건 설정 장치(2403) 혹은 제어 장치에는, 측정 처리를 실행하기 위한 프로그램이 기억되어 있으며, 당해 프로그램에 따라서 측정, 혹은 연산이 행해진다.

또한, 조건 설정 장치(2403)는, SEM의 동작을 제어하는 프로그램(레시피)을, 반도체의 설계 데이터에 기초하여 작성하는 기능이 구비되어 있으며, 레시피 설정부로서 기능한다. 구체적으로는, 설계 데이터, 패턴의 윤곽선 데이터, 혹은 시뮬레이션이 실시된 설계 데이터상에서 원하는 측정점, 오토 포커스, 오토 스티그마, 어드레싱점 등의 SEM에 있어서 필요한 처리를 행하기 위한 위치 등을 설정하고, 당해 설정에 기초하여, SEM의 시료 스테이지나 편향기 등을 자동 제어하기 위한 프로그램을 작성한다.

도 11은, 주사 전자 현미경의 개략 구성도이다. 전자원(2501)으로부터 인출 전극(2502)에 의해 인출되고, 도시하지 않은 가속 전극에 의해 가속된 전자 빔(2503)은, 집속 렌즈의 일 형태인 콘덴서 렌즈(2504)에 의해 좁혀진 후에, 주사 편향기(2505)에 의해, 시료(2509) 위를 1차원적, 혹은 2차원적으로 주사된다. 전자 빔(2503)은 시료대(2508)에 내장된 전극에 인가된 부전압에 의해 감속됨과 함께, 대물 렌즈(2506)의 렌즈 작용에 의해 집속되어 시료(2509) 위에 조사된다.

전자 빔(2503)이 시료(2509)에 조사되면, 당해 조사 개소로부터 2차 전자 및 후방 산란 전자와 같은 전자(2510)가 방출된다. 방출된 전자(2510)는, 시료에 인가되는 부전압에 기초하는 가속 작용에 의해, 전자원 방향으로 가속되고, 변환 전극(2512)에 충돌하여, 2차 전자(2511)를 발생시킨다.

변환 전극(2512)으로부터 방출된 2차 전자(2511)는, 검출기(2513)에 의해 포착되어, 포착된 2차 전자량에 의해, 검출기(2513)의 출력 I가 변화된다. 이 출력 I에 따라서 도시하지 않은 표시 장치의 휘도가 변화된다. 예를 들어 2차원 상을 형성하는 경우에는, 주사 편향기(2505)에의 편향 신호와, 검출기(2513)의 출력 I의 동기를 취함으로써, 주사 영역의 화상을 형성한다. 또한, 도 11에 예시하는 주사 전자 현미경에는, 전자 빔의 주사 영역을 이동하는 편향기(도시생략)가 구비되어 있다.

또한, 도 11의 예에서는 시료로부터 방출된 전자를 변환 전극으로 일단 변환하여 검출하는 예에 대하여 설명하고 있지만, 물론 이와 같은 구성에 한정되지는 않고, 예를 들어 가속된 전자의 궤도상에, 전자 배상관이나 검출기의 검출면을 배치하는 구성으로 하는 것도 가능하다. 제어 장치(2514)는, 주사 전자 현미경의 각 구성을 제어함과 함께, 검출된 전자에 기초하여 화상을 형성하는 기능이나, 라인 프로파일이라고 불리는 검출 전자의 강도 분포에 기초하여, 시료 위에 형성된 패턴의 패턴 폭을 측정하는 기능을 구비하고 있다.

실시예 1

본 발명의 실시예 1에 따른 화상 평가 장치 및 방법은, 상기한 반도체 검사 장치에 적용되는 사례를 나타내고 있으며, 미지 결함을 검출하는 기능을 구비한 화상 평가 장치의 실시예를 도 1에 도시하고 있다.

도 1은, 화상 평가부(1)를 구비한 화상 평가 장치(10)의 실시예를 나타내는 도면이며, 화상 평가부(1)는 결함 화상(101)과 결함 영역 정보(105)를 입력하고, 기계 학습 모델(102)을 참조하여 평가 결과(106)를 얻는다.

화상 평가 장치(10)는 계산기 시스템을 사용하여 소프트웨어적으로 구성되지만, 화상 평가부(1)의 내부 처리 기능, 혹은 처리 과정에 있어서 생성된 중간 생성물을 모식적으로 나타내면, 주목 영역 검출부(103)와 검출된 주목도 화상(104)과 화상 영역 비교부(20)를 포함하는 것으로 할 수 있다.

구체적으로는 화상 평가부(1)에 있어서는, 결함 화상(101)과 기계 학습 모델(102)을 화상 평가부(1)에 입력하고, 주목 영역 검출부(103)로 기계 학습 모델(102)이 화상 중에 있어서의 주목하는 영역 정보를 주목도 화상(104)으로서 생성한다. 그리고, 생성한 주목도 화상(104)과 결함 영역 정보(105)를 화상 영역 비교부(20)에서 비교하여 평가 결과(106)를 출력한다.

또한 화상 평가부(1)는 제어 장치(2514) 내에 내장되거나, 혹은 화상 처리를 내장된 연산 장치로 실행하는 것도 가능하며, 네트워크를 경유하여, 외부의 연산 장치(예를 들어 도 10에 예시한 조건 설정 장치(2403))로 화상 평가를 실행하는 것도 가능하다.

또한 도 1 외의 도면에 있어서, 입력으로서의 데이터, 중간 생성물로서의 데이터, 혹은 최종 성과물로서의 데이터는, 도시상에는 명확하게 하고 있지 않지만 어떠한 형식으로 기억부에 보관되는 것임은 물론이다.

주목 영역 검출부(103)에서는, 결함 화상(101)에 대해서, 기계 학습 모델(102)의 파라미터를 사용하여, 화상의 특징량 맵을 생성한다. 주목 영역 검출부(103)의 기능을 실현하는 데 있어서, 문헌 「Zhou, Bolei, et al. "Learning deep features for discriminative localization." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.」을 사용하는 것이 좋다.

이 Zhou 문헌은, CNN이 화상에 있어서의 주목 영역의 가시화에 관한 것으로, CNN이 화상으로부터 추출한 복수의 특징량 맵의 가중합을 계산하여, 그것을 픽셀마다의 주목도 화상으로서 출력한다. 구체적으로는, 이들 특징량 맵으로 연결되는 뉴런의 가중치를 사용하여, 특징량 맵의 가중합을 계산하고, 또한 원화상의 크기로 리사이즈한 결과를 주목도 화상(104)으로서 출력한다.

이렇게 하여 주목도 화상(104)에는, 결함 화상(101)의 각 픽셀에 있어서의 주목도의 정보가 포함된다. 기계 학습 모델(102)이 강하게 반응하는 영역의 주목도가 높고, 약하게 반응하는 영역의 주목도가 낮다. 주목도 화상(104)을 사용하여, 기계 학습 모델(102)이 생성된 인식 결과의 베이스가 되는 주목 영역을 설명할 수 있다.

한편, 화상 영역 비교부(20)에 있어서의 다른 입력인 결함 영역 정보(105)에 대하여 보면, 화상 중에 있어서의 결함 물체의 위치 정보가 포함된다. 예를 들어, 결함 물체를 둘러싸는 직사각형 영역이어도 되며, 혹은 결함 물체의 에지를 따른 마스크 화상이어도 된다. 결함 영역 정보(105)의 생성에 대하여, 엔지니어가 결함 화상을 눈으로 봄으로써 확인하고, 수동으로 그려도 되고, 후술하는 결함 검출부(30)에 의해 생성되어도 된다.

도 2는 화상 영역 비교부(20)의 일례를 나타내는 도면이다. 주목도 화상(104)에 대해서, 임계값 처리(201)를 행한다. 예를 들어, 주목도가 어떤 임계값보다 큰 픽셀만을 추출한다. 그리고, 추출된 픽셀의 중심점을 중심 계산(202)으로 산출한다. 동일하게, 결함 영역 정보(105)로부터도 중심점을 계산한다. 계산된 2개의 중심점을 이용하여, 중심 거리 계산(203)에서 2개의 중심점 거리를 계산하고, 중심 거리(204)를 출력한다.

중심 계산(202)에서는, 계산 대상으로 되는 각 픽셀의 평균값을 계산해도 되며, 혹은 가중치를 부여한 가중합을 계산해도 된다. 가중치의 예로서, 해당 픽셀의 주목도, 혹은 해당 픽셀이 결함이 되는 확신도를 들 수 있다.

구해진 중심 거리에 관하여, 결함 화상(101)의 결함 종류가 교시 데이터에 포함되는 종류이면, 기계 학습 모델(102)이 동일 종류의 결함 물체를 인식하고, 그것의 영역에 주목하기 때문에, 화상 영역 비교부(20)에서 계산된 상기 중심 거리(204)의 값이 작다고 할 수 있다. 한편 구해진 중심 거리에 관하여, 교시 데이터에 포함되지 않은 미지 결함의 경우, 기계 학습 모델(102)이 주목하는 영역과, 결함 영역의 어긋남이 크기 때문에, 중심 거리(204)의 값이 크다고 할 수 있다. 중심 거리에 대한 이러한 경향 때문에, 중심 거리(204)를 그대로 화상 평가 장치(1)의 평가 결과(106)로서 사용할 수 있다. 또는, 중심 거리(204)와 어떤 임계값의 비교 결과(예를 들어, OK와 NG)를 평가 결과(106)로서 출력하는 것도 가능하다.

도 2는, 화상 영역 비교부(20)의 판단 방법으로서, 교시 데이터에 포함되는 종류인 기지 결함과, 교시 데이터에 포함되지 않은 미지 결함에서는, 중심 거리(중심점)에 차이가 발생하는 것을 이용하여 이들을 식별한 것이다.

도 2의 중심점 비교에 의한 화상 영역 비교에 대해서, 다른 하나의 실시예 1인 도 3은 직사각형 영역 비교에 의한 화상 영역 비교로 한 것이다. 도 3은, 도 2의 화상 영역 비교부(20)에 있어서의 중심 계산을, 직사각형 계산으로 치환한 것이다.

도 3의 직사각형 계산(205)에서는, 대상으로 되는 화상 영역(주목 영역, 혹은 결함 영역)을 포함하는 직사각형을 추정한다. 추정한 2개의 직사각형을 이용하여, 직사각형 중복도 계산(206)에서 직사각형 중복도(207)를 계산한다. 직사각형 중복도(207)의 일례로서, 중복된 영역과 총 영역의 비율을 들 수 있다. 이 직사각형 중복도(207)가 도 2에 있는 중심 거리(204)와 동일하도록 미지 결함 판단의 지표로서 사용할 수 있기 때문에, 그대로 평가 결과(106)로서 출력되어도 되거나, 혹은 임계값과의 비교 결과가 평가 결과(106)로서 출력되어도 된다.

실시예 1에 따른 상기 설명에서, 중심점의 비교, 혹은 직사각형의 비교에 의한 화상 영역 비교부(20)의 실시예를 설명하였다. 이 이외에, 불규칙 영역의 비교, 영역 면적의 비교, 영역 형상의 비교, 대표점의 비교(예를 들어, 주목도의 최댓값을 대표점으로 함) 등의 방법도 가능하다. 또한, 복수의 비교 방법을 조합하는 방법도 생각된다.

도 1, 2, 3의 처리에 의해, 최종적으로 얻어진 평가 결과(106)는, 화상 영역 비교부(20)에서 출력된 하나, 혹은 복수의 지표, 또한 지표로부터 계산된 결과(예를 들어 지표의 값이 어떤 임계값을 초과하면 미지 결함이라고 판단되는 결과)를 포함한다.

도 8은, 도 1의 화상 평가 장치(10)가, 평가 결과 표시부(5)도 더 포함하여 구성되는 경우의 구성예를 나타낸 도면이다. 평가 결과 표시부(5)에는, 도 9에 예시한 바와 같은 형식으로 화상 표시가 행해지는 것이 바람직하다.

도 9에 있어서의 평가 결과 표시예에 의하면, 평가 결과 표시부(5)의 표시 화면상에, 결함 화상(101), 결함 영역 정보(105), 주목도 화상(104), 그리고 이들 화상을 오버 랩핑한 평가 결과(106)가 표시된다.

이 경우, 평가 결과(106) 중에서, 사선으로 나타낸 영역 R1이 결함 영역, 사선으로 나타낸 영역 R2가 주목도 화상으로부터 검출한 주목 영역이며, 영역 R3이 양자가 중복된 영역이다.

영역 R3이 작으면, 기계 학습 모델(102)의 주목 영역과 결함 영역 정보(105)의 어긋남양이 큰 것을 의미하고, 결함 화상(101)이 미지 결함일 가능성이 크다고 할 수 있다. 도 9와 같은 평가 결과 표시부(5)를 사용하여, 유저가 평가 결과(106)를 보다 깊게 이해할 수 있다.

또한 상기 표시에 의해, 기계 학습 모델(102)의 주목 영역이 정확하면 사전에 알 수 있으며, 게다가 결함 영역 정보(105)가 엔지니어에 의해, 눈으로 봄으로써 작성된 경우, 평가 결과(106)로부터, 엔지니어가 마킹한 결함 영역과 참값의 차를 알 수 있기 때문에, 이 화상 평가 장치가 엔지니어의 교육·능력 판정에도 활용되는 것이 생각된다.

이상에 의해, 화상 평가부(1)를 포함하는 화상 평가 장치를 실현할 수 있다.

본 발명에 따른 화상 평가 장치(10)는, 요컨대 기계 학습 모델과 결함 영역 정보를 이용하여, 미지의 결함 화상의 평가를 행하고, 식별의 가부를 판단하는 장치에 관한 것으로, 「전자 디바이스의 결함 화상에 있어서의 결함 정보(종류, 위치 등)를 기계 학습에 의한 식별기(102)를 사용하여 식별하는 화상 평가 장치로서, 전자 디바이스의 결함 화상(101)을 저장하는 화상 기억부와, 결함 화상에 있어서의 결함 영역 정보(105)를 저장하는 결함 영역 기억부와, 결함 정보를 기계 학습에 의해 식별하는 식별기(102)와, 결함 화상의 식별 처리의 과정에서, 식별기가 주목하는 주목 화상 정보(104)를 추출하는 화상 추출부(103)와, 주목 화상 정보와 결함 영역 정보를 비교하여, 결함 화상의 식별 가능성을 평가하는 화상 평가부(20)를 구비하는 것을 특징으로 하는 화상 평가 장치」와 같이 구성한 것이다.

또한 본 발명에 따른 화상 평가 장치(10) 내의 화상 평가부[20(201·202·203)]는, 그 처리의 일례로서 「기계 학습의 식별기(102)가 주목하는 화상 영역으로부터 1개 이상의 주목 좌표를 계산하여, 결함 영역 정보로부터 1개 이상 결함 좌표를 계산하여, 좌표 간의 거리를 비교하고, 결함 화상의 식별 가능성을 평가하는 화상 평가 장치」와 같이 구성한 것이다.

또한 화상 평가부[20(201·202·203)]는, 그 처리의 일례로서 「화상 평가부(201·202·203)는, 상기 기계 학습의 식별기가 주목하는 화상 영역으로부터 대표적인 주목 에어리어를 계산하고, 상기 결함 영역 정보로부터 결함 에어리어를 계산하여, 에어리어 간의 중복도를 산출하고, 상기 결함 화상의 식별 가능성을 평가하는 화상 평가 장치」와 같이 구성한 것이다.

또한 본 발명에 따른 화상 평가 장치(10)는, 화상 평가부(화상 영역 비교부20)의 평가 결과(106)를 표시하는 화상 표시부(평가 결과 표시부(5))를 구비하고, 화상 표시부에는 결함 화상에 있어서의 결함 영역 정보 또는 결함 화상에 대응하는 정상 화상이나 결함 화상에 대응하는 설계 데이터 중 적어도 하나 이상을 표시한다.

실시예 2

도 1로 대표되는 실시예 1에 있어서는, 결함 영역 정보(105)가 어떠한 방법 에 의해 얻어져 있는 것을 전제로 한 것이다.

이에 반하여 실시예 2에 있어서는, 결함 영역 정보(105)를 얻기 위한 구체 방법에 대하여 도 4를 이용하여 설명한다. 도 4에 의하면, 결함 검출부(30)를 구비하고, 결함 화상(101)와 정상 화상(301) 또는 설계 데이터(302)로부터 화상 중에 있어서의 결함 영역 정보(105)를 생성한다.

여기에서는, 정상 화상(301)을 사용하여 구성되는 결함 검출부(30)의 하나의 실시예를 설명한다. 정상 화상(301)은, 촬영 패턴이 결함 화상(101)과 동일하며, 단, 결함 물체가 포함되지 않는 참조 화상이다. 또한, 복수의 정상 패턴의 촬영 화상을 합성하여, 생성된 화상을 정상 화상(301)으로서 사용하는 것도 생각된다. 결함 검출부(30)에서는, 결함 화상(101)과 정상 화상(301)의 차분을 취하여, 차분이 큰 부분을 결함 영역이라고 판정하고, 결함 영역 정보(105)를 생성한다.

또한, 결함 검출부(30)에서, 결함 화상(101)으로부터 추출한 에지 등의 윤곽 정보를 이용하여, 그것과 설계 데이터(302)를 비교하여, 양자 간에 발생한 어긋남에 의한 결함 영역을 검출하고, 결함 영역 정보(105)를 생성하는 것도 생각된다. 또한, 정상 화상(301)은, 설계 데이터(302)대로, 정확하게 화상 형성했을 때 얻어지는 것인 점에서, 설계 데이터(302)와 등가라고 할 수 있다.

실시예 2는, 실시예 1의 구성에 있어서, 또한 결함 영역 정보(105)의 작성 방법에 관한 것으로, 「결함 화상(101)을 사용하고, 또한 결함 화상에 대응하는 정상 화상(301)과 결함 화상에 대응하는 설계 데이터(302) 중 어느 한쪽 또는 양쪽을 사용하여 결함 영역 정보(105)를 검출하는 결함 검출부(30)를 구비하고, 결함 영역 기억부는, 결함 검출부(30)로부터의 결함 영역 정보(105)를 저장하는 것을 특징으로 하는 화상 평가 장치」와 같이 구성한 것이다.

실시예 3

실시예 3에 있어서는, 주목도 화상을 다른 관점에서 복수 작성하여 비교함으로써 평가하는 것에 대하여 설명한다. 실시예 1의 결함 영역 정보(105)를, 다른 시점에서 작성한 제2 주목도 화상으로 치환한 것이라고 할 수 있다.

도 5에 예시되는 실시예 3의 화상 평가부(1)는, 그 내부의 처리 기능, 혹은 처리 과정에 있어서 생성된 중간 생성물을 모식적으로 나타내면, 2개의 기계 학습 모델(102, 107)을 참조하는 주목 영역 검출부(103)와, 2개의 검출된 주목도 화상(104, 108)과, 화상 영역 비교부(20)를 포함하는 것이라고 할 수 있다.

도 5의 화상 평가부(1)는, 결함 화상(101)과, 2개의 기계 학습 모델(102, 107)을 화상 평가부(1)에 입력하고, 주목 영역 검출부(103)에서 각 모델의 주목도 화상(104, 108)을 검출하고, 화상 영역 비교부(20)에서 2개의 주목도 화상을 비교하여, 그 비교 결과를 평가 결과(106)로서 출력한다.

예를 들어, 한쪽의 기계 학습 모델(102)을 기준 모델로 하고, 다른 쪽의 기계 학습 모델(107)을 평가 대상의 모델로 한다. 이 경우, 평가 결과(106)가 기준 모델의 성능에 대해서, 평가 대상 모델의 성능의 고저를 평가할 수 있다.

또한, 도 5에서는 2개의 기계 학습 모델을 화상 평가부(1)에 입력하고 있지만, 3개 이상의 기계 학습 모델을 입력하고, 각각의 주목도 화상을 비교하여, 평가 결과(106)를 출력하는 화상 평가 장치(10)로 하는 것도 생각된다.

실시예 3은, 「전자 디바이스의 결함 화상에 있어서의 결함 정보(종류, 위치 등)를, 복수의 기계 학습에 의한 식별기(102·107)를 사용하여 식별하는 화상 평가 장치로서, 전자 디바이스의 결함 화상(101)을 저장하는 화상 기억부와, 결함 화상의 식별 처리의 과정에서, 복수의 식별기가 주목하는 복수의 주목 화상 정보를 추출하는 화상 추출부(103)와, 복수의 주목 화상 정보(104·108)를 비교하여, 복수의 식별기를 평가하는 식별기 평가부(20)를 구비하는 것을 특징으로 하는 화상 평가 장치」로 한 것이다.

실시예 4

실시예 1 등에 있어서는, 최종적으로 평가 결과를 입수하고, 예를 들어 표시 등을 통하여 유저에게 정보 제시를 행하는 것이었지만, 실시예 4에 있어서는 평가 결과를 기계 학습 모델에 반영시킴으로써, 보다 고정밀도의 기계 학습 모델을 구축해 나가는 것에 대하여 도 6을 이용하여 설명한다.

도 6에 기계 학습 모델을 재학습하는 기능을 구비한 화상 평가 장치(10)의 실시예를 나타낸다. 도 6의 화상 평가 장치(10)에서는, 화상 평가부(1)가 출력한 평가 결과(106)를 이용하여 모델의 학습 정보를 얻는 모델 재학습부(4)를 추가하여, 기계 학습 모델(102)을 조정한다.

모델 재학습부(4)는, 교시 데이터의 조정(401), 학습 파라미터의 조정(402), 모델의 학습(403)의 각 기능에 의해 구성되어 있다. 모델 재학습부(4)에서는, 처음에 교시 데이터의 조정(401)을 행한다. 예를 들어, 평가 결과(106)가 임계값을 초과해 미지 결함 화상으로 검출된 경우, 미지 결함 화상을 새로운 결함 종류로서 정의한다. 또는, 미지 결함 화상에 대해서, 클러스터링 처리를 행하고, 생성된 각 클러스터를 각각 새로운 결함 종류로서 정의하고, 교시 데이터에 추가한다. 또한, 기계 학습 모델(102)의 인식 결과와 화상의 라벨값이 다르고, 게다가 평가 결과(106)가 미지 결함이 아니라고 나타내는 경우, 화상의 라벨값을 재검토할 가능성이 있다. 예를 들어, 참값이 A인 화상에, 라벨 B를 붙였다고 하자. 인식 결과가 A이며, 게다가 평가 결과(106)에 의해, 기계 학습 모델(102)의 주목 영역이 결함 영역과 겹치는 경우, 이 화상의 라벨값이 틀릴 가능성이 있다.

평가 결과(106)를 참고로 하여, 학습 파라미터의 조정(402)을 행하는 것도 생각된다.

예를 들어, 결함 화상(101)이 미지 결함이 아니라고 사전에 알 수 있지만, 평가 결과(106)에 의하면 미지 결함의 의심이 큰 경우, 기계 학습 모델(102)의 인식 성능을 향상시키기 위해서, 이 종류의 결함 화상에 대한 오인식의 페널티를 크게 한다. 구체적으로는, 학습 시에 사용되는 종류마다의 가중치를 조정하게 된다. 또한, 기계 학습 모델(102)의 주목 영역과 결함 영역의 어긋남이 큰 경우, 학습이 불충분하다고 판단하여, 학습의 횟수를 증가시키는 것도 생각된다.

그리고, 모델의 학습(403)에서 기계 학습 모델(102)의 재학습을 행하고, 화상 평가부(1)의 입력이 되는 기계 학습 모델(102)을 생성한다.

또한, 도 6의 모델 재학습부(4)에 있어서는, 교시 데이터의 조정(401)과, 학습 파라미터의 조정(402)을 포함하도록 묘사되어 있지만, 반드시 이 2개의 스텝이 전부 필요한 것은 아니다.

실시예 4는, 기계 학습 모델(102)의 재학습을 하는 것으로, 그 일례는 교시 데이터의 참값을 조정하는 것이며, 「주목 화상 정보와 결함 영역 정보의 비교 결과에 의해, 교시 데이터를 조정하는 교시 데이터 조정부(401)와, 교시 데이터 조정부로부터의 정보에 기초하여 재학습하는 식별기(102)를 구비하는 것을 특징으로 하는 화상 평가 장치」로 한 것이다.

또는 실시예 4의 다른 일례는 학습 파라미터를 조정하는 것으로, 「주목 화상 정보와 결함 영역의 비교 결과에 의해, 기계 학습의 파라미터를 조정하는 기계 학습 파라미터 조정부와, 기계 학습 파라미터 조정부로부터의 정보에 기초하여 재학습하는 식별기(102)를 구비하는 것을 특징으로 하는 화상 평가 장치」로 한 것이다.

실시예 5

도 7에 도시한 실시예 5는, 본 발명의 화상 평가 방법에 있어서의 일련의 처리 내용을 기술한 흐름도이다.

이 처리 플로에 의하면, 처리 스텝 S10에 나타낸 결함 영역 검출 처리와 처리 스텝 S20에 나타낸 주목 영역 검출 처리는 병행하여 실시되어 있으며, 양쪽의 처리 결과가 구비된 단계에 있어서 다음의 처리 스텝 S30이 실행되고, 화상 영역 비교 처리가 행해진다. 또한 그 후 처리 스텝 S40에 있어서 모델 재학습 처리(실시예 4의 경우)가 행해진다.

또한, 주목 영역 검출 처리 S20과, 화상 영역 비교 처리 S30 이외의 처리는, 옵셔널 스텝으로 된다. 이상의 화상 평가 방법에 대하여, 처리의 일부, 또한 모두를 범용 CPU에서 동작하는 처리 프로그램으로 작성해도 된다. 또한, 처리의 일부, 또한 전부를 전용의 LSI나 FPGA로 하는 것도 생각된다.

화상 평가 방법으로서의 실시예 5는, 「전자 디바이스의 결함 화상에 있어서의 결함 정보(종류, 위치 등)를 기계 학습에 의한 식별기(102)를 사용하여 식별하는 화상 평가 방법(1을 포함하는 전체 시스템)으로서, 전자 디바이스의 결함 화상을 저장하고(101), 결함 화상에 있어서의 결함 영역 정보를 저장하고(105), 결함 화상의 식별 처리의 과정에서, 식별기가 주목하는 화상 정보를 추출하고(103·104), 주목 화상 정보와 결함 영역 정보를 비교하여, 결함 화상의 식별 가능성을 평가하는(20) 화상 평가 방법」으로 한 것이다.

모델(102)이 계산한 출력값으로, 결함 화상(101)이 미지 결함인지 여부를 판별하는 것도 생각된다. 예를 들어, 모델(102)이 화상 분류 모델인 경우, 각 클래스에 속하는 확률값이 출력되어, 그 중의 최고 확률에서도 임계값보다 작을 때, 미지 결함이라고 판별한다. 그러나, 문헌 「Nguyen, Anh, Jason Yosinski, and Jeff Clune. "Deep neural networks are easily fooled: High confidence predictions for unrecognizable images." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.」에 의하면, 대부분의 경우, 모델이 출력하는 확률값이 너무 높은 경향이 있다. 그 때문에, 임계값에 의한 미지 결함 판별의 성능이 높아지지 않는다.

또한, 여러 기존 방법으로, Softmax 함수에 의해, 각 클래스에 속하는 확률값의 합계가 1.0이 되는 구속 조건을 사용한다. 그렇게 하면, 어떤 클래스에 속하는 확률값이, 다른 클래스에 속하는 확률값에 영향을 받는다. 그 때문에, 확률값이 어떤 클래스에 속하는 절대적인 확률값이 아니라, 전체 학습 클래스의 상대적인 확률값이 된다. 상대 확률의 임계값 처리에서는 미지 결함의 판별이 곤란하다. 예를 들어, 「새·호랑이·물고기」의 3개 클래스 분류 태스크로, 고양이의 화상을 인식시킨다. 고양이가 3개의 클래스 중 어느 쪽도 다르기 때문에, 절대 확률의 경우, 3개의 확률값이 전부 낮아진다. 그러나, 상대 확률의 경우, 3개의 클래스 중, 고양이가 상대적으로 호랑이와 비슷하기 때문에, 호랑이에 속하는 확률값이 높아진다. 이 경우, 임계값 처리에 의해, 고양이가 미지 클래스라고 인식하는 것이 어렵다.

상기 문제를 해결하기 위해서, 도 12와 같은 모델 학습법을 제안한다. 우선 스텝 S601에서 화상으로부터 특징량을 추출한다. 추출한 특징량을 사용하여, 스텝 S602에서 각 클래스에 속하는 확률값을 계산한다. 이 확률값이 절대 확률값이며, 해당 클래스에 속하는 가능성을 나타낸다. 그리고, 스텝 S603에서 해당 화상의 참값 클래스의 특징 중심점을 갱신한다. 그 후, 스텝 S604에서 해당 화상의 특징량이 각 클래스의 특징 중심점까지의 거리를 계산한다. 이 거리를 사용하여, 스텝 S605에서 각 클래스의 목표 확률값을 계산한다.

마지막으로, 스텝 S606에서, 스텝 S602에서 계산된 확률값이 목표 확률값에 근접하도록, 모델의 파라미터를 갱신한다. 이와 같이 학습의 수렴 조건이 충족할 때까지, 스텝 S601 내지 S606을 반복하여, 모델을 학습한다.

상기 설명에서 화상의 특징량과, 특징 중심점과의 거리를 계산하는 스텝 S604를 실행하기 전에, 특징 중심점을 갱신하는 스텝 S603을 호출하였지만, 스텝 S603이 스텝 S604의 뒤에 놓여도 상관없다. 또는, 스텝 S604 내지 S606을 복수회에 행하고 나서, 스텝 S603을 실행하는 것도 생각된다.

화상 특징량 추출 스텝 S601의 실시예로서, 다층의 뉴럴 네트워크를 들 수 있다. 또는, 사람이 설계한 특징량도 생각된다. 기본적으로, 다차원의 화상 특징량이 추출된다.

절대 확률값을 계산하는 스텝 S602의 실시예로서, 다중 회귀 분석 혹은 서포트 벡터 회귀 등의 회귀법으로 다차원의 화상 특징량을 1차원으로 변환하고, 또한 Sigmoid와 같은 로지스테크 함수로 0.0 내지 1.0의 범위로 변환한다. 뉴럴 네트워크로 다차원의 화상 특징량을 1차원의 값으로 변환하는 것도 생각된다.

스텝 S603의 실시예로서, 화상 특징량과 참값 클래스의 특징 중심점의 차분을 계산하고, 이 차분에 계수를 곱한 후, 현재의 특징 중심점에 가산한다. 차분에곱한 계수를 유저가 설정한 파라미터로 해도 되고, 참값 클래스의 샘플 수에 의해 자동적으로 정해진 값이어도 된다.

스텝 S604에서 계산된 각 클래스의 특징 중심점까지의 거리를 사용하여, 스텝 S605에서 각 클래스의 목표 확률값을 계산한다. 거리가 멀어질수록, 목표 확률값이 작아진다. 예를 들어, 거리의 지수 함수가 생각된다. 대부분의 기존 방법에서는, 목표 확률값이 「참값 클래스가 1.0, 참값 클래스 이외가 0.0」과 같은 One Hot 벡터를 사용한다.

본 발명에서는, One Hot가 아니라, 특징 중심점까지의 거리를 고려하는 값을 목표 확률값으로 한다. 또한, 계산량을 줄이기 위해서, 참값 클래스 이외의 목표값을 제로, 혹은 어떤 정해진 값으로 설정하는 것도 생각된다.

결함 화상을 평가할 때, 모델이 계산한 확률값과 임계값으로 미지 결함인지 여부를 판별하는 것을 설명하였지만, 모델로 추출한 화상 특징량과, 각 클래스의 특징 중심점의 거리의 크기로 판별하는 것도 생각된다. 또는, 모델이 출력한 확률값을 계수로 하여, 주목도 화상(104)에 곱하고 나서, 화상 영역 비교부(20)에서 미지 결함인지 여부를 판별하는 것도 가능하다.

1: 화상 평가부
20: 화상 영역 비교부
30: 결함 검출부
40: 모델 재학습부
5: 평가 결과 표시부
101: 결함 화상
102, 107: 기계 학습 모델
103: 주목 영역 검출부
104, 108: 주목도 화상
105: 결함 영역 정보
106: 평가 결과
201: 임계값 처리
202: 중심 계산
203: 중심 거리 계산
204: 중심 거리
205: 직사각형 계산
206: 직사각형 중복도 계산
207: 직사각형 중복도
301: 정상 화상
302: 설계 데이터
401: 교시 데이터의 조정
402: 학습 파라미터의 조정
403: 모델의 학습
S10: 결함 영역 검출 처리
S20: 주목 영역 검출 처리
S30: 화상 영역 비교 처리
S40: 모델 재학습 처리
S601: 화상 특징량 추출 처리
S602: 절대 확률값 계산 처리
S603: 특징 중심점 갱신 처리
S604: 특징 거리 계산 처리
S605: 목표 확률값 계산 처리
S606: 파라미터 갱신 처리

Claims (16)

1. 전자 디바이스의 결함 화상에 있어서의 결함 정보를 기계 학습에 의한 식별기를 사용하여 식별하는 화상 평가 장치로서,
   상기 전자 디바이스의 결함 화상을 저장하는 화상 기억부와, 상기 결함 화상에 있어서의 결함 영역 정보를 저장하는 결함 영역 기억부와, 결함 정보를 기계 학습에 의해 식별하는 식별기와, 상기 결함 화상의 식별 처리의 과정에서, 상기 식별기가 주목하는 주목 화상 정보를 추출하는 화상 추출부와, 상기 주목 화상 정보와 상기 결함 영역 정보를 비교하여, 상기 결함 화상의 식별 가능성을 평가하는 평가부를 구비하는 것을 특징으로 하는 화상 평가 장치.
2. 제1항에 있어서,
   상기 결함 화상을 사용하고, 또한 상기 결함 화상에 대응하는 정상 화상과 상기 결함 화상에 대응하는 설계 데이터 중 어느 한쪽 또는 양쪽을 사용하여 결함 영역 정보를 검출하는 결함 검출부를 구비하고, 상기 결함 영역 기억부는, 상기 결함 검출부로부터의 결함 영역 정보를 저장하는 것을 특징으로 하는 화상 평가 장치.
3. 제1항 또는 제2항에 있어서,
   상기 주목 화상 정보와 상기 결함 영역 정보의 비교 결과에 의해, 교시 데이터를 조정하는 교시 데이터 조정부와, 상기 교시 데이터 조정부로부터의 정보에 기초하여 재학습하는 상기 식별기를 구비하는 것을 특징으로 하는 화상 평가 장치.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 주목 화상 정보와 상기 결함 영역 정보의 비교 결과에 의해, 기계 학습의 파라미터를 조정하는 기계 학습 파라미터 조정부와, 상기 기계 학습 파라미터 조정부로부터의 정보에 기초하여 재학습하는 상기 식별기를 구비하는 것을 특징으로 하는 화상 평가 장치.
5. 전자 디바이스의 결함 화상에 있어서의 결함 정보를, 복수의 기계 학습에 의한 식별기를 사용하여 식별하는 화상 평가 장치로서,
   상기 전자 디바이스의 결함 화상을 저장하는 화상 기억부와, 결함 정보를 기계 학습에 의해 식별하는 복수의 식별기와, 상기 결함 화상의 식별 처리의 과정에서, 상기 복수의 식별기가 주목하는 복수의 주목 화상 정보를 추출하는 화상 추출부와, 상기 복수의 주목 화상 정보를 비교하여, 상기 복수의 식별기를 평가하는 평가부를 구비하는 것을 특징으로 하는 화상 평가 장치.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 평가부의 평가 결과를 표시하는 화상 표시부를 구비하는 것을 특징으로 하는 화상 평가 장치.
7. 제6항에 있어서,
   상기 화상 표시부는, 상기 결함 화상에 있어서의 결함 영역 정보를 표시하는 것을 특징으로 하는 화상 평가 장치.
8. 제7항에 있어서,
   상기 화상 표시부는, 상기 결함 화상에 대응하는 정상 화상, 상기 결함 화상에 대응하는 설계 데이터 중 적어도 하나 이상을 표시하는 것을 특징으로 하는 화상 평가 장치.
9. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 평가부는, 상기 기계 학습의 식별기가 주목하는 화상 영역으로부터 1개 이상의 주목 좌표를 계산하고, 상기 결함 영역 정보로부터 1개 이상 결함 좌표를 계산하여, 좌표 간의 거리를 비교하고, 상기 결함 화상의 식별 가능성을 평가하는 것을 특징으로 하는 화상 평가 장치.
10. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 평가부는, 상기 기계 학습의 식별기가 주목하는 화상 영역으로부터 대표적인 주목 에어리어를 계산하고, 상기 결함 영역 정보로부터 결함 에어리어를 계산하여, 에어리어간의 중복도를 산출하고, 상기 결함 화상의 식별 가능성을 평가하는 것을 특징으로 하는 화상 평가 장치.
11. 전자 디바이스의 결함 화상에 있어서의 결함 정보를 기계 학습에 의한 식별기를 사용하여 식별하는 화상 평가 방법으로서,
    상기 전자 디바이스의 결함 화상을 저장하고, 상기 결함 화상에 있어서의 결함 영역 정보를 저장하고, 상기 결함 화상의 식별 처리의 과정에서, 상기 식별기가 주목하는 주목 화상 정보를 추출하고, 상기 주목 화상 정보와 상기 결함 영역 정보를 비교하여, 상기 결함 화상의 식별 가능성을 평가하는 것을 특징으로 하는 화상 평가 방법.
12. 제11항에 있어서,
    상기 결함 화상을 사용하고, 또한 상기 결함 화상에 대응하는 정상 화상과 상기 결함 화상에 대응하는 설계 데이터의 어느 한쪽 또는 양쪽을 사용하여 결함 영역 정보를 검출하고, 상기 결함 영역 정보를 저장하는 것을 특징으로 하는 화상 평가 방법.
13. 제11항 또는 제12항에 있어서,
    상기 주목 화상 정보와 상기 결함 영역 정보의 비교 결과에 의해, 교시 데이터를 조정하고, 상기 식별기는, 상기 조정된 교시 데이터로부터의 정보에 기초하여, 재학습하는 것을 특징으로 하는 화상 평가 방법.
14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 주목 화상 정보와 상기 결함 영역 정보의 비교 결과에 의해, 기계 학습의 파라미터를 조정하고, 상기 식별기는, 상기 조정된 기계 학습 파라미터로부터의 정보에 기초하여, 재학습하는 것을 특징으로 하는 화상 평가 방법.
15. 전자 디바이스의 결함 화상에 있어서의 결함 영역 정보를, 복수의 기계 학습에 의한 식별기를 사용하여 식별하는 화상 평가 방법으로서,
    상기 전자 디바이스의 결함 화상을 저장하고, 상기 결함 화상의 식별 처리의 과정에서, 상기 복수의 식별기가 주목하는 복수의 화상 정보를 추출하고, 상기 복수의 주목 화상 정보를 비교하여, 상기 복수의 식별기를 평가하는 것을 특징으로 하는 화상 평가 방법.
16. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 평가의 결과를 표시하는 것을 특징으로 하는 화상 평가 방법.

Images