KR20240058139A - 에러 요인 추정 장치, 에러 요인 추정 방법 및 컴퓨터 가독 매체 - Google Patents

에러 요인 추정 장치, 에러 요인 추정 방법 및 컴퓨터 가독 매체 Download PDF

Info

Publication number
KR20240058139A
KR20240058139A KR1020247010906A KR20247010906A KR20240058139A KR 20240058139 A KR20240058139 A KR 20240058139A KR 1020247010906 A KR1020247010906 A KR 1020247010906A KR 20247010906 A KR20247010906 A KR 20247010906A KR 20240058139 A KR20240058139 A KR 20240058139A
Authority
KR
South Korea
Prior art keywords
error factor
error
contribution
feature
quantities
Prior art date
Application number
KR1020247010906A
Other languages
English (en)
Inventor
야스히로 요시다
마사요시 이시까와
후미히로 사사지마
시게오 오꼬시
Original Assignee
주식회사 히타치하이테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 히타치하이테크 filed Critical 주식회사 히타치하이테크
Publication of KR20240058139A publication Critical patent/KR20240058139A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Automation & Control Theory (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

에러 요인 추정 장치(100)는, 발생한 에러의 에러 요인을 추정하는 장치이며, 검사 장치로부터 수집한 검사 결과를 포함하는 데이터를 처리하여, 복수의 특징량을 생성하는 특징량 그룹 생성부 A(2a)와, 특징량 그룹 생성부 A(2a)에 의해 생성된 복수의 특징량과 에러의 관계를 학습하는 모델 A(5a)를 생성하는 모델 생성부(4)와, 모델 A(5a)의 학습에 사용한 복수의 특징량 중 적어도 하나에 대해서, 모델 A(5a)의 출력에 대하여 기여한 정도를 나타내는 기여도를 산출하는 기여도 산출부(11)와, 기여도 산출부(11)에 의해 산출된 기여도로부터 산출된 유용도에 기초하여 선택한 특징량에 라벨 부착된 에러 요인을 취득하는 에러 요인 취득부(15)를 갖는다.

Description

에러 요인 추정 장치, 에러 요인 추정 방법 및 컴퓨터 가독 매체
본 개시는, 발생한 에러의 에러 요인을 추정하는 에러 요인 추정 장치, 에러 요인 추정 방법 및 컴퓨터 가독 매체에 관한 것이다.
반도체 검사 장치는, 레시피라고 불리는 설정 파라미터에 따라서, 반도체 웨이퍼의 표면에 있어서의 검사점마다 검사 동작이나 계측 동작을 실시한다. 레시피의 조정은, 검사 대상의 속성이나 장치의 특성 등에 따라서, 엔지니어가 매뉴얼 작업에 의해 각 항목을 최적화하는 것이 일반적이다. 따라서, 예를 들어 조정이 충분하지 않은 레시피의 사용에 의해, 검사 동작에 있어서, 검사 결과가 에러가 될 가능성이 있다. 한편, 이와 같은 레시피 기인 에러와는 달리, 하드의 경년 열화나 문제에 의해 검사 결과가 에러가 되는 경우가 있다. 에러가 발생하면, 엔지니어는 레시피 기인 에러에 대해서는 레시피를 수정하고, 하드 기인 에러에 대해서는 경년 열화된 부품을 교환하거나 문제가 발생한 부품을 메인터넌스하거나 한다. 이와 같이, 에러 요인에 따라서 취해야 할 대책 방법이 다르므로, 에러 요인의 추정은 매우 중요하다.
에러 요인의 추정에는, 기계 학습 등에 의한 분류 방법이 사용된다(예를 들어, 특허문헌 1 참조). 특허문헌 1에는, 충분한 양의 고장 데이터가 없는 경우에 대한 대응으로서, 회로가 공통인 고장 데이터에 대한 학습 데이터나 프로세스가 공통인 고장 데이터에 대한 학습 데이터를 생성함으로써, 고장 데이터의 양을 증가시키는 기술이 개시되어 있다.
일본 특허 공개 제2012-199338호 공보
레시피의 변경, 장치 부품의 갱신, 검사 대상의 변화 등 다양한 원인에 의해, 데이터의 트렌드가 계속적 또는 불연속적으로 변화하는 데이터 드리프트가 발생한다. 데이터 드리프트가 발생하면, 과거의 검사 결과를 학습하여 얻어진 에러 요인의 추정 정식화는, 새로운 검사 결과에 대해서는 적합하지 않게 된다. 따라서, 과거의 검사 결과와 에러 요인의 관계를 학습한 분류 모델은, 데이터 드리프트한 현재의 검사 결과를 에러 요인으로 분류하는 것이 곤란하다.
본 개시는, 검사 결과가 계속적 또는 불연속적으로 변화하는 데이터 드리프트가 발생해도, 발생하는 에러의 에러 요인을 추정하는 것이 가능한 기술을 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위해, 본 개시에 에러 요인 추정 장치는, 에러가 된 검사 결과의 에러 요인을 추정하는 에러 요인 추정 장치이며, 하나 또는 복수의 프로세서 및 하나 또는 복수의 메모리를 갖는 컴퓨터 시스템을 구비하고, 상기 컴퓨터 시스템은, 검사 장치로부터 수집한 상기 검사 결과를 포함하는 데이터를 처리하여, 복수의 특징량을 생성하는 제1 특징량 생성 처리와, 상기 제1 특징량 생성 처리에 의해 생성된 상기 복수의 특징량과 에러의 관계를 학습하는 제1 모델을 생성하는 모델 생성 처리와, 상기 제1 모델의 학습에 사용한 상기 복수의 특징량 중 적어도 하나에 대해서, 상기 제1 모델의 출력에 대하여 기여한 정도를 나타내는 기여도를 산출하는 기여도 산출 처리와, 상기 기여도 산출 처리에 의해 산출된 기여도 또는 상기 기여도로부터 산출된 유용도에 기초하여 선택한 특징량 또는 특징량의 조합에 라벨 부착된 에러 요인을 취득하는 에러 요인 취득 처리를 실행한다.
본 개시에 의하면, 검사 결과가 계속적 또는 불연속적으로 변화하는 경우에 있어서도, 발생하는 에러의 에러 요인을 추정하는 것이 가능해진다.
상기한 이외의 과제, 구성 및 효과는, 이하의 실시 형태의 설명에 의해 밝혀진다.
도 1은 실시예 1의 에러 요인 추정 장치의 전체 구성을 도시하는 블록도이다.
도 2는 에러 요인 추정 장치의 컴퓨터 시스템의 하드웨어 블록도이다.
도 3은 특징량 그룹 A 및 B의 데이터 구조를 도시하는 도면이다.
도 4는 검사 ID마다 검사 결과를 플롯한 도면 및 검사 ID마다 특징량을 플롯한 도면이다.
도 5는 특징량 리스트에 정의되는 특징량을 선택하는 선택 화면을 도시하는 도면이다.
도 6은 에러 레코드의 검출 룰의 학습 방법을 설명하기 위한 도면이다.
도 7은 에러 요인 추정부의 상세를 도시하는 블록도이다.
도 8은 특징량의 유용도의 계산 방법을 도시하는 도면이다.
도 9는 출력 장치에 표시되는 해석 결과를 도시하는 화면이다.
도 10은 에러 요인 추정 방법을 도시하는 흐름도이다.
도 11은 실시예 2의 에러 요인 추정부의 상세를 도시하는 블록도이다.
도 12는 실시예 2의 에러 요인 추정 방법을 도시하는 흐름도이다.
도 13은 실시예 2의 에러 사전의 데이터 구조를 도시하는 도면이다.
도 14는 실시예 3의 모델 생성부의 상세를 도시하는 블록도이다.
도 15는 실시예 3의 에러 확률 추정부에 의한 에러 확률의 추정 결과를 도시하는 도면이다.
도 16은 실시예 4의 에러 요인 추정 장치의 사용예를 도시하는 흐름도이다.
이하에 설명하는 실시 형태에 있어서, 「반도체 검사 장치」는, 반도체 웨이퍼의 표면에 형성된 패턴의 치수를 계측하는 장치, 반도체 웨이퍼의 표면에 형성된 패턴의 결함의 유무를 검사하는 장치, 패턴이 형성되어 있지 않은 베어 웨이퍼의 결함의 유무를 검사하는 장치, 및 이들의 장치를 조합한 복합 장치를 포함한다.
또한, 이하에 설명하는 실시 형태에 있어서, 「검사」란, 계측 또는 검사의 의미로 사용하는 것으로 하고, 「검사 동작」이란, 계측 동작 또는 검사 동작의 의미로 사용하는 것으로 한다. 또한, 이하에 설명하는 실시예에 있어서, 「검사 대상」이란, 계측 또는 검사가 대상이 되는 웨이퍼, 혹은 당해 웨이퍼에 있어서의 계측 또는 검사의 대상 영역을 가리키는 것으로 한다. 또한, 이하에 설명하는 실시예에 있어서, 「에러」란, 측정 문제나 장치 고장 외에, 얼러트나 경고 메시지 등의 에러의 예조도 포함하는 것으로 한다.
<실시예 1>
도 1을 참조하여, 실시예 1의 에러 요인 추정 장치(100)를 설명한다. 실시예 1의 에러 요인 추정 장치(100)는, 반도체 검사 장치(10)에서 에러가 된 검사 결과(이하, 적절히 에러 데이터라고 칭함)의 에러 요인을 추정한다. 반도체 검사 장치(10)는, 레시피라고 불리는 설정 파라미터에 따라서, 반도체 웨이퍼의 표면에 있어서의 검사점마다 검사 동작을 실시한다. 에러 요인 추정 장치(100)는, 반도체 검사 장치(10)의 사용자가 관리하는 시설 내에서 운용되는 온프레미스여도 되고, 반도체 검사 장치(10)의 사용자가 관리하는 시설 밖에서 운용되는 클라우드여도 된다. 또한, 반도체 검사 장치(10)에 에러 요인 추정 장치(100)를 내장해도 된다. 에러 요인 추정 장치(100)는 특징량 그룹 A 생성부(2a)와, 특징량 그룹 B 생성부(2b)와, 특징량 리스트 A(3a) 및 B(3b)를 기억하는 특징량 리스트 기억부(3)와, 모델 생성부(4)와, 모델 A(5a)와, 모델 B(5b)와, 에러 요인 추정부(6)와, 특징량-에러 요인 리스트(8)와, 특징량-가중치(중량) 리스트(9)를 구비한다. 실시예 1의 에러 요인 추정 장치(100)는 2개의 특징량 그룹 생성부(2a, 2b), 2개의 특징량 리스트(A(3a), B(3b)), 및 2개의 모델(A(5a), B(5b))을 갖는다. 에러 요인 추정 장치(100)는 특징량 그룹, 특징량 리스트 및 모델의 각각을 3개 이상 가져도 된다.
(해석 대상 데이터(1))
해석 대상 데이터(1)는 반도체 검사 장치(10)로부터 수집한 데이터이다. 에러 요인 추정 장치(100)에 입력되는 해석 대상 데이터(1)는 에러 요인을 해석하고자 하는 에러 데이터를 포함하는 반도체 검사 장치(10)의 검사 결과를 저장한다. 검사 결과는 검사 ID, 장치 데이터, 레시피, 및 에러 유무와 대응지어서 해석 대상 데이터(1)에 저장된다. 해석 대상 데이터(1)는 반도체 검사 장치(10)의 내부 스토리지에 기억되어 있어도 되고, 반도체 검사 장치(10)와 통신 가능하게 접속되는 외부 스토리지에 기억되어 있어도 된다.
검사 ID는 반도체 검사 장치(10)에 의해 검사 대상이 검사될 때마다 부여되는 번호이며, 검사 결과를 식별하기 위한 번호이다.
장치 데이터는 장치 고유 파라미터, 개체차 보정 데이터, 관찰 조건 파라미터를 포함한다. 장치 고유 파라미터는 반도체 검사 장치(10)를 규정 사양대로 동작시키기 위해 사용하는 보정 파라미터이다. 개체차 보정 데이터는 반도체 검사 장치(10) 사이의 개체차를 보정하기 위해 사용하는 파라미터이다. 관찰 조건 파라미터는, 예를 들어 전자 광학계의 가속 전압 등 SEM(Scanning Electron Microscope)의 관찰 조건을 규정하는 파라미터이다.
레시피는 웨이퍼 맵, 패턴 매칭 화상, 얼라인먼트 파라미터, 어드레싱 파라미터, 측장 파라미터를 포함한다. 웨이퍼 맵은 반도체 웨이퍼 상의 좌표 맵(예를 들어, 패턴의 좌표)이다. 패턴 매칭 화상은, 측정 좌표의 검출에 사용하는 피서치 화상이다. 얼라인먼트 파라미터는, 예를 들어 반도체 웨이퍼 상의 좌표계와 반도체 검사 장치(10) 내부의 좌표계 사이의 어긋남을 보정하기 위해 사용하는 파라미터이다. 어드레싱 파라미터는, 예를 들어 반도체 웨이퍼 상에 형성되어 있는 패턴 중 검사 대상 영역 내에 존재하는 특징적인 패턴을 특정하는 정보이다. 측장 파라미터는 길이를 측정하는 조건을 기술한 파라미터이고, 예를 들어 패턴 중 어느 부위의 길이를 측정하는지를 지정하는 파라미터이다.
검사 결과는 측장 결과, 화상 데이터, 동작 로그를 포함한다. 측장 결과는 반도체 웨이퍼 상의 패턴의 길이에 관한 정보이다. 화상 데이터는 반도체 웨이퍼의 관찰 화상이다. 동작 로그는 얼라인먼트, 어드레싱, 측장의 각 동작 공정에서의 반도체 검사 장치(10)의 내부 상태를 기술한 데이터이고, 예를 들어 각 부품의 동작 전압, 관찰 시야의 좌표 등을 포함한다. 레시피의 변경, 장치 부품의 갱신 등의 반도체 검사 장치(10)의 내부 환경의 변화나, 검사 대상의 변화 등의 반도체 검사 장치(10)의 외부 환경의 변화에 따라, 반도체 검사 장치(10)의 검사 결과의 트렌드가 계속적 또는 불연속적으로 변화하는 데이터 드리프트가 발생한다.
에러 유무는, 검사 결과가 에러를 나타내는 에러 데이터인지, 정상을 나타내는 정상 데이터인지를 나타내는 파라미터이다. 이 파라미터는 에러 얼라인먼트, 어드레싱, 및 측장의 각 동작 공정 중에서 에러가 발생한 공정을 나타내어도 된다.
(에러 요인 추정 장치(100)의 하드웨어 구성)
에러 요인 추정 장치(100)는, 하나 또는 복수의 프로세서 및 하나 또는 복수의 메모리를 갖는 컴퓨터 시스템(200)을 구비한다. 이 컴퓨터 시스템(200)은, 도 1에 도시한 특징량 그룹 A 생성부(2a), 특징량 그룹 B 생성부(2b), 특징량 리스트 기억부(3), 모델 생성부(4), 모델 A(5a), 모델 B(5b), 에러 요인 추정부(6), 특징량-에러 요인 리스트(8) 및 특징량-가중치(중량) 리스트(9)로서 기능한다. 그리고, 컴퓨터 시스템(200)은, 후술하는 도 10의 흐름도의 각 처리를 실행한다. 도 2는 컴퓨터 시스템(200)의 하드웨어 구성을 도시한 도면이다. 도 2를 참조하여, 컴퓨터 시스템(200)의 하드웨어 구성을 설명한다.
컴퓨터 시스템(200)은 프로세서(201)와, 통신 인터페이스(202)(이하, 인터페이스를 I/F라고 약기함)와, 메모리(203)와, 스토리지(204)와, RAID 컨트롤러(205)와, 상기한 각 모듈을 통신 가능하게 접속하는 버스(206)를 갖는다. 프로세서(201)는, 도 10의 흐름도의 각 처리를 실행시키는 프로그램 명령을 실행한다. 프로세서(201)는, 예를 들어 CPU(Central Processing Unit), DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit) 등이다. 프로세서(201)는 스토리지(204)에 기억된 프로그램 명령을 메모리(203)의 작업 영역에 실행 가능하게 전개한다. 메모리(203)는 프로세서(201)가 실행하는 프로그램 명령, 당해 프로세서(201)가 처리하는 데이터 등을 기억한다. 메모리(203)는 플래시 메모리, RAM(Random Access Memory), ROM(Read Only Memory) 등이다. 스토리지(204)는 OS, 부트 프로그램, 및 Web 애플리케이션을 기억한다. 또한, 스토리지(204)는, 상기한 특징량 리스트 A(3a) 및 B(3b), 후술하는 특징량 그룹 A 및 B, 모델 A(5a) 및 모델 B(5b), 특징량-에러 요인 리스트(8), 그리고, 특징량-가중치(중량) 리스트(9)를 기억한다. 스토리지(204)는 HDD(Hard Disk Drive), SSD(Solid State Drive) 등이다.
통신 I/F(202)는, 상기한 해석 대상 데이터(1)를 기억하는 스토리지와 통신 가능하게 접속되고, 이 스토리지로부터 해석 대상 데이터(1)를 수신한다. 또한, 통신 I/F(202)는 로컬 또는 네트워크 상의 출력 장치(7)에 해석 결과(900)(도 9 참조)를 출력한다. RAID 컨트롤러(205)는, 복수의 스토리지(204)를 논리적으로 하나의 장치와 같이 운용한다. 그리고, RAID 컨트롤러(205)는, 복수의 스토리지(204)에 각종 데이터를 기입, 및 복수의 스토리지(204)로부터 각종 데이터를 읽어낸다.
(특징량 그룹 생성부)
특징량 그룹 A 생성부(2a)는 해석 대상 데이터(1)를 처리하여, 1개 이상의 특징량을 생성한다. 특징량 그룹 A 생성부(2a)가 생성하는 1개 이상의 특징량을 특징량 그룹 A라고 칭한다. 특징량 그룹 A 생성부(2a)가 생성하는 특징량은 특징량 리스트 A(3a)에 정의되어 있다. 또한, 특징량 그룹 B 생성부(2b)는 해석 대상 데이터(1)를 처리하여, 1개 이상의 특징량을 생성한다. 특징량 그룹 B 생성부(2b)가 생성하는 1개 이상의 특징량을 특징량 그룹 B라고 칭한다. 특징량 그룹 B 생성부(2b)가 생성하는 특징량은 특징량 리스트 B(3b)에 정의되어 있다.
도 3을 참조하여, 상기한 특징량 그룹 A 및 B의 데이터 구조를 설명한다. 반도체 검사 장치(10)가 검사 대상을 검사할 때마다, 검사 ID가 할당되고, 이 검사 ID에 대하여 레시피나 검사 결과(X1, 1, X1, 2, ...)가 기록된다. 특징량 그룹 A 생성부(2a)는 해석 대상 데이터(1)를 처리하여, 특징량 리스트 A(3a)에 정의된 특징량 A1 및 특징량 A2 등을 생성한다. 또한, 특징량 그룹 B 생성부(2b)는 해석 대상 데이터(1)를 처리하여, 특징량 리스트 B(3b)에 정의된 특징량 B1 및 특징량 B2 등을 생성한다.
(특징량의 예시)
다음으로, 특징량의 구체예를 설명한다.
특징량은, 예를 들어 동일 장치 내에 있어서의 검사 결과의 변동에 관한 지표이다. 이 특징량은, 어느 검사 항목에 대하여 동일 장치 내의 검사 결과의 중앙값이나 평균값과 검사 결과의 차분이다.
또한, 다른 특징량은, 예를 들어 동일 측정점에 있어서의 검사 결과의 변동에 관한 지표이다. 이 특징량은, 어느 검사 항목에 대하여 동일 측정점의 검사 결과의 중앙값이나 평균값과 검사 결과의 차분이다.
또한, 다른 특징량은, 예를 들어 동일 레시피에 있어서의 검사 결과의 변동에 관한 지표이다. 이 특징량은, 어느 검사 항목에 대하여 동일 레시피의 검사 결과의 중앙값이나 평균값과 검사 결과의 차분이다.
또한, 다른 특징량은, 예를 들어 동일 웨이퍼 내에 있어서의 검사 결과의 변동에 관한 지표이다. 이 특징량은, 어느 검사 항목에 대하여 동일 웨이퍼 내의 검사 결과의 중앙값이나 평균값과 검사 결과의 차분이다.
또한, 다른 특징량은, 예를 들어 동일한 패턴 매칭용의 참조 화상을 사용한 측정점에 있어서의 검사 결과의 변동에 관한 지표이다. 이 특징량은, 어느 검사 항목에 대하여 동일한 패턴 매칭용의 참조 화상을 사용한 측정점에 있어서의 검사 결과의 중앙값이나 평균값과 검사 결과의 차분이다.
또한, 다른 특징량은, 예를 들어 특정 장치나 특정 좌표에 대한 에러율을 특징량으로 할 수 있다.
(검사 결과와 특징량)
도 4를 참조하여, 어느 검사 항목에 관한 검사 결과와 그 검사 결과를 처리하여 생성한 특징량의 비교를 설명한다. 도 4에 있어서, 동그라미 표시가 정상 레코드를 나타내고, X 표시가 에러 레코드를 나타낸다. 도 4의 좌측의 도면은, 검사 ID마다 검사 항목 X1의 검사 결과를 플롯한 도면 부호 401이다. 또한, 도 4의 우측의 도면은, 검사 ID마다 특징량 A1을 플롯한 도면 부호 402이다. 도 4의 좌측의 도면 부호 401에서는, 검사 항목 X1의 미가공 데이터(검사 결과)의 정상 레코드와 에러 레코드가 동일 범위 내에 혼재되어 있고, 역치를 정해서 에러 레코드와 정상 레코드를 구별하는 것이 곤란하다. 이에 반해, 도 4의 우측의 도면 부호 402에서는, 상술한 바와 같은 검사 결과의 변동에 관한 지표인 특징량을 생성함으로써, 역치를 정해서 에러 레코드와 정상 레코드를 구별하는 것이 가능해진다. 특징량과 에러 요인이 밀접한 관계성을 갖고 있으면, 도 4의 우측의 도면 부호 402와 같이, 검사 ID마다 특징량을 플롯함으로써, 특징량과 밀접한 관계를 갖는 에러 요인에 기인하는 에러 레코드를 분별하는 역치를 결정하는 것이 가능해진다.
(특징량 리스트 기억부(3))
특징량 리스트 기억부(3)는 특징량 리스트 A(3a)와 특징량 리스트 B(3b)를 기억한다. 특징량 리스트 A(3a)는, 특징량 그룹 A 생성부(2a)가 생성하는 하나 또는 복수의 특징량을 정의한다. 즉, 특징량 그룹 A 생성부(2a)는, 특징량 리스트 A(3a)에 정의된 하나 또는 복수의 특징량을 생성한다. 또한, 특징량 리스트 B(3b)는, 특징량 그룹 B 생성부(2b)가 생성하는 하나 또는 복수의 특징량을 정의한다. 즉, 특징량 그룹 B 생성부(2b)는, 특징량 리스트 B(3b)에 정의된 하나 또는 복수의 특징량을 생성한다.
특징량 리스트 A(3a) 및 B(3b)에 정의되는 특징량은, 유저에 의해 임의로 선택 가능하다. 도 5는 특징량을 선택하기 위한 선택 화면(500)을 도시하는 도면이다. 유저는 특징량 리스트 A(3a) 및 B(3b)마다 특징량을 선택할 수 있다. 유저는 선택 화면(500)의 특징량 일람(501)으로부터 임의의 특징량을 선택하고, 특징량 리스트란(502)에 추가한다. 특징량 리스트란(502)에 표시되어 있는 특징량이, 특징량 리스트 A(3a)에 정의되는 특징량이다. 또한, 유저는 특징량 리스트란(502)에 추가되어 있는 특징량을 선택하고, 삭제할 수도 있다. 컴퓨터 시스템(200)은 유저로부터의 지시에 따라서, 특징량 그룹 A 생성부(2a) 및 특징량 그룹 B 생성부(2b)에 의해 생성되는 복수의 특징량을 선택하는 선택 처리를 실행한다. 또한, 유저는 특징량 리스트란(502)의 각 특징량에 가중치(중량)(503)를 설정한다. 각 특징량에 설정된 가중치(중량)(503)는 특징량마다 특징량-가중치(중량) 리스트(9)에 기억된다.
유저는 에러 요인의 추정에 적합한 특징량의 조합을, 선택 화면(500)을 통해 선택할 수 있다. 이 선택 화면(500)은 출력 장치(7)의 표시부에 표시되어도 되고, 에러 요인 추정 장치(100)에 접속되는 표시부에 표시되어도 된다. 예를 들어, 선택 화면(500)은 에러 요인 추정 장치(100)에서 실행되는 Web 애플리케이션이 제공하는 화면이며, 출력 장치(7)의 Web 브라우저는 Web 애플리케이션으로부터 제공된 선택 화면(500)을 표시한다. 즉, 에러 요인 추정 장치(100)에서 실행되는 Web 애플리케이션이, 출력 장치(7)의 표시부에 선택 화면(500)이 표시되도록 표시 제어 처리를 실행한다.
예를 들어, 에러 요인으로서 하드 기인 에러를 파악하고자 하는 경우는, 특징량 리스트 A(3a)에 상기한 동일 장치 내의 검사 결과의 중앙값이나 평균값과 검사 결과의 차분인 특징량을 정의한다. 또한, 에러 요인으로서 레시피 기인 에러를 파악하고자 하는 경우는, 특징량 리스트 B(3b)에 상기한 동일 레시피의 검사 결과의 중앙값이나 평균값과 검사 결과의 차분인 특징량을 정의한다. 즉, 유저는 하드 기인 에러에 관련된 하나 또는 복수의 특징량을 특징량 리스트 A(3a)에 정의하고, 레시피 기인 에러에 관련된 하나 또는 복수의 특징량을 특징량 리스트 B(3b)에 정의한다. 또한, 특징량 리스트 A(3a) 및 B(3b)에 정의하는 특징량은 임의이므로, 특징량 리스트 A(3a)에 레시피 기인 에러에 관련된 특징량을 정의해도 되고, 특징량 리스트 B(3b)에 하드 기인 에러에 관련된 특징량을 정의해도 된다. 또한, 특징량 리스트 A(3a) 및 B(3b)의 양쪽에 공통인 특징량을 정의해도 된다.
(특징량-에러 요인 리스트(8))
특징량-에러 요인 리스트(8)는 에러 요인이 라벨 부착된 특징량을 기억한다. 특징량-에러 요인 리스트(8)에서는, 예를 들어 동일 장치 내의 검사 결과의 중앙값이나 평균값과 검사 결과의 차분인 특징량에 하드 기인 에러가 라벨 부착된다. 또한, 특징량-에러 요인 리스트(8)에서는, 예를 들어 동일 레시피의 검사 결과의 중앙값이나 평균값과 검사 결과의 차분인 특징량에 레시피 기인 에러가 라벨 부착되어 있다. 또한, 에러 요인은 하드 기인 에러나 레시피 기인 에러뿐만 아니라, 부적절한 레시피 파라미터 및 장치의 문제 개소 등의 상세한 에러 요인이어도 된다.
(특징량-가중치(중량) 리스트(9))
특징량-가중치(중량) 리스트(9)는 특징량과 특징량에 설정된 가중치(중량)를 연결하여 기억한다. 특징량에 설정된 가중치(중량)는 선택 화면(500)의 특징량 리스트란(502)에서 설정된 가중치(중량)이다. 특징량-가중치(중량) 리스트(9)에 기억되는 가중치(중량)는 에러 요인과의 관련성의 높음에 따라서 설정된다. 이 가중치(중량)는, 후술하는 유용도를 산출할 때에 사용되는 값이다. 가중치(중량)의 디폴트 값은, 다른 사이트에서 조정된 값을 사용할 수 있다.
(모델 생성부(4))
모델 생성부(4)는, 복수의 특징량과 에러의 관계를 학습하는 모델 A(5a) 및 B(5b)를 생성한다. 특징량 그룹 A 생성부(2a)가 생성한 특징량 그룹 A의 특징량으로 학습한 모델을 모델 A(5a)로 하고, 특징량 그룹 B 생성부(2b)가 생성한 특징량 그룹 B의 특징량으로 학습한 모델을 모델 B(5b)로 한다. 모델 A(5a) 및 B(5b)는, Random Forest나 Gradient Boosting Tree 등의 결정목을 베이스로 한 알고리즘 또는 Neural Network 등의 기계 학습 알고리즘을 사용하여 구축된다. 모델이 결정목을 베이스로 한 알고리즘으로 구축되는 경우의 학습 방법의 이미지를 도 6에 도시한다. 이 모델은 입력된 특징량 그룹의 각 특징량을 사용하여, 에러 레코드와 정상 레코드를 분류하는 분류 방법을 학습하는 모델로 되어 있다. 도 6에서는 특징량 A1과 특징량 A2를 사용하여, 에러 레코드와 정상 레코드를 분류하는 분류 방법을 학습한 예를 도시하고 있다.
(에러 요인 추정부(6))
에러 요인 추정부(6)는 모델 A(5a) 및 B(5b)의 에러 예측 결과에 대한 각 특징량의 유용도를 산출하고, 이 유용도에 기초하여 에러 요인을 추정한다. 에러 요인 추정부(6)는 특징량-에러 요인 리스트(8) 및 특징량-가중치(중량) 리스트(9)에 기초하여, 에러 데이터의 에러 요인을 추정한다. 도 7에 도시하는 바와 같이, 에러 요인 추정부(6)는 기여도 산출부(11), 추출부(13), 유용도 산출부(14), 및 에러 요인 취득부(15)를 구비한다.
(기여도 산출부(11))
기여도 산출부(11)는 모델 A(5a)의 학습에 사용된 특징량 그룹 A의 각 특징량이, 모델 A(5a)의 출력인 에러 예측 결과에 대하여 기여한 정도를 나타내는 기여도를 산출한다. 또한, 기여도 산출부(11)는 모델 B(5b)의 학습에 사용된 특징량 그룹 B의 각 특징량이, 모델 B(5b)의 출력인 에러 예측 결과에 대하여 기여한 정도를 나타내는 기여도를 산출한다. 기여도는, 예를 들어 모델이 결정목을 베이스로 한 알고리즘으로 구축되는 경우, 각 특징량이 모델 내의 분기에 출현하는 개수나 목적 함수의 개선값 등에 기초하여 계산되는 변수 중요도(Feature Importance)이다. 또한, 기여도 산출부(11)는 SHAP(SHapley Additiveex Planations) 등의 모델에 대한 감도 해석이나 특징량 선택 알고리즘을 사용하여, 기여도를 산출해도 된다. 이와 같이, 기여도 산출부(11)는 모델 A(5a)의 학습에 이용한 특징량 그룹 A의 각 특징량의 기여도(이하, 특징량 그룹 A의 기여도(12a))를 산출하고, 모델 B(5b)의 학습에 이용한 특징량 그룹 B의 각 특징량의 기여도(이하, 특징량 그룹 B의 기여도(12b))를 산출한다.
(추출부(13))
추출부(13)는 기여도 산출부(11)에 의해 산출된 기여도에 기초하여, 하나 또는 복수의 특징량을 추출한다. 추출부(13)는, 예를 들어 기여도가 높은 상위 N개(N개는, 미리 정한 개수)의 특징량을 추출해도 되고, 미리 정한 역치 이상의 기여도를 갖는 특징량을 추출해도 된다. 추출부(13)에 의해 추출되는 특징량의 조합은, 특징량 그룹 A 및 B의 소속에 관계없이, 예를 들어 상위 N개의 특징량의 모두가 특징량 그룹 A에 소속되는 경우도 있을 수 있다.
(유용도 산출부(14))
유용도 산출부(14)는 추출부(13)에 의해 추출된 각 특징량에 대해서, 특징량의 기여도 및 그 특징량의 가중치(중량)에 기초하여 유용도를 산출한다. 이 유용도는 에러 요인의 추정에 사용된다. 유용도는, 도 8에 도시하는 바와 같이, 특징량의 기여도 φ 및 그 특징량의 가중치(중량) w의 승산에 의해 산출된다. 또한, 유용도 e는, 특징량의 기여도 φ 및 그 특징량의 가중치(중량) w에 기초하여 산출되면 되고, 그 계산 방법은 특징량의 기여도 φ 및 그 특징량의 가중치(중량) w의 승산에 한정되지는 않는다.
(에러 요인 취득부(15))
에러 요인 취득부(15)는 유용도 산출부(14)에 의해 산출된 유용도에 기초하여 하나 또는 복수의 특징량을 선택하고, 선택한 특징량에 라벨 부착된 에러 요인을 취득한다. 에러 요인 취득부(15)는, 예를 들어 특징량-에러 요인 리스트(8)를 참조하여, 유용도가 가장 높은 특징량에 라벨 부착된 에러 요인을 취득한다. 또한, 에러 요인 취득부(15)는 유용도가 높은 상위 M개(M개는, 미리 정한 개수)의 특징량에 라벨 부착된 에러 요인을 취득해도 된다. 그리고, 에러 요인 취득부(15)는 해석 결과(900)를 출력 장치(7)에 송신한다. 해석 결과(900)는, 도 9에 도시하는 바와 같이, 취득한 에러 요인(901), 유용도가 높은 상위 M개의 특징량(902), 그들 특징량의 기여도(903), 및 검사 ID마다 특징량(가장 유용도가 높은 특징량)을 플롯한 도면 부호 904를 포함한다.
(출력 장치(7))
출력 장치(7)는 표시 장치이며, 에러 요인 취득부(15)가 송신한 해석 결과(900)를 수신하여 표시한다. 구체적으로는, 출력 장치(7)는, 도 9에 도시하는 바와 같이, 에러 요인(901), 유용도가 높은 상위 M개의 특징량(902), 그들 특징량의 기여도(903), 및 검사 ID마다 특징량(가장 유용도가 높은 특징량)을 플롯한 도면 부호 904를 유저가 인식할 수 있도록 표시한다. 또한, 에러 요인 취득부(15)가 유용도가 높은 상위 M개의 특징량에 라벨 부착된 에러 요인을 취득하는 경우, 출력 장치(7)는 에러 요인의 후보로서, 그들의 에러 요인을 유용도 순으로 표시해도 된다. 출력 장치(7)는 에러 요인 추정 장치(100)와 로컬 접속된 장치여도 되고, 네트워크 접속된 장치여도 된다. 또한, 기여도(903)는 유용도여도 된다.
(에러 요인 추정 방법)
다음으로, 도 10을 참조하여, 에러 요인 추정 장치(100)가 실행하는 에러 요인 추정 방법의 상세를 설명한다. 도 10에 도시한 흐름도의 각 스텝은, 특징량 그룹 A 생성부(2a), 특징량 그룹 B 생성부(2b), 모델 생성부(4) 및 에러 요인 추정부(6)로서 기능하는 컴퓨터 시스템(200)에 의해 실행된다. 또한, 이 에러 요인 추정 방법을 실행시키는 프로그램 명령은, 비일시적인 컴퓨터 가독 매체, 예를 들어 스토리지(204)에 저장된다.
컴퓨터 시스템(200)(특징량 그룹 A 생성부(2a), 특징량 그룹 B 생성부(2b))은 특징량 리스트 A(3a)에 정의된 특징량을 포함하는 특징량 그룹 A 및 특징량 리스트 B(3b)에 정의된 특징량을 포함하는 특징량 그룹 B를 생성한다(S101[제1 특징량 생성 처리, 및 제2 특징량 생성 처리]). 다음에, 컴퓨터 시스템(200)(모델 생성부(4))은 특징량 그룹 A의 특징량으로 학습한 모델 A(5a) 및 특징량 그룹 B의 특징량으로 학습한 모델 B(5b)를 생성한다(S102[모델 생성 처리]). 그리고, 컴퓨터 시스템(200)(기여도 산출부(11))은 특징량 그룹 A의 각 특징량의 기여도 및 특징량 그룹 B의 각 특징량의 기여도를 산출한다(S103[기여도 산출 처리]).
다음에, 컴퓨터 시스템(200)(추출부(13))은 S103에서 산출한 기여도에 기초하여, 하나 또는 복수의 특징량을 추출한다(S104[추출 처리]). 다음에, 컴퓨터 시스템(200)(유용도 산출부(14))은 추출부(13)에 의해 추출된 각 특징량에 대해서, 유용도를 산출한다(S105[유용도 산출 처리]). 유용도는 특징량의 기여도 및 그 특징량의 가중치(중량)에 기초하여 산출된다. 그리고, 컴퓨터 시스템(200)(에러 요인 취득부(15))은 유용도에 기초하여 하나 또는 복수의 특징량을 선택하고, 특징량-에러 요인 리스트(8)를 참조하고, 선택한 특징량에 라벨 부착된 에러 요인을 취득한다(S106[에러 요인 취득 처리]). 컴퓨터 시스템(200)은 해석 결과(900)를 출력 장치(7)에 송신한다. 이에 의해, 출력 장치(7)는 에러 요인(901), 유용도가 높은 상위 M개의 특징량(902), 그들 특징량의 기여도(903) 및 검사 ID마다 특징량(가장 유용도가 높은 특징량)을 플롯한 도면 부호 904를 유저가 인식할 수 있도록 표시한다.
(실시예 1의 효과)
에러 요인이 라벨 부착된 다수의 에러 데이터를 준비하고, 이들 에러 데이터와 에러 요인의 관계를 학습한 일반적인 분류 모델에서는, 에러의 발생 경향이 계속적 또는 불연속적으로 변화하는 데이터 드리프트에는 대응할 수 없다. 그래서, 실시예 1에서는, 특징량-에러 요인 리스트(8)를 참조하여, 유용도에 기초하여 선택한 특징량에 라벨 부착된 에러 요인을 취득한다. 이에 의해, 에러 데이터의 트렌드가 변화하는 데이터 드리프트가 발생했다고 해도, 에러에 반응하는 특징량에 에러 요인을 라벨 부착함으로써, 특징량이 변화하지 않으면, 에러 요인을 추정하는 것이 가능해진다.
또한, 실시예 1에서는, 특징량에 에러 요인을 라벨 부착함으로써, 에러 데이터에 대하여 에러 요인을 라벨 부착하는 일반적인 방법과 비교하여, 라벨 부착에 필요한 공정수를 대폭으로 삭감할 수 있다.
또한, 실시예 1에서는, 에러 요인이 라벨 부착된 특징량을 기억하는 특징량-에러 요인 리스트(8)를 준비함으로써, 유용도에 기초하여 선택한 특징량으로부터 용이하게 에러 요인을 취득할 수 있다.
또한, 실시예 1에서는, 각 특징량의 기여도와 에러 요인의 관련성의 높음에 따라서 설정된 특징량의 가중치(중량)에 기초하여 특징량의 유용도를 산출한다. 이에 의해, 에러 요인을 특정하기 위해, 에러 요인과의 관련성의 높음에 따라서 설정된 가중치(중량)를 고려할 수 있으므로, 에러 요인과의 관련성이 높은 에러 요인을 취득할 수 있어, 에러 요인의 추정 정밀도가 향상된다.
또한, 실시예 1에서는, 추출부(13)가 추출한 특징량에 관한 유용도를 산출함으로써, 모든 특징량에 관한 유용도를 산출할 경우와 비교하여, 유용도의 산출에 관한 계산 부하를 저감할 수 있다.
복수의 에러 요인에 대하여 공통적으로 반응하는 특징량이 섞여 있으면, 하드 기인 에러나 레시피 기인 에러 등의 에러 요인의 특정에 도움이 되는 특징량이 모델의 학습에 사용되지 않게 되는 경우가 있다. 그래서, 실시예 1에서는, 하드 기인 에러나 레시피 기인 에러 등의 파악하고자 하는 현상에 따라서 생성하는 특징량 그룹을 분류함으로써, 에러 요인의 특정에 도움이 되는 특징량이 모델의 학습에 사용되게 된다. 그 결과, 이 특징량에 라벨 부착된 에러 요인을 취득하는 것이 가능하게 되므로, 에러 요인의 추정 정밀도가 향상된다.
특징량 그룹 A 생성부(2a) 및 특징량 그룹 B 생성부(2b)가 생성하는 특징량을 선택하는 선택 화면(500)을 표시함으로써, 엔지니어 등은 특징량의 일람 중으로부터 에러 요인에 관련된다고 생각하는 특징량을 선택할 수 있다. 그 결과, 에러 요인에 관련되지 않는다고 생각하는 특징량을 사전에 배제할 수 있으므로, 에러 요인의 추정 정밀도가 향상된다.
또한, 실시예 1에서는, 유저는 출력 장치(7)가 표시하는 화면을 확인함으로써, 에러 데이터의 에러 요인을 파악할 수 있다. 또한, 유저는 에러 요인의 추정에 기여한 특징량, 트렌드를 확인함으로써, 추출된 특징량이 에러와 상관이 있는 것을 확인할 수 있고, 추정된 에러 요인의 타당성을 확인할 수 있다. 이에 의해, 추정된 에러가 레시피 기인 에러이면 레시피의 수정, 하드 기인 에러이면 장치의 메인터넌스 등의 대응을 유저가 납득감을 가지고 실시할 수 있다.
또한, 실시예 1의 모델 A(5a) 및 B(5b)는, 에러 레코드와 정상 레코드를 분류하는 역치를 복수의 특징량을 사용하여 학습함으로써, 에러 측정 결과를 출력하는 데 기여한 특징량을 용이하게 취득할 수 있다.
또한, 실시예 1에서는, 특징량으로서, 검사 결과의 변동에 관한 지표를 사용함으로써, 검사 결과의 데이터 드리프트가 발생했다고 해도, 변동에 관한 지표가 데이터 드리프트의 영향을 받지 않으면, 에러 요인을 추정하는 것이 가능해진다.
<실시예 2>
도 11 내지 도 13을 참조하여, 실시예 2의 에러 요인 추정 장치(100)를 설명한다. 도 11에 도시하는 바와 같이, 실시예 1의 에러 요인 추정 장치(100)는 특징량-에러 요인 리스트(8) 및 특징량-에러 요인 리스트(8)를 참조하여 에러 요인을 취득하는 에러 요인 취득부(15)를 구비하고 있다. 한편, 실시예 2의 에러 요인 추정 장치(100)는 에러 사전(22) 및 에러 사전(22)을 참조하여 에러 요인을 취득하는 에러 요인 취득부(21)를 구비하고 있다.
다음으로, 도 12를 참조하여, 실시예 2의 에러 요인 추정 장치(100)에 의한 에러 요인 추정 방법을 설명한다. 도 12의 S121 내지 S125는, 실시예 1에 관한 도 10의 S101 내지 S105의 처리와 마찬가지이므로, 그 설명을 생략한다.
에러 요인 취득부(21)는 에러 사전(22) 중으로부터, 유용도 산출부(14)에 의해 산출된 유용도에 기초하여 선택된 특징량의 조합과 일치하거나 또는 유사성이 높은 특징량의 조합을 검색하고, 그 조합에 라벨 부착된 에러 요인을 취득한다(S126).
여기서, 도 13을 참조하여, 에러 사전(22)의 데이터 구조를 설명한다. 에러 사전(22)의 각 행에는, 에러 요인이 라벨 부착된 특징량의 조합이 기록되어 있다. 도 13에서는 에러 요인에 관련된 특징량의 값을 1로, 관련되지 않은 특징량을 0으로 도시한다. 또한, 에러 요인에 관련된 특징량을, 중요도에 따라서 0 내지 1의 범위 내의 값으로 정의해도 된다. 이 경우, 에러 사전(22) 중으로부터, 특징량의 유용도의 값과의 유사성이 높은 중요도를 갖는 특징량의 조합을 검색하면 된다. 이 검색 방법으로서는, 예를 들어, 협조 필터링을 사용할 수 있다. 에러 요인 취득부(21)는, 이와 같이 하여 검색된 특징량의 조합에 라벨 부착된 에러 요인을 취득한다. 또한, 여기서 취득하는 에러 요인은 유사도가 높은 상위 K개를 취득해도 된다.
(실시예 2의 효과)
실시예 2에서는, 에러 요인이 라벨 부착된 특징량의 조합을 기억하는 에러 사전을 참조함으로써, 에러 요인을 특정하기 위해 사용할 수 있는 정보가 증가한다. 이에 의해, 레시피 기인 에러이면 부적절한 레시피 파라미터, 또한 하드 기인 에러이면 문제 개소 등, 보다 상세한 에러 요인을 추정할 수 있다.
<실시예 3>
도 14 및 도 15를 참조하여, 실시예 3의 에러 요인 추정 장치(100)를 설명한다. 도 14에 도시하는 바와 같이, 실시예 3의 에러 요인 추정 장치(100)의 모델 생성부(4)는 실시예 1 및 2와 달리, 에러 확률 추정부(31)와 에러 확률 학습부(32)를 갖는다.
에러 확률 추정부(31)는 해석 대상 데이터(1)에서 에러로서 기록되어 있지 않은 정상 레코드에 대해서, 에러인 확률을 추정한다. 도 14를 참조하여, 정상 레코드의 에러 확률을 추정하는 방법을 설명한다. 도 4에 도시하는 바와 같이, 에러 레코드의 에러 확률은 1.0이다. 정상 레코드의 에러 확률은, 특징량 공간에 있어서의 에러 레코드와의 위치 관계에 기초하여 추정된다. 이 에러 확률은, 예를 들어 Positive and Unlabeled Learning과 같이 에러 라벨이 할당되어 있는 것인지 여부를 예측하는 모델로부터 추정할 수 있다.
에러 확률 학습부(32)는 에러 확률 추정부(31)에 의해 추정된 에러 확률을 학습하는 모델을 생성한다. 이 에러 확률을 추정하는 추정 모델은, Random Forest나 Gradient Boosting Tree 등의 결정목을 베이스로 한 알고리즘 또는 Neural Network 등의 기계 학습 알고리즘을 사용하여 구축된다.
(실시예 3의 효과)
예를 들어, CD-SEM(CD-SEM: Critical Dimension-Scanning Electron Microscope)에 있어서의 측정 에러에서는, 측정 회차마다의 장치 동작의 미소한 차에 의해 동일한 특징을 갖는 데이터에서도 에러가 일어나거나 일어나지 않거나 한다. 이와 같은 우발적으로 발생하는 에러 레코드에 대하여 검출 정밀도를 향상시키고자 하면, 학습에 사용하는 특징량을 증가시킴으로써, 우발적으로 발생한 에러 레코드를 에러 레코드로서 분리하기 위해 새로운 검출 룰을 학습하고자 한다. 그래서, 실시예 3에서는, 각 레코드의 에러 확률을 학습하는 모델로 함으로써, 우발적인 에러 레코드와 정상 레코드의 경계를 식별하는 모델화가 불필요해진다. 이에 의해, 에러 요인에 대하여 관련이 낮은 특징량의 학습이 억제되므로, 모델의 과학습을 억제할 수 있다. 그 결과, 모델의 범화 성능이나 에러 요인의 추정에 기여하는 특징량의 추출 정밀도가 향상되고, 보다 고정밀도로 에러 요인을 추정할 수 있다.
<실시예 4>
도 16은 유저에 의한 에러 요인 추정 장치(100)의 사용예를 도시한 흐름도이다. 실시예 4에서는, 도 16을 참조하여, 유저에 의한 에러 요인 추정 장치(100)의 사용예를 설명한다.
에러 요인 추정 장치(100)의 사용 전의 준비 단계로서, 하나 또는 복수의 반도체 검사 장치(10)의 검사 결과가 축적된 데이터베이스로부터 에러 요인의 해석 대상 데이터(1)가 추출된다. 해석 대상 데이터(1)의 추출 방법으로서는, 제품명이나 레시피명, 그들의 측정 기간을 지정 등이 있다. 그리고, 추출된 해석 대상 데이터(1)가 에러 요인 추정 장치(100)에 입력되고, 에러 요인 추정 장치(100)에 의한 해석 결과(900)가 출력 장치(7)에 표시된다.
유저는 출력 장치(7)에 표시된 해석 결과(900)(에러 요인, 에러 요인의 추정에 기여한 특징량, 특징량의 트렌드)를 확인한다(S161). 그리고, 유저는 출력 장치(7)에 표시된 에러 요인이 타당한지 여부를 판단한다(S162). 표시된 에러 요인이 타당하다고 판단한 경우(S162: "예"), 표시된 해석 결과(900)에 기초하여 에러 요인을 해소하도록, 유저는 레시피를 수정하거나 장치의 메인터넌스를 실행하거나 한다(S163).
표시된 에러 요인이 타당하지 않다고 판단한 경우(S162: "아니오"), 유저는 해석 결과(900)를 기각한다(S164). 그리고, 유저는 정답의 에러 요인이 추정되도록, 기각된 해석 결과(900)에 관한 특징량의 가중치(중량)를 조정한다(S165). 즉, 컴퓨터 시스템(200)은 기각된 해석 결과(900)에 관한 특징량의 가중치(중량)를 상대적으로 낮게 조정하는 조정 처리를 실행한다. 이 가중치(중량)는 베이즈 최적화나 메타 휴리스틱이나 알고리즘 등 기존의 최적화 알고리즘을 사용하여 자동적으로 조정되어도 되고, 도 5의 선택 화면에서 수동으로 조정되어도 된다. 또한, 실시예 2와 같이 에러 사전을 사용하는 경우는, 에러 사전에 기억된 특징량의 조합과 유용도 산출부(14)에서 계산된 유용도가 높은 특징량의 조합을 비교하고, 일치하는 특징량의 가중치(중량)를 높게, 일치하지 않은 특징량의 가중치(중량)를 낮게 하도록 조정한다. 이것은 에러 사전과 일치하지 않은 특징량은 에러 요인의 추정에 중요하지 않고, 또한 에러 사전과 일치한 특징량은 에러 요인의 추정에 중요하다고 판단할 수 있기 때문이다. 가중치(중량)의 조정은 해석 결과(900)가 기각될 때마다 실행되어도 되고, 기각된 해석 결과(900)를 축적해 두고, 임의의 타이밍에 일괄적으로 실행해도 된다.
(실시예 4의 효과)
이와 같이 유저로부터 기각된 해석 결과(900)에 관한 특징량의 가중치(중량)를 조정함으로써, 사용하는 제품이나 레시피에 맞추어 에러 요인의 추정 정밀도를 향상시킬 수 있다.
<변형예>
본 개시는, 상술한 실시 형태에 한정되는 것은 아니며, 다양한 변형예를 포함하고 있다. 예를 들어, 상술한 실시 형태는, 본 개시를 알기 쉽게 설명하기 위해 상세하게 설명한 것이고, 반드시 설명한 모든 구성을 구비할 필요는 없다. 또한, 어느 실시 형태의 일부를 다른 실시 형태의 구성으로 치환할 수 있다. 또한, 어느 실시 형태의 구성에 다른 실시 형태의 구성을 추가할 수도 있다. 또한, 각 실시 형태의 구성의 일부에 대해서, 다른 실시 형태의 구성의 일부를 추가, 삭제 또는 치환할 수도 있다.
예를 들어, 상기한 실시예 1 내지 4에서는, 반도체 검사 장치(10)의 에러 요인을 추정하는 예에 대해서 설명하였지만, 반도체 검사 장치(10) 이외의 기기에서 발생하는 에러의 에러 요인을 추정하는 것도 가능하다.
또한, 상기한 실시예 1 내지 4의 에러 요인 추정 장치(100)는 2개의 특징량 그룹 A 및 B, 그리고, 2개의 모델 A(5a) 및 B(5b)를 갖지만, 에러 요인 추정 장치(100)는 1개의 특징량 그룹 또한 그 특징량 그룹의 특징량으로 학습한 1개의 모델을 갖는 장치여도 된다.
또한, 상기한 실시예 1 내지 4에서는, 유용도에 기초하여 선택된 특징량에 라벨 부착된 에러 요인을 취득하였지만, 기여도에 기초하여 선택된 특징량에 라벨 부착된 에러 요인을 취득해도 된다.
또한, 상기한 실시예 1 내지 4에서는, 추출부(13)에 의해 추출된 각 특징량의 유용도를 산출하였지만, 유용도 산출부(14)는, 모든 특징량의 유용도를 산출해도 된다. 이 경우, 에러 요인 취득부(15)는 특징량-에러 요인 리스트(8)를 참조하여, 산출된 유용도에 기초하여 에러 요인을 취득한다.
1: 해석 대상 데이터
2a: 특징량 그룹 A 생성부
2b: 특징량 그룹 B 생성부
3: 특징량 리스트 기억부
3a: 특징량 리스트 A
3b: 특징량 리스트 B
4: 모델 생성부
5a: 모델 A
5b: 모델 B
6: 에러 요인 추정부
7: 출력 장치
8: 특징량-에러 요인 리스트
9: 특징량-가중치(중량) 리스트
10: 반도체 검사 장치
11: 기여도 산출부
12a: 특징량 그룹 A의 기여도
12b: 특징량 그룹 B의 기여도
13: 추출부
14: 유용도 산출부
15: 에러 요인 취득부
21: 에러 요인 취득부
22: 에러 사전
31: 에러 확률 추정부
32: 에러 확률 학습부
100: 에러 요인 추정 장치

Claims (19)

  1. 에러가 된 검사 결과의 에러 요인을 추정하는 에러 요인 추정 장치이며,
    하나 또는 복수의 프로세서 및 하나 또는 복수의 메모리를 갖는 컴퓨터 시스템을 구비하고,
    상기 컴퓨터 시스템은,
    검사 장치로부터 수집한 상기 검사 결과를 포함하는 데이터를 처리하여, 복수의 특징량을 생성하는 제1 특징량 생성 처리와,
    상기 제1 특징량 생성 처리에 의해 생성된 상기 복수의 특징량과 에러의 관계를 학습하는 제1 모델을 생성하는 모델 생성 처리와,
    상기 제1 모델의 학습에 사용한 상기 복수의 특징량 중 적어도 하나에 대해서, 상기 제1 모델의 출력에 대하여 기여한 정도를 나타내는 기여도를 산출하는 기여도 산출 처리와,
    상기 기여도 산출 처리에 의해 산출된 기여도 또는 상기 기여도로부터 산출된 유용도에 기초하여 선택한 특징량 또는 특징량의 조합에 라벨 부착된 에러 요인을 취득하는 에러 요인 취득 처리를 실행하는 것을 특징으로 하는 에러 요인 추정 장치.
  2. 제1항에 있어서,
    상기 컴퓨터 시스템은,
    상기 에러 요인이 라벨 부착된 상기 특징량을 기억하는 에러 요인 리스트를 갖고,
    상기 에러 요인 취득 처리에 있어서, 상기 에러 요인 리스트를 참조하여, 상기 기여도 또는 상기 유용도에 기초하여 선택한 특징량에 라벨 부착된 에러 요인을 취득하는 것을 특징으로 하는 에러 요인 추정 장치.
  3. 제1항에 있어서,
    상기 컴퓨터 시스템은,
    상기 특징량의 조합에 상기 에러 요인이 라벨 부착된 사전을 갖고,
    상기 에러 요인 취득 처리에 있어서, 상기 사전을 참조하여, 상기 기여도 또는 상기 유용도에 기초하여 선택한 특징량의 조합과 일치 또는 유사한 조합에 라벨 부착된 에러 요인을 취득하는 것을 특징으로 하는 에러 요인 추정 장치.
  4. 제1항에 있어서,
    상기 컴퓨터 시스템은,
    상기 복수의 특징량과 상기 복수의 특징량의 각각에 설정된 가중치(중량)가 대응지어서 기억된 상기 가중치(중량) 리스트를 갖고,
    상기 특징량에 대한 상기 기여도와 이 특징량에 대응지어서 기억된 상기 가중치(중량)에 기초하여 상기 유용도를 산출하는 유용도 산출 처리를 실행하는 것을 특징으로 하는 에러 요인 추정 장치.
  5. 제4항에 있어서,
    상기 컴퓨터 시스템은,
    상기 에러 요인 취득 처리에 의해 취득된 상기 에러 요인이 유저에 의해 기각된 경우, 기각된 상기 에러 요인이 라벨 부착된 특징량의 가중치(중량)를 낮게 조정하는 조정 처리를 실행하는 것을 특징으로 하는 에러 요인 추정 장치.
  6. 제4항에 있어서,
    상기 컴퓨터 시스템은,
    상기 복수의 특징량 중으로부터 상기 기여도가 큰 하나 또는 복수의 특징량을 추출하는 추출 처리를 실행하고,
    상기 유용도 산출 처리에 있어서, 상기 추출 처리에 의해 추출된 상기 하나 또는 복수의 특징량의 유용도를 산출하는 것을 특징으로 하는 에러 요인 추정 장치.
  7. 제1항에 있어서,
    상기 컴퓨터 시스템은,
    상기 검사 장치로부터 수집한 상기 검사 결과를 포함하는 데이터를 처리하여, 상기 제1 특징량 생성 처리에 의해 생성된 상기 복수의 특징량과는 다른 복수의 특징량을 생성하는 제2 특징량 생성 처리를 실행하고,
    상기 모델 생성 처리에 있어서, 상기 제2 특징량 생성 처리에 의해 생성된 상기 복수의 특징량과 에러의 관계를 학습하는 제2 모델을 생성하고,
    상기 기여도 산출 처리에 있어서, 상기 제2 모델의 학습에 사용한 상기 복수의 특징량 중 적어도 하나에 대해서, 상기 기여도를 산출하고,
    상기 에러 요인 취득 처리에 있어서, 상기 기여도 산출 처리에 의해 산출된 상기 기여도 또는 상기 유용도에 기초하여 선택한 특징량 또는 특징량의 조합에 라벨 부착된 에러 요인을 취득하는 것을 특징으로 하는 에러 요인 추정 장치.
  8. 제1항에 있어서,
    상기 컴퓨터 시스템은,
    복수의 특징량 중으로부터 상기 제1 특징량 생성 처리에 의해 생성되는 상기 복수의 특징량을 선택하는 선택 처리를 실행하는 것을 특징으로 하는 에러 요인 추정 장치.
  9. 제1항에 있어서,
    상기 컴퓨터 시스템은,
    상기 에러 요인 취득 처리에 의해 취득된 에러 요인, 상기 기여도 또는 상기 유용도에 기초하여 선택한 상기 특징량의 리스트, 또는 상기 특징량의 트렌드를 표시부에 표시시키는 표시 제어 처리를 실행하는 것을 특징으로 하는 에러 요인 추정 장치.
  10. 제1항에 있어서,
    상기 모델 생성 처리에 있어서, 상기 제1 특징량 생성 처리에 의해 생성된 상기 복수의 특징량을 사용하여 에러 레코드와 정상 레코드를 분류하는 분류 방법을 학습하는 모델을 생성하는 것을 특징으로 하는 에러 요인 추정 장치.
  11. 제1항에 있어서,
    상기 모델 생성 처리에 있어서, 상기 복수의 특징량의 특징량 공간에 있어서의 에러 레코드와 정상 레코드의 위치 관계에 기초하여 추정된 각 레코드의 에러 확률을 학습하는 모델을 생성하는 것을 특징으로 하는 에러 요인 추정 장치.
  12. 제1항에 있어서,
    상기 특징량은, 검사 결과의 변동에 관한 지표인 것을 특징으로 하는 에러 요인 추정 장치.
  13. 제12항에 있어서,
    상기 특징량은,
    동일 장치 내에 있어서의 검사 결과의 변동에 관한 지표,
    동일 측정점에 있어서의 검사 결과의 변동에 관한 지표,
    동일 레시피에 있어서의 검사 결과의 변동에 관한 지표,
    동일 웨이퍼 내에 있어서의 검사 결과의 변동에 관한 지표, 및
    동일한 패턴 매칭용의 참조 화상을 사용한 측정점에 있어서의 검사 결과의 변동에 관한 지표
    중 적어도 하나인 것을 특징으로 하는 에러 요인 추정 장치.
  14. 에러가 된 검사 결과의 에러 요인을 추정하는 에러 요인 추정 방법이며,
    검사 장치로부터 수집한 상기 검사 결과를 포함하는 데이터를 처리하여, 복수의 특징량을 생성하는 것,
    생성된 상기 복수의 특징량과 에러의 관계를 학습하는 제1 모델을 생성하는 것,
    상기 제1 모델의 학습에 사용한 상기 복수의 특징량 중 적어도 하나에 대해서, 상기 제1 모델의 출력에 대하여 기여한 정도를 나타내는 기여도를 산출하는 것, 및
    산출된 기여도 또는 상기 기여도로부터 산출된 유용도에 기초하여 선택한 특징량 또는 특징량의 조합에 라벨 부착된 에러 요인을 취득하는 것을 갖는 것을 특징으로 하는 에러 요인 추정 방법.
  15. 제14항에 있어서,
    상기 에러 요인이 라벨 부착된 상기 특징량을 기억하는 에러 요인 리스트를 제공하는 것을 더 갖고,
    상기 에러 요인을 취득하는 것은, 상기 에러 요인 리스트를 참조하여, 상기 기여도 또는 상기 유용도에 기초하여 선택한 특징량에 라벨 부착된 에러 요인을 취득하는 것을 포함하는 것을 특징으로 하는 에러 요인 추정 방법.
  16. 제14항에 있어서,
    상기 특징량의 조합에 상기 에러 요인이 라벨 부착된 사전을 제공하는 것을 더 갖고,
    상기 에러 요인을 취득하는 것은, 상기 사전을 참조하여, 상기 기여도 또는 상기 유용도에 기초하여 선택한 특징량의 조합과 일치 또는 유사한 조합에 라벨 부착된 에러 요인을 취득하는 것을 포함하는 것을 특징으로 하는 에러 요인 추정 방법.
  17. 에러가 된 검사 결과의 에러 요인을 추정하는 에러 요인 추정 방법을 실행시키는 프로그램 명령을 저장하는 비일시적인 컴퓨터 가독 매체이며,
    상기 에러 요인 추정 방법은,
    검사 장치로부터 수집한 상기 검사 결과를 포함하는 데이터를 처리하여, 복수의 특징량을 생성하는 것,
    생성된 상기 복수의 특징량과 에러의 관계를 학습하는 제1 모델을 생성하는 것,
    상기 제1 모델의 학습에 사용한 상기 복수의 특징량 중 적어도 하나에 대해서, 상기 제1 모델의 출력에 대하여 기여한 정도를 나타내는 기여도를 산출하는 것, 및
    산출된 기여도 또는 상기 기여도로부터 산출된 유용도에 기초하여 선택한 특징량 또는 특징량의 조합에 라벨 부착된 에러 요인을 취득하는 것을 갖는 것을 특징으로 하는 컴퓨터 가독 매체.
  18. 제17항에 있어서,
    상기 에러 요인 추정 방법은,
    상기 특징량에 상기 에러 요인이 라벨 부착된 에러 요인 리스트를 제공하는 것을 더 갖고,
    상기 에러 요인을 취득하는 것은, 상기 에러 요인 리스트를 참조하여, 상기 기여도 또는 상기 유용도에 기초하여 선택한 특징량에 라벨 부착된 에러 요인을 취득하는 것을 포함하는 것을 특징으로 하는 컴퓨터 가독 매체.
  19. 제17항에 있어서,
    상기 에러 요인 추정 방법은,
    상기 특징량의 조합에 상기 에러 요인이 라벨 부착된 사전을 제공하는 것을 더 갖고,
    상기 에러 요인을 취득하는 것은, 상기 사전을 참조하여, 상기 기여도 또는 상기 유용도에 기초하여 선택한 특징량의 조합과 일치 또는 유사한 조합에 라벨 부착된 에러 요인을 취득하는 것을 포함하는 것을 특징으로 하는 컴퓨터 가독 매체.
KR1020247010906A 2021-10-29 2021-10-29 에러 요인 추정 장치, 에러 요인 추정 방법 및 컴퓨터 가독 매체 KR20240058139A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/040062 WO2023073941A1 (ja) 2021-10-29 2021-10-29 エラー要因推定装置、エラー要因推定方法及びコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
KR20240058139A true KR20240058139A (ko) 2024-05-03

Family

ID=86157607

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020247010906A KR20240058139A (ko) 2021-10-29 2021-10-29 에러 요인 추정 장치, 에러 요인 추정 방법 및 컴퓨터 가독 매체

Country Status (3)

Country Link
KR (1) KR20240058139A (ko)
CN (1) CN118056211A (ko)
WO (1) WO2023073941A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012199338A (ja) 2011-03-18 2012-10-18 Fujitsu Ltd 故障診断支援方法、プログラム及び装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7125358B2 (ja) * 2019-01-30 2022-08-24 株式会社日立製作所 計算機システム及び入力データに対する予測結果の根拠に関する情報の提示方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012199338A (ja) 2011-03-18 2012-10-18 Fujitsu Ltd 故障診断支援方法、プログラム及び装置

Also Published As

Publication number Publication date
WO2023073941A1 (ja) 2023-05-04
CN118056211A (zh) 2024-05-17
TW202318525A (zh) 2023-05-01

Similar Documents

Publication Publication Date Title
RU2522037C2 (ru) Идентификация отказов в авиационном двигателе
CN112508105B (zh) 一种采油机故障检测与检索方法
CN110352389B (zh) 信息处理装置及信息处理方法
CN113092981B (zh) 晶圆数据检测方法及系统、存储介质及测试参数调整方法
US11657121B2 (en) Abnormality detection device, abnormality detection method and computer readable medium
TWI783400B (zh) 誤差因子的推定裝置及推定方法
KR20210017651A (ko) 반도체 제조 공정에서 고장 검출 및 불량 원인 진단을 위한 방법
TW202028901A (zh) 異常因子推估裝置、異常因子推估方法及程式產品
KR20170100710A (ko) 반도체 장치의 결함 모델링 장치 및 방법, 이를 위한 컴퓨터 프로그램과, 이를 이용한 반도체 장치의 결함 검사 시스템
CN108574290B (zh) 受迫振荡的振荡源定位方法、装置、终端及可读存储介质
KR20230102269A (ko) 웨이퍼 제조 공정 장비의 이상 유무 탐지 방법 및 이를 위한 장치
KR20210100028A (ko) 시편들을 검사하는 방법 및 그의 시스템
KR20240058139A (ko) 에러 요인 추정 장치, 에러 요인 추정 방법 및 컴퓨터 가독 매체
US20230325413A1 (en) Error Factor Estimation Device and Error Factor Estimation Method
TWI841020B (zh) 誤差因素估計裝置、誤差因素估計方法、及電腦可讀取媒體
CN117572159B (zh) 基于大数据分析的电力故障检测方法及系统
CN118094264A (zh) 一种智能化电力电容器局部放电检测方法及系统
CN117970061B (zh) 一种高压电力电容器故障预警方法及系统
CN117494046A (zh) 一种自适应电力通信网数据融合方法及装置
CN112182044A (zh) 规则引擎的测试方法、装置以及计算机设备
CN118008724A (zh) 风力发电机运维状态分类方法、装置、设备、存储介质
JP2022035325A (ja) 学習装置、判定装置、学習方法、判定方法、学習プログラムおよび判定プログラム
CN114273978A (zh) 刀具的磨损检测方法、电子设备及计算机可读存储介质
CN116740408A (zh) 一种数据均衡的桥梁数据异常检测方法及装置
CN118228154A (zh) 电网频率异常检测方法、装置、计算机设备和存储介质