KR102176335B1

KR102176335B1 - 반도체 시편의 시험을 위해 사용 가능한 훈련 세트를 생성하는 방법 및 그 시스템

Info

Publication number: KR102176335B1
Application number: KR1020207001230A
Authority: KR
Inventors: 오하드 샤우비; 아사프 아스백; 보아즈 코헨
Original assignee: 어플라이드 머티리얼즈 이스라엘 리미티드
Priority date: 2018-02-07
Filing date: 2019-02-07
Publication date: 2020-11-10
Also published as: CN110945528A; KR20200014927A; CN110945528B; US10832092B2; TW201941112A; WO2019155467A1; US20200226420A1; TWI731303B

Abstract

반도체 시편의 시험 방법이 제공된다. 이 방법은: 컴퓨터에 의해, 반도체 제작 프로세스 내에서 주어진 시험 관련 애플리케이션에 대해 훈련된 심층 신경망(DNN)을 획득할 때, 획득된 훈련된 DNN을 사용하여 하나 이상의 제작 프로세스(FP) 이미지들을 함께 처리하는 단계 ― DNN은 주어진 애플리케이션에 특정한 합성 이미지들을 포함하는 훈련 세트를 사용하여 훈련됨 ―; 및 컴퓨터에 의해, 주어진 애플리케이션에 특정한 시험 관련 데이터를 획득하고 처리된 하나 이상의 FP 이미지들 중 적어도 하나를 특성화하는 단계를 포함한다. 훈련 세트를 생성하는 것은: 잠재 공간을 생성하기 위해 보조 DNN을 훈련시키는 것, 생성된 잠재 공간에서 선택된 포인트에 훈련된 보조 DNN을 적용함으로써 합성 이미지를 생성하는 것, 그리고 생성된 합성 이미지를 훈련 세트에 추가하는 것을 포함할 수 있다.

Description

반도체 시편의 시험을 위해 사용 가능한 훈련 세트를 생성하는 방법 및 그 시스템

[001] 본원에 개시되는 청구 대상은 일반적으로 시편(specimen)의 시험 분야에 관한 것으로, 보다 구체적으로는 시편의 검사를 자동화하기 위한 방법들 및 시스템들에 관한 것이다.

[002] 제작된 디바이스들의 극초대규모 집적 회로(ultra large scale integration)와 연관된 고밀도 및 성능에 대한 현재 요구들은 서브미크론 피처들, 높아진 트랜지스터 및 회로 속도들, 그리고 향상된 신뢰도를 필요로 한다. 이러한 요구들은 높은 정밀도와 균일성을 갖는 디바이스 피처들의 형성을 필요로 하며, 이는 결국 디바이스들이 여전히 반도체 웨이퍼들의 형태인 동안 디바이스들의 자동화된 시험을 포함하여 제작 프로세스의 주의 깊은 모니터링을 필요로 한다. 제작 프로세스는 제조 전, 제조 및/또는 제조 후 동작들을 포함할 수 있다는 점이 주목된다.

[003] 본 명세서에서 사용되는 "시편"이라는 용어는 반도체 집적 회로들, 자기 헤드들, 평판 디스플레이들 및 다른 반도체 제작품들을 제조하는데 사용되는 임의의 종류의 웨이퍼, 마스크들 및 다른 구조물들, 이들의 조합들 및/또는 부분들을 커버하는 것으로 광범위하게 해석되어야 한다.

[004] 본 명세서에서 사용되는 "시험"이라는 용어는 시편의 제작 중에 시편에서 결함들의 검출 및/또는 분류와 관련된 동작들뿐만 아니라 임의의 종류의 계측 관련 동작들을 커버하는 것으로 광범위하게 해석되어야 한다. 시험될 시편의 제조 중에 또는 제조 후에 비파괴 시험 툴들을 사용함으로써 시험이 제공된다. 비제한적인 예로서, 시험 프로세스는 동일한 또는 서로 다른 시험 툴들을 사용하여 시편 또는 그의 부분들에 대해 제공되는 (단일 스캔으로의 또는 다수 스캔들로의) 런타임 스캔, 샘플링, 검토, 측정, 분류 및/또는 다른 동작들을 포함할 수 있다. 마찬가지로, 시험의 적어도 일부는 시험될 시편의 제조 전에 실행될 수 있으며, 예를 들어 시험 레시피(들)의 생성, 각각의 분류기들의 훈련 또는 다른 기계 학습 관련 툴들 및/또는 다른 설정 동작들을 포함할 수 있다. 구체적으로 달리 언급되지 않는 한, 본 명세서에서 사용되는 "시험"이라는 용어 또는 그 파생어들은 검사 영역의 크기 또는 해상도에 대해 제한되지 않는다는 점이 주목된다. 다양한 비파괴 시험 툴들은 비제한적인 예로서 주사 전자 현미경들, 원자력 현미경들, 광학 검사 툴들 등을 포함한다.

[005] 비제한적인 예로서, 런타임 시험은 2 단계 프로시저, 예컨대 시편의 검사에 이은 잠재적 결함들의 샘플링된 위치들의 검토를 이용할 수 있다. 첫 번째 단계 동안, 시편의 표면이 고속 및 상대적으로 낮은 해상도로 검사된다. 첫 번째 단계에서, 결함 맵이 생성되어 높은 결함 확률을 갖는 시편의 의심되는 위치들을 보여준다. 두 번째 단계 동안, 의심되는 위치들 중 적어도 일부가 비교적 높은 해상도로 보다 철저하게 분석된다. 일부 경우들에는, 두 단계들 모두 동일한 검사 툴에 의해 구현될 수 있으며, 일부 다른 경우들에는 이러한 두 단계들이 서로 다른 검사 툴들에 의해 구현된다.

[006] 시편들 상의 결함들을 검출하고 분류하기 위해 반도체 제작 동안 다양한 단계들에서 시험 프로세스들이 사용된다. 예를 들어, 자동 결함 분류(ADC: Automatic Defect Classification), 자동 결함 검토(ADR: Automatic Defect Review) 등을 사용함으로써 프로세스들의 적어도 일부의 자동화에 의해 시험의 효과가 향상될 수 있다.

[007] 본원에 개시되는 청구 대상의 특정 양상들에 따르면, 반도체 시편의 시험 방법이 제공된다. 이 방법은: 컴퓨터에 의해, 반도체 제작 프로세스 내에서 주어진 시험 관련 애플리케이션에 대해 훈련된 심층 신경망(DNN: Deep Neural Network)을 획득할 때, 획득된 훈련된 DNN을 사용하여 하나 이상의 제작 프로세스(FP: fabrication process) 이미지들을 함께 처리하는 단계 ― DNN은 주어진 애플리케이션에 특정한 합성 이미지들을 포함하는 훈련 세트를 사용하여 훈련됨 ―; 및 컴퓨터에 의해, 주어진 애플리케이션에 특정한 시험 관련 데이터를 획득하고 처리된 하나 이상의 FP 이미지들 중 적어도 하나를 특성화하는 단계를 포함한다.

[008] 본원에 개시되는 청구 대상의 다른 양상들에 따르면, 반도체 시편의 시험을 위해 사용 가능한 훈련 세트를 생성하는 방법이 제공된다. 이 방법은: 반도체 제작 프로세스 내에서 주어진 시험 관련 애플리케이션에 특정한 "실세계(real world)" 훈련 샘플들을 획득하는 단계, 주어진 시험 관련 애플리케이션에 특정한 하나 이상의 합성 이미지들을 생성하기 위해, 획득된 "실세계" 훈련 샘플들을 사용하는 단계, 생성된 하나 이상의 합성 이미지들을 주어진 시험 관련 애플리케이션에 특정한 훈련 세트에 포함시키는 단계를 포함한다.

[009] 비제한적인 예로서, 시험 관련 애플리케이션은: 시편에서 결함들을 검출하는 것; 시편에서 결함들을 분류하는 것; 적어도 2개의 제작 프로세스(FP) 이미지들 간의 등록; 시편의 고해상도 이미지, 시편의 저해상도 이미지 및 시편의 설계 데이터 기반 이미지를 포함하는 그룹으로부터 선택되는 적어도 하나의 FP 이미지를 세그먼트화하는 것; 서로 다른 시험 양식에 의해 획득된 FP 이미지 데이터를 회귀 기반 재구성하는 것; 이미지 특성들(예컨대, 접촉 구멍 깊이)의 회귀 기반 추정; 등일 수 있다.

[0010] 비제한적인 예로서, 훈련 세트는 주어진 시험 관련 애플리케이션에 대해 훈련된 심층 신경망(DNN)을 이용한 시편의 자동 시험, 자동 결함 검토(ADR) 및 자동 결함 분류(ADC) 중 적어도 하나에 사용 가능할 수 있다.

[0011] 본원에 개시되는 청구 대상의 추가 양상들에 따르면, 합성 이미지를 생성하는 것은: 잠재 공간을 생성하기 위해 보조 DNN을 훈련시키는 것, 그리고 생성된 잠재 공간에서 선택된 포인트에 훈련된 보조 DNN을 적용함으로써 합성 이미지를 생성하는 것을 포함할 수 있다.

[0012] 본원에 개시되는 청구 대상의 추가 양상들에 따르면, 보조 DNN은 생성기 및 판별기를 포함할 수 있고, 보조 DNN을 훈련시키는 것은: a) 생성기에 의해 생성된 샘플 및 "실세계" 샘플을 판별기에 의해 수신하는 것; b) 판별기에 의해, 수신된 샘플들 간에 구별하고 생성기에 피드백을 제공하는 것; c) "실세계" 및 생성된 샘플들이 판별기에 의해 구별 가능하지 않을 때까지 동작 a) 및 동작 b)를 반복하는 것을 포함할 수 있다.

[0013] 본원에 개시되는 청구 대상의 추가 양상들에 따르면, 이 방법은 시편에서 결함들을 분류하기 위해 구현될 때: 합성 이미지들에 제시될 결함들의 클래스의 사용자의 요건들을 수신하는 단계; 잠재 공간에서 k-평균으로 클러스터들을 얻도록 보조 DNN을 훈련시키는 단계; 잠재 공간에서, 요구되는 클래스에 대응하는 하나 이상의 클러스터들을 식별하는 단계; 요구되는 클래스에 대응하는 결함들을 갖는 합성 이미지들을 생성하기 위해, 식별된 하나 이상의 클러스터들을 사용하는 단계를 더 포함할 수 있다.

[0014] 본원에 개시되는 청구 대상의 다른 양상들에 따르면, 상기 방법에 따라 반도체 시편의 시험을 위해 사용 가능한 훈련 세트를 생성하도록 구성된 시스템이 제공된다.

[0015] 본원에 개시되는 청구 대상의 다른 양상들에 따르면, 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금 상기 방법을 수행하게 하는 명령들을 포함하는 비-일시적 컴퓨터 판독 가능 매체가 제공된다.

[0016] 본 발명을 이해하기 위해, 그리고 본 발명이 실제로 어떻게 실행될 수 있는지를 확인하기 위해, 이제 첨부 도면들을 참조하여 비제한적인 예로서만 실시예들이 설명될 것이다.
[0017] 도 1은 본원에 개시되는 청구 대상의 특정 실시예들에 따른 시험 시스템의 기능 블록도를 예시한다.
[0018] 도 2는 본원에 개시되는 청구 대상의 특정 실시예들에 따라 제작 프로세스(FP) 이미지들에 기초하여 시험 관련 데이터를 자동으로 결정하는 심층 신경망(DNN)을 사용하는 일반화된 흐름도를 예시한다.
[0019] 도 3은 본원에 개시되는 청구 대상의 특정 실시예들에 따라 구성된 합성 이미지 생성기의 일반화된 기능도를 예시한다.
[0020] 도 4는 본원에 개시되는 청구 대상의 특정 실시예들에 따라 훈련 세트를 생성하는 일반화된 흐름도를 예시한다.
[0021] 도 5는 본원에 개시되는 청구 대상의 특정 실시예들에 따라 합성 이미지 생성기를 작동시키는 일반화된 흐름도를 예시한다.
[0022] 도 6은 본원에 개시되는 청구 대상의 특정 실시예들에 따라 합성 이미지 생성기를 훈련시키는 일반화된 논리도를 예시한다.
[0023] 도 7은 본원에 개시되는 청구 대상의 특정 실시예들에 따라 결함 분류를 위한 합성 훈련 샘플들을 생성하는 일반화된 흐름도를 예시한다.

[0024] 다음 상세한 설명에서는, 본 발명의 전반적인 이해를 제공하기 위해 많은 특정 세부사항들이 제시된다. 그러나 본원에 개시되는 청구 대상은 이러한 특정 세부사항들 없이 실시될 수 있다고 당해 기술분야에서 통상의 지식을 가진 자들에 의해 이해될 것이다. 다른 경우들에는, 본원에 개시되는 청구 대상을 모호하게 하지 않도록, 잘 알려진 방법들, 프로시저들, 컴포넌트들 및 회로들은 상세하게 설명되지 않았다.

[0025] 구체적으로 달리 언급되지 않는 한, 하기 논의들로부터 명백하듯이, 본 명세서 전반에서 "처리," "컴퓨팅," "표현," "비교," "생성," "훈련," "세그먼트화," "등록" 등과 같은 용어들을 이용한 논의들은 데이터를 조작하고 그리고/또는 다른 데이터로 변환하는 컴퓨터의 동작(들) 및/또는 프로세스(들)와 관련이 있으며, 상기 데이터는 전자와 같은 물리적 수량들로서 표현되고 그리고/또는 상기 데이터는 물리적 객체들을 나타낸다고 인식된다. "컴퓨터"라는 용어는 비제한적인 예로서, 본 출원에 개시된 제작 프로세스 시험 정보(FPEI: Fabrication Process Examination Information) 시스템 및 이 시스템의 각각의 부품들을 포함하는 데이터 처리 능력들을 갖는 임의의 종류의 하드웨어 기반 전자 디바이스를 커버하는 것으로 광범위하게 해석되어야 한다.

[0026] 본 명세서에서 사용되는 "비-일시적 메모리" 및 "비-일시적 저장 매체"라는 용어들은 본원에 개시되는 청구 대상에 적합한 임의의 휘발성 또는 비휘발성 컴퓨터 메모리를 커버하는 것으로 광범위하게 해석되어야 한다.　

[0027] 본 명세서에서 사용되는 "결함"이라는 용어는 시편 상에 또는 시편 내에 형성된 임의의 종류의 이상(abnormality) 또는 바람직하지 않은 피처를 커버하는 것으로 광범위하게 해석되어야 한다.

[0028] 본 명세서에서 사용되는 "설계 데이터"라는 용어는 시편의 계층적인 물리적 설계(레이아웃)를 나타내는 임의의 데이터를 커버하는 것으로 광범위하게 해석되어야 한다. 설계 데이터는 각각의 설계자에 의해 제공될 수 있고 그리고/또는 물리적 설계로부터(예컨대, 복잡한 시뮬레이션, 간단한 기하 및 불 연산들 등을 통해) 도출될 수 있다. 설계 데이터는 비제한적인 예들로서, GDSII 포맷, OASIS 포맷 등으로서 서로 다른 포맷들로 제공될 수 있다. 설계 데이터는 벡터 포맷, 그레이스케일 강도 이미지 포맷 등으로 제시될 수 있다.

[0029] 구체적으로 달리 언급되지 않는 한, 개별 실시예들과 관련하여 설명되는, 본원에 개시되는 청구 대상의 특정한 특징들은 또한 단일 실시예로 조합하여 제공될 수 있다고 인식된다. 반대로, 단일 실시예와 관련하여 설명되는, 본원에 개시되는 청구 대상의 다양한 특징들은 또한 개별적으로 또는 임의의 적절한 하위 조합으로 제공될 수 있다. 다음 상세한 설명에서는, 방법들 및 장치의 전반적인 이해를 제공하기 위해 많은 특정 세부사항들이 제시된다.

[0030] 이를 염두에 두고, 본원에 개시되는 청구 대상의 특정 실시예들에 따른 시험 시스템의 기능 블록도를 예시하는 도 1이 주목된다. 도 1에 예시된 시험 시스템(100)은 시편 제작 프로세스의 일부로서 시편의(예컨대, 웨이퍼 및/또는 그 부분들의) 시험에 사용될 수 있다. 예시된 시험 시스템(100)은 (이하, 제작 프로세스(FP) 이미지들로 지칭되는) 시편 제작 동안 획득된 이미지들을 사용하여 계측 관련 및/또는 결함 관련 정보를 자동으로 결정할 수 있는 컴퓨터 기반 시스템(103)을 포함한다. 이하, 이 시스템(103)은 FPEI(Fabrication Process Examination Information) 시스템으로 지칭된다. FPEI 시스템(103)은 하나 이상의 저해상도 시험 툴들(101) 및/또는 하나 이상의 고해상도 시험 툴들(102) 및/또는 다른 시험 툴들에 동작 가능하게 연결될 수 있다. 시험 툴들은 FP 이미지들을 캡처하도록 그리고/또는 캡처된 FP 이미지(들)를 검토하도록 그리고/또는 캡처된 이미지(들)와 관련된 측정들을 가능하게 하거나 제공하도록 구성된다. FPEI 시스템은 CAD 서버(110) 및 데이터 저장소(109)에 추가로 동작 가능하게 연결될 수 있다.

[0031] FPEI 시스템(103)은 하드웨어 기반 입력 인터페이스(105)에 그리고 하드웨어 기반 출력 인터페이스(106)에 동작 가능하게 연결된 프로세서 및 메모리 회로(PMC: processor and memory circuitry)(104)를 포함한다. PMC(104)는 도 2 - 도 5를 참조하여 추가로 상세히 설명되는 바와 같이 FPEI 시스템을 작동시키는 데 필요한 모든 처리를 제공하도록 구성되며 (별도로 도시되지 않은) 프로세서 및 (별도로 도시되지 않은) 메모리를 포함한다. PMC(104)의 프로세서는 PMC에 포함된 비-일시적 컴퓨터 판독 가능 메모리 상에 구현된 컴퓨터 판독 가능 명령들에 따라 몇몇 기능 모듈들을 실행하도록 구성될 수 있다. 이러한 기능 모듈들은 이하 PMC에 포함되는 것으로 언급된다. PMC(104)에 포함된 기능 모듈들은 동작 가능하게 연결된 훈련 세트 생성기(111)를 포함한다. 기능 모듈들은 심층 신경망(DNN)(112)을 더 포함할 수 있다. DNN(112)은 제조(FP) 입력 데이터에 기초하여 애플리케이션 관련 데이터를 출력하기 위해 심층 신경망(들)을 사용하여 데이터 처리를 가능하게 하도록 구성된 DNN 모듈(114)을 포함한다. 선택적으로, DNN(112)은 입력 데이터를 DNN 모듈로 전달하기 전에 전처리를 제공하도록 구성된 사전 DNN 모듈(113) 및/또는 DNN 모듈에 의해 생성된 후처리 데이터를 제공하도록 구성된 사후 DNN 모듈(115)을 포함할 수 있다. FPEI 시스템(103), PMC(104) 및 그 안의 기능 블록들의 동작은 도 2 - 도 5를 참조하여 더 상세히 설명될 것이다.

[0032] DNN 모듈(114)은 각각의 DNN 아키텍처에 따라 조직된 복수의 레이어들을 포함하는 지도 또는 비지도 DNN(112)을 포함할 수 있다. 비제한적인 예로서, DNN의 레이어들은 컨볼루션 신경망(CNN: Convolutional Neural Network) 아키텍처, 순환 신경망 아키텍처, 재귀 신경망 아키텍처, 생산적 적대 신경망(GAN: Generative Adversarial Network) 아키텍처 등에 따라 조직화될 수 있다. 선택적으로, 레이어들 중 적어도 일부는 복수의 DNN 하위 네트워크들로 조직화될 수 있다. DNN 모듈(114)의 각각의 레이어는 당해 기술분야에서 통상적으로 차원들, 뉴런들 또는 노드들로 지칭되는 다수의 기본 계산 엘리먼트(CE: computational element)들을 포함할 수 있다.

[0033] 일반적으로, 주어진 레이어의 계산 엘리먼트들은 선행 레이어 및/또는 후속 레이어의 CE들과 연결될 수 있다. 선행 레이어의 CE와 후속 레이어의 CE 간의 각각의 연결은 가중 값과 연관된다. 주어진 CE는 각각의 연결들을 통해 이전 레이어의 CE들로부터 입력들을 수신할 수 있으며, 각각의 주어진 연결은 주어진 연결의 입력에 적용될 수 있는 가중 값과 연관된다. 가중 값들은 연결들의 상대 강도 및 이에 따라 주어진 CE의 출력에 대한 각각의 입력들의 상대적인 영향을 결정할 수 있다. 주어진 CE는 활성화 값(예컨대, 입력들의 가중 합)을 계산하고 계산된 활성화에 활성화 함수를 적용함으로써 출력을 추가로 도출하도록 구성될 수 있다. 활성화 함수는 예를 들어, 항등 함수, 결정적 함수(예컨대, 선형, 시그모이드(sigmoid), 임계치 등), 확률론적 함수 또는 다른 적절한 함수일 수 있다. 주어진 CE로부터의 출력은 각각의 연결들을 통해 후속 레이어의 CE들로 송신될 수 있다. 마찬가지로, 위와 같이, CE의 출력에서의 각각의 연결은 후속 레이어의 CE의 입력으로서 수신되기 전에 CE의 출력에 적용될 수 있는 가중 값과 연관될 수 있다. 가중 값들 외에도, 연결들 및 CE들과 연관된 (제한 함수들을 포함하는) 임계 값들이 있을 수 있다.

[0034] 심층 신경망의 가중 및/또는 임계 값들은 초기에는 훈련 전에 선택될 수 있고, 훈련된 DNN에서 가중 및/또는 임계 값들의 최적의 세트를 달성하도록 훈련 동안 추가로 반복적으로 조정 또는 수정될 수 있다. 각각의 반복 후에, DNN 모듈에 의해 생성된 실제 출력과 데이터의 각각의 훈련 세트와 연관된 목표 출력 간에 차이가 결정될 수 있다. 이 차이는 오류 값으로 지칭될 수 있다. 에러 값을 나타내는 비용 함수가 미리 결정된 값보다 더 작을 때 또는 반복들 간의 성능의 제한된 변화가 달성될 때 훈련이 완료된 것으로 결정될 수 있다. 선택적으로 전체 DNN을 훈련하기 전에 (만약 존재한다면) DNN 하위 네트워크들 중 적어도 일부가 별도로 훈련될 수 있다.

[0035] 심층 신경망의 가중치들/임계치들을 조정하는 데 사용되는 한 세트의 DNN 입력 데이터는 이하 훈련 세트로 지칭된다.

[0036] DNN(112)에 대한 입력들은 DNN 모듈(114)로의 입력 전에 사전 DNN 모듈(113)에 의해 전처리될 수 있고 그리고/또는 DNN 모듈(114)의 출력들은 DNN(112)으로부터의 출력 전에 사후 DNN 모듈(115)에 의해 후처리될 수 있다. 그러한 경우들에, DNN(112)의 훈련은 사전 DNN 모듈 및/또는 사후 DNN 모듈의 파라미터들을 결정하는 것을 더 포함한다. 선택적으로, DNN 모듈은 전체 DNN의 비용 함수를 최소화하도록 훈련될 수 있는 한편, 사전 DNN 모듈 및/또는 사후 DNN 모듈의 파라미터들은 사전 정의될 수 있고 훈련 중에 조정될 수 있다. 훈련시 DNN(112)을 특성화하는 한 세트의 훈련 기반 파라미터들은 사전 DNN 및 사후 DNN 처리와 관련된 파라미터들을 더 포함할 수 있다.

[0037] 본원에 개시된 청구 대상의 교시들이 DNN(112) 아키텍처로 구속되지 않는다는 점이 주목된다.

[0038] DNN(112)에 대해 대안으로 또는 추가로, PMC는 자동 결함 검토 모듈(ADR) 및/또는 자동 결함 분류 모듈(ADC) 및/또는 훈련된 후에 반도체 시편의 시험을 위해 사용 가능한 다른 시험 모듈들을 포함할 수 있다. 선택적으로, 하나 이상의 시험 모듈들은 DNN(112)을 포함할 수 있다. 선택적으로, DNN(112)은 시험 모듈들 사이에서 공유될 수 있거나, 대안으로, 상기 하나 이상의 시험 모듈들 각각은 각자의 DNN(112)을 포함할 수 있다.

[0039] 도 2 - 도 5를 참조하여 더 상세히 설명되는 바와 같이, FPEI 시스템은 입력 인터페이스(105)를 통해 FP 입력 데이터를 수신하도록 구성된다. FP 입력 데이터는 시험 툴들에 의해 생성된 데이터(및/또는 이의 파생물들 및/또는 이와 연관된 메타데이터) 및/또는 하나 이상의 데이터 저장소들(109)에 그리고/또는 CAD 서버(110) 및/또는 다른 관련 데이터 저장소에 저장된 데이터를 포함할 수 있다. FP 입력 데이터는 이미지들(예컨대, 캡처된 이미지들, 캡처된 이미지들로부터 도출된 이미지들, 시뮬레이션된 이미지들, 합성 이미지들 등) 및 연관된 수치 데이터(예컨대, 메타데이터, 개발자가 직접 설계한(hand-crafted) 속성들 등)를 포함할 수 있다는 점이 주목된다. 이미지 데이터는 관심 레이어에 그리고/또는 시편의 하나 이상의 다른 레이어들에 관련된 데이터를 포함할 수 있다는 점이 추가로 주목된다. 선택적으로, 훈련 목적들로, FP 입력 데이터는 특정 기준들에 따라 선택된 전체 이용 가능한 FAB 데이터 또는 그 일부를 포함할 수 있다.

[0040] FPEI 시스템은 수신된 FP 입력 데이터의 적어도 일부를 처리하고, 출력 인터페이스(106)를 통해 결과들(또는 그 일부)을 저장 시스템(107)으로, 시험 툴(들)로, 결과들을 렌더링하기 위한 컴퓨터 기반 그래픽 사용자 인터페이스(GUI: graphical user interface)(108)로 그리고/또는 외부 시스템들(예컨대, FAB의 수율 관리 시스템(YMS: Yield Management System))로 전송하도록 추가로 구성된다. GUI(108)는 FPEI 시스템(103)을 작동시키는 것과 관련된 사용자 지정 입력들을 가능하게 하도록 추가로 구성될 수 있다.

[0041] 비제한적인 예로서, 시편은 하나 이상의 저해상도 시험 기계들(101)(예컨대, 광학 검사 시스템, 저해상도 SEM 등)에 의해 시험될 수 있다. 시편의 저해상도 이미지들에 유용한 (이하, 저해상도 이미지 데이터(121)로 지칭되는) 결과 데이터는 ― 직접 또는 하나 이상의 중간 시스템들을 통해 ― FPEI 시스템(103)으로 송신될 수 있다. 대안으로 또는 추가로, 시편은 고해상도 기계(102)에 의해 시험될 수 있다(예컨대, 검토를 위해 선택된 잠재적 결함 위치들의 서브세트는 주사 전자 현미경(SEM: scanning electron microscope) 또는 원자력 현미경(AFM: Atomic Force Microscopy)에 의해 검토될 수 있다). 시편의 고해상도 이미지들에 유용한 (이하, 고해상도 이미지 데이터(122)로 지칭되는) 결과 데이터는 ― 직접 또는 하나 이상의 중간 시스템들을 통해 ― FPEI 시스템(103)으로 송신될 수 있다.

[0042] 이미지 데이터는 이와 연관된 메타데이터(예컨대, 픽셀 크기, 결함 타입의 텍스트 설명, 이미지 캡처 프로세스의 파라미터들 등)와 함께 수신 및 처리될 수 있다는 점이 주목된다.

[0043] FP 입력 데이터(예컨대, 저해상도 이미지 데이터 및/또는 고해상도 이미지 데이터, 선택적으로는 예를 들어, 설계 데이터, 합성 데이터 등과 같은 다른 데이터와 함께)를 처리할 때, FPEI 시스템은 결과들(예컨대, 명령 관련 데이터(123 및/또는 124))을 시험 툴(들) 중 임의의 시험 툴에 전송하고, 결과들(예컨대, 결함 속성들, 결함 분류들 등)을 저장 시스템(107)에 저장하고, 결과들을 GUI(108)를 통해 렌더링하고 그리고/또는 외부 시스템에(예컨대, YMS에) 전송할 수 있다.

[0044] 당해 기술분야에서 통상의 지식을 가진 자들은 본원에 개시된 청구 대상의 교시들이 도 1에 예시된 시스템으로 구속되지 않는다는 것을 쉽게 인식할 것이며; 동등한 그리고/또는 수정된 기능이 다른 방식으로 통합 또는 분할될 수 있으며 펌웨어 및/또는 하드웨어와 소프트웨어의 임의의 적절한 조합으로 구현될 수 있다.

[0045] 어떠한 방식으로든 본 개시내용의 범위를 제한하지 않으면서, 시험 툴들은 광학 이미징 기계들, 전자 빔 검사 기계들 등과 같은 다양한 타입들의 검사 기계들로서 구현될 수 있다는 점이 또한 주목되어야 한다. 일부 경우들에는, 동일한 시험 툴이 저해상도 이미지 데이터와 고해상도 이미지 데이터를 제공할 수 있다. 일부 경우들에는, 적어도 하나의 시험 툴이 계측 능력들을 가질 수 있다.

[0046] 도 1에 예시된 시험 시스템은 분산 컴퓨팅 환경에서 구현될 수 있는데, 분산 컴퓨팅 환경에서 도 1에 도시된 앞서 언급한 기능 모듈들은 여러 로컬 및/또는 원격 디바이스들에 걸쳐 분산될 수 있고, 통신 네트워크를 통해 링크될 수 있다는 점이 주목된다. 다른 실시예들에서, 시험 툴들(101 및/또는 102), 데이터 저장소들(109), 저장 시스템(107) 및/또는 GUI(108) 중 적어도 일부는 시험 시스템(100)의 외부에 있을 수 있으며 입력 인터페이스(105) 및 출력 인터페이스(106)를 통해 FPEI 시스템(103)과 데이터 통신하여 동작할 수 있다는 점이 추가로 주목된다. FPEI 시스템(103)은 시험 툴들과 함께 사용될 독립형 컴퓨터(들)로서 구현될 수 있다. 대안으로, FPEI 시스템의 각각의 기능들은 적어도 부분적으로는 하나 이상의 시험 툴들과 통합될 수 있다.

[0047] 단지 예시의 목적으로, 훈련된 DNN을 이용한 반도체 시편의 시험에 관해 다음 설명이 제공된다. 당해 기술분야에서 통상의 지식을 가진 자들은 본원에 개시된 청구 대상의 교시들이 예를 들어 ADR, ADC, 자동화된 내비게이션 모듈, 자동화된 세그먼트화 모듈 등과 같은 다른 시험 모듈들에 대한 훈련 세트들을 생성하는 데 마찬가지로 적용 가능하다는 것을 쉽게 인식할 것이다.

[0048] 도 2를 참조하면, 제작 프로세스(FP) 이미지들에 기초하여 시험 관련 데이터를 자동으로 결정하기 위해 DNN(112)을 사용하는 일반화된 흐름도가 예시된다. 본 출원의 양수인에게 양도되고 그 전체가 인용에 의해 본 명세서에 포함된 미국 특허출원 제2017/0177997호에 제시된 바와 같이, 이 프로세스는 심층 신경망(DNN)(112)을 훈련시키는 단계를 포함하는 셋업 단계를 포함하며, 여기서 DNN은 주어진 시험 관련 애플리케이션에 대해 훈련되고, 훈련시 훈련 기반 파라미터들의 애플리케이션 특정 세트에 의해 특성화된다. 비제한적인 예로서, 시험 관련 애플리케이션은 다음 중 하나 일 수 있다:

DNN에 의해 생성된 속성들을 이용한 결함 분류(클래스들을 정의하는 것은 기존 클래스 정의들을 수정 및/또는 업데이트하는 것 그리고/또는 새로운 클래스들을 식별하는 것을 포함할 수 있음);

FP 이미지를 세그먼트들(예컨대, 재료 타입들, 에지들, 픽셀 라벨링, 관심 영역들 등)로 분할하는 것을 포함하는 제작 프로세스 이미지의 세그먼트화;

결함 검출(예컨대, FP 이미지 및 그 마킹을 사용하여 (존재한다면) 하나 이상의 후보 결함들을 식별하고, 후보 결함들에 대한 진리값을 결정하고, 결함들에 대한 형상 정보를 얻는 등);

(글로벌 또는 로컬일 수 있고, 시프트만큼 단순한 또는 보다 복잡한 변환들일 수 있는) 이미지들 간의 기하학적 휨 파라미터들을 획득하는 것을 포함하여 2개 이상의 이미지들 간의 등록;

(예컨대, 예를 들어 CAD로부터의 SEM 또는 광학 이미지, SEM 이미지들로부터의 높이 맵, 저해상도 이미지들로부터의 고해상도 이미지로서 서로 다른 시험 양식으로부터의 하나 이상의 이미지들로부터의 이미지를 재구성하는) 교차 양식 회귀;

이미지 특성들의 회귀 기반 추정;　

상기의 조합(들).

[0049] 주어진 애플리케이션에 대해 훈련된 DNN(112)이 설정 단계 동안 획득된다(201). 도 3 - 도 5를 참조하여 더 상세히 설명되는 바와 같이, PMC(104)(예컨대, 훈련 세트 생성기(111))는 DNN(112)의 훈련에 추가로 사용 가능한 애플리케이션 특정 훈련 세트를 생성하도록 구성될 수 있다. 훈련 세트를 생성하는 것은 훈련 샘플들(및 적용 가능하다면 지상 검증자료(augment) 데이터)을 증강시키는 것 그리고 증강된 훈련 이미지들 및 증강된 지상 검증자료 데이터를 훈련 샘플들에 포함시키는 것을 포함할 수 있다. 대안으로 또는 추가로, 훈련 세트를 생성하는 것은 합성 이미지들을 생성하는 것(그리고 필요하다면 지상 검증자료 데이터를 획득하는 것) 그리고 합성 이미지들을 훈련 샘플들에 포함시키는 것을 포함할 수 있다.

[0050] DNN 훈련 프로세스는 주기적일 수 있으며, DNN이 충분히 훈련될 때까지 여러 번 반복될 수 있다는 점이 주목된다. 프로세스는 초기에 생성된 훈련 세트에서부터 시작할 수 있는 한편, 사용자는 초기 훈련 세트를 기반으로 DNN이 도달한 결과들에 대한 피드백을 제공한다. 제공된 피드백은 예를 들어 다음을 포함할 수 있다:

하나 이상의 픽셀들, 영역들 및/또는 결함들의 수동 재분류;

클래스들의 우선순위 결정;

민감도의 변경들, 지상 검증자료 세그먼트화의 업데이트들 및/또는 세그먼트화 애플리케이션들을 위한 관심 영역(ROI: region of interest)들의 수동 정의;

결함 검출 애플리케이션들을 위한 마스크/바운딩 박스의 재정의;

등록 애플리케이션들에 대한 실패 사례들의 재선택 및/또는 실패들의 수동 등록;

회귀 기반 애플리케이션들에 대한 관심 피처들의 재선택 등.

[0051] PMC는 수신된 피드백을 기초로 다음 훈련 주기를 조정할 수 있다. 조정은: 훈련 세트의 업데이트, 비용 함수의 업데이트, 사전 DNN 및/또는 사후 DNN 알고리즘들의 업데이트 등 중 적어도 하나를 포함할 수 있다. 선택적으로, 훈련 주기들 중 일부는 전체 DNN(112)이 아니라, 그보다는 사전 DNN 모듈(113), 사후 DNN 모듈(115)에 또는 DNN 모듈(114)의 하나 이상의 상위 레이어들에 제공될 수 있다.

[0052] 런타임 동안, FPEI 시스템의 PMC가 FP 이미지들을 포함하는 FP 샘플을 처리하기 위해, 획득된 훈련된 DNN(112)을 사용한다(202). 이로써 PMC는 처리된 FP 샘플에서 이미지들 중 적어도 하나를 특성화하는 애플리케이션 특정 시험 관련 데이터를 획득한다(203). FP 샘플들을 처리할 때, PMC는 또한 훈련시 DNN(112)을 특성화하는 훈련 기반 파라미터들 외에도 다른 소스들로부터 수신된 파라미터들 및/또는 사전 정의된 파라미터들을 사용할 수 있다.

[0053] FP 샘플의 FP 이미지들은 서로 다른 시험 양식들로부터 나올 수 있다(예컨대, 서로 다른 시험 툴들로부터; 예를 들어, 명시야(bright field) 및 암시야(dark field) 이미지들과 동일한 시험 툴의 서로 다른 채널들로부터; 서로 다른 동작 파라미터들을 사용하여 동일한 시험 툴로부터 나올 수 있거나; 설계 데이터로부터 도출될 수 있는 등). 시험 양식들은 각각의 이미지들 (예컨대, 주사 전자 현미경(SEM)에 의해 캡처된 이미지들, 광학 검사 시스템에 의해 캡처된 이미지들, 캡처된 이미지들로부터 도출된 이미지들, CAD 기반 생성 이미지들 등)의 소스들에 의해 그리고/또는 캡처된 이미지들(예컨대, 세그먼트화, 결함 윤곽 추출, 높이 맵 계산 등에 의해 도출된 이미지들)에 적용된 도출 기술들에 의해 그리고/또는 시험 파라미터들에 의해(예컨대, 특정 시험 툴에 의해 제공되는 원근법 및/또는 해상도 등에 의해) 서로 다를 수 있다는 점이 주목된다. 비제한적인 예로서, FP 샘플은 동일한 시험 양식에 의해 또는 서로 다른 시험 양식들에 의해 분류되고 획득될 결함과 관련된 이미지들, 기준 다이 이미지, CAD 기반 이미지, 획득된 이미지들로부터 도출된 데이터(예컨대, 높이 맵, 결함 마스크, 등급들, 세그먼트화들 등)의 그룹을 포함할 수 있다. FP 샘플은 이미지 및/또는 그 안의 결함들과 관련된 메타데이터(예컨대, 이미징 조건들, 픽셀 크기, 공학적 속성들(예컨대, 결함 크기, 배향, 배경 세그먼트 등) 등)를 더 포함할 수 있다. 비제한적인 예로서, 메타데이터는 PMC에 저장된 그리고/또는 각각의 시험 툴들로부터 수신된 미리 정의된 명령들에 따라 PMC에 의해 생성될 수 있다.

[0054] 선택적으로, 훈련 샘플들은 FP 샘플들에 대응할 수 있다. 각각의 훈련 샘플은 동일한 시험 양식들에 의해 획득되고 각각의 FP 샘플의 이미지들과 동일한 관계에 있는 적어도 동일한 수의 이미지들을 포함할 수 있다. 특정 실시예들에서, 훈련 샘플들은 FP 샘플의 이미지들에 대응하는 일부 이미지들을 놓칠 수 있다는 점이 주목된다. 이러한 결함들은 서로 다른 기술들에 의해 보상될 수 있는데, 이들 중 일부는 당해 기술분야에 공지되어 있다(예컨대, 누락 이미지는 다른 훈련 샘플들로부터의 대응 이미지들의 평균값들에 따라 생성된 이미지 등에 의해 보상될 수 있다). 선택적으로, 훈련 샘플들은 통상적으로 런타임 동안 이용 불가능한 추가 시험 양식들에 의해 얻어진 그리고/또는 훈련에 이용 가능한 이미지들의 증강에 의해 그리고/또는 하나 이상의 합성 이미지들의 생성에 의해 얻어진 추가 이미지들을 더 포함할 수 있다.

[0055] 예를 들어, FP 이미지들은 제조 프로세스 동안 캡처된 시편(예컨대, 웨이퍼 또는 그 부분들)의 이미지들, 다양한 전처리 단계들에 의해 획득된 캡처된 이미지의 파생물들(예컨대, SEM 또는 광학 검사 시스템에 의해 캡처된 웨이퍼 또는 포토마스크의 일부의 이미지들, ADC에 의해 분류될 결함을 대략 중심으로 한 SEM 이미지들, 결함이 ADR에 의해 국소화될 더 큰 영역들의 SEM 이미지들, 동일한 마스크 위치에 대응하는 서로 다른 시험 양식들의 등록된 이미지들, 세그먼트화된 이미지들, 높이 맵 이미지들 등) 및 컴퓨터 생성 설계 데이터 기반 이미지들로부터 선택될 수 있다.

[0056] 비제한적인 예로서, 애플리케이션 특정 시험 관련 데이터는 애플리케이션에 의존하는 의미를 갖는 값들의 픽셀별 맵(예컨대, 결함 검출을 위한 이진 맵; 집단 타입 또는 일반 클래스를 나타내는 방해 집단 예측을 위한 개별 맵; 결함 타입 분류를 위한 개별 맵; 교차 양식 또는 다이-투 모델(D2M: die-to model) 회귀에 대한 연속 값들 등)을 나타낼 수 있다. 픽셀들에 대해 획득된 값들의 확률을 나타내는 픽셀별 확률 맵과 함께 픽셀별 맵이 추가로 획득될 수 있다.

[0057] 대안으로 또는 추가로, 애플리케이션 특정 시험 관련 데이터는 예를 들어, 결함 속성들, 결함 바운딩 박스 후보들 및 자동 결함 검토 애플리케이션을 위한 연관된 결함 존재 확률들, 자동 결함 분류 애플리케이션에 대한 결함 클래스 및 클래스 확률 등과 같은 (픽셀별이 아닌) 전체 이미지 내용을 요약하는 하나 이상의 값들을 나타낼 수 있다.

[0058] 대안으로 또는 추가로, 획득된 애플리케이션 특정 결함 관련 데이터는 결함들과 직접 관련될 수 있는 것이 아니라, 결함 분석들에 사용 가능할 수 있다(예컨대, FP 이미지들의 세그먼트화에 의해 얻어진 웨이퍼의 레이어들 사이의 경계가 결함들의 레이어들, 예를 들어 배경 패턴의 특성들과 같은 결함 환경 데이터 등을 정의하기 위해 사용 가능할 수 있다). 대안으로 또는 추가로, 시험 관련 데이터는 계측 목적들로 사용 가능할 수 있다.

[0059] 도 3을 참조하면, 훈련 세트 생성기(111)가 예시된다. 본원에 제시된 청구 대상의 특정 실시예들에 따르면, 훈련 세트 생성기(111)는 증강 이미지들의 생성기(301), 합성 이미지들의 생성기(302), 및 생성기(301)와 생성기(302)에 동작 가능하게 결합되어 "실세계" 훈련 샘플, 합성 훈련 샘플 및/또는 증강 훈련 샘플을 포함하는 훈련 세트를 생성하도록 구성된 출력 훈련 세트 모듈(303)을 포함한다. 생성된 훈련 세트는 PMC(104)의 메모리에 저장될 수 있다.

[0060] 훈련 세트 생성기가 데이터 저장소(109), CAD 서버(110) 또는 임의의 다른 적합한 데이터 저장소로부터 입력 인터페이스(105)를 통해 "실세계" 훈련 샘플들에 대한 데이터(그리고 선택적으로, 지상 검증자료 데이터)를 얻을 수 있다. 대안으로 또는 추가로, 지상 검증자료 데이터는 GUI(108)를 통해 획득될 수 있다.

[0061] 애플리케이션에 따라, "실세계" 훈련 샘플은 동일한 시험 양식에 의해 또는 서로 다른 시험 양식들에 의해 얻어진 시편의 단일 이미지 또는 이미지들의 그룹일 수 있다. "실세계" 훈련 샘플은 예를 들어, 메타데이터, 개발자가 직접 설계한 속성들(예컨대, 결함 크기, 배향, 배경 세그먼트 등) 등과 같은 이미지들과 연관된 수치 데이터를 더 포함할 수 있다. 지상 검증자료 데이터의 값들은 애플리케이션 특정 훈련 샘플들과 연관된 이미지들 및/또는 라벨들을 포함할 수 있다. 지상 검증자료 데이터는 합성하여 생성되거나(예컨대, CAD 기반 이미지들), 실제로 생성되거나(예컨대, 캡처된 이미지들), 기계 학습 애노테이션(annotation)(예컨대, 피처 추출 및 분석을 기반으로 하는 라벨)에 의해 생성되거나, 휴먼 애노테이션에 의해 생성되거나, 이들의 조합 등으로 생성될 수 있다.

[0062] 애플리케이션에 따라, 동일한 이미지가 훈련 샘플에 또는 지상 검증자료 데이터에 사용될 수 있다는 점이 주목된다. 비제한적인 예로서, CAD 기반 이미지는 세그먼테이션 애플리케이션들을 위한 훈련 샘플로서 그리고 회귀 기반 애플리케이션들을 위한 지상 검증자료 데이터로서 사용될 수 있다. 미국 특허출원 제2017/0177997호에 제시된 바와 같이, 지상 검증자료 데이터는 애플리케이션에 따라 달라질 수 있다.

[0063] 증강 이미지 생성기(301)는 "실세계" 훈련 샘플로부터의 하나 이상의 이미지들을 증강함으로써, 증강 이미지들을 도출하도록 구성된다. 잡음 추가, 블러링, 기하 변환(예컨대, 회전, 신축, 서로 다른 각도들의 시뮬레이션, 자르기, 스케일링 등), 톤 매핑, 이미지의 하나 이상의 픽셀들의 벡터 정보의 변경(예컨대, 획득 채널들 또는 원근법들 등의 추가 및/또는 수정) 등을 포함하는 다양한 이미지 처리 기술들에 의해 "실세계" 훈련 샘플로부터의 이미지의 증강이 제공될 수 있다.

[0064] 대안으로 또는 추가로, "실세계" 훈련 샘플로부터의 이미지는 합성 데이터(예컨대, 결함 관련 데이터, 시뮬레이션된 커넥터들 또는 다른 대상들, 다른 이미지들로부터의 이식들 등)를 사용하여 증강될 수 있다. 비제한적인 예로서, 알려진 결함 타입들의 이용 가능한 이미지들(및/또는 파라미터들)은 이미지에 새로운 결함을 심고, 이미지의 기존 결함의 결함 존재를 증폭시키고, 이미지로부터 결함을 제거하고, 이미지에서 결함을 숨기는(검출하기 더 어렵게 함) 등에 사용될 수 있다.

[0065] 예를 들어, 합성 결함을 가진 이미지를 생성하는 것은 다음을 포함할 수 있다:

- CNN DNN(예컨대, Alex-Net 기반 등)을 훈련시키는 것;

- 선택된 결함을 포함하는 제1 이미지를 획득하는 것;

- 선택된 배경을 포함하는 제2 이미지를 획득하는 것;

- 선택된 배경으로의 선택된 결함의 "스타일 전송"을 이행하기 위해, 훈련된 CNN 망을 사용하는 것. 이러한 이행은 예를 들어, https://arxiv.org/pdf/1508.06576.pdf에 개시된 기술을 사용하여 제공될 수 있다.

[0066] 또 대안으로 또는 추가로, "실세계" 훈련 샘플로부터 캡처된 이미지는 세그먼트화, 결함 윤곽 추출 및/또는 높이 맵 계산을 사용하여 증강될 수 있고 그리고/또는 대응하는 CAD 기반 이미지와 함께 처리함으로써 획득될 수 있다.

[0067] 증강 기술들은 애플리케이션 독립 방식으로 "실세계" 훈련 샘플의 이미지(들)에 적용될 수 있다. 대안으로, 증강 훈련 샘플들은 애플리케이션 특정 방식으로 도출될 수 있으며, 여기서 각각의 증강 이미지들 중 적어도 상당 부분은 특정 애플리케이션에 바람직한 기술(들)에 의해 얻어진다. 표 1은 미국 특허출원 제2017/0177997호에 상세히 기술된 바와 같은 애플리케이션 특정 바람직한 증강 기술들의 비제한적인 예들을 예시한다.

표 1. 바람직한 증강 기술들의 애플리케이션 특정 예들

애플리케이션	바람직한 증강 기술들의 비제한적인 예
분류	기하 변환, 톤 매핑, 합성 결함들의 주입, 결함 톤들의 수정
회귀	잡음 추가, 블러링, 톤 매핑
세그먼트화	잡음 추가, 블러링, 톤 매핑, 합성 이미지들
결함 검출	잡음 추가, 블러링, 톤 매핑, 합성 결함들의 주입, 결함 톤들의 수정
등록	기하 변환, 톤 매핑

[0068] 선택적으로, 합성 이미지 생성기(302)에 의해 생성된 합성 이미지들에 증강 기술들이 또한 적용될 수 있고, 출력 모듈(303)에 의해 생성된 훈련 세트는 생성기(302)에 의해 생성되어 생성기(301)에 의해 추가로 증강된 합성 이미지들을 더 포함할 수 있다.

[0069] 합성 이미지 생성기(302)는 자율 보조 DNN(304)을 포함한다. 보조 DNN(304)을 훈련시키고 합성 이미지 생성기(302)를 작동시키는 것이 도 4 - 도 7을 참조하여 추가로 설명된다.

[0070] 도 4를 참조하면, 본원에 개시되는 청구 대상의 특정 실시예들에 따라, 훈련 세트를 생성하는 일반화된 흐름도가 예시된다. 이 방법은: 반도체 제작 프로세스 내에서 주어진 시험 관련 애플리케이션에 특정한 "실세계" 훈련 샘플들을 획득하는 단계(401); 주어진 시험 관련 애플리케이션에 특정한 하나 이상의 합성 이미지들을 생성하기 위해, 획득된 "실세계" 훈련 샘플들을 사용하는 단계(402); 생성된 하나 이상의 합성 이미지들을 주어진 시험 관련 애플리케이션에 특정한 훈련 세트에 포함시키는 단계(404)를 포함한다. 선택적으로, 훈련 세트를 생성하는 것은, 주어진 시험 관련 애플리케이션에 특정한 하나 이상의 증강 이미지들을 생성하기 위해, 획득된 "실세계" 훈련 샘플들을 사용하는 것(403), 및 생성된 증강 이미지들을 훈련 세트에 포함시키는 것을 더 포함할 수 있다.

[0071] 따라서 본원에 개시되는 청구 대상의 특정 실시예들에 따르면, 생성된 훈련 세트 내의 훈련 샘플들의 수는 "실세계" 훈련 샘플들의 수보다 실질적으로 더 클 수 있다. 예를 들어, "실세계" 훈련 샘플들의 세트는 100 내지 50,000개의 훈련 샘플들을 포함할 수 있는 한편, 본원에 개시되는 청구 대상의 특정 실시예들에 따라 생성된 훈련 세트는 적어도 100,000개의 훈련 샘플들을 포함할 수 있다. 이미지들의 캡처는 느린 ― 그리고 가능하게는 비용이 또한 많이 드는 ― 프로세스라는 점이 주목된다. 캡처된 이미지들을 증강시키고 그리고/또는 합성 이미지들을 생성함으로써 훈련 세트에서 충분한 양의 훈련 샘플들을 생성하는 것은 DNN 훈련의 효율을 가능하게 한다.

[0072] 더욱이, 증강 및 합성 이미지 생성 기술들은 생성된 훈련 세트를 특정 애플리케이션의 요건들에 맞게 조정하는 것을 가능하게 한다. 비제한적인 예로서, 특정 클래스의 결함들(예컨대, 소수 클래스)과 관련된 FAB 데이터의 결핍은 각각의 결함들을 나타내는 합성 이미지들에 의해 보상될 수 있다. 추가 비제한적인 예로서, 특정 레이어와 관련된 적절한 FAB 데이터의 결핍은 이 레이어와 관련된 합성 이미지들에 의해 보상될 수 있다. 또 추가 비제한적인 예로서, 특정 결함의 누락 정보를 복구하기 위해 합성 이미지들이 생성될 수 있다. 예를 들어, 결함이 단지 고해상도 이미지만을 누락하고 있었다면, 합성 이미지 생성기는 기존 데이터로 초기화될 수 있고 누락된 고해상도 이미지를 시뮬레이션할 수 있다.

[0073] 단지 예시의 목적으로, 생산적 적대 신경망(GAN) 아키텍처에 기반한 보조 DNN에 관해 다음 설명이 제공된다. 당해 기술분야에서 통상의 지식을 가진 자들은 본원에 개시된 청구 대상의 교시들이 다른 GAN 아키텍처들, 변분(variational) 자동 인코더들에 기초한 아키텍처들 등에 마찬가지로 적용 가능하다는 것을 쉽게 인식할 것이다.

[0074] 도 5를 참조하면, 본원에 개시되는 청구 대상의 특정 실시예들에 따라, 훈련 세트에 대한 합성 이미지들을 생성하는 일반화된 흐름도가 예시된다. 합성 이미지 생성기(302)를 작동시키는 것은 보조 DNN(304)을 훈련시키는 단계 및 런타임 단계를 포함하는 설정 단계를 포함한다.

[0075] 보조 DNN을 훈련시키는 것은 모든 제조 단계들로부터의 모든 타입들의 레이어들/제품들과 관련된 모든 이용 가능한 FAB 데이터(예컨대, CAD 데이터, 고해상도 이미지들, 저해상도 이미지들, 메타데이터, 일반 속성들 등)에 대해 제공될 수 있다는 점이 주목된다. 대안으로, 보조 DNN을 훈련시키는 것은 특정 기준들(예컨대, 라벨링된/라벨링되지 않은/특정 레이어/특정 제품/특정 클래스 등)에 따라 선택된 이용 가능한 FAB 데이터의 일부에 대해 제공될 수 있다. 선택적으로, 보조 DNN은 가능하게는 FAB와 관련이 없는 다른 데이터 세트에 대해 대략적으로 훈련될 수 있으며, 특정 기준들에 따라 선택된 모든 이용 가능한 FAB 데이터 또는 그 일부에 걸쳐 특정 시험 관련 애플리케이션에 대해 더 세밀하게 훈련될 수 있다. 추가로 또는 대안으로, 보조 DNN은 입력 데이터의 텍스트 설명(예컨대, 수평선들의 배경을 갖는 입자 등)을 사용하여 훈련될 수 있다.

[0076] 런타임 동안, 합성 이미지를 산출하기 위해, 합성 이미지 생성기가 훈련된 보조 DNN을 생성된 잠재 공간에서 선택된 임의의 지점에 적용한다(502). 생성된 합성 이미지들은 클라이언트(사람 또는 컴퓨터화된 애플리케이션)에 추가로 제시되어 훈련 세트에 이미지를 포함시키기로 결정할 수 있다.

[0077] 선택적으로, 보조 훈련 세트를 선택함으로써, 보조 DNN(304)은 주어진 시험 관련 애플리케이션에 대해 훈련될 수 있고, 생성된 잠재 공간은 각각의 애플리케이션에 맞게 조정될 수 있다(예컨대, 채워질 특정 결함 타입 및/또는 색상 변화 잡음, 충전 잡음 등과 같은 일부 사전 정의된 특성들을 갖는 특정 레이어 배경에 맞게 조정질 수 있다).

[0078] 도 6을 참조하면, 본원에 개시되는 청구 대상의 특정 실시예들에 따라, 합성 이미지 생성기를 훈련시키는 일반화된 논리도가 예시된다.

[0079] 보조 DNN(304)은 생성기(601) 및 판별기(602)를 포함한다. 선택적으로, 생성기(601)와 판별기(602)는 모두 CNN들로서 구성될 수 있다.

[0080] 훈련시, 잠재 공간(603)은 유사한 잠재 특징들이 서로 더 근접하게 매핑되게, 관측된 데이터(실세계 이미지 데이터베이스(606)에 저장된 FAB 데이터 또는 그 일부)를 매우 고차원의 추상 초평면(Z-공간)에 매핑하는 것을 나타낼 것이다. 훈련 전에, 초평면은 랜덤 변수들을 나타낸다. 훈련 동안, 생성기(601)는 초평면으로부터 변수를 수신하고 샘플(604)을 생성한다. "실세계" 샘플(605) 및 생성된 샘플(604)의 수신시, 판별기(602)는 수신된 샘플들 간에 구별하고 생성기(601)에 피드백을 제공한다. 훈련 프로세스는 판별기(602)가 "실세계" 샘플과 생성된 샘플들 간에 구별할 수 없을 때 종료된다. 이 훈련 프로세스 동안, 보조 DNN(304)은 초평면을 이미지 공간에 매핑함으로써, 모든 각각의 좌표가 이미지와 매칭되는 잠재 공간을 생성한다.

따라서 보조 DNN을 훈련시키는 것은: a) 생성기에 의해 생성된 샘플 및 "실세계" 샘플을 판별기에 의해 수신하는 것; b) 판별기에 의해, 수신된 샘플들 간에 구별하고 생성기에 피드백을 제공하는 것; 그리고 c) "실세계" 및 생성된 샘플들이 판별기에 의해 구별 가능하지 않을 때까지 동작 a) 및 동작 b)를 반복하는 것을 포함한다.

도 7은 결함 분류를 위한 합성 훈련 샘플들을 생성하기 위해 상기 프로세스를 구현하는 일반화된 흐름도를 예시한다. 이러한 합성 훈련 샘플들을 생성하는 것은: 합성 이미지들에 제시될 결함들의 클래스(예컨대, 소수 클래스들)의 사용자의 요건들을 수신하는 것(701); 변분 자동 인코더로서 구성된 보조 DNN을 훈련시키기 위해 FAB에서 이용 가능한 데이터의 적어도 일부(또는 선택적으로, 라벨링된 이미지들만)를 포함하는 보조 훈련 세트를 사용하는 것(702); k-평균으로 잠재 공간에서, 요구되는 클래스에 대응하는 하나 이상의 클러스터들을 식별하는 것(703); 그리고 식별된 클러스터들에 따라 잠재 공간에서 포인트들을 선택함으로써, 요구되는 클래스에 대응하는 결함들을 갖는 합성 이미지들을 생성하는 것(704)을 포함한다.

[0081] 본 발명은 본 명세서에 포함되거나 도면들에 예시된 설명에 제시된 세부사항들에 대한 본 발명의 적용에 제한되지 않는 것으로 이해되어야 한다.

[0082] 본 발명에 따른 시스템은 적어도 부분적으로는 적절하게 프로그래밍된 컴퓨터 상에서 구현될 수 있다고 또한 이해될 것이다. 마찬가지로, 본 발명은 본 발명의 방법을 실행하기 위해 컴퓨터에 의해 판독 가능한 컴퓨터 프로그램을 고려한다. 본 발명은 본 발명의 방법을 실행하기 위해 컴퓨터에 의해 실행 가능한 명령들의 프로그램을 유형적으로 포함하는 비-일시적 컴퓨터 판독 가능 메모리를 추가로 고려한다.

[0083] 본 발명은 다른 실시예들이 가능하고 다양한 방식들로 실시 및 실행될 수 있다. 그러므로 본 명세서에서 이용된 어구 및 용어는 설명을 위한 것이며 제한으로 간주되지 않아야 한다고 이해되어야 한다. 이에 따라, 당해 기술분야에서 통상의 지식을 가진 자들은 본 개시내용이 기반으로 하는 개념이 본원에 개시된 청구 대상의 여러 목적들을 실행하기 위한 다른 구조들, 방법들 및 시스템들을 설계하기 위한 기초로서 쉽게 이용될 수 있다고 인식할 것이다.

[0084] 당해 기술분야에서 통상의 지식을 가진 자들은 첨부된 청구항들에 그리고 그러한 청구항들에 의해 정의된 본 발명의 범위를 벗어나지 않고 이전에 설명된 바와 같이 본 발명의 실시예들에 다양한 수정들 및 변경들이 적용될 수 있음을 쉽게 인식할 것이다.

Claims

반도체 시편(specimen)의 결함들을 분류하기 위해 사용 가능한 훈련 세트를 생성하는 방법으로서,
상기 방법은 컴퓨터에 의해 실행되고,
상기 방법은,
결함들을 분류하기 위해 사용 가능한 합성 이미지를 생성하는 단계; 및
상기 생성된 합성 이미지를 상기 훈련 세트에 포함시키는 단계를 포함하며,
상기 합성 이미지를 생성하는 단계는,
보조 DNN을 훈련시키기 위해 "실세계" 훈련 샘플들을 사용하는 단계 ― 상기 보조 DNN은 잠재 공간에서 클러스터들을 획득하도록 훈련됨 ―;
상기 잠재 공간에서, 상기 합성 이미지에 제시될 결함의 클래스의 사용자 지정 요건들에 대응하는 하나 이상의 클러스터들을 식별하는 단계;
상기 식별된 하나 이상의 클러스터들에 따라 상기 잠재 공간에서 선택된 포인트에 상기 훈련된 보조 DNN을 적용함으로써 상기 합성 이미지를 생성하기 위해 상기 식별된 하나 이상의 클러스터들을 사용하고, 이로써 요구되는 클래스에 대응하는 결함을 갖는 합성 이미지를 생성하는 단계를 포함하는,
반도체 시편의 결함들을 분류하기 위해 사용 가능한 훈련 세트를 생성하는 방법.
제1 항에 있어서,
상기 보조 DNN을 훈련시키는 것은, 모든 이용 가능한 FAB 데이터를 사용하여 제공되는,
반도체 시편의 결함들을 분류하기 위해 사용 가능한 훈련 세트를 생성하는 방법.
제1 항에 있어서,
상기 보조 DNN은 GAN 아키텍처에 따라 구성되는,
반도체 시편의 결함들을 분류하기 위해 사용 가능한 훈련 세트를 생성하는 방법.
제1 항에 있어서,
상기 보조 DNN은 변분(variational) 자동 인코더 아키텍처에 따라 구성되는,
반도체 시편의 결함들을 분류하기 위해 사용 가능한 훈련 세트를 생성하는 방법.
제1 항에 있어서,
상기 보조 DNN은 생성기 및 판별기를 포함하고,
상기 보조 DNN을 훈련시키는 것은,
a. 상기 생성기에 의해 생성된 샘플 및 "실세계" 샘플을 상기 판별기에 의해 수신하는 것;
b. 상기 판별기에 의해, 상기 수신된 샘플들 간에 구별하고 상기 생성기에 피드백을 제공하는 것;
c. 상기 "실세계" 및 생성된 샘플들이 상기 판별기에 의해 구별 가능하지 않을 때까지 동작 a) 및 동작 b)를 반복하는 것을 포함하는,
반도체 시편의 결함들을 분류하기 위해 사용 가능한 훈련 세트를 생성하는 방법.
반도체 시편의 결함들을 분류하기 위해 사용 가능한 훈련 세트를 생성하기 위한 시스템으로서,
상기 시스템은 처리 및 메모리 회로(PMB: processing and memory circuitry)를 포함하며,
상기 PMB는,
결함들을 분류하기 위해 사용 가능한 합성 이미지를 생성하고; 그리고
상기 생성된 합성 이미지를 상기 훈련 세트에 포함시키도록 구성되고,
상기 합성 이미지를 생성하는 것은,
잠재 공간에서 클러스터들을 획득하도록 보조 DNN을 훈련시키기 위해 "실세계" 훈련 샘플들을 사용하는 것;
상기 잠재 공간에서, 상기 합성 이미지에 제시될 결함의 클래스의 사용자 지정 요건들에 대응하는 하나 이상의 클러스터들을 식별하는 것; 그리고
상기 식별된 하나 이상의 클러스터들에 따라 상기 잠재 공간에서 선택된 포인트에 상기 훈련된 보조 DNN을 적용함으로써 상기 합성 이미지를 생성하기 위해 상기 식별된 하나 이상의 클러스터들을 사용하고, 이로써 요구되는 클래스에 대응하는 결함들을 갖는 합성 이미지를 생성하는 것을 포함하는,
반도체 시편의 결함들을 분류하기 위해 사용 가능한 훈련 세트를 생성하기 위한 시스템.
제6 항에 있어서,
상기 보조 DNN을 훈련시키는 것은, 모든 이용 가능한 FAB 데이터를 사용하여 제공되는,
반도체 시편의 결함들을 분류하기 위해 사용 가능한 훈련 세트를 생성하기 위한 시스템.
제6 항에 있어서,
상기 보조 DNN은 GAN 아키텍처에 따라 구성되는,
반도체 시편의 결함들을 분류하기 위해 사용 가능한 훈련 세트를 생성하기 위한 시스템.
제6 항에 있어서,
상기 보조 DNN은 변분 자동 인코더 아키텍처에 따라 구성되는,
반도체 시편의 결함들을 분류하기 위해 사용 가능한 훈련 세트를 생성하기 위한 시스템.
제6 항에 있어서,
상기 보조 DNN은 생성기 및 판별기를 포함하고,
상기 보조 DNN을 훈련시키는 것은,
a. 상기 생성기에 의해 생성된 샘플 및 "실세계" 샘플을 상기 판별기에 의해 수신하는 것;
b. 상기 판별기에 의해, 상기 수신된 샘플들 간에 구별하고 상기 생성기에 피드백을 제공하는 것;
c. 상기 "실세계" 및 생성된 샘플들이 상기 판별기에 의해 구별 가능하지 않을 때까지 동작 a) 및 동작 b)를 반복하는 것을 포함하는,
반도체 시편의 결함들을 분류하기 위해 사용 가능한 훈련 세트를 생성하기 위한 시스템.
컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 반도체 시편의 결함들을 분류하기 위해 사용 가능한 훈련 세트를 생성하는 것을 수행하게 하는 명령들을 포함하는 비-일시적 컴퓨터 판독 가능 매체로서,
상기 훈련 세트를 생성하는 것은,
결함들을 분류하기 위해 사용 가능한 합성 이미지를 생성하는 것; 그리고
상기 생성된 합성 이미지를 상기 훈련 세트에 포함시키는 것을 포함하며,
상기 합성 이미지를 생성하는 것은,
보조 DNN을 훈련시키기 위해 "실세계" 훈련 샘플들을 사용하는 것 ― 상기 보조 DNN은 잠재 공간에서 클러스터들을 획득하도록 훈련됨 ―;
상기 잠재 공간에서, 상기 합성 이미지에 제시될 결함의 클래스의 사용자 지정 요건들에 대응하는 하나 이상의 클러스터들을 식별하는 것;
상기 식별된 하나 이상의 클러스터들에 따라 상기 잠재 공간에서 선택된 포인트에 상기 훈련된 보조 DNN을 적용함으로써 상기 합성 이미지를 생성하기 위해 상기 식별된 하나 이상의 클러스터들을 사용하고, 이로써 요구되는 클래스에 대응하는 결함을 갖는 합성 이미지를 생성하는 것을 포함하는,
비-일시적 컴퓨터 판독 가능 매체.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제