KR20200123858A - 합성 이미지를 사용한 머신 러닝 모델 트레이닝 - Google Patents

합성 이미지를 사용한 머신 러닝 모델 트레이닝 Download PDF

Info

Publication number
KR20200123858A
KR20200123858A KR1020207030169A KR20207030169A KR20200123858A KR 20200123858 A KR20200123858 A KR 20200123858A KR 1020207030169 A KR1020207030169 A KR 1020207030169A KR 20207030169 A KR20207030169 A KR 20207030169A KR 20200123858 A KR20200123858 A KR 20200123858A
Authority
KR
South Korea
Prior art keywords
image
specimen
images
machine learning
learning model
Prior art date
Application number
KR1020207030169A
Other languages
English (en)
Inventor
이안 라일리
리 헤
산카르 벤카타라만
마이클 코왈스키
아르준 헷지
Original Assignee
케이엘에이 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 케이엘에이 코포레이션 filed Critical 케이엘에이 코포레이션
Publication of KR20200123858A publication Critical patent/KR20200123858A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

합성 결함 이미지를 사용하여 머신 러닝 모델을 트레이닝하는 방법 및 시스템이 제공된다. 하나의 시스템은 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 컴포넌트를 포함한다. 하나 이상의 컴포넌트는 시편에 대한 하나 이상의 이미지 및 이미지 편집 도구를 사용자에게 디스플레이하고, 이미지 편집 도구 중 하나 이상을 사용하여 이미지 중 적어도 하나에 대한 하나 이상의 변경을 포함하는 입력을 사용자로부터 수신하도록 구성된 그래픽 사용자 인터페이스(graphical user interface; GUI)를 포함한다. 컴포넌트(들)는 또한 변경(들)을 적어도 하나의 이미지에 적용하여 적어도 하나의 수정된 이미지를 생성하고 적어도 하나의 수정된 이미지를 트레이닝 세트에 저장하도록 구성된 이미지 프로세싱 모듈을 포함한다. 컴퓨터 서브시스템(들)은, 적어도 하나의 수정된 이미지가 저장되는 트레이닝 세트를 사용해 머신 러닝 모델을 트레이닝하도록 구성된다.

Description

합성 이미지를 사용한 머신 러닝 모델 트레이닝
본 발명은 일반적으로 하나 이상의 합성 이미지를 사용하여 머신 러닝 모델을 트레이닝하도록 구성된 방법 및 시스템에 관한 것이다.
이하의 설명 및 예는 이 섹션에서 이들의 포함에 의해 종래 기술인 것으로 인정되는 것은 아니다.
로직 및 메모리 디바이스들과 같은 반도체 디바이스들을 제조하는 것은, 통상적으로 다수의 반도체 제조 프로세스들을 사용하여 반도체 웨이퍼와 같은 기판을 프로세싱하여 반도체 디바이스들의 다양한 피처들(features) 및 다중 레벨들(multiple levels)을 형성하는 것을 포함한다. 예를 들어, 리소그래피는 레티클(reticle)로부터 반도체 웨이퍼 상에 배치된 레지스트로 패턴을 전사하는 것을 수반하는 반도체 제조 프로세스이다. 반도체 제조 프로세스의 추가적인 예는 화학 기계적 연마(chemical-mechanical polishing; CMP), 에칭, 퇴적, 및 이온 주입을 포함하지만, 이들로 한정되지는 않는다. 복수의 반도체 디바이스가 단일 반도체 웨이퍼 상의 배열(arrangement) 내에서 제조된 후 개개의 반도체 디바이스로 분리될 수 있다.
검사 프로세스는 반도체 제조 프로세스에 있어서 더 높은 수율 및 따라서 더 높은 이익을 얻도록 시편(specimens) 상의 결함을 검출하기 위해 반도체 제조 프로세스 중에 다양한 단계에서 사용된다. 검사는 항상 반도체 디바이스를 제조하는 중요한 부분이 되어 왔다. 그러나, 반도체 디바이스의 치수가 감소함에 따라, 검사는 더 작은 결함이 디바이스를 고장 나게 할 수 있기 때문에 허용 가능한 반도체 디바이스의 성공적인 제조에 더욱 더 중요해지고 있다.
결함 검토는 일반적으로 검사 프로세스에 의해 결함이라고 검출된 결함을 다시 검출하고 고배율 광학 시스템 또는 주사 전자 현미경(scanning electron microscope; SEM)을 사용하여 더 높은 해상도에서 결함에 대한 추가 정보를 생성하는 것을 수반한다. 따라서 결함 검토는 검사에 의해 결함이 검출된 시편 상의 이산 위치(discrete locations)에서 수행된다. 결함 검토에 의해 생성된 결함에 대한 더 높은 해상도의 데이터는 프로파일, 거칠기, 보다 정확한 크기 정보 등과 같은 결함의 속성을 결정하는 데 더 적합하다. 결함은 일반적으로 검사와 비교하여 결함 검토에 의해 결정된 정보에 기초해 결함 유형으로 더 정확하게 분류될 수 있다.
심층 러닝(deep learning)의 발전으로 심층 러닝은 결함 검출 및 분류에 사용하기 위한 매력적인 프레임워크(framework)가 되었다. 분류를 위해 트레이닝에서 사용자는 결함 이미지에 라벨(label)을 할당할 수 있다. 생산 중(트레이닝 후) 결함 이미지를 심층 러닝 모델에 대한 입력으로 사용하면, 심층 러닝 모델은 이미지 분류와 연관된 이미지 분류 및 신뢰도를 출력할 것이다. 검출을 위해, 사용자는 픽셀 레벨 라벨을 결함 이미지(일반적으로 다중 클래스의 결함 이미지)에 할당할 수 있다. 픽셀 레벨 라벨 및 결함 이미지는 결함 분류를 위해 트레이닝되는 심층 러닝 모델과는 다를 수 있는 결함 검출 심층 러닝 모델을 트레이닝하는 데 사용된다. 즉, 검출 심층 러닝 모델과 분류 심층 러닝 모델은 상호 배타적일 수 있다. 검출 심층 러닝 모델로부터의 출력(블롭(blobs)) 및 블롭 레벨 라벨들은 분류 심층 러닝 모델을 트레이닝하는데 사용될 수 있다. 생산 중(검출 심층 러닝 모델의 트레이닝 후), 결함 이미지는 블롭을 출력하는 검출 심층 러닝 모델에 입력되고 분류 심층 러닝 모델은 블롭 별 분류 및 연관 신뢰도를 출력한다.
그러나 위에서 설명된 현재 사용되는 방법 및 시스템에는 여러 가지 단점이 있다. 예를 들어, 현재 분류기는 기존 결함 사례에 대해서만 트레이닝된다. 이러한 트레이닝은 적어도 3개의 중요한 단점을 갖는다. 첫째로 그리고 가장 중요하게, 관심 결함(DOI) 예시 없이 검출/분류 모델을 트레이닝하는 것은 불가능하다. 둘째, 사용자가 트레이닝할 소수의 DOI 예시를 수집하더라도, 트레이닝된 모델이 DOI를 올바르게 포착(capture)하고 분류하는 능력은 이전에 발견된 이 예 세트의 크기, 품질 및 분산에 완전히 의존한다. 이 데이터는 수집하기 어렵기 때문에, 트레이닝 세트는 양호한 모델(good model)을 트레이닝시키기에는 너무 소수의 예를 종종 포함한다. 트레이닝 세트가 주어진 결함의 많은 예들을 포함하는 경우에도, 예들은 특정 결함이 가질 수 있는 외관들의 전체 범위를 커버하지 않을 수 있고 결과적인 분류기는 표현되지 않는(unrepresented) 변형들을 누락할(miss) 것이다. 셋째, 트레이닝 세트를 컴파일하는 것은 사소하지 않고 인간 에러가 발생하기 쉽다. 웨이퍼 또는 다른 시편의 이미지는 결함을 위해 시각적으로 코밍되어야(combed) 하고 클래스 라벨로 주석이 달려야 한다. 결함이 종종 희소(sparse)하기 때문에, 단일 결함을 발견하기 위해 수동으로 스캐닝되어야 할 수 있는 이미지의 수는 일반적으로 그러한 수동 결함 검출을 비실용적으로 만든다.
이에 따라, 전술된 단점들 중 하나 이상을 갖지 않는 머신 러닝 모델을 트레이닝하기 위한 시스템 및 방법을 개발하는 것이 유리할 것이다.
다양한 실시예의 이하의 설명은 결코 첨부된 청구항들의 요지를 한정하는 것으로서 해석되어서는 안된다.
일 실시예는 머신 러닝 모델을 트레이닝하도록 구성된 시스템에 관한 것이다. 시스템은 하나 이상의 컴퓨터 서브시스템 및 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 컴포넌트를 포함한다. 하나 이상의 컴포넌트는 시편에 대한 하나 이상의 이미지 및 이미지 편집 도구를 사용자에게 디스플레이하도록 구성된 그래픽 사용자 인터페이스(graphical user interface; GUI)를 포함한다. GUI는 또한 사용자로부터 입력을 수신하도록 구성되며, 이는 하나 이상의 이미지 편집 도구를 사용하여 하나 이상의 이미지 중 적어도 하나에 대한 하나 이상의 변경을 포함한다. 컴포넌트(들)는, 하나 이상의 이미지 중 적어도 하나에 하나 이상의 변경을 적용하여 적어도 하나의 수정된 이미지를 생성하고, 적어도 하나의 수정된 이미지를 트레이닝 세트에 저장하도록 구성된 이미지 프로세싱 모듈을 또한 포함한다. 컴포넌트(들)는, 이미징 서브시스템에 의해 시편에 대해 생성된 이미지를 사용하여 시편에 대한 하나 이상의 기능을 수행하도록 구성된 머신 러닝 모델을 더 포함한다. 컴퓨터 서브시스템(들)은, 적어도 하나의 수정된 이미지가 저장되는 트레이닝 세트를 사용해 머신 러닝 모델을 트레이닝하도록 구성된다. 이 시스템은 본 명세서에 설명된 바와 같이 또한 구성될 수도 있다.
또 다른 실시예는 머신 러닝 모델을 트레이닝하기 위한 컴퓨터 구현 방법에 관한 것이다. 방법은 GUI를 사용하여 사용자에게 시편에 대한 하나 이상의 이미지 및 이미지 편집 도구를 디스플레이하고 GUI를 통해 사용자로부터 입력을 수신하는 단계를 포함한다. 입력은 이미지 편집 도구 중 하나 이상을 사용하여 하나 이상의 이미지 중 적어도 하나에 대한 하나 이상의 변경을 포함한다. 방법은 또한 하나 이상의 이미지 중 적어도 하나에 하나 이상의 변경을 적용하여 적어도 하나의 수정된 이미지를 생성하는 단계를 포함한다. 또한, 방법은 트레이닝 세트에 적어도 하나의 수정된 이미지를 저장하는 단계를 포함한다. 적용 및 저장은 이미지 프로세싱 모듈에 의해 수행된다. 방법은 적어도 하나의 수정된 이미지가 저장되는 트레이닝 세트를 사용해 머신 러닝 모델을 트레이닝하는 단계를 더 포함한다. 머신 러닝 모델은, 이미징 서브시스템에 의해 시편에 대해 생성된 이미지를 사용하여 시편에 대한 하나 이상의 기능을 수행하도록 구성된다. GUI, 이미지 프로세싱 모듈 및 머신 러닝 모델은 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 컴포넌트에 포함된다. 트레이닝은 하나 이상의 컴퓨터 서브시스템에서 수행된다.
전술한 방법의 단계들 각각은 본원에서 설명된 바와 같이 또한 수행될 수 있다. 게다가, 상술한 방법은 본 명세서에서 설명된 임의의 다른 방법(들) 중 임의의 다른 단계(들)를 포함할 수 있다. 더욱이, 방법은 본 명세서에서 설명된 시스템 중 어느 하나에 의해 수행될 수 있다.
또 다른 실시예는, 머신 러닝 모델을 트레이닝하기 위한 컴퓨터 구현 방법을 수행하기 위해 하나 이상의 컴퓨터 시스템에서 실행 가능한 프로그램 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체에 관한 것이다. 컴퓨터 구현 방법은 전술된 방법의 단계들을 포함한다. 컴퓨터 판독 가능 매체는 본 명세서에 설명된 바와 같이 또한 구성될 수 있다. 컴퓨터 구현 방법의 단계들은 본 명세서에 또한 설명된 바와 같이 수행될 수 있다. 게다가, 프로그램 명령이 실행 가능한 컴퓨터 구현 방법은 본 명세서에 설명된 임의의 다른 방법(들)의 임의의 다른 단계(들)를 포함할 수 있다.
본 발명의 다른 장점은 첨부 도면을 참조하여 바람직한 실시예의 이하의 상세한 설명의 이익을 갖는 당 기술 분야의 숙련자들에게 명백해질 것이다.
도 1 및 1a는 본 명세서에 설명된 바와 같이 구성된 시스템의 실시예의 측면도를 예시하는 개략도이다.
도 2는 여기에 설명된 실시예들에 포함될 수 있는 그래픽 사용자 인터페이스(GUI)의 일 실시예를 예시하는 개략도이다.
도 3 내지 5 및 7은 여기에 설명된 실시예에 의해 수행될 수 있는 다양한 단계의 실시예를 예시하는 흐름도이다.
도 6은, 여기에 설명된 실시예를 사용하여 생성될 수 있는 합성 이미지의 예와, 여기에 설명된 대로 트레이닝된 머신 러닝 모델에 의해 결함이 검출된 시편의 이미지의 예를 포함한다.
도 8은 하나 이상의 컴퓨터 시스템이 본 명세서에 설명된 컴퓨터 구현 방법을 수행하게 하기 위한 프로그램 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체의 일 실시예를 예시하고 있는 블록도이다.
본 발명이 다양한 수정 및 대안적인 형태가 가능하지만, 그 특정 실시예가 도면에 예로서 도시되어 있고, 본 명세서에 상세히 설명된다. 도면은 실제 축적대로 도시되어 있지 않을 수도 있다. 그러나, 도면 및 그 상세한 설명은 개시된 특정 형태에 본 발명을 한정하도록 의도된 것은 아니고, 반대로, 의도는 첨부된 청구항들에 의해 규정된 바와 같은 본 발명의 사상 및 범주 내에 있는 모든 수정, 등가물 및 대안을 커버하기 위한 것이라는 것이 이해되어야 한다.
본 명세서에서 상호교환적으로 사용되는 "설계" 및 "설계 데이터", 및 “설계 정보"라는 용어는 일반적으로 복잡한 시뮬레이션 또는 간단한 기하학적 및 부울 연산을 통해 물리적 설계로부터 파생된 IC 및 데이터의 물리적 설계(레이아웃)를 의미한다. 또한, 레티클 검사 시스템 및/또는 이들의 파생물(derivatives)에 의해 획득된 레티클의 이미지가 설계를 위한 "프록시(proxy)" 또는 "프록시들"로서 사용될 수 있다. 이러한 레티클 이미지 또는 그 파생물은 설계를 사용하는 본 명세서에 설명된 임의의 실시예에서 설계 레이아웃에 대한 치환물(substitutes)로서 기능할 수 있다. 설계는 Zafar 등의 2009년 8월 4일에 발행된 공동 소유된(commonly owned) 미국 특허 제7,570,796호, 및 Kulkarni 등의 2010년 3월 9일에 발행된 미국 특허 제7,676,077호에 설명된 임의의 다른 설계 데이터 또는 설계 데이터 프록시(design data proxies)를 포함할 수도 있는 데, 이들 미국 특허 모두는 본 명세서에 완전히 설명된 것처럼 참조로서 합체되어 있다. 또한, 설계 데이터는 표준 셀 라이브러리 데이터, 통합 레이아웃 데이터, 하나 이상의 층들에 대한 설계 데이터, 설계 데이터의 파생물 및 전체 또는 부분 칩 설계 데이터일 수 있다.
또한, 본 명세서에 설명된 "설계", "설계 데이터", 및 “설계 정보"는 반도체 디바이스 설계자가 설계 프로세스에서 생성하는 정보 및 데이터를 지칭하며, 따라서 레티클 및 웨이퍼와 같은 임의의 물리적 시편들 상에 설계를 인쇄하기에 앞서 본 명세서에 설명된 실시예들에 사용할 수 있다.
본 명세서에서 정의된 용어 "뉴슨스(nuisances)"는 사용자가 신경 쓰지 않는 결함 및/또는 결함이라고 검출되지만 실제로는 결함이 아닌 결함이다. 결함이라고 검출될지라도 실제로 결함이 아닌 뉴슨스는, 시편 상의 비결함(non-defect) 노이즈 소스(예를 들면, 라인 에지 거칠기(line edge roughness; LER), 패터닝된 피처의 상대적으로 작은 임계 치수(critical dimension; CD) 변동, 두께 변동 등)로 인해 그리고/또는 검사 시스템 자체 또는 검사에 사용된 구성의 한계(marginalities)로 인해 검출될 수 있다. 따라서 일반적으로 검사의 목표는 웨이퍼와 같은 시편 상의 뉴슨스 결함을 검출하는 것이 아니다.
이제, 도면을 참조하면, 도면은 실제 축적대로 도시되어 있는 것은 아니라는 것이 주목된다. 특히 도면의 요소의 일부의 축적은 요소의 특성을 강조하기 위해 상당히 과장되어 있다. 도면은 동일한 축적으로 도시되어 있지는 않다는 것이 또한 주목된다. 유사하게 구성될 수도 있는 하나 초과의 도면에 도시되어 있는 요소는 동일한 도면 부호를 사용하여 표시되어 있다. 본 명세서에 달리 지시되지 않으면, 설명되고 도시되어 있는 임의의 요소는 임의의 적합한 상업적으로 입수 가능한 요소를 포함할 수 있다.
일 실시예는 머신 러닝 모델을 트레이닝하도록 구성된 시스템에 관한 것이다. 일반적으로, 본 명세서에 설명된 실시예는 합성 데이터를 사용하여 학습 기반 결함 검출 및 분류를 개선하도록 구성된다. 현재, 자동 결함 검출은 이전에 식별된 예로부터 결함을 발견하고 분류하기 위해 학습하는 트레이닝된 머신 러닝 모델에 의존한다. 그러나 관심 결함(DOI)의 기존 인스턴스는 종종 부족하거나 없다. 본 명세서에 설명된 실시예는 예시적인 DOI가 존재하지 않는 경우에도 모델 트레이닝을 가능하게 하고 결함 외관(defect appearance)에 대한 사용자 지식을 활용하여(leverage) 알려진 DOI 인스턴스가 소수일(few in number) 때 모델 성능을 증가시킨다. 본 명세서에 설명된 실시예는 본 명세서에서 추가로 설명되는 바와 같이, 사용자가 이미지 편집 도구를 사용하여 이미지에 합성 결함을 추가하고, 결과 이미지에 대해 분류기(classifier)를 트레이닝하고, 이미지에 대한 분류기 추론의 결과를 볼 수 있도록 유리하게 구성될 수 있다.
머신 러닝 모델을 트레이닝하도록 구성된 시스템의 일 실시예가 도 1에 도시된다. 시스템은 하나 이상의 컴퓨터 서브시스템(예를 들어, 컴퓨터 서브시스템(36) 및 컴퓨터 서브시스템(들)(102)) 및 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 컴포넌트(100)를 포함한다. 일부 실시예에서, 시스템은 시편의 이미지를 생성하도록 구성된 이미징 시스템(또는 서브시스템)(10)을 포함한다. 도 1의 실시예에서, 이미징 서브시스템은 시편으로부터 광을 검출하여 시편에 대한 이미지를 생성하면서, 시편의 물리적 버전(physical version) 위로 광을 스캔하거나 광을 이에 지향시키기 위해 구성된다. 이미징 서브시스템은 또한 다중 모드로 스캐닝(또는 지향) 및 검출을 수행하도록 구성될 수 있다.
일 실시예에서, 시편은 웨이퍼이다. 웨이퍼는 당업계에 공지된 임의의 웨이퍼를 포함할 수 있다. 또다른 실시예에서, 시편은 레티클이다. 웨이퍼는 당업계에 공지된 임의의 레티클을 포함할 수 있다.
일 실시예에서, 이미징 서브시스템은 광학 기반 이미징 서브시스템으로서 구성된다. 도 1에 도시된 시스템의 실시예에서, 광학 기반 이미징 서브시스템(10)은 광을 시편(14)으로 지향시키도록 구성된 조명 서브시스템을 포함한다. 조명 서브시스템은 적어도 하나의 광원을 포함한다. 예를 들어, 도 1에 도시된 바와 같이, 조명 서브시스템은 광원(16)을 포함한다. 조명 서브시스템은 하나 이상의 경사각 및/또는 하나 이상의 수직각을 포함할 수 있는 하나 이상의 입사각으로 광을 웨이퍼에 지향시키도록 구성될 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 광원(16)으로부터의 광은 광학 소자(18)를 거친 다음 렌즈(20)를 통해 경사 입사각으로 시편(21)으로 지향된다. 입사각은 임의의 적절한 경사 입사각을 포함할 수 있으며, 이는 예를 들어, 시편의 특성들에 따라 달라질 수 있다.
이미징 서브시스템은 상이한 시간에 상이한 입사각으로 광을 시편으로 지향시키도록 구성될 수 있다. 예를 들어, 이미징 서브시스템은 광이 도 1에 도시된 것과는 상이한 입사각으로 시편에 지향될 수 있도록 조명 서브시스템의 하나 이상의 소자들의 하나 이상의 특성을 변경하도록 구성될 수 있다. 하나의 이러한 예시에서, 이미징 서브시스템은, 광이 상이한 경사 입사각 또한 수직(또는 거의 수직) 입사각으로 시편으로 지향되도록 광원(16), 광학 소자(18), 및 렌즈(20)를 이동시키도록 구성될 수 있다.
경우에 따라, 이미징 서브시스템은 동시에 하나 보다 많은 입사각에서 광을 시편으로 지향하도록 구성될 수 있다. 예를 들어, 조명 서브시스템은 하나 이상의 조명 채널을 포함할 수 있고, 조명 채널들 중 하나는 도 1에 도시된 바와 같이 광원(16), 광학 소자(18) 및 렌즈(20)를 포함할 수 있으며, 조명 채널들(도시되지 않음) 중 또다른 하나는 상이하거나 또는 동일하게 구성될 수 있는 유사한 소자들을 포함할 수 있거나, 또는 적어도 광원 및 가능하게는 본 명세서에 추가로 설명된 것과 같은 하나 이상의 다른 컴포넌트를 포함할 수 있다. 이러한 광이 다른 광과 동시에 시편으로 지향되면, 상이한 입사각들에서 시편으로 지향되는 광의 하나 이상의 특성(예를 들어, 파장, 편광 등)은, 상이한 입사각들에서 시편의 조명으로부터의 발생되는 광이 검출기(들)에서 서로 구별될 수 있도록 상이할 수 있다.
또 다른 예에서, 조명 서브시스템은 단지 하나의 광원(예를 들어, 도 1에 도시된 소스(16))을 포함할 수 있으며, 광원으로부터의 광은 조명 서브시스템의 하나 이상의 광학 소자(도시되지 않음)에 의해 (예를 들어, 파장, 편광 등에 기초하여) 상이한 광학 경로들로 분리될 수 있다. 그런 다음, 상이한 광학 경로들 각각의 광은 시편으로 지향될 수 있다. 다수의 조명 채널들은 동일한 시간 또는 상이한 시간들에(예를 들어, 상이한 조명 채널들이 순차적으로 시편을 조명하는데 사용되는 경우) 시편에 광을 지향시키도록 구성될 수 있다. 또다른 예에서, 동일한 조명 채널은 상이한 시간에 상이한 특성들을 갖는 광을 시편에 지향시키도록 구성될 수 있다. 예를 들어, 일부 예들에서, 광학 소자(18)는 스펙트럼 필터로서 구성될 수 있으며, 스펙트럼 필터의 특성들은 광의 상이한 파장들이 상이한 시간에 시편으로 지향될 수 있도록 다양한 상이한 방식으로 (예를 들어, 스펙트럼 필터를 교환함으로써) 변화될 수 있다. 조명 서브시스템은 상이하거나 또는 동일한 특성들을 갖는 광을 상이하거나 또는 동일한 입사각으로 순차적으로 또는 동시에 시편으로 지향시키기 위해 당업계에 공지된 임의의 다른 적절한 구성을 가질 수 있다.
일 실시예에서, 광원(16)은 광대역 플라즈마(broadband plasma; BBP) 광원이다. 이러한 방식으로, 광원에 의해 생성되고 시편으로 지향되는 광은 광대역 광을 포함할 수 있다. 그러나, 광원은 당업계에 공지된 임의의 적절한 레이저를 포함할 수 있고 당업계에 공지된 임의의 적절한 파장(들)에서 광을 생성하도록 구성될 수 있는 레이저와 같은 임의의 다른 적절한 광원을 포함할 수 있다. 또한, 레이저는 단색 또는 거의 단색인 광을 생성하도록 구성될 수 있다. 이러한 방식으로, 레이저는 협대역 레이저일 수 있다. 광원은 또한 다수의 이산 파장들 또는 파장 대역들에서 광을 생성하는 다색 광원을 포함할 수 있다.
광학 소자(18)로부터의 광은 렌즈(20)에 의해 시편(14) 상으로 포커싱될 수 있다. 비록 렌즈(20)가 단일 굴절 광학 소자로서 도 1에 도시되어 있지만, 실제로 렌즈(20)는 광학 소자로부터의 광을 시편에 조합하여 포커싱하는 다수의 굴절 및/또는 반사 광학 소자들을 포함할 수 있다. 도 1에 도시되고 본 명세서에 기술된 조명 서브시스템은 임의의 다른 적절한 광학 소자들(도시되지 않음)을 포함할 수 있다. 이러한 광학 소자들의 예시들은 당업계에 공지된 임의의 그러한 적절한 광학 소자들을 포함할 수 있는 편광 성분(들), 스펙트럼 필터(들), 공간 필터(들), 반사 광학 소자(들), 아포다이저(들), 빔 스플리터(들), 애퍼처(들) 등을 포함하지만, 이들로 제한되지는 않는다. 또한, 이미징 서브시스템은 이미징에 사용될 조명 유형에 기초하여 조명 서브시스템의 하나 이상의 소자를 변경하도록 구성될 수 있다.
이미징 서브시스템은 또한 광이 시편 위에서 스캐닝되도록 구성된 스캐닝 서브시스템을 또한 포함할 수 있다. 예를 들어, 이미징 서브시스템은 검사 중에 시편(14)이 배치되는 스테이지(22)를 포함할 수 있다. 스캐닝 서브시스템은 광이 시편 위에서 스캐닝될 수 있도록 시편을 이동시키도록 구성될 수 있는 임의의 적절한 기계적 및/또는 로봇식 조립체(스테이지(22)를 포함함)를 포함할 수 있다. 추가적으로 또는 대안적으로, 이미징 서브시스템은 이미징 서브시스템의 하나 이상의 광학 소자들이 시편 위의 광의 일부 스캐닝을 수행하도록 구성될 수 있다. 광은 구불구불한(serpentine-like) 경로에서 또는 나선형 경로에서와 같은 임의의 적절한 방식으로 시편 위에서 스캐닝될 수 있다.
이미징 서브시스템은 하나 이상의 검출 채널을 더 포함한다. 하나 이상의 검출 채널들 중 적어도 하나는 서브시스템에 의한 시편의 조명으로 인해 시편으로부터의 광을 검출하고 그 검출된 광에 응답하여 출력을 생성하도록 구성된 검출기를 포함한다. 예를 들어, 도 1에 도시된 이미징 서브시스템은 하나의 채널이 수집기(24), 소자(26) 및 검출기(28)에 의해 형성되고 또다른 채널이 수집기(30), 소자(32) 및 검출기(34)에 의해 형성되는 2개의 검출 채널들을 포함한다. 도 1에 도시된 바와 같이, 2개의 검출 채널들은 상이한 수집 각도에서 광을 수집하고 검출하도록 구성된다. 일부 예에서, 두 검출 채널은 산란된 광을 검출하도록 구성되고, 검출 채널은 시편으로부터 상이한 각도로 산란되는 광을 검출하도록 구성된다. 그러나, 하나 이상의 검출 채널은 시편으로부터 또다른 유형의 광(예를 들어, 반사된 광)을 검출하도록 구성될 수 있다.
도 1에 추가로 도시된 바와 같이, 두 검출 채널은 종이의 평면에 위치하는 것으로 도시되고 조명 서브시스템은 또한 종이의 평면에 위치하는 것으로 도시된다. 따라서, 이 실시예에서, 두 검출 채널은 입사 평면에 (예를 들어, 중앙에) 위치한다. 그러나, 하나 이상의 검출 채널은 입사 평면 밖에 위치할 수 있다. 예를 들어, 수집기(30), 요소(32) 및 검출기(34)에 의해 형성된 검출 채널은 입사 평면 밖으로 산란되는 광을 수집하고 검출하도록 구성될 수 있다. 따라서, 그러한 검출 채널은 일반적으로 "측부(side)" 채널이라고 불릴 수 있으며, 그러한 측부 채널은 입사 평면에 실질적으로 수직인 평면에 중심을 둘 수 있다.
도 1은 2개의 검출 채널들을 포함하는 이미징 서브시스템의 실시예를 도시하지만, 이미징 서브시스템은 상이한 수의 검출 채널들(예를 들어, 단지 하나의 검출 채널 또는 2개 이상의 검출 채널들)을 포함할 수 있다. 이러한 일 예에서, 수집기(30), 소자(32) 및 검출기(34)에 의해 형성된 검출 채널은 위에서 설명된 바와 같은 하나의 측부 채널을 형성할 수 있으며, 이미징 서브시스템은 입사 평면의 반대쪽에 위치하는 또다른 측부 채널로서 형성된 추가의 검출 채널(도시되지 않음)을 포함할 수 있다. 따라서, 이미징 서브시스템은 수집기(24), 요소(26), 및 검출기(28)를 포함하고 입사 평면의 중앙에 있고 시편 표면에 수직이거나 그에 가까운 산란각(들)에서 광을 수집하고 검출하도록 구성된다. 따라서, 이 검출 채널은 일반적으로 "상단" 채널로 지칭될 수 있고, 이미징 서브시스템은 또한 전술한 바와 같이 구성된 2개 이상의 측부 채널을 포함할 수 있다. 이와 같이, 이미징 서브시스템은 적어도 3개의 채널(즉, 하나의 상단 채널 및 2개의 측부 채널)을 포함할 수 있고, 적어도 3개의 채널 각각은 자체 수집기를 가지며, 각각은 다른 수집기 각각과는 다른 산란 각도에서 광을 수집하도록 구성된다.
전술한 바와 같이, 이미징 서브시스템에 포함된 각각의 검출 채널은 산란된 광을 검출하도록 구성될 수 있다. 따라서, 도 1에 도시된 이미징 서브시스템은 시편의 암시야(dark field; DF) 이미징을 위해 구성될 수 있다. 그러나, 이미징 서브시스템은 또한 또는 대안적으로 시편의 명시야(bright field; BF) 이미징을 위해 구성되는 검출 채널(들)을 포함할 수 있다. 다시 말해서, 이미징 서브시스템은 시편으로부터 정반사된 광을 검출하도록 구성되는 적어도 하나의 검출 채널을 포함할 수 있다. 따라서, 본 명세서에 설명된 이미징 서브시스템은 DF만, BF만 또는 DF 및 BF 이미징 모두를 위해 구성될 수 있다. 수집기들 각각은 단일 굴절 광학 소자들로서 도 1에 도시되어 있지만, 수집기들의 각각은 하나 이상의 굴절 광학 소자(들) 및/또는 하나 이상의 반사 광학 소자(들)를 포함할 수 있음을 이해해야 한다.
하나 이상의 검출 채널은 광증배관(photo-multiplier tubes; PMT), 전하 결합 디바이스(charge coupled devices; CCD), 시간 지연 통합(time delay integration; TDI) 카메라, 및 당업계에 공지된 임의의 다른 적합한 검출기와 같은 당 업계에 공지된 임의의 적합한 검출기를 포함할 수 있다. 검출기들은 비이미징(non-imaging) 검출기들 또는 이미징 검출기들을 포함할 수도 있다. 검출기들이 비이미징 검출기인 경우, 각각의 검출기들은 세기와 같은 산란된 광의 특정 특성들을 검출하도록 구성될 수 있지만, 이미징 평면 내의 위치의 함수와 같은 특성들을 검출하도록 구성되지 않을 수 있다. 이와 같이, 이미징 서브시스템의 각각의 검출 채널들에 포함된 각각의 검출기들에 의해 생성되는 출력은 신호 또는 데이터일 수 있지만, 이미지 신호 또는 이미지 데이터가 아닐 수 있다. 그러한 경우에, 컴퓨터 서브시스템(36)과 같은 컴퓨터 서브시스템은 검출기의 비이미징 출력으로부터 시편의 이미지를 생성하도록 구성될 수 있다. 그러나, 다른 예들에서, 검출기들은 이미지 신호들 또는 이미지 데이터를 생성하도록 구성되는 이미징 검출기로서 구성될 수 있다. 따라서, 이미징 서브시스템은 다수의 방식으로 본 명세서에 기술된 이미지들을 생성하도록 구성될 수 있다.
도 1은 본 명세서에 설명된 시스템 실시예에 포함될 수 있거나 본 명세서에 설명된 시스템 실시예에 의해 사용되는 이미지를 생성하는 이미징 시스템 또는 서브시스템의 구성을 일반적으로 예시하기 위해 본 명세서에서 제공된다는 점에 유의한다. 명백하게, 본 명세서에 설명된 이미징 서브시스템 구성은 상업적인 이미징 시스템을 설계할 때 통상적으로 수행되는 바와 같이 이미징 서브시스템의 성능을 최적화하도록 변경될 수도 있다. 게다가, 본 명세서에 설명된 시스템은 미국 캘리포니아주 밀피타스 소재의 KLA로부터 상업적으로 입수 가능한 29xx/39xx 및 푸마(Puma) 시리즈의 도구와 같은 현존하는 시스템을 사용하여 (예를 들어, 현존하는 시스템에 본 명세서에 설명된 기능성을 추가함으로써) 구현될 수 있다. 일부 이러한 시스템에 대해, 본 명세서에 설명된 실시예는 시스템의 선택적 기능성(예를 들어, 시스템의 다른 기능성에 추가하여)으로서 제공될 수도 있다. 대안적으로, 본 명세서에 설명된 서브시스템은 완전하게 신규한 이미징 시스템을 제공하기 위해 "처음부터(from scratch)" 설계될 수 있다.
컴퓨터 서브시스템(36)은, 컴퓨터 서브시스템이 시편의 스캐닝 동안 검출기들에 의해 생성된 출력을 수신할 수 있도록 임의의 적절한 방식(예를 들어, "유선" 및/또는 "무선" 전송 매체를 포함할 수 있는 하나 이상의 전송 매체를 통해)으로 이미징 서브시스템의 검출기들에 결합될 수 있다. 컴퓨터 제어기(36)는 검출기들의 출력을 사용하여 본 명세서에서 더 설명된 다수의 기능들을 수행하도록 구성될 수 있다.
도 1에 도시된 컴퓨터 서브시스템(및 본 명세서에서 설명된 다른 컴퓨터 서브시스템들)은 또한 본 명세서에서 컴퓨터 시스템(들)으로 지칭될 수 있다. 본 명세서에 기술된 컴퓨터 서브시스템(들) 또는 시스템(들)의 각각은 퍼스널 컴퓨터 시스템, 이미지 컴퓨터, 메인프레임 컴퓨터 시스템, 워크스테이션, 네트워크 어플라이언스, 인터넷 어플라이언스 또는 다른 디바이스를 포함하는 다양한 형태들을 취할 수 있다. 일반적으로, 용어 "컴퓨터 시스템"은 메모리 매체로부터의 명령어를 실행하는 하나 이상의 프로세서를 갖는 임의의 디바이스를 포함하도록 광범위하게 정의될 수 있다. 컴퓨터 서브시스템(들) 또는 시스템(들)은 또한 병렬 프로세서와 같은 당업계에 공지된 임의의 적합한 프로세서를 포함할 수 있다. 또한, 컴퓨터 서브시스템(들) 또는 시스템(들)은 고속 프로세싱 및 소프트웨어를 갖는 컴퓨터 플랫폼을 독립형 또는 네트워크형 도구로서 포함할 수 있다.
시스템이 둘 이상의 컴퓨터 서브시스템을 포함하는 경우, 상이한 컴퓨터 서브시스템은 이미지, 데이터, 정보, 명령어들 등이 본 명세서에서 추가로 설명되는 바와 같이 컴퓨터 서브시스템들 간에 전송될 수 있도록 서로 결합될 수 있다. 예를 들어, 컴퓨터 서브시스템(36)은 당업계에 공지된 임의의 적합한 유선 및/또는 무선 전송 매체를 포함할 수 있는 임의의 적절한 전송 매체에 의해, 도 1에서 점선으로 도시된 바와 같이, 컴퓨터 서브시스템들(102)에 결합될 수 있다. 이러한 컴퓨터 서브시스템들 중 2 이상은 또한 공유된 컴퓨터 판독 가능 저장 매체(도시되지 않음)에 의해 효과적으로 결합될 수 있다.
이미징 서브시스템이 광학 또는 광 기반 이미징 서브시스템인 것으로 위에서 설명되었지만, 일부 실시예에서, 이미징 서브시스템은 전자 빔 기반 이미징 서브시스템으로서 구성된다. 도 1a에 도시된 하나의 이러한 실시예에서, 이미징 서브시스템은 컴퓨터 서브시스템(124)에 결합된 전자 컬럼(electron column)(122)을 포함한다. 도 1a에 또한 도시된 바와 같이, 전자 컬럼은 하나 이상의 요소(130)에 의해 시편(128)에 포커싱되는 전자를 발생하도록 구성된 전자 빔 소스(126)를 포함한다. 전자 빔 소스는 예를 들어, 캐소드 소스 또는 이미터 팁(emitter tip)을 포함할 수 있고, 하나 이상의 요소(130)는 예를 들어, 건 렌즈(gun lens), 애노드, 빔 제한 애퍼처(beam limiting aperture), 게이트 밸브, 빔 전류 선택 애퍼처, 대물 렌즈, 및 스캐닝 서브시스템을 포함할 수 있는 데, 이들 모두는 당 기술 분야에 공지되어 있는 임의의 이러한 적합한 요소를 포함할 수 있다.
시편으로부터 복귀된 전자(예를 들어, 2차 전자)는 하나 이상의 요소(132)에 의해 검출기(134)에 포커싱될 수 있다. 하나 이상의 요소(132)는 예를 들어, 요소(들)(130) 내에 포함된 동일한 스캐닝 서브시스템일 수 있는 스캐닝 서브시스템을 포함할 수 있다.
전자 컬럼은 당 기술 분야에 공지된 임의의 다른 적합한 요소를 포함할 수 있다. 게다가, 전자 컬럼은 Jiang 등에 2014년 4월 4일에 발행된 미국 특허 제8,664,594호, Kojima 등에 2014년 4월 8일에 발행된 미국 특허 제8,692,204호, Gubbens 등에 2014년 4월 15일에 발행된 미국 특허 제8,698,093호, 및 MacDonald 등에 2014년 5월 6일에 발행된 미국 특허 제8,716,662호에 설명된 바와 같이 또한 구성될 수 있는 데, 이들 미국 특허는 본 명세서에 완전히 설명된 것처럼 참조로서 합체되어 있다.
전자 컬럼은 전자가 경사 입사각에서 시편에 지향되고 또다른 경사각에서 시편으로부터 산란되도록 구성되는 것으로서 도 1a에 도시되어 있지만, 전자 빔은 임의의 적합한 각도로 시편에 지향되고 시편으로부터 산란될 수도 있다는 것이 이해되어야 한다. 또한 전자 빔 서브시스템은 여기에 추가로 설명된 바와 같이(예를 들어, 상이한 조명 각도, 수집 각도 등) 시편의 이미지를 생성하기 위해 다중 모드를 사용하도록 구성될 수 있다. 전자 빔 서브시스템의 다중 모드는 이미징 서브시스템의 임의의 이미지 생성 파라미터에서 다를 수 있다.
컴퓨터 서브시스템(124)은 전술된 바와 같이 검출기(134)에 결합될 수 있다. 검출기는 시편의 표면으로부터 복귀되어 이에 의해 시편의 전자 빔 이미지를 형성하는 전자를 검출할 수 있다. 전자 빔 이미지는 임의의 적절한 전자 빔 이미지를 포함할 수 있다. 컴퓨터 서브시스템(124)은 검출기(134)에 의해 생성된 출력을 사용하여 시편에 대해 본 명세서에 추가로 설명된 하나 이상의 기능을 수행하도록 구성될 수 있다. 컴퓨터 서브시스템(124)은 본 명세서에 설명된 임의의 추가적인 단계(들)를 수행하도록 구성될 수 있다. 도 1a에 도시된 이미징 서브시스템을 포함하는 시스템은 여기에 설명된 바와 같이 추가로 구성될 수 있다.
도 1a는 본 명세서에 설명된 실시예들에 포함될 수 있는 전자 빔 서브시스템의 구성을 일반적으로 예시하기 위해 본 명세서에 제공된다. 위에서 설명한 광학 서브시스템과 마찬가지로, 전자 빔 서브시스템 구성은 상업적 이미징 시스템을 설계할 때 일반적으로 수행되는 이미징 서브시스템의 성능을 최적화하도록 변경될 수 있다. 게다가, 본 명세서에서 설명된 시스템은, KLA로부터 상업적으로 입수할 수 있는 전자 빔 도구와 같은 기존 시스템을 사용하여 (예컨대, 본 명세서에서 설명된 기능성을 기존의 시스템에 추가함으로써) 구현될 수 있다. 일부 이러한 시스템에 대해, 본 명세서에 설명된 실시예는 시스템의 선택적 기능성으로서 (예를 들어, 시스템의 다른 기능성에 추가하여) 제공될 수도 있다. 대안적으로, 본 명세서에 설명된 시스템은 완전하게 신규한 시스템을 제공하기 위해 "처음부터(from scratch)" 설계될 수도 있다.
이미징 서브시스템이 광학 또는 전자 빔 서브시스템인 것으로 위에서 설명되었지만, 이미징 서브시스템은 이온 빔 기반 이미징 서브시스템일 수 있다. 이러한 이미징 서브시스템은 전자 빔 소스가 당업계에 알려진 임의의 적절한 이온빔 소스로 대체될 수 있다는 점을 제외하고는 도 1a에 도시된 바와 같이 구성될 수 있다. 또한, 이미징 서브시스템은 상업적으로 이용 가능한 포커싱된 이온 빔(focused ion beam; FIB) 시스템, 헬륨 이온 현미경 검사(helium ion microscopy; HIM) 시스템 및 2차 이온 질량 분광학(secondary ion mass spectroscopy; SIMS) 시스템에 포함된 것과 같은 임의의 다른 적합한 이온 빔 서브시스템일 수 있다.　
위에서 언급했듯이 이미징 서브시스템은 시편의 물리적 버전 위의 에너지(예를 들면, 광 또는 전자)를 스캐닝하여 시편의 물리적 버전에 대한 실제 이미지를 생성하도록 구성된다. 이러한 방식으로, 이미징 서브시스템은 "가상" 서브시스템이 아닌 "실제" 서브시스템으로서 구성될 수 있다. 도 1에 도시된 저장 매체(도시되지 않음) 및 컴퓨터 서브시스템(들)(102)은 또한 또는 대안적으로 "가상" 시스템으로서 구성될 수 있다. "가상" 검사 시스템으로 구성된 시스템 및 방법은, 공동으로 할당된, 2012년 2월 28일에 Bhaskar 등에게 발행된 미국 특허 제8,126,255호 및 2015년 12월 29일에 Duffy 등에게 발행된 제9,222,895호에 설명되며, 이들 모두는 여기에 완전히 명시된 것처럼 참조로 통합된다. 본 명세서에 설명된 실시예는 이들 특허에 설명된 바와 같이 추가로 구성될 수 있다. 예를 들어, 여기에 설명된 하나 이상의 컴퓨터 서브시스템은 이러한 특허에 설명된대로 추가로 구성될 수 있다.
위에서 추가로 언급한 바와 같이, 이미징 서브시스템은 다중 모드로 시편의 이미지를 생성하도록 구성될 수 있다. 일반적으로 "모드"는 시편의 이미지를 생성하는 데 사용되는 이미징 서브시스템의 파라미터 값이나 시편의 이미지를 생성하는 데 사용되는 출력으로 정의된다. 따라서 서로 다른 모드는 이미징 서브시스템의 이미징 파라미터 중 적어도 하나에 대한 값이 다를 수 있다. 예를 들어, 광학 서브시스템의 일 실시예에서, 상이한 모드는 조명을 위해 적어도 하나의 상이한 파장의 광을 사용한다. 모드는 본 명세서에서 추가로 설명되는 바와 같이(예를 들어, 상이한 광원, 상이한 스펙트럼 필터 등을 사용함으로써) 상이한 모드들에 대해 조명 파장에서 상이할 수 있다. 또다른 실시예에서, 상이한 모드는 이미징 서브시스템의 상이한 조명 채널을 사용한다. 예를 들어, 위에서 언급했듯이, 이미지 서브시스템은 1개보다 많은 조명 채널을 포함할 수 있다. 이와 같이, 상이한 모드에 대해 상이한 조명 채널이 사용될 수 있다.
일 실시예에서, 검사 서브시스템에 의해 이미지가 생성된다. 예를 들어, 여기서 설명된 광학 및 전자 빔 이미징 서브시스템은 검사 서브시스템으로서 구성될 수 있다. 이러한 방식으로, 여기에 설명된 실시예에서 사용된 하나 이상의 이미지는 일부 실시예에서 검사 서브시스템에 의해 생성된다. 또다른 실시예에서, 이미징 서브시스템은 결함 검토 서브시스템이다. 예를 들어, 여기서 설명된 광학 및 전자 빔 이미징 서브시스템은 결함 검토 서브시스템으로서 구성될 수 있다. 특히, 여기서 설명되고 도 1 및 1a에 도시된 이미징 서브시스템의 실시예는 하나 이상의 파라미터에서 수정되어, 사용될 응용에 따라 상이한 이미징 능력을 제공할 수 있다. 하나의 그러한 예에서, 도 1에 도시된 이미징 서브시스템은, 검사보다는 결함 검토에 사용되는 경우 더 높은 해상도를 갖도록 구성될 수 있다. 즉, 도 1 및 1a에 도시된 이미징 서브시스템의 실시예는 상이한 응용에 다소 적합한 상이한 이미징 능력을 갖는 이미징 서브시스템을 생산하기 위해 당업자에게 명백할 다수의 방식으로 맞춤화될 수 있는 이미징 서브시스템에 대한 일부 일반적이고 다양한 구성을 기술한다.
하나 이상의 컴퓨터 서브시스템은 여기에 설명된 이미징 서브시스템에 의해 생성된 시편에 대한 이미지를 획득하도록 구성될 수 있다. 이미지 획득은 여기에 설명된 이미징 서브시스템 중 하나를 사용하여(예를 들어, 광 또는 전자 빔을 시편으로 지향하고 각각 시편으로부터의 광 또는 전자 빔을 검출함으로써) 수행될 수 있다. 이러한 방식으로 이미지 획득은 물리적 시편 자체와 일종의 이미징 하드웨어를 사용하여 수행될 수 있다. 그러나 이미지 획득에는 이미징 하드웨어를 사용하는 시편 이미징이 반드시 포함되는 것은 아니다. 예를 들어, 또다른 시스템 및/또는 방법은 이미지를 생성할 수 있고 여기에 설명된 가상 검사 시스템 또는 여기에 설명된 또다른 저장 매체와 같은 하나 이상의 저장 매체에 생성된 이미지를 저장할 수 있다. 따라서, 이미지를 획득하는 것은 이미지가 저장된 저장 매체로부터 이미지를 획득하는 것을 포함할 수 있다.
예를 들어, 컴퓨터 서브시스템(들)(36) 및/또는 컴퓨터 서브시스템(들)(102)과 같은 컴퓨터 서브시스템(들)에 의해 실행되는 도 1에 도시된 예를 들어, 컴포넌트(들)(100)와 같은 컴포넌트(들)는, 예를 들어, 시편에 대한 하나 이상의 이미지 및 이미지 편집 도구를 사용자에게 디스플레이하도록 구성된 예를 들어, GUI(104)와 같은 그래픽 사용자 인터페이스를 포함한다.
사용자는 GUI를 사용하여 여기에 설명된 다양한 유형의 이미지를 볼 수 있다. 일 실시예에서, GUI에 디스플레이된 하나 이상의 이미지는 초기 트레이닝 세트에 포함된 이미지이다. 이러한 방식으로, GUI는 사용자가 초기 트레이닝 세트에서 이미지를 볼 수 있도록 구성될 수 있다. 시스템 실시예에 포함될 수 있는 GUI의 일 실시예가 도 2에 도시되어 있다. 이 도면은 단지 여기에 설명된 실시예들에 포함된 GUI에 의해 제공될 수 있는 많은 가능한 기능들을 예시하기 위한 것이다. 분명히, 추가적인 기능성이 GUI에 추가될 수 있으며, 이는 여전히 여기에 설명된 실시예의 범위 내에 있을 것이다. 또한, GUI에 디스플레이되는 요소 및 이미지의 배치 및 외관은 상용 제품을 만들 때 수행되는 임의의 적절한 방식으로 도 2에 도시된 것으로부터 변경될 수 있다.
여기에 설명된 컴퓨터 서브시스템에 포함되거나 결합될 수 있는 임의의 적절한 디스플레이 디바이스를 포함할 수 있는 디스플레이 디바이스(도시되지 않음)의 화면(202)에 디스플레이된 GUI(200)가 도 2에 도시되어 있다. 이미지(204)는 영역(206)에 디스플레이될 수 있고, 영역에 디스플레이되는 이미지는 여기에 설명된 이미지 중 임의의 이미지를 포함할 수 있다. 일부 예에서, GUI(200)는 이미지가 디스플레이될 수 있는 결함의 상이한 부분에 대응할 수 있는 탭(208)을 포함할 수 있다. 예를 들어, 도 2에 디스플레이된 "모두(All)" 탭은 사용자가 시편에 대해 사용 가능한 모든 이미지를 보기 위해 선택될 수 있다. 탭 1, 2, 3,…, n은 서로 다른 결함 클래스에 해당할 수 있으며, 사용자는 이러한 탭 중 하나를 선택하여 선택된 클래스에 할당되는 결함만 보여 줄 수 있다. 클래스는 다양한 DOI 클래스를 포함할 수 있으며, 예를 들어, 탭 1은 제1 DOI 클래스에 대응할 수 있고, 탭 2는 제2 클래스에 대응할 수 있으며, 기타 등등이다. 그러나 하나 이상의 탭이 시편 상에서 검출된 뉴슨스에 대응할 수 있다. 또한, 탭 중 하나는 미지의 분류를 갖는 결함에 대한 것일 수 있다. 추가 탭은 테스트 이미지, 참조 이미지, 차이 이미지, 다중 모드 이미지 등과 같은 상이한 유형들의 이미지를 보여주기 위한 것일 수 있다. 이러한 이미지는 여기에서 더 설명된다. 따라서 일반적으로 GUI는 사용자가 GUI에서 보고 싶은 이미지에 대해 다양한 상이한 옵션들 중에서 선택할 수 있도록 바람직하게 구성된다.
GUI가 영역(206)에 4개의 이미지(204)와 함께 도 2에 도시되어 있지만, GUI는 이용 가능하고 그리고/또는 사용자가 볼 수 있도록 선택된 시편에 대해 많은(또는 소수의) 이미지를 보여 줄 수 있다. 또한, 도 4에 도시된 이미지는 모두 동일하지만, GUI는 상이한 유형들의 이미지(예를 들면, 상이한 모드들로 생성된 상이한 이미지들 및/또는 단일 결함(또는 하나보다 많은 결함)에 대한 테스트, 참조 및 차이 이미지)를 동시에 보여줄 수 있다는 것을 이해해야 한다.
GUI는 또한 사용자로부터 입력을 수신하도록 구성된다. 입력은 임의의 적절한 방식으로 사용자로부터 수신될 수 있다. 예를 들어, GUI는 여기에 설명된 아이콘 및/또는 버튼 중 하나 이상을 포함할 수 있는 하나 이상의 그래픽 입력 디바이스를 포함할 수 있다. 그러나 그래픽 입력 디바이스(들)는 당업계에 알려진 임의의 적절한 그러한 디바이스를 포함할 수 있다. 사용자는 또한 인터페이스 소프트웨어 및/또는 컴포넌트(도시되지 않음)에 의해 GUI에 결합되는 키보드, 터치 스크린, 마우스, 전자 펜 등과 같은 컴퓨터 서브시스템의 하나 이상의 입력 디바이스(도시되지 않음)를 사용할 수 있다. 이러한 입력 디바이스 및 인터페이스 소프트웨어/컴포넌트는 임의의 적절한 이러한 상업적으로 이용 가능한 디바이스, 소프트웨어 및 컴포넌트를 포함할 수 있다.
입력은 이미지 편집 도구 중 하나 이상을 사용하여 하나 이상의 이미지 중 적어도 하나에 대한 하나 이상의 변경(alterations)을 포함한다. 이미지 편집 도구는 여기에 설명된 편집, 주석 및 기타 피처를 포함할 수 있다. 이미지 편집 도구는 당업계에 알려진 임의의 직관적이고 사용하기 쉬운 이미지 편집 도구를 포함할 수 있다. 이미지 편집 도구는 또한 효과적인 머신 러닝 모델을 트레이닝하는 데 신뢰성있게(reliably) 사용될 수 있는 합성 결함(synthetic defects)을 바람직하게 생성할 수 있다. 본 명세서에서 사용되는 용어 "합성 결함"은 시편의 이미지에서 의도적으로 그리고 인위적으로 야기되는 임의의 결함으로 정의된다. 이러한 방식으로 "합성 결함"은 이미징 하드웨어를 사용해 시편을 이미징하여 생성된 실제 이미지에서 발견되는 결함이 아니므로 물리적 시편 상에 위치한 실제 결함과 대응하지 않는다. 여기에 설명된 실시예는 사용자로부터 수신된 입력에 기초하여 합성 결함을 생성하는 여러 방법을 제공한다. 이미지 편집 도구가 통합된 머신 러닝 모델 트레이닝 인터페이스는 여기에 설명된 실시예에 의해 제공되는 새로운 피처인 것으로 믿어진다.
사용자가 변경(들)을 입력하는 데 사용될 수 있는 일부 이미지 편집 도구가 도 2에 도시된다. 도 2에서 보듯이, 상이한 그룹의 이미지 편집 도구가 GUI 내의 상이한 위치들에서 도시될 수 있지만, 이미지 편집 도구는 GUI 내에서 임의의 적절한 방식으로 배열될 수 있다. 이미지 편집 도구의 일 부분(210)은 GUI에서 왼쪽에서 오른쪽으로 선택 아이콘, 드로잉 아이콘, 페인팅 아이콘, 지우기 아이콘, 태깅(또는 주석) 아이콘, 회전 아이콘, 그리고 축소 및 확대 아이콘을 포함한다. 사용자는 GUI에 디스플레이되는 하나 이상의 이미지에 대해 하나 이상의 변경을 수행하기 위해 아이콘을 클릭하거나 그렇지 않으면 선택할 수 있다. 아이콘은 여기에 더 설명된 변경 및 기능을 수행하는 데 사용될 수 있다. 이미지 편집 도구의 추가 부분(212)은 부분(212)에서 위에서 아래로, 이미지의 콘트라스트 또는 이미지의 선택된 부분을 변경하기 위한 슬라이더 바를 갖는 콘트라스트 아이콘, 유사한 방식으로 사용될 수 있는 슬라이더 바를 갖는 휘도 아이콘, 및 블러링 버튼(blur button)을 포함한다. 이들 각각의 이미지 편집 도구는 본 명세서에서 더 설명되는 바와 같이 사용자에 의해 선택되고 사용될 수 있다. 도 2에 도시된 모든 아이콘은 각 이미지 편집 도구와 관련된 추가 옵션을 디스플레이하기 위한 드롭다운 또는 팝업 메뉴, 이미지 편집 도구와 관련된 특정 기능성을 켜거나 끄기 위한 라디오 버튼 등과 같이 이들 아이콘과 함께 이용 가능한 임의의 적합한 구성 및 아마도 추가적인 사용성 또는 기능성을 가질 수 있다.
GUI는 또한 내비게이션 윈도우(214)를 포함할 수 있으며, 이는 개별 이미지에 적용되거나 모든 이미지에 전역적으로 적용될 수 있고 그리고/또는 GUI 내에서 내비게이션하기 위한 하나 이상의 옵션을 포함할 수 있다. 예를 들어, 윈도우(214)에서 위에서 아래로 보여지는 바와 같이, 이러한 기능들은 GUI를 홈 스크린으로 변경하기 위해 선택될 수 있는 홈(home) 아이콘, GUI 내의 이미지 편집 도구를 인에이블 하기 위해 선택될 수 있는 편집 아이콘, 변경 또는 이미지를 거절하기(reject) 위한 거절 버튼, 변경 또는 이미지를 수락하기(accept) 위한 수락 버튼, GUI 내에 수행된 이미지에 대한 임의의 변경을 저장하기 위한 저장 버튼, 및 머신 러닝 모델의 트레이닝을 개시하기 위해 본 명세서에서 설명된 대로 사용될 수 있는 트레이닝 버튼을 포함할 수 있다. 네비게이션 윈도우(및/또는 GUI의 임의의 다른 부분)는 GUI가 일반적으로 제공하는 "저장", "다른 이름으로 저장(save as)", "열기", "닫기", "실행 취소(undo)", "다시 실행(redo)" 기능과 같은 다른 도구(도시되지 않음) 또는 기능을 포함할 수 있다. GUI는 또한 "다음" 및 "이전" 버튼, 스크롤 막대, 검색 도구 등과 같은 이미지를 통해 이동하기 위한 추가 도구(도시되지 않음)를 포함할 수 있다.
일 실시예에서, 하나 이상의 변경은 결함 클래스 라벨(defect class label)로 하나 이상의 이미지 중 적어도 하나에 주석을 다는 것을 포함한다. 예를 들어, GUI는 사용자가 GUI에 디스플레이된 이미지의 일부를 클래스 라벨로 주석을 달도록 구성될 수 있다. 하나의 그러한 예에서, 사용자는 GUI에서 선택 아이콘을 사용하여 사용자에 의해 선택될 수 있는 이미지 또는 이미지의 일부에 주석을 달기 위해 도 2의 GUI에 도시된 태그 아이콘을 선택할 수 있다. 주석은 사용자가 결함에 대해 식별한 DOI의 유형을 표시할 수 있다는 점에서 결함 클래스 라벨일 수 있다. 예를 들어, 결함 클래스 라벨은 DOI 유형과 관련하여 위에서 설명한 것과 같은 번호 일 수 있지만 DOI 유형을 설명하는 "브리지(bridges)", "개방(opens)", "입자" 등과 같은 실제 명칭일 수도 있다. 주석은 태그, 라벨, 또는 이미지가 뉴슨스를 포함한다는 임의의 다른 적절한 표시일 수 있으며, 이는 잘못 분류된 결함을 수정하고, 새로 식별된 뉴슨스를 표시하고, 그리고/또는 성가신 분류를 확인하는(confirm) 데 사용될 수 있다. 또한, 주석은 결함의 존재 또는 부재를 표시할 수 있는데, 이는 GUI에 디스플레이된 이미지에서 사용자에 의해 시각적으로 발견된 새로 식별된 결함을 표시하기 위해, 결함이라고 검출된 결함이 실제로 결함이 아님을 표시하기 위해, 검출된 결함이 실제로 결함임/무결함(non-defective) 이미지가 실제로 무결함임을 확인하거나, 또는 트레이닝을 위해 "무결함" 예시로 사용할 수 있는 하나 이상의 이미지를 라벨링(labelling)하거나 태깅(tagging)하기 위해 사용될 수 있다.
또 다른 실시예에서, 하나 이상의 변경은 하나 이상의 이미지 중 적어도 하나에서 합성 결함을 생성하는 것을 포함한다. 예를 들어, GUI는 사용자가 이미지 편집 도구 모음을 사용하여 이미지 중 적어도 하나에 결함을 추가할 수 있도록 구성될 수 있다. 사용자는 하나 이상의 이미지에 결함을 추가할 수 있으며, 이미지 중 임의의 하나에 추가되는 결함은 다른 합성 결함 중 임의의 합성 결합과 동일하거나 다를 수 있다. 예를 들어, 사용자는 동일한 합성 결함을 상이한 이미지들에 추가할 수 있으며, 이는 동일한 DOI 유형이 시편 설계의 상이한 영역들에 나타나는 것으로 알려진 경우 유용할 수 있다. 사용자는 또한 또는 대안으로 동일한 이미지의 상이한 인스턴스들에 상이한 합성 결함들을 추가할 수 있다. 상이한 합성 결함들은 상이한 유형들의 결함들일 수 있으며, 이는 설계의 일부가 상이한 유형들의 결함들에 민감하다고(susceptible) 알려진 경우에 유용할 수 있지만, 상이한 합성 결함들은 또한 동일한 유형의 결함일 수 있지만, 여기서 더 설명된 것과 같은 하나 이상의 상이한 특성들을 가질 수 있다. 합성 결함의 생성은 드로잉 도구, 페인팅 도구, 지우기 도구, 잘라 내기(cut) 및 붙여 넣기(paste) 도구 등을 포함하지만 이에 제한되지 않는 본 명세서에 추가로 설명된 하나 이상의 이미지 편집 도구를 사용하여 수행될 수 있다. 예를 들어, 사용자는 GUI 내의 이미지에 합성 결함을 수동으로 드로잉하거나 페인팅할 수 있고, 사용자는 GUI 내의 이미지의 일부를 수동으로 지워 이미지에 합성 결함을 생성할 수 있으며, 사용자는 또한 결함 이미지 또는 이미지의 일부를 잘라 내고 그리고/또는 복사하여 또다른 이미지에 붙여 넣어 다른 이미지에 합성 결함을 생성할 수 있다.
추가적인 실시예에서, 하나 이상의 변경은 이미지 편집 도구에 포함된 드로잉 도구를 사용해 사용자에 의해 입력된 하나 이상의 수동으로 드로잉된 변경을 포함한다. 드로잉 도구는 도 2의 GUI의 부분(210)에 도시된 드로잉, 페인팅 및 지우기 아이콘을 포함할 수 있다. 드로잉 도구는 다각형 또는 불규칙한 형상의 자유형 드로잉(freehand drawing)에 사용될 수 있다. 사용자는 임의의 사용 가능한 이미지에 수동으로 변경 사항을 드로잉하여 그 안에 페인팅된 합성 결함을 삽입하거나 생성할 수 있다. 예를 들어, GUI는 시편 또는 시편들에 대해 생성된 다양한 참조 이미지를 디스플레이할 수 있으며, 이는 내부의 결함을 검출하기 위해 테스트 이미지로부터 차감되는 이미지 및/또는 기타 결함이 없는 이미지이다. 참조 이미지는 실제 시편을 이미징하거나(다이 대 다이 또는 셀 대 셀 결함 검출의 경우), 시편 설계로부터 참조 이미지를 시뮬레이션하여 생성될 수 있다. 결함이 없는 이미지는 결함 검출이 수행되고 결함이 발견되지 않은 시편을 이미징하여 생성된 임의의 이미지일 수 있다. 이러한 방식으로, 결함 페인팅에 사용되는 이미지는 이미 실제 시편 이미지처럼 보일 수 있으며, 사용자는 결함이 추가되는 이미지 부분만 수정하여 합성 결함 이미지를 생성할 수 있다. 그러나, 이미지(들)의 수동 드로잉 변경(들)은 본 명세서에 설명된 임의의 다른 이미지를 사용하여 수행될 수 있다. 예를 들어, 사용자는 DOI에 해당하는 테스트 이미지의 일부에 수동으로 변경을 드로잉하여 상이한 특성들을 가진 DOI의 상이한 버전들을 생성할 수 있다. 사용자는 추가 결함을 수동으로 드로잉하기 위해 결함 이미지를 변경할 수도 있다. 수동으로 드로잉된 변경은, 하나 이상의 결함 및/또는 패터닝된 피처를 수동으로 제거하거나 어떤 방식으로든 변경하기 위해 지우기 아이콘을 사용하여 이루어질 수도 있다.
또 다른 실시예에서, 하나 이상의 변경은 알려진 DOI에 대응하는 이미지의 일부를 하나 이상의 이미지 중 적어도 하나에 붙여 넣는 것을 포함한다. 예를 들어, 이미지 편집 도구는 한 이미지에서 또다른 이미지로 이미지 패치(image patch)를 복사/붙여 넣기하는 데 사용될 수 있는 복사/붙여 넣기 도구를 포함할 수 있다. 이러한 방식으로, 실제 시편에서 발견된 실제 결함 또는 사용자에 의해 생성된 합성 결함의 이미지일 수 있는 결함 이미지가 한 이미지에서 또다른 이미지로 복사되고 붙여 넣어져 해당 결함을 다른 이미지에 추가할 수 있다. 이러한 기능성은 DOI가 시편 설계의 상이한 영역들에서 가능하다고 알려진 경우 특히 유용할 수 있다.
알려진 DOI의 이미지가 이미지에 붙여 넣어진 후, 결과 이미지는 또한 여기에 설명된 임의의 다른 방식으로 사용자에 의해 변경될 수 있다. 예를 들어, 사용자는 이미지의 영역을 복사하여 해당 이미지의 또다른 영역이나 또다른 이미지에 이를 붙여 넣을 수 있다. 그런 다음, 사용자는 회전, 확대 및 강도를 포함하지만 이에 제한되지 않는 붙여 넣어진 영역의 하나 이상의 특성을 변경할 수 있다. 예를 들어, 사용자는 복사된 패치 이미지를 회전할 수 있다. 사용자는 복사된 이미지 패치를 축소 또는 확대하여 복사된 이미지 패치의 배율을 변경할 수도 있다. 사용자는 복사된 이미지 패치의 강도를 변경하여 어둡게 또는 밝게 할 수도 있다. 사용자는 또한 임의의 주어진 편집(즉, 여기에 설명된 기능성 중 임의의 기능성으로 생성된 편집된 영역)을 복사하여 붙여 넣을 수 있다. 즉, 이미지의 일부가 복사되어 붙여 넣어진 다음 변경되거나 그 반대로 할 수 있다. 이러한 각 기능은 여기에서 설명하고 도 2에 도시된 이미지 편집 도구를 사용하여 수행될 수 있다.
추가 실시예에서, 변경(들)은 시편에 대한 알려진 DOI의 하나 이상의 특성에 기초하여 하나 이상의 이미지 중 적어도 하나에서 합성 결함을 생성하는 것을 포함한다. 이러한 하나의 예에서, 이미지 편집 도구는 사용자가 시편 이미지에 추가할 수 있는 다수의 미리 결정된 도면 형상(도시되지 않음)을 포함하고, 치수, 종횡비, 그레이 레벨 강도(예를 들어, 전체 형상에 대한 단일 그레이스케일 값) 등과 같은 하나 이상의 특성을 조작할 수 있다. 그레이 레벨을 편집하기 위해, 사용자는 이미지에서 영역을 선택하고 해당 영역의 그레이 레벨(흑백)을 설정할 수 있다. 옵션은 값(즉, 검은 색에서 흰색으로)에 의해 또는 이미지 영역을 "샘플링"하여 해당 영역의 색상과 일치시켜 그레이 레벨을 설정하는 것을 포함한다. 옵션은 직사각형 선택 도구를 사용하거나 임의의 자유 형식 경계를 드로잉하여 영역을 선택하는 것도 포함한다. 미리 결정된 드로잉 형상은 예를 들어, 정사각형(또는 직사각형), 원(또는 타원), 삼각형, 육각형 및 기타 다각형(규칙적 다각형 및 불규칙적 다각형 포함)을 포함할 수 있다. 하나의 그러한 예에서, 이미지 편집 도구는 직사각형 복제 선택(미도시)을 포함할 수 있다. 이미지 편집 도구는 사용자가 시편 이미지에서 특정 위치로 미리 정해진 형상을 드래그하고, 그 다음에 마우스 또는 다른 그래픽 입력 디바이스를 사용하여 미리 정해진 형상을 수정하여 미리 정해진 형상의 경계를 이동 또는 스케일링할 수 있고 그리고/또는 하나 이상의 드롭다운 메뉴 또는 다른 특징 선택 도구를 사용하여 예상된 DOI의 특징에 근사하는 적절한 특징을 선택하도록 구성될 수 있다. 알려진 DOI의 특성을 기반으로 합성 결함이 생성되는 경우, 그러한 합성 결함을 생성하기 위해 알려진 DOI의 실제 이미지가 필요하지 않는다. 예를 들어, 사용자가 예를 들어, 합성 결함이 생성되고 있는 시편으로서 유사한 패터닝된 피처를 가진 다른 시편에 대한 경험이나 검사 결과를 통해, DOI가 어떤 "모양"을 하고 그것이 위치할 수 있는 곳을 알고 있다면, 사용자는 DOI의 실제 이미지를 요구하지 않고도 그 지식에 기초하여 합성 결함을 생성할 수 있다. 하나의 그러한 예에서, 사용자가 경험을 통해 시편 설계의 라인이 결함을 브리징하는 경향이 있다는 것을 알고 있는 경우, 사용자는 여기에 설명된 하나 이상의 이미지 편집 도구를 사용하고 브리지 결함의 예상되는 특성에 기초하여 이미지의 이러한 라인들 사이에 합성 결함을 생성하도록 선택할 수 있다.
일부 실시예에서, 변경(들)은 결함에 대응하는 하나 이상의 이미지 중 적어도 하나의 일부에 대한 하나 이상의 수정을 포함하고, 적어도 하나의 수정된 이미지를 생성하는 것은 하나 이상의 수정에 기초해 새로운 이미지를 생성하는 것을 포함한다. 그러한 일 실시예에서, 하나 이상의 수정은 스케일링, 회전, 에지 블러링 또는 강도 수정을 포함한다. 이와 같은 수정은 결함 증대(defect augmentation)에 사용될 수 있다. 수정은 합성 결함에도 적용될 수 있다. 예를 들어, GUI는 위에서 설명한 것과 같은 다수의 사용 가능한 수정 사항을 디스플레이할 수 있으며, GUI는 실제 결함 이미지 및 합성 결함 이미지를 포함하여 GUI에 디스플레이된 이미지 중 임의의 것에 수정 사항이 적용될 수 있도록 할 수 있다. 실제 결함 이미지는 테스트 이미지 및/또는 차이 이미지(테스트 이미지에서 참조 이미지를 감산하여 차이 이미지가 생성되는 경우)를 포함할 수 있다.
수정은, 수정을 위한 하나 이상의 미리 결정된 및/또는 선택 가능한 옵션과 함께 GUI에 디스플레이될 수 있다. 예를 들어, 블러링 수정을 위해, GUI는 결함 이미지에 적용될 수 있는 상이한 유형들의 블러링을 디스플레이할 수 있다. 상이한 유형들의 블러링은 결함의 에지에 블러링을 적용하는 데 사용할 수 있는 상이한 기능들에 해당할 수 있다. 그러한 예 중 하나가 가우시안 블러링이다. 블러링은 DOI의 예상된 위치에서 예상되는 DOI와 거의 동일한 형상, 크기, 강도 등으로 단일 그레이 레벨 값으로 생성되는 합성 결함에 적용될 수 있다. 블러링은 이미지의 합성 부분에 적용되어 이미지 서브시스템에 의해 DOI에 대해 생성될 이미지를 보다 잘 근사화하거나 이미지 서브시스템에 의해 DOI에 대해 생성될 수 있는 다수의 가능한 이미지들을 제공하는데, 이는 본원에서 더 설명된 바와 같이 유리할 수 있다.
이러한 방식으로, GUI에서 이용 가능한 수정은 합성 결함이 실제 결함 이미지와 더 비슷하게 보이도록 하는 데 사용될 수 있는 도구를 사용자에게 제공할 수 있다. 그러나 수정은 단일 DOI의 다수의 변형을 생성하는 데 사용될 수도 있다. 예를 들어, 스케일링 수정은 상이한 크기, 종횡비 등을 갖는 단일 DOI 타입의 다수의 인스턴스를 생성하는데 사용될 수 있는데, 이는 DOI가 시편 상에서 상이한 크기를 가질 수 있고 그리고/또는 시편 상의 설계의 상이한 부분에서 상이한 크기를 가질 수 있는 경우에 적절할 수 있다. 유사한 방식으로, 동일한 DOI 유형의 상이한 변형이 회전 및 강도 수정 기능을 사용하여 생성될 수 있다. 이러한 수정은 DOI 유형이 시편 상에서 상이한 방위를 가지고 있고 그리고/또는 시편 상의 설계 내에서 상이한 위치들에 있는 것으로 알려진 경우 그리고/또는 DOI 유형이 시편 상에서 아마도 상이한 그레이 레벨 강도를 가질 수 있는 것으로 알려진 경우에 유용할 수 있다. 이러한 수정은 또한, 여기에 설명된 머신 러닝 모델을 트레이닝하는 데 사용될 때 더 견고한(robust) 머신 러닝 모델을 제공할 수 있는 DOI의 다중 인스턴스를 생성할 수 있다. 예를 들어, 사용자는 GUI의 그레이 레벨 강도 수정 기능을 사용하여 상이한 그레이 레벨 강도 값을 갖는 시편에 대한 설계의 단일 위치에서 단일 DOI 유형의 다수의 인스턴스를 생성할 수 있다. 그런 다음, 이러한 다수의 인스턴스(또는 이들 중 하나 이상) 모두는 여기에 추가로 설명된 바와 같이 머신 러닝 모델을 트레이닝시키는 데 사용될 수 있다. 따라서, 트레이닝된 머신 러닝 모델은, 예를 들어, DOI와는 다른 특성을 갖는 하나의 DOI의 모든 다수의 인스턴스를 검출 및/또는 분류하기 위해 머신 러닝 모델의 하나 이상의 파라미터를 설정함으로써, 웨이퍼 대 웨이퍼 또는 DOI 대 DOI 변동에 보다 견고할 수 있다.
따라서, 전술한 바와 같이, GUI는 사용자에게 상이한 유형의 이미지를 디스플레이할 수 있고 사용자는 합성 또는 페인팅된 결함을 생성하기 위해 이들 이미지 중 임의의 하나 이상을 사용할 수 있다. 이미지는 테스트 이미지, 참조 이미지 및 차이 이미지를 포함할 수 있다. 시편 상의 또는 시편 설계의 임의의 한 위치에 대해, GUI는 테스트 이미지만 또는 테스트 이미지, 참조 이미지 및 차이 이미지와 같은 상이한 유형의 이미지 중 하나 이상을 디스플레이할 수 있다. GUI는 또한, 시편 상의 상이한 다이들 및/또는 시편 상의 하나 이상의 다이 내의 상이한 위치들에서 설계 내의 패터닝된 피처들의 동일한 세트와 같은 시편 상의 상이한 위치들에서 생성된 설계의 동일한 부분에 대응하는 상이한 이미지들을 디스플레이할 수 있다.
더욱이, 일부 사례에서 이미징 서브시스템은 다중 모드(본원에 추가로 설명 됨)에서 시편 상의 단일 위치에 대한 이미지를 생성할 수 있으며, 다중 모드에서 생성된 이미지는 결함 검출 및/또는 분류를 위해 조합으로 사용될 수 있다. 시편 위치, 설계 위치 또는 결함에 대해 이용 가능한 다중 모드 이미지가 있을 때, GUI는 이들 다중 모드 이미지들을 모두 사용자에게 디스플레이할 수 있고, 사용자는 본 명세서에서 설명된 임의의 방식으로 디스플레이된 다중 모드 이미지들 중 임의의 하나 이상에 대한 하나 이상의 변경들을 입력할 수 있다. 하나의 그러한 예에서, 사용자가 GUI를 사용하여 DOI의 변형을 생성하는 경우, 사용자는 상이한 모드들에서 생성된 DOI 이미지에 대해 동일하거나 상이한 수정을 수행하도록 선택할 수 있다. 하나의 이미지에서 수행된 변경은 임의의 깊은 이미지 스택에 적용될 수도 있다. 예를 들어, 각각 3개 및 1개의 채널 깊이인 컬러 및 그레이 이미지에 대해 맞추어진(geared) 대부분의 이미지 편집기와는 달리, 본 명세서에 기술된 실시예들은 (머신 러닝 모델에 공급되는 동일한 시편 사이트(specimen site)의 6개 이상의 관점(perspectives)이 있을 수 있기 때문에) 채널 치수에서 임의의 깊이를 지원한다. 이러한 방식으로, GUI에 제공된 이미지 편집 도구를 사용해 사용자에 의해 수행될 수 있는 이미지에 대한 수정은, 기능이 본 명세서에서 설명한 바와 같이 컴퓨터 서브시스템(들)에 의해 다양한 결함 이미지를 시뮬레이션하기 위해 적용될 수 있다는 점에서, 일종의 시뮬레이션일 수 있다.
또한, 이미지 편집 도구를 이용하여 DOI에 대해 사용자에 의해 하나의 유형의 이미지가 생성되면, GUI는 이미지에 대한 시뮬레이션 옵션을 사용자에게 디스플레이할 수 있는데, 이 옵션은 예를 들어, 테스트 이미지로부터 차이 이미지를 시뮬레이션하거나, 사용자가 편집한 이미지에 대응하는 모드와는 다른 모드로 이미지를 시뮬레이션하는 것을 포함할 수 있다. GUI는 또한 한 이미지를 또다른 이미지로 수정하는 데 사용될 수 있는 옵션을 디스플레이할 수 있는데, 예를 들면, 사용자가 두 개의 이미지를 선택하면 이미지 중 하나를 다른 이미지에서 빼는 기능성이 사용 가능하게 될 수 있다. 이러한 방식으로, 사용자는 합성 결함 테스트 이미지에 대한 차이 이미지를 생성하여 차이 이미지가 어떻게 보이는지 확인할 수 있다. DOI에 대해 생성된 임의의 이러한 이미지는 여기에서 더 설명되는 트레이닝에 사용될 수 있다. 시뮬레이션은 여기에 설명된 머신 러닝 모델 중 하나 이상과 같은 임의의 적절한 소프트웨어 및/또는 컴포넌트로 수행될 수 있다.
컴포넌트(들)는, 하나 이상의 이미지 중 적어도 하나에 하나 이상의 변경을 적용하여 적어도 하나의 수정된 이미지를 생성하고, 적어도 하나의 수정된 이미지를 트레이닝 세트에 저장하도록 구성된 예를 들면, 이미지 프로세싱 모듈(106)과 같은 이미지 프로세싱 모듈을 또한 포함한다. 예를 들어, 사용자가 이미지에 하나 이상의 변경을 수행하면, 사용자는 도 2의 GUI에 도시된 수락 및/또는 저장 버튼을 선택할 수 있다. 그런 다음, 이미지 프로세싱 모듈은 변경된 이미지를 단순히 저장할 수 있지만 이미지 프로세싱 모듈은 또한 사용자에 의해 수행된 변경에 응답하여 이미지 파일 또는 데이터에 임의의 다른 변경을 수행할 수 있다. 하나의 그러한 예에서, 사용자가 결함 이미지를 잘라내어 또다른 이미지에 붙여 넣은 경우, 이미지 프로세싱 모듈은 변경된 이미지 데이터가 저장될 때 변경이 보존될 수 있도록 해당 결함 이미지 데이터를 포함하도록 원본 이미지 데이터를 변경할 수 있다. 이러한 많은 이미지 프로세싱 모듈 및 소프트웨어는 상업적으로 이용 가능하며 여기에 설명된 실시예에서 사용될 수 있다. 기본적으로, GUI에서 사용자에 의해 수행된 변경에 기초해 이미지 데이터를 변경하고 그런 다음, 변경된 이미지 데이터를 저장하는 데 사용될 수 있는 임의의 소프트웨어, 컴포넌트, 하드웨어 등이 실시예의 이미지 프로세싱 모듈로서 사용될 수 있다.
GUI에 디스플레이된 하나 이상의 이미지가 초기 트레이닝 세트에 포함된 이미지인 하나의 실시예에서, 저장하는 것은, 적어도 하나의 수정된 이미지를 초기 트레이닝 세트에 추가하여 트레이닝 세트를 생성하는 것을 포함한다. 이러한 방식으로, 이미지 프로세싱 모듈은 트레이닝 이미지에, 사용자에 의해 드로잉된 결함을 추가하도록 구성될 수 있다. 예를 들어, 도 2에 도시된 GUI에서, 이미지(204)는 이미 트레이닝 세트에 있을 수 있다. 사용자가 이미지를 변경하거나 새로운 이미지를 생성하기 위해 여기에 설명된 임의의 방식으로 이미지 중 하나 이상을 수정한 후, 수정되거나 새로운 이미지가 트레이닝 세트에 추가될 수 있다. 하나의 그러한 예에서, 사용자가 도 2에 도시된 수락 또는 저장 버튼 중 하나를 선택하면, GUI는 사용자가 트레이닝 세트에 변경 또는 새로운 이미지를 저장하길 원하는지 묻는 프롬프트(prompt)를 디스플레이할 수 있다. 다른 예에서, 이미지는 예를 들어, 이미징 서브시스템과 트레이닝된 가장 잘 알려진 결함 검출 및/또는 분류 방법 또는 시스템을 사용하여 시편에 대해 생성된 이미지를 단순히 포함할 수 있다. 사용자가 하나 이상의 이들 이미지를 수정하고 그리고/또는 새로운 이미지를 생성한 후, 사용자는 시편 이미지, 변경된 이미지 및/또는 새로운 이미지 중 임의의 하나 이상을 선택한 다음 수락 또는 저장을 선택할 수 있으며, 이는 GUI에게 사용자가 새로운 트레이닝 세트를 생성하길 원하는지 묻는 쿼리(query)를 디스플레이하게 할 수 있다. 사용자가 새로운 트레이닝 세트를 생성하기로 선택하면, 임의의 새로운 데이터 파일을 생성하는 데 사용될 수 있는 예를 들면, 트레이닝 세트 명칭, 저장 위치 등을 위한 추가 프롬프트가 디스플레이될 수 있다. 이러한 방식으로, GUI에서 사용자가 수행한 임의의 이미지에 대한 임의의 변경은 새로운 트레이닝 세트를 생성하고 그리고/또는 기존 트레이닝 세트를 갱신 또는 수정하는 데 사용될 수 있다.
본 명세서에 기술된 실시예는 데이터 수집의 어려움을 완화하면서 결함 검출 및/또는 분류를 위해 본 명세서에 기술된 심층 신경망 및 기타와 같은 머신 러닝 모델의 이용을 가능하게 한다. 예를 들어, 도 3은 모델이 풍부하고 정확한 데이터에 대해 트레이닝되는 이상적인 트레이닝 시퀀스를 도시한다. 도 3에 도시된 바와 같이, 트레이닝 이미지(300) 및 라벨링된 결함(302)은, 머신 러닝 모델의 트레이닝을 수행하도록 구성될 수 있는 트레이닝 알고리즘(304)에 입력될 수 있다. 머신 러닝 모델을 트레이닝하면 트레이닝된 모델(306)이 생성된다. 그런 다음, 트레이닝된 모델을 결함 탐지 및/또는 분류에 사용할 수 있다. 예를 들어, 새로운 이미지(308)는 트레이닝된 모델에 입력될 수 있으며, 이는 발견된 결함(310)을 포함하지만 이에 제한되지 않는 출력을 생성할 수 있다.
실제로 트레이닝 결함이 소수이거나, 라벨이 잘못 지정되거나, 존재하지 않는 경우가 많다. 도 4는 이러한 일반적으로 발생하는 트레이닝 시퀀스를 보여준다. 예를 들어, 도 4에 도시된 바와 같이, 트레이닝 이미지(400)는 DOI 및 뉴슨스의 소수 및/또는 불량한 예(poor examples)를 포함할 수 있다. 따라서, 트레이닝 이미지는 소수의 그리고/또는 불량한 라벨(402)을 갖고 트레이닝 알고리즘(404)에 입력될 수 있다. 트레이닝 알고리즘은 여기에 설명된 바와 같이 트레이닝 이미지 및 라벨을 사용하여 트레이닝을 수행할 수 있으며, 이에 의해 트레이닝된 모델(406)을 생성할 수 있다. 그런 다음, 트레이닝된 모델을 결함 검출 및/또는 분류에 사용할 수 있다. 예를 들어, 새로운 이미지(408)는 트레이닝된 모델에 입력될 수 있으며, 이는 결함 및/또는 비교적 높은 뉴슨스 비율(nuisance rate)을 포함하지 않는 출력(410)을 생성한다.
또 다른 실시예에서, GUI에 디스플레이된 하나 이상의 이미지는 초기 트레이닝 세트의 이미지이고, 초기 트레이닝 세트는 시편에 대해 알려진 DOI의 임의의 인스턴스를 포함하지 않으며, 하나 이상의 변경은 알려진 DOI의 하나 이상의 특성에 기초하여 하나 이상의 이미지 중 적어도 하나에 합성 결함을 생성하는 것을 포함하며, 저장은 적어도 하나의 수정된 이미지를 초기 트레이닝 세트에 추가하여 트레이닝 세트를 생성하는 것을 포함한다. 예를 들면, DOI의 기존 인스턴스가 없는 경우가 많다. 따라서, 하나 이상의 유형의 DOI가 트레이닝 이미지에 존재할 수 없다. 시편 상에서 발견된 실제 DOI의 트레이닝 이미지를 생성하는 것이 어려울 수 있는 한 가지 이유는 DOI가 특히 뉴슨스와 비교될 때 특히 드물 수 있기 때문이다. 트레이닝 세트에 임의의 DOI가 없는 것은 그러한 트레이닝 세트로 트레이닝된 머신 러닝 모델이 새로운 이미지, 예를 들면, 런타임 이미지(runtime image)에서 DOI를 검출하지 못할 가능성이 높기 때문에 문제가 된다. 그러나, 여기에 설명된 실시예는 결함 외관에 대한 사용자 지식을 활용하여 예시적인 DOI가 존재하지 않는 경우에도 모델 트레이닝을 가능하게 한다. 따라서, 결함 분류기를 트레이닝하기 위해 현재 사용되는 다른 방법에 비해 전술한 실시예의 한 가지 장점은, 사용자가 이러한 DOI의 0개의(ze ro) 실제 예를 사용하여 DOI를 검출 및/또는 분류하도록 모델을 트레이닝시킬 수 있다는 것이다. 본 발명자들은 실험을 통해 합성 결함(즉, 실제 결함이 없음)에 대해서만 트레이닝된 모델이 검사 중에 실제 결함을 포착할 수 있음을 발견했다.
추가적인 실시예에서, GUI에 디스플레이된 이미지(들)는 초기 트레이닝 세트의 이미지이고, 초기 트레이닝 세트는 시편에 대해 알려진 DOI의 미리 결정된 수보다 적은 인스턴스를 포함하고, 변경(들)은 알려진 DOI의 하나 이상의 특성에 기초하여 하나 이상의 이미지 중 적어도 하나에 하나 이상의 합성 결함을 생성함으로써, 적어도 하나의 수정된 이미지 중 하나 이상을 생성하는 것을 포함하며, 저장은 적어도 하나의 수정된 이미지 중 하나 이상을 초기 트레이닝 세트에 추가하여 트레이닝 세트를 생성하는 것을 포함한다. 예를 들면, DOI의 기존 인스턴스는 종종 희소하다. 특히 DOI는 드물거나(특히 뉴슨스에 비해) 시편 이미지에서 상당히 미묘하여(subtle) 검출하기 어려울 수 있다. 그 결과, 트레이닝 이미지에 존재하는 상대적으로 소수의 DOI가 있으며, 여기서 "소수의 DOI"는 머신 러닝 모델 트레이닝에 필요한 것으로 알려진 미리 결정된 최소 수보다 적은 것으로 정의된다. 머신 러닝 모델이 이러한 이미지의 트레이닝 세트를 사용해 트레이닝된 경우, 머신 러닝 모델은 DOI를 검출하지 못할 수 있거나 상당히 높은 뉴슨스 비율을 가질 수 있다. 트레이닝 이미지에서 DOI에 대해 라벨을 잘못 지정하면 머신 러닝 모델 트레이닝에 문제가 발생할 수도 있다. 잘못된 라벨 지정은 시편 이미지의 실질적으로 미묘한 DOI로 인해 발생할 수 있으며 DOI는 쉽게 잘못 분류될 수 있다. 결과적으로, 그러한 트레이닝 세트로 트레이닝된 머신 러닝 모델은 DOI를 검출하지 못할 수 있고 그리고/또는 상당히 높은 뉴슨스 비율을 가질 수 있다. 그러나, 여기에 설명된 실시예는 결함 외관에 대한 사용자 지식을 활용하여 알려진 DOI 인스턴스가 소수인 경우에도 모델 성능을 향상시킨다. 예를 들어, 본 발명자들은 실험을 통해 합성 결함이, 소수의 실제 트레이닝 데이터가 사용 가능한 경우 분류기의 성능을 향상시킬 수 있음을 발견했다.
도 5는 전술한 실시예들에서 수행될 수 있는 단계들의 일 실시예를 도시한다. 예를 들어, 도 5에 도시된 바와 같이, 단계(500)는 트레이닝 세트의 검사 동안 결함이 발견되지 않거나 소수의 결함이 발견되는지 여부를 결정하는 것을 포함할 수 있다. 단계(502)에서, 사용자는 본 명세서에 설명된 GUI를 사용하여 이전 예 또는 프로세스 지식에 기초하여 본 명세서에 추가로 설명된 바와 같이 결함을 페인팅(또는 그렇지 않으면 합성 결함을 생성함)할 수 있다. 이러한 방식으로, "양호한" 트레이닝 데이터(여기서 "양호한" 트레이닝 데이터는 일반적으로 적어도 미리 결정된 최소 수의 정확하게 라벨링된/분류된 DOI와, 아마도 또한 미리 결정된 최소 수의 정확하게 라벨링된/분류된 뉴슨스를 갖는 트레이닝 데이터로서 정의됨)가 없을 때, 합성 결함은 기본 이미지 편집 도구를 사용하여 여기에서 설명된 깨끗한(clean) 시편 이미지 및/또는 다른 이미지로 페인팅되거나 생성될 수 있으며, 그 다음에 페인팅된 결함 또는 합성 결함이 있는 이미지가 본원에서 더 기술된 트레이닝에 사용될 수 있다.
컴포넌트(들)는, 이미징 서브시스템에 의해 시편에 대해 생성된 이미지를 사용하여 시편에 대한 하나 이상의 기능을 수행하도록 구성된, 예를 들어, 도 1에 도시된 머신 러닝 모델(108)과 같은 머신 러닝 모델을 더 포함한다. 일 실시예에서, 하나 이상의 기능은 시편 상의 결함을 검출하는 것을 포함한다. 또다른 실시예에서, 하나 이상의 기능은 시료 상에서 검출된 결함을 분류하는 것을 포함한다. 이러한 방식으로, 머신 러닝 모델은 결함 검출 또는 결함 분류를 위해 구성될 수 있다. 그러나, 머신 러닝 모델은 결함 검출 및 결함 분류를 위해 구성될 수도 있다. 머신 러닝 모델에 입력되는 시편에 대한 이미지에는 검사, 계측 또는 결함 검토와 같은 프로세스 중에 시편에 대해 생성된 런타임 이미지 또는 이미지들이 포함될 수 있다. 머신 러닝 모델은 아마도 시편에 대한 설계 데이터와 같은 하나 이상의 다른 정보 소스와 함께 이러한 이미지를 사용하여 결함 검출 및/또는 분류를 위해 구성될 수 있다.
머신 러닝 모델은 예를 들어, 신경망, 컨볼루션 신경망, 생성 모델(generative model) 등을 포함하여 당업계에 알려진 임의의 심층 러닝 모델을 포함할 수 있다. 본 명세서에 설명된 실시예에서 사용하기 위해 적합한 머신 러닝 모델의 예는 2017년 5월 18일에 발행된 Karsenti 등에 의한 미국 특허 출원 공보 제2017/0140524호에 설명된 바와 같이 단일 이미지 검출을 위해 구성된 머신 러닝 모델을 포함하고, 여기에 완전히 설명된 것처럼 참조로 포함된다. 머신 러닝 모델은 또한 공통적으로 소유된, Karsenti 등에 의한 2017년 5월 18일에 발행된 미국 특허 출원 공보 제2017/0140524호, Zhang 등에 의한 2017년 5월 25일에 발행된 제2017/0148226호, Bhaskar 등에 의한 2017년 7월 6일에 발생된 제2017/0193400호, Zhang 등에 의한 2017년 7월 6일에 발행된 제2017/0193680호, Bhaskar 등에 의한 2017년 7월 6일에 발행된 제2017/0194126호, Bhaskar 등에 의한 2017년 7월 13일에 발행된 제2017/0200260호, Park 등에 의한 2017년 7월 13일에 발행된 제2017/0200264호, Bhaskar 등에 의한 2017년 7월 13일에 발행된 제2017/0200265호, Zhang 등에 의한 2017년 11월 30일에 발행된 제2017/0345140호, Zhang 등에 의한 2017년 12월 7일에 발행된 제2017/0351952호, Zhang 등에 의한 2018년 4월 19일에 발행된 제2018/0107928호, Gupta 등에 의한 2018년 10월 11일에 발행된 제2018/0293721호, Ha 등에 의한 2018년 11월 15일에 발행된 제2018/0330511호, Dandiana 등에 의한 2019년 1월 3일에 발행된 제2019/0005629호, 및 He 등에 의한 2019년 3월 7일에 발행된 제2019/0073568호에 설명된 바와 같이 결함 검출 및/또는 분류를 위해 구성될 수 있으며, 이 특허 공보들은 여기에 완전히 설명된 것처럼 참조로 포함된다. 본 명세서에 설명된 실시예는 이들 특허 출원 공보에 설명된 바와 같이 추가로 구성될 수 있다. 또한, 여기에 설명된 실시예는 이러한 특허 출원 공보에 설명된 임의의 단계를 수행하도록 구성될 수 있다.
하나 이상의 컴퓨터 서브시스템은, 적어도 하나의 수정된 이미지가 저장되는 트레이닝 세트를 사용해 머신 러닝 모델을 트레이닝하도록 구성된다. 예를 들어, 컴퓨터 서브시스템(들)은 사용자에 의해 편집된 이미지에 기초하여 분류기를 트레이닝시킬 수 있다. 하나의 그러한 예에서, 도 5의 단계(504)에 도시된 바와 같이, 컴퓨터 서브시스템(들)은 페인팅된 결함 또는 합성 이미지에 대해 분류기 및/또는 심층 신경망과 같은 머신 러닝 모델을 트레이닝할 수 있다. 이러한 방식으로, 컴퓨터 서브시스템(들)은 사용자가 드로잉한 결함을, 모델을 트레이닝하는 머신 러닝 트레이닝 알고리즘에 입력하여 검출 및/또는 분류기 성능을 향상시킬 수 있다. 또한, 컴퓨터 서브시스템(들)은 본 명세서에 추가로 설명되는 바와 같이, 보이지 않는 데이터(unseen data)를 분류할 때 이러한 모델의 성능을 개선하기 위해 부분적으로 또는 전체적으로 사용자에 의해 생성된 합성 이미지로 구성되는 데이터 세트에 대해 머신 러닝 모델을 트레이닝할 수 있다. 추론 동안 실제 이벤트를 포착하기 위해 합성 데이터에 대해 분류기를 트레이닝하는 것은 여기에 설명된 실시예에 의해 제공되는 새로운 피처이다.
여기에 설명된 합성 또는 페인팅된 결함으로 머신 러닝 모델을 트레이닝하여 생성된 결과는, 트레이닝된 머신 러닝 모델이, 실제 DOI에 대한 합성 또는 페인팅된 결함의 충실도가 상대적으로 낮은 경우에도 합성 예로부터 실제 DOI를 포착할 수 있음을 보여주었다. 예를 들어, 도 6은 여기에 설명된 대로 생성된 합성 이미지의 한 예와 합성 이미지를 사용하여 트레이닝된 머신 러닝 모델을 사용하여 정확하게 검출 및 분류된 실제 결함 이미지의 한 예를 보여준다. 특히, 도 6에 도시된 이미지(600)는 여기에 설명된 바와 같이 구성된 GUI를 사용하여 생성된 합성 이미지이다. 이 이미지의 합성 결함은 이미지 중앙 근처의 어두운 원이다. 이러한 합성 결함은 무결함 이미지(non-defective image)에 수동으로 원을 드로잉하거나 GUI 이미지 편집 도구에서 사용할 수 있는 원형 프로토타입을 사용하여 무결함 이미지에 생성될 수 있다. 이미지(600)를 실제 결함 이미지(602)와 비교함으로써 알 수 있듯이, 합성 이미지와 실제 결함 이미지 사이에는 다양한 차이가 있다. 예를 들어, 합성 결함 이미지는 상대적으로 선명하고(crisp) 흐릿하지 않은(non-blurred) 에지를 갖는 반면 실제 결함 이미지 에지는 훨씬 더 흐릿하다. 또한, 합성 및 실제 결함 이미지는 패터닝된 피처 내에서 형상과 위치가 다소 다르다. 그럼에도 불구하고, 본 발명자들은 이러한 합성 결함 이미지로 트레이닝된 머신 러닝 모델이 이미지(602)에 도시된 실제 결함을 성공적으로 검출하고 분류할 수 있음을 발견했다. 따라서 실제 결함 대응물(counterparts)에 대한 합성 결함의 충실도가 상대적으로 낮더라도 합성 예에서 실제 결함이 포착될 수 있다.
하나 이상의 컴퓨터 서브시스템은 트레이닝 이미지 및 트레이닝 이미지에 할당된 결함 및/또는 클래스 라벨을 머신 러닝 모델에 입력하는 것과 같은 임의의 적절한 방식으로 머신 러닝 모델을 트레이닝하도록 구성될 수 있다. 라벨은 본 명세서에 설명된 바와 같이(예를 들어, GUI의 주석 도구를 통해) 사용자에 의해 또는 임의의 다른 방식에 의해 (이미 트레이닝된 또다른 결함 분류 방법 또는 시스템에 의해) 트레이닝 이미지에 할당될 수 있다. 라벨은 각 트레이닝 결함 이미지에 할당될 수 있으며 결함 ID 1, 결함 ID 2,… 결함 ID n, 패턴 결함, 브리징 결함 등과 같은 라벨을 포함할 수 있다. 따라서, 상이한 라벨이 각각의 트레이닝 결함 이미지 및/또는 각각의 트레이닝 결함 이미지의 각각의 결함과 연관될 수 있다.
트레이닝 세트는 GUI를 사용하여 사용자가 수정한 이미지 이외의 이미지를 포함할 수도 있다. 예를 들어, 트레이닝 세트는 하나 이상의 다른 합성 이미지를 포함할 수 있으며, 이는 시편에 대한 설계에 가상 결함을 삽입 한 다음, 가상 결함을 포함하는 설계에 대한 시뮬레이션된 이미지를 생성함으로써 생성될 수 있다. 이러한 방식으로, 트레이닝 세트는 시뮬레이션된 이미지를 포함할 수 있다. 이러한 시뮬레이션된 이미지는 위에서 언급된 특허 출원에서 설명된 하나 이상의 머신 러닝 모델에 의해 생성될 수 있다. 트레이닝 세트는 또한 하나 이상의 무결함 이미지를 포함할 수 있다. 예를 들어, 트레이닝 세트에는 결함이 없거나 결함이 검출되지 않은 시편의 이미지가 포함될 수 있다. 결함 이미지와 무결함 이미지를 포함하는 트레이닝 세트를 사용하면, 머신 러닝 모델이 결함 검출에 사용될 때 결함 이미지와 무결함 이미지를 더 잘 구별할 수 있는 머신 러닝 모델을 생성할 수 있다.
하나 이상의 컴퓨터 서브시스템은 또한 하나 이상의 트레이닝 참조 이미지 및/또는 트레이닝 이미지가 생성된 시편에 대한 설계를 사용하여, 머신 러닝 모델에 클래스 라벨 및 트레이닝 이미지를 입력함으로써 머신 러닝 모델을 트레이닝하도록 구성될 수 있다. 예를 들어, 참조 이미지 및/또는 설계는 머신 러닝 모델의 제2(및 가능하면 제3) 채널로 삽입될 수 있다. 참조 이미지는 시편의 무결함 이미지를 포함할 수 있다. 이러한 방식으로, 무결함 이미지 및 결함 이미지는 단일 트레이닝 세트의 이미지가 아닌 상이한 데이터 세트들로서 머신 러닝 모델에 입력될 수 있다. 기준 이미지는 임의의 무결함 이미지를 포함할 수 있으며, 적절한 방식으로 (예를 들면, 시편을 이미징하고 결함이 없는 시편의 이미지를 참조 이미지로 식별함으로써, 결함이 없는 것으로 알려진 시편의 하나 이상의 이미지를 획득함으로써, 시편에 대한 설계로부터 참조 이미지를 시뮬레이션함으로써 등에 의해) 획득될 수 있다. 설계는 임의의 적절한 방식으로 획득될 수 있는 본 명세서에 설명된 임의의 설계 또는 설계 데이터를 포함할 수 있다. 컴퓨터 서브시스템(들)은 (예를 들면, 머신 러닝 모델에 이미지와 정보를 입력하고, 트레이닝 이미지에 대한 머신 러닝 모델에 의해 생성된 결과가 머신 러닝 모델에 입력된 라벨과 일치할 때까지 머신 러닝 모델의 하나 이상의 파라미터를 조정함으로써) 임의의 적절한 방식으로 위에서 설명된 정보 및 이미지를 사용하여 머신 러닝 모델을 트레이닝하도록 구성될 수 있다. 컴퓨터 서브시스템(들)은 위에서 참조로 포함된 임의의 특허 출원 공보에 기술된 바와 같이 머신 러닝 모델을 트레이닝하도록 추가로 구성될 수 있다.
GUI는 다양한 트레이닝 피처를 디스플레이하도록 구성될 수 있다. 일 실시예에서, GUI는 트레이닝 결과를 사용자에게 디스플레이하도록 구성된다. 예를 들어, GUI는 예를 들어, 도 2에 도시된 트레이닝 버튼을 선택함으로써 사용자가 트레이닝을 시작하면 머신 러닝 모델을 트레이닝하기 위한 다양한 옵션을 디스플레이하도록 구성될 수 있다. 트레이닝 피처는 트레이닝에 사용될 하나 이상의 트레이닝 또는 데이터 세트를 선택하는 것과 같은 트레이닝을 위한 임의의 적절한 옵션을 포함할 수 있다. 트레이닝되는 머신 러닝 모델의 파라미터는 가중치 및 편향(biases)과 같은 모델의 임의의 조정 가능한 파라미터가 포함될 수 있다. GUI에 디스플레이되는 트레이닝의 결과는 예를 들어, 결함 이미지로 분류된 이미지, 뉴슨스로 분류된 이미지, 및 트레이닝 결과의 임의의 다른 트레이닝 결과 또는 특성을 포함할 수 있는 머신 러닝 모델을 트레이닝함으로써 생성될 수 있는 임의의 적절한 결과를 포함할 수 있다. 이러한 방식으로, 사용자 인터페이스는 트레이닝 인터페이스일 수 있고 이미지 편집 도구는 트레이닝 인터페이스에 통합될 수 있다.
또 다른 실시예에서, GUI는 이미징 시스템에 의해 시편 또는 다른 시편에 대해 각각 생성된 이미지를 사용하여 시편 또는 또다른 시편에 대해 트레이닝된 머신 러닝 모델에 의해 수행된 하나 이상의 기능의 결과를 디스플레이하도록 구성된다. 예를 들어, GUI는 다른 이용 가능한 이미지에 대한 결과적인 머신 러닝 모델의 성능을 사용자에게 디스플레이하도록 구성될 수 있다. 하나의 그러한 예에서, 도 5의 단계(506)에 도시된 바와 같이, 컴퓨터 서브시스템(들)은 실제 결함을 발견하기 위해 테스트 데이터에 대해 분류기를 실행할 수 있다. 또한, 사용자는 GUI를 사용하여 다양한 데이터 세트에서 각 분류기의 성능을 볼 수 있다.
하나의 그러한 실시예에서, GUI는 시편 또는 다른 시편에 대해 트레이닝된 머신 러닝 모델에 의해 수행된 하나 이상의 기능의 결과를 디스플레이하는 것에 응답하여 사용자로부터 추가 입력을 수신하도록 구성된다. 예를 들어, 트레이닝된 머신 러닝 모델을 실행하는 결과는 본 명세서에서 설명한 바와 같이 GUI에 디스플레이될 수 있으며, 도 5의 단계(508)에서 도시된 바와 같이, 사용자는 트레이닝된 머신 러닝 모델에 의해 플래깅된(flagged) 결함을 검토할 수 있는데, 이는 분류기 또는 본 명세서에서 설명된 다른 유형의 모델일 수 있다. 사용자는 GUI를 사용하여 결과에 대한 정보를 입력할 수 있으며, 여기에는 여기에 설명된 대로 결과를 검증하고 그리고/또는 부정확한 결과 중 임의의 부정확한 결과를 수정하기 위해 결과를 수정하는 것이 포함될 수 있다. 결과를 수정하는 것은(예를 들어, 라벨을 "결함"에서 "뉴슨스" 또는 "무결함"으로, 또는 하나의 결함 클래스에서 또다른 결함 클래스로 변경하기 위해) 하나 이상의 라벨을 제거하거나 수정하는 것을 포함할 수 있다. 라벨은 예를 들어, GUI에 디스플레이되는 여기에 더 설명된 것과 같은 주석 도구를 사용하여 결과에서 수정될 수 있다. 결과 수정은 또한 또는 대안적으로 한 클래스 그룹에서 또다른 클래스 그룹으로 결함을 드래그(drag)하고 드롭(drop)하는 것과 같이 GUI에서 제공되는 임의의 다른 도구를 사용하여 수행될 수 있다.
일부 이러한 실시예에서, 추가 입력은 시편 또는 다른 시편에 대해 트레이닝된 머신 러닝 모델에 의해 수행된 하나 이상의 기능의 결과의 유효성을 포함한다. 예를 들어, 머신 러닝 모델은 시편 또는 또다른 시편에 대해 생성된 나머지 트레이닝 세트 또는 다른 이미지(예를 들면, 테스트 데이터, 검증 데이터 또는 런타임 이미지)에 대해 (결함 검출 및/또는 분류를 위해) 추론을 실행할 수 있다. 사용자는 검출된 및/또는 분류된 결함을 시각적으로 검증할 수 있고 GUI를 사용하여 결함 및/또는 뉴슨스 중 하나 이상에 대한 하나 이상의 입력을 제공하여 이들이 유효한지 여부를 표시할 수 있다. 하나의 그러한 예에서, 사용자는 그들이 유효하다고 결정한 결함을 선택한 다음 선택된 결함을 검증된 데이터로서 저장하기 위해 검증 버튼을 선택할 수 있다. 사용자는 또한 또는 대안적으로, 유효 또는 무효 결과를 위한 라디오 버튼, 개별 결함을 유효 또는 무효 결과로 그룹화하기 위한 드래그 및 드롭 기능성 등을 포함하는 - 이에 제한되지는 않음 -, GUI 내에 디스플레이되는 임의의 다른 도구에 의해, 머신 러닝 모델에 의해 검출되고 그리고/또는 분류된 개별 결함들 중 어느 것이 유효하거나 그렇지 않다는 것을 표시할 수 있다.
추가적인 이러한 실시예에서, 하나 이상의 기능은 시편 또는 다른 시편 상의 결함을 검출하는 것을 포함하고, 추가 입력은 이미지 프로세싱 모듈이 트레이닝 세트에 저장하여 수정된 트레이닝 세트를 생성하기 위한 검출된 결함 중 하나 이상의 선택을 포함하며, 하나 이상의 컴퓨터 서브시스템은 수정된 트레이닝 세트로 머신 러닝 모델을 재트레이닝(re-training)하도록 구성된다. 예를 들어, 도 5의 단계(510)에 도시된 바와 같이, 컴퓨터 서브시스템(들)은 선택적으로 테스트 동안 발견된 실제 결함을 트레이닝 세트에 추가하고 머신 러닝 모델을 재트레이닝할 수 있다.
도 7은 개선된 주석의 일 구현인 BKM(best known method)을 예시한다. 이러한 단계는 DOI에 대한 시각적 스캐닝이 시간이 많이 걸리고 오류가 발생하기 쉬운 경우 수행할 수 있다. 이 단계는 스캐닝될 이미지 영역을 줄일 수 있다. 도 7의 단계(700)에 도시된 바와 같이, 사용자는 여기에 설명된 바와 같이 구성된 GUI를 사용하여 누락된 결함 및/또는 누락된 결함 유형을 페인팅(또는 그렇지 않으면 생성)할 수 있다. 그 다음, 컴퓨터 서브시스템(들)은 여기에 설명된 바와 같이 수행될 수 있는 단계(702)에 도시된 바와 같이 모델을 트레이닝시킬 수 있다. 그런 다음, 트레이닝된 모델은 단계(704)에 도시된 바와 같이 실제 결함을 포착하기 위해 사용될 수 있다. 실제 결함을 포착하는 것은 트레이닝된 머신 러닝 모델을 트레이닝 세트 이외의 데이터 또는 이미지에 적용하여 수행될 수 있으며, 다른 데이터는 테스트 데이터, 런타임 데이터 등을 포함할 수 있다. 그러나 실제 결함을 포착하는 것은 또한 또는 대안적으로 나머지 트레이닝 세트에 대해 수행될 수 있다.
머신 러닝 모델에 의해 생성된 결과는 여기에 설명된 대로 GUI에 디스플레이될 수 있으며, 사용자는 검출된 결함을 시각적으로 검증할 수 있다. 단계(706)에 도시된 바와 같이, 이미지 프로세싱 모듈은 실제 결함을 트레이닝 세트에 추가할 수 있다. 실제 결함은 사용자가 검증한 결함만 포함될 수 있다. 도 7에 추가로 도시된 바와 같이, 단계(706)가 수행된 후, 사용자는 단계(700)에서 여기에 설명된 GUI를 사용하여 임의의 누락된 결함을 다시 페인팅(또는 그렇지 않으면 생성)할 수 있으며, 추가된 실제 결함 및 임의의 새로운 페인팅된(또는 합성) 결함을 포함하는 수정된 트레이닝 세트는 단계(702)를 다시 수행함으로써 모델을 재트레이닝하는 데 사용될 수 있다. 이러한 방식으로, 머신 러닝 모델을 사용하여 시편 상의 결함을 검출하고 그리고/또는 분류할 때마다, 결함 검출 및/또는 분류의 결과가 트레이닝 세트에 추가될 수 있고, 그런 다음, 모델이 재트레이닝될 수 있다. 따라서, 컴퓨터 서브시스템(들)은 머신 러닝 모델이 임의의(또는 일부) 새로 검출되고 그리고/또는 분류된 DOI 및/또는 뉴슨스로 간헐적으로 또는 연속적으로 재트레이닝될 수 있는 일종의 적응 학습(adaptive learning)을 수행하도록 구성될 수 있으며, 이는 시간이 지남에 따라 머신 러닝 모델의 성능을 향상시킬 수 있다.
여기에 설명된 실시예는 머신 러닝 모델을 트레이닝하기 위해 이전에 사용된 방법 및 시스템에 비해 많은 이점을 제공한다. 예를 들어, 여기에 설명된 실시예는 현재 사용되는 방법보다 더 나은 성능, 예를 들어, 개선된 결함 검출 및 분류를 갖는데, 그 이유는 이 실시예는 사용자가 0개의 실제 예를 갖는 DOI를 검출하고 분류하기 위해 모델을 트레이닝하게 허용하기 때문이다. 실시예는 또한, 모델 품질을 개선하기 위해 과소 표현된(under-represented) 결함 유형의 수(count)를 증가시킴으로써 결함 외관에 표현되지 않은(unrepresented) 변형을 포함할 수 있는 소수의 DOI 예가 존재할 때 개선된 결함 검출 및 분류를 제공한다. 또한, 여기에 설명된 실시예는 트레이닝 데이터 없이 학습 기반 결함 검출 및 분류를 위한 실행 가능한 수단을 제공한다. 실시예는 사용자가 웨이퍼 이미지로부터 실제 데이터를 수집하는 시간 소모적이고 오류가 발생하기 쉬우며 때로는 사용할 수 없는 방법에 모두 또는 전적으로 의존하기보다는 결함 외관에 대한 기존 지식을 사용하여 모델을 트레이닝할 수 있도록 한다. 따라서, 여기에 설명된 실시예는 트레이닝 데이터가 이용 불가능하거나 제한될 때 사용자의 전문가 지식을 활용할 수 있다. 이러한 방식으로, 본 명세서에 설명된 실시예들에 의해 제공되는 개선된 결함 검출, 데이터 수집 및 시간 절약은 결함 페인팅 또는 실제 가치의 합성 생성을 만든다.
본 명세서에 설명된 실시예는 또한 트레이닝 데이터에 합성 예를 추가함으로써 이전 도구 기능에서 사용할 수 없는 다음과 같은 피처를 가능하게 하는 개선된 모델 성능을 제공한다. 하나의 새로운 피처는 알려진 예가 없는 결함을 포착하는 것이다. 또다른 새로운 피처는 실질적으로 소수의 예를 가진 결함에 대한 결함 검출 및 분류를 강화하는 것이다. 추가적인 새로운 피처는 트레이닝 세트에서 과소 표현된 변형을 포착하기 위해 주어진 결함 유형의 외관을 변경하는 것이다.
본 명세서에 설명된 실시예는 또한, 실제 결함을 발견하는 데 필요한 시간(레시피까지의 시간)을 상당히 감소시키는데, 이는 합성 결함을 사용해 사용자가 검사를 위해 모델을 상당히 빠르게 트레이닝할 수 있기 때문이다. 대조적으로, 현재 사용되는 방법 및 시스템에서는 결함(또는 심지어 결함의 단지 소수의 예)을 발견하기 위해 전체 시편에 대한 이미지가 생성되어야 했을 수 있다. 본 명세서에 설명된 실시예는 합성 결함에 대해 머신 러닝 모델을 트레이닝함으로써 실질적으로 높은 사용 용이성(ease of use; EOU)을 제공하고, 그런 다음, 이 머신 러닝 모델은 트레이닝 세트에서 "후보" 결함을 발견하는 데 사용될 수 있다. 그런 다음 사용자는 지루하고 오류가 발생하기 쉬운 결함을 발견하기 위해 전체 시편에 대한 모든 이미지를 확인하는(eyeballing) 대신 이러한 후보를 검토하기만 하면 된다.
전술한 각 실시예는 하나의 단일 실시예로 함께 결합될 수 있다.
또 다른 실시예는 머신 러닝 모델을 트레이닝하기 위한 컴퓨터 구현 방법에 관한 것이다. 본 방법은 여기에 더 설명된 디스플레이 단계, 입력 수신 단계, 하나 이상의 변경 적용 단계, 저장 단계 및 트레이닝 단계를 포함한다. 본 발명의 방법의 각각의 단계들은 본 명세서에 추가로 설명된 바와 같이 수행될 수 있다. 방법은 또한 본 명세서에 설명된 시스템, 컴퓨터 서브시스템(들), GUI, 이미지 프로세싱 서브시스템, 머신 러닝 모델 및/또는 이미징 시스템 또는 서브시스템에 의해 수행될 수 있는 임의의 다른 단계(들)를 포함할 수 있다. 하나 이상의 컴퓨터 시스템, 하나 이상의 컴포넌트, GUI, 이미지 프로세싱 모듈 및 머신 러닝 모델은 본 명세서에 설명된 임의의 실시예에 따라 구성될 수 있다. 또한, 전술된 방법은 본 명세서에 설명된 임의의 시스템 실시예들에 의해 수행될 수 있다.
추가적인 실시예는, 머신 러닝 방법을 트레이닝하기 위한 컴퓨터 구현 방법을 수행하기 위해 하나 이상의 컴퓨터 시스템 상에서 실행 가능한 프로그램 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체에 관한 것이다. 하나의 이러한 실시예가 도 8에 도시되어 있다. 특히, 도 8에 도시된 바와 같이, 비일시적 컴퓨터 판독 가능 매체(800)는 컴퓨터 시스템(들)(804) 상에서 실행 가능한 프로그램 명령어(802)를 포함한다. 컴퓨터 구현식 방법은 본 명세서에 설명된 임의의 방법(들)의 임의의 단계(들)를 포함할 수 있다.
본 명세서에 설명된 것과 같은 방법을 구현하는 프로그램 명령어(802)는 컴퓨터 판독 가능한 매체(800) 상에 저장될 수 있다. 컴퓨터 판독가능 매체는 자기 또는 광학 디스크, 자기 테이프, 또는 당 기술 분야에 공지된 임의의 다른 적합한 비일시적 컴퓨터 판독가능 매체와 같은 저장 매체일 수도 있다.
프로그램 명령어는 절차 기반 기술(procedure-based techniques), 컴포넌트 기반 기술(component-based techniques) 및/또는 객체 지향 기술(object-oriented techniques)을 포함하는 다양한 방법들 중 임의의 방법으로 구현될 수 있다. 예를 들어, 프로그램 명령은 원하는 바에 따라, ActiveX 콘트롤, C++ 객체, JavaBeans, 마이크로소프트 파운데이션 클래스("MFC"; Microsoft Foundation Classes), SSE(Streaming SIMD Extension) 또는 다른 기술 또는 방법론을 사용하여 구현될 수 있다.
컴퓨터 시스템(들)(804)은 본 명세서에 설명된 임의의 실시예들에 따라 구성될 수 있다.
본 발명의 다양한 양태의 추가의 수정 및 대안 실시예가 이 설명의 견지에서 당 기술 분야의 숙련자들에게 명백할 것이다. 예를 들어, 하나 이상의 합성 이미지로 머신 러닝 모델을 트레이닝하기 위한 방법과 시스템이 제공된다. 따라서, 이러한 설명은 단지 예시적인 것으로 해석되어야 하며, 당업자가 본 발명을 실시하는 일반적인 방법을 교시하기 위한 것이다. 본 명세서에 도시되어 있고 설명되어 있는 발명의 형태는 현재 바람직한 실시예로서 취해져야 한다는 것이 이해되어야 한다. 모두 본 발명의 이 설명의 이익을 가진 후에 당 기술 분야의 숙련자에게 명백할 수 있는 바와 같이, 요소 및 재료는 본 명세서에 도시되어 있고 설명되어 있는 것들에 대해 치환될 수 있고, 부분 및 프로세스는 역전될 수 있고, 본 발명의 특정 피처는 독립적으로 이용될 수 있다. 변경이 이하의 청구항들에 설명된 바와 같은 발명의 사상 및 범주로부터 벗어나지 않고 본 명세서에 설명된 요소에 이루어질 수 있다.

Claims (24)

  1. 머신 러닝 모델(machine learning model)을 트레이닝하도록 구성된 시스템에 있어서,
    하나 이상의 컴퓨터 서브시스템; 및
    하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 컴포넌트
    를 포함하고, 상기 하나 이상의 컴포넌트는,
    그래픽 사용자 인터페이스(graphical user interface; GUI) - 상기 그래픽 사용자 인터페이스는,
    시편(specimen)에 대한 하나 이상의 이미지 및 이미지 편집 도구를 사용자에게 디스플레이하고;
    상기 사용자로부터 입력 - 상기 이미지 편집 도구 중 하나 이상을 사용하여 상기 하나 이상의 이미지 중 적어도 하나에 대한 하나 이상의 변경을 포함함 - 을 수신하도록 구성됨 -;
    상기 하나 이상의 이미지 중 상기 적어도 하나에 상기 하나 이상의 변경을 적용하여 적어도 하나의 수정된 이미지를 생성하고 상기 적어도 하나의 수정된 이미지를 트레이닝 세트에 저장하도록 구성된 이미지 프로세싱 모듈; 및
    이미징 서브시스템에 의해 상기 시편에 대해 생성된 이미지를 사용하여 상기 시편에 대한 하나 이상의 기능을 수행하도록 구성된 머신 러닝 모델
    을 포함하고,
    상기 하나 이상의 컴퓨터 서브시스템은, 상기 적어도 하나의 수정된 이미지가 저장되는 상기 트레이닝 세트를 사용해 상기 머신 러닝 모델을 트레이닝하도록 구성되는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  2. 제1항에 있어서,
    상기 GUI에 디스플레이된 상기 하나 이상의 이미지는 초기 트레이닝 세트에 포함된 이미지이고, 상기 저장하는 것은, 상기 적어도 하나의 수정된 이미지를 상기 초기 트레이닝 세트에 추가하여 상기 트레이닝 세트를 생성하는 것을 포함하는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  3. 제1항에 있어서,
    상기 하나 이상의 변경은 결함 클래스 라벨(defect class label)로 상기 하나 이상의 이미지 중 상기 적어도 하나에 주석을 다는 것을 포함하는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  4. 제1항에 있어서,
    상기 하나 이상의 변경은 상기 하나 이상의 이미지 중 상기 적어도 하나에서 합성 결함(synthetic defect)을 생성하는 것을 포함하는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  5. 제1항에 있어서,
    상기 하나 이상의 변경은 상기 이미지 편집 도구에 포함된 드로잉 도구(drawing tool)로 상기 사용자에 의해 입력된 하나 이상의 수동으로 드로잉된 변경을 포함하는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  6. 제1항에 있어서,
    상기 하나 이상의 변경은 알려진 관심 결함(known defect of interest)에 대응하는 이미지의 일부를 상기 하나 이상의 이미지 중 상기 적어도 하나에 붙여 넣는(pasting) 것을 포함하는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  7. 제1항에 있어서,
    상기 하나 이상의 변경은 상기 시편에 대해 알려진 관심 결함의 하나 이상의 특성에 기초하여 상기 하나 이상의 이미지 중 상기 적어도 하나에서 합성 결함을 생성하는 것을 포함하는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  8. 제1항에 있어서,
    상기 GUI에 디스플레이된 상기 하나 이상의 이미지는 초기 트레이닝 세트의 이미지이고, 상기 초기 트레이닝 세트는 상기 시편에 대해 알려진 관심 결함의 임의의 인스턴스를 포함하지 않으며, 상기 하나 이상의 변경은 상기 알려진 관심 결함의 하나 이상의 특성에 기초하여 상기 하나 이상의 이미지 중 상기 적어도 하나에 합성 결함을 생성하는 단계를 포함하며, 상기 저장하는 것은 상기 적어도 하나의 수정된 이미지를 상기 초기 트레이닝 세트에 추가하여 상기 트레이닝 세트를 생성하는 것을 포함하는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  9. 제1항에 있어서,
    상기 GUI에 디스플레이된 상기 하나 이상의 이미지는 초기 트레이닝 세트의 이미지이고, 상기 초기 트레이닝 세트는 상기 시편에 대해 알려진 관심 결함의 미리 결정된 수보다 적은 인스턴스를 포함하고, 상기 하나 이상의 변경은 상기 알려진 관심 결함의 하나 이상의 특성에 기초하여 상기 하나 이상의 이미지 중 상기 적어도 하나에 하나 이상의 합성 결함을 생성함으로써, 상기 적어도 하나의 수정된 이미지 중 하나 이상을 생성하는 것을 포함하며, 상기 저장하는 것은 상기 적어도 하나의 수정된 이미지 중 상기 하나 이상을 상기 초기 트레이닝 세트에 추가하여 상기 트레이닝 세트를 생성하는 것을 포함하는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  10. 제1항에 있어서,
    상기 하나 이상의 변경은 결함에 대응하는 상기 하나 이상의 이미지 중 상기 적어도 하나의 일부에 대한 하나 이상의 수정을 포함하고, 상기 적어도 하나의 수정된 이미지를 생성하는 것은 상기 하나 이상의 수정에 기초해 새로운 이미지를 생성하는 것을 포함하는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  11. 제10항에 있어서,
    상기 하나 이상의 수정은 스케일링, 회전, 에지 블러링(edge blurring), 또는 강도 수정을 포함하는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  12. 제1항에 있어서,
    상기 GUI는 또한, 상기 트레이닝의 결과를 상기 사용자에게 디스플레이하도록 구성되는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  13. 제1항에 있어서,
    상기 GUI는 또한, 상기 이미징 시스템에 의해, 상기 시편 또는 다른 시편에 대해 각각 생성된 이미지를 사용하여 상기 시편 또는 또다른 시편에 대해 상기 트레이닝된 머신 러닝 모델에 의해 수행된 상기 하나 이상의 기능의 결과를 디스플레이하도록 구성되는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  14. 제13항에 있어서,
    상기 GUI는 또한, 상기 시편 또는 상기 다른 시편에 대해 상기 트레이닝된 머신 러닝 모델에 의해 수행된 상기 하나 이상의 기능의 결과를 디스플레이하는 것에 응답하여 상기 사용자로부터 추가 입력을 수신하도록 구성되는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  15. 제14항에 있어서,
    상기 추가 입력은 상기 시편 또는 상기 다른 시편에 대해 상기 트레이닝된 머신 러닝 모델에 의해 수행된 상기 하나 이상의 기능의 결과의 유효성을 포함하는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  16. 제14항에 있어서,
    상기 하나 이상의 기능은 상기 시편 또는 상기 다른 시편 상의 결함을 검출하는 것을 포함하고, 상기 추가 입력은 상기 이미지 프로세싱 모듈이 상기 트레이닝 세트에 저장하여 수정된 트레이닝 세트를 생성하기 위한 상기 검출된 결함 중 하나 이상의 선택을 포함하며, 상기 하나 이상의 컴퓨터 서브시스템은 또한, 상기 수정된 트레이닝 세트를 사용해 상기 머신 러닝 모델을 재트레이닝(re-training)하도록 구성되는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  17. 제1항에 있어서,
    상기 하나 이상의 기능은 상기 시편 상의 결함을 검출하는 것을 포함하는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  18. 제1항에 있어서,
    상기 하나 이상의 기능은 상기 시편 상에서 검출된 결함을 분류하는 것을 포함하는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  19. 제1항에 있어서,
    상기 이미징 서브시스템은 전자 빔 기반 이미징 서브시스템으로서 구성되는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  20. 제1항에 있어서,
    상기 이미징 서브시스템은 광학 기반 이미징 서브시스템으로서 구성되는 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  21. 제1항에 있어서,
    상기 시편은 웨이퍼인 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  22. 제1항에 있어서,
    상기 시편은 레티클인 것인, 머신 러닝 모델을 트레이닝하도록 구성된 시스템.
  23. 머신 러닝 모델을 트레이닝하기 위한 컴퓨터 구현 방법(computer-implemented method)을 수행하기 위해 하나 이상의 컴퓨터 시스템에서 실행 가능한 프로그램 명령어들을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 컴퓨터 구현 방법은,
    그래픽 사용자 인터페이스(GUI)를 사용하여 시편에 대한 하나 이상의 이미지 및 이미지 편집 도구를 사용자에게 디스플레이하는 단계;
    상기 GUI를 통해 상기 사용자로부터 입력 - 상기 입력은 상기 이미지 편집 도구 중 하나 이상을 사용하여 상기 하나 이상의 이미지 중 적어도 하나에 대한 하나 이상의 변경을 포함함 - 을 수신하는 단계 ;
    상기 하나 이상의 이미지 중 상기 적어도 하나에 상기 하나 이상의 변경을 적용하여 적어도 하나의 수정된 이미지를 생성하는 단계;
    상기 적어도 하나의 수정된 이미지를 트레이닝 세트에 저장하는 단계 - 상기 적용 및 상기 저장은 이미지 프로세싱 모듈에 의해 수행됨 -; 및
    상기 적어도 하나의 수정된 이미지가 저장되는 상기 트레이닝 세트를 사용해 머신 러닝 모델을 트레이닝하는 단계
    를 포함하고, 상기 머신 러닝 모델은 이미징 서브시스템에 의해 상기 시편에 대해 생성된 이미지를 사용하여 상기 시편에 대해 하나 이상의 기능을 수행하도록 구성되며, 상기 GUI, 상기 이미지 프로세싱 모듈 및 상기 머신 러닝 모델은 상기 하나 이상의 컴퓨터 시스템에 의해 실행되는 하나 이상의 컴포넌트에 포함되며, 상기 트레이닝은 상기 하나 이상의 컴퓨터 시스템에 의해 수행되는 것인, 비일시적 컴퓨터 판독 가능 매체.
  24. 머신 러닝 모델을 트레이닝하기 위한 컴퓨터 구현 방법에 있어서,
    그래픽 사용자 인터페이스(GUI)를 사용하여 시편 및 이미지 편집 도구에 대한 하나 이상의 이미지를 사용자에게 디스플레이하는 단계;
    상기 GUI를 통해 상기 사용자로부터 입력 - 상기 입력은 상기 이미지 편집 도구 중 하나 이상을 사용하여 상기 하나 이상의 이미지 중 적어도 하나에 대한 하나 이상의 변경을 포함함 - 을 수신하는 단계;
    상기 하나 이상의 이미지 중 상기 적어도 하나에 상기 하나 이상의 변경을 적용하여 적어도 하나의 수정된 이미지를 생성하는 단계;
    상기 적어도 하나의 수정된 이미지를 트레이닝 세트에 저장하는 단계 - 상기 적용 및 상기 저장은 이미지 프로세싱 모듈에 의해 수행됨 -; 및
    상기 적어도 하나의 수정된 이미지가 저장되는 상기 트레이닝 세트를 사용해 머신 러닝 모델을 트레이닝하는 단계
    를 포함하고, 상기 머신 러닝 모델은 이미징 서브시스템에 의해 상기 시편에 대해 생성된 이미지를 사용하여 상기 시편에 대해 하나 이상의 기능을 수행하도록 구성되며, 상기 GUI, 상기 이미지 프로세싱 모듈 및 상기 머신 러닝 모델은 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 컴포넌트에 포함되며, 상기 트레이닝은 상기 하나 이상의 컴퓨터 서브시스템에 의해 수행되는 것인, 머신 러닝 모델을 트레이닝하기 위한 컴퓨터 구현 방법.
KR1020207030169A 2018-03-21 2019-03-19 합성 이미지를 사용한 머신 러닝 모델 트레이닝 KR20200123858A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862646207P 2018-03-21 2018-03-21
US62/646,207 2018-03-21
US16/357,360 US11170255B2 (en) 2018-03-21 2019-03-19 Training a machine learning model with synthetic images
PCT/US2019/023047 WO2019183153A1 (en) 2018-03-21 2019-03-19 Training a machine learning model with synthetic images
US16/357,360 2019-03-19

Publications (1)

Publication Number Publication Date
KR20200123858A true KR20200123858A (ko) 2020-10-30

Family

ID=67985281

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207030169A KR20200123858A (ko) 2018-03-21 2019-03-19 합성 이미지를 사용한 머신 러닝 모델 트레이닝

Country Status (3)

Country Link
US (1) US11170255B2 (ko)
KR (1) KR20200123858A (ko)
WO (1) WO2019183153A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024073344A1 (en) * 2022-09-26 2024-04-04 Lam Research Corporation Generation of synthetic semiconductor images

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580375B2 (en) 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
US11410073B1 (en) * 2017-05-31 2022-08-09 The Mathworks, Inc. Systems and methods for robust feature selection
US10769766B1 (en) 2018-05-31 2020-09-08 Amazon Technologies, Inc. Regularized multi-label classification from partially labeled training data
US11615208B2 (en) 2018-07-06 2023-03-28 Capital One Services, Llc Systems and methods for synthetic data generation
JP2020042737A (ja) * 2018-09-13 2020-03-19 株式会社東芝 モデル更新支援システム
US11580329B2 (en) 2018-09-18 2023-02-14 Microsoft Technology Licensing, Llc Machine-learning training service for synthetic data
KR102638267B1 (ko) * 2018-12-03 2024-02-21 삼성전자주식회사 반도체 웨이퍼 불량 분석 시스템 및 그것의 동작 방법
US10950508B2 (en) * 2019-03-20 2021-03-16 Samsung Electronics Co., Ltd. Ion depth profile control method, ion implantation method and semiconductor device manufacturing method based on the control method, and ion implantation system adapting the control method
US11386539B2 (en) * 2019-05-29 2022-07-12 Applied Materials Israel Ltd. Detecting defects in a semiconductor specimen
US11475556B2 (en) * 2019-05-30 2022-10-18 Bruker Nano, Inc. Method and apparatus for rapidly classifying defects in subcomponents of manufactured component
US11497221B2 (en) 2019-07-19 2022-11-15 Walmart Apollo, Llc Systems and methods for managing meat cut quality
CN112784181A (zh) * 2019-11-08 2021-05-11 阿里巴巴集团控股有限公司 信息展示、图像处理方法及设备、信息展示装置
TWI786346B (zh) * 2019-11-14 2022-12-11 財團法人資訊工業策進會 遷移式模型訓練系統以及方法
US11386649B2 (en) 2019-11-15 2022-07-12 Maxar Intelligence Inc. Automated concrete/asphalt detection based on sensor time delay
US11010606B1 (en) 2019-11-15 2021-05-18 Maxar Intelligence Inc. Cloud detection from satellite imagery
US11250260B2 (en) 2019-11-15 2022-02-15 Maxar Intelligence Inc. Automated process for dynamic material classification in remotely sensed imagery
US11501424B2 (en) * 2019-11-18 2022-11-15 Stmicroelectronics (Rousset) Sas Neural network training device, system and method
US11200659B2 (en) 2019-11-18 2021-12-14 Stmicroelectronics (Rousset) Sas Neural network training device, system and method
JP7418200B2 (ja) 2019-12-19 2024-01-19 キヤノン株式会社 識別装置、処理装置、処理方法、およびプログラム
KR20210087335A (ko) * 2020-01-02 2021-07-12 엘지전자 주식회사 로컬 장치의 성능 향상
WO2021150973A1 (en) * 2020-01-24 2021-07-29 Duke University Intelligent automated imaging system
US11256967B2 (en) 2020-01-27 2022-02-22 Kla Corporation Characterization system and method with guided defect discovery
EP4111054A1 (en) * 2020-02-27 2023-01-04 LM Wind Power A/S System and method for monitoring wind turbine rotor blades using infrared imaging and machine learning
US11022566B1 (en) * 2020-03-31 2021-06-01 Applied Materials Israel Ltd. Examination of a semiconductor specimen
US20210334946A1 (en) * 2020-04-24 2021-10-28 Camtek Ltd. Method and system for classifying defects in wafer using wafer-defect images, based on deep learning
CN115769275A (zh) * 2020-05-05 2023-03-07 美国安进公司 用于自动视觉检查的深度学习平台
WO2021250884A1 (ja) * 2020-06-12 2021-12-16 株式会社日立ハイテク 欠陥検査のための方法、システム、及びコンピューター可読媒体
WO2022029771A1 (en) * 2020-08-03 2022-02-10 Inspekto A.M.V Ltd Adaptive system and method for inspection of imaged items
US11328410B2 (en) * 2020-08-03 2022-05-10 KLA Corp. Deep generative models for optical or other mode selection
IL276478B2 (en) * 2020-08-03 2023-07-01 Inspekto A M V Ltd Adaptive system and method for inspecting photographed objects
US11776108B2 (en) 2020-08-05 2023-10-03 KLA Corp. Deep learning based defect detection
US11562476B2 (en) * 2020-09-03 2023-01-24 Applied Materials Israel Ltd. Determination of a simulated image of a specimen
JP2022043791A (ja) * 2020-09-04 2022-03-16 キオクシア株式会社 情報処理装置
US20220172100A1 (en) * 2020-11-27 2022-06-02 Amazon Technologies, Inc. Feedback-based training for anomaly detection
DE102020216289A1 (de) * 2020-12-18 2022-06-23 Fresenius Medical Care Deutschland Gmbh Verfahren zur klassifizierung von bildern und verfahren zur optischen prüfung eines objekts
US20220270212A1 (en) * 2021-02-25 2022-08-25 Kla Corporation Methods for improving optical inspection and metrology image quality using chip design data
WO2022187057A1 (en) * 2021-03-05 2022-09-09 Applied Materials, Inc. Detecting an excursion of a cmp component using time-based sequence of images
CN113362288B (zh) * 2021-05-24 2024-03-08 深圳明锐理想科技股份有限公司 一种金手指划伤检测方法、装置以及电子设备
WO2023277906A1 (en) * 2021-06-30 2023-01-05 Hewlett-Packard Development Company, L.P. Synthetic images for machine learning
EP4220449A4 (en) * 2021-12-03 2023-12-06 Contemporary Amperex Technology Co., Limited DATA ANNOTATION METHOD AND SYSTEM FOR IMAGE SEGMENTATION, AND IMAGE SEGMENTATION DEVICE
GB2613879A (en) * 2021-12-17 2023-06-21 Zeta Motion Ltd Automated inspection system
WO2023168366A2 (en) * 2022-03-03 2023-09-07 Siemens Healthcare Diagnostics Inc. Diagnostic laboratory systems and methods of imaging tube assemblies
US11727672B1 (en) * 2022-05-24 2023-08-15 Nanotronics Imaging, Inc. System and method for generating training data sets for specimen defect detection

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100428277C (zh) * 1999-11-29 2008-10-22 奥林巴斯光学工业株式会社 缺陷检查系统
US7529394B2 (en) 2003-06-27 2009-05-05 Siemens Medical Solutions Usa, Inc. CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system
JP2006220644A (ja) 2005-01-14 2006-08-24 Hitachi High-Technologies Corp パターン検査方法及びその装置
TWI447575B (zh) * 2005-01-21 2014-08-01 Photon Dynamics Inc 自動缺陷修復系統
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US8698093B1 (en) 2007-01-19 2014-04-15 Kla-Tencor Corporation Objective lens with deflector plates immersed in electrostatic lens field
US8126255B2 (en) 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
JP5452392B2 (ja) * 2009-12-16 2014-03-26 株式会社日立ハイテクノロジーズ 欠陥観察方法及び欠陥観察装置
US8664594B1 (en) 2011-04-18 2014-03-04 Kla-Tencor Corporation Electron-optical system for high-speed and high-sensitivity inspections
US8692204B2 (en) 2011-04-26 2014-04-08 Kla-Tencor Corporation Apparatus and methods for electron beam detection
US8716662B1 (en) 2012-07-16 2014-05-06 Kla-Tencor Corporation Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations
US9222895B2 (en) 2013-02-25 2015-12-29 Kla-Tencor Corp. Generalized virtual inspector
US10186026B2 (en) 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
US9965901B2 (en) 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
US9916965B2 (en) 2015-12-31 2018-03-13 Kla-Tencor Corp. Hybrid inspectors
US11580375B2 (en) 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
US10648924B2 (en) 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US10181185B2 (en) 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
US10043261B2 (en) 2016-01-11 2018-08-07 Kla-Tencor Corp. Generating simulated output for a specimen
US10360477B2 (en) * 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
US10395356B2 (en) 2016-05-25 2019-08-27 Kla-Tencor Corp. Generating simulated images from input images for semiconductor applications
US10346740B2 (en) 2016-06-01 2019-07-09 Kla-Tencor Corp. Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
US11580398B2 (en) 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
US10395362B2 (en) 2017-04-07 2019-08-27 Kla-Tencor Corp. Contour based defect detection
US10733744B2 (en) 2017-05-11 2020-08-04 Kla-Tencor Corp. Learning based approach for aligning images acquired with different modalities
US10769761B2 (en) 2017-06-30 2020-09-08 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US10607119B2 (en) 2017-09-06 2020-03-31 Kla-Tencor Corp. Unified neural network for defect detection and classification
JP6924413B2 (ja) * 2017-12-25 2021-08-25 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
WO2019155467A1 (en) * 2018-02-07 2019-08-15 Applied Materials Israel Ltd. Method of generating a training set usable for examination of a semiconductor specimen and system thereof
US10839575B2 (en) * 2018-03-15 2020-11-17 Adobe Inc. User-guided image completion with image completion neural networks

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024073344A1 (en) * 2022-09-26 2024-04-04 Lam Research Corporation Generation of synthetic semiconductor images

Also Published As

Publication number Publication date
TW201946181A (zh) 2019-12-01
US11170255B2 (en) 2021-11-09
WO2019183153A1 (en) 2019-09-26
CN111819583A (zh) 2020-10-23
US20190294923A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
US11170255B2 (en) Training a machine learning model with synthetic images
CN111094952B (zh) 使用统一神经网络进行缺陷检测及分类的方法及系统
TWI735774B (zh) 基於輪廓之缺陷偵測
TWI722050B (zh) 單一影像偵測
TWI711978B (zh) 用於執行針對樣本之功能之系統及電腦實施方法，以及電腦可讀媒體
TWI683103B (zh) 於樣品上判定所關注圖案之一或多個特性
US9601393B2 (en) Selecting one or more parameters for inspection of a wafer
TW201921542A (zh) 識別在一晶圓上偵測到之缺陷中之損害及所關注缺陷
US20070031026A1 (en) Method and apparatus for reviewing defects of semiconductor device
US20090208090A1 (en) Method and apparatus for inspecting defect of pattern formed on semiconductor device
US11961219B2 (en) Generative adversarial networks (GANs) for simulating specimen images
JP2017516107A (ja) 光学式検査及び光学式レビューからの欠陥属性に基づく電子ビームレビューのための欠陥サンプリング
TWI798521B (zh) 選擇一或多個設計檔案以供在測試影像與設計對準中使用之系統及電腦實施之方法，以及非暫時性電腦可讀媒體
TW202226027A (zh) 用於光學或其他模式選擇之深度生成模型
TWI840346B (zh) 以合成圖像訓練機器學習模型
CN111819583B (zh) 用于使用合成缺陷图像训练机器学习模型的方法和系统
TW202334641A (zh) 用於基於半導體應用之無監督或自我監督之深度學習
US11114324B2 (en) Defect candidate generation for inspection
TWI836146B (zh) 多成像模式影像對準
US20220318986A1 (en) Semantic image segmentation for semiconductor-based applications
CN117015850B (zh) 以经呈现设计图像进行的设计注意区域的分段
CN117561539A (zh) 用于基于半导体应用的无监督或自我监督的深度学习

Legal Events

Date Code Title Description
A201 Request for examination