KR20200039808A - 결함 검출 및 분류를 위한 통합된 뉴럴 네트워크 - Google Patents

결함 검출 및 분류를 위한 통합된 뉴럴 네트워크 Download PDF

Info

Publication number
KR20200039808A
KR20200039808A KR1020207009624A KR20207009624A KR20200039808A KR 20200039808 A KR20200039808 A KR 20200039808A KR 1020207009624 A KR1020207009624 A KR 1020207009624A KR 20207009624 A KR20207009624 A KR 20207009624A KR 20200039808 A KR20200039808 A KR 20200039808A
Authority
KR
South Korea
Prior art keywords
image
neural network
sample
defect
classification
Prior art date
Application number
KR1020207009624A
Other languages
English (en)
Other versions
KR102336469B1 (ko
Inventor
리 헤
모한 마하데반
산카르 벵카타라만
후아준 잉
헤동 양
Original Assignee
케이엘에이 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 케이엘에이 코포레이션 filed Critical 케이엘에이 코포레이션
Publication of KR20200039808A publication Critical patent/KR20200039808A/ko
Application granted granted Critical
Publication of KR102336469B1 publication Critical patent/KR102336469B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

표본 상의 결함을 검출하고 분류하기 위한 방법 및 시스템이 제공된다. 하나의 시스템은 하나 이상의 컴퓨터 서브 시스템에 의해 실행되는 하나 이상의 컴포넌트를 포함한다. 하나 이상의 컴포넌트는 표본 상의 결함을 검출하고 표본 상에서 검출된 결함을 분류하도록 구성된 뉴럴 네트워크를 포함한다. 뉴럴 네트워크는 이미징 서브 시스템에 의해 생성된 표본의 이미지의 특징을 결정하도록 구성된 제1 부분을 포함한다. 뉴럴 네트워크는 또한 이미지의 결정된 특징에 기초하여 표본 상의 결함을 검출하고 이미지의 결정된 특징에 기초하여 표본 상에서 검출된 결함을 분류하도록 구성된 제2 부분을 포함한다.

Description

결함 검출 및 분류를 위한 통합된 뉴럴 네트워크
본 발명은 일반적으로 결함 검출 및 분류를 위해 통합된 뉴럴 네트워크를 사용하도록 구성된 방법 및 시스템에 관한 것이다.
다음의 설명 및 예는 이 섹션에 포함되어 있기 때문에 종래 기술인 것으로 인정되는 것은 아니다.
로직 및 메모리 디바이스와 같은 반도체 디바이스를 제조하는 것은 전형적으로 다양한 특징 및 다중 레벨의 반도체 디바이스를 형성하기 위해 다수의 반도체 제조 공정을 사용하여 반도체 웨이퍼와 같은 기판을 처리하는 단계를 포함한다. 예를 들어, 리소그래피는 레티클로부터 반도체 웨이퍼 상에 배열된 레지스트로 패턴을 전사하는 것을 포함하는 반도체 제조 공정이다. 반도체 제조 공정의 추가적인 예는 화학적-기계적 연마(chemical-mechanical polishing, CMP), 에칭, 증착 및 이온 주입을 포함하지만 이에 제한되지는 않는다. 다수의 반도체 디바이스는 단일 반도체 웨이퍼 상에 배열(arrangement)로 제조된 후 개별 반도체 디바이스로 분리될 수 있다.
검사 공정은 반도체 제조 공정 동안 다양한 단계에서 사용되어 표본 상의 결함을 검출하여 제조 공정에서 더 높은 수율을 달성함으로써 수익을 높인다. 검사는 항상 반도체 디바이스 제조에서 중요한 부분이었다. 그러나, 반도체 디바이스의 치수가 감소함에 따라, 결함이 적을수록 디바이스의 고장을 유발할 수 있기 때문에, 수용 가능한 반도체 디바이스의 성공적인 제조에 있어서 검사가 훨씬 더 중요해지고 있다.
결함 검토는 전형적으로 검사 공정에 의해 검출된 결함을 재검출하고, 고배율 광학 시스템 또는 주사 전자 현미경(scanning electron microscope, SEM)을 사용하여 더 높은 해상도에서 결함에 관한 추가 정보를 생성하는 것을 포함한다. 따라서 결함 검토는 결함이 검사에 의해 검출된 표본 상의 개별 위치에서 수행된다. 결함 검토에 의해 생성된 결함에 대한 더 높은 해상도의 데이터는 프로파일, 거칠기, 보다 정확한 크기 정보 등과 같은 결함의 속성을 결정하는 데 더 적합하다. 결함은 일반적으로 검사에 비하여 결함 검토에 의해 결정된 정보에 기초하여 결함 유형으로 보다 정확하게 분류될 수 있다.
딥 러닝의 발전으로 딥 러닝은 결함 검출 및 분류에 사용하기 위한 매력적인 프레임워크가 되었다. 결함 검출 및 분류를 위한 딥 러닝 프레임워크를 사용하는 현재의 접근 방식은 이러한 각 문제를 독립적으로 해결했다. 예를 들어, 분류를 위해, 트레이닝에서, 사용자는 이미지 레벨 레이블(image level label)을 결함 이미지(defect image)에 할당(assign)할 수 있다. 이미지 레벨 레이블 및 결함 이미지는 CNN(Convolutional Neural Network)을 트레이닝시키는 데 사용된다. (트레이닝 후) 생산 동안, CNN으로의 입력으로서 결함 이미지를 가지고 CNN은 이미지 분류 및 이미지 분류와 관련된 신뢰도(confidence)를 출력할 것이다. 또한, 검출을 위해, 사용자는 픽셀 레벨 레이블을 결함 이미지(전형적으로 결함 이미지의 다수의 클래스)에 할당할 수 있다. 픽셀 레벨 레이블 및 결함 이미지는 결함 분류를 위해 트레이닝되는 CNN과는 상이한 검출 CNN을 트레이닝시키는 데 사용된다. 다시 말해서, 검출 CNN과 분류 CNN은 상호 배타적이다. 검출 CNN(블롭(blob))으로부터의 출력 및 블롭 레벨 레이블은 분류 CNN을 트레이닝시키기 위해 사용될 수 있다. (검출 CNN의 트레이닝 후) 생산 동안, 결함 이미지는 검출 CNN에 입력되고, 이는 블롭을 출력하고, 분류 CNN은 블롭 분류 및 관련 신뢰도에 따라 출력한다.
그러나, 전술한 현재 사용되는 방법 및 시스템에는 많은 단점이 있다. 예를 들어, 현재 사용되는 방법의 사용 용이성은 불리하다. 특히, 검출 네트워크가 학습하기 위해 픽셀 레벨에서 결함에 주석을 달아야 하는(annotate) 상당히 높은 부담이 사용자에게 있다. 또한, 3 개의 네트워크에 대한 실질적으로 긴 트레이닝 시간 및 트레이닝 결함 요건 때문에 트레이닝 비용이 상당히 높다. 다른 예에서, 현재 사용되는 방법에 대한 지식 공유의 부족은 불리하다. 특히, 현재 사용되는 방법에서, 사전 지식을 사용하는 것은 어렵다. 예를 들어, 사용자는 네트워크에 대해 사전 트레이닝된 가중치를 얻기 위해 실질적으로 많은 양의 이전 데이터의 픽셀에 주석을 달 필요가 있다. 또한, 현재 사용되는 방법은 분류 및 검출을 위해 상이한 네트워크에 대해 별도의 사전 트레이닝된 가중치를 획득할 필요가 있다. 더욱이, 현재 사용되는 접근법은 분류 네트워크에서 학습된 것을 최대한의 성능을 위한 검출에 활용하지 못한다. 추가적인 예에서, 현재 사용되는 프레임워크는 검출 및 분류를 별개의 문제로 취급하여 트레이닝 비용을 증가시킨다. 다른 예에서, 현재 사용되는 접근법은 딥 러닝을 위한 글로벌 로드맵이 발전함에 따라 더 새로운 기술로 확장하기가 어렵다. 또 다른 예에서, 현재 사용되는 방법의 비용은 불리하다. 특히, 별도의 트레이닝 과정으로 인하여 이미지 컴퓨터 비용이 실질적으로 높다.
따라서, 전술한 단점 중 하나 이상을 갖지 않는 표본 상의 결함을 검출하고 분류하기 위한 시스템 및 방법을 개발하는 것이 유리할 것이다.
다양한 실시 예들의 다음의 설명은 어떠한 방식으로도 첨부된 청구범위의 대상(subject matter)을 제한하는 것으로 해석되어서는 안 된다.
일 실시 예는 표본 상의 결함을 검출하고 분류하도록 구성된 시스템에 관한 것이다. 시스템은 하나 이상의 컴퓨터 서브 시스템 및 하나 이상의 컴퓨터 서브 시스템에 의해 실행되는 하나 이상의 컴포넌트를 포함한다. 하나 이상의 컴포넌트는 표본 상의 결함을 검출하고 표본 상에서 검출된 결함을 분류하도록 구성된 뉴럴 네트워크(neural network)를 포함한다. 뉴럴 네트워크는 이미징 서브 시스템에 의해 생성된 표본의 이미지의 특징(feature)을 결정하도록 구성된 제1 부분을 포함한다. 뉴럴 네트워크는 또한 이미지의 결정된 특징에 기초하여 표본 상의 결함을 검출하고 이미지의 결정된 특징에 기초하여 표본 상에서 검출된 결함을 분류하도록 구성된 제2 부분을 포함한다. 하나 이상의 컴퓨터 서브 시스템은 검출 및 분류의 결과를 생성하도록 구성된다. 시스템은 본 명세서에 설명된 바와 같이 추가로 구성될 수 있다.
추가의 실시 예는 표본 상의 결함을 검출하고 분류하도록 구성된 다른 시스템에 관한 것이다. 이 시스템은 위에서 설명한 대로 구성된다. 이 시스템은 또한 표본의 이미지를 생성하도록 구성된 이미징 서브 시스템을 포함한다. 이 실시 예에서, 컴퓨터 서브 시스템(들)은 이미지를 획득하도록 구성된다. 시스템의 이 실시 예는 본 명세서에 설명된 바와 같이 추가로 구성될 수 있다.
다른 실시 예는 표본 상의 결함을 검출하고 분류하기 위한 컴퓨터 구현 방법에 관한 것이다. 이 방법은 이미징 서브 시스템에 의해 생성된 표본의 이미지를 획득하는 단계를 포함한다. 이 방법은 또한 표본 상의 결함을 검출하고 표본 상에서 검출된 결함을 분류하도록 구성된 뉴럴 네트워크의 제1 부분 내에 이미지를 입력함으로써 표본의 이미지의 특징을 결정하는 단계를 포함한다. 하나 이상의 컴포넌트는 하나 이상의 컴퓨터 시스템에 의해 실행되고, 하나 이상의 컴포넌트는 뉴럴 네트워크를 포함한다. 또한, 방법은 이미지의 결정된 특징에 기초하여 표본 상의 결함을 검출하는 단계 및 이미지의 결정된 특징을 뉴럴 네트워크의 제2 부분 내에 입력함으로써 이미지의 결정된 특징에 기초하여 표본 상에서 검출된 결함을 분류하는 단계를 포함한다. 방법은 검출 및 분류의 결과를 생성하는 단계를 더 포함한다.
전술한 방법의 단계들 각각은 본 명세서에서 더 설명되는 바와 같이 추가로 수행될 수 있다. 또한, 위에서 설명된 방법의 실시 예는 본 명세서에 설명된 임의의 다른 방법(들)의 임의의 다른 단계(들)를 포함할 수 있다. 더욱이, 전술한 방법은 본 명세서에 기술된 임의의 시스템에 의해 수행될 수 있다.
다른 실시 예는 표본 상의 결함을 검출하고 분류하기 위한 컴퓨터 구현 방법을 수행하기 위해 하나 이상의 컴퓨터 시스템 상에서 실행 가능한 프로그램 명령어들을 저장하는 비일시적 컴퓨터 판독 가능 매체에 관한 것이다. 컴퓨터 구현 방법은 전술한 방법의 단계들을 포함한다. 컴퓨터 판독 가능 매체는 본 명세서에 설명된 바와 같이 추가로 구성될 수 있다. 컴퓨터 구현 방법의 단계들은 본 명세서에 더 설명된 바와 같이 수행될 수 있다. 또한, 프로그램 명령어들이 실행 가능한 컴퓨터 구현 방법은 본 명세서에 기술된 임의의 다른 방법(들)의 임의의 다른 단계(들)를 포함할 수 있다.
본 발명의 추가적인 장점은 다음의 선호되는 실시 예에 대한 상세한 설명의 장점을 가지고 첨부 도면을 참조하면 당업자에게 명백해질 것이다.
도 1 및 1a는 본 명세서에 기술된 바와 같이 구성된 시스템의 실시 예의 측면도를 도시한 개략도이다.
도 2는 트레이닝 단계(phase)에서의 뉴럴 네트워크의 일 실시 예를 나타내는 흐름도이다.
도 3은 테스트 단계에서 도 2의 뉴럴 네트워크의 일 실시 예를 나타내는 흐름도이다.
도 4는 결함 분류 사용 사례에서 도 2의 뉴럴 네트워크의 일 실시 예를 나타내는 흐름도이다.
도 5는 결함 검출 사용 사례에서 도 2의 뉴럴 네트워크의 일 실시 예를 나타내는 흐름도이다.
도 6은 결함 검출 및 분류 사용 사례에서 도 2의 뉴럴 네트워크의 일 실시 예를 나타내는 흐름도이다.
도 7은 하나 이상의 컴퓨터 시스템으로 하여금 본 명세서에 설명된 컴퓨터로 구현되는 방법을 수행하게 하기 위한 프로그램 명령어들을 저장하는 비일시적 컴퓨터 판독 가능 매체의 일 실시 예를 도시한 블록도이다.
본 발명은 다양한 수정 및 대안적인 형태가 가능하지만, 본 발명의 특정 실시 예는 도면에 예로서 도시되어 있으며 본 명세서에서 상세하게 설명된다. 도면이 축척에 맞지 않을 수 있다. 그러나, 도면 및 그에 대한 상세한 설명은 본 발명을 개시된 특정 형태로 제한하려는 것이 아니라, 그 반대로 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 사상 및 범위 내에 속하는 모든 수정, 균등물 및 대안을 커버하려는 의도인 것으로 이해되어야 한다.
본 명세서에서 상호교환적으로 사용되는 용어 "설계(design)", "설계 데이터" 및 "설계 정보"는 일반적으로 복잡한 시뮬레이션 또는 간단한 기하학적 및 부울 연산을 통하여 물리적 설계로부터 도출된 IC 및 데이터의 물리적 설계(레이아웃)를 지칭한다. 또한, 레티클 검사 시스템 및/또는 그 파생물에 의해 획득된 레티클의 이미지는 설계를 위한 "프록시(proxy)" 또는 "프록시들"로서 사용될 수 있다. 이러한 레티클 이미지 또는 그 파생물은 설계를 사용하는 본 명세서에 기술된 임의의 실시 예에서 설계 레이아웃에 대한 대체로서 작용할 수 있다. 설계는 공동 소유된, 2009년 8월 4일 Zafar 등에게 허여된 미국 특허 제7,570,796호 및 Kulkarni 등에게 2010년 3월 9일에 발행된 미국 특허 제7,676,077호에 기술된 임의의 다른 설계 데이터 또는 설계 데이터 프록시를 포함할 수 있고, 둘 다 본 명세서에 완전히 제시된 것처럼 참고로 포함된다. 또한, 설계 데이터는 표준 셀 라이브러리 데이터, 통합 레이아웃 데이터, 하나 이상의 층에 대한 설계 데이터, 설계 데이터의 파생물 및 전체 또는 부분 칩 설계 데이터일 수 있다.
또한, 본 명세서에서 설명된 "설계", "설계 데이터" 및 "설계 정보"는 설계 공정에서 반도체 디바이스 설계자에 의해 생성되는 정보 및 데이터를 지칭하며, 따라서 레티클 및 웨이퍼와 같은 임의의 물리적 표본 상의 설계 인쇄 전에 미리 본 명세서에 설명된 실시 예에서 사용을 위해 이용 가능하다.
이제 도면을 참조하면, 도면은 축적대로 그려지지 않았다는 것을 주목해야 한다. 특히, 도면의 일부 요소의 규모는 요소의 특성을 강조하기 위해 크게 과장되어 있다. 또한, 도면들은 동일한 척도로 그려지지 않았다는 점에 유의한다. 유사하게 구성될 수 있는 둘 이상의 도면에 도시된 요소들은 동일한 참조 번호를 사용하여 표시되었다. 본 명세서에서 달리 언급되지 않는 한, 기술되고 도시된 임의의 요소는 임의의 적합한 상업적으로 이용 가능한 요소를 포함할 수 있다.
일 실시 예는 표본 상의 결함을 검출하고 분류하도록 구성된 시스템에 관한 것이다. 본 명세서에서 더 설명되는 바와 같이, 실시 예는 검토 및 검사(예를 들어, 전자 빔(또는 e 빔) 검토 및 검사)를 위한 통합된 딥 러닝 프레임워크를 제공한다. 결함 검출 및 자동 결함 분류(automatic defect classification, ADC)는 현재 반도체 제조에서 극히 중요하게 되었다. 현재 제안된 일부 딥 러닝 기반 검출은 e 빔에 대하여 4nm 감도에 도달했으며, 제안된 딥 러닝 기반 분류는 비교적 높은 수준의 사용 편의성과 함께 90 % 정확도와 순도의 성배(holy grail)를 달성했다.
그러나, 본 명세서에서 더 설명되는 바와 같이, 현재 사용되는 접근법은 이러한 각각의 문제를 독립적으로 해결하였고, 이는 이러한 접근법에 대한 몇 가지 단점을 생성한다. 예를 들어, 이러한 독립적인 접근 방식은 트레이닝 비용이 두 배가 되는 일부 측면을 만난다. 또한 각 부분(piece)은 다른 부분으로부터의 정보를 활용할 수 없으므로 이에 의해 성능에도 영향을 미친다. 검출을 위한 주석 비용(즉, 트레이닝을 위한 이미지에 주석 달기(anotating))은 비교적 높고, 주석의 양을 감소시키는 것은 이 흥미롭고 비교적 고성능의 딥 러닝 기반 검출 및 분류를 가능하게 하는 데 있어서 실질적으로 큰 가치가 있다.
본 명세서에 기술된 새로운 통합 접근법은 현재 사용되는 접근법에 비해 많은 장점을 갖는다. 예를 들어, 본 명세서에 설명된 통합 접근법은 분류로부터의 학습을 더 어려운 검출 문제에 적용할 수 있게 한다. 다른 예에서, 본 명세서에 설명된 통합 접근법은 검출 네트워크가 학습하기 위해 픽셀 레벨에서 결함에 주석을 다는 사용자 부담을 상당히 감소시킨다. 추가적인 예에서, 본 명세서에 설명된 통합 접근법은 두 네트워크 모두에 대한 트레이닝 시간을 감소시킨다. 또한, 본 명세서에 기술된 새로운 통합 접근법은 글로벌 기술 로드맵이 딥 네트워크 분야에서 진화함에 따라 네트워크의 스케일링을 허용한다. 또한, 본 명세서에 설명된 구성은 이 프레임워크를 셋업하는 극히 우아한 방법을 제공한다. 본 명세서에 설명된 제안된 통합된 딥 러닝 프레임워크는 또한 다양한 검사, 검토 및 캘리포니아주 밀피타스 소재의 KLA-Tencor로부터 상업적으로 입수 가능한 것과 같은 다른 툴로 확장될 수 있다.
표본 상의 결함을 검출하고 분류하도록 구성된 시스템의 일 실시 예가 도 1에 도시되어 있다. 시스템은 하나 이상의 컴퓨터 서브 시스템(예를 들어, 컴퓨터 서브 시스템(36) 및 컴퓨터 서브 시스템(들)(102)) 및 하나 이상의 컴퓨터 서브 시스템에 의해 실행된 하나 이상의 컴포넌트(100)를 포함한다. 일부 실시 예에서, 시스템은 표본의 이미지를 생성하도록 구성된 이미징 시스템(또는 서브 시스템)(10)을 포함한다. 도 1의 실시 예에서, 이미징 서브 시스템은 표본으로부터의 광을 검출하는 한편, 표본의 물리적 버전 위에 광을 스캐닝하거나 또는 표본의 물리적 버전으로 광을 지향시켜서, 표본에 대한 이미지를 생성하도록 구성된다. 이미징 서브 시스템은 또한 스캐닝(또는 지향) 및 다수의 모드로 검출을 수행하도록 구성될 수 있다.
일 실시 예에서, 표본은 웨이퍼이다. 웨이퍼는 당 업계에 알려진 임의의 웨이퍼를 포함할 수 있다. 다른 실시 예에서, 표본은 레티클이다. 레티클은 당 업계에 알려진 임의의 레티클을 포함할 수 있다.
일 실시 예에서, 이미징 서브 시스템은 광학 기반 이미징 시스템으로서 구성된다. 이러한 방식으로, 일부 실시 예에서, 이미지는 광학 기반 이미징 시스템에 의해 생성된다. 하나의 그러한 예에서, 도 1에 도시된 시스템의 실시 예에서, 광학 기반 이미징 서브 시스템(10)은 광을 표본(14)으로 지향시키도록 구성된 조명 서브 시스템을 포함한다. 조명 서브 시스템은 적어도 하나의 광원을 포함한다. 예를 들어, 도 1에 도시된 바와 같이, 조명 서브 시스템은 광원(16)을 포함한다. 일 실시 예에서, 조명 서브 시스템은 하나 이상의 경사각(oblique angle) 및/또는 하나 이상의 법선각(normal angle)을 포함할 수 있는 하나 이상의 입사각으로 광을 표본으로 지향시키도록 구성된다. 예를 들어, 도 1에 도시된 바와 같이, 광원(16)으로부터의 광은 비스듬한 입사각으로 광학 요소(18), 그 다음 렌즈(20)를 통하여 표본(14)으로 지향된다. 경사 입사각은 예를 들어 표본의 특성에 따라 변할 수 있는 임의의 적절한 경사 입사각을 포함할 수 있다.
이미징 서브 시스템은 상이한 시간에 상이한 입사각으로 광을 표본으로 지향 시키도록 구성될 수 있다. 예를 들어, 이미징 서브 시스템은 광이 도 1에 도시된 것과 상이한 입사각으로 표본으로 향할 수 있도록, 조명 서브 시스템의 하나 이상의 요소의 하나 이상의 특성을 변경하도록 구성될 수 있다. 하나의 그러한 예에서, 이미징 서브 시스템은 광이 상이한 경사 입사각 또는 법선(또는 거의 법선) 입사각으로 표본으로 향하도록 광원(16), 광학 요소(18) 및 렌즈(20)를 이동시키도록 구성될 수 있다.
일부 사례에서, 이미징 서브 시스템은 동시에 둘 이상의 입사각으로 광을 표본으로 지향시키도록 구성될 수 있다. 예를 들어, 조명 서브 시스템은 둘 이상의 조명 채널을 포함할 수 있고, 조명 채널 중 하나는 도 1에 도시된 바와 같이 광원(16), 광학 요소(18) 및 렌즈(20)를 포함할 수 있고, 다른 조명 채널(미도시)은 유사한 요소들을 포함할 수 있고, 이는 상이하게 또는 동일하게 구성될 수 있거나, 적어도 광원 및 가능하면 본 명세서에서 더 설명되는 것과 같은 하나 이상의 다른 컴포넌트를 포함할 수 있다. 그러한 광이 다른 광과 동시에 표본으로 향하는 경우, 상이한 입사각으로 표본으로 향하는 광의 하나 이상의 특성(예를 들어, 파장, 편광 등)은 상이할 수 있어서, 상이한 입사각으로 표본의 조명으로부터 생기는 광이 검출기(들)에서 서로 구별될 수 있다.
다른 예에서, 조명 서브 시스템은 단지 하나의 광원(예를 들어, 도 1에 도시된 광원(16))을 포함할 수 있고, 광원으로부터의 광은 조명 서브 시스템의 하나 이상의 광학 요소(도시되지 않음)에 의해 (예를 들어, 파장, 편광 등에 기초하여) 상이한 광 경로로 분리될 수 있다. 상이한 광 경로 각각의 광은 이어서 표본으로 향할 수 있다. 다수의 조명 채널은 동시에 또는 상이한 시간에 (예를 들어, 상이한 조명 채널이 순차적으로 표본을 조명하기 위해 사용되는 경우) 광을 표본으로 지향시키도록 구성될 수 있다. 다른 예에서, 동일한 조명 채널은 상이한 시간에 상이한 특성을 갖는 광을 표본으로 지향시키도록 구성될 수 있다. 예를 들어, 일부 예에서, 광학 요소(18)는 스펙트럼 필터로서 구성될 수 있고 스펙트럼 필터의 성질은 상이한 파장의 광이 상이한 시간에 표본으로 지향되도록, 다양한 상이한 방식으로(예를 들어, 스펙트럼 필터를 교환(swap out)함으로써) 변경될 수 있다. 조명 서브 시스템은 상이한 또는 동일한 특성을 갖는 광을 상이한 또는 동일한 입사각으로 순차적으로 또는 동시에 표본에 지향시키기 위해 당 업계에 공지된 임의의 다른 적합한 구성을 가질 수 있다.
일 실시 예에서, 광원(16)은 광대역 플라즈마(broadband plasma, BBP) 광원을 포함할 수 있다. 이러한 방식으로, 광원에 의해 생성되고 표본으로 지향되는 광은 광대역 광을 포함할 수 있다. 그러나, 광원은 레이저와 같은 임의의 다른 적합한 광원을 포함할 수 있다. 레이저는 당 업계에 공지된 임의의 적합한 레이저를 포함할 수 있고, 당 업계에 공지된 임의의 적합한 파장 또는 파장들에서 광을 생성하도록 구성될 수 있다. 또한, 레이저는 단색 또는 거의 단색인 광을 생성하도록 구성될 수 있다. 이러한 방식으로, 레이저는 협대역 레이저일 수 있다. 광원은 또한 다수의 개별 파장 또는 파장 대역에서 광을 생성하는 다색 광원을 포함할 수 있다.
광학 요소(18)로부터의 광은 렌즈(20)에 의해 표본(14) 상에 집속될 수 있다. 렌즈(20)는 단일 굴절 광학 요소로서 도 1에 도시되어 있지만, 실제로 렌즈(20)는 다수의 굴절 및/또는 반사 광학 요소를 포함할 수 있고, 이들은 결합하여 광학 요소로부터 표본으로 광을 집속시킬 수 있다는 것을 이해해야 한다. 도 1에 도시되고 본 명세서에 기술된 조명 서브 시스템은 임의의 다른 적합한 광학 요소(도시되지 않음)를 포함할 수 있다. 이러한 광학 요소의 예는 편광 컴포넌트(들), 스펙트럼 필터(들), 공간 필터(들), 반사 광학 요소(들), 아포다이저(들), 빔 스플리터(들), 애퍼처(들) 등을 포함하지만 이에 제한되지는 않고, 관련 기술 분야에 공지된 임의의 그러한 적합한 광학 요소를 포함할 수 있다. 또한, 이미징 서브 시스템은 이미징에 사용될 조명의 유형에 기초하여 조명 서브 시스템의 하나 이상의 요소를 변경하도록 구성될 수 있다.
이미징 서브 시스템은 또한 광이 표본 위로 스캐닝되게 하도록 구성된 스캐닝 서브 시스템을 포함할 수 있다. 예를 들어, 이미징 서브 시스템은 검사 동안 표본(14)이 배치되는 스테이지(22)를 포함할 수 있다. 스캐닝 서브 시스템은 광이 표본 위로 스캐닝될 수 있도록 표본을 이동시키도록 구성될 수 있는 임의의 적절한 기계 및/또는 로봇 조립체(스테이지(22)를 포함함)를 포함할 수 있다. 추가적으로 또는 대안적으로, 이미징 서브 시스템은 이미징 서브 시스템의 하나 이상의 광학 요소가 표본 위로 광의 일부 스캐닝을 수행하도록 구성될 수 있다. 광은 구불구불한 경로 또는 나선형 경로와 같은 임의의 적합한 방식으로 표본 위로 스캐닝될 수 있다.
이미징 서브 시스템은 하나 이상의 검출 채널을 더 포함한다. 하나 이상의 검출 채널 중 적어도 하나는 서브 시스템에 의한 표본의 조명으로 인해 표본으로부터의 광을 검출하고 검출된 광에 응답하여 출력을 생성하도록 구성된 검출기를 포함한다. 예를 들어, 도 1에 도시된 이미징 서브 시스템은 2 개의 검출 채널을 포함하며, 하나는 컬렉터(24), 요소(26) 및 검출기(28)에 의해 형성되고, 다른 하나는 컬렉터(30), 요소(32) 및 검출기(34)에 의해 형성된다. 도 1에 도시된 바와 같이, 2 개의 검출 채널은 상이한 수집 각도에서 광을 수집 및 검출하도록 구성된다. 일부 사례에서, 두 검출 채널은 산란된 광을 검출하도록 구성되며, 검출 채널은 표본으로부터 상이한 각도로 산란된 광을 검출하도록 구성된다. 그러나, 하나 이상의 검출 채널은 표본으로부터의 다른 유형의 광(예를 들어, 반사된 광)을 검출하도록 구성될 수 있다.
도 1에 추가로 도시된 바와 같이, 두 검출 채널 모두는 종이의 평면에 위치된 것으로 도시되고 조명 서브 시스템은 또한 종이의 평면에 위치된 것으로 도시된다. 따라서, 이 실시 예에서, 두 검출 채널은 입사면에 위치(예를 들어, 중심에 위치)된다. 그러나, 검출 채널들 중 하나 이상은 입사면 밖에 위치될 수 있다. 예를 들어, 컬렉터(30), 요소(32) 및 검출기(34)에 의해 형성된 검출 채널은 입사면으로부터 산란된 광을 수집 및 검출하도록 구성될 수 있다. 따라서, 이러한 검출 채널은 일반적으로 "측면(side)" 채널로 지칭될 수 있고, 이러한 측면 채널은 입사면에 실질적으로 수직인 평면에 중심을 둘 수 있다.
도 1은 2 개의 검출 채널을 포함하는 이미징 서브 시스템의 실시 예를 도시하지만, 이미징 서브 시스템은 상이한 수의 검출 채널(예를 들어, 오직 하나의 검출 채널 또는 둘 이상의 검출 채널)을 포함할 수 있다. 그러한 일례에서, 컬렉터(30), 요소(32) 및 검출기(34)에 의해 형성된 검출 채널은 전술한 바와 같이 하나의 측면 채널을 형성할 수 있고, 이미징 서브 시스템은 입사면의 반대 쪽에 위치된 다른 측면 채널로서 형성된 추가 검출 채널(도시되지 않음)을 포함할 수 있다. 따라서, 이미징 서브 시스템은 컬렉터(24), 요소(26) 및 검출기(28)를 포함하고 입사면의 중심에 있고 표본 표면에 수직인 또는 수직에 가까운 산란 각도(들)에서 광을 수집 및 검출하도록 구성된 검출 채널을 포함할 수 있다. 따라서, 이 검출 채널은 일반적으로 "상부(top)" 채널로 지칭될 수 있고, 이미징 서브 시스템은 또한 전술한 바와 같이 구성된 둘 이상의 측면 채널을 포함할 수 있다. 이와 같이, 이미징 서브 시스템은 적어도 3 개의 채널(즉, 하나의 상부 채널 및 2 개의 측면 채널)을 포함할 수 있고, 적어도 3 개의 채널 각각은 자체의 컬렉터를 가지며, 이들 각각은 다른 컬렉터들 각각과 상이한 산란 각도로 광을 수집하도록 구성된다.
상술한 바와 같이, 이미징 서브 시스템에 포함된 각각의 검출 채널은 산란된 광을 검출하도록 구성될 수 있다. 따라서, 도 1에 도시된 이미징 서브 시스템은 표본의 암시야(dark field, DF) 이미징을 위해 구성될 수 있다. 그러나, 이미징 서브 시스템은 또한 표본의 명시야(bright field, BF) 이미징을 위해 구성된 검출 채널(들)을 추가로 포함하거나 대안적으로 포함할 수 있다. 다시 말해서, 이미징 서브 시스템은 표본으로부터 정반사된 광을 검출하도록 구성된 적어도 하나의 검출 채널을 포함할 수 있다. 따라서, 본 명세서에 기술된 이미징 서브 시스템은 DF만을 위해, BF만을 위해 또는 DF 및 BF 이미징 모두를 위해 구성될 수 있다. 각각의 컬렉터가 단일 굴절 광학 요소로서 도 1에 도시되어 있지만, 각각의 컬렉터는 하나 이상의 굴절 광학 요소(들) 및/또는 하나 이상의 반사 광학 요소(들)를 포함할 수 있음을 이해해야 한다.
하나 이상의 검출 채널은 당 업계에 공지된 임의의 적합한 검출기를 포함할 수 있다. 예를 들어, 검출기는 PMT(photo-multiplier tube), CCD(charge coupled device), TDI(time delay integration) 카메라 및 당 업계에 알려진 다른 적절한 검출기를 포함할 수 있다. 검출기는 또한 비-이미징 검출기 또는 이미징 검출기를 포함할 수 있다. 이러한 방식으로, 검출기가 비-이미징 검출기인 경우, 각각의 검출기는 강도와 같은 산란된 광의 특정 특성을 검출하도록 구성될 수 있지만, 이미징 평면 내의 위치의 함수로서 이러한 특성을 검출하도록 구성되지 않을 수 있다. 이와 같이, 이미징 서브 시스템의 각각의 검출 채널에 포함된 각각의 검출기에 의해 생성되는 출력은 신호 또는 데이터일 수 있지만, 이미지 신호 또는 이미지 데이터는 아닐 수 있다. 그러한 경우에, 컴퓨터 서브 시스템(36)과 같은 컴퓨터 서브 시스템은 검출기의 비-이미징 출력으로부터 표본의 이미지를 생성하도록 구성될 수 있다. 그러나, 다른 경우에, 검출기는 이미지 신호 또는 이미지 데이터를 생성하도록 구성된 이미징 검출기로서 구성될 수 있다. 따라서, 이미징 서브 시스템은 본 명세서에 설명된 이미지를 다수의 방식으로 생성하도록 구성될 수 있다.
도 1은 본 명세서에 설명된 시스템 실시 예에 포함되거나 본 명세서에 설명된 시스템 실시 예에 의해 사용되는 이미지를 생성할 수 있는 이미징 시스템 또는 서브 시스템의 구성을 일반적으로 설명하기 위해 제공된다는 것을 주목한다. 분명히, 본 명세서에 기술된 이미징 서브 시스템 구성은 상용 이미징 시스템을 설계할 때 일반적으로 수행되는 이미징 서브 시스템의 성능을 최적화하도록 변경될 수 있다. 또한, 본 명세서에 기술된 시스템은 캘리포니아주, 밀피타스 소재의 KLA-Tencor로부터 상업적으로 이용가능한 29xx/39xx 및 PUma 9xxx 시리즈 툴과 같은 기존 시스템을 사용하여 (예를 들어, 기존 시스템에 본 명세서에 기술된 기능을 추가함으로써) 구현될 수 있다. 그러한 일부 시스템의 경우, 본 명세서에 기술된 실시 예는 시스템의 선택적 기능으로서 (예를 들어, 시스템의 다른 기능에 추가하여) 제공될 수 있다. 대안적으로, 본 명세서에 기술된 이미징 서브 시스템은 완전히 새로운 이미징 서브 시스템을 제공하기 위해 "처음부터(from scratch)" 설계될 수 있다.
이미징 서브 시스템의 컴퓨터 서브 시스템(36)은 임의의 적절한 방식으로(예를 들어, "유선" 및/또는 "무선" 전송 매체를 포함할 수 있는 하나 이상의 전송 매체를 통하여) 이미징 서브 시스템의 검출기에 연결될 수 있어서, 컴퓨터 서브 시스템은 표본을 스캐닝하는 동안 검출기에 의해 생성된 출력을 수신할 수 있다. 컴퓨터 서브 시스템(36)은 검출기의 출력을 사용하여 본 명세서에서 더 설명되는 다수의 기능을 수행하도록 구성될 수 있다.
(본 명세서에 기술된 다른 컴퓨터 서브 시스템뿐만 아니라) 도 1에 도시된 컴퓨터 서브 시스템은 또한 본 명세서에서 컴퓨터 시스템(들)으로 지칭될 수 있다. 본 명세서에 기술된 컴퓨터 서브 시스템(들) 또는 시스템(들) 각각은 개인용 컴퓨터 시스템, 이미지 컴퓨터, 메인 프레임 컴퓨터 시스템, 워크스테이션, 네트워크 기기(appliance), 인터넷 기기 또는 다른 디바이스를 포함하는 다양한 형태를 취할 수 있다. 일반적으로, "컴퓨터 시스템"이라는 용어는 메모리 매체로부터 명령어들을 실행하는 하나 이상의 프로세서를 갖는 임의의 디바이스를 포함하도록 광범위하게 정의될 수 있다. 컴퓨터 서브 시스템(들) 또는 시스템(들)은 또한 병렬 프로세서와 같은 당 업계에 알려진 임의의 적합한 프로세서를 포함할 수 있다. 또한, 컴퓨터 서브 시스템(들) 또는 시스템(들)은 독립형 또는 네트워킹된 툴로서 고속 프로세싱 및 소프트웨어를 갖는 컴퓨터 플랫폼을 포함할 수 있다.
시스템이 둘 이상의 컴퓨터 서브 시스템을 포함하는 경우, 이미지, 데이터, 정보, 명령어들 등이 본 명세서에서 더 설명되는 바와 같이 컴퓨터 서브 시스템 간에 전송될 수 있도록, 상이한 컴퓨터 서브 시스템이 서로 연결될 수 있다. 예를 들어, 컴퓨터 서브 시스템(36)은 임의의 적절한 전송 매체에 의해 도 1의 점선으로 도시된 바와 같이 컴퓨터 서브 시스템(들)(102)에 결합될 수 있으며, 전송 매체는 당 업계에 알려진 임의의 적합한 유선 및/또는 무선 전송 매체를 포함할 수 있다. 이러한 컴퓨터 서브 시스템 중 둘 이상은 또한 공유 컴퓨터 판독 가능 저장 매체(도시되지 않음)에 의해 효과적으로 결합될 수 있다.
이미징 서브 시스템이 광학 또는 광-기반 이미징 서브 시스템인 것으로 위에서 설명되었지만, 일부 실시 예들에서, 이미징 서브 시스템은 전자 빔 기반 이미징 서브 시스템으로서 구성될 수 있다. 이러한 방식으로, 일부 실시 예에서, 이미지는 전자 빔 기반 이미징 서브 시스템에 의해 생성된다. 도 1a에 도시된 하나의 이러한 실시 예에서, 이미징 서브 시스템은 컴퓨터 서브 시스템(124)에 결합된 전자 칼럼(electron column)(122)을 포함한다. 또한 도 1a에 도시된 바와 같이, 전자 칼럼은 하나 이상의 요소(130)에 의해 표본(128)으로 집속된 전자를 생성하도록 구성된 전자 빔 소스(126)를 포함한다. 전자 빔 소스는 예를 들어 캐소드 소스 또는 이미터 팁을 포함할 수 있고, 하나 이상의 요소(130)는 예를 들어 건 렌즈, 애노드, 빔 제한 애퍼처, 게이트 밸브, 빔 전류 선택 애퍼처, 대물 렌즈 및 스캐닝 서브 시스템을 포함할 수 있으며, 이들 모두는 당 업계에 공지된 임의의 그러한 적절한 요소를 포함할 수 있다.
표본으로부터 반환된 전자(예를 들어, 2 차 전자)는 하나 이상의 요소(132)에 의해 검출기(134)에 집속될 수 있다. 하나 이상의 요소(132)는 예를 들어, 스캐닝 서브 시스템을 포함할 수 있으며, 이는 요소(들)(130)에 포함된 동일한 스캐닝 서브 시스템일 수 있다.
전자 칼럼은 당 업계에 공지된 임의의 다른 적합한 요소를 포함할 수 있다. 또한, 전자 칼럼은 2014년 4월 4일에 Jiang 등에 발행된 미국 특허 제8,664,594호, 2014년 4월 8일에 Kojima 등에 발행된 미국 특허 제8,692,204호, 2014년 4월 15일에 Gubbens 등에 발행된 미국 특허 제8,698,093호, 및 2014년 5월 6일에 MacDonald 등에 발행된 미국 특허 제8,716,662호에 기술된 바와 같이 추가로 구성될 수 있고, 이들은 본 명세서에 완전히 기술된 것처럼 참조로 포함된다.
전자 칼럼이 도 1a에 전자가 비스듬한 입사각으로 표본으로 향하고 또 다른 비스듬한 각도로 표본으로부터 산란되도록 구성된 것으로 도시되어 있지만, 전자 빔은 임의의 적합한 각도로 표본으로 향하고 표본으로부터 산란되는 것으로 이해되어야 한다. 또한, 전자 빔 기반 이미징 서브 시스템은 (예를 들어, 상이한 조명 각도, 수집 각도 등으로) 본 명세서에 추가로 기술된 바와 같이 표본의 이미지를 생성하기 위해 다중 모드를 사용하도록 구성될 수 있다. 전자 빔 기반 이미징 서브 시스템의 다중 모드는 이미징 서브 시스템의 임의의 이미지 생성 파라미터에서 상이할 수 있다.
컴퓨터 서브 시스템(124)은 전술한 바와 같이 검출기(134)에 결합될 수 있다. 검출기는 표본의 표면으로부터 반환된 전자를 검출하여, 이에 의해 표본의 전자 빔 이미지를 형성할 수 있다. 전자 빔 이미지는 임의의 적절한 전자 빔 이미지를 포함할 수 있다. 컴퓨터 서브 시스템(124)은 검출기(134)에 의해 생성된 출력을 사용하여 표본에 대해 본 명세서에서 추가로 설명되는 하나 이상의 기능을 수행하도록 구성될 수 있다. 컴퓨터 서브 시스템(124)은 본 명세서에 설명된 임의의 추가 단계(들)를 수행하도록 구성될 수 있다. 도 1a에 도시된 이미징 서브 시스템을 포함하는 시스템은 본 명세서에 기술된 바와 같이 추가로 구성될 수 있다.
도 1a는 본 명세서에 설명된 실시 예들에 포함될 수 있는 전자 빔 기반 이미징 서브 시스템의 구성을 일반적으로 설명하기 위해 본 명세서에 제공된다는 것을 주목한다. 전술한 광학 기반 이미징 서브 시스템과 마찬가지로, 본 명세서에 기술된 전자 빔 기반 이미징 서브 시스템 구성은 상용 이미징 시스템을 설계할 때 일반적으로 수행되는 이미징 서브 시스템의 성능을 최적화하도록 변경될 수 있다. 또한, 본 명세서에 기술된 시스템은 KLA-Tencor로부터 상업적으로 입수 가능한 eSxxx 및 eDR-xxxx 시리즈 툴과 같은 기존 시스템을 사용하여 (예를 들어, 기존 시스템에 본 명세서에 기술된 기능을 추가함으로써) 구현될 수 있다. 이러한 일부 시스템의 경우, 본 명세서에 기술된 실시 예는 시스템의 선택적 기능으로서 (예를 들어, 시스템의 다른 기능에 추가하여) 제공될 수 있다. 대안적으로, 본 명세서에 설명된 시스템은 완전히 새로운 시스템을 제공하기 위해 "처음부터" 설계될 수 있다.
이미징 서브 시스템이 광학 기반 또는 전자 빔 기반 이미징 서브 시스템인 것으로 위에서 설명되었지만, 이미징 서브 시스템은 이온 빔 기반 이미징 서브 시스템일 수 있다. 이러한 이미징 서브 시스템은 전자 빔 소스가 당 업계에 공지된 임의의 적합한 이온 빔 소스로 대체될 수 있다는 것을 제외하고는 도 1a에 도시된 바와 같이 구성될 수 있다. 또한, 이미징 서브 시스템은 상업적으로 이용 가능한 집속 이온 빔(focused ion beam, FIB) 시스템, 헬륨 이온 현미경(helium ion microscopy, HIM) 시스템 및 2 차 이온 질량 분석법(secondary ion mass spectroscopy, SIMS) 시스템에 포함된 것과 같은 임의의 다른 적합한 이온 빔 기반 이미징 서브 시스템일 수 있다.
위에서 언급한 바와 같이, 이미징 서브 시스템은 표본의 물리적 버전에 걸쳐 에너지(예를 들어, 광 또는 전자)를 스캐닝하여 이에 의해 표본의 물리적 버전에 대한 실제 이미지를 생성하도록 구성된다. 이러한 방식으로, 이미징 서브 시스템은 "가상" 서브 시스템이 아닌 "실제" 서브 시스템으로서 구성될 수 있다. 예를 들어,도 1에 도시된 저장 매체(도시되지 않음) 및 컴퓨터 서브 시스템(들)(102)은 "가상" 시스템으로서 구성될 수 있다. 특히, 저장 매체 및 컴퓨터 서브 시스템(들)은 이미징 서브 시스템(10)의 일부가 아니며 표본의 물리적 버전을 처리할 수 있는 능력이 없다. 다시 말해서, 가상 시스템으로서 구성된 시스템에서, 하나 이상의 "검출기"의 출력은 실제 시스템 또는 서브 시스템의 하나 이상의 검출기에 의해 이전에 생성되고 가상 시스템에 저장되는 출력일 수 있고, "스캐닝" 동안, 가상 시스템은 표본이 스캐닝되고 있는 것처럼 저장된 출력을 리플레이(replay)할 수 있다. 이러한 방식으로, 가상 시스템으로 표본을 스캐닝하는 것은 물리적 표본이 실제 시스템 또는 서브 시스템으로 스캐닝되고 있는 것과 동일하게 보일 수 있지만, 실제로 "스캐닝"은 표본을 스캐닝하는 것과 동일한 방식으로 표본에 대한 출력을 단순히 리플레이하는 것을 포함한다. "가상" 검사 시스템으로서 구성된 시스템 및 방법은 공동 양도된, 2012년 2월 28일 Bhaskar 등에게 발행된 미국 특허 제8,126,255호 및 2015년 12월 29일에 Duffy 등에게 발행된 미국 특허 제9,222,895호에 설명되어 있으며, 둘 다 본 명세서에 완전히 기재된 것처럼 참조로 포함된다. 본 명세서에 기술된 실시 예는 이들 특허에 기술된 바와 같이 추가로 구성될 수 있다. 예를 들어, 본 명세서에 기술된 하나 이상의 컴퓨터 서브 시스템은 이들 특허에 기술된 바와 같이 추가로 구성될 수 있다. 또한, 하나 이상의 가상 시스템을 CCS(central computing and storage) 시스템으로서 구성하는 것은 전술한 Duffy의 특허에 기술된 바와 같이 수행될 수 있다. 본 명세서에 설명된 지속적 저장 메커니즘은 CCS 아키텍처와 같은 분산 컴퓨팅 및 스토리지를 가질 수 있지만, 본 명세서에 설명된 실시 예는 그 아키텍처에 제한되지 않는다.
전술한 바와 같이, 이미징 서브 시스템은 다수의 모드를 갖는 표본의 이미지를 생성하도록 구성될 수 있다. 일반적으로, "모드"는 표본의 이미지를 생성하는데 사용되는 이미징 서브 시스템의 파라미터 값 또는 표본의 이미지를 생성하는데 사용된 출력에 의해 정의될 수 있다. 따라서, 상이한 모드는 이미징 서브 시스템의 이미징 파라미터 중 적어도 하나에 대한 값이 상이할 수 있다. 예를 들어, 광학 기반 이미징 서브 시스템의 일 실시 예에서, 다중 모드 중 적어도 하나는 조명을 위하여, 다중 모드 중 적어도 하나의 다른 모드에 사용되는 조명을 위한 광의 적어도 하나의 파장과는 상이한, 광의 적어도 하나의 파장을 사용한다. 모드들은 상이한 모드들에 대해 (예를 들어, 상이한 광원들, 상이한 스펙트럼 필터들 등을 사용함으로써) 본 명세서에 더 설명된 바와 같이 조명 파장에서 상이할 수도 있다. 다른 실시 예에서, 다중 모드 중 적어도 하나는 다중 모드 중 적어도 하나의 다른 모드에 사용되는 이미징 서브 시스템의 조명 채널과 상이한, 이미징 서브 시스템의 조명 채널을 사용한다. 예를 들어, 위에서 언급한 바와 같이, 이미징 서브 시스템은 둘 이상의 조명 채널을 포함할 수 있다. 이와 같이, 상이한 조명 채널이 상이한 모드에 사용될 수 있다.
일 실시 예에서, 이미지는 검사 서브 시스템에 의해 생성된다. 예를 들어, 본 명세서에 기술된 광학 및 전자 빔 이미징 서브 시스템은 검사 서브 시스템으로서 구성될 수 있다. 이러한 방식으로, 뉴럴 네트워크로의 이미지 입력은 일부 실시 예에서 검사 서브 시스템에 의해 생성된다. 다른 실시 예에서, 이미징 서브 시스템은 결함 검토 서브 시스템이다. 예를 들어, 본 명세서에 기술된 광학 및 전자 빔 이미징 서브 시스템은 결함 검토 서브 시스템으로서 구성될 수 있다. 특히, 본 명세서에 기술되고 도 1 및 1a에 도시된 이미징 서브 시스템의 실시 예는 사용될 애플리케이션에 따라 상이한 이미징 능력을 제공하기 위해 하나 이상의 파라미터에서 수정될 수 있다. 하나의 그러한 예에서, 도 1에 도시된 이미징 서브 시스템은 그것이 검사보다는 결함 검토를 위해 사용되어야 한다면 더 높은 해상도를 갖도록 구성될 수 있다. 다시 말해서, 도 1 및 도 1a에 도시된 이미징 서브 시스템의 실시 예는 상이한 애플리케이션에 다소 적합한 상이한 이미징 능력을 갖는 이미징 서브 시스템을 생성하기 위해 당업자에게 명백할 다수의 방식으로 조정(tailor)될 수 있는 이미징 서브 시스템에 대한 일반적이고 다양한 구성을 설명한다.
하나 이상의 컴퓨터 서브 시스템은 본 명세서에 기술된 이미징 서브 시스템에 의해 생성된 표본에 대한 이미지를 획득하도록 구성될 수 있다. 이미지를 획득하는 것은 본 명세서에 기술된 이미징 서브 시스템 중 하나를 사용하여 (예를 들어, 광 또는 전자 빔을 표본으로 지향시키고 표본으로부터 광 또는 전자 빔을 각각 검출함으로써) 수행될 수 있다. 이러한 방식으로, 이미지를 획득하는 것은 물리적 표본 자체 및 어떤 종류의 이미징 하드웨어를 사용하여 수행될 수 있다. 그러나, 이미지를 획득하는 것이 이미징 하드웨어를 사용하여 표본을 이미징하는 것을 반드시 포함하는 것은 아니다. 예를 들어, 다른 시스템 및/또는 방법은 이미지를 생성할 수 있고, 생성된 이미지를 본 명세서에 설명된 가상 검사 시스템 또는 본 명세서에 설명된 다른 저장 매체와 같은 하나 이상의 저장 매체에 저장할 수 있다. 따라서, 이미지를 획득하는 단계는 이미지가 저장된 저장 매체로부터 이미지를 획득하는 단계를 포함할 수 있다.
컴퓨터 서브 시스템(들), 예를 들어 컴퓨터 서브 시스템(36) 및/또는 컴퓨터 서브 시스템(들)(102)에 의해 실행되는 컴포넌트(들), 예를 들어, 도 1에 도시된 컴포넌트(들)(100)는 뉴럴 네트워크(104)를 포함한다. 뉴럴 네트워크는 표본 상의 결함을 검출하고 표본 상에서 검출된 결함을 분류하도록 구성된다. 이러한 방식으로, 동일한 뉴럴 네트워크가 결함 검출 및 결함 분류를 위해 구성된다. 이와 같이 뉴럴 네트워크는 결함 검출 및 분류를 위한 통합 프레임워크를 제공한다.
뉴럴 네트워크는 이미징 서브 시스템에 의해 생성된 표본의 이미지의 특징을 결정하도록 구성된 제1 부분을 포함한다. 예를 들어, 도 2의 뉴럴 네트워크에 도시된 바와 같이, 뉴럴 네트워크의 제1 부분은 일 실시 예에서 이미지(들)(204)의 특징(예를 들어, 특징 맵(208))을 결정하는 컨볼루션 층(들)(206)을 포함하고, 이는 본 명세서에서 추가로 설명되는 바와 같이, 적어도 결함 이미지 및 가능하면 참조 이미지(reference image) 및 설계를 포함한다. 이들 층은 본 명세서에 기술된 바와 같이 추가로 구성될 수 있다. 이미지 및 특징은 또한 본 명세서에 설명된 바와 같이 추가로 구성될 수 있다.
뉴럴 네트워크는 또한 이미지의 결정된 특징에 기초하여 표본 상의 결함을 검출하고 이미지의 결정된 특징에 기초하여 표본 상에서 검출된 결함을 분류하도록 구성된 제2 부분을 포함한다. 예를 들어, 도 2의 뉴럴 네트워크에 도시된 바와 같이, 뉴럴 네트워크의 제2 부분은 일 실시 예에서 완전하게 연결된 층(들)(210), 제안 네트워크(214), 관심 영역(region of interest, ROI) 풀링 층(들)(218) 및 완전하게 연결된 층(fully connected layer)(들)(220)을 포함한다. 도 2에 더 도시된 바와 같이, 완전하게 연결된 층(210)으로의 입력은 결정된 특징, 예를 들어 특징 맵(208)이고, 완전하게 연결된 층(들)(210)의 출력은 이미지 분류(212)이다. 따라서, 완전하게 연결된 층(들)(210)은 제2 부분에 포함될 수 있고 결함 분류를 위해 구성될 수 있다. 도 2에 도시된 바와 같이, 제안 네트워크(214)에 대한 입력은 결정된 특징, 예를 들어 특징 맵(208)이며, 제안 네트워크(214)의 출력은 바운딩 박스(bounding box)(216)이다. 용어 "바운딩 박스"는 본 명세서에서 일반적으로 결함으로 식별된 픽셀의 하나 이상의 연속 부분 주위에 그려진 (정사각형 또는 직사각형의) 박스로서 정의된다. 예를 들어, 바운딩 박스는 결함으로 식별된 하나 또는 두 개의 픽셀 영역을 포함할 수 있다. 따라서, 제안 네트워크(214)는 제2 부분에 포함될 수 있고 결함 검출을 위해 구성될 수 있다. 도 2에 더 도시된 바와 같이, 제안 네트워크(214)에 대한 입력은 결정된 특징, 예를 들어 특징 맵(208)이며, 제안 네트워크(214)의 출력은 ROI 풀링 층(들)(218)에 입력될 수 있다. 바운딩 박스 및 분류(222)를 포함하는 출력을 생성할 수 있는 완전하게 연결된 층(들)(220)로 ROI 풀링 층(들)(218)의 출력이 입력될 수 있다. 이러한 방식으로, 제안 네트워크(214), ROI 풀링 층(들)(218) 및 완전하게 연결된 층(들)(220)은 제2 부분에 포함될 수 있고 결함 검출 및 분류 모두를 위해 구성될 수 있다. 이들 층은 본 명세서에 기술된 바와 같이 추가로 구성될 수 있다. 다양한 하나 이상의 출력이 본 명세서에 기술된 바와 같이 추가로 구성될 수 있다.
하나 이상의 컴퓨터 서브 시스템은 검출 및 분류의 결과를 생성하도록 구성된다. 검출 및 분류의 결과는 검출된 결함의 바운딩 박스의 정보, 예를 들어, 위치 등, 검출 스코어, 클래스 레이블 또는 ID와 같은 결함 분류에 관한 정보, 또는 당 업계에 공지된 임의의 그러한 적절한 정보와 같은 본 명세서에 기술된 임의의 결과를 포함할 수 있다. 검출 및 분류의 결과는 컴퓨터 서브 시스템(들)에 의해 임의의 적절한 방식으로 생성될 수 있다. 검출 및 분류의 결과는 표준 파일 유형과 같은 임의의 적합한 형태 또는 포맷을 가질 수 있다. 컴퓨터 서브 시스템(들)은 결과를 생성하고, 표본 또는 동일한 유형의 다른 표본에 대한 하나 이상의 기능을 수행하기 위하여 컴퓨터 서브 시스템(들) 및/또는 다른 시스템 또는 방법에 의해 그 결과가 사용될 수 있도록 결과를 저장할 수 있다. 이러한 기능은 피드백 방식으로 표본에 수행된 제조 공정 또는 단계와 같은 공정을 변경하고, 표본에 대해 수행될 제조 공정 또는 단계와 같은 공정을 피드포워드(feedforward) 방식 등으로 변경하는 것을 포함하지만 이에 국한되지는 않는다.
일 실시 예에서, 뉴럴 네트워크는 딥 러닝 네트워크로서 구성된다. 일반적으로 말해서, "딥 러닝"(딥 구조적 학습, 계층적(hierarchical) 학습 또는 딥 머신 러닝이라고도 알려짐)은 데이터의 높은 수준의 추상화를 모델링하려고 시도하는 알고리즘 세트를 기반으로 하는 머신 러닝의 한 분야이다. 간단한 경우, 두 개의 뉴런 세트가 있을 수 있는데, 입력 신호를 수신하는 뉴런 세트 및 출력 신호를 보내는 뉴런 세트이다. 입력 층(layer)은 입력을 수신할 때, 수정된 버전의 입력을 다음 층으로 전달한다. 딥 네트워크에서는 입력과 출력 사이에 많은 층이 있으며(층는 뉴런으로 만들어지지 않았지만 그런 식으로 생각하는 것이 도움이 될 수 있음), 알고리즘이 다수의 선형 및 비선형 변형(transformation)으로 구성된 다수의 프로세싱 층를 사용할 수 있게 한다.
딥 러닝은 데이터의 학습 표현을 기반으로 하는 머신 러닝 방법의 더 넓은 패밀리의 일부이다. 관찰(예를 들어, 이미지)은 픽셀 당 세기 값의 벡터와 같은 많은 방식으로 표현될 수 있거나, 에지 세트, 특정 형상의 영역 등으로 보다 추상적인 방식으로 표현될 수 있다. 일부 표현은 학습 작업(예를 들어, 얼굴 인식 또는 얼굴 표정 인식)를 단순화하는데 다른 표현보다 우수하다. 딥 러닝의 약속 중 하나는 수작업으로 만들어진 특징을 비지도(unsupervised) 또는 준지도(semi-supervised) 특징 학습 및 계층적 특징 추출을 위한 효율적인 알고리즘으로 대체하는 것이다.
이 분야에서의 연구는 더 나은 표현을 만들고 레이블이 없는 대규모 데이터로부터 이러한 표현을 학습하기 위한 모델을 생성하려고 시도한다. 일부 표현은 신경 과학의 진보에 의해 영감을 얻었으며, 뇌의 다양한 자극 및 관련된 신경 반응 사이의 관계를 정의하려고 시도하는 뉴럴 코딩과 같은 신경 시스템의 정보 처리 및 통신 패턴의 해석에 느슨하게 근거한다.
다른 실시 예에서, 뉴럴 네트워크는 머신 러닝 네트워크이다. 머신 러닝은 일반적으로 명시적으로 프로그래밍되지 않고 학습하는 능력을 컴퓨터에게 제공하는 일종의 인공 지능(AI)으로서 정의될 수 있다. 머신 러닝은 새로운 데이터에 노출 될 때 성장하고 변화하도록 스스로 가르칠 수 있는 컴퓨터 프로그램의 개발에 중점을 둔다. 다시 말해서, 머신 러닝은 "명시적으로 프로그래밍되지 않고 학습하는 능력을 컴퓨터에게 부여하는" 컴퓨터 싸이언스의 하위 분야로서 정의될 수 있다. 머신 러닝은 데이터로부터 학습하고 데이터에 대하여 예측할 수 있는 알고리즘의 연구와 구성(construction)을 탐구한다 - 이러한 알고리즘은 샘플 입력으로부터 모델을 구축함으로써 데이터 기반 예측 또는 결정을 통하여 엄격하게 정적인(static) 프로그램 명령어들을 따르는 것을 극복한다.
본 명세서에 설명된 머신 러닝은 Sugiyama, Morgan Kaufmann, 2016, 534 페이지의 "통계 머신 러닝의 소개(Introduction to Statistical Machine Learning)"; Jebara, MIT 논문, 2002, 212쪽의 “차별적, 생성적 및 모방적 학습(Discriminative, Generative, and Imitative Learning)"; 및 Hand 등, MIT Press, 2001, 578 페이지의 "데이터 마이닝의 원리(적응 컴퓨팅 및 머신 러닝)(Principles of Data Mining(Adaptive Computation and Machine Learning))"에 설명된 바와 같이 또한 수행될 수 있으며, 이들은 본 명세서에 완전히 제시된 것처럼 참조로 포함된다. 본 명세서에 설명된 실시 예는 이들 참조에 기술된 바와 같이 또한 구성될 수 있다.
일부 실시 예에서, 뉴럴 네트워크는 생성적(generative) 네트워크이다. "생성적" 네트워크는 일반적으로 확률적인 모델로서 사실상 정의될 수 있다. 다시 말해서, "생성적" 네트워크는 전방 시뮬레이션 또는 룰 기반 방식을 수행하는 것이 아니다. 대신에, 본 명세서에서 더 설명되는 바와 같이, 생성적 네트워크는 데이터의 적절한 트레이닝 세트에 기초하여 (그의 파라미터가 학습될 수 있다는 점에서) 학습될 수 있다. 일 실시 예에서, 뉴럴 네트워크는 딥 생성적 네트워크로서 구성된다. 예를 들어, 네트워크는 다수의 알고리즘 또는 변환을 수행하는 다중 층을 포함할 수 있다는 점에서 딥 러닝 아키텍처를 갖도록 구성될 수 있다.
다른 실시 예에서, 뉴럴 네트워크는 트레이닝을 위해 공급된 데이터에 따라 세상을 모델링하는 가중치 세트를 갖는 딥 뉴럴 네트워크일 수 있다. 뉴럴 네트워크는 일반적으로 생물학적 뇌가 축삭돌기에 의해 연결된 생물학적 뉴런의 비교적 큰 클러스터로 문제를 해결하는 방식을 느슨하게 모델링하는 신경 유닛의 비교적 큰 컬렉션을 기반으로 하는 계산적 접근법으로서 정의될 수 있다. 각각의 신경 단위는 다른 많은 단위와 연결되며, 링크는 연결된 신경 단위의 활성화 상태에 대한 효과를 실행하거나 억제할 수 있다. 이러한 시스템은 명시적으로 프로그래밍되지 않고 자체 학습하고 트레이닝되며, 기존 컴퓨터 프로그램에서 솔루션 또는 특징 검출이 표현하기 어려운 분야에서 탁월하다.
뉴럴 네트워크는 일반적으로 다중 층으로 구성되며, 신호 경로가 앞에서 뒤로 트래버스한다. 뉴럴 네트워크의 목표는 인간의 뇌와 동일한 방식으로 문제를 해결하는 것이지만, 몇몇 뉴럴 네트워크는 훨씬 더 추상적이다. 현대 뉴럴 네트워크 프로젝트는 일반적으로 수천에서 수백만 개의 신경 단위와 수백만 개의 연결로 작동한다. 뉴럴 네트워크는 당 업계에 알려진 임의의 적합한 아키텍처 및/또는 구성을 가질 수 있다.
일 실시 예에서, 뉴럴 네트워크는 알렉스넷(AlexNet)으로 구성된다. 예를 들어 분류 네트워크 구조는 알렉스넷일 수 있다. 용어 "분류 네트워크(classification network)"는 본 명세서에서 하나 이상의 완전하게 연결된 층을 포함하는 CNN을 지칭하기 위해 사용된다. 일반적으로, 알렉스넷은 함께 이미지를 분류하도록 구성 및 트레이닝된 다수의(예를 들어 5) 컨볼루션 층 및 이어지는 다수의(예를 들어, 3) 완전하게 연결된 층을 포함한다. 알렉스넷으로 구성된 뉴럴 네트워크의 예는 Krizhevsky 등, NIPS 2012의 "딥 컨볼루션 뉴럴 네트워크를 사용한 이미지넷 분류(ImageNet Classification with Deep Convolutional Neural Networks)"에 설명되어 있으며, 이는 본 명세서에 완전히 설명된 것처럼 참조로 포함된다. 본 명세서에 설명된 뉴럴 네트워크는 이 참조에 설명된 바와 같이 추가로 구성될 수 있다.
다른 실시 예에서, 뉴럴 네트워크는 구글넷(GoogleNet)으로서 구성된다. 예를 들어 분류 네트워크 구조는 구글넷일 수 있다. 구글넷은 컨볼루션(convolutional), 풀링과 같은 층, 및 이미지를 분류하기 위해 구성되고 트레이닝된 본 명세서에서 더 설명된 것과 같은 완전하게 연결된 층을 포함할 수 있다. 구글넷 아키텍처는 (특히 본 명세서에 설명된 다른 뉴럴 네트워크과 비교하여) 비교적 많은 수의 층을 포함할 수 있지만, 일부 층은 병렬로 작동할 수 있으며 서로 병렬로 기능하는 층의 그룹은 일반적으로 시작 모듈(inception module)로서 지칭된다. 다른 층들은 순차적으로 동작할 수 있다. 그러므로, 구글넷은 모든 층이 순차적인 구조로 배열되는 것은 아니라는 점에서 본 명세서에 설명된 다른 뉴럴 네트워크과 상이하다. 구글넷으로서 구성된 뉴럴 네트워크의 예는 Szegedy 등, CVPR 2015의“컨볼루션으로 더 깊이 들어가기(Going Deeper with Convolutions)”에 설명되어 있으며, 이는 본 명세서에 완전히 명시된 것처럼 참조로 포함된다. 본 명세서에 설명된 뉴럴 네트워크는 이 참조에 설명된 바와 같이 추가로 구성될 수 있다.
다른 실시 예에서, 뉴럴 네트워크는 VGG 네트워크로서 구성된다. 예를 들어, 분류 네트워크 구조는 VGG일 수 있다. VGG 네트워크는 아키텍처의 다른 파라미터를 고정(fix)하는 한편 컨볼루션 층의 수를 증가시킴으로써 생성되었다. 깊이를 증가시키기 위해 컨볼루션 층을 추가하는 것은 모든 층에서 실질적으로 작은 컨볼루션 필터를 사용함으로써 가능해질 수 있다. 본 명세서에 기술된 다른 뉴럴 네트워크와 같이, 이미지를 분류하도록 VGG 네트워크가 생성되고 트레이닝되었다. VGG 네트워크는 또한 컨볼루션 층 및 뒤따르는 완전하게 연결된 층을 포함한다. VGG로서 구성된 뉴럴 네트워크의 예는 Simonyan 등, ICLR 2015의“Very Deep Convolutional Networks for Large-Scale Image Recognition(대규모 이미지 인식을 위한 매우 깊은 컨볼루션 네트워크)”에 설명되어 있으며, 이는 본 명세서에 완전히 설명된 것처럼 참조로 포함된다. 본 명세서에 설명된 뉴럴 네트워크는 이 참조에 설명된 바와 같이 추가로 구성될 수 있다.
일부 실시 예에서, 뉴럴 네트워크는 딥 레지듀얼 네트워크로 구성된다. 예를 들어, 분류 네트워크 구조는 딥 레지듀얼 네트(Deep Residual Net)일 수 있다. 본 명세서에 기술된 일부 다른 네트워크와 같이, 딥 레지듀얼 네트워크는 컨볼루션 층(convolutional layer) 및 뒤이어 완전하게 연결된 층를 포함할 수 있으며, 이들은 조합하여 이미지 분류를 위해 구성되고 트레이닝된다. 딥 레지듀얼 네트워크에서, 층들은 참조되지 않은 함수를 학습하는 대신, 층 입력을 참조하여 레지듀얼 함수(residual function)를 학습하도록 구성된다. 특히, 각각의 몇몇 적층된 층이 원하는 기본(underlying) 맵핑에 직접적으로 피팅(fit)하기를 희망하는 대신에, 이들 층은 레지듀얼 맵핑에 명시적으로 피팅하도록 허용되며, 이는 바로 가기 연결(shortcut connection)을 갖는 피드포워드 뉴럴 네트워크에 의해 실현된다. 바로 가기 연결은 하나 이상의 층를 건너 뛰는 연결이다. 딥 레지듀얼 네트는 컨볼루션 층를 포함하는 플레인 뉴럴 네트워크 구조를 취하고, 플레인 뉴럴 네트워크를 취해 이를 레지듀얼 학습 카운터파트로 바꾸는 바로 가기 연결을 삽입함으로써 생성될 수 있다. 딥 레지듀얼 네트의 예는 He 등에 의한 NIPS 2015의 "이미지 인식을 위한 딥 레지듀얼 학습(Deep Residual Learning for Image Recognition)"에 설명되어 있으며, 이는 본 명세서에 완전히 설명된 것처럼 참조로 포함된다. 본 명세서에 설명된 뉴럴 네트워크는 이 참조에 설명된 바와 같이 추가로 구성될 수 있다.
일 실시 예에서, 제1 부분은 하나 이상의 컨벌루션 층을 포함한다. 컨볼루션 층(들)은 당 업계에 공지된 임의의 적합한 구성을 가질 수 있고, 일반적으로 하나 이상의 필터를 사용하여 컨벌루션 함수를 입력 이미지에 적용함으로써 이미지에 걸친 위치의 함수(즉, 특징 맵)로서 이미지에 대한 특징을 결정하도록 구성된다. 이러한 방식으로, 뉴럴 네트워크의 일부는 컨볼루션 뉴럴 네트워크(CNN)로서 구성될 수 있다. 예를 들어, 뉴럴 네트워크의 제1 부분은 로컬 특징을 추출하기 위해 일반적으로 컨벌루션 및 풀링 층의 스택인 CNN으로서 구성될 수 있다. 본 명세서에 설명된 실시 예는 정상적으로 다루기 어려운 표현 반전 문제를 해결하기 위해 CNN과 같은 딥 러닝 개념을 이용할 수 있다. 제1 부분은 당 업계에 알려진 임의의 CNN 구성 또는 아키텍처를 가질 수 있다. 하나 이상의 풀링 층은 또한 당 업계에 공지된 임의의 적합한 구성(예를 들어, 최대 풀링 층)을 가질 수 있고, 일반적으로 가장 중요한 특징을 유지하면서 하나 이상의 컨볼루션 층에 의해 생성된 특징 맵의 차원을 감소시키도록 구성된다.
뉴럴 네트워크의 제1 부분에 의해 결정된 특징들은 본 명세서에서 더 설명되거나 본 기술 분야에 공지된 임의의 적절한 특징들을 포함할 수 있으며, 이는 입력으로부터 추론될 수 있고 본 명세서에서 더 설명되는 출력을 생성하는데 사용될 수 있다. 예를 들어, 특징들은 픽셀 당 세기 값들의 벡터를 포함할 수 있다. 특징은 또한 본 명세서에 기술된 임의의 다른 유형의 특징, 예를 들어 스칼라 값의 벡터, 독립 분포의 벡터, 조인트 분포 또는 당 업계에 공지된 임의의 다른 적합한 특징 유형을 포함할 수 있다.
도 2는 가능한 모든 입력 및 출력을 가진 분류 네트워크 아키텍처를 보여준다. 그러나 아키텍처와 함께 사용되는 입력 및 출력은 아키텍처의 상태, 예를 들어, 트레이닝되지 않았는지 또는 트레이닝되었는지에 따라 및/또는 임의의 주어진 이미지에 대해 수행하고 있을 함수에 따라, 예를 들어, 사용자가 특정 이미지에 대해 생성하고자 하는 결과 또는 출력에 따라 달라질 수 있다. 예를 들어, 도 3에 도시된 실시 예에서, 뉴럴 네트워크는 런타임 또는 생산 모드 동안 뉴럴 네트워크에 제공될 수 있는 입력과 함께 완전하게 트레이닝된 모드(즉, 뉴럴 네트워크가 이미 트레이닝됨)에서 사용되는 것으로 도시되어 있다. (본 명세서에 도시된 모든 도면에서, 음영 처리된 요소(예를 들어, 입력, 출력, 층)는 특정 애플리케이션에 사용되지 않는 요소이다. 대조적으로, 음영 처리되지 않은 요소(예를 들어, 입력, 출력, 층)는 뉴럴 네트워크의 특정 애플리케이션에 사용되는 요소이다.)
특히, 도 3에 도시된 바와 같이, 뉴럴 네트워크가 트레이닝된 후의 생산 또는 런타임 모드에서, 뉴럴 네트워크에 대한 가능한 입력 중, 결함 이미지(들)를 포함하는 이미지(204)만이 그리고 아마 또한 참조 이미지(들) 및 설계가 뉴럴 네트워크에 입력된다. 이러한 방식으로, 런타임 동안, 이미지 레벨 레이블(200) 및 바운딩 박스 레벨 레이블(202)은 뉴럴 네트워크에 입력되지 않는다. 대신에, 이미지 레벨 레이블(200) 및/또는 바운딩 박스 레벨 레이블(202)만이 트레이닝 단계 동안 뉴럴 네트워크에 입력될 수 있으며, 이는 본 명세서에서 더 설명되는 바와 같이 수행될 수 있다.
위에서 더 설명된 바와 같이, 런타임 동안, 이미지(들)는 이미지(들)에 대한 특징 맵(208)을 생성하는 컨볼루션 층(들)(206)에 입력될 수 있다. 특징 맵은 이미지(들)에 대한 이미지 분류(212)를 생성하는 완전하게 연결된 층(들)(210)에 입력될 수 있다. 특징 맵은 추가적으로 또는 대안적으로 이미지(들)에 대한 바운딩 박스(216)를 생성할 수 있는 제안(proposal) 네트워크(214)에 입력될 수 있다. 추가적으로 또는 대안적으로, 제안 네트워크의 출력은 ROI 풀링 층(들)(218)에 입력될 수 있으며, 이는 완전하게 연결된 층(들)(220)에 제공되는 출력을 생성할 수 있다. 완전하게 연결된 층(들)(220)은 입력 이미지(들)에 대한 바운딩 박스 및 분류(222)를 생성할 수 있다. 따라서, 도 3에 명확하게 도시된 바와 같이, 본 명세서에 설명된 뉴럴 네트워크는 결함 분류 및 검출 모두를 위한 통합된 프레임워크를 제공하고, 뉴럴 네트워크에 의해 수행되는 기능은 그것이 사용되고 있는 애플리케이션에 의존할 수 있다.
일 실시 예에서, 하나 이상의 컴퓨터 서브 시스템은 사용자에 의해 할당된 클래스 레이블을 트레이닝 결함 이미지로, 트레이닝 결함 이미지를 뉴럴 네트워크에 입력함으로써, 뉴럴 네트워크를 트레이닝하도록 구성된다. 예를 들어, 트레이닝 동안, 사용자는 이미지 레이블 별로 클래스를 할당할 수 있다. 도 4에 도시된 바와 같이, 이미지 레벨 레이블(200) 및 결함 이미지, 예를 들어 이미지(들)(204)는 분류 CNN을 트레이닝시키기 위한 입력으로서 사용된다. 이 경우, 이미지(들)는 뉴럴 네트워크가 트레이닝된 후의 경우와 같이 결함이 검출되고/되거나 분류되는 이미지가 아닌 트레이닝 결함 이미지이다. 이미지 레벨 레이블은 각각의 트레이닝 결함 이미지에 할당될 수 있고, 결함 ID 1, 결함 ID 2,… 결함 ID n, 패턴 결함, 브리징(bridging) 결함 등과 같은 레이블을 포함할 수 있다. 따라서, 상이한 이미지 레벨 레이블이 각각의 트레이닝 결함 이미지 및/또는 각각의 트레이닝 결함 이미지 내의 각각의 결함에 관련될 수 있다.
트레이닝 결함 이미지에 대한 이미지 레벨 레이블이 사용자에 의해 할당될 수 있지만, 이미지 레벨 레이블은 다른(이미 트레이닝된) 결함 분류 방법 또는 시스템에 의해 트레이닝 결함 이미지에 할당될 수 있다. 사용자 또는 다른 결함 분류 방법 또는 시스템은 임의의 적절한 방식으로 이미지 레벨 레이블을 트레이닝 결함 이미지에 연관시키거나 할당할 수 있다. 또한, 이미지 레벨 레이블 및 트레이닝 결함 이미지는 임의의 적절한 방식으로 획득될 수 있다. 예를 들어, 사용자는 결함 이미지의 트레이닝 세트에 이미지 레벨 레이블을 할당하기 위해 본 명세서에 설명된 실시 예를 사용할 수 있다. 대안적으로, 이미지 레벨 레이블 및 트레이닝 결함 이미지는 레이블 및 트레이닝 이미지가 저장되는 저장 매체로부터 하나 이상의 컴퓨터 서브 시스템에 의해 획득될 수 있다.
결함 이미지의 트레이닝 세트는 임의의 적절한 방식으로(예를 들어, 본 명세서에 기술된 이미징 서브 시스템 중 하나로부터, 이미징 시스템의 컴퓨터 시스템으로부터, 이미지가 저장된 저장 매체 등으로부터) 획득될 수 있다. 이러한 방식으로, 본 명세서에 기술된 실시 예는 하나 이상의 물리적 표본을 사용하여 결함 이미지의 트레이닝 세트를 생성하거나 생성하지 않을 수 있다. 또한, 결함 이미지의 트레이닝 세트는 하나 이상의 합성(synthetic) 이미지를 포함할 수 있으며, 이는 일반적으로 표본에 대한 설계에 가상의 결함이 삽입되었고 이후 가상 결함을 포함하는 설계에 대하여 시뮬레이션된 이미지가 생성된 이미지, 및/또는 이미지에 결함을 삽입하기 위해 변경된 물리적 표본의 이미지로서 정의될 수 있다. 이러한 방식으로, 결함 이미지의 트레이닝 세트는 실제, 물리적 표본(들) 및/또는 시뮬레이션된 이미지를 이미징함으로써 생성된 이미지를 포함할 수 있다. 결함 이미지의 트레이닝 세트는 또한 바람직하게는 아마 하나 이상의 결함 없는(non-defect) 이미지와 조합하여, 전술한 하나 이상의 트레이닝 결함 이미지를 포함할 수 있다. 예를 들어, 결함 이미지의 트레이닝 세트는 결함이 없거나 검출되지 않은 표본의 이미지를 포함할 수 있다. 결함 이미지 및 결함이 없는 이미지를 포함하는 결함 이미지의 트레이닝 세트를 사용하면, 뉴럴 네트워크가 결함 검출에 사용될 때 결함 이미지와 결함이 없는 이미지를 더 잘 구별할 수 있는 뉴럴 네트워크가 생성될 수 있다.
하나의 이러한 실시 예에서, 하나 이상의 컴퓨터 서브 시스템은 하나 이상의 트레이닝 참조 이미지, 트레이닝 결함 이미지가 생성된 표본에 대한 설계, 또는 하나 이상의 트레이닝 참조 이미지 및 설계로, 뉴럴 네트워크에 클래스 레이블 및 트레이닝 결함 이미지를 입력함으로써, 뉴럴 네트워크를 트레이닝하도록 구성된다. 예를 들어, 참조 이미지 및/또는 설계는 이미지, 예를 들어 이미지(들): 결함, 참조, 설계(204)의 제2(및 가능하게는 제3) 채널로서 도 4에 도시된 바와 같이 삽입될 수 있다. 이러한 방식으로, 참조 이미지 및 설계 중 하나 이상이 제2(및 가능하면) 제3 채널에서 결함 이미지와 함께 삽입될 수 있다. 그러나, 본 명세서에 설명된 실시 예에는 참조 이미지 및 설계가 필요하지 않다. 참조 이미지는 표본의 결함이 없는 이미지를 포함할 수 있다. 이러한 방식으로, 상술된 결함이 없는 이미지는 결함 이미지의 트레이닝 세트에 포함되지 않을 수 있고, 트레이닝 결함 이미지와 별개로 트레이닝 동안 뉴럴 네트워크에 입력될 수 있다. 참조 이미지는 전술한 임의의 결함이 없는 이미지를 포함할 수 있고, 임의의 적절한 방식으로(예를 들어, 표본을 이미징하고, 참조 이미지로서 결함이 없는 표본의 이미지를 식별함으로써, 결함이 없다고 알려진 표본의 하나 이상의 이미지를 획득함으로써, 표본에 대한 설계로부터 참조 이미지를 시뮬레이션함으로써) 획득될 수 있다. 설계는 본 명세서에 설명된 설계 또는 설계 데이터 중 임의의 것을 포함할 수 있으며, 이는 임의의 적절한 방식으로 획득될 수 있다. 컴퓨터 서브 시스템(들)은 (예를 들어, 이미지 및 정보를 뉴럴 네트워크에 입력하고 트레이닝 결함 이미지에 대한 뉴럴 네트워크에 의해 생성된 이미지 분류(212)가 뉴럴 네트워크에 입력된 이미지 레벨 레이블(200)에 일치할 때까지 뉴럴 네트워크의 하나 이상의 파라미터를 조정함으로써) 임의의 적절한 방식으로 전술한 정보 및 이미지를 사용하여 뉴럴 네트워크를 트레이닝하도록 구성될 수 있다.
일부 실시 예에서, 하나 이상의 컴퓨터 서브 시스템은 사전 트레이닝된 가중치를 사용하여 뉴럴 네트워크를 미세 조정하도록 구성된다. 사전 트레이닝된 가중치는 일반적으로 트레이닝되고 있거나 조정되고 있는 뉴럴 네트워크와 적어도 유사하거나 그 일부인 이전에 트레이닝된 뉴럴 네트워크로부터의 가중치로서 정의될 수 있다. 사전 트레이닝된 가중치는 뉴럴 네트워크 또는 뉴럴 네트워크의 일부를 처음부터 트레이닝하거나 본 명세서에 설명된 것과 같은 트레이닝 데이터를 사용하여 임의의 다른 적절한 방식으로 획득될 수 있다. 사전 트레이닝된 가중치는 본 명세서에 설명된 뉴럴 네트워크를 미세 조정하는 데 사용될 수 있다. 미세 조정(fine tuning)은 뉴럴 네트워크의 임의의 하나 이상의 파라미터를 미세 조정하는 것을 포함할 수 있다. 이러한 미세 조정은 본 명세서에 더 설명된 바와 같이 수행된 뉴럴 네트워크의 트레이닝 후에 수행될 수 있다. 대안적으로, 사전 트레이닝된 가중치는 뉴럴 네트워크의 초기 파라미터로서 사용될 수 있고, 이후 뉴럴 네트워크의 초기 파라미터는 미세 조정될 수 있으며, 이는 트레이닝과 관련하여 본 명세서에 기술된 바와 같이 수행될 수 있다.
이러한 일 실시 예에서, 사전 트레이닝된 가중치는 (예를 들어, 비교적 큰 데이터 세트(예를 들어, 이미지넷(ImageNet), 자연 이미지(natural image) 데이터 세트 또는 반드시 본 명세서에 기술된 것과 같은 이미징 툴로부터 얻어진 데이터 세트일 필요는 없음)에서) 이미지 분류 네트워크를 트레이닝함으로써 얻어진다. 일부 사례에서, 이미지 분류 네트워크는 본 명세서에 설명된 표본과 같은 표본 상에서 검출된 결함의 분류를 수행하도록 구성될 수 있다. 그러나, 이미지 분류 네트워크는 자연 이미지를 분류하도록 구성된 것들과 같은 임의의 다른 알려진 이미지 분류 네트워크를 포함할 수 있다. 이러한 방식으로, 사전 트레이닝된 가중치는 본 명세서에 기술된 것과 적어도 일부 유사한 능력을 갖는 네트워크를 트레이닝함으로써 획득될 수 있다. 그러나, 이미지 분류 네트워크는 결함(또는 이미지) 분류를 수행할 수 있는, 본 명세서에 기술된 것을 포함하지만 이에 제한되지 않는 임의의 적합한 뉴럴 네트워크 구성을 가질 수 있다. 다른 이러한 실시 예에서, 사전 트레이닝된 가중치는 표본에서 검출된 결함을 분류하도록 구성된 제2 부분을 트레이닝함으로써 얻어진다. 예를 들어, 표본에서 검출된 결함을 분류하도록 구성되는 본 명세서에 설명된 뉴럴 네트워크의 제2 부분은 사전 트레이닝된 가중치를 생성하도록 트레이닝될 수 있으며, 이는 이후 전체 뉴럴 네트워크를 미세 조정하는데 사용될 수 있다.
본 명세서에 기술된 임의의 사전 트레이닝된 가중치는 네트워크의 결함 이미지 분류 부분(예를 들어, 층(206 및 210)을 포함하는 네트워크의 부분)을 미세 조정하는데 사용될 수 있다. 미세 조정 동안, 사전 트레이닝된 가중치는 층(들)(206) 및 따라서 특징 맵(208)을 초기화하는 데 사용될 수 있다. 본 명세서에 기술된 사전 트레이닝된 가중치는 또한 네트워크의 결함 검출 부분(예를 들어, 층(206 및 214)을 포함하는 네트워크의 부분)을 미세 조정하는데 사용될 수 있다. 미세 조정 동안, 사전 트레이닝된 가중치는 층(들)(206) 및 따라서 특징 맵(208)을 초기화하는 데 사용될 수 있다. 또한, 본 명세서에 기술된 사전 트레이닝된 가중치 및/또는 네트워크의 결함 검출 부분을 미세 조정함으로써 생성된 뉴럴 네트워크의 파라미터의 트레이닝된 값은 네트워크의 결함 검출 및 분류 부분(예를 들어, 층(206, 214, 218, 220)을 포함하는 네트워크의 부분)을 미세 조정하기 위하여 사용될 수 있다. 이 미세 조정 프로세스 동안, 사전 트레이닝된 가중치는 층(들)(206) 및 따라서 피쳐 맵(208)을 초기화하고 층(214)을 초기화하는데 사용될 수 있다.
다른 실시 예에서, 하나 이상의 컴퓨터 서브 시스템은 뉴럴 네트워크를 처음부터 트레이닝하기 위해 구성된다. 예를 들어, 본 명세서에 설명된 뉴럴 네트워크는 사전 트레이닝된 가중치를 사용하지 않고 본 명세서에 설명된 트레이닝 데이터 및 이미지 중 임의의 것을 사용하여 처음부터 트레이닝될 수 있다.
일 실시 예에서, 제2 부분은 하나 이상의 결정된 특징을 선택하고 하나 이상의 선택된 특징에 기초하여 결함을 분류하도록 구성된 하나 이상의 완전하게 연결된 층을 포함한다. "완전하게 연결된 층"은 일반적으로 각각의 노드가 이전 층의 각각의 노드에 연결된 층으로서 정의될 수 있다. 완전하게 연결된 층(들)은 컨볼루션 층(들)에 의해 추출된 특징들에 기초하여 분류를 수행한다. 그러한 일 실시 예가 도 4에 도시되어 있다. 특히, 도 4에 도시된 바와 같이, 분류 네트워크는 2 개의 부분: 본 명세서에 기술된 제1 부분에 포함된 컨볼루션 층(들)(206) 및 본 명세서에 기술된 제2 부분에 포함된 완전하게 연결된 층(들)(210)을 포함한다. 컨볼루션 층(들)은 특징 맵(208)을 생성하고 이에 의해 이미지(들)(204)에 대한 특징을 결정하도록 구성되며, 이는 이미지(들) 및 본 명세서에 더 설명된 입력 중 임의의 것을 포함할 수 있다. 완전하게 연결된 층(들)은 특징 선택 및 분류를 위해 구성된다. 다시 말해서, 완전하게 연결된 층(들)은 특징 맵(208)으로부터 특징을 선택하고 선택된 특징에 기초하여 이미지(들)에서 결함을 분류한다. 선택된 특징들은 특징 맵 내의 모든 특징들(적절한 경우) 또는 특징 맵 내의 특징들 중 일부만을 포함할 수 있다. (컨볼루션 층(들) 및 완전하게 연결된 층(들)을 포함하는) 분류 네트워크는 이미지 분류(212)를 출력하며, 이미지 분류(212)는 각각의 분류 결과와 연관된 신뢰도를 갖는 이미지 별 분류 결과를 포함할 수 있다. 이미지 분류의 결과는 또한 본 명세서에 더 설명된 바와 같이 사용될 수 있다. 이미지 분류는 임의의 적합한 포맷(예를 들어, 이미지 또는 결함 ID, "패턴", "브리지" 등과 같은 결함 설명)을 가질 수 있다. 이미지 분류 결과는 본 명세서에 더 설명된 바와 같이 저장되고 사용될 수 있다.
도 4는 이미지 레벨 레이블(200)이 뉴럴 네트워크에 입력되는 것으로 도시된 트레이닝 사용 사례의 뉴럴 네트워크를 도시한다. (뉴럴 네트워크가 트레이닝된 후) 이 뉴럴 네트워크가 생산 또는 런타임에 사용되고 있는 경우, 이미지 레벨 레이블(200)은 뉴럴 네트워크에 입력되지 않을 것이다. 대신에, 유일한 입력은 이미지(들)(204)일 것이다.
일부 실시 예에서, 하나 이상의 컴퓨터 서브 시스템은 사전 트레이닝된 가중치를 사용하여 뉴럴 네트워크를 미세 조정하도록 구성된다. 이러한 미세 조정은 본 명세서에 더 설명된 바와 같이 수행될 수 있다. 다른 실시 예에서, 하나 이상의 컴퓨터 서브 시스템은 뉴럴 네트워크를 처음부터 트레이닝하기 위해 구성된다. 이러한 트레이닝은 본 명세서에 기술된 바와 같이 수행될 수 있다. 이러한 방식으로, 도 4에 도시된 네트워크는 사전 트레이닝된 가중치로부터 미세 조정될 수 있다. 사전 트레이닝된 가중치는 이미지 레벨 레이블이 붙은 자연 이미지 또는 주사 전자 현미경(SEM) 이미지를 사용하여 트레이닝함으로써 얻을 수 있다. 자연 이미지는 당 업계에 알려진 임의의 적절한 자연 트레이닝 이미지를 포함할 수 있다. SEM 이미지는 이용 가능하고 뉴럴 네트워크가 사용될 표본(들)과 유사한 표본인, 임의의 적절한 SEM 이미지를 포함할 수 있다. 이미지(들)(204)가 광학 이미지를 포함할 경우, 트레이닝 이미지는 SEM 이미지 대신에 광학 이미지를 포함할 수 있다.
상술한 뉴럴 네트워크과 같이, 결함 검출을 위해 구성된 다른 실시 예는 또한 전술한 컨볼루션 층(들)을 포함한다. 이러한 방식으로, 이 실시 예는 검출 CNN으로서 구성될 수 있다. 이러한 뉴럴 네트워크의 일 실시 예가 도 5에 도시되어 있다. 도 5에 도시된 실시 예에서, 제2 부분은 이미지에 대해 결정된 특징에 기초하여 표본 상의 결함을 검출하고 각각의 검출된 결함에 대한 바운딩 박스를 생성하도록 구성된 제안 네트워크를 포함한다. 이러한 방식으로, 도 5에 도시된 검출 네트워크는 2 개의 부분, 본 명세서에 설명된 제1 부분에 포함된 컨볼루션 층(들)(206) 및 본 명세서에 기술된 제2 부분에 포함된 제안 네트워크(214)를 포함한다. 컨볼루션 층(들)은 특징들을 결정하고 이미지(들)(204)에 대한 특징 맵(208)을 생성하도록 구성되며, 이는 본 명세서에 기술된 이미지(들) 및 입력 중 임의의 것을 포함할 수 있다. 제안 네트워크는 결함 검출을 위해 구성되었다. 다시 말해, 제안 네트워크는 특징 맵(208)으로부터의 특징(들)을 사용하여 결정된 특징에 기초하여 이미지(들)의 결함을 검출한다. 제안 네트워크는 바운딩 박스 검출 결과(예를 들어, 바운딩 박스(216))를 생성하도록 구성된다. 이러한 방식으로, (컨볼루션 층(들) 및 제안 네트워크를 포함하는) 검출 CNN은 각각의 검출된 결함 또는 둘 이상의 검출된 결함과 연관된 바운딩 박스를 포함할 수 있는 바운딩 박스(216)를 출력한다. 네트워크는 각 바운딩 박스에서 검출 점수와 함께 바운딩 박스 위치를 출력할 수 있다. 바운딩 박스에 대한 검출 점수는 (0.5와 같은) 숫자일 수 있다. 결함 검출의 결과는 또한 본 명세서에서 더 설명되는 바와 같이 저장되고 사용될 수 있다.
제안 네트워크 또는 "영역 제안 네트워크(region proposal network)"는 일반적으로 이미지 내의 객체(object)를 검출하고 그 검출된 객체에 대응하는 영역을 제안하는 완전 컨볼루션 네트워크로서 정의될 수 있다. 제안 네트워크의 예는 Ren 등에 의한 NIPS, 2015의 "더 빠른 R-CNN : 영역 제안 네트워크를 통한 실시간 객체 검출을 향하여(Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks)"에 설명되어 있으며, 이는 본 명세서에 완전히 설명된 것처럼 참조로 포함된다. 본 명세서에 설명된 제안 네트워크는 이 참조에 설명된 바와 같이 추가로 구성될 수 있다. 제안 네트워크는 비교적 빠르며 상이한 크기의 객체를 검출할 수 있기 때문에 본 명세서에 기술된 실시 예에서 사용하기에 매력적이다. 제안 네트워크는 컨볼루션 층(들)에 의해 생성된 특징 맵 상에 슬라이딩 윈도우를 오버레이함으로써 k 개의 앵커 박스를 생성할 수 있다. 특징 맵 상에 슬라이딩 윈도우를 오버레이한 결과는 제안 네트워크의 중간 층에 입력될 수 있고, 이는 cls 층을 통하여 2k 스코어를 생성하고 reg 층을 통하여 4k 좌표를 생성할 수 있다.
도 5는 바운딩 박스 레벨 레이블(202)이 뉴럴 네트워크에 입력되는 것으로 도시된 트레이닝 사용 사례에서의 뉴럴 네트워크를 도시한다. (뉴럴 네트워크가 트레이닝된 후) 이 뉴럴 네트워크가 생산 또는 런타임에 사용되고 있는 경우, 바운딩 박스 레벨 레이블(202)은 뉴럴 네트워크에 입력되지 않을 것이다. 대신에, 유일한 입력은 이미지(들)(204)일 수 있으며, 이는 본 명세서에서 더 설명되는 바와 같이 결함 이미지, 참조 이미지 및 설계를 포함할 수 있다.
일부 실시 예에서, 하나 이상의 컴퓨터 서브 시스템은 사용자에 의해 할당된 클래스 레이블을 트레이닝 결함 이미지 내의 바운딩 박스에, 트레이닝 결함 이미지를 뉴럴 네트워크에 입력함으로써 뉴럴 네트워크를 트레이닝하도록 구성된다. 예를 들어, 사용자는 바운딩 박스마다 클래스를 할당할 수 있다. 바운딩 박스 레벨 레이블 및 결함 이미지는 이후 뉴럴 네트워크를 트레이닝하기 위한 입력으로서 사용될 수 있다. 트레이닝은 본 명세서에 더 설명된 바와 같이 수행될 수 있다. 클래스 레이블은 본 명세서에 기술된 임의의 클래스 레이블을 포함할 수 있다. 트레이닝 결함 이미지는 본 명세서에 기술된 트레이닝 결함 이미지 중 임의의 것을 포함할 수 있다. 또한, 클래스 레이블 및 트레이닝 결함 이미지는 본 명세서에 더 설명된 바와 같이 획득될 수 있다.
하나의 이러한 실시 예에서, 하나 이상의 컴퓨터 서브 시스템은 하나 이상의 트레이닝 참조 이미지, 트레이닝 결함 이미지가 생성된 표본에 대한 설계, 또는 하나 이상의 트레이닝 참조 이미지 및 설계로, 클래스 레이블 및 트레이닝 결함 이미지를 뉴럴 네트워크로 입력함으로써, 뉴럴 네트워크를 트레이닝하도록 구성된다. 예를 들어, 참조 이미지 및/또는 설계는 입력의 제2(및 가능하면 제3) 채널로서 삽입될 수 있지만 참조 이미지 및/또는 설계는 필요하지 않다. 이러한 트레이닝은 본 명세서에 더 설명된 바와 같이 수행될 수 있다. 클래스 레이블, 트레이닝 결함 이미지, 트레이닝 참조 이미지(들) 및 설계는 본 명세서에 설명된 임의의 적절한 방식으로 획득된 본 명세서에 설명된 이러한 정보 및 이미지 중 임의의 것을 포함할 수 있다.
일부 실시 예에서, 하나 이상의 컴퓨터 서브 시스템은 사전 트레이닝된 가중치를 사용하여 뉴럴 네트워크를 미세 조정하도록 구성된다. 이러한 미세 조정은 본 명세서에 더 설명된 바와 같이 수행될 수 있다. 이러한 일 실시 예에서, 사전 트레이닝된 가중치는 결함 분류 네트워크를 트레이닝함으로써 얻어진다. 이러한 사전 트레이닝된 가중치는 본 명세서에 더 설명된 바와 같이 얻을 수 있다. 다른 실시 예에서, 하나 이상의 컴퓨터 서브 시스템은 뉴럴 네트워크를 처음부터 트레이닝하도록 구성된다. 예를 들어, 도 5에 도시된 실시 예의 경우, 네트워크는 사전 트레이닝된 가중치로부터 미세 조정되거나 처음부터 트레이닝될 수 있다. 이러한 트레이닝은 본 명세서에 더 설명된 바와 같이 수행될 수 있다. (결함 분류와 결함 검출 사이의) 컨벌루션 층(들)의 공유로 인해, 분류 사전 트레이닝된 가중치를 사용할 수 있다. 하나의 그러한 예에서, 컴퓨터 서브 시스템(들)은 이미지 레벨 레이블링을 사용하여 획득된 사전 트레이닝된 가중치를 사용할 수 있다.
도 6에 도시된 다른 실시 예는 검출 및 분류 모두를 위해 구성된다. 본 명세서에서 더 설명되는 실시 예들과 같이, 이 실시 예는 컨볼루션 층(들)(206)을 포함하며, 이는 본 명세서에서 더 설명되는 바와 같이 구성될 수 있다. 따라서, 이 뉴럴 네트워크는 검출 및 분류 CNN으로서 구성될 수 있다. 도 6에 도시된 실시 예에서, 제2 부분은 제안 네트워크를 포함하고, 제안 네트워크는 이미지에 대해 결정된 특징에 기초하여 표본 상의 결함을 검출하고, 검출된 결함, 결함에 대해 결정된 특징에 기초하여 검출된 결함을 분류하도록 구성된 관심 영역(region of interest, ROI) 풀링 층(들) 및 완전하게 연결된 층(들) 각각에 대하여 바운딩 박스를 생성하도록 구성된다. 이러한 방식으로, 검출 및 분류 네트워크는 3 개의 부분: 본 명세서에서 설명된 제1 부분에 포함된 컨볼루션 층(들)(206), 본 명세서에서 설명된 제2 부분에 포함된 제안 네트워크(214) 및 본 명세서에 설명된 제2 부분에 또한 포함된 ROI 풀링 층(들) 및 완전하게 연결된 층(들)(220)을 포함한다. 컨볼루션 층(들)은 특징들을 결정하고 이미지(들)(204)에 대한 특징 맵(208)을 생성하도록 구성되며, 이는 본 명세서에 기술된 이미지(들) 및 입력 중 임의의 것을 포함할 수 있다. 제안 네트워크는 전술한 바와 같이 결함 검출을 위해 구성되고, 제안 네트워크에 의해 생성된 결과는 본 명세서에 기술된 임의의 결함 검출 결과를 포함할 수 있다.
하나의 이러한 실시 예에서, 제2 부분은 하나 이상의 ROI 풀링 층 및 뒤이어 하나 이상의 완전하게 연결된 층을 포함하고, 하나 이상의 ROI 풀링 층은 생성된 바운딩 박스의 고정 길이 표현을 생성하도록 구성되며, 고정 길이 표현이 하나 이상의 완전하게 연결된 층에 입력되고, 하나 이상의 완전하게 연결된 층은 결정된 특징들 중 하나 이상을 선택하고 하나 이상의 선택된 특징들에 기초하여 검출된 결함들을 분류하도록 구성된다. 이러한 방식으로, 제안 네트워크는 바운딩 박스 검출을 생성하는데 사용된다. 바운딩 박스는 고정 길이의 완전하게 연결된 층 입력을 구성하는 ROI 풀링 층(218)으로 전송된다. 예를 들어, 제안 네트워크는 유리하게는 (이미지에서 검출된 결함의 크기에 의존하는) 상이한 치수 또는 크기를 갖는 바운딩 박스를 생성할 수 있다. ROI 풀링 층(들)는 상이한 크기의 입력 이미지를 수용할 수 있다. 따라서, ROI 풀링 층(들)은 제안 네트워크에 의해 생성된 바운딩 박스 이미지를 수용할 수 있고, 바운딩 박스 이미지의 크기를 조정하여 완전하게 연결된 층(들)(220)에 대한 고정 길이 입력을 생성할 수 있다. 예를 들어, 컨볼루션 층은 상이한 크기의 입력을 수용할 수 있는 반면, 완전하게 연결된 층은 그렇게 할 수 없다. 따라서, 컨벌루션 층은 임의의(arbitrary) 크기를 갖는 특징 맵을 생성할 수 있고 제안 네트워크는 임의의 크기를 갖는 바운딩 박스를 생성할 수 있다. ROI 풀링 층(들)은 피쳐 맵들 및/또는 바운딩 박스들 중 임의의 크기를 완전하게 연결된 층(들)에 의해 요구되는 고정된 길이로 조정함으로써, 완전하게 연결된 층(들)에 입력될 수 있는 고정 길이 표현을 생성할 수 있다. 완전하게 연결된 층(들)(220)은 본 명세서에 설명된 바와 같이 추가로 구성될 수 있다. 네트워크는 분류 레이블을 가진 바운딩 박스 위치 및 각 바운딩 박스에 대한 신뢰도를 출력한다. 예를 들어,도 6에 도시된 바와 같이, 출력은 바운딩 박스 및 분류(222) 결과를 포함할 수 있다. 풀링 층의 예는 He 등에 의한 TPAMI, 2015의 "시각적 인지를 위한 딥 컨볼루션 네트워크에서의 공간 피라미드 풀링(Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition)"에 설명되어 있으며, 이는 본 명세서에 완전히 설명된 것처럼 참조로 포함된다. 본 명세서에 설명된 ROI 풀링 층(들)은 이 참조에 설명된 바와 같이 추가로 구성될 수 있다. 바운딩 박스 및 분류(222) 결과는 본 명세서에 기술된 임의의 결과를 포함할 수 있고 본 명세서에 추가로 기술된 바와 같이 저장되고 사용될 수 있다.
도 6에 도시된 바와 같이, 바운딩 박스 레벨 레이블(202) 및 결함 이미지(204)는 검출 및 분류 CNN을 트레이닝하기 위한 입력으로서 사용될 수 있다. 참조 이미지 및/또는 설계는 입력의 제2(및 가능하면 제3) 채널로서 삽입될 수 있지만 참조 이미지 및/또는 설계는 필요하지 않다. (뉴럴 네트워크가 트레이닝된 후) 이 뉴럴 네트워크가 생산 또는 런타임에 사용되고 있는 경우, 바운딩 박스 레벨 레이블(202)은 뉴럴 네트워크에 입력되지 않을 것이다. 대신에, 유일한 입력은 이미지(들)(204)일 것이다.
일부 실시 예에서, 하나 이상의 컴퓨터 서브 시스템은 사전 트레이닝된 가중치를 사용하여 뉴럴 네트워크를 미세 조정하도록 구성된다. 이러한 미세 조정은 본 명세서에 더 설명된 바와 같이 수행될 수 있다. 이러한 일부 실시 예에서, 하나 이상의 컴퓨터 서브 시스템은 제안 네트워크를 사용하여 하나 이상의 ROI 풀링 층 및 하나 이상의 완전하게 연결된 층을 미세 조정하도록 구성된다. 이러한 미세 조정은 임의의 적절한 방식으로 수행될 수 있다. 이러한 일 실시 예에서, 사전 트레이닝된 가중치는 이미지 분류 네트워크를 트레이닝함으로써 얻어진다. 이러한 이미지 분류 네트워크는 본 명세서에 설명된 바와 같이 추가로 구성될 수 있다. 다른 이러한 실시 예에서, 사전 트레이닝된 가중치는 표본에서 검출된 결함을 분류하도록 구성된 뉴럴 네트워크의 제2 부분을 트레이닝함으로써 얻어진다. 이러한 트레이닝은 본 명세서에 기술된 바와 같이 수행될 수 있다. 다른 실시 예에서, 하나 이상의 컴퓨터 서브 시스템은 뉴럴 네트워크를 처음부터 트레이닝하도록 구성된다. 이러한 트레이닝은 본 명세서에 더 설명된 바와 같이 수행될 수 있다. 이러한 방식으로, 네트워크는 다른 뉴럴 네트워크 또는 뉴럴 네트워크의 검출 부분(제안 네트워크를 포함하는 뉴럴 네트워크의 부분)을 트레이닝함으로써 획득된 사전 트레이닝된 가중치로부터 미세 조정될 수 있거나, 또는 네트워크는 처음부터 트레이닝될 수 있다. 사전 트레이닝된 가중치는 분류 네트워크를 사용하여 얻어질 수 있으며, 이는 본 명세서에서 더 설명되는 바와 같이 수행될 수 있다. 컨벌루션 층(들)의 공유로 인해, 분류 사전 트레이닝된 가중치가 사용될 수 있다.
그러므로, 요약하면, 본 명세서에 기술된 실시 예는 결함 분류 및 검사(검출)를 위한 통합된 딥 러닝 프레임워크를 제공한다. 통합된 딥 러닝 프레임워크의 분류 네트워크 부분은 이미지 레이블 별 클래스 및 결함 이미지를 사용하여 트레이닝될 수 있고, 분류 신뢰도와 함께 이미지 별 클래스를 출력할 것이다. 통합된 딥 러닝 프레임워크의 검출 네트워크 부분은 바운딩 박스 별 클래스 및 결함 이미지를 사용하여 트레이닝될 수 있고, 바운딩 박스 위치 및 바운딩 박스 별 검출 점수를 출력할 것이다. 통합된 딥 러닝 프레임워크의 검출 및 분류 네트워크 부분은 바운딩 박스 별 클래스 및 결함 이미지를 사용하여 트레이닝될 수 있고, 분류 신뢰도와 함께 바운딩 박스 위치 및 바운딩 박스 별 클래스를 출력할 것이다.
통합된 딥 러닝 프레임워크의 상기 세 부분은 유리하게 동일한 컨볼루션 층(들)을 공유하며, 동일한 사전 트레이닝된 가중치를 사용하여 미세 조정(트레이닝)될 수 있다. 그러므로, 본 명세서에 설명된 실시 예들은 일반화 가능하고 공통 컨볼루션 층(들)으로 인한 통합된 접근법을 제공한다. 프레임워크의 모든 구성은 트레이닝을 위하여 결함 이미지만 필요로 한다. 참조 이미지 및/또는 설계 이미지는 필요하지 않다. 그러나, 참조 이미지 및/또는 설계 이미지는 필요한 경우 입력의 제2 채널(및 가능하면 제3 채널)로서 삽입될 수 있다. 또한, 본 명세서에 기술된 실시 예는 임의의 추가 주석 요구 사항 없이 기존의 이미지 레벨 레이블링된 데이터를 사용하여 획득된 사전 트레이닝된 가중치를 사용하여 가능하게 한다.
본 명세서에 기술된 실시 예는 결함 검출 및 분류를 위해 현재 사용되는 방법에 비해 많은 장점을 갖는다. 예를 들어, 본 명세서에 기술된 실시 예는 결함 검출 및 분류를 위해 단일 세트의 컨볼루션 층(들)을 사용하기 때문에, 이미지 레벨 레이블링된 데이터(예를 들어, 자연 이미지 및/또는 SEM 또는 광학 이미지)를 사용하여 사전 트레이닝된 가중치가 획득될 수 있다. 또한, 본 명세서에 기술된 실시 예는 결함 검출 및 분류 둘 다를 위한 단지 하나의 세트의 컨볼루션 층(들)을 포함하기 때문에, 실시 예는 알렉스넷(AlexNet), 딥 레지듀얼 네트(Deep Residual Net), VGG 및 구글넷(GoogleNet)와 같은 최첨단 네트워크를 쉽게 플러그인할 수 있게 한다. 또한, 본 명세서에 설명된 실시 예는 단지 하나의 세트의 컨볼루션 층(들)을 포함하기 때문에, 각 네트워크는 사전 트레이닝된 가중치로부터 미세 조정되거나 처음부터 트레이닝될 수 있다.
따라서, 본 명세서에 기술된 통합된 딥 러닝 분류 및 검출 프레임워크 실시 예는 이전에 사용된 접근법에 비해 다수의 장점을 갖는다. 예를 들어, 본 명세서에 기술된 실시 예는 다수의 사용 용이성 및 비용 이점을 갖는다. 하나의 그러한 예에서, 본 명세서에 설명된 실시 예는 검출 네트워크가 학습하기 위해 픽셀 레벨에서 결함에 주석을 달아야 하는 사용자 부담을 상당히 감소시킨다. 다시 말해서, 본 명세서에 기술된 실시 예는 검출을 위한 바운딩 박스 레이블링을 가능하게 하고, 이는 사용자 주석 부담을 상당히 감소시킨다. 이러한 방식으로, 실시 예는 주석, 트레이닝 및 테스트를 위한 사용 용이성을 제공한다. 다른 이러한 예에서, 사전 트레이닝된 가중치는 기존 이미지 레벨 레이블링된 데이터를 사용하여 직접 생성될 수 있다. 이러한 방식으로, 본 명세서에 기술된 실시 예는 사전-트레이닝된 가중치를 생성하기 위해 이미지 레벨 레이블링된 데이터를 직접 사용함으로써 사전 지식을 즉시 이용할 수 있다. 본 명세서에 설명된 실시 예는 또한 사전 트레이닝된 가중치를 생성하기 위한 데이터 세트의 쉬운 구축을 가능하게 한다. 추가의 예에서, 사전 트레이닝된 가중치로부터 본 명세서에 기술된 실시 예의 미세 조정은 트레이닝 시간을 약 90 % 감소시키고 양쪽 네트워크에 대한 트레이닝 결함 요건을 감소시킨다. 이러한 방식으로, 본 명세서에 기술된 실시 예는 동일한 사전 트레이닝된 가중치를 공유함으로써 검출 및 분류 모두에 대한 트레이닝 시간 및 트레이닝 결함 요건을 감소시켜, 레시피 시간(즉, 레시피 셋업에 소요되는 시간)을 감소시킬 수 있다.
다른 예에서, 본 명세서에 기술된 실시 예는 지식 공유로 인해 많은 장점을 갖는다. 하나의 그러한 예에서, 본 명세서에 기술된 실시 예는 사전 지식을 이용할 수 있다. 특히, 사전 트레이닝된 가중치는 이미지 레벨 레이블링된 데이터를 사용하여 즉시 얻을 수 있다. 이러한 방식으로, 본 명세서에 기술된 실시 예는 사전 트레이닝된 가중치를 얻기 위해 이전 데이터를 이용할 수 있다. 다른 이러한 예에서, 본 명세서에 기술된 실시 예는 사용자 요구 사항을 더 양호하고 더 빠르게 충족시킬 수 있다. 특히, 미세 조정을 위해 사전 트레이닝된 가중치를 사용함으로써, 분류 작업은 제한된 트레이닝 결함으로 사용자 성능 요구 사항을 충족할 수 있다. 검출 작업은 제한된 트레이닝 데이터로 신규 검출을 제공할 수 있다. 이러한 추가의 예에서, 본 명세서에 기술된 실시 예는 최대 성능을 위해 검출 및 분류 네트워크에걸쳐 정보를 전달할 수 있다.
추가의 예에서, 본 명세서에 기술된 실시 예의 프레임워크는 검출 및 분류를 하나의 문제로 취급함으로써 트레이닝 비용을 감소시킨다. 다른 예에서, 본 명세서에 기술된 실시 예는 딥 러닝을 위한 글로벌 로드맵이 발전함에 따라 더 새로운 기술에 대한 확장성을 허용하는 일반화 가능한 프레임워크를 유리하게 포함한다. 특히, 실시 예들은 새로운 기술의 플러그 앤 플레이를 용이하게 한다. 본 명세서에 기술된 실시 예는 또한 분류로부터 학습된 것을 검출에 적용할 수 있고 그 반대의 경우도 적용될 수 있다는 점에서 일반화 가능하다. 또 다른 예에서, 본 명세서에 기술된 실시 예는 고가의 트레이닝 프로세스의 공유로 인해 이미지 컴퓨터 비용이 감소될 수 있다는 점에서 비용 이점을 갖는다.
또한, 본 명세서에 기술된 실시 예는 현재 사용되는 접근법보다 우수한 성능을 제공한다. 예를 들어, 본 명세서에 기술된 실시 예는 분류에 대해 90 % 정확도/순도 및 검출에 대한 4 nm 감도의 사용자 요구 사항을 최종적으로 충족시키는 통합된 딥 러닝 프레임워크를 제공하며, 여기서 이전 방법은 그러한 사용자 요구 사항을 충족시키지 않는다. 또한, 본 명세서에 기술된 실시 예는 최대 성능을 위해 검출 및 분류 네트워크에 걸쳐 정보를 전달한다. 더욱이, 본 명세서에 설명된 실시 예는 현재 사용된 접근 방식과 비교하여 쓰루풋 이점을 갖는다. 예를 들어, 본 명세서에 설명된 실시 예는 분류 및 검출 모두에 결함 이미지만이 요구되기 때문에 검토 및 검사 툴에서 2 배 더 빠른 쓰루풋을 가질 수 있다.
본 명세서에 기술된 컴퓨터 서브 시스템(들)은 Karsenti 등에 의해 2017년 5월 18일에 공개된 미국 특허 출원 공개 번호 제2017/0140524호에 기술된 바와 같이 단일 이미지 검출을 위해 추가로 구성될 수 있으며, 이는 본 명세서에 완전히 설명된 것처럼 참조로 포함된다. 본 명세서에 기술된 실시 예는 공동 소유인, 2017년 5월 18일 공개된 Karsenti 등에 의한 미국 특허 출원 공개 번호 제2017/0140524호, 2017년 5월 25일 공개된 Zhang 등에 의한 미국 특허 출원 공개 번호 제2017/0148226호, 2017년 7월 6일 공개된 Bhaskar 등에 의한 미국 특허 출원 공개 번호 제2017/0193400호, 2017년 7월 6일 공개된 Zhang 등에 의한 미국 특허 출원 공개 번호 제2017/0193680호, 2017년 7월 6일 공개된 Bhaskar 등에 의한 미국 특허 출원 공개 번호 제2017/0194126호, 2017년 7월 13일 공개된 Bhaskar 등에 의한 미국 특허 출원 공개 번호 제2017/0200260호, 2017년 7월 13일 공개된 Park 등에 의한 미국 특허 출원 공개 번호 제2017/0200264호, 및 2017년 7월 13일 공개된 Bhaskar 등에 의한 미국 특허 출원 공개 번호 제2017/0200265호, 및 2017년 5월 23일 출원된 Zhang 등에 의한 미국 특허 출원 번호 제15/603,249호에 기재된 것과 같은 (입력 이미지로부터 시뮬레이션된 이미지로의) 변환을 수행하도록 또한 구성될 수 있고, 이들은 본 명세서에 완전히 제시된 것처럼 참조로 포함된다. 본 명세서에 기술된 실시 예는 이들 특허 출원 공개 및 출원에 기술된 바와 같이 추가로 구성될 수 있다. 또한, 본 명세서에 기술된 실시 예는 이러한 특허 출원 공개 및 출원에 기술된 임의의 단계를 수행하도록 구성될 수 있다.
시스템의 다른 실시 예는 표본 상의 결함을 검출하고 분류하도록 구성된다. 시스템은 표본의 이미지를 생성하도록 구성된 이미징 서브 시스템을 포함한다. 이미징 서브 시스템은 본 명세서에 설명된 임의의 구성을 가질 수 있다. 시스템은 또한 이미지를 획득하도록 구성된 하나 이상의 컴퓨터 서브 시스템, 예를 들어 도 1에 도시된 컴퓨터 서브 시스템(들)(102)을 포함한다. 컴퓨터 서브 시스템(들)은 본 명세서에 더 설명된 바와 같이 구성될 수 있다. 시스템은 또한 하나 이상의 컴퓨터 서브 시스템에 의해 실행되는 하나 이상의 컴포넌트, 예를 들어 컴포넌트(들)(100)를 포함하며, 이는 본 명세서에 설명된 컴포넌트(들) 중 임의의 것을 포함할 수 있다. 컴포넌트(들)는 본 명세서에 설명된 바와 같이 구성될 수 있는 뉴럴 네트워크(104)를 포함한다. 예를 들어, 뉴럴 네트워크는 표본 상의 결함을 검출하고 표본 상에서 검출된 결함을 분류하도록 구성된다. 뉴럴 네트워크는 이미징 서브 시스템에 의해 생성된 표본의 이미지의 특징을 결정하도록 구성된 제1 부분을 포함한다. 뉴럴 네트워크는 또한 이미지의 결정된 특징에 기초하여 표본 상의 결함을 검출하고 이미지의 결정된 특징에 기초하여 표본 상에서 검출된 결함을 분류하도록 구성된 제2 부분을 포함한다. 하나 이상의 컴퓨터 서브 시스템은 검출 및 분류의 결과를 생성하도록 구성된다. 이 시스템 실시 예는 본 명세서에 설명된 바와 같이 추가로 구성될 수 있다.
상술된 각각의 시스템의 각각의 실시 예는 하나의 단일 실시 예로 함께 결합될 수 있다.
다른 실시 예는 표본 상의 결함을 검출하고 분류하기 위한 컴퓨터로 구현되는 방법에 관한 것이다. 방법은 이미징 서브 시스템에 의해 생성된 표본의 이미지를 획득하는 단계를 포함한다. 방법은 또한 표본 상의 결함을 검출하고 표본 상에서 검출된 결함을 분류하도록 구성된 뉴럴 네트워크의 제1 부분에 이미지를 입력함으로써 표본의 이미지의 특징을 결정하는 단계를 포함한다. 하나 이상의 컴포넌트는 하나 이상의 컴퓨터 시스템에 의해 실행되고, 하나 이상의 컴퓨터 시스템은 뉴럴 네트워크를 포함한다. 또한, 방법은 이미지의 결정된 특징에 기초하여 표본 상의 결함을 검출하는 단계 및 이미지의 결정된 특징을 뉴럴 네트워크의 제2 부분에 입력함으로써 이미지의 결정된 특징에 기초하여 표본 상에서 검출된 결함을 분류하는 단계를 포함한다. 방법은 검출 및 분류의 결과를 생성하는 단계를 더 포함한다.
방법의 각 단계는 본 명세서에 더 설명된 바와 같이 수행될 수 있다. 방법은 또한 본 명세서에 기술된 시스템, 컴퓨터 서브 시스템(들) 및/또는 이미징 시스템 또는 서브 시스템에 의해 수행될 수 있는 임의의 다른 단계(들)를 포함할 수 있다. 하나 이상의 컴퓨터 시스템, 하나 이상의 컴포넌트, 및 뉴럴 네트워크는 본 명세서에 설명된 임의의 실시 예, 예를 들어 컴퓨터 서브 시스템(들)(102), 컴포넌트(들)(100) 및 뉴럴 네트워크(104)에 따라 구성될 수 있다. 또한, 전술한 방법은 본 명세서에서 설명된 임의의 시스템 실시 예에 의해 수행될 수 있다.
추가의 실시 예는 표본 상의 결함을 검출하고 분류하기 위한 컴퓨터 구현 방법을 수행하기 위해 하나 이상의 컴퓨터 시스템 상에서 실행 가능한 프로그램 명령어들을 저장하는 비-일시적 컴퓨터 판독 가능 매체에 관한 것이다. 그러한 일 실시 예가 도 7에 도시되어 있다. 특히, 도 7에 도시된 바와 같이, 비일시적 컴퓨터 판독 가능 매체(700)는 컴퓨터 시스템(들)(704)에서 실행 가능한 프로그램 명령어들(702)을 포함한다. 컴퓨터 구현 방법은 본 명세서에 기재된 임의의 방법(들)의 임의의 단계(들)를 포함할 수 있다.
본 명세서에 기술된 것과 같은 방법을 구현하는 프로그램 명령어들(702)은 컴퓨터 판독 가능 매체(700)에 저장될 수 있다. 컴퓨터 판독 가능 매체는 자기 또는 광 디스크, 자기 테이프, 또는 당 업계에 공지된 임의의 다른 적절한 비일시적 컴퓨터 판독 가능 매체와 같은 저장 매체일 수 있다.
프로그램 명령어들은 특히 절차 기반 기법, 컴포넌트 기반 기법 및/또는 객체 지향 기법을 포함하는 임의의 다양한 방식으로 구현될 수 있다. 예를 들어, 프로그램 명령어들은 원하는 대로, ActiveX 컨트롤, C++ 객체, JavaBeans, MFC(Microsoft Foundation Classes), SSE(Streaming SIMD Extension) 또는 기타 기술 또는 방법론을 사용하여 구현될 수 있다.
컴퓨터 시스템(들)(704)은 본 명세서에 설명된 임의의 실시 예에 따라 구성될 수 있다.
본 발명의 다양한 양태의 추가 수정 및 대안적인 실시 예는 이 설명을 고려하여 당업자에게 명백할 것이다. 예를 들어, 표본 상의 결함을 검출하고 분류하는 방법 및 시스템이 제공된다. 따라서, 이 설명은 단지 예시적인 것으로 해석되어야하며, 당업자에게 본 발명을 수행하는 일반적인 방식을 교시하기 위한 목적이다. 본 명세서에 도시되고 설명된 본 발명의 형태는 현재 선호되는 실시 예로서 간주되어야 한다는 것을 이해해야 한다. 본 명세서에 예시되고 기술된 것들로 요소들 및 재료들이 대체될 수 있고, 부분들 및 프로세스들이 역전될 수 있으며, 본 발명의 특정 특징들은 본 발명의 이 설명의 이점을 얻은 후 당업자에게 모두 명백한 바와 같이 독립적으로 이용될 수 있다. 다음의 청구범위에 기술된 바와 같이 본 발명의 사상 및 범위를 벗어나지 않으면서 본 명세서에 기술된 요소들에 대한 변경이 이루어질 수 있다.

Claims (26)

  1. 표본 상의 결함을 검출하고 분류하도록 구성된 시스템에 있어서,
    하나 이상의 컴퓨터 서브 시스템; 및
    상기 하나 이상의 컴퓨터 서브 시스템에 의해 실행되는 하나 이상의 컴포넌트를 포함하고,
    상기 하나 이상의 컴포넌트는:
    표본 상의 결함을 검출하고 상기 표본 상에서 검출된 결함을 분류하도록 구성된 뉴럴 네트워크를 포함하고,
    상기 뉴럴 네트워크는:
    이미징 서브 시스템에 의해 생성된 표본의 이미지의 특징을 결정하도록 구성된 제1 부분; 및
    상기 이미지의 결정된 특징에 기초하여 상기 표본 상의 결함을 검출하고 상기 이미지의 결정된 특징에 기초하여 상기 표본 상에서 검출된 결함을 분류하도록 구성된 제2 부분을 포함하고,
    상기 하나 이상의 컴퓨터 서브 시스템은 상기 검출 및 분류의 결과를 생성하도록 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  2. 제1항에 있어서, 상기 뉴럴 네트워크는 또한 딥 러닝 네트워크로서 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  3. 제1항에 있어서, 상기 뉴럴 네트워크는 또한 알렉스넷(AlexNet)으로서 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  4. 제1항에 있어서, 상기 뉴럴 네트워크는 또한 구글넷(GoogleNet)으로서 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  5. 제1항에 있어서, 상기 뉴럴 네트워크는 또한 VGG 네트워크로서 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  6. 제1항에 있어서, 상기 뉴럴 네트워크는 또한 딥 레지듀얼 네트워크(deep residual network)로서 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  7. 제1항에 있어서, 상기 제1 부분은 하나 이상의 컨볼루션 층을 포함하는 것인, 표본 상의 결함 검출 및 분류 시스템.
  8. 제1항에 있어서, 상기 하나 이상의 컴퓨터 서브 시스템은 또한 사용자에 의해 할당된 클래스 레이블을 트레이닝 결함 이미지에, 그리고 상기 트레이닝 결함 이미지를 상기 뉴럴 네트워크에 입력함으로써, 상기 뉴럴 네트워크를 트레이닝하도록 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  9. 제8항에 있어서, 상기 하나 이상의 컴퓨터 서브 시스템은 또한 상기 하나 이상의 트레이닝 참조 이미지, 상기 트레이닝 결함 이미지가 생성된 표본에 대한 설계, 또는 상기 하나 이상의 트레이닝 참조 이미지 및 상기 설계로, 상기 뉴럴 네트워크에 상기 클래스 레이블 및 상기 트레이닝 결함 이미지를 입력함으로써, 상기 뉴럴 네트워크를 트레이닝하도록 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  10. 제1항에 있어서, 상기 하나 이상의 컴퓨터 서브 시스템은 또한 사전 트레이닝된 가중치를 사용하여 상기 뉴럴 네트워크를 미세 조정하도록 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  11. 제10항에 있어서, 상기 사전 트레이닝된 가중치는 이미지 분류 네트워크를 트레이닝함으로써 획득되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  12. 제10항에 있어서, 사전 트레이닝된 가중치는 상기 표본 상에서 검출된 결함을 분류하도록 구성된 제2 부분을 트레이닝함으로써 획득되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  13. 제1항에 있어서, 상기 하나 이상의 컴퓨터 서브 시스템은 또한 상기 뉴럴 네트워크를 처음부터(from scratch) 트레이닝하도록 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  14. 제1항에 있어서, 상기 제2 부분은, 상기 결정된 특징 중 하나 이상을 선택하고 상기 하나 이상의 선택된 특징에 기초하여 상기 결함을 분류하도록 구성된 하나 이상의 완전하게 연결된 층을 포함하는 것인, 표본 상의 결함 검출 및 분류 시스템.
  15. 제1항에 있어서, 상기 하나 이상의 컴퓨터 서브 시스템은 또한 사용자에 의해 할당된 클래스 레이블을 트레이닝 결함 이미지 내의 바운딩 박스에, 상기 트레이닝 결함 이미지를 상기 뉴럴 네트워크에 입력함으로써, 상기 뉴럴 네트워크를 트레이닝하도록 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  16. 제15항에 있어서, 상기 하나 이상의 컴퓨터 서브 시스템은 또한 하나 이상의 트레이닝 참조 이미지, 상기 트레이닝 결함 이미지가 생성된 표본에 대한 설계, 또는 상기 하나 이상의 트레이닝 참조 이미지 및 상기 설계로, 상기 뉴럴 네트워크에 상기 클래스 레이블 및 상기 트레이닝 결함 이미지를 입력함으로써, 상기 뉴럴 네트워크를 트레이닝하도록 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  17. 제1항에 있어서, 상기 제2 부분은 상기 이미지에 대해 결정된 특징에 기초하여 상기 표본 상의 결함을 검출하고 상기 검출된 결함 각각에 대한 바운딩 박스를 생성하도록 구성된 제안 네트워크를 포함하는 것인, 표본 상의 결함 검출 및 분류 시스템.
  18. 제17항에 있어서, 상기 제2 부분은 하나 이상의 관심 영역 풀링(region of interest pooling) 층, 및 뒤이어 하나 이상의 완전하게 연결된 층을 더 포함하고, 상기 하나 이상의 관심 영역 풀링 층은 상기 생성된 바운딩 박스의 고정 길이 표현을 생성하도록 구성되고, 상기 고정 길이 표현은 상기 하나 이상의 완전하게 연결된 층에 입력되고, 상기 하나 이상의 완전하게 연결된 층은 상기 결정된 특징 중 하나 이상을 선택하고 상기 하나 이상의 선택된 특징에 기초하여 상기 검출된 결함을 분류하도록 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  19. 제18항에 있어서, 상기 하나 이상의 컴퓨터 서브 시스템은 또한 상기 제안 네트워크를 사용하여 상기 하나 이상의 관심 영역 풀링 층 및 상기 하나 이상의 완전하게 연결된 층을 미세 조정하도록 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  20. 제1항에 있어서, 상기 이미징 서브 시스템은 전자 빔 기반 이미징 서브 시스템으로서 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  21. 제1항에 있어서, 상기 이미징 서브 시스템은 광학 기반 이미징 서브 시스템으로서 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  22. 제1항에 있어서, 상기 표본은 웨이퍼인 것인, 표본 상의 결함 검출 및 분류 시스템.
  23. 제1항에 있어서, 상기 표본은 레티클인 것인, 표본 상의 결함 검출 및 분류 시스템.
  24. 표본 상의 결함을 검출하고 분류하도록 구성된 시스템에 있어서,
    표본의 이미지를 생성하도록 구성된 이미징 서브 시스템;
    상기 이미지를 획득하도록 구성된 하나 이상의 컴퓨터 서브 시스템; 및
    상기 하나 이상의 컴퓨터 서브 시스템에 의해 실행되는 하나 이상의 컴포넌트를 포함하고,
    상기 하나 이상의 컴포넌트는:
    상기 표본 상의 결함을 검출하고 상기 표본 상에서 검출된 결함을 분류하도록 구성된 뉴럴 네트워크를 포함하고,
    상기 뉴럴 네트워크는:
    상기 이미징 서브 시스템에 의해 생성된 표본의 이미지의 특징을 결정하도록 구성된 제1 부분; 및
    상기 이미지의 결정된 특징에 기초하여 상기 표본 상의 결함을 검출하고 상기 이미지의 결정된 특징에 기초하여 상기 표본 상에서 검출된 결함을 분류하도록 구성된 제2 부분을 포함하고,
    상기 하나 이상의 컴퓨터 서브 시스템은 상기 검출 및 분류의 결과를 생성하도록 구성되는 것인, 표본 상의 결함 검출 및 분류 시스템.
  25. 표본 상의 결함을 검출하고 분류하기 위한 컴퓨터 구현 방법을 수행하기 위하여 하나 이상의 컴퓨터 시스템 상에서 실행 가능한 프로그램 명령어들을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서,
    상기 컴퓨터 구현 방법은:
    이미징 서브 시스템에 의해 생성된 표본의 이미지를 획득하는 단계;
    상기 표본 상의 결함을 검출하고 상기 표본 상에서 검출된 결함을 분류하도록 구성된 뉴럴 네트워크의 제1 부분 내로 상기 이미지를 입력함으로써, 상기 표본의 이미지의 특징을 결정하는 단계;
    상기 이미지의 결정된 특징을 상기 뉴럴 네트워크의 제2 부분 내로 입력함으로써, 상기 이미지의 결정된 특징에 기초하여 상기 표본 상의 결함을 검출하고, 상기 이미지의 결정된 특징에 기초하여 상기 표본 상에서 검출된 결함을 분류하는 단계; 및
    상기 검출 및 분류의 결과를 생성하는 단계를 포함하고,
    상기 하나 이상의 컴퓨터 시스템에 의하여 하나 이상의 컴포넌트가 실행되고,
    상기 하나 이상의 컴포넌트는 상기 뉴럴 네트워크를 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  26. 표본 상의 결함을 검출하고 분류하기 위한 컴퓨터 구현 방법에 있어서,
    이미징 서브 시스템에 의해 생성된 표본의 이미지를 획득하는 단계;
    상기 표본 상의 결함을 검출하고 상기 표본 상에서 검출된 결함을 분류하도록 구성된 뉴럴 네트워크의 제1 부분 내로 상기 이미지를 입력함으로써, 상기 표본의 이미지의 특징을 결정하는 단계;
    상기 이미지의 결정된 특징을 상기 뉴럴 네트워크의 제2 부분 내로 입력함으로써, 상기 이미지의 결정된 특징에 기초하여 상기 표본 상의 결함을 검출하고, 상기 이미지의 결정된 특징에 기초하여 상기 표본 상에서 검출된 결함을 분류하는 단계; 및
    상기 검출 및 분류의 결과를 생성하는 단계를 포함하고,
    하나 이상의 컴퓨터 시스템에 의하여 하나 이상의 컴포넌트가 실행되고,
    상기 하나 이상의 컴포넌트는 상기 뉴럴 네트워크를 포함하는 것인, 표본 상의 결함 검출 및 분류를 위한 컴퓨터 구현 방법.
KR1020207009624A 2017-09-06 2018-09-05 결함 검출 및 분류를 위한 통합된 뉴럴 네트워크 KR102336469B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/697,426 2017-09-06
US15/697,426 US10607119B2 (en) 2017-09-06 2017-09-06 Unified neural network for defect detection and classification
PCT/US2018/049612 WO2019050992A1 (en) 2017-09-06 2018-09-05 UNIFIED NEURONAL NETWORK FOR DETECTION AND CLASSIFICATION OF DEFECTS

Publications (2)

Publication Number Publication Date
KR20200039808A true KR20200039808A (ko) 2020-04-16
KR102336469B1 KR102336469B1 (ko) 2021-12-06

Family

ID=65517348

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207009624A KR102336469B1 (ko) 2017-09-06 2018-09-05 결함 검출 및 분류를 위한 통합된 뉴럴 네트워크

Country Status (5)

Country Link
US (1) US10607119B2 (ko)
KR (1) KR102336469B1 (ko)
CN (1) CN111094952B (ko)
TW (1) TWI761586B (ko)
WO (1) WO2019050992A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220001445A (ko) * 2020-06-29 2022-01-05 어플라이드 머티리얼즈 이스라엘 리미티드 반도체 시편의 검사에 사용가능한 훈련 세트의 생성
KR20220055184A (ko) * 2020-10-26 2022-05-03 한국생산기술연구원 데이터 증강을 이용하여 결함 검사를 위한 학습 방법 및 이를 수행하는 장치
KR20230120515A (ko) * 2022-02-09 2023-08-17 이승준 인공지능을 이용한 헤어핀 모터의 용접불량 진단장치

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR102016028266A2 (pt) * 2016-12-01 2018-06-19 Autaza Tecnologia Ltda - Epp Método e sistema para a inspeção automática de qualidade de materiais
KR20190084167A (ko) * 2017-12-21 2019-07-16 주식회사 고영테크놀러지 인쇄 회로 기판 검사 장치, 스크린 프린터의 결함 유형 결정 방법 및 컴퓨터 판독 가능한 기록 매체
US10832092B2 (en) * 2018-02-07 2020-11-10 Applied Materials Israel Ltd. Method of generating a training set usable for examination of a semiconductor specimen and system thereof
US11029359B2 (en) * 2018-03-09 2021-06-08 Pdf Solutions, Inc. Failure detection and classsification using sensor data and/or measurement data
US10679333B2 (en) 2018-03-14 2020-06-09 Kla-Tencor Corporation Defect detection, classification, and process window control using scanning electron microscope metrology
WO2019183153A1 (en) 2018-03-21 2019-09-26 Kla-Tencor Corporation Training a machine learning model with synthetic images
US10599951B2 (en) * 2018-03-28 2020-03-24 Kla-Tencor Corp. Training a neural network for defect detection in low resolution images
US10670536B2 (en) 2018-03-28 2020-06-02 Kla-Tencor Corp. Mode selection for inspection
US10713769B2 (en) 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training
US10846845B2 (en) * 2018-07-25 2020-11-24 Fei Company Training an artificial neural network using simulated specimen images
US10866197B2 (en) 2018-09-20 2020-12-15 KLA Corp. Dispositioning defects detected on extreme ultraviolet photomasks
EP3867803A1 (en) 2018-10-15 2021-08-25 Ventana Medical Systems, Inc. Systems and methods for cell classification
US11037289B2 (en) * 2018-10-26 2021-06-15 Taiwan Semiconductor Manufacturing Company Ltd. Method and system for scanning wafer
CN109544548A (zh) * 2018-11-30 2019-03-29 北京百度网讯科技有限公司 餐盒的缺陷检测方法、装置、服务器、设备和存储介质
US11010885B2 (en) * 2018-12-18 2021-05-18 Kla Corporation Optical-mode selection for multi-mode semiconductor inspection
US11989710B2 (en) 2018-12-19 2024-05-21 Ecoatm, Llc Systems and methods for vending and/or purchasing mobile phones and other electronic devices
US11379967B2 (en) * 2019-01-18 2022-07-05 Kla Corporation Methods and systems for inspection of semiconductor structures with automatically generated defect features
US10509987B1 (en) * 2019-01-22 2019-12-17 StradVision, Inc. Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
AU2020222971A1 (en) 2019-02-12 2021-09-23 Ecoatm, Llc Connector carrier for electronic device kiosk
US10922808B2 (en) 2019-02-14 2021-02-16 KLA—Tencor Corp. File selection for test image to design alignment
WO2020172190A1 (en) * 2019-02-18 2020-08-27 Ecoatm, Llc Neural network based physical condition evaluation of electronic devices, and associated systems and methods
CN109934811B (zh) * 2019-03-08 2022-12-30 中国科学院光电技术研究所 一种基于深度学习的光学元件表面缺陷检测方法
WO2020188452A1 (en) * 2019-03-15 2020-09-24 Invista Textiles (U.K.) Limited Yarn quality control
CN109934814B (zh) * 2019-03-15 2022-02-01 英业达科技有限公司 表面缺陷侦测系统及其方法
US11551348B2 (en) 2019-04-09 2023-01-10 KLA Corp. Learnable defect detection for semiconductor applications
EP3739513A1 (en) * 2019-05-13 2020-11-18 Fujitsu Limited Surface defect identification method and apparatus
US11497221B2 (en) * 2019-07-19 2022-11-15 Walmart Apollo, Llc Systems and methods for managing meat cut quality
CN110555467B (zh) * 2019-08-13 2020-10-23 深圳创新奇智科技有限公司 一种基于模型迁移的工业数据分类方法
KR102252592B1 (ko) * 2019-08-16 2021-05-17 라온피플 주식회사 기판 불량 검사 장치 및 방법
US11693386B2 (en) * 2019-08-27 2023-07-04 Samsung Eleotronics Co., Ltd. Method and electronic device for guiding semiconductor manufacturing process
CN110738235B (zh) * 2019-09-16 2023-05-30 平安科技（深圳）有限公司 肺结核判定方法、装置、计算机设备及存储介质
US11580650B2 (en) 2019-10-01 2023-02-14 KLA Corp. Multi-imaging mode image alignment
CN110782431B (zh) * 2019-10-08 2022-03-22 浙江大学 一种基于深度学习的高压电线结冰区域检测方法
CN112683923A (zh) * 2019-10-17 2021-04-20 神讯电脑(昆山)有限公司 基于人工神经网络的物件表面型态的筛选方法
US11087449B2 (en) 2019-10-24 2021-08-10 KLA Corp. Deep learning networks for nuisance filtering
CN110838107B (zh) * 2019-10-31 2023-02-17 广东华中科技大学工业技术研究院 变角度光学视频智能检测3c透明构件缺陷的方法及装置
CN110910353B (zh) * 2019-11-06 2022-06-10 成都数之联科技股份有限公司 一种工业假不良检测方法及系统
US11763450B1 (en) * 2019-11-14 2023-09-19 University Of South Florida Mitigating adversarial attacks on medical imaging understanding systems
CN111080622B (zh) * 2019-12-13 2023-11-07 熵智科技(深圳)有限公司 神经网络训练方法、工件表面缺陷分类与检测方法及装置
US11354793B2 (en) 2019-12-16 2022-06-07 International Business Machines Corporation Object detection with missing annotations in visual inspection
CN111161244B (zh) * 2019-12-30 2021-12-21 华南理工大学 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法
CN111325713B (zh) * 2020-01-21 2023-05-23 杭州未名信科科技有限公司 基于神经网络的木材缺陷检测方法、系统及存储介质
US11694319B2 (en) 2020-04-10 2023-07-04 Samsung Display Co., Ltd. Image-based defects identification and semi-supervised localization
CN111524119A (zh) * 2020-04-22 2020-08-11 征图新视(江苏)科技股份有限公司 基于深度学习的二维码缺陷检测方法
DE102021106999A1 (de) * 2020-04-24 2021-10-28 Krones Aktiengesellschaft Verfahren und Vorrichtung zur optischen Inspektion von Behältern in einer Getränkeverarbeitungsanlage
CN111651337B (zh) * 2020-05-07 2022-07-12 哈尔滨工业大学 一种sram存储器空间服役故障分类失效检测方法
CN111680586B (zh) * 2020-05-26 2022-08-26 电子科技大学 一种羽毛球运动员运动姿态估计方法及系统
US20230175981A1 (en) * 2020-06-12 2023-06-08 Hitachi High-Tech Corporation Method for Defect Inspection, System, and Computer-Readable Medium
US11645733B2 (en) 2020-06-16 2023-05-09 Bank Of America Corporation System and method for providing artificial intelligence architectures to people with disabilities
CN111783901A (zh) * 2020-07-13 2020-10-16 征图新视(江苏)科技股份有限公司 一种基于深度学习的印刷质量分类方法
US11631169B2 (en) 2020-08-02 2023-04-18 KLA Corp. Inspection of noisy patterned features
US11776108B2 (en) 2020-08-05 2023-10-03 KLA Corp. Deep learning based defect detection
US11922467B2 (en) 2020-08-17 2024-03-05 ecoATM, Inc. Evaluating an electronic device using optical character recognition
CN111986174A (zh) * 2020-08-17 2020-11-24 深圳市商汤科技有限公司 缺陷检测方法、装置、电子设备及计算机存储介质
CN112067555B (zh) * 2020-11-12 2021-03-30 山东海德智能科技有限公司 一种可自动视觉识别零件种类的零件检测系统
CN112633327B (zh) * 2020-12-02 2023-06-30 西安电子科技大学 分阶段金属表面缺陷检测方法、系统、介质、设备及应用
US11748865B2 (en) 2020-12-07 2023-09-05 International Business Machines Corporation Hierarchical image decomposition for defect detection
CN112686860A (zh) * 2020-12-29 2021-04-20 厦门理工学院 一种基于红外热成像的叶片检测方法和装置以及设备
CN112767351B (zh) * 2021-01-19 2024-04-16 孙杨 一种基于敏感位置依赖分析的变电设备缺陷检测方法
CN112967267B (zh) * 2021-03-23 2024-01-23 湖南珞佳智能科技有限公司 一种全卷积神经网络的激光定向能量沉积溅射计数方法
CN113034494A (zh) * 2021-04-20 2021-06-25 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的橡胶密封圈缺陷检测方法
DE102021002363B3 (de) 2021-05-04 2022-09-08 Karlsruher Institut für Technologie, Körperschaft des öffentlichen Rechts Gerät für eine lageunabhängige optische Oberflächeninspektion
CN113538342B (zh) * 2021-06-25 2023-08-18 汕头大学 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法
CN113469992B (zh) * 2021-07-16 2022-02-18 合肥中科融道智能科技有限公司 基于增强不同层次特征表示的电力设备图像缺陷检测方法
JP7257470B2 (ja) * 2021-09-01 2023-04-13 株式会社エフ・シー・シー 欠陥検査装置、欠陥検査方法および予測モデル生成方法
US11727556B2 (en) 2021-09-29 2023-08-15 KLA Corp. Defect detection for multi-die masks
TWI801038B (zh) * 2021-12-16 2023-05-01 新加坡商鴻運科股份有限公司 瑕疵檢測方法、系統、電子設備及介質
US11983920B2 (en) 2021-12-20 2024-05-14 International Business Machines Corporation Unified framework for multigrid neural network architecture
EP4266246A1 (en) 2022-04-22 2023-10-25 Imec VZW Automated defect classification and detection
CN114842454B (zh) * 2022-06-27 2022-09-13 小米汽车科技有限公司 障碍物检测方法、装置、设备、存储介质、芯片及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012422A (ja) * 2002-06-11 2004-01-15 Dainippon Screen Mfg Co Ltd パターン検査装置、パターン検査方法およびプログラム
US20050002560A1 (en) * 2003-05-29 2005-01-06 Nidek Co., Ltd. Defect inspection apparatus
JP2011254084A (ja) * 2011-06-27 2011-12-15 Hitachi High-Technologies Corp 欠陥分類方法及びその装置
US20160163035A1 (en) * 2014-12-03 2016-06-09 Kla-Tencor Corporation Automatic Defect Classification Without Sampling and Feature Selection

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3978098B2 (ja) 2002-08-12 2007-09-19 株式会社日立製作所 欠陥分類方法及びその装置
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US8698093B1 (en) 2007-01-19 2014-04-15 Kla-Tencor Corporation Objective lens with deflector plates immersed in electrostatic lens field
US8126255B2 (en) 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
US8664594B1 (en) 2011-04-18 2014-03-04 Kla-Tencor Corporation Electron-optical system for high-speed and high-sensitivity inspections
US8692204B2 (en) 2011-04-26 2014-04-08 Kla-Tencor Corporation Apparatus and methods for electron beam detection
US8716662B1 (en) 2012-07-16 2014-05-06 Kla-Tencor Corporation Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations
US9222895B2 (en) 2013-02-25 2015-12-29 Kla-Tencor Corp. Generalized virtual inspector
US9275308B2 (en) 2013-05-31 2016-03-01 Google Inc. Object detection using deep neural networks
US9709510B2 (en) * 2014-06-26 2017-07-18 Kla-Tencor Corp. Determining a configuration for an optical element positioned in a collection aperture during wafer inspection
US9816939B2 (en) * 2014-07-22 2017-11-14 Kla-Tencor Corp. Virtual inspection systems with multiple modes
US10409165B2 (en) * 2014-12-15 2019-09-10 Asml Netherlands B.V. Optimization based on machine learning
US9898811B2 (en) * 2015-05-08 2018-02-20 Kla-Tencor Corporation Method and system for defect classification
JP6952679B2 (ja) 2015-07-15 2021-10-20 サイランス・インコーポレイテッドＣｙｌａｎｃｅ Ｉｎｃ． マルウェア検出
JP6546826B2 (ja) * 2015-10-08 2019-07-17 株式会社日立パワーソリューションズ 欠陥検査方法、及びその装置
US10186026B2 (en) 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
US9965901B2 (en) 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
US9916965B2 (en) 2015-12-31 2018-03-13 Kla-Tencor Corp. Hybrid inspectors
US11580375B2 (en) 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
US10648924B2 (en) 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US10043261B2 (en) 2016-01-11 2018-08-07 Kla-Tencor Corp. Generating simulated output for a specimen
US10360477B2 (en) 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
US10181185B2 (en) 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
CN106339718A (zh) * 2016-08-18 2017-01-18 苏州大学 一种基于神经网络的分类方法及装置
CN106599827A (zh) * 2016-12-09 2017-04-26 浙江工商大学 一种基于深度卷积神经网络的小目标快速检测方法
CN106599939A (zh) * 2016-12-30 2017-04-26 深圳市唯特视科技有限公司 一种基于区域卷积神经网络的实时目标检测方法
CN106951911B (zh) * 2017-02-13 2021-06-29 苏州飞搜科技有限公司 一种快速的多标签图片检索系统及实现方法
US11803953B2 (en) * 2017-04-10 2023-10-31 Dpix, Llc Manufacturing quality improvement through statistical root cause analysis using convolution neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012422A (ja) * 2002-06-11 2004-01-15 Dainippon Screen Mfg Co Ltd パターン検査装置、パターン検査方法およびプログラム
US20050002560A1 (en) * 2003-05-29 2005-01-06 Nidek Co., Ltd. Defect inspection apparatus
JP2011254084A (ja) * 2011-06-27 2011-12-15 Hitachi High-Technologies Corp 欠陥分類方法及びその装置
US20160163035A1 (en) * 2014-12-03 2016-06-09 Kla-Tencor Corporation Automatic Defect Classification Without Sampling and Feature Selection

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220001445A (ko) * 2020-06-29 2022-01-05 어플라이드 머티리얼즈 이스라엘 리미티드 반도체 시편의 검사에 사용가능한 훈련 세트의 생성
KR20220055184A (ko) * 2020-10-26 2022-05-03 한국생산기술연구원 데이터 증강을 이용하여 결함 검사를 위한 학습 방법 및 이를 수행하는 장치
KR20230120515A (ko) * 2022-02-09 2023-08-17 이승준 인공지능을 이용한 헤어핀 모터의 용접불량 진단장치

Also Published As

Publication number Publication date
KR102336469B1 (ko) 2021-12-06
TWI761586B (zh) 2022-04-21
TW201931217A (zh) 2019-08-01
CN111094952B (zh) 2021-11-16
US20190073568A1 (en) 2019-03-07
CN111094952A (zh) 2020-05-01
US10607119B2 (en) 2020-03-31
WO2019050992A1 (en) 2019-03-14

Similar Documents

Publication Publication Date Title
KR102336469B1 (ko) 결함 검출 및 분류를 위한 통합된 뉴럴 네트워크
TWI747967B (zh) 用於經組態用於半導體應用之深度學習模型之診斷系統及方法
CN108475350B (zh) 使用基于学习的模型加速半导体缺陷检测的方法和系统
US10733744B2 (en) Learning based approach for aligning images acquired with different modalities
KR102637409B1 (ko) 반도체 적용들을 위한 저해상도 이미지들로부터 고해상도 이미지들의 생성
CN110494894B (zh) 基于轮廓的缺陷检测
EP3465174B1 (en) Generating simulated images from input images for semiconductor applications
JP6893514B2 (ja) ハイブリッドインスペクタ
TWI715773B (zh) 針對半導體應用整合神經網路及前向物理模型之系統及方法
KR102416972B1 (ko) 단일 이미지 검출
TWI731016B (zh) 用於半導體應用之以機器學習之模型為基礎之加速訓練
CN108475351B (zh) 用于训练基于机器学习的模型的系统和计算机实施方法
KR102650301B1 (ko) 장애물 필터링을 위한 심층 학습 네트워크
EP4222695A1 (en) Deep learning based defect detection

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant