KR20210135416A - 시편의 검사를 위한 알고리즘 모듈들의 자동 선택 - Google Patents

시편의 검사를 위한 알고리즘 모듈들의 자동 선택 Download PDF

Info

Publication number
KR20210135416A
KR20210135416A KR1020210033846A KR20210033846A KR20210135416A KR 20210135416 A KR20210135416 A KR 20210135416A KR 1020210033846 A KR1020210033846 A KR 1020210033846A KR 20210033846 A KR20210033846 A KR 20210033846A KR 20210135416 A KR20210135416 A KR 20210135416A
Authority
KR
South Korea
Prior art keywords
algorithm
module
images
algorithm module
image
Prior art date
Application number
KR1020210033846A
Other languages
English (en)
Other versions
KR102360769B1 (ko
Inventor
란 쉴레옌
에얄 자카이
보아즈 코헨
Original Assignee
어플라이드 머티리얼즈 이스라엘 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어플라이드 머티리얼즈 이스라엘 리미티드 filed Critical 어플라이드 머티리얼즈 이스라엘 리미티드
Publication of KR20210135416A publication Critical patent/KR20210135416A/ko
Application granted granted Critical
Publication of KR102360769B1 publication Critical patent/KR102360769B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/03—
    • G06K9/62—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

반도체 시편의 이미지들의 세트를 획득하도록, (1) 이미지들의 세트의 이미지에 대해, 복수의 알고리즘 모듈들 중에서 적어도 하나의 알고리즘 모듈(MS)을 선택하도록, (2) 이미지의 하나 이상의 결함을 나타내는 데이터(DMS)를 획득하기 위해 이미지를 MS에 공급하도록, (3) 데이터(DMS)의 정확성에 관한 감독 피드백을 획득하도록, (4) 완료 기준이 충족될 때까지 다음 이미지에 대해 (1) 내지 (3)을 반복하도록 - (1)에서 선택된 알고리즘 모듈은 이미지들의 세트의 적어도 2개의 상이한 이미지들에 대해 상이함 -, 감독 피드백에 기초하여, 복수의 알고리즘 모듈들 각각에 대해 점수를 생성하도록, 이미지들의 세트의 하나 이상의 결함을 나타내는 데이터를 제공하기 위해 가장 적응된 것으로서 하나 이상의 알고리즘 모듈(M최상)을 식별하기 위해 점수들을 사용하도록 구성된 프로세서를 포함하는 시스템이 제공된다.

Description

시편의 검사를 위한 알고리즘 모듈들의 자동 선택{AUTOMATIC SELECTION OF ALGORITHMIC MODULES FOR EXAMINATION OF A SPECIMEN}
본 개시된 주제는, 일반적으로, 시편 검사 분야에 관한 것이며, 더 구체적으로, 시편의 검사를 자동화하는 것에 관한 것이다.
제조되는 디바이스들의 극초대규모 집적 회로와 연관된, 높은 밀도 및 성능에 대한 현재의 요구들은 미크론미만 피쳐들, 증가된 트랜지스터 및 회로 속도들, 및 개선된 신뢰성을 필요로 한다. 그러한 요구들은 높은 정밀도 및 균일성으로 디바이스 피쳐들을 형성하는 것을 필요로 하는데, 이는 차례로, 디바이스들이 여전히 반도체 웨이퍼들의 형태로 되어 있는 동안 디바이스들의 자동화된 검사를 포함하는, 제조 프로세스의 주의 깊은 모니터링을 요한다.
검사 프로세스들은 시편들 상의 결함들을 검출하고 분류하기 위해 반도체 제조 동안 다양한 단계들에 사용된다. 검사의 유효성은, 예를 들어, 자동 결함 분류(ADC), 자동 결함 검토(ADR) 등과 같은 프로세스(들)의 자동화에 의해 증가될 수 있다.
본 개시된 주제의 특정 양상들에 따르면, 프로세서 및 메모리 회로(PMC)를 포함하는, 반도체 시편의 검사 시스템이 제공되고, 이 프로세서 및 메모리 회로는: 하나 이상의 반도체 시편의 이미지들의 세트를 획득하도록, 복수의 알고리즘 모듈들을 획득할 때, 각각의 알고리즘 모듈은, 반도체 시편의 이미지에 기초하여, 이미지의 하나 이상의 결함을 나타내는 데이터를 제공하도록 구성됨, (1) 이미지들의 세트의 이미지에 대해, 복수의 알고리즘 모듈들 중 적어도 하나의 알고리즘 모듈(MS)을 선택하도록, (2) 이미지의 하나 이상의 결함을 나타내는 데이터(DMS)를 획득하기 위해 이미지를 적어도 하나의 알고리즘 모듈(MS)에 공급하도록, (3) 알고리즘 모듈(MS)에 의해 제공되는 데이터(DMS)의 정확성에 관한 감독 피드백을 획득하도록, (4) 완료 기준이 충족될 때까지 이미지들의 세트의 다음 이미지에 대해 (1) 내지 (3)을 반복하도록 구성되고, 여기서, (1)에서 선택되는 알고리즘 모듈은 이미지들의 세트의 적어도 2개의 상이한 이미지들에 대해 상이하고, 시스템은, 적어도 감독 피드백에 기초하여 복수의 알고리즘 모듈들 각각에 대해 점수를 생성하도록, 그리고 이미지들의 세트의 하나 이상의 결함을 나타내는 데이터를 제공하기 위해 하나 이상의 알고리즘 모듈(M최상)을 복수의 알고리즘 모듈들 중에서 가장 적응된 것으로 식별하기 위해 알고리즘 모듈들과 연관된 점수들을 사용하도록 구성된다.
일부 실시예들에 따라, 복수의 알고리즘 모듈들 중 적어도 하나의 알고리즘 모듈(MS)을 선택하는 것은 적어도 하나의 알고리즘 모듈(MS)을 선택하도록 훈련된 선택 모듈에 의해 제공된다.
일부 실시예들에 따라, 알고리즘 모듈에 대해 생성된 점수는 이 알고리즘 모듈에 대해 양의 피드백이 획득된 횟수와 (1)에서 이 알고리즘 모듈이 선택된 횟수 사이의 비율을 나타낸다.
일부 실시예들에 따라, (3)에서 획득되는 감독 피드백은 선택 모듈에 의한 (1)에서의 적어도 하나의 알고리즘 모듈(MS)의 후속 선택에 영향을 미친다.
일부 실시예들에 따라, 시스템은 (3)에서, 알고리즘 모듈(MS)이 이미지들의 세트의 하나 이상의 결함을 나타내는 데이터를 제공하도록 적응될 확률을 나타내는, 알고리즘 모듈(MS)에 대한 점수를 생성하도록 구성되며, 점수는 적어도 감독 피드백에 따른다.
일부 실시예들에 따라, 시스템은 (1)에서, 적어도 점수에 기초하여 알고리즘 모듈(MS)을 선택하도록 구성되고, 이 점수는 알고리즘 모듈(MS)과 연관되며, 적어도, (3)에서 이전에 획득된 감독 피드백에 기초하여 생성된다.
일부 실시예들에 따라, 감독 피드백이 (3)에서 DMS를 검증하는 경우, MS와 연관된 점수는 MS와 이전에 연관된 점수에 대해 증가되고, 감독 피드백이 (3)에서 DMS를 거절하는 경우, MS와 연관된 점수는 MS와 이전에 연관된 점수에 대해 감소되고, 적어도 하나의 알고리즘 모듈(M최상)은 복수의 알고리즘 모듈들 중 가장 높은 점수와 연관된다.
일부 실시예들에 따라, 시스템은: 적어도 하나의 알고리즘 모듈(MS)을 선택하도록 훈련된 선택 모듈에 의해 제공된 제1 확률, 및 적어도 감독 피드백에 기초하여 생성된 제2 확률에 기초하여 각각의 알고리즘 모듈에 대해 점수를 생성하도록 구성된다.
본 개시된 주제의 다른 양상들에 따르면, 프로세서 및 메모리 회로(PMC)에 의해: 하나 이상의 반도체 시편의 이미지들의 세트를 획득하는 단계, 복수의 알고리즘 모듈들을 획득할 때, 각각의 알고리즘 모듈은, 반도체 시편의 이미지에 기초하여, 이미지의 하나 이상의 결함을 나타내는 데이터를 제공하도록 구성됨, (1) 이미지들의 세트의 이미지에 대해, 복수의 알고리즘 모듈들 중 적어도 하나의 알고리즘 모듈(MS)을 선택하는 단계, (2) 이미지의 하나 이상의 결함을 나타내는 데이터(DMS)를 획득하기 위해 이미지를 적어도 하나의 알고리즘 모듈(MS)에 공급하는 단계, (3) 알고리즘 모듈(MS)에 의해 제공되는 데이터(DMS)의 정확성에 관한 감독 피드백을 획득하는 단계, (4) 완료 기준이 충족될 때까지 이미지들의 세트의 다음 이미지에 대해 (1) 내지 (3)을 반복하는 단계 - (1)에서 선택되는 알고리즘 모듈은 이미지들의 세트의 적어도 2개의 상이한 이미지들에 대해 상이함 -, 적어도 감독 피드백에 기초하여 복수의 알고리즘 모듈들 각각에 대해 점수를 생성하는 단계, 이미지들의 세트의 하나 이상의 결함을 나타내는 데이터를 제공하기 위해 하나 이상의 알고리즘 모듈(M최상)을 복수의 알고리즘 모듈들 중에서 가장 적응된 것으로 식별하기 위해 알고리즘 모듈들과 연관된 점수들을 사용하는 단계를 포함하는, 반도체 시편의 검사 방법이 제공된다.
일부 실시예들에 따라, 복수의 알고리즘 모듈들 중 적어도 하나의 알고리즘 모듈(MS)을 선택하는 것은 적어도 하나의 알고리즘 모듈(MS)을 선택하도록 훈련된 선택 모듈에 의해 제공된다.
일부 실시예들에 따라, 알고리즘 모듈에 대해 생성된 점수는 이 알고리즘 모듈에 대해 양의 피드백이 획득된 횟수와 (1)에서 이 알고리즘 모듈이 선택된 횟수 사이의 비율을 나타낸다.
일부 실시예들에 따라, (3)에서 획득되는 감독 피드백은 선택 모듈에 의한 (1)에서의 적어도 하나의 알고리즘 모듈(MS)의 후속 선택에 영향을 미친다.
일부 실시예들에 따라, 방법은, (3)에서, 알고리즘 모듈(MS)이 이미지들의 세트의 하나 이상의 결함을 나타내는 데이터를 제공하도록 적응될 확률을 나타내는, 알고리즘 모듈(MS)에 대한 점수를 생성하는 단계를 포함하고, 점수는 적어도 감독 피드백에 따른다.
일부 실시예들에 따라, 방법은, (1)에서, 적어도 점수에 기초하여 알고리즘 모듈(MS)을 선택하는 단계를 포함하고, 이 점수는 알고리즘 모듈(MS)과 연관되며, 적어도, (3)에서 이전에 획득된 감독 피드백에 기초하여 생성된다.
일부 실시예들에 따라, 감독 피드백이 (3)에서 DMS를 검증하는 경우, MS와 연관된 점수는 MS와 이전에 연관된 점수에 대해 증가되고, 감독 피드백이 (3)에서 DMS를 거절하는 경우, MS와 연관된 점수는 MS와 이전에 연관된 점수에 대해 감소되고, 적어도 하나의 알고리즘 모듈(M최상)은 복수의 알고리즘 모듈들 중 가장 높은 점수와 연관된다.
일부 실시예들에 따라, 방법은, 적어도 하나의 알고리즘 모듈(MS)을 선택하도록 훈련된 선택 모듈에 의해 제공된 제1 확률, 및 적어도 감독 피드백에 기초하여 생성된 제2 확률에 기초하여 각각의 알고리즘 모듈에 대해 점수를 생성하는 단계를 포함한다.
비일시적 컴퓨터 판독가능 매체는, 프로세서 및 메모리 회로(PMC)에 의해 실행될 때, PMC로 하여금 위에서 설명된 바와 같은 작동들을 수행하게 하는 명령어들을 포함한다.
일부 실시예들에 따라, 제안된 해결책은, 시편들의 이미지들의 주어진 세트 상의 결함들을 나타내는 데이터를 제공하기 위해, 복수의 알고리즘 모듈들(각각은 모델을 나타내는 명령어들을 포함함) 중에서 가장 적응된 알고리즘 모듈의 자동 선택을 제공한다.
결과적으로, 일부 실시예들에 따라, 이미지들의 주어진 세트의 결함들을 나타내는 데이터의 결정은 더 정확하고 효율적이다.
일부 실시예들에 따라, 강건한 해결책이 제공된다.
일부 실시예들에 따라, 주석이 달릴 이미지들의 다양성 및 관련성을 보장하면서, 감소된 시간에 이미지들에 주석을 달기 위해 운영자에게 지원이 제공된다.
일부 실시예들에 따라, 운영자의 개입 수준(운영자에 의한 주석들)이 최적화된다.
일부 실시예들에 따라, 제안된 해결책은 (각각이, 모델을 나타내는 명령어들을 포함하는) 알고리즘 모듈들의 뱅크를 개선하는 것을 허용한다.
일부 실시예들에 따라, 제안된 해결책은, 이미지들의 더 큰 세트를 나타내는, 이미지들의 감소된 개수에 대한 작동을 허용하고, 이로써 계산 시간을 절약한다.
일부 실시예들에 따라, 제안된 해결책은, 그 중에서 추천된 알고리즘 모듈이 선택되어야 하는 후보 알고리즘 모듈들의 개수를 감소시키는 것을 허용하고, 이로써 계산 시간 및 저장 요건을 절약한다.
일부 실시예들에 따라, 제안된 해결책은 다양한 작업들, 예컨대, 결함 식별, 결함 세그먼트화, 결함 분류 등에 사용될 수 있다.
본 발명을 이해하고 본 발명이 어떻게 실제로 수행될 수 있는지를 알기 위해, 첨부 도면을 참조하여 비제한적인 예들로서 실시예들이 설명될 것이고, 도면들에서:
도 1은 본 개시된 주제의 특정 실시예들에 따른 검사 시스템의 일반화된 블록도를 예시한다.
도 2는 이미지의 세트의 하나 이상의 결함을 나타내는 데이터를 제공하도록 가장 적응된 것으로 식별된, 복수의 알고리즘 모듈들 중 적어도 하나의 알고리즘 모듈을 선택하는 방법을 예시한다.
도 2a는 이미지들의 복수의 훈련 세트들에 기초하여 복수의 알고리즘 모듈들을 구축하는 방법을 예시한다.
도 2b는 이미지들의 세트를 나타내는 이미지들의 하위세트를 선택하는 방법을 예시한다.
도 3은 선택된 알고리즘 모듈의 출력에 관하여 인간(주석)에 의해 제공되는 감독 피드백의 비제한적인 예를 예시한다.
도 4는 도 2의 방법의 가능한 실시예를 예시한다.
도 5는, 선택 모듈에 의존하는, 도 2의 방법의 다른 가능한 실시예를 예시한다.
도 6은 도 5의 방법에서 사용된 선택 모듈을 훈련하는 방법을 예시한다.
도 7은 도 5의 방법에서 사용되는 선택 모듈을 훈련하는 다른 방법을 예시한다.
도 8은 도 4의 방법 및 도 5의 방법에 의존하는 도 2의 방법의 다른 가능한 실시예를 예시한다.
이하의 상세한 설명에서, 본 개시내용의 완전한 이해를 제공하기 위해 다수의 특정한 세부 사항들이 열거된다. 그러나, 본 개시된 주제가 이러한 구체적인 세부 사항들 없이 실시될 수 있다는 점을 관련 기술분야의 통상의 기술자는 이해할 것이다. 다른 경우들에서, 잘 알려진 방법들, 절차들, 구성요소들 및 회로들은 본 개시된 주제를 모호하게 하지 않기 위해 상세히 설명되지 않았다.
이하의 논의들로부터 명백한 것으로서, 구체적으로 달리 언급되지 않는 한, 본 명세서 전반에 걸쳐 "획득", "제공", "선택", "공급", "출력", "증가", "감소", "할당", "업데이트" 등과 같은 용어들을 활용하는 논의들이, 데이터 - 상기 데이터는 물리적으로, 예컨대, 전자, 양들로 표현되고/거나 상기 데이터는 물리적 대상들을 표현함 - 를 다른 데이터로 조작하고/거나 변환하는, 프로세서의 작동(들) 및/또는 프로세스(들)를 지칭한다는 것을 이해한다. "프로세서"라는 용어는 메모리에 저장된 명령어들에 기초하여 작업들을 수행할 수 있는 데이터 처리 회로를 갖는 임의의 컴퓨팅 유닛 또는 전자 유닛, 예컨대, 컴퓨터, 서버, 칩, 하드웨어 프로세서 등을 포함한다. 이는, 동일한 지리적 구역에 위치될 수 있거나, 적어도 부분적으로, 상이한 구역들에 위치될 수 있고 함께 통신할 수 있는, 단일 프로세서 또는 다수의 프로세서들을 포괄한다.
본원에서 사용되는 "비일시적 메모리" 및 "비일시적 매체"라는 용어들은 본 개시된 주제에 적합한 임의의 휘발성 또는 비휘발성 컴퓨터 메모리를 포함하는 것으로 광범위하게 이해되어야 한다.
본 명세서에서 사용되는 "시편"이라는 용어는 반도체 집적 회로들, 자기 헤드들, 평판 디스플레이들, 및 다른 반도체 제조 물품들을 제조하기 위해 사용되는 임의의 종류의 웨이퍼, 마스크들, 및 다른 구조들, 이들의 조합들 및/또는 부분들을 포함하는 것으로 광범위하게 이해되어야 한다.
본 명세서에서 사용되는 "검사"라는 용어는 임의의 종류의 계측 관련 작동들뿐만 아니라 시편의 제조 동안 시편의 결함들의 검출 및/또는 분류와 관련된 작동들도 포함하는 것으로 광범위하게 이해되어야 한다. 검사는 검사될 시편의 제조 동안 또는 제조 이후에 비파괴적 검사 툴들을 사용함으로써 제공된다. 비제한적인 예로서, 검사 프로세스는 동일하거나 상이한 검사 툴들을 사용하여 시편 또는 그 부분들에 관하여 제공되는 (단일 또는 다수의 스캔의) 런타임 스캐닝, 샘플링, 검토, 측정, 분류 및/또는 다른 작동들을 포함할 수 있다. 마찬가지로, 검사는 검사될 시편의 제조 이전에 제공될 수 있고, 예를 들어, 검사 레시피(들)를 생성하는 것 및/또는 다른 설정 작동들을 포함할 수 있다. 구체적으로 달리 언급되지 않는 한, 본 명세서에서 사용되는 "검사"라는 용어 또는 그 파생어는 검사 영역의 크기 또는 해상도에 관하여 제한되지 않는다는 점을 주목한다. 다양한 비파괴적 검사 툴들은, 비제한적인 예로서, 주사 전자 현미경들, 원자간력 현미경들, 광학 검사 툴들 등을 포함한다.
비제한적인 예로서, 런타임 검사는 2단계 절차, 예를 들어, 시편의 검사 및 이어서, 잠재적 결함들의 샘플링된 위치들의 검토를 채용할 수 있다. 제1 단계 동안, 시편의 표면은 고속 및 비교적 저해상도로 검사된다. 제1 단계에서, 결함의 높은 확률을 갖는, 시편 상의 의심되는 위치들을 보여주기 위해 결함 맵이 생성된다. 제2 단계 동안, 그러한 의심되는 위치들 중 적어도 일부가, 비교적 높은 해상도로 더 철저하게 분석된다. 일부 경우들에서, 양쪽 단계들 모두, 동일한 검사 툴에 의해 구현될 수 있고, 일부 다른 경우들에서는, 이러한 2개의 단계들은 상이한 검사 툴들에 의해 구현된다.
본 명세서에서 사용되는 "결함"이라는 용어는 시편 상에 또는 시편 내에 형성된 임의의 종류의 이상 또는 바람직하지 않은 피쳐를 포함하는 것으로 광범위하게 이해되어야 한다.
본 개시된 주제의 실시예들은 임의의 특정 프로그래밍 언어와 관련하여 설명되지 않는다. 다양한 프로그래밍 언어들이, 본원에 설명된 바와 같이 본 개시된 주제의 교시들을 구현하는 데에 사용될 수 있다는 것이 이해될 것이다.
본 발명은 본 발명의 하나 이상의 방법을 실행하기 위해 컴퓨터에 의해 판독가능한 컴퓨터 프로그램을 고려한다. 본 발명은 본 발명의 하나 이상의 방법을 실행하기 위해 컴퓨터에 의해 실행가능한 명령어들의 프로그램을 유형적으로 구현하는 기계 판독가능 메모리를 더 고려한다.
이를 염두에 두고, 본 개시된 주제의 특정 실시예들에 따른 검사 시스템의 기능 블록도를 예시하는 도 1에 주목한다. 도 1에 예시된 검사 시스템(100)은 시편 제조 프로세스의 부분으로서 시편(예를 들어, 반도체 시편, 예컨대, 웨이퍼 및/또는 웨이퍼의 부분들)의 검사를 위해 사용될 수 있다. 예시된 검사 시스템(100)은 하나 이상의 시편의 이미지들을 사용하여 계측 관련 정보 및/또는 결함 관련 정보를 자동적으로 결정할 수 있는 컴퓨터 기반 시스템(103)을 포함한다. 시스템(103)은 하나 이상의 저해상도 검사 툴(101) 및/또는 하나 이상의 고해상도 검사 툴(102) 및/또는 다른 검사 툴들에 작동가능하게 연결될 수 있다. 검사 툴들은 시편들의 이미지들을 캡처하고/거나 캡처된 이미지(들)를 검토하고/거나 캡처된 이미지(들)에 관련된 측정들을 가능하게 하거나 제공하도록 구성된다. 시스템(103)은 추가로, CAD(컴퓨터 보조 설계) 서버(110) 및/또는 데이터 저장소(109)에 작동가능하게 연결될 수 있다.
시스템(103)은 프로세서 및 메모리 회로(PMC)(104)를 포함한다. PMC(104)는 이하에서 설명되는 다양한 실시예들에서 더 상세히 설명되는 바와 같이 시스템(103)을 작동시키기 위해 필요한 처리를 제공하도록 구성되고, 프로세서(개별적으로 도시되지 않음) 및 메모리(개별적으로 도시되지 않음)를 포함한다. 도 1에서, PMC(104)는 하드웨어 기반 입력 인터페이스(105) 및 하드웨어 기반 출력 인터페이스(106)에 작동가능하게 연결된다.
PMC(104)의 프로세서는 PMC에 포함된 비일시적 컴퓨터 판독가능 메모리 상에 구현된 컴퓨터 판독가능 명령어들에 따라 몇몇 기능 모듈들을 실행하도록 구성될 수 있다. 그러한 기능 모듈들은 이하에서 PMC에 포함되는 것으로 언급된다. PMC(104)에 포함된 기능 모듈들은 적어도 하나의 알고리즘 모듈(112)(또는 복수의 알고리즘 모듈들(112))을 포함한다. 일부 실시예들에 따라, 알고리즘 모듈(112)은 비일시적 메모리에 저장된 명령어들의 목록을 포함하고, 명령어들은, PMC(예컨대, PMC(104))에 의해 실행될 때, PMC로 하여금, 입력으로서 수신되는 반도체 시편의 이미지에 기초하여, 응용 관련 데이터(예컨대, 이미지의 하나 이상의 결함을 나타내는 데이터)를 제공하게 하도록 이루어진다. 하나 이상의 결함을 나타내는 데이터의 예들은, 예를 들어, 하나 이상의 결함의 위치, 하나 이상의 결함의 부류 등을 포함한다. 명령어들은 모델, 예컨대, 기계 학습 알고리즘, 및/또는 일련의 컴퓨터 비전 명령어들(예를 들어, 에지 검출 등), 및/또는 이미지 처리 명령어들, 및/또는 심층 신경망, 또는 다른 적응된 모델들의 작동을 인코딩한다. 이는 제한적이지 않고, 일부 실시예들에서, 알고리즘 모듈은 (명령어들의 저장을 요구하지 않고) 모델의 작동을 실행하도록 구성되는 하드웨어 구성요소들, 예를 들어, FPGA를 사용하여 구현된다.
위에서 언급된 바와 같이, 일부 실시예들에서, 알고리즘 모듈(112)은 심층 신경망(DNN)을 포함할 수 있고, DNN은 각각의 DNN 아키텍처에 따라 조직화된 계층들을 포함한다. 비제한적인 예로서, DNN의 계층들은 콘볼루션 신경망(CNN) 아키텍처, 순환 신경망 아키텍처, 재귀 신경망들 아키텍처, 생성적 대립 신경망(GAN) 아키텍처 또는 다른 방식에 따라 조직화될 수 있다. 선택적으로, 계층들 중 적어도 일부는 복수의 DNN 부분망들로 조직화될 수 있다. ML 망의 각각의 계층은 관련 기술분야에서 차원들, 뉴런들, 또는 노드들로서 전형적으로 지칭되는 다수의 기본 계산 요소들(CE)을 포함할 수 있다.
일반적으로, 주어진 계층의 계산 요소들은 선행 계층 및/또는 후속 계층의 CE들과 연결될 수 있다. 선행 계층의 CE와 후속 계층의 CE 사이의 각각의 연결은 가중 값과 연관된다. 주어진 CE는 각각의 연결들을 통해 이전 계층의 CE들로부터 입력들을 수신할 수 있고, 각각의 주어진 연결은 주어진 연결의 입력에 적용될 수 있는 가중 값과 연관된다. 가중 값들은 연결들의 상대적 강도 및 그에 따른 주어진 CE의 출력에 대한 각각의 입력들의 상대적 영향을 결정할 수 있다. 주어진 CE는 활성화 값(예를 들어, 입력들의 가중 합)을 계산하고, 계산된 활성화에 활성화 함수를 적용함으로써 출력을 더 유도하도록 구성될 수 있다. 활성화 함수는, 예를 들어, 항등 함수, 결정 함수(예를 들어, 선형, 시그모이드, 임계 등), 확률적 함수, 또는 다른 적합한 함수일 수 있다. 주어진 CE로부터의 출력은 각각의 연결들을 통해 후속 계층의 CE들로 송신될 수 있다. 마찬가지로, 상기와 같이, CE의 출력에서의 각각의 연결은, 후속 계층의 CE의 입력으로서 수신되기 전에 CE의 출력에 적용될 수 있는 가중 값과 연관될 수 있다. 가중 값들에 추가로, 연결들 및 CE들과 연관된 임계 값들(극한 함수들을 포함함)이 존재할 수 있다.
DNN(112)의 가중 및/또는 임계 값들은 훈련 전에 초기에 선택될 수 있고, 훈련된 ML 망에서 가중 및/또는 임계 값들의 최적 세트를 달성하기 위해, 훈련 동안 더 반복적으로 조정 또는 수정될 수 있다. 각각의 반복 후에, 데이터의 각각의 훈련 세트와 연관된 목표 출력과, ML 망에 의해 생성된 실제 출력 사이의 차이(또한, 손실 함수라고 함)가 결정될 수 있다. 차이는 오차 값으로 지칭될 수 있다. 훈련은, 오차 값을 나타내는 비용 또는 손실 함수가, 미리 결정된 값 미만일 때 또는 반복들 사이의 성능에서의 제한된 변화가 달성될 때 완료되는 것으로 결정될 수 있다. 선택적으로, (있다면) ML 부분망들의 적어도 일부는 전체 ML 망을 훈련하기 전에 개별적으로 훈련될 수 있다.
심층 신경망의 가중치들/임계치들을 조정하기 위해 사용되는 ML 망 입력 데이터의 세트는 이하에서 훈련 세트로서 지칭된다.
시스템(103)은, 검사 툴들에 의해 생성된 데이터(및/또는 그 파생물들 및/또는 그와 연관된 메타데이터) 및/또는 생성되고/거나 하나 이상의 데이터 저장소(109) 및/또는 CAD 서버(110) 및/또는 다른 관련 데이터 저장소에 저장된 데이터를 포함할 수 있는 입력 데이터를 입력 인터페이스(105)를 통해 수신하도록 구성된다. 입력 데이터는 이미지들(예를 들어, 캡처된 이미지들, 캡처된 이미지들로부터 유도된 이미지들, 시뮬레이션된 이미지들, 합성 이미지들 등) 및 연관된 스칼라 데이터(예를 들어, 메타데이터, 수작업 속성들 등)를 포함할 수 있다는 점을 주목한다. 이미지 데이터는 시편의 관심 있는 층 및/또는 하나 이상의 다른 층에 관련된 데이터를 포함할 수 있다는 점을 더 주목한다.
입력 데이터를(예를 들어, 저해상도 이미지 데이터 및/또는 고해상도 이미지 데이터를, 선택적으로, 다른 데이터, 예를 들어, 설계 데이터, 합성 데이터 등과 함께) 처리할 시, 시스템(103)은, 출력 인터페이스(106)를 통해, 결과들(예를 들어, 명령어 관련 데이터(123 및/또는 124))을 검사 툴(들) 중 임의의 것에 전송하고, 결과들(예를 들어, 결함 속성들, 결함 분류 등)을 저장 시스템(107)에 저장하고, 결과들을 GUI(108)를 통해 표시하고/거나 결과들을 외부 시스템에(예를 들어, FAB의 수율 관리 시스템(YMS)에) 전송할 수 있다. GUI(108)는 시스템(103)에 관련된 사용자 특정 입력들을 가능하게 하도록 더 구성될 수 있다.
비제한적인 예로서, 시편은 하나 이상의 저해상도 검사 기계(101)(예를 들어, 광학 검사 시스템, 저해상도 SEM 등)에 의해 검사될 수 있다. 시편의 저해상도 이미지들의 정보를 전달하는 결과 데이터(저해상도 이미지 데이터(121))는 직접적으로 또는 하나 이상의 중간 시스템을 통해 시스템(103)에 송신될 수 있다. 대안적으로 또는 추가적으로, 시편은 고해상도 기계(102)에 의해 검사될 수 있다(예를 들어, 검토를 위해 선택된 잠재적 결함 위치들의 하위세트는 주사 전자 현미경(SEM) 또는 원자간력 현미경(AFM)에 의해 검토될 수 있다). 시편의 고해상도 이미지들의 정보를 전달하는 결과 데이터(고해상도 이미지 데이터(122))는 직접적으로 또는 하나 이상의 중간 시스템을 통해 시스템(103)에 송신될 수 있다.
이미지 데이터는 그와 연관된 메타데이터(예를 들어, 픽셀 크기, 결함 유형의 텍스트 설명, 이미지 캡처 프로세스의 파라미터들 등)와 함께 수신 및 처리될 수 있다는 것을 주목한다.
관련 기술분야의 통상의 기술자는, 본 개시된 주제의 교시들이, 도 1에 예시된 시스템에 의해 제한되지 않고; 동등하고/거나 수정된 기능이, 다른 방식으로 통합되거나 분할될 수 있으며 하드웨어 및/또는 펌웨어와 소프트웨어의 임의의 적절한 조합으로 구현될 수 있다는 것을 쉽게 이해할 것이다.
어떠한 방식으로든 본 개시내용의 범위를 제한하지 않고, 검사 툴들은 다양한 유형들의 검사 기계들, 예컨대, 광학 이미지화 기계들, 전자 빔 검사 기계들 등으로서 구현될 수 있다는 점을 또한 주목해야 한다. 일부 경우들에서, 동일한 검사 툴이, 저해상도 이미지 데이터 및 고해상도 이미지 데이터를 제공할 수 있다. 일부 경우들에서, 적어도 하나의 검사 툴이 계측 능력들을 가질 수 있다.
도 1에 예시된 검사 시스템은, 도 1에 도시된 전술한 기능 모듈들이 몇몇 로컬 및/또는 원격 디바이스들에 분산될 수 있고 통신망을 통해 연결될 수 있는 분산 컴퓨팅 환경으로 구현될 수 있다는 점을 주목한다. 다른 실시예들에서, 검사 툴들(101 및/또는 102), 데이터 저장소들(109), 저장 시스템(107) 및/또는 GUI(108)의 적어도 일부는 검사 시스템(100)의 외부에 있을 수 있고 입력 인터페이스(105) 및 출력 인터페이스(106)를 통해 시스템(103)과 데이터 통신하여 작동할 수 있다는 것을 더 주목한다. 시스템(103)은 검사 툴들과 함께 사용될 독립형 컴퓨터(들)로서 구현될 수 있다. 대안적으로, 시스템의 각각의 기능들은, 적어도 부분적으로, 하나 이상의 검사 툴과 통합될 수 있다.
이제, 도 2를 주목한다. 방법은 하나 이상의 반도체 시편의 이미지들의 세트를 획득하는 단계(200)를 포함한다. 방법은 복수의 알고리즘 모듈들(M1 내지 MN)을 획득하는 단계(210)를 포함한다. 알고리즘 모듈들의 다양한 예들이 이미 미리 제공되었다(예를 들어, 알고리즘 모듈의 예인 도 1의 참조 부호(112) 참고).
알고리즘 모듈의 구축은 다양한 방법들에 의존할 수 있다. 일부 실시예들에 따라, 알고리즘 모듈은 반도체 시편들의 이미지들의 훈련 세트에 기초하여 작업(예를 들어, 결함 검출, 결함 분류, 결함 세그먼트화, 결함 등급화 등)을 수행하도록 미리 훈련된 기계 학습 알고리즘/심층 신경망을 포함할 수 있다. 그러나 이는 제한적이지 않다.
도 2a는 반도체 시편들의 이미지들의 하나 이상의 훈련 세트에 기초하여 복수의 알고리즘 모듈들을 구축하는 방법의 비제한적인 예를 설명한다. (K≥N최대인) 이미지들의 K개의 상이한 훈련 세트들에 기초하여 (예를 들어, N최대는 운영자에 의해 제공되는 수인) N최대개의 상이한 알고리즘 모듈들을 구축하도록 의도된다고 가정한다. 방법은 모든 N최대개의 상이한 알고리즘 모듈들을 통해 모든 K개의 상이한 훈련 세트들을 실행하는 단계(281)를 포함할 수 있다. 제1 반복에서, 알고리즘 모듈들은 최적화되지 않으며, 예를 들어, 그들의 모델들의 가중치들에 대한 무작위 값들을 포함한다. 각각의 모델은, 예를 들어, 훈련될 필요가 있는 기계 학습 알고리즘, 또는 조정될 파라미터들을 포함하는 컴퓨터 비전 블록(들) 및/또는 이미지 처리 블록(들)을 포함할 수 있다. 위에서 언급된 바와 같이, 이는 제한적이지 않고, 다른 모델들이 사용될 수 있다. 각각의 알고리즘 모듈은 훈련 세트의 각각의 이미지에 대한 결함들을 나타내는 데이터를 제공한다. 각각의 훈련 세트는 이 훈련 세트를 위한 최상의 출력을 제공한 알고리즘 모듈에 할당된다(282)(예를 들어, 이는, 예를 들어, 운영자의 라벨에 의해 제공된 예상된 출력과, 알고리즘 모듈에 의해 제공된 실제 출력 사이의 손실 함수를 계산함으로써 결정될 수 있다). 알고리즘 모듈이 어떠한 훈련 세트도 할당받지 않은 경우, 삭제될 수 있거나, 덜 성공적인 훈련 세트들 중 하나 이상이 무작위로 할당될 수 있다.
그 다음, 각각의 알고리즘 모듈은 그에 할당된 훈련 세트들에 기초하여 훈련된다. 알고리즘 모듈의 훈련은 그것이 저장하는 모델의 성질에 의존한다. 예를 들어, 모델이 심층 신경망을 포함하는 경우, 훈련은, 예를 들어, 손실 함수를 계산하고 역전파를 수행하는 것을 포함할 수 있다. 일단 각각의 알고리즘 모듈이 훈련되면, 방법은 모든 상이한 훈련된 알고리즘 모듈들을 통해 모든 훈련 세트들을 실행하는 단계(284)를 포함할 수 있다. 각각의 훈련 세트에 대한 최상의 출력이, 마지막 반복에서 할당된 알고리즘 모듈에 의해 제공되는 경우, 방법은 종료되고, 훈련된 알고리즘 모듈들이 출력될 수 있다(작동(285)). 변경이 발생하는 경우, 방법은 작동들(282, 283, 및 284)을 반복하는 단계를 포함할 수 있다.
도 2의 방법으로 돌아가서, 방법의 목적은, 복수의 알고리즘 모듈들 중에서, 이미지들의 세트의 결함들을 나타내는 데이터를 제공하는 데 가장 적응된 하나 이상의 알고리즘 모듈을 식별하는 것이다. (관련 알고리즘 모듈이 선택되어야 하는) 200에서 획득된 이미지들의 세트는 일반적으로, 상이한 알고리즘 모듈들을 훈련하기 위해 사용된 (281에서 획득된) 이미지들의 훈련 세트들과 상이하다. 그러므로, 알고리즘 모듈들은 이미지들의 이러한 세트에 기초하여 특별히 훈련되지 않았기 때문에, 이하에서 설명되는 바와 같이, 어느 알고리즘 모듈(들)이 이미지들의 이러한 세트에 가장 적응되는지를 식별하고, 가능하게는 알고리즘 모듈(들) 중 하나 이상을 재훈련할 필요가 있다.
일부 실시예들에 따라, 그리고 도 2b에 도시된 바와 같이, 이미지들의 세트는, 도 2의 방법이 적용된, 이미지들의 감소된 세트로 감소될 수 있다(작동(290)).
이미지들의 감소된 세트는 이미지들의 세트를 가장 잘 나타내는 이미지들을 포함하도록 선택될 수 있다. 예를 들어, 도 2의 방법에서 항상, 유사한 이미지들을 사용하는 것이 최적은 아니다. 이미지들의 감소된 세트의 무작위 선택은 차선의 결과들을 제공할 수 있다. 예를 들어, 이미지들의 세트의 1000개의 이미지들이 제1 부류의 결함들의 950개의 이미지들 및 제2 부류의 결함들의 50개의 이미지들을 포함하는 경우, 이미지들의 감소된 세트에 대한 100개의 이미지들의 무작위 선택은 제1 부류의 결함들의 95개의 이미지들 및 제2 부류의 결함들의 5개의 이미지들을 포함할 것인데, 이는 도 2의 방법에서의 알고리즘 모듈의 최적 선택을 위해 너무 적은 개수의 제2 부류의 결함들을 산출한다. 이 문제는 불균형 데이터 세트로 지칭된다.
이하에서 설명되는 바와 같이, 이미지들의 감소된 세트의 이미지들은 이러한 이미지들에서의 결함들을 나타내는 데이터를 제공하는 하나 이상의 알고리즘 모듈에 공급되고, 감독 피드백(예를 들어, 주석)은 알고리즘 모듈들에 의해 제공되는 출력 데이터 상에, 예를 들어, 인간에 의해 제공된다. 일부 실시예들에 따라, 이미지들의 감소된 세트의 이미지들은 (즉, 각각의 유형의 이미지들로부터 충분한 개수의 이미지들을 획득함으로써) 결과적인 주석이 달린 데이터 세트의 다양성 및 강건성을 최적화하는 형태로 선택된다.
그러므로, 작동(290)은 이미지들의 세트 중에서, 가능한 한 최상으로, 이미지들의 세트의 도메인 및/또는 다양성을 표현하는 (이미지들의 감소된 세트를 구성할) 제한된 개수의 이미지들을 선택하는 것을 포함할 수 있다. 이 선택은 이미지 데이터(픽셀 값들 등)에 기초할 수 있고, 일부 실시예들에서, 또한, 이미지들과 연관된 임의의 메타데이터에 기초할 수 있다.
분류 알고리즘들, 예컨대, K-평균 클러스터링, LDA(선형 판별 분석), 마르코프, 무작위 장, 베이지안 정보 기준(BIC), 계층적 클러스터링(GDL-U, AGDL), 결정 트리들, ICA(독립 성분 분석) PCA(주성분 분석), FPS(최원점 샘플링) 등이, 작동(290)을 수행하는 데 사용될 수 있다. 특히, 운영자로부터의 라벨링이 요구되지 않는 무감독 알고리즘들이 사용될 수 있다. 그러나 이는 제한적이지 않고 다른 알고리즘들이 사용될 수 있다. 작동(290)은, 예를 들어, 이미지들의 세트를 복수의 클러스터들로 클러스터링하고, 각각의 클러스터로부터 이미지들의 부분을 선택하는 것을 포함할 수 있다.
일부 실시예들에 따라, 이미지들의 선택은 추가적인 정보(특징들), 예컨대, 이미지들의 결함들을 나타내는 데이터에 의존할 수 있다. 이러한 추가적인 정보는 이미지들의 감소된 세트에 대한 이미지들을 선택하는 데 사용될 수 있다. 이미지들이, 작동(210)에서 획득된 복수의 알고리즘 모듈들 중 하나 이상에 공급된다고 가정한다. 각각의 알고리즘 모듈은 각각의 이미지에서 결함들을 나타내는 데이터(예를 들어, 위치, 부류 등)를 출력할 수 있다. 이 데이터는 이미지들을 클러스터링하고 이미지들의 세트를 나타내는 이미지들의 감소된 세트를 선택하기 위한 특징으로서 사용될 수 있다.
도 2의 방법으로 돌아가서, 방법은, 이미지들의 세트의(또는, 도 2b의 방법이 사용되었다면 이미지들의 감소된 세트의) 각각의 이미지에 대해, 복수의 알고리즘 모듈들의 부분을 선택하는 단계(220)를 포함할 수 있다. 이 부분은 적어도 하나의 알고리즘 모듈(MS)(또는 그 이상)을 포함한다. MS를 선택하는 다양한 실시예들이 이하에서 제공될 것이다.
방법은 이미지의 하나 이상의 결함을 나타내는 데이터(DMS)를 획득하기 위해 이미지를 알고리즘 모듈(MS)에 공급하는 단계(작동(230))를 더 포함할 수 있다. 220에서 복수의 알고리즘 모듈들(MS)이 선택된 경우, 이미지는 이러한 알고리즘 모듈들 각각에 공급되고, 각각의 알고리즘 모듈은 대응하는 데이터(DMS)를 출력한다.
위에서 언급된 바와 같이, DMS는, 예를 들어, 이미지의 결함들의 위치, 결함들의 부류의 식별 등을 포함할 수 있다.
DMS 또는 이를 나타내는 데이터는, 예를 들어, 디스플레이를 사용하여 인간에게 출력될 수 있다. 예를 들어, DMS가 이미지의 결함들의 위치를 포함하는 경우, 예를 들어, 원래 이미지의 결함의 검출된 위치를 둘러싸는 타원들을 포함하는 컴퓨터화된 이미지가 계산되어 운영자에게 출력될 수 있다. DMS가 결함들의 부류를 포함하는 경우, 대응하는 결함의 이미지 상에 부류가 디스플레이될 수 있다. 이는 제한적이지 않고, 출력은 임의의 적응된 방식으로 제공될 수 있다.
방법은, 각각의 알고리즘 모듈(MS)에 의해 제공되는 데이터(DMS)에 관한 감독 피드백(즉, 예를 들어, 인간으로부터의 외부 피드백)을 획득하는 단계(230)를 포함한다. 특히, 피드백은 DMS가, 인간의 지식에 기초하여 어느 정도까지 올바른 것으로 간주되는지를 나타낼 수 있다. 일부 실시예들에서, 피드백은 DMS가 완전히 부정확하거나, DMS가 완전히 정확하거나, DMS가 부분적으로만 정확하다는 것을 나타낼 수 있다.
피드백의 예는 도 3에 예시된다. 이미지가, 결함의 위치의 추정(데이터(DMS))으로서 타원(300)을 제공하는 알고리즘 모듈(MS)(이 이미지에 대해 복수의 알고리즘 모듈들 중에서 선택되었음)에 공급되었다고 가정한다. 일부 실시예들에 따라, 운영자의 피드백은 다음을 포함할 수 있다:
- 알고리즘 모듈(MS)에 의해 제공되는 제안을 검증함(310);
- 알고리즘 모듈(MS)에 의해 제공되는 제안을 개선함(운영자는 알고리즘 모듈(MS)에 의해 제공되는 타원(300)보다 결함에 더 초점을 맞추는 타원(320)을 제공한다). 다시 말해서, 알고리즘 모듈(MS)의 출력은 부분적으로만 정확했음(340);
- 알고리즘 모듈(MS)에 의해 제공된 제안을 거절함(330).
일부 실시예들에 따라, 알고리즘 모듈에 의해 제공되는 타원과 인간에 의해 제공되는 타원 사이에 합집합에 대한 교집합이 계산될 수 있고, 이로써, 소프트웨어가 완전히 정확했는지(310), 완전히 틀렸는지(330), 또는 부분적으로만 정확했는지(340)를 식별하는 것을 허용한다.
도 3에 도시된 바와 같은 피드백은 제한적이지 않다. 다른 실시예들에 따르면, 피드백은 반드시 그래픽 형태로 제공될 필요는 없고, 예를 들어, 텍스트 형태로 제공될 수 있다(예를 들어, 인간은 결함의 좌표들 및/또는 결함의 분류를 제공함).
이러한 감독 피드백에 기초하여, 방법은 복수의 알고리즘 모듈들에 대해 점수를 생성하는 단계(작동(260))를 포함할 수 있다.
일부 실시예들에서, 작동(260)은 알고리즘 모듈(MS)이 선택되었고 감독 피드백에 관하여 평가될 수 있는 출력을 제공했을 때마다 수행된다. 일부 실시예들에 따라, 감독 피드백이, MS에 의해 제공된 DMS가 정확했다는 것을 나타내는 경우, MS와 연관된 점수는 MS와 이전에 연관된 점수에 대해 증가될 수 있다(이전 점수는 과거 반복들로부터 획득될 수 있거나, 제1 반복에서, 예를 들어, 운영자에 의해 미리 정의될 수 있다). 유사하게, 감독 피드백이 DMS를 거절하면, MS와 연관된 점수는 MS와 이전에 연관된 점수에 대해 감소될 수 있다. MS의 점수의 수정은 (고정된 합과 동일한, 예를 들어, 1과 동일한 총 점수를 유지하기 위해) 다른 알고리즘 모듈들 각각과 연관된 점수에 영향을 줄 수 있다.
다른 실시예들에서, 방법의 모든 반복들(270)에 걸쳐 수신된 모든 피드백들에 기초하여, 완료 기준이 충족된 후에 작동(260)이 수행된다. 점수는 선택된 횟수에 기초하여 그리고 각각의 알고리즘 모듈에 대해 획득된 감독 피드백(들)(각각의 알고리즘 모듈이, 정확한 출력을 제공한 횟수를 나타냄)에 기초하여 각각의 알고리즘 모듈에 대해 계산된다.
완료 기준이 충족되지 않으면, 방법은 작동(220)으로 복귀할 수 있으며, 여기서 이미지들의 세트(또는 이미지들의 감소된 세트)의 다음 이미지가 획득되고, 이 새로운 이미지에 대해 알고리즘 모듈(MS)이 선택된다. 작동들(230 내지 260)이, 이 새로운 이미지에 대해 유사하게 반복된다. 일반적으로, 후속 반복들 동안 선택된 적어도 하나의 다음 이미지에 대해, 선택된 알고리즘 모듈(MS)은 상이하다(이로써, 하나 초과의 알고리즘 모듈을 시험하는 것을 허용함).
완료 기준은, 예를 들어, 충분한 개수의 감독 피드백들이 획득된 경우, 또는 충분한 개수의 이미지들이 처리된 경우 등에 충족된다.
완료 기준이 충족된 경우, 방법은 이미지들의 세트의 결함들을 나타내는 데이터를 제공하기 위해 복수의 알고리즘 모듈들 중에서 가장 적응된 것으로서 적어도 하나의 알고리즘 모듈(M최상)을 식별하는 단계(작동(280))를 포함할 수 있다. 알고리즘 모듈(M최상)을 나타내는 출력이 제공될 수 있다. 일부 실시예들에 따라, 도 2의 방법은 이미지들의 감소된 세트에 대해 수행되며, 이미지들의 감소된 세트는 이미지들의 세트를 나타내기 때문에, M최상은, 이미지들의 세트의 결함들을 나타내는 데이터를 제공하기 위해 복수의 알고리즘 모듈들 중에서 가장 적응된 것으로서 식별되었다. M최상의 선택은 상이한 알고리즘 모듈들과 연관된 점수들에 기초할 수 있다. 예를 들어, M최상은 최상의 점수(예를 들어, 가장 높은 점수)를 갖는 알고리즘 모듈로서 선택된다.
일부 실시예들에 따라, 감독 피드백은 알고리즘 모듈들 중 하나 이상을 재훈련하는 데 사용될 수 있다. 일부 실시예들에 따라, 재훈련은 M최상이 선택되기 전에(예를 들어, 반복들(270) 동안) 수행될 수 있고, 일부 다른 실시예들에 따라, 재훈련은 M최상이 선택된 후에 수행될 수 있다.
예를 들어, P 이미지들의 군이 도 2의 방법에 따라 처리된 후에 M최상이 선택되었다고 가정한다. 복수의 P 이미지들 상에 인간에 의해 제공되는 라벨들이, 알고리즘 모듈(M최상)을 재훈련하는 데 사용될 수 있다. 일부 실시예들에서, M최상이, 복수의 계층들(심층 신경망)에 의해 표현될 수 있는 모델을 포함하는 알고리즘 모듈이라고 가정하면, 계층들 중 일부만이 재훈련되고, 다른 계층들은 동결된다(전이 학습 방법).
일부 실시예들에 따라, 감독 피드백이 획득된 P 이미지들의 하위세트는 재훈련을 위해 사용되고(손실 함수에서 사용되는 라벨은 감독 피드백에 대응할 수 있음), P 이미지들의 다른 하위세트는 훈련된 알고리즘 모듈들을 검증하는 데 사용된다.
이제, 도 2의 방법의 가능한 구현을 설명하는 도 4를 주목한다.
방법은 하나 이상의 반도체 시편의 이미지들의 세트를 획득하는 단계(400)를 포함한다. 이 작동은 작동(200)과 유사하다. 방법은 복수의 알고리즘 모듈들을 획득하는 단계(410)를 포함한다. 이 작동은 작동(210)과 유사하다.
방법은, 이미지들의 세트의 이미지에 대해, 각각의 알고리즘 모듈과 연관된 점수에 기초하여, 적어도 하나의 알고리즘 모듈(MS)을 선택하는 단계(작동(420))를 포함한다. 각각의 점수는 알고리즘 모듈이 선택될 필요가 있는 확률로서 여겨질 수 있다.
방법의 초기화에서, 모든 점수들은 동일하게 설정될 수 있다(그러나 이는 필수적이지 않다). N개의 알고리즘 모듈들이 존재하는 경우, 예를 들어, 모든 알고리즘 모듈들에 대해, 점수는 1/N과 동일하게 설정된다.
위에서 언급된 바와 같이, 알고리즘 모듈(MS)의 선택은 알고리즘 모듈들과 연관된 점수들에 기초하여 무작위 선택을 수행하는 것을 포함할 수 있다. 알고리즘 모듈을 선택할 확률은 사용가능한 알고리즘 모듈들의 나머지에 대한 그 알고리즘 모듈의 상대 점수와 동일할 수 있다. 예를 들어, 난수 발생기는 난수를 생성하는 데 사용될 수 있고, 알고리즘 모듈(MS)은 알고리즘 모듈들의 점수들 및 난수에 기초하여 선택된다(이러한 종류의 무작위 선택을 범주형 분포라고 하고, 예를 들어, https://en.wikipedia.org/wiki/categorical_distribution을 참고한다). 방법의 초기화에서, 모든 알고리즘 모듈들이, 동일한 점수를 갖기 때문에, 각각의 알고리즘 모듈은 선택될 동일한 확률을 갖는다. 작동(420)이 후속 반복들 동안 반복될 때, 알고리즘 모듈들과 연관된 점수들이 진화하고 모두가, 동일한 값을 공유하지는 않는다. 그러므로, 더 높은 점수를 갖는 알고리즘 모듈은 작동(420)에서 선택될 더 높은 확률을 갖는다. 그러나, 이는, 가장 높은 점수를 갖는 알고리즘 모듈이 항상 선택될 것이라는 의미가 아니라, 단지, 알고리즘 모듈의 무작위 선택은 각각의 알고리즘 모듈과 연관된 점수에 의해 영향을 받는다는 것을 의미한다.
일부 실시예들에 따라, 하나 초과의 알고리즘 모듈(MS)이 작동(420)에서 선택될 수 있다. 선택될 알고리즘 모듈들(MS)의 최대 개수는, 예를 들어, 처리 능력들에 따른다.
방법은, 알고리즘 모듈(MS)에 이미지를 공급하는 단계(작동(430), 230과 유사), 하나 이상의 결함을 나타내는 데이터(DMS)를 획득하는 단계(작동(440), 240과 유사), 및 DMS에 대한 감독 피드백을 획득하는 단계(작동(450), 250과 유사)를 더 포함한다.
일부 실시예들에 따라, 방법은 감독 피드백을 획득하기 위해 인간에게 출력될 DMS의 하위세트만을 선택하는 단계를 포함할 수 있다. 실제로, DMS의 크기는 클 수 있고, 그러므로, 인간에게 출력되는 DMS의 크기를 감소시킴으로써 인간에 의한 피드백을 보조하는 것이 추천될 수 있다. DMS의 하위세트의 선택은 다양한 기법들에 의존할 수 있다. 일부 실시예들에 따라, 알고리즘 모듈이 데이터(DMS)를 제공할 때, 알고리즘 모듈은 또한, 그의 예측과 연관된 신뢰 수준을 제공한다. DMS의 하위세트의 선택은 신뢰 수준이 임계치보다 높은 데이터만을 선택하는 것을 포함할 수 있다. 일부 실시예들에 따라, 단계(420)에서 복수의 알고리즘 모듈들이 선택된 경우, DMS의 하위세트의 선택은, 점수가 임계치보다 높은 알고리즘 모듈들에 의해 제공되는 DMS만을 선택하는 것을 포함할 수 있다. 일부 실시예들에 따라, 단계(420)에서 복수의 알고리즘 모듈들이 선택된 경우, DMS의 하위세트의 선택은 상이한 알고리즘 모듈들의 출력 중에서 다수결에 의존할 수 있다.
점수는 감독 피드백에 기초하여 MS에 대해 생성된다(작동(460)). 일부 실시예들에 따라, 모든 다른 알고리즘 모듈들의 점수들은 또한, 이하에서 설명되는 바와 같이, 감독 피드백에 기초하여 업데이트된다.
감독 피드백이, 알고리즘 모듈(MS)이, 유효한 데이터(DMS)를 제공했음을 나타내는 경우, 알고리즘 모듈(MS)과 연관된 점수(PMS)는 알고리즘 모듈(MS)과 이전에 연관된 점수에 대해 증가될 수 있다. 다시 말해서, 알고리즘 모듈(MS)은 유효한 예측을 제공했기 때문에, 이는 방법의 후속 반복들에서 선택될 그의 확률을 증가시킴으로써 "보상"된다.
감독 피드백이, 알고리즘 모듈(MS)이, 유효하지 않은 데이터(DMS)를 제공했음을 나타내는 경우, 알고리즘 모듈(MS)과 연관된 점수(PMS)는 알고리즘 모듈(MS)과 이전에 연관된 점수에 대해 감소될 수 있다. 다시 말해서, 알고리즘 모듈(MS)은 틀린 예측을 제공했기 때문에, 이는 방법의 후속 반복들에서 선택될 그의 확률을 감소시킴으로써 "책망"받는다.
감독 피드백이, 알고리즘 모듈(MS)이, 부분적으로만 정확한 데이터(DMS)를 제공했음을 나타내는 경우, 알고리즘 모듈(MS)과 연관된 점수(PMS)는 알고리즘 모듈(MS)과 이전에 연관된 점수에 대해 부분적으로만 증가될 수 있다(예를 들어, 함수는 알고리즘 모듈의 출력의 유효성의 수준에 따라 증가의 수준을 정의할 수 있다).
그러므로, 감독 피드백은 다음 반복에서 알고리즘 모듈이 선택될 확률을 동적으로 변경한다.
알고리즘 모듈(MS)과 연관된 점수의 업데이트는, 예를 들어, 1과 동일한, 모든 점수들의 합을 유지하기 위해, 다른 알고리즘 모듈들과 연관된 점수에 영향을 줄 수 있다.
예를 들어, 다음의 식들이 사용될 수 있다(
Figure pat00001
는 알고리즘 모듈(Mi)과 연관된 점수임):
Figure pat00002
(알고리즘 모듈(Ms)이 정확하지 않은 경우)
Figure pat00003
(알고리즘 모듈(Ms)이 정확한 경우)
Figure pat00004
(알고리즘 모듈(Ms)이 부분적으로만 정확한 경우, α는 알고리즘 모듈(Ms)의 출력의 유효성의 수준에 따른 파라미터임)
Figure pat00005
(모든 알고리즘 모듈들(Mj)에 대한 모든 점수들의 정규화)
MS와 연관된 점수의 증가는 (1과 동일한, 모든 점수들의 합을 유지하기 위해) 모든 다른 알고리즘 모듈들과 연관된 점수의 감소를 유도할 수 있다.
MS와 연관된 점수의 감소는 (1과 동일한, 모든 점수들의 합을 유지하기 위해) 모든 다른 알고리즘 모듈들과 연관된 점수의 증가를 유도할 수 있다.
완료 기준이 충족되지 않으면, 방법은 작동(420)으로 복귀할 수 있으며, 여기서 이미지들의 세트(또는 이미지들의 감소된 세트)의 다음 이미지가 제공되고, 이러한 다음 이미지에 대해 알고리즘 모듈(MS)이 선택된다. 작동들(430 내지 460)이, 이러한 다음 이미지에 대해 유사하게 반복된다. 완료 기준의 예들이 위에서 제공되었다.
완료 기준이 충족된 경우, 방법은 이미지들의 세트의 결함들을 나타내는 데이터를 제공하기 위해 복수의 알고리즘 모듈들 중에서 가장 적응된 것으로서 적어도 하나의 알고리즘 모듈(M최상)을 식별하는 단계(작동(480))를 포함할 수 있다. 알고리즘 모듈(M최상)을 나타내는 출력이 제공될 수 있다. M최상의 선택은 알고리즘 모듈들과 연관된 점수들에 기초하여 수행될 수 있다. 예를 들어, (여러 번의 반복들(470) 이후에) 가장 높은 점수와 연관된 알고리즘 모듈이 M최상으로 선택될 수 있다.
이제, 도 2의 방법의 다른 가능한 구현을 설명하는 도 5를 주목한다.
방법은, 작동들(200 및 210)과 유사하고 다시 설명되지 않는 작동들(500 및 510)을 포함한다.
방법은, 이미지들의 세트의 이미지에 대해, 적어도 하나의 알고리즘 모듈(MS)을 선택하는 단계(작동(520))를 포함한다. 이 실시예에서, 선택 모듈은 MS를 선택하는 데 사용된다. 선택 모듈은 비일시적 메모리에 저장된 명령어들의 목록을 포함할 수 있고, 명령어들은, PMC에 의해 실행될 때, PMC로 하여금, 알고리즘 모듈(MS)의 선택을 허용하는 모델을 실행하게 하도록 이루어진다. 일부 실시예에서, 선택 모듈은 기계 학습 알고리즘, 예컨대, 심층 신경망을 구현한다. 선택 모듈은, 어느 알고리즘 모듈이, 현재 이미지에 대한 결함을 나타내는 데이터(DMS)를 제공하도록 가장 적응되었는지를 예측하도록 훈련된다. 선택 모듈의 훈련은 도 6을 참조하여 설명될 것이다.
일부 실시예들에 따라, 선택 모듈은 크기 N의 확률 벡터(P'=[P'1; ...; P'N])를 제공한다(N은 상이한 알고리즘 모듈들의 개수임). 각각의 알고리즘 모듈은 선택 모듈에 의해 확률을 할당받고, 이는 알고리즘 모듈이, 현재 이미지의 결함을 나타내는 데이터(DMS)를 제공하도록 적응된 확률을 나타낸다. MS는 가장 높은 확률을 갖는 알고리즘 모듈로서 선택될 수 있다. 일부 실시예들에서, 가장 높은 확률들이 할당된 알고리즘 모듈들에 대응할 수 있는 하나 초과의 알고리즘 모듈(MS)이 선택될 수 있다.
방법은 작동(530)(작동(230)과 유사하게, 선택된 알고리즘 모듈(MS) 각각에 이미지를 공급함), 작동(540)(작동(240)과 유사하게, 각각의 알고리즘 모듈(MS)에 의해, 이미지의 하나 이상의 결함을 나타내는 데이터(DMS)를 획득함), 및 작동(550)(작동(250)과 유사하게, DMS에 대한 감독 피드백을 획득함)을 더 포함한다.
수렴 기준이 충족되지 않으면, 방법은 작동(520)으로 복귀할 수 있으며, 여기서 이미지들의 세트(또는 이미지들의 감소된 세트)의 새로운 이미지가 제공되고, 이러한 새로운 이미지에 대해 알고리즘 모듈(MS)이 선택된다. 작동들(530 내지 550)이, 이 새로운 이미지에 대해 유사하게 반복된다. 수렴 기준의 예들이 위에서 제공되었다.
수렴 기준이 충족되면, 방법은, 감독 피드백들에 기초하여, 각각의 알고리즘 모듈에 대해 점수를 생성하는 단계(작동(560))를 포함할 수 있다. 일부 실시예들에 따라, 알고리즘 모듈의 점수는 양의 피드백들의 개수(예를 들어, 피드백은 알고리즘 모듈의 출력이 완전히 정확했거나 적어도 부분적으로 정확했다는 것을 나타내며, 대응하는 수는, 부분적으로 정확한 피드백들에 대해서보다, 완전히 정확한 피드백들에 대해서 더 높을 수 있음)와 알고리즘 모듈이 선택된 횟수 사이의 비율을 나타낼 수 있다. 이 비율은 알고리즘 모듈의 성공의 백분율을 나타낸다. 이러한 계산은 제한되지 않으며, 다른 공식들이 점수에 사용될 수 있다.
다른 실시예들에서, 작동(550)이 실행될 때마다, 선택된 알고리즘 모듈(MS)에 대해 점수가 생성될 수 있다(이는 도 5에서 보이지 않는다). 점수는 (현재 반복까지의) MS에 대해 획득된 양의 피드백들의 개수와 (현재 반복까지의) MS가 선택된 횟수 사이의 비율로서 생성될 수 있다.
일부 실시예들에 따라, 선택되지 않은 (또는 임계치 미만의 횟수로 선택된) 하나 이상의 알고리즘 모듈이 식별되고 시험될 수 있다. 위에서 언급된 바와 같이, 작동(520)에서, 각각의 알고리즘 모듈은 선택 모듈에 의해 확률이 할당되고, 가장 높은 확률을 갖는 알고리즘 모듈(들)만이 선택된다. 모든 반복들(570)에 걸쳐 각각의 알고리즘 모듈에 대해 집계 확률이 계산될 수 있고, 전혀 선택되지 않았거나 임계치 미만인 알고리즘 모듈들 중에서, 가장 높은 집계 확률을 갖는 알고리즘 모듈이, 이미지들의 세트의 이미지들을 사용하여, 선택되고 시험될 수 있다. 위에서 설명된 바와 유사하게, 점수가 이 알고리즘 모듈에 대해 생성될 수 있다. 그러므로, M최상을 선택할 때, 이 알고리즘 모듈이 또한 고려될 것이다.
방법은 이미지들의 세트의 결함들을 나타내는 데이터를 제공하기 위해 복수의 알고리즘 모듈들 중에서 가장 적응된 것으로서 적어도 하나의 알고리즘 모듈(M최상)을 식별하는 단계(작동(580))를 더 포함할 수 있다. 알고리즘 모듈(M최상)을 나타내는 출력이 제공될 수 있다. M최상은 가장 높은 점수를 갖는 알고리즘 모듈로서 선택될 수 있다. 일부 실시예들에서, M최상을 선택하기 위해 다른 규칙들이 고려될 수 있다. 예를 들어, 알고리즘 모듈이 한번 선택되고 피드백에 의해 검증된 상황을 회피하기 위해(이로써, 100% 성공률로 이어짐), 알고리즘 모듈이 임계치를 초과한 횟수만큼 선택된 경우에만 알고리즘 모듈이 선택될 수 있다는 규칙이 설정될 수 있다. 다른 규칙들이, M최상을 선택하기 위해 설정될 수 있다.
일부 실시예들에 따라, 감독 피드백은 알고리즘 모듈(MS)의 미래의 선택에 영향을 주는 데 사용될 수 있다. 특히, 미래의 선택에서 선택 모듈(확률 벡터(P'))의 출력은 감독 피드백에 따라 가중 벡터(V=[V1; ...; VN])에 의해 가중될 수 있다. 알고리즘 모듈(Mi)이 선택되었고, 감독 피드백이, 알고리즘 모듈(Mi)의 출력이 유효하지 않다는 것을 나타낸다고 가정한다. 계수(Vi)가 1보다 작도록 가중 벡터(V)가 선택될 수 있고, 이로써, 선택 모듈에 의해 이 알고리즘 모듈(Mi)에 할당되는 확률을 감소시킨다. 다른 계수(Vj)(i와 상이한 j)는 1과 동일하게 유지될 수 있다.
감독 피드백은 이미지들의 세트의 결함들을 나타내는 데이터를 제공하기 위해 가장 적응된 알고리즘 모듈(M최상)을 식별하기 위해 사용될 수 있다. 일단 알고리즘 모듈(M최상)이 식별되면, M최상을 식별하는 프로세스 동안 획득된 감독 피드백은 M최상을 재훈련하는 데 사용될 수 있다. 일부 실시예들에서, 주어진 알고리즘 모듈의 재훈련은, 이 주어진 알고리즘 모듈에 대해 획득된 감독 피드백에 기초하여, M최상을 식별하는 프로세스 동안 수행될 수 있다.
이제, 선택 모듈을 훈련하는 방법을 설명하는 도 6을 주목한다. N개의 알고리즘 모듈들(M1 내지 MN) 중에서 알고리즘 모듈이 선택되어야 한다고 가정한다. 도 2a와 관련하여 위에서 언급된 바와 같이, 일부 실시예들에 따라, 그 중에서 알고리즘 모듈이 선택되어야 하는 알고리즘 모듈들은 이미지들의 복수의 훈련 세트들을 사용하여 미리 훈련되었다.
일부 실시예들에 따라, 선택 모듈은 상이한 알고리즘 모듈들을 훈련하기 위해 사용된 이미지들의 동일한 복수의 훈련 세트들에 기초하여 훈련된다(참조 부호(600) 참고).
방법은 크기 N의 벡터([P1; ,... PN])를 출력하도록 구성된 선택 모듈에 이미지를 공급하는 단계(작동(610))를 포함하며, 여기서 Pi는 알고리즘 모듈(Mi)이 이 이미지에 대한 하나 이상의 결함을 나타내는 데이터를 제공하도록 적응되는 확률이다. 각각의 이미지의 라벨 벡터(원 핫 표현)는 크기가 N이다:
- [1; 0; ...; 0] (이미지가, 알고리즘 모듈(M1)을 훈련하기 위해 사용된 훈련 세트에 속하는 경우),
- [0; 1; ...; 0] (이미지가, 알고리즘 모듈(M2)을 훈련하기 위해 사용된 훈련 세트에 속하는 경우) 등.
실제로, 알고리즘 모듈은 그의 훈련 동안 사용되는 이미지에 대한 최상의 결과들을 제공할 것으로 예상된다. 선택 모듈을 훈련하기 위해(작동(630), 예를 들어, 역전파를 사용함), 선택 모듈의 출력과 이미지의 라벨 벡터 사이에 손실 함수가 계산된다(작동(620)). 방법은 복수의 이미지들에 대해 반복될 수 있다(참조 부호(640)).
선택 모듈을 훈련하는 다른 방법을 설명하는 도 7을 주목한다. 이 실시예에서, 알고리즘 모듈들(M1 내지 MN)을 훈련하기 위해 원래 사용되지 않았던 이미지들을 포함하는 훈련 세트를 사용하는(작동(700)) 것이 가능하다. 방법은 훈련 세트의 각각의 이미지에 대해 라벨을 획득하는 단계(710)를 포함한다. 라벨은 운영자에 의해 제공될 수 있다. 예를 들어, 운영자는 결함들의 위치의 추정을 제공할 수 있다. 방법은 훈련 세트의 각각의 이미지를 각각의 알고리즘 모듈에 공급하는 단계(720)를 포함한다. 각각의 알고리즘 모듈(Mi)은 이미지의 결함들을 나타내는 데이터(DMi)를 제공할 것이다. 각각의 이미지에 대해, 이미지에 대해 획득된 DMi와 이 이미지에 대해 제공된 라벨 사이의 합집합에 대한 교집합을 계산하는(작동(730)) 것이 가능하다(합집합에 대한 이러한 교집합은 알고리즘 모듈의 예측이 어느 정도까지 정확한지를 나타낸다). 이는 훈련 세트의 복수의 이미지들에 대해 반복될 수 있다. 결과적으로, 각각의 이미지에 대해, 크기 N의 벡터가 획득되고(작동(740)), 이는 각각의 알고리즘 모듈에 대해, 이미지에 대해 획득된 DMi와 이 이미지에 대해 제공된 라벨 사이의 합집합에 대한 교집합을 포함한다. 각각의 벡터의 상이한 값들의 합은 1로 정규화될 수 있다. 대안적으로, 각각의 벡터는 원 핫 벡터로서 표현될 수 있다(여기서 벡터의 최대 값은 1로 설정되고, 다른 값들은 0으로 설정된다).
선택 모듈의 훈련(작동(760))은, 훈련 세트의 각각의 이미지를 (이 이미지에 대해 어느 알고리즘 모듈이 가장 적응되는지를 추정하는 출력을 제공할) 선택 모듈에 공급하고(작동(750)), 그 출력과 이미지와 연관된 벡터 사이의 차이에 기초하여 손실 함수를 계산함으로써 수행될 수 있다.
이제, 도 4 및 5의 방법들 양쪽 모두를 조합하는 방법을 설명하는 도 8을 주목한다.
방법은 하나 이상의 반도체 시편의 이미지들의 세트를 획득하는 단계(800)를 포함한다. 이 작동은 위의 작동(200)과 유사하다. 방법은 복수의 알고리즘 모듈들(M1 내지 MN)을 획득하는 단계(810)를 포함한다. 이 작동은 위의 작동(210)과 유사하다. 방법은 이미지들의 세트의 이미지를 선택 모듈에 공급하는 단계(815)를 포함한다. 선택 모듈은, 이미지에 기초하여, 복수의 알고리즘 모듈들의 각각의 알고리즘 모듈에 대한 제1 확률을 제공하도록 구성된다. 제1 확률은, 각각의 알고리즘 모듈이, 이미지의 결함들을 나타내는 데이터를 제공하도록 적응되는 확률을 나타낸다. 선택 모듈은 도 5에 설명된 선택 모듈과 유사하며, 예를 들어, 도 6 및 7에 설명된 바와 같이 훈련될 수 있다. N개의 알고리즘 모듈들이 존재하기 때문에, 선택 모듈의 출력은 크기 N의 벡터(P'=[P'1; ...; P'N])로서 표현될 수 있으며, P'i는 각각의 알고리즘 모듈(Mi)과 연관된 제1 확률이며, 이는, 알고리즘 모듈(Mi)이, 이미지의 결함을 나타내는 데이터를 제공하는 데 관련되는 확률을 나타낸다. 일반적으로, P'1 내지 P'N의 합은 (이들이 확률 분포를 나타내기 때문에) 1과 동일하다.
방법은 각각의 알고리즘 모듈에 대해 제2 확률을 획득하는 단계(작동(820))를 포함한다. 도 4의 방법과 유사하게, 제2 확률은, 제1 반복에서, 예를 들어, 운영자에 의해 미리 정의되고(예를 들어, 동일한 제2 확률(1/N)이 각각의 알고리즘 모듈에 할당됨), 감독 피드백에 따라 시간에 걸쳐 진화된다. N개의 알고리즘 모듈들이 존재하기 때문에, 이 제2 확률은 크기 N의 벡터(P=[P1; ...; PN])로 표현될 수 있다. 제2 확률은 하나 이상의 결함을 나타내는 데이터를 제공하기 위해 알고리즘 모듈이 선택되어야 하는 확률을 나타낸다.
점수는, 제1 확률 및 제2 확률을 집계함으로써, 각각의 알고리즘 모듈에 대해 계산될 수 있다(작동(830)). 점수는 P와 P'를 곱함으로써 획득될 수 있다.
각각의 알고리즘 모듈과 연관된 점수에 기초하여, 방법은 적어도 하나의 알고리즘 모듈(MS)을 선택하는 단계(작동(840))를 포함한다. 예를 들어, 가장 높은 점수를 갖는 알고리즘 모듈이 선택된다. 하나 초과의 알고리즘 모듈이 선택되는 경우, 가장 높은 점수들을 갖는 알고리즘 모듈들이 선택될 수 있다.
방법은 선택된 알고리즘 모듈(MS)에 이미지를 공급하는 단계(작동(850))를 더 포함하며, 선택된 알고리즘 모듈(MS)은 하나 이상의 결함을 나타내는 데이터(DMS)를 출력한다(작동(860)).
방법은 DMS에 대한 감독 피드백을 획득하는 단계(870)를 더 포함한다. 이 작동은 작동(450)과 유사하며, 다시 설명되지 않는다.
감독 피드백은 알고리즘 모듈(MS)과 연관된 제2 확률을 생성하는 데 사용된다(작동(880)).
감독 피드백이, 알고리즘 모듈(MS)이, 유효한 데이터(DMS)를 제공했음을 나타내는 경우, 알고리즘 모듈(MS)과 연관된 제2 확률은 알고리즘 모듈(MS)과 이전에 연관된 제2 확률에 대해 증가될 수 있다. 다시 말해서, 알고리즘 모듈(MS)은 유효한 예측을 제공했기 때문에, 이는 방법의 후속 반복들에서 선택될 그의 확률을 증가시킴으로써 "보상"된다.
감독 피드백이, 알고리즘 모듈(MS)이, 유효하지 않은 데이터(DMS)를 제공했음을 나타내는 경우, 알고리즘 모듈(MS)과 연관된 제2 확률은 알고리즘 모듈(MS)과 이전에 연관된 제2 확률에 대해 감소될 수 있다. 다시 말해서, 알고리즘 모듈(MS)은 부정확한 예측을 제공했기 때문에, 이는 방법의 후속 반복들에서 선택될 그의 확률을 감소시킴으로써 "책망"받는다.
감독 피드백이, 알고리즘 모듈(MS)이, 부분적으로만 정확한 데이터(DMS)를 제공했음을 나타내는 경우, 알고리즘 모듈(MS)과 연관된 제2 확률은 알고리즘 모듈(MS)과 이전에 연관된 제2 확률에 대해 부분적으로만 증가될 수 있다(예를 들어, 함수는 알고리즘 모듈의 출력의 유효성의 수준에 따라 증가의 수준을 정의할 수 있다).
그러므로, 감독 피드백은 다음 반복에서 알고리즘 모듈이 선택될 확률을 동적으로 변경한다.
완료 기준이 충족되지 않으면, 방법은 작동(815)으로 복귀할 수 있으며, 여기서 이미지들의 세트(또는 이미지들의 감소된 세트)의 다음 이미지가 제공되고, 이러한 다음 이미지에 대해 알고리즘 모듈(MS)이 선택된다. 작동들(820 내지 880)이, 이러한 다음 이미지에 대해 유사하게 반복된다. 완료 기준의 예들이 위에서 제공되었다.
완료 기준이 충족된 경우, 방법은 이미지들의 세트의 결함들을 나타내는 데이터를 제공하기 위해 복수의 알고리즘 모듈들 중에서 가장 적응된 것으로서 적어도 하나의 알고리즘 모듈(M최상)을 식별하는 단계(작동(890))를 포함할 수 있다. 알고리즘 모듈(M최상)을 나타내는 출력이 제공될 수 있다. M최상의 선택은 알고리즘 모듈들과 연관된 점수들에 기초하여 수행될 수 있다. 예를 들어, (여러 번의 반복들(885) 이후에) 가장 높은 점수와 연관된 알고리즘 모듈이 M최상으로 선택될 수 있다.
위에서 설명된 모든 실시예들에서, 일단 알고리즘 모듈(M최상)이 식별되면, 이는, 예를 들어, 이미지들의 세트의 복수의 이미지들에 대해 제공된 감독 피드백을 사용하여 재훈련될 수 있다. 일부 실시예들에서, 알고리즘 모듈(M최상)의 식별 이전에, 중간 스테이지에서 재훈련이 수행될 수 있다. 일부 실시예들에서, 다른 알고리즘 모듈들은 (이들이 M최상에 대응하지 않더라도) 이미지들의 세트의 복수의 이미지들에 대해 제공되는 감독 피드백을 사용하여 재훈련될 수 있다.
다양한 실시예들에서 설명되는 다양한 특징들은 모든 가능한 기술적 조합들에 따라 조합될 수 있다는 점을 주목한다. 본 발명은 본 출원에서 본원에 포함된 설명에 열거되거나 도면들에 예시된 세부 사항들로 제한되지 않는다는 것을 이해해야 한다. 본 발명은 다른 실시예들이 가능하고, 다양한 방식들로 실시되고 수행될 수 있다. 그러므로, 본원에서 채용되는 어법 및 용어는 설명의 목적을 위한 것이며 제한으로서 간주되어서는 안 된다는 점을 이해하여야 한다. 이로써, 관련 기술분야의 통상의 기술자는, 본 개시내용이 기초로 하는 개념이, 본 개시된 주제의 몇몇 목적을 수행하기 위한 다른 구조들, 방법들 및 시스템들을 설계하기 위한 기초로서 용이하게 활용될 수 있음을 이해할 것이다. 관련 기술분야의 통상의 기술자는, 다양한 수정들 및 변경들이, 본 발명의 범위로부터 벗어나지 않고 앞서 설명되고 첨부된 청구항들에 그리고 청구항들에 의해 정의된 바와 같이 본 발명의 실시예들에 적용될 수 있다는 것을 쉽게 이해할 것이다.

Claims (17)

  1. 반도체 시편의 검사 시스템으로서,
    상기 시스템은 프로세서 및 메모리 회로(PMC)를 포함하고, 상기 PMC는:
    - 하나 이상의 반도체 시편의 이미지들의 세트를 획득하도록,
    - 복수의 알고리즘 모듈들을 획득하도록 - 각각의 알고리즘 모듈은 반도체 시편의 이미지에 기초하여, 상기 이미지의 하나 이상의 결함을 나타내는 데이터를 제공하도록 구성됨 -,
    - (1) 상기 이미지들의 세트의 이미지에 대해, 상기 복수의 알고리즘 모듈들 중에서 적어도 하나의 알고리즘 모듈(MS)을 선택하도록,
    - (2) 상기 이미지의 하나 이상의 결함을 나타내는 데이터(DMS)를 획득하기 위해 상기 적어도 하나의 알고리즘 모듈(MS)에 상기 이미지를 공급하도록,
    - (3) 상기 알고리즘 모듈(MS)에 의해 제공되는 데이터(DMS)의 정확성에 관한 감독 피드백을 획득하도록,
    - (4) 완료 기준이 충족될 때까지 상기 이미지들의 세트의 다음 이미지에 대해 (1) 내지 (3)을 반복하도록 구성되고, (1)에서 선택된 상기 알고리즘 모듈은 상기 이미지들의 세트의 적어도 2개의 상이한 이미지에 대해 상이하며,
    - 상기 시스템은:
    o 적어도 상기 감독 피드백에 기초하여, 상기 복수의 알고리즘 모듈들 각각에 대해 점수를 생성하도록,
    o 상기 이미지들의 세트의 하나 이상의 결함을 나타내는 데이터를 제공하기 위해 상기 복수의 알고리즘 모듈들 중에서 가장 적응된 것으로서 상기 하나 이상의 알고리즘 모듈(M최상)을 식별하기 위해, 상기 알고리즘 모듈들과 연관된 점수들을 사용하도록 구성되는, 반도체 시편의 검사 시스템.
  2. 제1항에 있어서,
    상기 복수의 알고리즘 모듈들 중에서 상기 적어도 하나의 알고리즘 모듈(MS)을 선택하는 것은 상기 적어도 하나의 알고리즘 모듈(MS)을 선택하도록 훈련된 선택 모듈에 의해 제공되는, 반도체 시편의 검사 시스템.
  3. 제2항에 있어서,
    상기 알고리즘 모듈에 대해 생성된 점수는 상기 알고리즘 모듈에 대해 양의 피드백이 획득된 횟수와 상기 알고리즘 모듈이 (1)에서 선택된 횟수 사이의 비율을 나타내는, 반도체 시편의 검사 시스템.
  4. 제3항에 있어서,
    (3)에서 획득된 상기 감독 피드백은, 상기 선택 모듈에 의한, (1)에서의 상기 적어도 하나의 알고리즘 모듈(MS)의 후속 선택에 영향을 미치는, 반도체 시편의 검사 시스템.
  5. 제1항에 있어서,
    (3)에서, 상기 알고리즘 모듈(MS)이 상기 이미지들의 세트의 하나 이상의 결함을 나타내는 데이터를 제공하도록 적응될 확률을 나타내는, 상기 알고리즘 모듈(MS)에 대한 점수를 생성하도록 구성되고, 상기 점수는 적어도 상기 감독 피드백에 따르는, 반도체 시편의 검사 시스템.
  6. 제1항에 있어서,
    (1)에서, 적어도 점수에 기초하여 상기 알고리즘 모듈(MS)을 선택하도록 구성되고, 상기 점수는 상기 알고리즘 모듈(MS)과 연관되며, 적어도, (3)에서 이전에 획득된 감독 피드백에 기초하여 생성되는, 반도체 시편의 검사 시스템.
  7. 제5항에 있어서,
    - (3)에서 상기 감독 피드백이 DMS를 검증하는 경우, MS와 연관된 상기 점수는 MS와 이전에 연관된 점수에 대해 증가되고;
    - (3)에서 상기 감독 피드백이 DMS를 거절하는 경우, MS와 연관된 상기 점수는 MS와 이전에 연관된 점수에 대해 감소되고;
    - 상기 적어도 하나의 알고리즘 모듈(M최상)은 상기 복수의 알고리즘 모듈들 중에서 가장 높은 점수와 연관되는, 반도체 시편의 검사 시스템.
  8. 제1항에 있어서,
    - 상기 적어도 하나의 알고리즘 모듈(MS)을 선택하도록 훈련된 선택 모듈에 의해 제공되는 제1 확률, 및
    - 적어도 상기 감독 피드백에 기초하여 생성된 제2 확률
    에 기초하여 각각의 알고리즘 모듈에 대해 점수를 생성하도록 구성되는, 반도체 시편의 검사 시스템.
  9. 프로세서 및 메모리 회로(PMC)에 의한, 반도체 시편의 검사 방법으로서,
    상기 방법은:
    - 하나 이상의 반도체 시편의 이미지들의 세트를 획득하는 단계,
    - 복수의 알고리즘 모듈들을 획득하는 단계 - 각각의 알고리즘 모듈은 반도체 시편의 이미지에 기초하여, 상기 이미지의 하나 이상의 결함을 나타내는 데이터를 제공하도록 구성됨 -,
    - (1) 상기 이미지들의 세트의 이미지에 대해, 상기 복수의 알고리즘 모듈들 중에서 적어도 하나의 알고리즘 모듈(MS)을 선택하는 단계,
    - (2) 상기 이미지의 하나 이상의 결함을 나타내는 데이터(DMS)를 획득하기 위해 상기 적어도 하나의 알고리즘 모듈(MS)에 상기 이미지를 공급하는 단계,
    - (3) 상기 알고리즘 모듈(MS)에 의해 제공되는 데이터(DMS)의 정확성에 관한 감독 피드백을 획득하는 단계,
    - (4) 완료 기준이 충족될 때까지 상기 이미지들의 세트의 다음 이미지에 대해 (1) 내지 (3)을 반복하는 단계 - (1)에서 선택된 상기 알고리즘 모듈은 상기 이미지들의 세트의 적어도 2개의 상이한 이미지에 대해 상이함 -,
    - 적어도 상기 감독 피드백에 기초하여, 상기 복수의 알고리즘 모듈들 각각에 대해 점수를 생성하는 단계,
    - 상기 이미지들의 세트의 하나 이상의 결함을 나타내는 데이터를 제공하기 위해 상기 복수의 알고리즘 모듈들 중에서 가장 적응된 것으로서 상기 하나 이상의 알고리즘 모듈(M최상)을 식별하기 위해, 상기 알고리즘 모듈들과 연관된 점수들을 사용하는 단계를 포함하는, 반도체 시편의 검사 방법.
  10. 제9항에 있어서,
    상기 복수의 알고리즘 모듈들 중에서 상기 적어도 하나의 알고리즘 모듈(MS)을 선택하는 것은 상기 적어도 하나의 알고리즘 모듈(MS)을 선택하도록 훈련된 선택 모듈에 의해 제공되는, 반도체 시편의 검사 방법.
  11. 제9항에 있어서,
    상기 알고리즘 모듈에 대해 생성된 점수는 상기 알고리즘 모듈에 대해 양의 피드백이 획득된 횟수와 상기 알고리즘 모듈이 (1)에서 선택된 횟수 사이의 비율을 나타내는, 반도체 시편의 검사 방법.
  12. 제11항에 있어서,
    (3)에서 획득된 상기 감독 피드백은, 상기 선택 모듈에 의한, (1)에서의 상기 적어도 하나의 알고리즘 모듈(MS)의 후속 선택에 영향을 미치는, 반도체 시편의 검사 방법.
  13. 제9항에 있어서,
    (3)에서, 상기 알고리즘 모듈(MS)이 상기 이미지들의 세트의 하나 이상의 결함을 나타내는 데이터를 제공하도록 적응될 확률을 나타내는, 상기 알고리즘 모듈(MS)에 대한 점수를 생성하는 단계를 포함하고, 상기 점수는 적어도 상기 감독 피드백에 따르는, 반도체 시편의 검사 방법.
  14. 제9항에 있어서,
    (1)에서, 적어도 점수에 기초하여 상기 알고리즘 모듈(MS)을 선택하는 단계를 포함하고, 상기 점수는 상기 알고리즘 모듈(MS)과 연관되며, 적어도, (3)에서 이전에 획득된 감독 피드백에 기초하여 생성되는, 반도체 시편의 검사 방법.
  15. 제13항에 있어서,
    - (3)에서 상기 감독 피드백이 DMS를 검증하는 경우, MS와 연관된 상기 점수는 MS와 이전에 연관된 점수에 대해 증가되고;
    - (3)에서 상기 감독 피드백이 DMS를 거절하는 경우, MS와 연관된 상기 점수는 MS와 이전에 연관된 점수에 대해 감소되고;
    - 상기 적어도 하나의 알고리즘 모듈(M최상)은 상기 복수의 알고리즘 모듈들 중에서 가장 높은 점수와 연관되는, 반도체 시편의 검사 방법.
  16. 제13항에 있어서,
    - 상기 적어도 하나의 알고리즘 모듈(MS)을 선택하도록 훈련된 선택 모듈에 의해 제공되는 제1 확률, 및
    - 적어도 상기 감독 피드백에 기초하여 생성된 제2 확률
    에 기초하여 각각의 알고리즘 모듈에 대해 점수를 생성하는 단계를 포함하는, 반도체 시편의 검사 방법.
  17. 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령어들은, 프로세서 및 메모리 회로(PMC)에 의해 실행될 때, 상기 PMC로 하여금:
    - 하나 이상의 반도체 시편의 이미지들의 세트를 획득하는 작동,
    복수의 알고리즘 모듈들을 획득할 때, 각각의 알고리즘 모듈은 반도체 시편의 이미지에 기초하여, 상기 이미지의 하나 이상의 결함을 나타내는 데이터를 제공하도록 구성됨,
    - (1) 상기 이미지들의 세트의 이미지에 대해, 상기 복수의 알고리즘 모듈들 중에서 적어도 하나의 알고리즘 모듈(MS)을 선택하는 작동,
    - (2) 상기 이미지의 하나 이상의 결함을 나타내는 데이터(DMS)를 획득하기 위해 상기 적어도 하나의 알고리즘 모듈(MS)에 상기 이미지를 공급하는 작동,
    - (3) 상기 알고리즘 모듈(MS)에 의해 제공되는 데이터(DMS)의 정확성에 관한 감독 피드백을 획득하는 작동,
    - (4) 완료 기준이 충족될 때까지 상기 이미지들의 세트의 다음 이미지에 대해 (1) 내지 (3)을 반복하는 작동 - (1)에서 선택된 상기 알고리즘 모듈은 상기 이미지들의 세트의 적어도 2개의 상이한 이미지에 대해 상이함 -,
    - 적어도 상기 감독 피드백에 기초하여, 상기 복수의 알고리즘 모듈들 각각에 대해 점수를 생성하는 작동,
    - 상기 이미지들의 세트의 하나 이상의 결함을 나타내는 데이터를 제공하기 위해 상기 복수의 알고리즘 모듈들 중에서 가장 적응된 것으로서 상기 하나 이상의 알고리즘 모듈(M최상)을 식별하기 위해, 상기 알고리즘 모듈들과 연관된 점수들을 사용하는 작동을 포함하는 작동들을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
KR1020210033846A 2020-05-04 2021-03-16 시편의 검사를 위한 알고리즘 모듈들의 자동 선택 KR102360769B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/866,463 US11151710B1 (en) 2020-05-04 2020-05-04 Automatic selection of algorithmic modules for examination of a specimen
US16/866,463 2020-05-04

Publications (2)

Publication Number Publication Date
KR20210135416A true KR20210135416A (ko) 2021-11-15
KR102360769B1 KR102360769B1 (ko) 2022-02-14

Family

ID=78083021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210033846A KR102360769B1 (ko) 2020-05-04 2021-03-16 시편의 검사를 위한 알고리즘 모듈들의 자동 선택

Country Status (5)

Country Link
US (1) US11151710B1 (ko)
JP (1) JP7150918B2 (ko)
KR (1) KR102360769B1 (ko)
CN (2) CN115205279A (ko)
TW (1) TWI763451B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11379972B2 (en) * 2020-06-03 2022-07-05 Applied Materials Israel Ltd. Detecting defects in semiconductor specimens using weak labeling
US20220398410A1 (en) * 2021-06-10 2022-12-15 United Microelectronics Corp. Manufacturing data analyzing method and manufacturing data analyzing device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102690A (ja) * 2008-09-24 2010-05-06 Canon Inc 情報処理装置及び方法
US20120275671A1 (en) * 2010-06-04 2012-11-01 Aperio Technologies, Inc. System and Method to Determine Slide Quality of a Digitized Microscope Slide
KR20130058666A (ko) * 2010-04-28 2013-06-04 하마마츠 포토닉스 가부시키가이샤 반도체 고장 해석 장치 및 고장 해석 방법
JP5619776B2 (ja) * 2009-02-06 2014-11-05 ケーエルエー−テンカー コーポレイション ウエハの検査のための１つまたは複数のパラメータの選択方法
KR101488802B1 (ko) * 2010-06-04 2015-02-04 에이에스엠엘 네델란즈 비.브이. 기판 상의 구조물의 측정

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8270701B2 (en) * 2010-01-08 2012-09-18 3M Innovative Properties Company Optical web-based defect detection using intrasensor uniformity correction
WO2013016438A2 (en) * 2011-07-26 2013-01-31 General Electric Company Wastewater treatment plant online monitoring and control
US9761014B2 (en) * 2012-11-15 2017-09-12 Siemens Healthcare Gmbh System and method for registering pre-operative and intra-operative images using biomechanical model simulations
EP2806374B1 (en) * 2013-05-24 2022-07-06 Tata Consultancy Services Limited Method and system for automatic selection of one or more image processing algorithm
JP2016173615A (ja) * 2013-06-24 2016-09-29 株式会社日立ハイテクノロジーズ 計測装置
JP6177649B2 (ja) * 2013-10-07 2017-08-09 株式会社日立ハイテクノロジーズ データ処理装置、測長システム、欠陥検査システム、画像トラッキングシステム、及びデータ処理方法
US20160358099A1 (en) * 2015-06-04 2016-12-08 The Boeing Company Advanced analytical infrastructure for machine learning
CN106127120B (zh) * 2016-06-16 2018-03-13 北京市商汤科技开发有限公司 姿势估计方法和装置、计算机系统
US10115040B2 (en) * 2016-09-14 2018-10-30 Kla-Tencor Corporation Convolutional neural network-based mode selection and defect classification for image fusion
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
GB201705189D0 (en) * 2017-03-31 2017-05-17 Microsoft Technology Licensing Llc Sensor data processor with update ability
JP6992475B2 (ja) * 2017-12-14 2022-01-13 オムロン株式会社 情報処理装置、識別システム、設定方法及びプログラム
WO2019155467A1 (en) * 2018-02-07 2019-08-15 Applied Materials Israel Ltd. Method of generating a training set usable for examination of a semiconductor specimen and system thereof
US11199506B2 (en) * 2018-02-21 2021-12-14 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
JP7071904B2 (ja) * 2018-10-15 2022-05-19 株式会社東芝 情報処理装置、情報処理方法及びプログラム
US10957031B1 (en) * 2019-09-06 2021-03-23 Accenture Global Solutions Limited Intelligent defect detection from image data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102690A (ja) * 2008-09-24 2010-05-06 Canon Inc 情報処理装置及び方法
JP5619776B2 (ja) * 2009-02-06 2014-11-05 ケーエルエー−テンカー コーポレイション ウエハの検査のための１つまたは複数のパラメータの選択方法
KR20130058666A (ko) * 2010-04-28 2013-06-04 하마마츠 포토닉스 가부시키가이샤 반도체 고장 해석 장치 및 고장 해석 방법
US20120275671A1 (en) * 2010-06-04 2012-11-01 Aperio Technologies, Inc. System and Method to Determine Slide Quality of a Digitized Microscope Slide
KR101488802B1 (ko) * 2010-06-04 2015-02-04 에이에스엠엘 네델란즈 비.브이. 기판 상의 구조물의 측정

Also Published As

Publication number Publication date
JP7150918B2 (ja) 2022-10-11
KR102360769B1 (ko) 2022-02-14
US20210343000A1 (en) 2021-11-04
CN113610747B (zh) 2022-08-19
JP2021177541A (ja) 2021-11-11
CN115205279A (zh) 2022-10-18
TWI763451B (zh) 2022-05-01
TW202147249A (zh) 2021-12-16
CN113610747A (zh) 2021-11-05
US11151710B1 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
CN110945528B (zh) 产生可用于检查半导体样品的训练集的方法及其系统
US11199506B2 (en) Generating a training set usable for examination of a semiconductor specimen
US10679333B2 (en) Defect detection, classification, and process window control using scanning electron microscope metrology
CN109598698B (zh) 用于对多个项进行分类的系统、方法和非暂时性计算机可读取介质
KR20200116926A (ko) 반도체 시편의 심층 학습 기반 검사 방법 및 그의 시스템
KR20210087874A (ko) 시편의 기계 학습 기반 결함 검출
US11686689B2 (en) Automatic optimization of an examination recipe
KR20210150970A (ko) 약한 라벨링을 사용한 반도체 시편들에서의 결함들의 검출
KR102360769B1 (ko) 시편의 검사를 위한 알고리즘 모듈들의 자동 선택
KR20220012217A (ko) 반도체 시편에서의 결함들의 기계 학습 기반 분류
CN114092387B (zh) 生成可用于检查半导体样本的训练数据
KR20220162121A (ko) 반도체 시편의 검사
KR20220030897A (ko) 시편의 모의 이미지의 결정
CN116935092A (zh) 自动化缺陷分类和检测
KR20220143644A (ko) 시편의 검사를 위한 결함 위치의 결정
US11854184B2 (en) Determination of defects and/or edge roughness in a specimen based on a reference image
US12007335B2 (en) Automatic optimization of an examination recipe
JP2023544502A (ja) 可解釈な深層学習ベース欠陥検出及び分類

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right