KR20190037123A - 반도체 표본에서의 결함들을 분류하는 방법 및 그 시스템 - Google Patents

반도체 표본에서의 결함들을 분류하는 방법 및 그 시스템 Download PDF

Info

Publication number
KR20190037123A
KR20190037123A KR1020180112565A KR20180112565A KR20190037123A KR 20190037123 A KR20190037123 A KR 20190037123A KR 1020180112565 A KR1020180112565 A KR 1020180112565A KR 20180112565 A KR20180112565 A KR 20180112565A KR 20190037123 A KR20190037123 A KR 20190037123A
Authority
KR
South Korea
Prior art keywords
defects
classes
class
classification
rejection
Prior art date
Application number
KR1020180112565A
Other languages
English (en)
Other versions
KR102548769B1 (ko
Inventor
아사프 아스백
오하드 사우비
키릴 사브첸코
시란 간-오
보아즈 코헨
지브 조하르
Original Assignee
어플라이드 머티리얼즈 이스라엘 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어플라이드 머티리얼즈 이스라엘 리미티드 filed Critical 어플라이드 머티리얼즈 이스라엘 리미티드
Publication of KR20190037123A publication Critical patent/KR20190037123A/ko
Application granted granted Critical
Publication of KR102548769B1 publication Critical patent/KR102548769B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67271—Sorting devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67288—Monitoring of warpage, curvature, damage, defects or the like
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Sampling And Sample Adjustment (AREA)

Abstract

반도체 표본에서의 결함들을 분류하는 분류기 및 방법이 제공된다. 분류기는, 상이한 우선순위들을 갖는 3개 이상의 분류 그룹들 중의 분류 그룹으로의 각각의 클래스의 배정을 인에이블링한다. 분류기는 추가로, 각각의 클래스에 대해 순수성, 정확도, 및/또는 추출 요건들을 개별적으로 셋팅하는 것, 및 클래스별 요건들에 따라 분류 결과들을 최적화하는 것을 인에이블링한다. 트레이닝 동안, 분류기는, 각각의 클래스에 대해 정의된 클래스별 품질 요건들을 충족시키면서 자동 분류의 가능한 가장 높은 기여도를 인에이블링하는 분류 규칙을 생성하도록 구성된다.

Description

반도체 표본에서의 결함들을 분류하는 방법 및 그 시스템{METHOD OF CLASSIFYING DEFECTS IN A SEMICONDUCTOR SPECIMEN AND SYSTEM THEREOF}
[001] 본원에서 개시되는 요지는 일반적으로, 표본(specimen)의 검사의 분야에 관한 것으로, 더 구체적으로는, 자동 결함 분류가 가능한 방법들 및 시스템들에 관한 것이다.
[002] 제조되는 디바이스들의 극대 규모 집적회로(ultra large scale integration)와 연관된 높은 밀도 및 성능에 대한 현재의 요구들은, 서브미크론(submicron) 피쳐(feature)들, 증가된 트랜지스터 및 회로 속도들, 및 개선된 신뢰성을 요구한다. 그러한 요구들은, 높은 정밀도 및 균일성을 갖는 디바이스 피쳐들의 형성을 요구하고, 이는 결국, 디바이스들이 여전히 반도체 표본들의 형태로 있는 동안, 디바이스들의 빈번하고 상세한 검사들을 포함하는, 제조 프로세스의 신중한 모니터링을 필요로 한다.
[003] 본 명세서에서 사용되는 "표본"이라는 용어는, 반도체 집적 회로들, 자기 헤드들, 평판 디스플레이들, 및 다른 반도체-제조 물품들을 제조하는 데 사용되는 임의의 종류의 웨이퍼, 마스크들, 및 다른 구조들, 이들의 결합들 및/또는 부분들을 커버하도록 광범위하게 해석되어야 한다.
[004] 본 명세서에서 사용되는 "결함"이라는 용어는, 표본 상에 또는 표본 내에 형성된 임의의 종류의 비정상 또는 바람직하지 않은 피쳐를 커버하도록 광범위하게 해석되어야 한다.
[005] 표본들의 복잡한 제조 프로세스에는 에러들이 없지 않으며, 그러한 에러들은, 제조된 디바이스들에서 결점들을 야기할 수 있다. 결점들은, 디바이스의 동작에 해를 끼칠 수 있는 결함들, 및 결함들일 수 있지만 제조되는 디바이스에 어떠한 해도 끼치지 않거나 어떠한 오작동도 야기하지 않는 방해인자(nuisance)들을 포함할 수 있다. 비-제한적인 예들로서, 결함들은, 원재료에서의 결점들, 기계적, 전기적, 또는 광학적 에러들, 인적 에러들, 또는 그 외의 것들에 기인하여 제조 프로세스 동안 야기될 수 있다. 추가로, 결함들은, 시공간적 인자들, 이를테면, 웨이퍼의 약간의 변형들을 야기할 수 있는, 검사 프로세스 동안의 하나 이상의 제조 스테이지들 이후에 발생하는 웨이퍼의 온도 변화들에 의해 야기될 수 있다. 검사 프로세스는 또한, 예컨대, 검사 장비 또는 프로세스에서의 광학적, 기계적, 또는 전기적 문제들로 인해 추가적인 추정적(alleged) 에러들을 도입시킬 수 있으며, 이러한 에러들은 그에 따라, 불완전한 캡쳐(capture)들을 제공한다. 그러한 에러들은, 영역에 어떠한 실제 결함도 존재하지 않지만 결함을 포함하는 것으로 보일 수 있는 거짓 긍정 발견(false positive finding)들을 초래할 수 있다.
[006] 많은 애플리케이션들에서, 결함의 타입 또는 클래스(class)가 중요하다. 예컨대, 결함은, 입자, 스크래치, 프로세스 등과 같은 다수의 클래스들 중 하나로 분류될 수 있다.
[007] 달리 구체적으로 언급되지 않으면, 본 명세서에서 사용되는 "검사"라는 용어는, 대상(object)에서의 임의의 종류의 결함들의 검출 및/또는 분류를 커버하도록 광범위하게 해석되어야 한다. 검사는, 검사될 대상의 제조 동안에 또는 그 후에 비-파괴(non-destructive) 검사 툴들을 사용함으로써 제공된다. 비-제한적인 예로서, 검사 프로세스는, 하나 이상의 검사 툴들을 사용하여 대상 또는 대상의 부분들에 관하여 제공되는, (단일 또는 다수의 스캔들의) 스캐닝, 샘플링, 검토, 측정, 분류, 및/또는 다른 동작들을 포함할 수 있다. 마찬가지로, 검사는, 검사될 대상의 제조 전에 제공될 수 있고, 그리고 예컨대, 검사 레시피(들)를 생성하는 것을 포함할 수 있다. 달리 구체적으로 언급되지 않으면, 본 명세서에서 사용되는 "검사"라는 용어 또는 그 용어의 파생어들은, 조사되는 영역(들)의 사이즈, 스캐닝의 속도 또는 해상도(resolution), 또는 검사 툴들의 타입에 대하여 제한되지 않는다는 것이 유의된다. 다양한 비-파괴 검사 툴들은, 비-제한적인 예로서, 광학 툴들, 주사 전자 현미경(scanning electron microscope)들, 원자력 현미경들 등을 포함한다.
[008] 검사 프로세스는 복수의 검사 단계들을 포함할 수 있다. 제조 프로세스 동안, 검사 단계들은, 예컨대, 특정 층들의 제조 또는 프로세싱 이후 등의 시점에, 다수회 수행될 수 있다. 부가적으로 또는 대안적으로, 각각의 검사 단계는, 예컨대, 상이한 검사 셋팅들로 동일한 표본 위치들에 대해 또는 상이한 표본 위치들에 대해 다수회 반복될 수 있다.
[009] 비-제한적인 예로서, 런-타임(run-time) 검사는, 예컨대, 표본의 조사 이후에, 샘플링된 결함들의 검토가 후속되는, 2-단계 절차를 이용할 수 있다. 조사 단계 동안, 통상적으로, 표본 또는 표본의 부분(예컨대, 관심 영역들, 핫 스폿들 등)의 표면이 비교적 고속 및/또는 저해상도로 스캐닝된다. 캡쳐된 조사 이미지는, 결함들을 검출하고 결함들의 위치들 및 다른 조사 속성들을 획득하기 위해 분석된다. 검토 단계에서, 조사 페이즈 동안 검출된 결함들 중 적어도 일부의 이미지들이, 통상적으로, 비교적 저속 및/또는 고해상도로 캡쳐되어, 결함들 중 적어도 일부의 분류 및 선택적으로는 다른 분석들이 가능하게 된다. 일부 경우들에서, 페이즈들 둘 모두가 동일한 조사 툴에 의해 구현될 수 있고, 일부 다른 경우들에서는, 이러한 2개의 페이즈들이 상이한 조사 툴들에 의해 구현된다.
[0010] 본원에서 개시되는 요지의 특정 양상에 따르면, 표본에서의 결함들을 복수의 클래스들로 분류할 수 있는 시스템이 제공되며, 시스템은, 프로세싱 및 메모리 회로(PMC; processing and memory circuitry)를 포함하며, PMC는, 복수의 클래스들의 각각의 클래스에 대해 개별적으로 정의된 품질 요건들을 표시하는 데이터를 획득하고, 그리고 상이한 우선순위들을 갖는 3개 이상의 분류 그룹들 중의 분류 그룹으로의 복수의 클래스들의 각각의 클래스의 배정을 표시하는 데이터를 획득하도록 구성된다. 추가로, 시스템은, 트레이닝(training) 동안, 복수의 사전-분류된 트레이닝 결함들 및 그 사전-분류된 트레이닝 결함들의 속성 값들을 포함하는 트레이닝 데이터를 획득하고; 초기 분류된 트레이닝 결함들을 산출하기 위해, 복수의 클래스들 중의 클래스들로의 복수의 트레이닝 결함들의 초기 자동 분류를 제공하고; 복수의 클래스들의 각각의 클래스에 대해 정의된 클래스별 품질 요건들을 충족시키면서, 자동 분류의 가능한 가장 높은 기여도(contribution)에 대응하는 최적 작업 포인트(working point)를 획득하기 위해, 초기 분류된 트레이닝 결함들을 프로세싱하고; 그리고 최적 작업 포인트에 대응하는 신뢰(confidence) 임계치들을 갖는 분류 규칙을 생성하도록 구성되며, 여기서, 신뢰 임계치들은 우선순위화된 리젝션 빈(prioritized rejection bin)들에 대응하고, 적어도 "결정불가(CND; cannot decide)" 리젝션 빈들은 3개 이상의 분류 그룹에 대응한다. 시스템은 추가로, 표본에서의 결함들을 분류할 때, 생성된 분류 규칙을 적용하도록 구성된다.
[0011] 비-제한적인 예로서, 각각의 클래스는, 다음의 분류 그룹들: 가장 높은 우선순위를 갖는 분류 그룹인 "핵심 관심 결함들(KDOI; Key Defects of Interest)", "관심 결함들(DOI; Defects of Interest)", 및 가장 낮은 우선순위를 갖는 분류 그룹인 "거짓" 중 하나에 배정될 수 있다. 따라서, 우선순위화된 리젝션 빈들은, "KDOI" CND 리젝션 빈, "DOI" CND 리젝션 빈, "거짓" CND 리젝션 빈, 및 "미지(UNK; unknown)" 리젝션 빈으로 이루어질 수 있으며, 여기서, CND 리젝션 빈들의 우선순위들은 개개의 분류 그룹들의 우선순위들에 대응한다.
[0012] 비-제한적인 다른 예로서, 각각의 다수(majority) 클래스는, 다음의 분류 그룹들: "KDOI", "DOI", 및 "거짓" 중 하나에 배정될 수 있지만, 소수(minority) 클래스들은 "신규사항(Novelty)" 분류 그룹에 배정될 수 있으며, 그룹들의 우선순위는, 다음의 순서: "KDOI" ＞ "신규사항" ＞ "DOI" ＞ "거짓"으로 구성될 수 있다. 따라서, 우선순위화된 리젝션 빈들은, "KDOI" CND 리젝션 빈, "DOI" CND 리젝션 빈, "거짓" CND 리젝션 빈, 및 "신규사항" UNK 리젝션 빈으로 이루어질 수 있으며, 여기서, 모든 리젝션 빈들의 우선순위들은 개개의 분류 그룹들의 우선순위들에 대응한다.
[0013] 본원에서 개시되는 요지의 다른 양상에 따르면, 표본에서의 결함들을 복수의 클래스들로 자동 분류하는 방법이 제공된다. 방법은: 프로세싱 및 메모리 회로(PMC)에 의해, 복수의 클래스들의 각각의 클래스에 대해 개별적으로 정의된 품질 요건들을 표시하는 데이터를 획득하는 단계; 및 PMC에 의해, 상이한 우선순위들을 갖는 3개 이상의 분류 그룹들 중의 분류 그룹으로의 복수의 클래스들의 각각의 클래스의 배정을 표시하는 데이터를 획득하는 단계를 포함한다. 방법은, 트레이닝 동안: PMC에 의해, 복수의 사전-분류된 트레이닝 결함들 및 그 사전-분류된 트레이닝 결함들의 속성 값들을 포함하는 트레이닝 데이터를 획득하는 단계; PMC에 의해, 초기 분류된 트레이닝 결함들을 산출하기 위해, 복수의 클래스들 중의 클래스들로의 복수의 트레이닝 결함들의 초기 자동 분류를 제공하는 단계; PMC에 의해, 복수의 클래스들의 각각의 클래스에 대해 정의된 클래스별 품질 요건들을 충족시키면서, 자동 분류의 가능한 가장 높은 기여도에 대응하는 최적 작업 포인트를 획득하기 위해, 초기 분류된 트레이닝 결함들을 프로세싱하는 단계; 및 PMC에 의해, 최적 작업 포인트에 대응하는 신뢰 임계치들을 갖는 분류 규칙을 생성하는 단계를 더 포함하며, 여기서, 신뢰 임계치들은 우선순위화된 리젝션 빈들에 대응하고, 적어도 "결정불가(CND)" 리젝션 빈들은 3개 이상의 분류 그룹에 대응한다. 방법은, PMC에 의해, 표본에서의 결함들을 분류할 때, 생성된 분류 규칙을 적용하는 단계를 더 포함한다.
[0014] 추가적인 양상들에 따르면, 그리고 선택적으로, 본원에서 개시되는 요지의 다른 양상들과 결합하여, 최적 작업 포인트를 획득하기 위해, 초기 분류된 트레이닝 결함들을 프로세싱하는 것은: PMC에 의해, 각각의 다수 클래스에 대해, 유효 클래스 작업 포인트들을 획득하는 것 ― 각각의 유효 클래스 작업 포인트는, 개개의 클래스에 대해 정의되고 그리고 우선순위화된 리젝션 빈들에 대응하는 신뢰 임계치들에 의해 특성화되는 품질 요건들을 충족시킴 ―; 및 PMC에 의해, 최적 작업 포인트를 획득하기 위해, 유효 클래스 작업 포인트들을 프로세싱하는 것을 포함할 수 있다. 유효 클래스 작업 포인트들을 획득하는 것은, 우선순위화된 리젝션 빈들에 걸쳐 트레이닝 결함들 중 적어도 일부를 분배하는 것을 포함할 수 있으며, 여기서, 특정 결함에 대한 리젝션 빈을 선택하는 것은, 개개의 분류 그룹들의 상대적인 우선순위들 및 리젝션 빈들의 우선순위들에 의존하는 미리정의된 규칙들에 따라 제공된다.
[0015] 추가적인 양상들에 따르면, 그리고 선택적으로, 본원에서 개시되는 요지의 다른 양상들과 결합하여, 동일한 분류 그룹에 배정된 여러 클래스들이 함께 결속(bind)될 수 있고, 결속된 클래스들에 대해 단일 클래스에 대해서와 같이 품질 요건들이 정의될 수 있다.
[0016] 추가적인 양상들에 따르면, 그리고 선택적으로, 본원에서 개시되는 요지의 다른 양상들과 결합하여, 주어진 클래스에 대해 정의된 품질 요건들은, 주어진 클래스의 바르게 분류된 결함들, 및 주어진 클래스에 속하고 그리고 주어진 클래스의 추출(extraction)에 대해 카운팅(counting)하는 것으로서 선택된 하나 이상의 우선순위화된 리젝션 빈들로 리젝팅(reject)된 결함들 둘 모두를 카운팅하는 추출 요건을 포함할 수 있다. 선택적으로, 주어진 클래스의 분류 그룹의 우선순위보다 낮지 않은 우선순위들을 갖는 모든 리젝션 빈들은 주어진 클래스의 추출에 대해 카운팅하는 것으로서 선택될 수 있다.
[0017] 추가적인 양상들에 따르면, 그리고 선택적으로, 본원에서 개시되는 요지의 다른 양상들과 결합하여, 자동 분류의 기여도는, 분류 목적들에 의존하여 상이하게 계산될 수 있고 그리고 사용자에 의해 구성가능할 수 있다.
본원에서 개시되는 요지의 특정 실시예들의 이점들 중에서 하나는, 클래스들 각각에 대해 또는 결속된 클래스들에 대해 개별적으로 정의된 품질 요건들을 충족시키는 자동 분류를 제공하는 능력이다.
[0018] 본 발명을 이해하고, 본 발명이 실제로 어떻게 수행될 수 있는지를 알기 위해, 이제, 첨부된 도면들을 참조하여, 단지 비-제한적인 예로서 실시예들이 설명될 것이다.
[0019] 도 1은 본원에서 개시되는 요지의 특정 실시예들에 따른 검사 시스템의 일반화된 블록도를 예시한다.
[0020] 도 2는 본원에서 개시되는 요지의 특정 실시예들에 따른, 결함들을 분류하는 일반화된 흐름도를 예시한다.
[0021] 도 3은 본원에서 개시되는 요지의 특정 실시예들에 따른, 분류기(classifier)를 트레이닝하는 일반화된 흐름도를 예시한다.
[0022] 도 4는 본원에서 개시되는 요지의 특정 실시예들에 따라 구성되는 예시화된 혼동(confusion) 매트릭스들을 개략적으로 예시한다.
도 5a 내지 도 5d는 본원에서 개시되는 요지의 특정 실시예들에 따른 리젝션 프로세스의 비-제한적인 예들을 개략적으로 예시한다.
[0023] 도 6은 본원에서 개시되는 요지의 특정 실시예들에 따라 획득되는 예시화된 혼동 매트릭스들을 개략적으로 예시한다.
[0024] 도 7은, 클래스별 품질 요건들을 충족시키면서 가능한 가장 높은 ADC 기여도를 인에이블링(enable)하는 최적 작업 포인트를 획득하기 위해 작업 포인트들을 프로세싱하는 일반화된 흐름도를 예시한다.
[0025] 다음의 상세한 설명에서는, 본 발명의 완전한 이해를 제공하기 위해, 많은 특정 세부사항들이 기재된다. 그러나, 본원에서 개시되는 요지는 그 특정한 세부사항들 없이 실시될 수 있다는 것이 당업자들에 의해 이해될 것이다. 다른 예시들에서, 잘-알려진 방법들, 절차들, 컴포넌트들, 및 회로들은, 본원에서 개시되는 요지를 불명료하게 하지 않기 위해 상세히 설명되지 않는다.
[0026] 달리 구체적으로 언급되지 않으면, 다음의 논의들로부터 명백한 같이, 본 명세서 전반에 걸쳐, "프로세싱", "컴퓨팅", "표현", "계산", "생성", "배정", "선택" 등과 같은 용어들을 활용하는 논의들은, 데이터를 다른 데이터로 조작하고 그리고/또는 변환하는 컴퓨터의 작동(들) 및/또는 프로세스(들)를 지칭하며, 상기 데이터는 물리적인, 이를테면 전자적인 양들로서 표현되고, 그리고/또는 상기 데이터는 물리적인 대상들을 표현한다는 것이 인식된다. "컴퓨터"라는 용어는, 비-제한적인 예로서, 본 출원에서 개시되는 분류기 및 그 내부의 PMC를 포함하는, 데이터 프로세싱 능력들을 갖는 임의의 종류의 하드웨어-기반 전자 디바이스를 커버하도록 광범위하게 해석되어야 한다.
[0027] 본원에서 사용되는 "비-일시적 메모리" 및 "비-일시적 저장 매체"라는 용어들은, 본원에서 개시되는 요지에 대해 적절한 임의의 휘발성 또는 비-휘발성 컴퓨터 메모리를 커버하도록 광범위하게 해석되어야 한다.
[0028] 본 명세서에서 사용되는 "표본에서의 결함"이라는 용어는, 표본 상에 또는 표면 내에 형성되는 임의의 종류의 비정상 또는 바람직하지 않은 피쳐를 커버하도록 광범위하게 해석되어야 한다.
[0029] 본 명세서에서 사용되는 "설계 데이터"라는 용어는, 표본의 계층적인 물리적 설계(레이아웃)를 표시하는 임의의 데이터를 커버하도록 광범위하게 해석되어야 한다. 설계 데이터는, 개개의 설계자에 의해 제공될 수 있고 그리고/또는 (예컨대, 복잡한 시뮬레이션, 단순한 기하학, 및 불(Boolean) 동작들 등을 통해) 물리적 설계로부터 도출될 수 있다. 설계 데이터는, 비-제한적인 예들로서, GDSII 포맷, OASIS 포맷 등과 같은 상이한 포맷들로 제공될 수 있다. 설계 데이터는, 벡터 포맷, 그레이스케일 강도 이미지 포맷(grayscale intensity image format), 또는 다른 포맷으로 제시될 수 있다.
[0030] 달리 구체적으로 언급되지 않으면, 별개의 실시예들의 맥락에서 설명되는 본원에서 개시되는 요지의 특정 피쳐들이 또한, 단일 실시예와 결합되어 제공될 수 있다는 것이 인식된다. 역으로, 단일 실시예의 맥락에서 설명되는 본원에서 개시되는 요지의 다양한 피쳐들이 또한, 개별적으로, 또는 임의의 적절한 하위-조합으로 제공될 수 있다. 다음의 상세한 설명에서는, 본 방법들 및 장치의 완전한 이해를 제공하기 위해, 많은 특정 세부사항들이 기재된다.
[0031] 이를 유념하면서, 본원에서 개시되는 요지의 특정 실시예들에 따른 검사 시스템의 일반화된 블록도를 예시하는 도 1을 주목한다. 도 1에 예시된 검사 시스템(100)은, 표본 제조의 부분으로서 (예컨대, 웨이퍼 및/또는 웨이퍼의 부분들의) 표본의 검사를 위해 사용될 수 있다. 검사는 대상 제조의 일부일 수 있고, 대상의 제조 동안 또는 그 뒤에 수행될 수 있다. 검사 시스템은, 다양한 검사 툴들, 예컨대, 조사 이미지들을 (통상적으로, 비교적 고속 및/또는 저해상도로) 캡쳐하도록 구성되는 하나 이상의 조사 툴들(101), 및 조사 툴들(101)에 의해 검출되는 결함들 중 적어도 일부의 검토 이미지들을 (통상적으로, 상대적으로 더 낮은 속도 및/또는 더 높은 해상도로) 캡쳐하도록 구성되는 하나 이상의 검토 툴들(102)을 포함할 수 있다. 예시된 검사 시스템(100)은, 하나 이상의 서브-규칙들을 포함하는 분류 규칙 세트(이후 분류 규칙으로 지칭됨)에 따라 복수의 클래스들로 결함들을 자동으로 분류할 수 있는 컴퓨터-기반 자동 결함 분류 툴(이후 분류기로 또한 지칭됨)(103)을 더 포함한다. 비-제한적인 예로서, 분류는 상이한 목적들을 가질 수 있고, 분류 결과들은, 통계적 프로세스 제어(SPC; statistical process control)에서의 편위(excursion)들을 식별하기 위해 파레토(Pareto)를 설정하고, 실제 결함들로부터 거짓 결함들을 필터링하고, 특정 관심 결함들(DoI)을 식별하고, 그리고/또는 분류 목적들에 따라 다른 것을 수행하기 위해 사용될 수 있다.
[0032] 분류기(103)는, 하나 이상의 조사 툴들(101) 및/또는 하나 이상의 검토 툴들(102)에 동작가능하게 연결될 수 있다. 선택적으로, 분류기(103)는, 하나 이상의 검토 툴들(102)과 완전히 또는 부분적으로 통합될 수 있다. 분류기(103)는 추가로, 설계 서버(110) 및 데이터 저장소(109)에 동작가능하게 연결될 수 있다.
[0033] 표본은, 조사 툴(101)(예컨대, 광학 조사 시스템, 저해상도 SEM 등)에 의해 검사될 수 있다. 결과적인 이미지들 및/또는 파생물들은, 검토를 위한 잠재적 결함들을 선택하기 위해 (선택적으로는, 예컨대 설계 데이터 및/또는 결함 분류 데이터와 같은 다른 데이터와 함께) 프로세싱될 수 있다.
[0034] 검토를 위해 선택된 잠재적 결함 위치들의 서브세트는, 검토 툴(102)(예컨대, 주사 전자 현미경(SEM) 또는 원자력 현미경(AFM) 등)에 의해 검토될 수 있다. 검토 이미지들 및/또는 검토 이미지들의 파생물들에 대한 정보를 주는 데이터(이후 검토 데이터(122)로 지칭됨) 및 각각 연관된 메타데이터가 분류기(103)에 - 직접 또는 하나 이상의 중간 시스템들을 통해 - 송신될 수 있다. 검토 데이터는, 검토 이미지들의 파생물들로서 하나 이상의 중간 시스템들에 의해 생성되는 데이터를 포함할 수 있다는 것이 유의된다.
[0035] 분류기(103)는, 하드웨어-기반 입력 인터페이스(105)에 그리고 하드웨어-기반 출력 인터페이스(106)에 동작가능하게 연결되는 프로세서 및 메모리 회로(PMC)(104)를 포함한다. PMC(104)는, 도 2 내지 도 7을 참조하여 추가로 상세히 설명되는 바와 같이 분류기를 동작시키기 위해 필요한 프로세싱을 제공하도록 구성되며, 메모리(PMC 내에 별도로 도시되지 않음)에 동작가능하게 연결되는 프로세서를 포함한다. 분류기(103) 및 PMC(104)의 동작은 도 2 내지 도 7을 참조하여 추가로 상세히 설명될 것이다.
[0036] 당업자들은, 본원에서 개시되는 요지의 교시들이 도 1에 예시된 시스템에 의해 제한되지 않고; 동등한 및/또는 수정된 기능성이 다른 방식으로 병합될 수 있거나 또는 분할될 수 있고, 하드웨어 및/또는 펌웨어와 소프트웨어의 임의의 적절한 결합으로 구현될 수 있다는 것을 용이하게 인식할 것이다.
[0037] 도 1에 예시된 검사 시스템이 분산형 컴퓨팅 환경에서 구현될 수 있으며, 그러한 분산형 컴퓨팅 환경에서, 도 1에 도시된 전술된 기능 모듈들은 수 개의 로컬 및/또는 원격 디바이스들에 걸쳐 분산될 수 있고 그리고 통신 네트워크를 통해 링크될 수 있다는 것이 유의된다. 추가로, 다른 실시예들에서, 검사 툴들(101 및/또는 102), 데이터 저장소들(109), 저장 시스템(107), 및/또는 GUI(108) 중 적어도 일부가 검사 시스템(100) 외부에 있을 수 있고, 입력 인터페이스(105) 및 출력 인터페이스(106)를 통해 분류기(103)와 데이터 통신하도록 동작할 수 있다는 것이 유의된다. 분류기(103)는, 하나 이상의 검사 툴들과 함께 사용될 독립형(stand-alone) 컴퓨터(들)로서 구현될 수 있다. 선택적으로, 분류기는, 데이터 저장소들(109) 및/또는 저장 시스템(107)에 저장된 사전-획득된 검토 데이터에 대해 동작할 수 있다. 대안적으로 또는 부가적으로, 분류기의 개개의 기능들은, 적어도 부분적으로, 하나 이상의 검사 툴들, 프로세스 제어 툴들, 레시피 생성 툴들, 자동 결함 검토 및/또는 분류를 위한 시스템들, 및/또는 검사와 관련된 다른 시스템과 통합될 수 있다.
[0038] 도 2를 참조하면, 본원에서 개시되는 요지의 특정 실시예들에 따른, 자동 결함 분류기를 동작시키는 일반화된 흐름도가 예시된다. PMC(104)는, 비-일시적 컴퓨터-판독가능 저장 매체 상에 구현되는 컴퓨터-판독가능 명령들에 따라 아래에서 상세히 설명되는 개개의 동작들을 실행하도록 구성된다.
[0039] 위에 언급된 바와 같이, 분류기(103)는, 분류 규칙에 따라 결함들을 복수의 클래스들로 자동으로 분류할 수 있다. 분류 규칙은, 분류 엔진(예컨대, SVM(support vector machine), 랜덤 포레스트(random forest) 분류 엔진, 신경 네트워크(neural network)들 등), 및 상이한 클래스들마다 상이할 수 있는 복수의 신뢰 임계치들을 포함한다. 분류기(103)는 추가로, 각각의 주어진 결함에 대해, 결함이 특정 클래스에 속할 확률을 표시하는 신뢰 수준(confidence level)을 정의하고 그리고 신뢰 수준이 개개의 신뢰 임계치들을 충족시키는 경우 주어진 결함을 특정 클래스에 배정하도록 구성된다.
[0040] 단지 예시의 목적을 위해, 다중-클래스 SVM(Support Vector Machine) 분류기에 대한 다음의 설명이 제공된다. 당업자들은, 본원에서 개시되는 요지의 교시들이, 임의의 다른 분류기 및/또는 결함들을 분류하기에 적절한 분류기들을 결합에 마찬가지로 적용가능하다는 것을 용이하게 인식할 것이다.
[0041] 예시로서, 각각의 클래스는 속성 하이퍼스페이스(hyperspace) 내의 볼륨(volume)으로서 제공될 수 있고, 임계 신뢰 수준들은, 클래스 볼륨들의 경계(border)들을 도시하는 데 사용될 수 있다(클래스 볼륨의 결계들은 더 크거나 더 작을 수 있고 그리고 경계들의 형상은 임계 신뢰 수준에 의존하여 상이할 수 있음). 주어진 결함의 속성들에 따라, 분류 규칙은, (신뢰 임계치를 조건으로) 주어진 결함이 속하는 속성 하이퍼스페이스(즉, 클래스) 내의 볼륨을 결정하거나, 또는 주어진 결함이 볼륨들(클래스들) 중 하나에 속하지 않을 경우 주어진 결함을 리젝팅한다. 리젝팅된 결함이 하나 초과의 클래스의 일부일 수 있는 속성 하이퍼스페이스 내의 장소에 속할 경우, 그 결함은 "결정불가(CND)"로 라벨링될 수 있고; 그리고 리젝팅된 결함이 임의의 클래스의 일부가 아닌 속성 하이퍼클래스 내의 장소에 속하는 경우, 결함은 "미지(UNK)"로 라벨링될 수 있다. 비-제한적인 예로서, 결함 속성 값들은, 형상, 텍스쳐(texture), 재료, 콘텍스트(context), 토포그래피(topography), 및/또는 결함들에 관련된 다른 특성들을 표현할 수 있다.
[0042] 동작 이전에, 분류기는, (예컨대, 인간 전문가 및/또는 다른 분류기 및/또는 이전 분류기 버전 등에 의해) 미리정의된 클래스들로 사전-분류된 결함들의 집합 및 그의 속성 값들을 포함하는 트레이닝 데이터(201)의 세트를 사용하여 트레이닝(202)된다. 트레이닝 때, 분류기는, 분류 규칙(203)을 셋팅하기 위해 트레이닝 데이터를 사용한다. 분류 규칙은, 트레이닝 동안 획득되고 그리고 주어진 클래스에 속하는 것으로 식별된 결함들과 그렇지 않은 결함들 사이를 구별하기 위해 사용가능한 복수의 신뢰 임계치들을 포함한다. 따라서, 트레이닝된 분류기(103)는, 신뢰 임계치들을 조건으로, 다차원 속성 공간(이후 속성 하이퍼스페이스로 지칭됨)에서의 각각의 미리결정된 결함 클래스와 연관된 결함 속성 값들의 함수로써 주어진 결함의 클래스를 정의할 수 있다.
[0043] 트레이닝 시, 분류기는, 분류될 결함들에 대한 정보를 주는 결함-관련 데이터를 수신(205)하고, 결함 규칙을 적용하여 그에 따라 결함들을 분류(204)한다. 본원에서 사용되는 "결함-관련 데이터"라는 용어는, 결함 분류에 요구되는 임의의 속성들의 값들을 커버하도록 광범위하게 해석되어야 한다는 것이 유의된다. 결함 속성들의 값들은, 검토 데이터의 일부로서 분류기에 의해 수신될 수 있다. 대안적으로 또는 부가적으로, 결함 속성 값들의 적어도 일부는, 분류기에 의해, 수신된 검토 데이터로부터 (선택적으로는, 예컨대, 설계 데이터와 같은 부가적인 데이터를 사용하여) 도출될 수 있고 그리고/또는 검사 툴들을 포함하는 하나 이상의 다른 소스들로부터 수신될 수 있다.
[0044] 신뢰 임계치(들)를 조건으로, 분류기는, 속성 하이퍼스페이스를 미리정의된 결함 클래스들 간에 파티셔닝(partition)하고, 각각의 결함을, 속성 하이퍼스페이스 내에서의 그 결함의 위치에 의존하여 클래스들 중 하나에 배정함으로써 분류된 결함들(206)을 산출한다. 파티셔닝 시, 결함들 중 일부가 클래스들 사이의 중첩 영역들에 속할 때(즉, 특정 클래스에 속할 확률이 신뢰 임계치에 의해 정의된 것보다 낮음), 분류기는, 그러한 결함들을, 어느 클래스가 선택되어야 하는지를 분류기가 결정할 수 없기 때문에 CND(결정불가) 결함들로서 리젝팅(207)한다. 마찬가지로, 결함들 중 일부가 클래스들의 바깥 경계들 밖에 포지셔닝될 때, 분류기는, 그러한 결함들을 미지(UNK) 결함들로 리젝팅한다. 리젝팅된 결함들 또는 그러한 결함들 중 일부는, 분류를 위해, 인간 조사원 또는 이전 분류기들이 이용가능하지 않은 새로운 정보를 부가하는 임의의 모달리티(modality)로 전달될 수 있다.
[0045] 주어진 결함은 다수 클래스 또는 소수 클래스에 속할 수 있다. 트레이닝 데이터의 세트에 분류 규칙을 적용할 때, 다수 클래스들로 사전-분류된 트레이닝 결함들 대부분은 또한 다수 클래스들로 자동으로 분류될 것이지만, 소수 클래스들로 사전-분류된 트레이닝 결함들 대부분은, 개개의 소수 클래스들에 속하는 것으로서 자동으로 분류되지 않을 것이고 그리고 리젝팅되거나 다수 클래스들로 분류될 것이다.
[0046] 분류 결과들은, 도 3 내지 도 6을 참조하여 추가적으로 더 상세히 설명되는, 하나 이상의 품질 척도들(예컨대, 순수성(purity), 정확도, 추출) 및 성능(예컨대, ADC 기여도) 척도들에 의해 특성화될 수 있다. 더 낮은 신뢰 요건들을 셋팅하는 것은, 분류기가 더 적은 결함들을 리젝팅하는 것을 초래할 수 있지만, 더 많은 분류 에러들, 또는 관심 결함들 중 일부의 손실을 초래할 수 있다. 반면, 신뢰 요건들을 증가시키는 것은, 더 높은 리젝션 레이트 또는 거짓 경보 레이트를 대가로 하지만, 분류 품질을 향상시킬 수 있다.
[0047] 선택적으로, 동작 동안, 분류기는, 성능/품질 파라미터들을 모니터링(208)할 수 있고, 결과들에 의존하여, (예컨대, 바르지 않게 분류된 결함들의 사후-분류 결과들을 사용하여) 그에 따라 분류 규칙을 정교화(refine)하도록 리트레이닝(retrain)될 수 있다.
[0048] 분류기들을 트레이닝하고 동작시키는 비-제한적인 예들은, 미국 특허 출원 제US2016/0189055호, 미국 특허 제US8,315,453호, 미국 특허 제9,607,233호, 및 미국 특허 제9,715,723호에 개시되며, 이들은 본 출원의 양수인에게 양도되었고, 부가적이거나 대안적인 세부사항들, 특징들, 및/또는 기술적 배경의 적절한 교시들을 위해 그 전체가 인용에 의해 본원에 포함된다.
[0049] 도 3 내지 도 6을 참조하여 추가로 상세히 설명될 바와 같이, 본원에서 개시되는 요지의 특정 실시예들에 따르면, 분류기(103)는, 상이한 우선순위들을 갖는 3개 이상의 분류 그룹들 중의 분류 그룹에 각각의 클래스를 배정하는 것을 인에이블링하도록 구성된다. 주어진 분류 그룹에 배정된 하나 이상의 클래스들 전부는 동일한 우선순위를 갖고, 이러한 우선순위는, 주어진 분류 그룹의 우선순위에 대응하고 그리고 다른 분류 그룹에 배정된 하나 이상의 클래스들 전부의 우선순위와 상이하다. 분류기(103)는 추가로, 분류 그룹들의 우선순위들을 정의하는 것을 인에이블링하도록 구성된다. GUI(108)의 도움과 함께, 사용자는, 그룹들의 우선순위들을 정의하고, 자동 분류를 위한 클래스들을 정의하고, 그리고 클래스들을 개개의 분류 그룹들에 배정할 수 있다. 대안적으로, 이러한 정의들 중 적어도 일부는, 미리정의된 규칙들에 따라 분류기(103)에 의해 제공될 수 있거나 입력 인터페이스(105)를 통해 외부 시스템(예컨대, FAB 관리 시스템)으로부터 수신될 수 있다.
[0050] 추가로, 분류기(103)는, 사용자(및/또는 관리 시스템)가, 각각의 클래스에 대해 순수성, 정확도, 및/또는 추출 요건들을 개별적으로 셋팅하고 그리고 클래스별 요건들에 따라 분류 결과들을 최적화하는 것을 가능하게 하도록 구성된다. 도 3 내지 도 6을 참조하여 추가로 상세히 설명될 바와 같이, 분류기(103)는, 동일한 분류 그룹으로부터의 여러 클래스들을 함께 결속시키고 그리고 결속된 클래스들에 대해 단일 클래스에 대해서와 같이 품질 요건들을 셋팅하는 것을 인에이블링하도록 구성될 수 있다.
[0051] 도 3을 참조하면, 본원에서 개시되는 요지의 특정 실시예들에 따른, 자동 결함 분류기를 트레이닝하는 일반화된 흐름도가 예시된다. PMC(104)는, 비-일시적 컴퓨터-판독가능 저장 매체 상에 구현되는 컴퓨터-판독가능 명령들에 따라 아래에서 상세히 설명되는 개개의 동작들을 실행하도록 구성된다.
[0052] 트레이닝 이전에, 분류기(103)는, 3개 이상의 우선순위화된 분류 그룹들로의 클래스들의 배정을 표시하는 데이터를 획득한다(301). 그러한 데이터는, GUI(108)를 통해 사용자의 입력으로서 수신되고, 미리정의된 규칙들에 따라 분류기(103)에 의해 생성되고, 그리고/또는 입력 인터페이스(105)를 통해 외부 시스템(예컨대, FAB 관리 시스템)으로부터 수신될 수 있다. 비-제한적인 예로서, 클래스들(다수 및 소수 둘 모두)은, (우선순위의 순서로) 다음의 분류 그룹들: 핵심 관심 결함들(KDOI), 관심 결함들(DOI), 및 거짓에 배정될 수 있다. 다른 비-제한적인 예로서, 다수 클래스들은 KDOI, DOI, 및 거짓 분류 그룹들에 배정될 수 있는 한편, 소수 클래스들은 분류 그룹 "신규사항"에 배정될 수 있으며, 그룹들의 우선순위는, 다음의 순서: KDOI ＞ 신규사항 ＞ DOI ＞ 거짓으로 구성될 수 있다.
[0053] 추가로, 트레이닝 이전에, 분류기는, 클래스별 품질 요건들을 표시하는 데이터를 획득한다(303). 그러한 데이터는, GUI(108)를 통해 사용자의 입력으로서 수신되고 그리고/또는 입력 인터페이스(105)를 통해 외부 시스템(예컨대, FAB 관리 시스템)으로부터 수신될 수 있다. 이러하도록 필수적이지는 않지만 선택적으로, 동일한 그룹에 배정된 클래스들은 유사한 분류 목적을 가질 수 있고, 그에 따라, 유사한 품질 요건들을 가질 수 있다. 비-제한적인 예로서, 분류기(103)는, KDOI 그룹 내의 클래스들에 대해 높은 추출 및/또는 높은 순수성을 인에이블링하고, DOI 그룹 내의 클래스들에 대해 중간 추출 및/또는 순수성을 인에이블링하고, 그리고 거짓 그룹 내의 특정 클래스들에 대해 낮은 추출 및/또는 순수성을 인에이블링하도록 구성될 수 있다.
[0054] 사전-분류된 결함들의 집합 및 그의 속성 값들을 포함하는 트레이닝 데이터를 수신(302)할 시, 분류기는, 클래스들로의 트레이닝 결함들의 초기 구분(separation)을 수신하기 위해 트레이닝 결함들에 분류 엔진을 적용한다. 초기 구분에는, (이러하도록 의무적이지는 않지만) 리젝션들이 없는 구분을 인에이블링하는 값들로 셋팅된 신뢰 임계치들이 제공될 수 있다. 비-제한적인 예로서, 분류 엔진은, 다중클래스 SVM(support vector machine), 랜덤 포레스트 분류 엔진, 또는 다른 적절한 분류 엔진 또는 이들의 결합일 수 있다.
[0055] 도 4는, 초기 구분의 결과들을 제공하는 예시화된 혼동 매트릭스를 예시한다. 본 명세서에서 사용되는 "혼동 매트릭스"라는 용어는, 분류 규칙의 성능 및 품질의 시각화를 허용하는 표 레이아웃을 커버하도록 광범위하게 해석되어야 한다. 열들(401-405)은, 분류 규칙을 적용하는 것에 의한 트레이닝 결함들의 자동 분류의 결과들을 표현한다. 열(406)은, (예컨대, 인간 오퍼레이터에 의해) 사전-분류된 바와 같은 각각의 클래스 내의 결함들의 실제 개수를 표현한다. 행(415)은, 개개의 열들에 의해 제공되는 클래스들 각각으로 분류기(103)에 의해 (바르게 또는 바르지 않게) 분류된 결함들의 총 개수를 표현한다.
[0056] 비-제한적인 예로서 예시된 바와 같이, 다수 클래스들 중에서, 클래스 A는 그룹 DOI에 배정되고, 클래스 B는 그룹 KDOI에 배정되고, 그리고 클래스 C는 그룹 "거짓"에 배정된다. 추가로, 소수 클래스 D는 그룹 "신규사항"에 배정된다.
[0057] 낮은 임계치들을 갖는 초기 구분의 결과로서, 어떠한 결함들도 분류기에 의해 CND 또는 UNK로서 분류되지 않았다. 예시된 바와 같이, 클래스 A로 사전-분류된 60개의 결함들 중, 52개의 결함들은 분류기(103)에 의해 바르게 분류되지만, 클래스 B의 4개의 결함들이 클래스 A로 잘못 분류되고, 클래스 C의 3개의 결함들이 클래스 A로 잘못 분류되고, 그리고 클래스 D의 11개의 결함들이 클래스 A로 잘못 분류된다. 마찬가지로, 클래스 B로 사전-분류된 44개의 결함들 중, 38개의 결함들은 분류기(103)에 의해 바르게 분류되지만, 클래스 A의 4개의 결함들은 클래스 B로 잘못 분류되고, 클래스 C의 6개의 결함들 및 클래스 D의 12개의 결함들이 클래스 B로 잘못 분류되는 한편, 클래스 C로 사전-분류된 119개의 결함들 중, 110개의 결함들은 분류기(103)에 의해 바르게 분류되지만, 클래스 A의 4개의 결함들이 클래스 C로 잘못 분류되고, 클래스 B의 2개의 결함들이 클래스 C로 잘못 분류되고, 그리고 클래스 D의 4개의 결함들이 클래스 C로 잘못 분류된다.
[0058] 각각의 다수 클래스는, 클래스에 대한 분류기의 결정들의 정확성을 표시하는 순수성과 같은 품질 척도에 의해 특성화될 수 있다. 순수성은, 주어진 클래스로 바르게 분류된 결함들의 개수와 이러한 주어진 클래스로 분류기에 의해 분류된 결함들의 총 개수 사이의 비로서 계산될 수 있다. 따라서, 도 4의 행(416)에 의해 예시된 예에서, 클래스 A에 대한 순수성은 52/70 = 74.2 %이고; 클래스 B에 대한 순수성은 38/60 = 63.33 %이고; 그리고 클래스 C에 대한 순수성은 110/120 = 91.66 %이다.
[0059] 추가로, 각각의 클래스는, 주어진 클래스로 바르게 분류된 결함들과 주어진 클래스로 사전-분류된 결함들 사이의 비로서 계산되는 정확도(열(408)에 의해 예시됨)와 같은 그러한 품질 척도에 의해 특성화될 수 있다.
[0060] 분류기의 성능은, 다른 모달리티에 의한 추가적인 분류를 위해 전송되지 않은 결함들(예컨대, 클래스 순수성을 만족시키는 것으로 분류됨) 대 분류된 결함들의 전체 개수의 비로서 계산되는 기여도에 의해 특성화될 수 있다.
[0061] 순수성은, 신뢰 임계치들을 증가시키고 그에 따라 일부 결함들을 UNK 결함들 또는 CND 결함들로 리젝팅함으로써 개선될 수 있다. 그러나, 특정 신뢰 임계치가 특정 품질 및/또는 성능 척도를 개선하지만, 이는, 예컨대, 기여도와 같은 상이한 성능 척도에서의 악화를 야기할 수 있다.
[0062] 도 3을 다시 참조하고, 본원에서 개시되는 요지의 특정 실시예들에 따르면, 트레이닝은, 우선순위화된 분류 그룹들에 대응하는 복수의 3개 이상의 우선순위화된 리젝션 빈들로 결함들을 리젝팅하는 규칙들을 셋팅하는 것(305)을 더 포함한다. 리젝션 빈들의 우선순위는, 분류 그룹들의 우선순위에 대응하도록 구성된다. 분류기(103)는, 상이한 빈들마다 상이할 수 있고 그리고 개개의 클래스들의 우선순위들 및 빈들의 우선순위들에 의존하는 미리정의된 규칙들에 따라 특정 결함에 대한 리젝션 빈을 선택한다.
[0063] 따라서, 우선순위화된 분류 그룹에 클래스들을 배정하는 비-제한적인 예로서, 다수 및 소수 클래스들의 각각의 클래스는, KDOI, DOI, 및 거짓 분류 그룹들 중 하나에 배정될 수 있다. CND 결함들은, (우선순위의 순서로) KDOI CND 빈, DOI CND 빈, 및 거짓 CND 빈으로 리젝팅될 수 있다. 미지 결함들은, 하나 이상의 UNK 빈들로 리젝팅될 수 있다.
[0064] 우선순위화된 분류 그룹에 클래스들을 배정하는 다른 비-제한적인 예로서, 다수 클래스들의 각각의 클래스는, KDOI, DOI, 및 거짓 분류 그룹들 중 하나에 배정될 수 있는 한편, 소수 클래스들은 신규사항 그룹에 배정될 수 있다. CND 결함들은, KDOI CND 빈, DOI CND 빈, 및 거짓 CND 빈으로 리젝팅될 수 있다. UNK 빈은 신규사항 리젝션들에 대응하며, 리젝션 빈들의 우선순위는, 분류 그룹들의 우선순위, 즉, KDOI CND 빈 ＞ 신규사항 UNK 빈 ＞ DOI CND 빈 ＞ 거짓 CND 빈과 대응하도록 구성된다.
[0065] ME-OTHERS 분할은, 각각의 빈에 대해 "OTHERS"가 개개의 빈 우선순위의 클래스들만을 포함하도록 구현될 수 있다. 주어진 KDOI 클래스로 거짓으로 분류된 KDOI 결함들은 KDOI 리젝션 빈으로 리젝팅되고; 주어진 DOI 클래스로 거짓으로 분류된 DOI 결함들은 DOI 리젝션 빈으로 리젝팅되고; 그리고 주어진 거짓 클래스로 거짓으로 분류된 거짓 결함들은 거짓 리젝션 빈으로 리젝팅된다. 핵심 DOI와 DOI＼거짓 간의 CND는 KDOI CND 빈이 된다(거짓＼DOI 결함들은 KDOI 클래스들로부터 리젝팅되지 않을 것임). 거짓 클래스들로 분류된 DOI 결함들은 DOI CND 빈으로 리젝팅될 것이고; DOI 클래스들로 분류된 거짓 결함들은 거짓 CND 빈으로 리젝팅될 것이고; 소수의 것들은 신규사항 UNK 빈으로 리젝팅될 것이다.
[0066] 클래스들 및 리젝션 빈들의 상대적인 우선순위들에 의존하는 예시화된 리젝션 규칙들이 표 1에 요약된다("Me"는, 초기 구분(304) 동안 바르게 분류된 결함들을 지칭함).
Figure pat00001
[0067] 선택적으로, 분류 그룹 내의 2개 이상의 클래스들은 결속된 클래스들로서 구성될 수 있고, 분류기(103)는, 결속된 클래스들 사이에서의 혼동의 경우, 리젝션들을 제공하지 않도록 구성될 수 있다. 마찬가지로, 분류기(103)는, 단일 클래스로서 간주되는 결속된 클래스들에 대한 품질 요건들을 인에이블링하도록 구성될 수 있다. 그러한 결속된 클래스들에 대해 계산된 품질 척도들은, 이후 "선택된 순수성" 및 "선택된 추출"로 지칭된다는 것이 유의된다.
[0068] 본원에서 개시되는 요지의 특정 실시예들에 따르면, 순수성에 더하여, 품질 요건들은, (정확도 요건 대신 또는 그에 부가하여) 추출 요건들을 포함할 수 있다. 각각의 클래스에 대해, 추출은, i) 그 클래스의 바르게 분류된 결함들, 및 ii) 그 클래스에 속하고 그리고 그 클래스의 추출에 대해 카운팅하는 리젝션 빈으로 리젝팅된 결함들 둘 모두를 카운팅한다. 따라서, 추출의 개념은 정확도의 개념보다 넓다. 주어진 클래스의 추출에 대해 카운팅하는 리젝션 빈의 선택은, 그 클래스의 분류 그룹 및 그 클래스가 리젝팅된 리젝션 빈의 개개의 우선순위들에 의존한다. 본원에서 개시되는 요지의 특정 실시예들에 따르면, 클래스 우선순위 또는 그보다 높은 우선순위에 대응하는 리젝션 빈은 항상 추출에 대해 카운팅될 수 있다. 일부 리젝션 빈들(예컨대, 거짓 CND 빈)은 사용자의 검토에 대해 의도된 것이 아닐 수 있으며, 그에 따라, 기여도에 대해 카운팅될 수 있다는 것이 유의된다.
[0069] 다수의 CND 및 하나 이상의 UNK 빈들을 갖는 리젝션 규칙들을 셋팅할 시, 분류기(103)는, 각각의 다수 클래스에 대해, 클래스 작업 포인트들(클래스 작업 포인트들 각각은, 우선순위화된 리젝션 빈들에 대응하는 신뢰 임계치들의 가능한 세트에 의해 특성화됨)을 생성(306)하기 위해, 트레이닝 결함들에 대한 정보를 주는 데이터를 프로세싱한다. KDOI CND 빈, 신규사항 UNK 빈, DOI CND 빈, 및 거짓 CND 빈의 위의 비-제한적인 예에서, 각각의 클래스 작업 포인트는, 4개의 신뢰 임계치들(신뢰 임계치들 각각이 개개의 빈에 대응함)에 의해 특성화된다.
[0070] 각각의 주어진 다수 클래스에 대해, 분류기(103)는 추가로, 주어진 클래스에 대해 생성된 클래스 작업 포인트들 중에서, 다른 클래스들에 대한 품질 요건들을 고려하여 카운팅되고 그리고 주어진 클래스에 대해 수신된 품질 요건들을 (적어도 최적화 전에) 충족시키는 유효 작업 포인트들을 선택(307)한다. 따라서, 분류기(103)는, 각각의 주어진 다수 클래스에 대해, 복수의 유효 클래스 작업 포인트들을 산출한다.
[0071] 유효 클래스 작업 포인트들의 선택은, 각각의 클래스마다 독립적으로 제공될 수 있고 그리고 주어진 클래스에 대해 다음의 것을 포함할 수 있다:
- 주어진 클래스에 대한 순수성 요건을 충족시키는 않는 작업 포인트들을 제거하는 것;
- 클래스에 대해 유효한 복수의 작업 포인트들을 산출하기 위해, 다른 클래스들을 고려해 볼 때 주어진 클래스에 대한 추출 요건을 잠정적으로 충족시키지 않는 작업 포인트들을 제거하는 것(이러한 단계에서 추출 요건들을 잠정적으로 충족시키는 작업 포인트는, 추가적인 최적화 프로세싱 동안 전체 클래스들의 추출 요건들을 반드시 충족시키지는 않음);
- 유효 작업 포인트들 각각에 대해 잠재적 클래스 기여도(즉, 개개의 클래스에 의해 제공되는 전체 기여도의 일부)를 계산하는 것;
- 계산된 클래스 기여도에 따라 유효 포인트들을 정렬(sort)하는 것, 및 추가적인 프로세싱을 위해 결과들을 저장하는 것.
[0072] 선택적으로, 유효 클래스 작업 포인트들은, 가능한 작업 포인트들 중에서 선택하는 것 대신에, 당업자들에게 알려진 간단한 검색 또는 임의의 다른 적절한 최적화 방법들에 의해 획득될 수 있다는 것이 유의된다.
[0073] 도 7을 참조하여 추가로 상세히 설명되는 바와 같이, 분류기(103)는, 모든 클래스들에 대해 클래스별 품질 요건들을 충족시키면서 가능한 가장 높은 ADC 기여도를 인에이블링하는 최적 작업 포인트를 획득하기 위해, 복수의 유효 클래스 작업 포인트들(이러한 포인트들 각각은 개개의 다수 클래스에 관하여 유효함)을 프로세싱(308)한다. 클래스 작업 포인트가 리젝션 빈들에 대응하는 K개의 임계치들(예컨대, 제공된 비-제한적인 예에서는 4개의 임계치들)에 의해 특성화될 때, 최적 작업 포인트는 (K * 다수 클래스들의 개수)개의 임계치들에 의해 특성화된다. 최적화된 임계치들이 다수 클래스들만에 대해 계산되지만, 최적화 프로세싱(308)은, 소수 클래스들의 추출 요건을 고려하여 제공될 수 있다는 것이 유의된다.
[0074] 본원에서 개시되는 요지의 특정 실시예들에 따르면, 분류기(103)의 기여도(즉, 최적화 목표)는, 분류 목적들 및/또는 분류기의 구성에 의존하여 상이하게 계산될 수 있다는 것이 유의된다. 분류기는, 사용자가, 혼동 매트릭스에서 기여 열들을 (예컨대, GUI(108)를 통해) 정의하는 것을 가능하게 하도록 구성될 수 있다. 비-제한적인 예로서, 분류 결과들이 통계적 프로세스 제어(SPC)에 사용될 때, 기여도에 대해 카운팅되는 열들은, 클래스 순수성 및 거짓 CND 빈을 만족시키는 것으로 분류된 모든 클래스들을 포함할 수 있다. 다른 비-제한적인 예로서, 분류 결과들이 DOI 헌팅(hunting)에 사용될 때, 기여도에 대해 카운팅되는 열들은, 클래스 순수성, DOI CND 빈, 및 거짓 CND 빈을 만족시키는 것으로 분류된 모든 클래스들을 포함할 수 있다. 일반적으로, 기여도는, 기여도에 대해 카운팅되는 것으로 정의된 열들 내의 결함들의 개수를, 분류된 결함들의 총 개수로 나누는 것으로 계산될 수 있다. 선택적으로, 기여도는, 필터 레이트, 거짓 필터 레이트, 또는 임의의 다른 성능 척도로서 정의될 수 있다.
[0075] 최적 작업 포인트를 획득할 시, 분류기는, 초기 구분에 사용되는 분류 엔진 및 각각의 리젝션 빈 및 다수 클래스에 대한 복수의 신뢰 임계치들을 포함하는 분류 규칙을 생성(309)하며, 신뢰 임계치들은 최적 작업 포인트에 대응한다. 분류 규칙 내의 임계치들은, (예컨대, 품질 요건들을 감소시킴으로써 성능을 향상시키기 위해) 사용자의 요건들에 따라 추가로 조정될 수 있다. 일부 경우들에서는, 분류될 결함들에 생성된 분류 규칙을 적용하는 것이 리젝션 빈들 사이의 충돌을 초래(즉, 신뢰 임계치들을 고려하여, 주어진 결함이 여러 빈들로 리젝팅될 수 있음)할 수 있다는 것이 유의된다. 그러한 경우에 대해, 분류기(103)는, 가능한 빈들 사이의 가장 높은 우선순위를 갖는 빈으로 결함을 리젝팅하도록 구성될 수 있다.
[0076] 본원에서 개시되는 요지의 교시들은, 비-제한적인 예들에서 예시된 바와 같은 분류 그룹들 및 우선순위화된 리젝션 빈들에 제한되지 않고, 마찬가지로, 다른 타입들, 개수들, 및/또는 우선순위들의 분류 그룹들 및 대응하는 리젝션 빈에 적용가능하다는 것이 유의된다.
[0077] 도 5a 내지 도 5d를 참조하면, 본원에서 개시되는 요지의 특정 실시예들에 따른 리젝션 프로세스의 비-제한적인 예들이 개략적으로 예시된다. 도 5a는, 초기 구분 이후에 획득된 혼동 매트릭스를 예시한다. 도 5b는, KDOI 클래스들에 대해 정의된 클래스별 순수성/추출 요건들을 충족시키기 위해 분류기(103)가 결함들을 리젝팅한 이후의 혼동 매트릭스를 예시한다. 도 5c는, 신규사항 추출 요건들을 충족시키기 위해 분류기(103)가 결함들을 추가로 리젝팅한 이후의 혼동 매트릭스를 예시한다. 도 5d는, DOI 및 거짓 분류 그룹들 내의 클래스들에 대해 정의된 클래스별 요건들을 충족시키기 위해 분류기(103)가 결함들을 추가로 리젝팅한 이후의 혼동 매트릭스를 예시한다. 예시된 예에서, 클래스 E는 클래스 F와 결속되고, 순수성 및 추출은 이러한 클래스들 중 임의의 클래스로 바르게 분류된 결함들에 따른 선택된 순수성 및 선택된 추출로서 계산된다는 것이 유의된다. 모든 예시된 리젝션들에 대해, 결함들의 분포는 모든 클래스별 품질 요건들에 대응하고, 개개의 신뢰 임계치들은 유효 클래스 작업 포인트들에 대응한다. 예시된 클래스별 작업 포인트들을 획득하는 것은 2개 이상의 클래스들에 병렬로 제공될 수 있다는 것이 유의된다.
[0078] 도 6은, 도 4에 예시된 결함들의 최적화된 분포의 결과들을 제공하는 예시화된 혼동 매트릭스를 예시한다. 예시된 바와 같이, KDOI 클래스는 80 %의 예시화된 미리정의된 순수성 요건 및 100 %의 예시화된 미리정의된 추출 요건을 충족시키고, DOI 클래스는 93 %의 예시화된 미리정의된 순수성 요건 및 91 %의 예시화된 미리정의된 추출 요건을 충족시키고, 신규사항 추출은 63 %의 예시화된 미리정의된 요건을 충족시킨다. 예시된 예에서, KDOI 클래스들과 또는 KDOI 클래스들 내에서 혼동이 있는 결함들은 KDOI CND 빈으로 리젝팅되었고; DOI 클래스들 내에서 혼동이 있는 결함들 및 거짓으로 분류된 DOI 결함들은 DOI CND 빈으로 리젝팅된 한편, DOI와 거짓 클래스들 사이에서 혼동이 있는 결함들은 거짓 CND 빈으로 리젝팅되었으며, 소수 클래스들 및 DOI 클래스들 사이에서 혼동이 있는 결함들은 신규사항 UNK 빈으로 리젝팅되었다는 것이 유의된다.
[0079] 예시된 예에서, (KDOI 분류 그룹에 배정된) 클래스 B에 대한 순수성 및 추출은 다음과 같이 계산될 수 있다:
클래스 B 순수성 = 32(클래스 B로 바르게 자동 분류된 결함들의 개수) / 40(클래스 B로 자동 분류된 결함들의 총 개수) = 80 %.
클래스 B 추출 = (32(순수성 임계치를 초과하는 클래스 B 결함들의 개수) + 12(클래스 B KDOI CND 빈의 결함들의 개수)) / 44(클래스 B로 수동으로 분류된 결함들의 개수) = 100 %.
[0080] 예시된 예에서, (DOI 분류 그룹에 배정된) 클래스 A에 대한 순수성 및 추출은 다음과 같이 계산될 수 있다:
클래스 A 순수성 = 43(클래스 A로 바르게 자동 분류된 결함들의 개수) / 46(클래스 A로 자동 분류된 결함들의 총 개수) = 93%.
클래스 A 추출 = (43(순수성 임계치를 초과하는 클래스 A 결함들의 개수) + 2 + 4 +6(클래스 A KDOI CND 빈 + DOI CND 빈 + 미지 CND 빈의 결함들의 개수)) / 60(클래스 A로 수동으로 분류된 결함들의 개수) = 91%.
[0081] 위에 언급된 바와같이, 기여도 계산은, 분류 목적들 및/또는 사용자의 요건들에 의존한다. 비-제한적인 예로서, 사용자는, 자동 분류 결과들에 관계없이 모든 KDOI 결함들을 수동으로 검토하는 데 관심이 있을 수 있다. 그러한 경우에, 기여 열들은 열들(401, 402, 405-2, 405-3)이고, 기여도는 (46 + 104 + 14 + 5) / 250 = 67 %와 동일하다. 다른 비-제한적인 예로서, 기여 열들은, 순수성 임계치를 초과하는 KDOI 및 DOI 클래스들, 선택적 순수성 임계치를 초과하는 거짓 클래스들, DOI CND 빈(검토되도록 요구되지 않는 경우), 거짓 CND 빈, 및 UNK 빈으로서 사용자에 의해 정의될 수 있다. 예시된 예에서, 그러한 정의는, 열들(401, 402, 403, 405-2, 405-3 및 404-1)에 대응하고, 기여도는 (46 + 40 + 104 + 14 + 5 + 15) / 250 = 90 %와 동일하다.
[0082] 도 7을 참조하면, 본원에서 개시되는 요지의 특정 실시예들에 따른, 예시화된, 작업 포인트들을 프로세싱(308)하는 일반화된 흐름도가 예시된다.
[0083] 트레이닝 결함별: 사전-분류의 결과들, 자동 분류의 결과들, 우선순위화된 리젝션 빈들 각각에 대한 신뢰 수준들을 획득(701)할 시, 분류기(103)는, 다수 클래스들 각각에 대한 유효 클래스 작업 포인트들을 계산(702)한다.
[0084] 유효 클래스 작업 포인트들 중에서, 분류기(103)는, 최대 클래스 기여도를 갖는 유효 작업 포인트를 선택하고, 이러한 작업 포인트가 모든 클래스들을 고려해 볼 때 추출 요건을 충족시키는지 여부를 확인(703)한다. 충족시킨다면, 이러한 포인트는, 클래스별 품질 요건들을 충족시키면서 가능한 가장 높은 ADC 기여도를 인에이블링하는 전역 최대 포인트(point of global maximum)이다.
[0085] 작업 포인트가 모든 클래스들 고려해 볼 때 추출 요건들을 충족시키지 않는다면, 분류기(103)는, 누락된 추출을 전달할 수 있는 유효 클래스 작업 포인트들의 개수를 표시하는 갭(gap)을 평가(704)한다. 갭이 성능 임계치(PTHS; performance threshold)보다 낮으면, 분류기(103)는, 가장 양호한 기여도를 갖는 것을 발견하기 위해 유효 클래스 작업 포인트들의 모든 조합들에 걸쳐 진행되는 철저한 계산을 제공(705)한다. 그러한 작업 포인트는, 모든 클래스들에 대한 클래스별 품질 요건들을 충족시키면서 가능한 가장 높은 ADC 기여도를 인에이블링하는 최적 작업 포인트에 대응한다. 갭이 성능 임계치를 초과하면, 분류기(103)는, 간단한 (그리디(greedy)) 알고리즘 및 그 이후에 선택적으로 후속되는 블랙 박스 최적화(예컨대, 입자 군집 최적화(Particle Swarm Optimization))를 사용하여 계산들을 제공(706)한다. 성능 임계치는 PMC(104)의 프로세싱 능력(processing power)에 의존한다는 것이 유의된다.
[0086] 비-제한적인 예로서, 간단한 계산들은 다음과 같이 제공될 수 있다:
[0087] 각각의 다수 클래스에 대해 유효 클래스 작업 포인트들, 부분적 추출, 및 개개의 클래스 기여도를 획득할 시, 분류기(103)는, 개개의 우선순위들의 순서로, 각각의 분류 그룹에 대한 최적화를 제공한다. 주어진 분류 그룹 내의 각각의 다수 클래스에 대해, 분류기(103)는, 추출 이득 대 기여도 손실의 비로서 정의되는 유효성을 계산하고, 주어진 분류 그룹 내에서의 결함 추출을 위한 가장 양호한 다수 클래스를 그리디하게(greedily) 선택하고, 그리고 주어진 그룹 내의 모든 클래스들을 고려해 볼 때 추출 요건들이 만족될 때까지 반복한다. 각각의 분류 그룹에 대해 그러한 사이클들을 완료할 시, 분류기(103)는, 그리디하게 최적화된 작업 포인트를 획득한다.
[0088] 당업자들은, 본원에서 개시되는 요지의 교시들이 도 7에 예시된 프로세싱에 제한되지 않는다는 것을 용이하게 인식할 것이다. 클래스별 품질 요건들을 충족시키면서 가능한 가장 높은 ADC 기여도를 인에이블링하는 최적 작업 포인트를 획득하기 위해, 다른 적절한 알고리즘들 및 이들의 조합들이 구현될 수 있다.
[0089] 본 발명이 도면들에서 예시되거나 또는 본원에 포함된 설명에서 기재된 세부사항들에 대해 그 애플리케이션이 제한되지 않는다는 것이 이해되어야 한다. 본 발명은 다른 실시예들이 가능하며, 다양한 방식들로 실시 및 수행되는 것이 가능하다. 따라서, 본원에서 이용되는 어법 및 용어법이 설명의 목적을 위한 것이고, 제한적인 것으로 여겨지지 않아야 한다는 것이 이해되어야 한다. 그에 따라, 본 개시내용이 기초하는 개념이 본원에서 개시되는 요지의 여러 목적들을 수행하기 위해 다른 구조들, 방법들, 및 시스템들을 설계하기 위한 기초로서 쉽게 이용될 수 있다는 것을 당업자는 인식할 것이다.
[0090] 또한, 본 발명에 따른 시스템이 적절하게 프로그래밍된 컴퓨터 상에서 적어도 부분적으로 구현될 수 있다는 것이 이해될 것이다. 마찬가지로, 본 발명은 본 발명의 방법을 실행하기 위해 컴퓨터에 의해 판독가능한 컴퓨터 프로그램을 고려한다. 본 발명은 추가로, 본 발명의 방법을 실행하기 위해 컴퓨터에 의해 실행가능한 명령들의 프로그램을 유형으로(tangibly) 구현하는 비-일시적 컴퓨터-판독가능 메모리를 고려한다.
[0091] 당업자는 첨부된 청구항들에서 그리고 첨부된 청구항들에 의해 정의되는 본 발명의 범위로부터 벗어나지 않으면서 이상에서 설명된 바와 같은 본 발명의 실시예들에 다양한 변형들 및 변화들이 적용될 수 있다는 것을 용이하게 인식할 것이다.

Claims (20)

  1. 표본(specimen)에서의 결함들을 복수의 클래스들로 분류할 수 있는 시스템으로서,
    프로세싱 및 메모리 회로(PMC; processing and memory circuitry)를 포함하며,
    상기 PMC는,
    상기 복수의 클래스들의 각각의 클래스에 대해 개별적으로 정의된 품질 요건들을 표시하는 데이터를 획득하고;
    상이한 우선순위들을 갖는 3개 이상의 분류 그룹들 중의 분류 그룹으로의 상기 복수의 클래스들의 각각의 클래스의 배정을 표시하는 데이터를 획득하고;
    복수의 사전-분류된 트레이닝(training) 결함들 및 상기 복수의 사전-분류된 트레이닝 결함들의 속성 값들을 포함하는 트레이닝 데이터를 획득할 시, 초기 분류된 트레이닝 결함들을 산출하기 위해, 상기 복수의 클래스들 중의 클래스들로의 상기 복수의 트레이닝 결함들의 초기 자동 분류를 제공하고;
    상기 복수의 클래스들의 각각의 클래스에 대해 정의된 클래스별 품질 요건들을 충족시키면서, 자동 분류의 가능한 가장 높은 기여도(contribution)에 대응하는 최적 작업 포인트(working point)를 획득하기 위해, 상기 초기 분류된 트레이닝 결함들을 프로세싱하고;
    상기 최적 작업 포인트에 대응하는 신뢰(confidence) 임계치들을 갖는 분류 규칙을 생성하고 ― 상기 신뢰 임계치들은 우선순위화된 리젝션 빈(prioritized rejection bin)들에 대응하고, 적어도 "결정불가(CND; cannot decide)" 리젝션 빈들은 상기 3개 이상의 분류 그룹에 대응함 ―; 및
    상기 표본에서의 결함들을 분류할 때, 생성된 분류 규칙을 적용
    하도록 구성되는, 표본에서의 결함들을 복수의 클래스들로 분류할 수 있는 시스템.
  2. 제1항에 있어서,
    상기 PMC는 추가로, 동일한 분류 그룹에 배정된 여러 클래스들을 함께 결속(bind)시키는 것을 인에이블링(enable)하고 그리고 결속된 클래스들에 대해 단일 클래스에 대해서와 같이 품질 요건들을 정의하도록 구성되는, 표본에서의 결함들을 복수의 클래스들로 분류할 수 있는 시스템.
  3. 제1항에 있어서,
    각각의 클래스는, 가장 높은 우선순위를 갖는 분류 그룹인 "핵심 관심 결함들(KDOI; Key Defects of Interest)", "관심 결함들(DOI; Defects of Interest)", 및 가장 낮은 우선순위를 갖는 분류 그룹인 "거짓"의 분류 그룹들 중 하나에 배정되는, 표본에서의 결함들을 복수의 클래스들로 분류할 수 있는 시스템.
  4. 제3항에 있어서,
    상기 우선순위화된 리젝션 빈들은, "KDOI" CND 리젝션 빈, "DOI" CND 리젝션 빈, "거짓" CND 리젝션 빈, 및 "미지(UNK; unknown)" 리젝션 빈으로 이루어지고,
    CND 리젝션 빈들의 우선순위들은 개개의 분류 그룹들의 우선순위들에 대응하는, 표본에서의 결함들을 복수의 클래스들로 분류할 수 있는 시스템.
  5. 제1항에 있어서,
    각각의 다수(majority) 클래스는, "KDOI", "DOI", 및 "거짓"의 분류 그룹들 중 하나에 배정되고, 소수(minority) 클래스들은 "신규사항(Novelty)" 분류 그룹에 배정되며,
    그룹들의 우선순위는, "KDOI" ＞ "신규사항" ＞ "DOI" ＞ "거짓"의 순서로 구성되는, 표본에서의 결함들을 복수의 클래스들로 분류할 수 있는 시스템.
  6. 제5항에 있어서,
    상기 우선순위화된 리젝션 빈들은, "KDOI" CND 리젝션 빈, "DOI" CND 리젝션 빈, "거짓" CND 리젝션 빈, 및 "신규사항" UNK 리젝션 빈으로 이루어지고,
    모든 리젝션 빈들의 우선순위들은 개개의 분류 그룹들의 우선순위들에 대응하는, 표본에서의 결함들을 복수의 클래스들로 분류할 수 있는 시스템.
  7. 제1항에 있어서,
    주어진 클래스에 대해 정의된 상기 품질 요건들은, 상기 주어진 클래스의 바르게 분류된 결함들, 및 상기 주어진 클래스에 속하고 그리고 상기 주어진 클래스의 추출(extraction)에 대해 카운팅(counting)하는 것으로서 선택된 하나 이상의 리젝션 빈들로 리젝팅(reject)된 결함들 둘 모두를 카운팅하는 추출 요건을 포함하는, 표본에서의 결함들을 복수의 클래스들로 분류할 수 있는 시스템.
  8. 제1항에 있어서,
    상기 자동 분류의 기여도는, 분류 목적들에 의존하여 상이하게 계산되는, 표본에서의 결함들을 복수의 클래스들로 분류할 수 있는 시스템.
  9. 표본에서의 결함들을 복수의 클래스들로 자동 분류하는 방법으로서,
    프로세싱 및 메모리 회로(PMC)에 의해, 분류 규칙을 생성하는 단계; 및
    상기 PMC에 의해, 상기 표본에서의 결함들을 분류할 때, 생성된 분류 규칙을 적용하는 단계를 포함하며,
    상기 분류 규칙을 생성하는 단계는,
    상기 복수의 클래스들의 각각의 클래스에 대해 개별적으로 정의된 품질 요건들을 표시하는 데이터, 상이한 우선순위들을 갖는 3개 이상의 분류 그룹들 중의 분류 그룹으로의 상기 복수의 클래스들의 각각의 클래스의 배정을 표시하는 데이터, 및 복수의 사전-분류된 트레이닝 결함들 및 상기 복수의 사전-분류된 트레이닝 결함들의 속성 값들을 포함하는 트레이닝 데이터를 획득할 시, 초기 분류된 트레이닝 결함들을 산출하기 위해, 상기 복수의 클래스들 중의 클래스들로의 상기 복수의 트레이닝 결함들의 초기 자동 분류를 제공하는 단계,
    상기 복수의 클래스들의 각각의 클래스에 대해 정의된 클래스별 품질 요건들을 충족시키면서, 자동 분류의 가능한 가장 높은 기여도에 대응하는 최적 작업 포인트를 획득하기 위해, 상기 초기 분류된 트레이닝 결함들을 프로세싱하는 단계, 및
    상기 최적 작업 포인트에 대응하는 신뢰 임계치들을 갖는 분류 규칙을 생성하는 단계
    를 포함하고,
    상기 신뢰 임계치들은 우선순위화된 리젝션 빈들에 대응하고, 적어도 "결정불가(CND)" 리젝션 빈들은 상기 3개 이상의 분류 그룹에 대응하는, 표본에서의 결함들을 복수의 클래스들로 자동 분류하는 방법.
  10. 제9항에 있어서,
    동일한 분류 그룹에 배정된 여러 클래스들을 함께 결속시키고 그리고 결속된 클래스들에 대해 단일 클래스에 대해서와 같이 품질 요건들을 정의하는 단계를 더 포함하는, 표본에서의 결함들을 복수의 클래스들로 자동 분류하는 방법.
  11. 제9항에 있어서,
    각각의 클래스는, 가장 높은 우선순위를 갖는 분류 그룹인 "핵심 관심 결함들(KDOI)", "관심 결함들(DOI)", 및 가장 낮은 우선순위를 갖는 분류 그룹인 "거짓"의 분류 그룹들 중 하나에 배정되는, 표본에서의 결함들을 복수의 클래스들로 자동 분류하는 방법.
  12. 제11항에 있어서,
    상기 우선순위화된 리젝션 빈들은, "KDOI" CND 리젝션 빈, "DOI" CND 리젝션 빈, "거짓" CND 리젝션 빈, 및 "미지(UNK)" 리젝션 빈으로 이루어지고,
    CND 리젝션 빈들의 우선순위들은 개개의 분류 그룹들의 우선순위들에 대응하는, 표본에서의 결함들을 복수의 클래스들로 자동 분류하는 방법.
  13. 제9항에 있어서,
    각각의 다수(majority) 클래스는, "KDOI", "DOI", 및 "거짓"의 분류 그룹들 중 하나에 배정되고, 소수 클래스들은 "신규사항" 분류 그룹에 배정되며,
    그룹들의 우선순위는, "KDOI" ＞ "신규사항" ＞ "DOI" ＞ "거짓"의 순서로 구성되는, 표본에서의 결함들을 복수의 클래스들로 자동 분류하는 방법.
  14. 제13항에 있어서,
    상기 우선순위화된 리젝션 빈들은, "KDOI" CND 리젝션 빈, "DOI" CND 리젝션 빈, "거짓" CND 리젝션 빈, 및 "신규사항" UNK 리젝션 빈으로 이루어지고,
    모든 리젝션 빈들의 우선순위들은 개개의 분류 그룹들의 우선순위들에 대응하는, 표본에서의 결함들을 복수의 클래스들로 자동 분류하는 방법.
  15. 제9항에 있어서,
    상기 최적 작업 포인트를 획득하기 위해, 상기 초기 분류된 트레이닝 결함들을 프로세싱하는 단계는,
    상기 PMC에 의해, 각각의 다수 클래스에 대해, 유효 클래스 작업 포인트들을 획득하는 단계 ― 각각의 유효 클래스 작업 포인트는, 개개의 클래스에 대해 정의되고 그리고 상기 우선순위화된 리젝션 빈들에 대응하는 신뢰 임계치들에 의해 특성화되는 품질 요건들을 충족시킴 ―; 및
    상기 PMC에 의해, 상기 최적 작업 포인트를 획득하기 위해, 상기 유효 클래스 작업 포인트들을 프로세싱하는 단계
    를 포함하는, 표본에서의 결함들을 복수의 클래스들로 자동 분류하는 방법.
  16. 제15항에 있어서,
    상기 유효 클래스 작업 포인트들을 획득하는 단계는, 상기 우선순위화된 리젝션 빈들에 걸쳐 상기 트레이닝 결함들 중 적어도 일부를 분배하는 단계를 포함하며, 특정 결함에 대한 리젝션 빈을 선택하는 것은, 개개의 분류 그룹들의 상대적인 우선순위들 및 상기 리젝션 빈들의 우선순위들에 의존하는 미리정의된 규칙들에 따라 제공되는, 표본에서의 결함들을 복수의 클래스들로 자동 분류하는 방법.
  17. 제9항에 있어서,
    주어진 클래스에 대해 정의된 상기 품질 요건들은, 상기 주어진 클래스의 바르게 분류된 결함들, 및 상기 주어진 클래스에 속하고 그리고 상기 주어진 클래스의 추출에 대해 카운팅하는 것으로서 선택된 하나 이상의 리젝션 빈들로 리젝팅된 결함들 둘 모두를 카운팅하는 추출 요건을 포함하는, 표본에서의 결함들을 복수의 클래스들로 자동 분류하는 방법.
  18. 제9항에 있어서,
    주어진 클래스의 분류 그룹의 우선순위보다 낮지 않은 우선순위들을 갖는 모든 리젝션 빈들은 상기 주어진 클래스의 추출에 대해 카운팅하는 것으로서 선택되는, 표본에서의 결함들을 복수의 클래스들로 자동 분류하는 방법.
  19. 제9항에 있어서,
    상기 자동 분류의 기여도는, 분류 목적들에 의존하여 상이하게 계산되는, 표본에서의 결함들을 복수의 클래스들로 자동 분류하는 방법.
  20. 명령들을 포함하는 비-일시적 컴퓨터 판독가능 매체로서,
    상기 명령들은, 컴퓨터에 의해 실행되는 경우, 상기 컴퓨터로 하여금, 표본에서의 결함들을 복수의 클래스들로 자동 분류하는 방법을 수행하게 하며,
    상기 방법은,
    프로세싱 및 메모리 회로(PMC)에 의해, 분류 규칙을 생성하는 단계; 및
    상기 PMC에 의해, 상기 표본에서의 결함들을 분류할 때, 생성된 분류 규칙을 적용하는 단계를 포함하며,
    상기 분류 규칙을 생성하는 단계는,
    상기 복수의 클래스들의 각각의 클래스에 대해 개별적으로 정의된 품질 요건들을 표시하는 데이터, 상이한 우선순위들을 갖는 3개 이상의 분류 그룹들 중의 분류 그룹으로의 상기 복수의 클래스들의 각각의 클래스의 배정을 표시하는 데이터, 및 복수의 사전-분류된 트레이닝 결함들 및 상기 복수의 사전-분류된 트레이닝 결함들의 속성 값들을 포함하는 트레이닝 데이터를 획득할 시, 초기 분류된 트레이닝 결함들을 산출하기 위해, 상기 복수의 클래스들 중의 클래스들로의 상기 복수의 트레이닝 결함들의 초기 자동 분류를 제공하는 단계,
    상기 복수의 클래스들의 각각의 클래스에 대해 정의된 클래스별 품질 요건들을 충족시키면서, 자동 분류의 가능한 가장 높은 기여도에 대응하는 최적 작업 포인트를 획득하기 위해, 상기 초기 분류된 트레이닝 결함들을 프로세싱하는 단계, 및
    상기 최적 작업 포인트에 대응하는 신뢰 임계치들을 갖는 분류 규칙을 생성하는 단계
    를 포함하고,
    상기 신뢰 임계치들은 우선순위화된 리젝션 빈들에 대응하고, 적어도 "결정불가(CND)" 리젝션 빈들은 상기 3개 이상의 분류 그룹에 대응하는, 비-일시적 컴퓨터 판독가능 매체.
KR1020180112565A 2017-09-28 2018-09-20 반도체 표본에서의 결함들을 분류하는 방법 및 그 시스템 KR102548769B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/719,447 2017-09-28
US15/719,447 US11037286B2 (en) 2017-09-28 2017-09-28 Method of classifying defects in a semiconductor specimen and system thereof

Publications (2)

Publication Number Publication Date
KR20190037123A true KR20190037123A (ko) 2019-04-05
KR102548769B1 KR102548769B1 (ko) 2023-06-27

Family

ID=65807910

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180112565A KR102548769B1 (ko) 2017-09-28 2018-09-20 반도체 표본에서의 결함들을 분류하는 방법 및 그 시스템

Country Status (5)

Country Link
US (1) US11037286B2 (ko)
JP (1) JP7286290B2 (ko)
KR (1) KR102548769B1 (ko)
CN (1) CN109583465B (ko)
TW (1) TWI776945B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151706B2 (en) * 2019-01-16 2021-10-19 Applied Material Israel, Ltd. Method of classifying defects in a semiconductor specimen and system thereof

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278366B (zh) * 2018-03-14 2020-12-01 虹软科技股份有限公司 一种全景图像虚化方法、终端及计算机可读存储介质
US11538237B2 (en) * 2019-01-15 2022-12-27 Accenture Global Solutions Limited Utilizing artificial intelligence to generate and update a root cause analysis classification model
US10762618B1 (en) * 2019-02-14 2020-09-01 United Microelectronics Corp. Mask weak pattern recognition apparatus and mask weak pattern recognition method
CN110263859A (zh) * 2019-06-21 2019-09-20 深圳前海微众银行股份有限公司 样本分类方法、装置、设备及可读存储介质
CN110716990A (zh) * 2019-09-04 2020-01-21 华东江苏大数据交易中心股份有限公司 一种应用于数据交易的多数据源管理系统
CN110555838A (zh) * 2019-09-06 2019-12-10 北京百度网讯科技有限公司 基于图像的零件故障检测方法及装置
CN111311542B (zh) * 2020-01-15 2023-09-19 歌尔股份有限公司 一种产品质量检测方法及装置
WO2022032056A1 (en) * 2020-08-07 2022-02-10 Pdf Solutions, Inc. Pattern-enhanced spatial correlation of test structures to die level responses
TWI771983B (zh) * 2021-04-14 2022-07-21 國立中山大學 氮化鎵高電子移動率電晶體的缺陷檢測方法
CN113743445B (zh) * 2021-07-15 2024-06-04 上海朋熙半导体有限公司 目标对象识别方法、装置、计算机设备和存储介质
CN117890765A (zh) * 2024-01-17 2024-04-16 张家港莱荟科技有限公司 一种连续式集成电路测试系统及其测试方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110010690A (ko) * 2008-05-14 2011-02-07 케이엘에이-텐코어 코오포레이션 웨이퍼 상의 결함들을 검출하고 상기 웨이퍼에 대한 검사 결과들을 발생시키기 위한 시스템들 및 방법들
KR20160081843A (ko) * 2014-12-31 2016-07-08 어플라이드 머티리얼즈 이스라엘 리미티드 자동 분류를 위한 파라미터들의 튜닝
KR20160130252A (ko) * 2014-03-06 2016-11-10 케이엘에이-텐코 코포레이션 복합 결함 분류기
US20180314984A1 (en) * 2015-08-12 2018-11-01 Entit Software Llc Retraining a machine classifier based on audited issue data

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162073B1 (en) * 2001-11-30 2007-01-09 Cognex Technology And Investment Corporation Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object
US8165384B1 (en) * 2003-11-19 2012-04-24 Kla-Tencor Corporation Defect classification
US7729529B2 (en) * 2004-12-07 2010-06-01 Kla-Tencor Technologies Corp. Computer-implemented methods for detecting and/or sorting defects in a design pattern of a reticle
KR101613048B1 (ko) * 2005-11-18 2016-04-15 케이엘에이-텐코 코포레이션 검사 데이터와 조합하여 설계 데이터를 활용하는 방법 및 시스템
US7570796B2 (en) * 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
JP4908995B2 (ja) * 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置並びに欠陥検査装置
US8140514B2 (en) * 2008-11-26 2012-03-20 Lsi Corporation Automatic classification of defects
US8315453B2 (en) * 2010-07-27 2012-11-20 Applied Materials Israel, Ltd. Defect classification with optimized purity
JP5591675B2 (ja) * 2010-12-06 2014-09-17 株式会社ニューフレアテクノロジー 検査装置および検査方法
US9715723B2 (en) * 2012-04-19 2017-07-25 Applied Materials Israel Ltd Optimization of unknown defect rejection for automatic defect classification
US9607233B2 (en) 2012-04-20 2017-03-28 Applied Materials Israel Ltd. Classifier readiness and maintenance in automatic defect classification
US9898811B2 (en) * 2015-05-08 2018-02-20 Kla-Tencor Corporation Method and system for defect classification
US20180174000A1 (en) * 2015-06-04 2018-06-21 Hitachi High-Technologies Corporation Defect image classification device and defect image classification method
US9922269B2 (en) * 2015-06-05 2018-03-20 Kla-Tencor Corporation Method and system for iterative defect classification
US10436720B2 (en) * 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
TWI797699B (zh) * 2015-12-22 2023-04-01 以色列商應用材料以色列公司 半導體試樣的基於深度學習之檢查的方法及其系統
TWI564741B (zh) * 2016-01-25 2017-01-01 敖翔科技股份有限公司 智慧型缺陷分類採樣方法、系統與電腦可讀取儲存媒體
US20180196867A1 (en) * 2017-01-09 2018-07-12 Alexander WIESMAIER System, method and computer program product for analytics assignment
US10713534B2 (en) * 2017-09-01 2020-07-14 Kla-Tencor Corp. Training a learning based defect classifier
US20190096135A1 (en) * 2017-09-26 2019-03-28 Aquifi, Inc. Systems and methods for visual inspection based on augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110010690A (ko) * 2008-05-14 2011-02-07 케이엘에이-텐코어 코오포레이션 웨이퍼 상의 결함들을 검출하고 상기 웨이퍼에 대한 검사 결과들을 발생시키기 위한 시스템들 및 방법들
KR20160130252A (ko) * 2014-03-06 2016-11-10 케이엘에이-텐코 코포레이션 복합 결함 분류기
KR20160081843A (ko) * 2014-12-31 2016-07-08 어플라이드 머티리얼즈 이스라엘 리미티드 자동 분류를 위한 파라미터들의 튜닝
US20180314984A1 (en) * 2015-08-12 2018-11-01 Entit Software Llc Retraining a machine classifier based on audited issue data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151706B2 (en) * 2019-01-16 2021-10-19 Applied Material Israel, Ltd. Method of classifying defects in a semiconductor specimen and system thereof

Also Published As

Publication number Publication date
US20190096053A1 (en) 2019-03-28
US11037286B2 (en) 2021-06-15
JP7286290B2 (ja) 2023-06-05
CN109583465B (zh) 2024-02-02
TW201915770A (zh) 2019-04-16
CN109583465A (zh) 2019-04-05
KR102548769B1 (ko) 2023-06-27
TWI776945B (zh) 2022-09-11
JP2019075553A (ja) 2019-05-16

Similar Documents

Publication Publication Date Title
KR20190037123A (ko) 반도체 표본에서의 결함들을 분류하는 방법 및 그 시스템
US11526979B2 (en) Method of defect classification and system thereof
CN109598698B (zh) 用于对多个项进行分类的系统、方法和非暂时性计算机可读取介质
KR102530950B1 (ko) 반도체 시편에서의 결함들의 분류
KR20130118275A (ko) 자동 결함 분류를 위한 알려지지 않은 결함 리젝션의 최적화
US20220222806A1 (en) Machine learning-based classification of defects in a semiconductor specimen
US20190391085A1 (en) System, method and computer program product for object examination
US10921334B2 (en) System, method and computer program product for classifying defects
KR102367310B1 (ko) 반도체 시편에서 결함들을 분류하는 방법 및 그 시스템
US10937706B2 (en) Method of examining defects in a semiconductor specimen and system thereof
US11360030B2 (en) Selecting a coreset of potential defects for estimating expected defects of interest

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant