KR20180043394A - 적응성 자동 결함 분류 - Google Patents

적응성 자동 결함 분류 Download PDF

Info

Publication number
KR20180043394A
KR20180043394A KR1020187010844A KR20187010844A KR20180043394A KR 20180043394 A KR20180043394 A KR 20180043394A KR 1020187010844 A KR1020187010844 A KR 1020187010844A KR 20187010844 A KR20187010844 A KR 20187010844A KR 20180043394 A KR20180043394 A KR 20180043394A
Authority
KR
South Korea
Prior art keywords
defects
defect
classifier
sample
additional
Prior art date
Application number
KR1020187010844A
Other languages
English (en)
Other versions
KR102397736B1 (ko
Inventor
리 헤
마틴 플리할
후아준 잉
아나디 바티아
아미토즈 에스 단디아나
라마칸스 라미니
Original Assignee
케이엘에이-텐코 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 케이엘에이-텐코 코포레이션 filed Critical 케이엘에이-텐코 코포레이션
Publication of KR20180043394A publication Critical patent/KR20180043394A/ko
Application granted granted Critical
Publication of KR102397736B1 publication Critical patent/KR102397736B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H01L22/24—Optical enhancement of defects or not directly visible states, e.g. selective electrolytic deposition, bubbles in liquids, light emission, colour change
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements
    • H01L22/34—Circuits for electrically characterising or monitoring manufacturing processes, e. g. whole test die, wafers filled with test structures, on-board-devices incorporated on each die, process control monitors or pad structures thereof, devices in scribe line
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/061—Sources
    • G01N2201/06113—Coherent sources; lasers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Manufacturing & Machinery (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Power Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

적응성 자동 결함 분류기를 사용하여 시료 상에서 검출되는 결함을 분류하기 위한 방법 및 시스템이 제공된다. 하나의 방법은, 제1 로트 결과의 결함의 상이한 그룹에 대해 유저로부터 수신되는 분류 및 제1 로트 결과의 모든 결함을 포함하는 결함의 트레이닝 세트에 기초하여 결함 분류기를 생성하는 단계를 포함한다. 제1 및 추가적인 로트 결과는 결합되어 누적 로트 결과를 생성한다. 누적 로트 결과의 결함은 생성된 결함 분류기를 사용하여 분류된다. 결함 중 임의의 것이 임계치 미만의 신뢰도를 가지고 분류되는 경우, 결함 분류기는, 유저로부터 수신되는 이들 결함에 대한 분류 및 저 신뢰도 분류 결함을 포함하는 수정된 트레이닝 세트에 기초하여 수정된다. 그 다음, 수정된 결함 분류기는 추가적인 누적 로트 결과의 결함을 분류하기 위해 사용된다.

Description

적응성 자동 결함 분류
본 발명은 일반적으로 적응성 자동 결함 분류기를 사용하여 시료(specimen) 상의 결함을 분류하기 위한 방법 및 시스템에 관한 것이다.
다음의 설명 및 예는, 이 섹션에서의 이들의 포함 덕분에 종래 기술인 것으로 인정되지 않는다.
로직 및 메모리 디바이스와 같은 반도체 디바이스를 제조하는 것은, 통상적으로, 다양한 피쳐 및 다수의 레벨의 반도체 디바이스를 형성하기 위한 아주 많은 수의 반도체 제조 프로세스를 사용하여 반도체 웨이퍼와 같은 기판을 프로세싱하는 것을 포함한다. 예를 들면, 리소그래피는, 패턴을 레티클로부터 반도체 웨이퍼 상에 배치되는 레지스트로 전사하는 것을 수반하는 반도체 제조 프로세스이다. 반도체 제조 프로세스의 추가적인 예는, 화학적 기계적 연마, 에칭, 퇴적(deposition), 및 이온 주입을 포함하지만, 이들로 한정되는 것은 아니다. 다수의 반도체 디바이스는 단일의 반도체 웨이퍼 상에서 한 배열로 제조될 수도 있고, 그 후 개개의 반도체 디바이스로 분리될 수도 있다.
웨이퍼 상의 결함을 검출하기 위해 반도체 제조 프로세스 동안의 다양한 단계에서 검사 프로세스가 사용된다. 검사 프로세스는, 항상, 집적 회로와 같은 반도체 디바이스를 제조하는 중요한 부분이었다. 그러나, 반도체 디바이스의 치수가 감소함에 따라, 허용가능한 반도체 디바이스의 성공적인 제조에 검사 프로세스가 더욱더 중요하게 되고 있다. 예를 들면, 반도체 디바이스의 치수가 감소함에 따라, 심지어 상대적으로 작은 결함이 반도체 디바이스에서 원치 않는 수차(aberration)를 야기할 수도 있기 때문에, 감소하는 사이즈의 결함의 검출이 필요하게 되었다.
일단 검사에 의해 결함이 검출되면, 결함에 대한 추가적인 정보가 하나 이상의 방식으로 생성될 수도 있다. 예를 들면, 검사 동안 사용된 것보다 더 큰 분해능을 갖는 시스템이 사용되어 결함의 이미지를 생성하는 결함 검토(defect review)에 의해 결함이 재방문될 수도 있다. 그 다음, 이러한 이미지를 사용하여 생성되는 결함에 대한 정보는 결함의 타입(또는 분류)을 결정하기 위해 사용될 수도 있다. 예를 들면, 결함은 입자 타입 결함, 가교(bridging) 타입 결함, 스크래치(scratch) 타입 결함, 및 등등으로서 분류될 수도 있다. 비록 결함 분류가 결함 검토에 의해 생성되는 정보에 기초하여 결정될 수도 있지만, 때로는, (예를 들면, 검사에 의해 생성되는 결함에 대한 정보가, 결함 분류에 및/또는 검사에 의해 생성되는 제한된 양의 정보에 기초한 예비 분류에 충분한 경우) 결함 분류는 검사에 의해 생성되는 정보에 기초하여 수행된다.
결함의 분류를 수행하는 방법, 알고리즘, 및/또는 시스템은 종종 "결함 분류기(defect classifier)"로 칭해진다. 결함 분류기 생성 및 모니터링은, 통상적으로, 세 개의 단계를 포함한다: 트레이닝 단계, 검증(validation) 단계, 및 생산 단계. 트레이닝 단계에서, M 개의 로트 결과가 수집될 때까지 데이터가 수집될 수도 있다. 그 다음, 오퍼레이터는 모든 결함을 수동으로 분류할 수도 있다. 일단 M 개의 로트 결과가 수집되면, 분류기는 N 개보다 많은 결함을 갖는 클래스에 대해 생성되는데, 여기서 N은 미리 정의된 값이다. 검증 단계에서, M 개의 로트에 대한 데이터가 수집될 수도 있고, 오퍼레이터는 모든 결함을 수동으로 분류한다. 검증 로트의 정확도가 트레이닝 로트 이하인 경우, 트레이닝 분류기는 생산을 위해 사용될 수도 있다. 그렇지 않으면, 검증 분류기는 생산을 위해 사용될 수도 있다. 생산 단계에서, 분류기의 기여도가 모니터링될 수도 있다. 오퍼레이터는 비 기여도 빈(non-contribution bin)(예를 들면, 저 신뢰도 결함)을 분류할 수도 있다. 신뢰도가 미리 정의된 임계치 아래로 떨어지면, 트레이닝 단계가 다시 수행될 수도 있다.
그러나, 결함 분류기 생성 및 모니터링을 위한 현재 수행되는 방법에는 다수의 단점이 있다. 예를 들면, 분류기 생성 및 모니터링 프로세스는 번거롭고 팹(fab)에서의 동적인 결함 변화에 대해 상대적으로 빠른 응답을 제공할 수 없다. 또한, 유저는 제1 분류기가 생성되기 이전에 적어도 2×M 개의 로트를 대기해야 한다. 더구나, 트레이닝 및 검증 단계 동안, 모든 결함은 수동으로 분류될 필요가 있고 어떠한 지원식 수동 분류(assisted manual classification)도 제공되지 않는다. 또한, 결함 시프트 또는 일탈이 있는 경우, 유저는 새로운 분류기가 생산으로 릴리스되는(released) 적어도 M 개의 로트를 기다릴 필요가 있다. 또한, 트레이닝 세트는 심각하게 균형이 맞지 않을 수도 있고 강력한 분류기를 생성하기에 충분히 양호하지 않을 수도 있다. 많은 경우에, 트레이닝 세트는 90 %의 방해물(nuisance)이 포함되며 트레이닝 세트의 10 %만이 주목하는 결함(defect of interest; DOI)을 포함한다. 따라서, 결함의 수는 강건한 분류기를 생성하기에 충분하지 않다. 현재 사용되는 방법 및 시스템은 또한, 분류기의 강건성(robustness)을 결정하기 위한 방법을 갖고 있지 않다.
따라서, 상기에서 설명되는 단점 중 하나 이상을 가지지 않는 적응성 자동 결함 분류기를 사용하여 시료 상의 결함을 분류하기 위한 시스템 및/또는 방법을 개발하는 것이 유익할 것이다.
다양한 실시형태의 다음의 설명은, 첨부된 청구범위의 주제를 어떤 식으로든 제한하는 것으로 해석되지 않아야 한다.
하나의 실시형태는 적응성 자동 결함 분류기를 사용하여 시료 상의 결함을 분류하도록 구성되는 시스템에 관한 것이다. 그 시스템은 적어도 에너지 소스 및 검출기를 포함하는 출력 획득 서브시스템을 포함한다. 에너지 소스는 시료로 지향되는 에너지를 생성하도록 구성된다. 검출기는 시료로부터 에너지를 검출하도록 그리고 검출된 에너지에 응답하는 출력을 생성하도록 구성된다. 시스템은 또한, 검출기에 의해 생성된 출력에 기초하여 시료 상의 결함을 검출하고 그에 의해 제1 로트 결과를 생성하도록 구성되는 하나 이상의 컴퓨터 서브시스템을 포함한다. 하나 이상의 컴퓨터 서브시스템은 또한, 클러스터링 방법을 사용하여 결함을 상이한 그룹으로 분리하도록 그리고 상이한 그룹의 각각에 대한 분류를 유저로부터 수신하도록 구성된다. 또한, 컴퓨터 서브시스템(들)은, 수신된 분류 및 제1 로트 결과의 모든 결함을 포함하는 결함의 트레이닝 세트에 기초하여 결함 분류기를 생성하도록 구성된다. 컴퓨터 서브시스템(들)은 또한, 다른 시료에 대해 검출기에 의해 생성되는 추가적인 출력에 기초하여 시료와 동일한 타입의 다른 시료 상에서 추가적인 결함을 검출하고 그에 의해 추가적인 로트 결과를 생성하도록 구성된다. 컴퓨터 서브시스템(들)은 또한, 제1 및 추가적인 로트 결과를 결합하여 누적 로트 결과를 생성하도록 그리고 생성된 결함 분류기를 누적 로트 결과의 결함에 적용하는 것에 의해 누적 로트 결과의 결함을 분류하도록 구성된다. 또한, 컴퓨터 서브시스템(들)은, 추가적인 로트 결과의 결함 중 임의의 것이 신뢰도 임계치 미만인 신뢰도 값을 갖는지를 결정하도록 구성된다. 컴퓨터 서브시스템(들)은 또한, 추가적인 로트 결과의 결함 중 하나 이상이 신뢰도 임계치 미만인 신뢰도 값을 갖는 경우, 하나 이상의 결함에 대한 하나 이상의 분류를 유저로부터 수신하도록 그리고 트레이닝 세트를 수정하여 하나 이상의 결함 및 하나 이상의 분류를 포함하도록 구성된다. 또한, 컴퓨터 서브시스템(들)은, 수정된 트레이닝 세트에 기초하여 결함 분류기를 수정하도록 그리고 수정된 결함 분류기를 사용하여 누적 로트 결과의 결함을 분류하도록 구성된다. 컴퓨터 서브시스템(들)은 또한, 누적 로트 결과의 모든 결함이 유저에 의해 분류되거나 또는 추가적인 로트 결과의 결함 중 어느 것도 신뢰도 임계치 미만인 신뢰도 값을 갖지 않는 경우, 적응성 분류기 생성을 완료하도록 구성된다. 시스템은 또한, 본원에서 설명되는 바와 같이 구성될 수도 있다.
다른 실시형태는 적응성 자동 결함 분류기를 사용하여 시료 상의 결함을 분류하기 위한 컴퓨터 구현 방법에 관한 것이다. 그 방법은 상기에서 설명되는 하나 이상의 컴퓨터 서브시스템의 기능의 각각에 대한 단계를 포함한다. 방법의 단계는 하나 이상의 컴퓨터 서브시스템에 의해 수행된다. 그 방법은 본원에서 추가로 설명되는 바와 같이 수행될 수도 있다. 또한, 그 방법은 본원에서 설명되는 임의의 다른 방법(들)의 임의의 다른 단계(들)를 포함할 수도 있다. 더구나, 그 방법은 본원에서 설명되는 시스템 중 임의의 것에 의해 수행될 수도 있다.
추가적인 실시형태는, 적응성 자동 결함 분류기를 사용하여 시료 상의 결함을 분류하기 위한 컴퓨터 구현 방법을 수행하기 위한 컴퓨터 시스템 상에서 실행가능한 프로그램 명령어를 저장하는 비일시적 컴퓨터 판독가능 매체에 관한 것이다. 컴퓨터 구현 방법은 상기에서 설명되는 방법의 단계를 포함한다. 컴퓨터 판독가능 매체는 또한, 본원에서 설명되는 바와 같이 구성될 수도 있다. 컴퓨터 구현 방법의 단계는 본원에서 추가로 설명되는 바와 같이 수행될 수도 있다. 또한, 프로그램 명령어가 실행 가능한 컴퓨터 구현 방법은 본원에서 설명되는 임의의 다른 방법(들)의 임의의 다른 단계(들)를 포함할 수도 있다.
본 발명의 다른 목적 및 이점은, 하기의 상세한 설명을 읽으면 그리고 첨부의 도면을 참조하면 명확해질 것인데, 첨부의 도면에서:
도 1 및 도 2는, 본원에서 설명되는 바와 같이 구성되는 시스템의 실시형태의 측면도를 예시하는 개략도이다;
도 3은 적응성 자동 결함 분류기를 사용하여 결함을 분류하기 위한 본원에서 설명되는 하나 이상의 컴퓨터 서브시스템 실시형태에 의해 수행될 수도 있는 단계의 하나의 실시형태를 예시하는 흐름도이다;
도 4는, 데이터 중복 스코어를 결정하기 위한 본원에서 설명되는 하나 이상의 컴퓨터 서브시스템 실시형태에 의해 수행될 수도 있는 단계의 하나의 실시형태를 예시하는 흐름도이다;
도 5는, 신규의 결함 검출을 위한 본원에서 설명되는 하나 이상의 컴퓨터 서브시스템 실시형태에 의해 수행될 수도 있는 단계의 하나의 실시형태를 예시하는 흐름도이다;
도 6은, 결함 분류기의 순서(sequence)에 의한 결함 분류를 위한 본원에서 설명되는 하나 이상의 컴퓨터 서브시스템 실시형태에 의해 수행될 수도 있는 단계의 하나의 실시형태를 예시하는 흐름도이다;
도 7은, 본원에서 설명되는 컴퓨터 구현 방법 중 하나 이상을 수행하기 위한 컴퓨터 시스템 상에서 실행 가능한 프로그램 명령어를 저장하는 비일시적 컴퓨터 판독 가능 매체의 하나의 실시형태를 예시하는 블록도이다.
본 발명이 다양한 수정예 및 대안적 형태를 허용할 수 있지만, 본 발명의 특정한 실시형태가 예로서 도면에서 도시되고 본원에서 상세히 설명될 것이다. 그러나, 도면 및 도면에 대한 상세한 설명은 본 발명을 개시되는 특정한 형태로 제한하도록 의도되는 것은 아니며, 오히려, 본 발명은 첨부된 청구범위에 의해 정의되는 바와 같은 본 발명의 취지와 범위 내에 속하는 모든 수정예, 등가예 및 대안예를 포괄할 것이다는 것이 이해되어야 한다.
이제, 도면을 참조하면, 도면은 일정한 비율로 묘사되지 않는다는 것을 유의한다. 특히, 도면의 엘리먼트 중 몇몇의 스케일은 그 엘리먼트의 특성을 강조하기 위해 크게 과장된다. 도면은 동일한 비율로 묘사되지 않는다는 것을 또한 유의한다. 유사하게 구성될 수도 있는 하나보다 많은 도면에서 도시되는 엘리먼트는, 동일한 참조 부호를 사용하여 나타내어진다. 본원에서 달리 언급되지 않는 한, 설명되고 도시되는 엘리먼트 중 임의의 것은 임의의 적절한 상업적으로 이용 가능한 엘리먼트를 포함할 수도 있다.
하나의 실시형태는 적응성 자동 결함 분류기를 사용하여 시료 상의 결함을 분류하도록 구성되는 시스템에 관한 것이다. 본 실시형태는 반도체 제조 프로세스의 동적인 환경에 적응하도록 자동 결함 분류(ADC)를 위한 결함 분류기를 동적으로 업데이트 및 모니터링하기 위한 적응 전략을 제공한다. 실시형태는 또한 적응 전략을 사용하여 생성되는 데이터 중복 스코어(data redundancy score; DRS)를 제공하는데, 여기서 DRS는 분류기 트레이닝 정확도와 연계하여 사용되어 분류기의 강건성을 결정할 수 있다.
하나의 실시형태에서, 시료는 웨이퍼를 포함한다. 다른 실시형태에서, 시료는 레티클을 포함한다. 웨이퍼 및 레티클은 기술 분야에서 공지되어 있는 웨이퍼 및 레티클을 포함할 수도 있다.
이러한 시스템의 하나의 실시형태는 도 1에서 도시된다. 그 시스템은 적어도 에너지 소스 및 검출기를 포함하는 출력 획득 서브시스템을 포함한다. 에너지 소스는 시료로 지향되는 에너지를 생성하도록 구성된다. 검출기는 시료로부터 에너지를 검출하도록 그리고 검출된 에너지에 응답하는 출력을 생성하도록 구성된다.
하나의 실시형태에서, 시료로 지향되는 에너지는 광을 포함하고, 시료로부터 검출되는 에너지는 광을 포함한다. 예를 들면, 도 1에서 도시되는 시스템의 실시형태에서, 출력 획득 서브시스템(10)은 시료(14)에 광을 지향시키도록 구성되는 조명 서브시스템을 포함한다. 조명 서브시스템은 적어도 하나의 광원을 포함한다. 예를 들면, 도 1에서 도시되는 바와 같이, 조명 서브시스템은 광원(16)을 포함한다. 하나의 실시형태에서, 조명 서브시스템은 하나 이상의 입사각에서 시료에 광을 지향시키도록 구성되는데, 하나 이상의 입사각은 하나 이상의 경사각(oblique angle) 및/또는 하나 이상의 수직각(normal angle)을 포함할 수도 있다. 예를 들면, 도 1에서 도시되는 바와 같이, 광원(16)으로부터의 광은 광학 엘리먼트(18)와 그 다음 렌즈(20)를 통해 빔 스플리터(21)로 지향되는데, 빔 스플리터(21)는 수직의 입사각에서 광을 시료(14)로 지향시킨다. 입사각은 임의의 적절한 입사각을 포함할 수도 있는데, 임의의 적절한 입사각은, 예를 들면, 시료 및 시료 상에서 검출될 결함의 특성에 의존하여 변할 수도 있다.
조명 서브시스템은 상이한 시간에 상이한 입사각에서 시료에 광을 지향시키도록 구성될 수도 있다. 예를 들면, 출력 획득 서브시스템은, 도 1에서 도시되는 것과는 상이한 입사각에서 광이 시료로 지향될 수 있도록, 조명 서브시스템의 하나 이상의 엘리먼트의 하나 이상의 특성을 변경하도록 구성될 수도 있다. 하나의 이러한 예에서, 출력 획득 서브시스템은, 광이 상이한 입사각에서 시료로 지향되도록, 광원(16), 광학 엘리먼트(18), 및 렌즈(20)를 이동시키게끔 구성될 수도 있다.
몇몇 경우에, 출력 획득 서브시스템은 동시에 하나보다 많은 입사각에서 광을 시료로 지향시키도록 구성될 수도 있다. 예를 들면, 조명 서브시스템은 하나보다 많은 조명 채널을 포함할 수도 있고, 조명 채널 중 하나는 도 1에서 도시되는 바와 같이 광원(16), 광학 엘리먼트(18), 및 렌즈(20)를 포함할 수도 있고, 조명 채널 중 다른 것(도시되지 않음)은, 상이하게 또는 동일하게 구성될 수도 있는 유사한 엘리먼트를 포함할 수도 있거나, 또는 적어도 광원 및 어쩌면 본원에서 추가로 설명되는 것과 같은 하나 이상의 다른 컴포넌트를 포함할 수도 있다. 이러한 광이 다른 광과 동일한 시간에 시료로 지향되면, 상이한 입사각에서 시료로 지향되는 광의 하나 이상의 특성(예를 들면, 파장, 편광, 등등)은, 상이한 입사각에서 시료의 조명으로부터 유래하는 광이 검출기(들)에서 서로 구별될 수 있도록, 상이할 수도 있다.
다른 경우에, 조명 서브시스템은 단지 하나의 광원(예를 들면, 도 1에서 도시되는 소스(16))을 포함할 수도 있고, 광원으로부터의 광은 조명 서브시스템의 하나 이상의 광학 엘리먼트(도시되지 않음)에 의해 (예를 들면, 파장, 편광, 등등에 기초하여) 상이한 광학 경로로 분리될 수도 있다. 그 다음, 상이한 광학 경로의 각각에서의 광은 시료로 지향될 수도 있다. (예를 들면, 시료를 순차적으로 조명하기 위해 상이한 조명 채널이 사용되는 경우) 동시에 또는 상이한 시간에 광을 시료에 지향시키기 위해, 다수의 조명 채널이 구성될 수도 있다. 다른 경우에, 동일한 조명 채널은, 상이한 시간에 상이한 특성을 가지고 시료에 광을 지향시키도록 구성될 수도 있다. 예를 들면, 몇몇 경우에, 광학 엘리먼트(18)는 스펙트럼 필터로서 구성될 수도 있고, 스펙트럼 필터의 속성(property)은, 광의 상이한 파장이 상이한 시간에 시료로 지향될 수 있도록, 여러 가지 상이한 방식으로(예를 들면, 스펙트럼 필터를 교환하는 것에 의해) 변경될 수 있다. 조명 서브시스템은, 상이한 또는 동일한 특성을 갖는 광을 상이한 또는 동일한 입사각에서 순차적으로 또는 동시적으로 시료로 지향시키기 위한 기술 분야에서 공지되어 있는 임의의 다른 적절한 구성을 구비할 수도 있다.
하나의 실시형태에서, 광원(16)은 광대역 플라즈마(broadband plasma; BBP) 광원을 포함할 수도 있다. 이 방식에서, 광원에 의해 생성되며 시료로 지향되는 광은 광대역 광을 포함할 수도 있다. 그러나, 광원은 레이저와 같은 임의의 다른 적절한 광원을 포함할 수도 있다. 레이저는 기술 분야에서 공지되어 있는 임의의 적절한 레이저를 포함할 수도 있고 기술 분야에서 공지되어 있는 임의의 적절한 파장 또는 파장들에서 광을 생성하도록 구성될 수도 있다. 또한, 레이저는 단색성인(monochromatic) 또는 거의 단색성인 광을 생성하도록 구성될 수도 있다. 이 방식에서, 레이저는 협대역(narrowband) 레이저일 수도 있다. 광원은 또한, 다수의 별개의 파장 또는 파장 대역(waveband)에서 광을 생성하는 다색성 광원(polychromatic light source)을 포함할 수도 있다.
광학 엘리먼트(18)로부터의 광은 렌즈(20)에 의해 빔 스플리터(21)로 집광될 수도 있다. 비록 렌즈(20)가 도 1에서 단일의 굴절성 광학 엘리먼트로서 도시되지만, 렌즈(20)는, 실제로는, 조합하여 광학 엘리먼트로부터의 광을 시료로 집광시키는 다수의 굴절성 및/또는 반사성 광학 엘리먼트를 포함할 수도 있다는 것이 이해되어야 한다. 도 1에서 도시되며 본원에서 설명되는 조명 서브시스템은 임의의 다른 적절한 광학 엘리먼트(도시되지 않음)를 포함할 수도 있다. 이러한 광학 엘리먼트의 예는, 기술 분야에서 공지되어 있는 임의의 이러한 적절한 광학 엘리먼트를 포함할 수도 있는, 편광 컴포넌트(들), 스펙트럼 필터(들), 공간 필터(들), 반사성 광학 엘리먼트(들), 아포다이저(apodizer)(들), 빔 스플리터(들), 어퍼쳐(들), 및 등등을 포함하지만, 그러나 이들로 제한되지는 않는다. 또한, 시스템은, 출력 획득을 위해 사용될 조명의 타입에 기초하여 조명 서브시스템의 엘리먼트 중 하나 이상을 변경하도록 구성될 수도 있다.
출력 획득 서브시스템은 또한, 광으로 하여금 시료에 걸쳐 스캐닝되게 하도록 구성되는 스캐닝 서브시스템을 포함할 수도 있다. 예를 들면, 출력 획득 서브시스템은 출력 획득 동안 시료(14)가 배치되는 스테이지(22)를 포함할 수도 있다. 스캐닝 서브시스템은, 광이 시료에 걸쳐 스캐닝될 수 있도록, 시료를 이동시키도록 구성될 수 있는 임의의 적절한 기계적 및/또는 로봇식 어셈블리(스테이지(22)를 포함함)를 포함할 수도 있다. 또한, 또는 대안적으로, 출력 획득 서브시스템은, 출력 획득 서브시스템의 하나 이상의 광학 엘리먼트가 시료에 대한 광의 일부 스캐닝을 수행하도록 구성될 수도 있다. 광은 임의의 적절한 방식으로 시료에 대해 스캐닝될 수도 있다.
출력 획득 서브시스템은 하나 이상의 검출 채널을 더 포함한다. 하나 이상의 검출 채널 중 적어도 하나는, 시료의 조명에 기인하는 시료로부터의 광을 출력 획득 서브시스템에 의해 검출하도록 그리고 검출된 광에 응답하는 출력을 생성하도록 구성되는 검출기를 포함한다. 예를 들면, 도 1에서 도시되는 출력 획득 서브시스템은 두 개의 검출 채널을 포함하는데, 하나는 콜렉터(24), 엘리먼트(26), 및 검출기(28)에 의해 형성되고 다른 하나는 콜렉터(30), 엘리먼트(32), 및 검출기(34)에 의해 형성된다. 도 1에서 도시되는 바와 같이, 두 개의 검출 채널은 상이한 수집각에서 광을 수집 및 검출하도록 구성된다. 몇몇 경우에, 하나의 검출 채널은 거울 반사된(specularly reflected) 광을 검출하도록 구성되고, 다른 검출 채널은 시료로부터 거울 반사(예를 들면, 산란, 회절, 등등)되지 않는 광을 검출하도록 구성된다. 그러나, 검출 채널 중 둘 이상은, 시료로부터 동일한 타입의 광(예를 들면, 거울 반사된 광)을 검출하도록 구성될 수도 있다. 비록 두 개의 검출 채널을 포함하는 출력 획득 서브시스템의 한 실시형태를 도 1이 도시하지만, 출력 획득 서브시스템은 상이한 수의 검출 채널(예를 들면, 단지 하나의 검출 채널 또는 두 개 이상의 검출 채널)을 포함할 수도 있다. 비록 콜렉터의 각각이 도 1에서 단일의 굴절성 광학 엘리먼트로서 도시되지만, 콜렉터의 각각은 하나 이상의 굴절성 광학 엘리먼트(들) 및/또는 하나 이상의 반사성 광학 엘리먼트(들)를 포함할 수도 있다는 것이 이해되어야 한다.
하나 이상의 검출 채널은 기술 분야에서 공지되어 있는 임의의 적절한 검출기를 포함할 수도 있다. 예를 들면, 검출기는, 광 증배관(photo-multiplier tube; PMT), 전하 결합 소자(charge coupled device; CCD) 및 시간 지연 통합(time delay integration; TDI) 카메라를 포함할 수도 있다. 검출기는 또한 기술 분야에서 공지되어 있는 임의의 다른 적절한 검출기를 포함할 수도 있다. 검출기는 또한, 비이미징(non-imaging) 검출기 또는 이미징(imaging) 검출기를 포함할 수도 있다. 이 방식에서, 검출기가 비이미징 검출기이면, 검출기의 각각은, 강도와 같은 산란된 광의 소정의 특성을 검출하도록 구성될 수도 있지만, 그러나 이미징 면 내에서의 위치의 함수와 같은 특성을 검출하도록 구성되지는 않을 수도 있다. 이와 같이, 출력 획득 시스템의 검출 채널의 각각에 포함되는 검출기의 각각에 의해 생성되는 출력은 신호 또는 데이터일 수도 있지만, 그러나 이미지 신호 또는 이미지 데이터는 아닐 수도 있다. 이러한 경우에, 시스템의 컴퓨터 서브시스템(36)과 같은 컴퓨터 서브시스템은, 검출기의 비이미징 출력으로부터 시료의 이미지를 생성하도록 구성될 수도 있다. 그러나, 다른 경우에, 검출기는, 이미징 신호 또는 이미지 데이터를 생성하도록 구성되는 이미징 검출기로서 구성될 수도 있다. 따라서, 시스템은 본원에서 설명되는 출력을 다수의 방식으로 생성하도록 구성될 수도 있다.
도 1은, 본원에서 설명되는 시스템 실시형태에 포함될 수도 있는 출력 획득 서브시스템의 구성을 일반적으로 예시하기 위해 본원에서 제공된다는 것을 유의한다. 명백하게, 본원에서 설명되는 출력 획득 서브시스템 구성은, 상업적 검사 또는 결함 검토 시스템을 설계할 때 일반적으로 수행되는 시스템의 성능을 최적화하도록 변경될 수도 있다. 또한, 본원에서 설명되는 시스템은, KLA-Tencor로부터 상업적으로 입수 가능한 28xx 및 29xx 시리즈의 툴 및 다른 출처로부터 상업적으로 입수 가능한 다른 툴과 같은 광학 검사 및/또는 결함 검토 툴과 같은 현존하는 출력 획득 시스템을 사용하여 (예를 들면, 본원에서 설명되는 기능성을 현존하는 출력 획득 시스템에 추가하는 것에 의해) 구현될 수도 있다. 몇몇 이러한 시스템에 대해, 본원에서 설명되는 방법은 시스템의 옵션적인 기능성으로서 (예를 들면, 시스템의 다른 기능성에 추가하여) 제공될 수도 있다. 대안적으로, 본원에서 설명되는 시스템은, 완전히 새로운 시스템을 제공하기 위해 "맨 처음부터(from scratch)" 설계될 수도 있다.
시스템의 컴퓨터 서브시스템(36)은, 컴퓨터 서브시스템이 시료의 스캐닝 동안 검출기에 의해 생성되는 출력을 수신할 수 있도록, (예를 들면, "유선" 및/또는 "무선" 송신 매체를 포함할 수도 있는 하나 이상의 송신 매체를 통해) 임의의 적절한 방식으로 출력 획득 서브시스템의 검출기에 커플링될 수도 있다. 컴퓨터 서브시스템(36)은 본원에서 설명되는 바와 같은 검출기의 출력 및 본원에서 추가로 설명되는 임의의 다른 기능을 사용하여 다수의 기능을 수행하도록 구성될 수도 있다. 이 컴퓨터 서브시스템은 또한, 본원에서 설명되는 바와 같이 구성될 수도 있다.
이 컴퓨터 서브시스템(뿐만 아니라 본원에서 설명되는 다른 컴퓨터 서브시스템)은 또한, 본원에서 컴퓨터 시스템(들)으로 칭해질 수도 있다. 본원에서 설명되는 컴퓨터 서브시스템(들) 또는 시스템(들)의 각각은, 퍼스널 컴퓨터 시스템, 이미지 컴퓨터, 메인프레임 컴퓨터 시스템, 워크스테이션, 네트워크 어플라이언스, 인터넷 어플라이언스, 또는 다른 디바이스를 비롯한 다양한 형태를 취할 수도 있다. 일반적으로, 용어 "컴퓨터 시스템"은, 메모리 매체로부터의 명령어를 실행하는 하나 이상의 프로세서를 구비하는 임의의 디바이스를 포괄하도록 광의적으로 정의될 수도 있다. 컴퓨터 서브시스템(들) 또는 시스템(들)은 또한, 병렬 프로세서와 같은 기술 분야에서 공지되어 있는 임의의 적절한 프로세서를 포함할 수도 있다. 또한, 컴퓨터 서브시스템(들) 또는 시스템(들)은, 고속 프로세싱 및 소프트웨어를, 독립형의 또는 네트워크화된 툴로서 갖는 컴퓨터 플랫폼을 포함할 수도 있다.
시스템이 하나보다 많은 컴퓨터 서브시스템을 포함하면, 상이한 컴퓨터 서브시스템은, 이미지, 데이터, 정보, 명령어, 등등이, 본원에서 추가로 설명되는 바와 같이 컴퓨터 서브시스템 사이에서 전송될 수 있도록, 서로 커플링될 수도 있다. 예를 들면, 컴퓨터 서브시스템(36)은, (도 1에서 점선에 의해 도시되는 바와 같이) 임의의 적절한 송신 매체에 의해 컴퓨터 서브시스템(들)(102)에 커플링될 수도 있는데, 임의의 적절한 송신 매체는 기술 분야에서 공지되어 있는 임의의 적절한 유선 및/또는 무선 송신 매체를 포함할 수도 있다. 이러한 컴퓨터 서브시스템 중 두 개 이상은 또한, 공유된 컴퓨터 판독가능 저장 매체(도시되지 않음)에 의해 효과적으로 커플링될 수도 있다.
비록 출력 획득 서브시스템이 광학 또는 광 기반의 출력 획득 서브시스템인 것으로서 상기에서 설명되지만, 출력 획득 서브시스템은 전자 빔 기반의 출력 획득 서브시스템일 수도 있다. 예를 들면, 하나의 실시형태에서, 시료로 지향되는 에너지는 전자를 포함하고, 시료로부터 검출되는 에너지는 전자를 포함한다. 이러한 방식에서, 에너지 소스는 전자 빔 소스일 수도 있다. 도 2에서 도시되는 하나의 이러한 실시형태에서, 출력 획득 서브시스템은 컴퓨터 서브시스템(124)에 커플링되는 전자 칼럼(122)을 포함한다.
또한 도 2에서 도시되는 바와 같이, 전자 칼럼은, 하나 이상의 엘리먼트(130)에 의해 시료(128)로 집속되는 전자를 생성하도록 구성되는 전자 빔 소스(126)를 포함한다. 전자 빔 소스는, 예를 들면, 캐소드 소스 또는 이미터 팁을 포함할 수도 있고, 하나 이상의 엘리먼트(130)는, 예를 들면, 건 렌즈(gun lens), 애노드, 빔 제한용 어퍼쳐(beam limiting aperture), 게이트 밸브, 빔 전류 선택 어퍼쳐, 대물 렌즈, 및 스캐닝 서브시스템을 포함할 수도 있는데, 이들 모두는 기술 분야에서 공지되어 있는 임의의 그러한 적절한 엘리먼트를 포함할 수도 있다.
시료로부터 되돌아오는 전자(예를 들면, 이차 전자)는 하나 이상의 엘리먼트(132)에 의해 검출기(134)로 집속될 수도 있다. 하나 이상의 엘리먼트(132)는, 예를 들면, 스캐닝 서브시스템을 포함할 수도 있는데, 스캐닝 서브시스템은 엘리먼트(들)(130)에 포함되는 동일한 스캐닝 서브시스템일 수도 있다.
전자 칼럼은 기술 분야에서 공지되어 있는 임의의 다른 적절한 엘리먼트를 포함할 수도 있다. 또한, 전자 칼럼은 또한, 2014년 4월 4일자로 Jiang 등등에게 발행된 미국 특허 제8,664,594호, 2014년 4월 8일자로 Kojima 등등에게 발행된 미국 특허 제8,692,204호, 2014년 4월 15일자로 Gubbens 등등에게 발행된 미국 특허 제8,698,093호, 및 2014년 5월 6일자로 MacDonald 등등에게 발행된 미국 특허 제8,716,662호에서 설명되는 바와 같이 구성될 수도 있는데, 이들 특허는 참조에 의해 마치 본원에서 완전히 개시되는 것처럼 통합된다.
전자가 비스듬한 입사각에서 시료로 지향되도록 그리고 다른 비스듬한 각도에서 시료로부터 산란되도록 구성되는 것으로 전자 칼럼이 도 2에서 도시되지만, 전자 빔은 임의의 적절한 각도에서 시료로 지향될 수도 있고 시료로부터 산란될 수도 있다는 것이 이해되어야 한다. 또한, 전자 빔 기반의 서브시스템은, (예를 들면, 상이한 조명 각도, 수집 각도, 등등을 사용하여) 시료의 이미지를 생성하기 위해 다수의 모드를 사용하도록 구성될 수도 있다. 전자 빔 기반의 서브시스템의 다수의 모드는 서브시스템의 임의의 이미지 생성 파라미터에서 상이할 수도 있다.
컴퓨터 서브시스템(124)은 상기에서 설명되는 바와 같이 검출기(134)에 커플링될 수도 있다. 검출기는 시료의 표면으로부터 되돌아오는 전자를 검출하고 그에 의해 시료의 전자 빔 이미지를 형성할 수도 있다. 전자 빔 이미지는 임의의 적절한 전자 빔 이미지를 포함할 수도 있다. 컴퓨터 서브시스템(124)은 검출기의 출력 및/또는 전자 빔 이미지를 사용하여 본원에서 설명되는 기능 중 임의의 것을 수행하도록 구성될 수도 있다. 컴퓨터 서브시스템(124)은 본원에서 설명되는 임의의 추가적인 단계(들)를 수행하도록 구성될 수도 있다. 도 2에서 도시되는 출력 획득 서브시스템을 포함하는 시스템은 또한, 본원에서 설명되는 바와 같이 구성될 수도 있다.
도 2는, 본원에서 설명되는 실시형태에 포함될 수도 있는 전자 빔 기반의 출력 획득 서브시스템의 구성을 일반적으로 예시하기 위해 본원에서 제공된다는 것을 유의한다. 상기에서 설명되는 광 출력 획득 서브시스템에서와 같이, 본원에서 설명되는 전자 빔 기반의 출력 획득 서브시스템 구성은, 상업적 검사 또는 결함 검토 시스템을 설계할 때 일반적으로 수행되는 출력 획득 서브시스템의 성능을 최적화하도록 변경될 수도 있다. 또한, 본원에서 설명되는 시스템은, KLA-Tencor로부터 상업적으로 입수 가능한 eDR-xxxx 시리즈의 툴과 같은 현존하는 결함 검토 시스템을 사용하여 (예를 들면, 현존하는 검사 또는 결함 검토 시스템에 본원에서 설명되는 기능을 추가하는 것에 의해) 구현될 수도 있다. 몇몇 이러한 시스템에 대해, 본원에서 설명되는 방법은 시스템의 옵션적인 기능성으로서 (예를 들면, 시스템의 다른 기능성에 추가하여) 제공될 수도 있다. 대안적으로, 본원에서 설명되는 시스템은, 완전히 새로운 시스템을 제공하기 위해 "맨 처음부터(from scratch)" 설계될 수도 있다.
비록 출력 획득 서브시스템이 광 기반의 또는 전자 빔 기반의 출력 획득 서브시스템인 것으로 상기에서 설명되지만, 출력 획득 서브시스템은 이온 빔 기반의 출력 획득 서브시스템일 수도 있다. 이러한 출력 획득 서브시스템은, 전자 빔 소스가 기술 분야에서 공지되어 있는 임의의 적합한 이온 빔 소스로 대체될 수도 있다는 점을 제외하면, 도 2에 도시되는 바와 같이 구성될 수도 있다. 또한, 출력 획득 서브시스템은, 상업적으로 이용 가능한 집속 이온빔(focused ion beam; FIB) 시스템, 헬륨 이온 현미경(helium ion microscopy; HIM) 시스템, 및 이차 이온 질량 분광기(secondary ion mass spectroscopy; SIMS) 시스템에 포함되는 것과 같은 임의의 다른 적합한 이온빔 기반의 서브시스템일 수도 있다.
상기에서 설명되는 하나 이상의 컴퓨터 서브시스템은, 검출기에 의해 생성되는 출력에 기초하여 시료 상의 결함을 검출하고 그에 의해 제1 로트 결과를 생성하도록 구성된다. 본원에서 설명되는 컴퓨터 서브시스템(들)은 임의의 적절한 방식으로(예를 들면, 출력에 임계치를 적용하고 임계치를 초과하는 하나 이상의 값을 갖는 출력을 결함 또는 잠재적인 결함으로 식별하고 임계치 미만의 하나 이상의 값을 갖는 출력을 결함 또는 잠재적인 결함으로 식별하지 않는 것에 의해) 시료 상의 결함을 검출하도록 구성될 수도 있다. 시료 상에서 검출되는 결함은 기술 분야에서 공지되어 있는 임의의 결함을 포함할 수도 있다. 제1 로트 결과는, 결함 ID, 결함 위치, 속성, 결함에 대응하는 출력, 및 등등과 같은 검출된 결함에 대한 임의의 정보를 포함할 수도 있다. 이러한 방식에서, 본원에서 설명되는 컴퓨터 서브시스템(들)은 로트 결과를 생성할 수도 있다.
그러나, 몇몇 경우에, 컴퓨터 서브시스템(들)이 반드시 로트 결과를 생성하는 것은 아니다. 예를 들면, 컴퓨터 서브시스템(들)은 시료에 대한 로트 결과를 획득하도록 구성될 수도 있다. 유저는 컴퓨터 서브시스템(들)에 의해 사용될 로트 결과 파일을 선택할 수도 있다. 로트 결과는, 검사 프로세스 및/또는 어쩌면 결함 검토 프로세스에 의해 웨이퍼 상에서 검출되는 결함에 대한 정보를 포함한다. 정보는 결함의 하나 이상의 속성에 대한 정보를 포함할 수도 있다. 하나 이상의 결함 속성은, 검사 또는 결함 검토 시스템에 의해 또는 검사 또는 결함 검토 시스템에 의해 생성되는 결과로부터 결정될 수 있는 임의의 결함 속성을 포함할 수도 있다. 본원에서 추가로 설명되는 바와 같이 사용될 수 있는 적절한 결함 속성의 예는, 에너지, 크기, 다이 좌표, 및 설계 속성을 포함하지만, 그러나 이들로 제한되는 것은 아니다. 로트 결과는, 웨이퍼 상에서 검출되는 결함의 위치 및 결함에 대해 생성되는 이미지 데이터 또는 이미지와 같은 웨이퍼 상에서 검출되는 결함에 대한 임의의 다른 적절한 정보를 포함할 수도 있다.
컴퓨터 서브시스템(들)은 또한, 클러스터링 방법을 사용하여 결함을 상이한 그룹으로 분리하도록 구성된다. 예를 들면, 도 3은 적응성 자동 결함 분류를 위해 하나 이상의 컴퓨터 서브시스템에 의해 수행될 수도 있는 단계를 도시한다. 이 도면에 도시되는 바와 같이, 단계는 제1 로트(300)에 기초하여 수행되는 결함 클러스터링(302)을 포함한다. 결함을 그룹화하기 위해 사용되는 결함 클러스터링 방법은, 기술 분야에서 공지되어 있는 임의의 적절한 방식으로 수행될 수도 있는, 자연적인 그룹화(natural grouping) 또는 임의의 다른 적절한 결함 클러스터링 방법(예를 들면, K 평균, 평균 시프트, 예상 최대화(expectation-maximization; EM), 등등)일 수도 있다.
컴퓨터 서브시스템(들)은 또한, 유저로부터 상이한 그룹의 각각에 대한 분류를 수신하도록 구성된다. 예를 들면, 도 3에서 도시되는 바와 같이, 단계는 단계(304)에서 결함을 분류하는 것을 포함할 수도 있다. 이러한 방식에서, 제1 로트 결과에서, 모든 결함은 자연적인 그룹화 또는 다른 클러스터링 방법으로부터의 안내에 따라 유저에 의해 분류될 수도 있다. 예를 들면, 컴퓨터 서브시스템(들)은, 결함 클러스터링(302)의 결과를, 상이한 그룹 각각에 대한 가능한 분류에 대한 제안과 함께, 유저에게 디스플레이할 수도 있다. 그 다음, 유저는 제안 중 하나 이상을 수락할 수도 있고 및/또는 제안된 것과 상이한 분류를 입력할 수도 있다. 이와 같이, 제1 로트에서, 라벨링되지 않은 결함은 클러스터링 방법에 의해 안내 받는 유저에 의해 분류될 수도 있다. 따라서, 상이한 그룹의 결함은 수동으로 분류될 수도 있다. 유저로부터 상이한 그룹의 각각에 대한 분류를 수신하는 것은, 임의의 적절한 방식으로 수행될 수도 있다.
컴퓨터 서브시스템(들)은 또한, 수신된 분류 및 제1 로트 결과의 모든 결함을 포함하는 결함의 트레이닝 세트에 기초하여 결함 분류기를 생성하도록 구성된다. 예를 들면, 도 3의 단계(304)에서 도시되는 바와 같이, 이 단계는 또한 트레이닝 세트를 생성하는 것을 포함할 수도 있다. 트레이닝 세트는 제1 로트의 모든 결함을 사용하여 생성될 수도 있다. 트레이닝 세트는 임의의 적절한 방식으로 생성될 수도 있다. 도 3의 단계(306)에서 추가로 도시되는 바와 같이, 단계는 분류기를 생성하는 것을 포함할 수도 있다. 이러한 방식에서, 분류기는 제1 로트의 결함 데이터 및 분류를 사용하여 생성될 수도 있고, 본원에서 추가로 설명되는 바와 같이, 결함 분류기는 후속 로트(즉, 제2, 제3, 등등의 로트 결과)에 대해 사용될 수 있다.
하나의 실시형태에서, 결함 분류기를 생성하는 것은 자동 신뢰도 임계치를 사용하여 수행된다. 예를 들면, 자동화된 분류기(automated classifier)는, 다음 로트 결과에 대한 지원식 수동 분류를 위해 사용될 수 있는 자동 신뢰도 임계치를 사용하여 생성될 수도 있다. 특히, 자동 신뢰도 임계치를 갖는 분류기를 생성할 때, 예로서 랜덤 포레스트 타입 분류기(random forest type classifier)를 사용하면, 각각의 결함은 아웃 오브 백(out-of-bag) 클래스 코드 및 신뢰도를 할당받을 수도 있다(아웃 오브 백은 교차 검증과 유사함). 각각의 결함 타입에 대해, 신뢰도 임계치는, 그것이 순도 목표(예를 들면, 90 %)에 도달할 때까지, 최소 값(예를 들면, 0.7)으로부터 증가될 수도 있다. 그 다음, 각각의 타입에 대한 신뢰도 임계치가 기록된다. 그러나, 결함 분류기를 생성하는 것은 또한, 기술 분야에서 공지되어 있는 임의의 다른 적절한 방식으로 수행될 수도 있다.
하나의 실시형태에서, 생성된 결함 분류기는 랜덤 포레스트 타입 결함 분류기이다. 랜덤 포레스트 타입 결함 분류기는 기술 분야에서 일반적으로 공지되어 있는 결함 분류기의 타입이다. 일반적으로, 랜덤 포레스트 타입 결함 분류기는 병렬로 동작하는 다수의 의사 결정 트리(decision tree)를 포함한다. 이러한 방식에서, 임의의 하나의 결함이 다수의 의사 결정 트리의 각각으로 입력될 수도 있다. 그 다음, 임의의 하나의 결함에 할당되는 클래스는 (예를 들면, 중재 또는 어떤 다른 기술을 통해) 다수의 의사 결정 트리에 의해 결함에 할당되는 클래스 또는 클래스들에 기초하여 결정될 수도 있다.
추가적인 실시형태에서, 생성된 결함 분류기는 지원 벡터 머신(Supported Vector Machine; SVM) 타입 결함 분류기이다. SVM 타입 분류기는 또한 기술 분야에서 일반적으로 공지되어 있는 결함 분류기의 타입이다. 일반적으로 SVM 타입 결함 분류기는 데이터를 분석하고 분류를 위해 사용되는 패턴을 인식한다. 예를 들면, 결함의 상이한 클래스에 대한 데이터의 트레이닝 세트가 주어지면, 상이한 클래스 중 하나에 새로운 결함을 할당하는 모델이 구축될 수도 있다. SVM 모델은, 상이한 카테고리가 가능한 한 많은 공간에 의해 분할되도록 매핑되는 공간의 점으로서의 트레이닝 세트의 표현이다. 그 다음, SVM 결함 분류기는 새로운 결함을 그 동일한 공간으로 매핑할 수도 있고, 새로운 결함이 위치되는 공간에, 상이한 카테고리 중 어떤 것이 대응하는지에 기초하여 새로운 결함의 분류를 결정할 수도 있다. 이러한 방식에서, 생성된 결함 분류기는 랜덤 포레스트 타입 결함 분류기, SVM 타입 결함 분류기, 또는 기술 분야에서 공지되어 있는 임의의 다른 적절한 타입의 결함 분류기일 수 있다.
컴퓨터 서브시스템(들)은 또한, 다른 시료에 대해 검출기에 의해 생성되는 추가적인 출력에 기초하여 시료와 동일한 타입의 다른 시료 상에서 추가적인 결함을 검출하고 그에 의해 추가적인 로트 결과를 생성하도록 구성된다. 예를 들면, 도 3에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)은 새로운 로트(308)를 생성할 수도 있다. 추가적인 결함은 본원에서 추가로 설명되는 바와 같이 컴퓨터 서브시스템(들)에 의해 검출될 수도 있다. 추가적인 결함은 본원에서 설명되는 결함 중 임의의 것을 포함할 수도 있다.
또한, 컴퓨터 서브시스템(들)은 제1 및 추가적인 로트 결과를 결합하여 누적 로트 결과를 생성하도록 구성된다. 제1 및 추가적인 로트 결과는 임의의 적절한 방식으로 결합될 수도 있다.
컴퓨터 서브시스템(들)은 또한, 생성된 결함 분류기를 누적 로트 결과의 결함에 적용하는 것에 의해 누적 로트 결과의 결함을 분류하도록 구성된다. 예를 들면, 도 3의 단계(310)에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)에 의해 수행되는 단계는 누적 로트의 결함을 분류하는 것을 포함할 수도 있다. 이러한 방식에서, 임의의 새로운 로트에 대해, 모든 이전의 결함과 결합되는 새로운 로트의 결함은, 생성된 결함 분류기를 사용하여 분류된다. 생성된 결함 분류기는 임의의 적절한 방식으로 누적 로트 결과에 적용될 수도 있다.
컴퓨터 서브시스템(들)은 또한, 추가적인 로트 결과의 결함 중 임의의 것이 신뢰도 임계치 미만인 신뢰도 값을 갖는지를 결정하도록 구성된다. 다시 말하면, 컴퓨터 서브시스템(들)은, 추가적인 로트 결과 결함(또는 비 트레이닝 세트 결함) 중 임의의 것이 생성된 결함 분류기에 의해 신뢰도 임계치 미만인 신뢰도를 가지고 분류되고 따라서 신뢰도 임계치 미만인 신뢰도 값을 생성된 결함 분류기에 의해 할당받는지를 결정하도록 구성될 수도 있다. 예를 들면, 도 3의 단계(312)에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)에 의해 수행되는 단계는, 비 트레이닝 세트 결함이 신뢰도 임계치 미만인지를 결정하는 단계를 포함할 수도 있다. 신뢰도 임계치는 자동적으로 또는 (유저에 의해) 수동적으로 결정되는 미리 결정된 임계치일 수도 있고 결함 분류기에 의존하여 변할 수도 있다. 이러한 방식에서, 결함 분류기에 의해 결함의 각각에 할당되는 신뢰도 값은 임계치에 비교되어, 결함 중 임의의 것이 임계치 미만인 신뢰도 값을 할당받았는지를 결정할 수도 있다.
또한, 누적 로트 결과의 모든 결함이 유저에 의해 분류되는 경우 또는 추가적인 로트 결과의 결함(또는 비 트레이닝 세트 결함) 중 어느 것도 신뢰도 임계치 미만인 신뢰도 값을 갖지 않는 경우, 컴퓨터 서브시스템(들)에 의해 수행되는 단계는, 도 3의 단계(314)에서 나타내어지는 바와 같이, (예를 들면, 다른 새로운 로트가 생성될 때까지) 적응성 자동 결함 분류를 종료하는 것을 포함할 수도 있다.
컴퓨터 서브시스템(들)은 또한, 추가적인 로트 결과의 결함 중 하나 이상이 신뢰도 임계치 미만인 신뢰도 값을 갖는 경우, 하나 이상의 결함에 대한 하나 이상의 분류를 유저로부터 수신하도록 그리고 트레이닝 세트를 수정하여 하나 이상의 결함 및 하나 이상의 분류를 포함하도록 구성된다. 예를 들면, 도 3의 단계(316)에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)에 의해 수행되는 단계는 낮은 신뢰도 결함을 분류하는 것 및 낮은 신뢰도 결함을 트레이닝 세트에 추가하는 것을 포함한다. 특히, 신뢰도 임계치 미만인 결함이 존재하는 경우, 유저는 이들 결함을 지원식 수동 분류를 사용하여 분류할 수도 있고 이들 결함은 트레이닝 세트에 추가된다. 지원식 수동 분류의 하나의 예에서, 결함이 미지의 타입의 결함인 경우, 유저는 본원에서 설명되는 실시형태로부터 결함 타입 제안을 제공받을 수도 있고, 그 다음, (예를 들면, 결함 타입 제안을 선택 또는 확인하는 것에 의해 및/또는 새로운 상이한 결함 타입을 입력하는 것에 의해) 결함 타입을 입력할 것을 요청 받을 수도 있다.
컴퓨터 서브시스템(들)은 또한, 수정된 트레이닝 세트에 기초하여 결함 분류기를 수정하도록 구성된다. 예를 들면, 자동화된 분류기는 새로운 트레이닝 세트를 사용하여 재생성될 수도 있다. 하나의 그러한 예에서, 수정된 트레이닝 세트는 도 3에서 도시되는 단계(306)에 입력될 수도 있고, 단계(306)는 수정된 트레이닝 세트를 사용하여 반복되어 결함 분류기의 수정된 버전을 생성할 수도 있다. 이들 단계는, 신뢰도 임계치 미만의 모든 결함이 오퍼레이터에 의해 수동으로 분류될 때까지, 반복될 수도 있다. 또한, 이들 단계는 본원에서 추가로 설명되는 바와 같이 수행될 수도 있다.
또한, 컴퓨터 서브시스템(들)은 수정된 결함 분류기를 사용하여 누적 로트 결과의 결함을 분류하도록 구성된다. 수정된 결함 분류기를 사용하여 결함을 분류하는 것은 본원에서 추가로 설명되는 바와 같이 수행될 수도 있다. 또한, 컴퓨터 서브시스템(들)은 수정된 결함 분류기를 사용하여 추가적인 누적 로트 결과의 결함을 분류하도록 구성될 수도 있다. 수정된 결함 분류기를 사용하여 추가적인 누적 로트 결과의 결함을 분류하는 것은, (예를 들면, 수정된 결함 분류기를 추가적인 누적 로트 결과에 적용하는 것에 의해) 본원에서 추가로 설명되는 바와 같이 수행될 수도 있다. 추가적인 누적 로트 결과는 제1 로트 결과, 추가적인 로트 결과, 및 본원에서 설명되는 바와 같이 생성될 수도 있는 임의의 다른 추가적인 로트 결과를 포함할 수도 있다. 이 방식에서, 수정된 결함 분류기는, 그 시점까지 생성된 모든 로트 결과를 포함하는 다른 새로운 누적 로트 결과를 분류하기 위해 사용될 수도 있다.
하나의 실시형태에서, 컴퓨터 서브시스템(들)은, 다음의 것에 의해, 데이터 중복 스코어(DRS)를 결정하도록 구성된다: a) 다수의 클래스의 결함의 제1 클래스에 대해, 클러스터링 방법을 사용하여 제1 클래스의 결함의 일부를 선택하는 것 및 결함의 선택된 부분을 제1 클래스에 대한 트레이닝 세트에 추가하는 것. 도 4는 제1 클래스에 대한 DRS를 위해 수행될 수도 있는 단계의 하나의 실시형태를 도시한다. 도 4의 단계(402)에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)은 결함 데이터(400)에 기초한 결함 클러스터링, 제1 클래스로부터의 결함의 선택, 및 제1 클래스에 대한 트레이닝 세트에 선택된 결함을 추가하는 것을 수행할 수도 있다. 이 단계에서, 제1 클래스에 대한 모든 결함 데이터에 대해, 제1 클래스로부터 N 개의 결함을 선택하고 그들을 제1 클래스에 대한 트레이닝 세트에 추가하기 위해, 자연적인 그룹화 또는 다른 클러스터링 방법이 사용될 수도 있다.
DRS를 결정하는 것은 또한 다음을 포함한다: b) 제1 클래스에 대한 트레이닝 세트 및 다수 클래스 중 다른 클래스의 트레이닝 세트를 갖는 자동화된 분류기를 생성하는 것. 예를 들면, 도 4의 단계(404)에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)은 제1 클래스에 대한 트레이닝 세트를 다른 클래스와 결합하도록 구성될 수도 있다. 또한, 도 4의 단계(406)에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)은 분류기를 생성하도록 구성될 수도 있다. 이러한 방식에서, 자동화된 분류기는 제1 클래스 및 모든 다른 클래스에 대한 트레이닝 세트를 사용하여 생성될 수도 있다. 분류기는 본원에서 추가로 설명되는 바와 같이 생성될 수도 있고, 생성된 분류기는 본원에서 설명되는 임의의 분류기 타입을 가질 수도 있다.
또한, DRS를 결정하는 것은 다음을 포함한다: c) 단계 a)에서 선택되지 않은 제1 클래스의 결함의 일부를 자동화된 분류기를 사용하여 분류하는 것. 예를 들면, 도 4의 단계(408)에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)은 제1 클래스의 나머지를 분류하도록 구성될 수도 있다. 특히, 제1 클래스의 나머지는 단계(406)에서 생성되는 분류기를 사용하여 분류될 수도 있다.
/DRS를 결정하는 것은 다음을 더 포함한다: d) 상기 제1 클래스의 임의의 결함이 자동화된 분류기에 의해 미리 정의된 신뢰도 임계치 미만으로 분류되면, 제1 클래스의 미리 결정된 수의 결함을 제1 클래스의 트레이닝 세트에 추가하고 단계 a) 내지 c)를 추가하는 것. 예를 들면, 도 4의 단계(410)에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)은 제1 클래스의 결함이 미리 정의된 신뢰도 임계치 미만으로 분류되는지를 결정하도록 구성될 수도 있는데, 이것은 본원에서 추가로 설명되는 바와 같이 수행될 수도 있다. 또한, 도 4의 단계(412)에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)은 제1 클래스에 대한 트레이닝 세트에 N 개의 낮은 신뢰도 결함을 추가하도록 구성될 수도 있는데, 이것은 본원에서 추가로 설명되는 바와 같이 수행될 수도 있다. 이러한 방식에서, 미리 정의된 임계치(C) 미만인 제1 클래스의 임의의 결함이 있으면, N 개의 결함이 제1 클래스의 트레이닝 세트에 추가될 수도 있고, 컴퓨터 서브시스템은 도 4에서 도시되는 단계(404, 406, 408 및 410)를 반복할 수도 있다. 이 단계에서의 N의 값은 임의의 적절한 값을 포함할 수도 있다.
DRS를 결정하는 것은 또한 다음을 포함한다: e) 제1 클래스의 결함 중 어느 것도 자동화된 분류기에 의해 미리 정의된 신뢰도 임계치 미만으로 분류되지 않으면, 데이터 중복 스코어를 1 - (제1 클래스에 대한 트레이닝 세트의 사이즈)/(제1 클래스의 사이즈)와 동일한 것으로 계산하는 것. 예를 들면, 도 4의 단계(414)에서 도시되는 바와 같이, 미리 정의된 임계치(C) 미만인 제1 클래스의 결함이 존재하지 않으면, 컴퓨터 서브시스템(들)은 DRS = 1 - (제1 클래스에 대한 트레이닝 세트의 사이즈)/(제1 클래스의 사이즈)에 따라 DRS를 계산할 수도 있다. 따라서, DRS는 결함 분류기의 강건성을(즉, 분류기가 충분한 데이터를 사용하여 생성되는지를) 평가하기 위해 사용될 수도 있다. 예를 들면, DRS 스코어가 어떤 미리 정의된 기준(예컨대 하나의 예에서, 0.4 초과)을 충족하는 경우, 분류기가 충분한 데이터를 사용하여 생성되었고 강건하다는 것이 결정될 수도 있다. 그 다음, 분류기는 생산으로 릴리스될 수 있다.
상기에서 설명되는 실시형태는, ADC에 대한 이전에 사용된 방법 및 시스템에 비해 다수의 이점을 갖는다. 예를 들면, 실시형태는 생성된 결함 분류기에 제1 이용 가능한 로트 결과를 제공한다. 생성된 결함 분류기는 지원식 수동 분류를 위해 사용될 수 있다. 이러한 방식에서, 분류기는 훨씬 더 일찍 생산될 수 있고, 고객은 분류기의 기여도를 더 일찍 볼 수 있다. 기여도는 (90 %보다 더 높은 순도를 갖는 결함 타입의 결함의 수)/(총 결함)으로서 정의될 수 있다. 이러한 방식에서, 기여도는 본질적으로, 인간의 검토가 필요하지 않은 결함의 비율이다.
또한, 본원에서 설명되는 실시형태는 결함 특성 및 분류(예를 들면, 결함 파레토(defect pareto)) 및 툴 드리프트(tool drift)에서의 동적 변화에 대한 적응을 제공한다. 특히, 분류기가 모든 새로운 로트에 대해 재트레이닝되기 때문에, 툴, 이미징, 또는 프로세스의 임의의 변화에 대해 현장에서(in situ) 적응할 수 있다. 생성된 분류기는 또한, 결함 데이터의 동적인 변화에 훨씬 빠르게 적응하고, 그에 의해 분류의 진가를 증가시킨다. 이러한 방식에서, 본원에서 설명되는 실시형태는 반도체 제조의 결함 환경에 적응하는 적응형 ADC를 제공한다. 더구나, 본원에서 설명되는 실시형태는, 분류기가 항상 지속적으로 재트레이닝되기 때문에, 트레이닝, 검증 및 생산 단계에 대한 필요성을 제거한다.
또한, 본원에서 설명되는 실시형태는, 수동 검토를 수행하는 데 더 적은 시간이 소요되기 때문에, 소유 비용(cost of ownership)을 향상시킨다. 예를 들면, 제1 로트 결과 이후, 유저는 오로지 신뢰도 임계치 미만인 결함을 분류하기만 하면 되기 때문에, 시간이 지남에 따라, 유저는, 예를 들면, 결함의 20 %(기여도가 80 %인 경우)를 분류하기만 하면 될 것이다. 이러한 방식에서, 본원에서 설명되는 실시형태는, 결함의 상대적으로 작은 부분을 수동으로 검토하는 것에 의해 분류기를 동적으로 업데이트할 수 있다. 따라서, 본원에서 설명되는 실시형태는, 유저가 결함의 상대적으로 작은 부분을 수동으로 검토하기만 하면 되기 때문에, 유저가 툴 소유 비용을 감소시키는 것을 돕는다. 또한, 본원에서 설명되는 실시형태에 의해 제공되는 지원식 수동 분류는 수동 분류 시간을 단축시킨다. 다시 말하면, 본원에서 설명되는 실시형태는, 초기 분류기가 지원식 수동 분류를 위해 사용될 수 있기 때문에, 수동 분류에서 유저를 돕는다.
본원에서 설명되는 실시형태는 또한, 강건하고 더 양호한 분류기를 생성하기 위해 사용될 수 있는 균형 잡힌 트레이닝 세트를 제공한다. 균형 잡힌 트레이닝 세트는, 모든 결함 타입(예를 들면, 10 개의 입자, 10 개의 잔류물(residue), 1 개의 입자와 반대되는 10 개의 스크래치, 1 개의 잔류물, 및 28 개의 스크래치)의 동일한 수(또는 거의 동일한 수)의 예를 포함하는 것일 수도 있다. 예를 들면, 많은 경우에, 결함 데이터에는 90 %보다 많은 방해물을 포함할 수도 있고 이들 방해물 결함은 실질적으로 높은 신뢰도를 가지고 분류된다. 본원에서 설명되는 실시형태에서 신뢰도 임계치 미만으로 떨어지는 결함만이 수동으로 분류되어 트레이닝 세트에 추가되기 때문에, 트레이닝 세트에 더 많은 DOI가 존재할 것이고, 트레이닝 세트의 결함은 더 균형이 잡히게 된다. 균형 잡힌 트레이닝 세트를 사용하여 생성되는 분류기는, 트레이닝 세트가 더욱 균형 잡히게 되고 더 많은 DOI를 포함하기 때문에, 이전 방법에 비해 더욱 강건하고 더 높은 정확도를 갖는다.
본원에서 설명되는 실시형태는 또한, 각각의 클래스에 대한 분류기의 강건성을 결정하기 위해 사용될 수 있는 DRS를 계산 및 제공하기 위해 사용될 수 있다. DRS가 제로보다 더 크면, 그것은, 클래스에 대한 분류기를 생성하기에 충분한 결함 데이터가 이미 존재한다는 것을 나타낸다.
본원에서 설명되는 몇몇 추가적인 실시형태는 툴 드리프트에 기인하는 생산 중의 분류기 열화에 대한 진단으로서 결함 분류기의 결과를 사용한다. 검토를 위해 몇몇 현재 사용되는 ADC 방법은, 결함 검토 툴의 유저에게 ADC를 제공하기 위한 분류기 엔진으로서 랜덤 포레스트 타입 결함 분류기와 같은 분류기를 사용한다. 그러나, 시간이 지남에 따라, 결함 검토 툴의 이미징 조건은, 전자 빔 기반의 툴의 경우에, 빔 전류 및 iRaw(전자 빔 툴의 전지 빔 소스로부터 획득되는 총 전류), 또는 광 기반의 툴의 경우에, 툴에 의해 시료로 지향되는 광 및 툴의 광원에 의해 생성되는 광과 같은 출력 획득 서브시스템의 하나 이상의 파라미터에서의 변화로 인해, 툴에 따라 상당히 변할 수 있는데, 툴 드리프트로 알려져 있는 프로세스이다. 시간 경과에 따른 툴 조건에서의 이러한 변화는, 분류기에 의해 사용되는 속성으로 하여금 시간이 지남에 따라 드리프트하게 하여 분류기 성능 열화로 이어질 수 있다. 예를 들면, iRaw 전류는 이미지 픽셀의 강도/휘도 레벨에, 따라서 어쩌면 이러한 이미지 픽셀로부터 결정되는 임의의 속성에 직접적으로 관련된다. 따라서, 이미지가 유사한 휘도 레벨을 갖는 것을 보장하도록 iRaw 전류를 제어하는 것이 바람직하다.
그러나, 툴 드리프트와 속성 드리프트(attribute drift) 사이의 직접적인 관계는 알려지지 않을 수 있으며 결함 타입, 레이어 배경, 이미징 조건, 등등과 같은 다양한 요인에 의존할 수 있다. 또한, 몇몇 분류기는 다른 분류기와 비교하여 속성 드리프트에 대해 더 강건할 수도 있다. 예를 들면, 결함 타입이 잘 분리된 분류기(classifier)는, 속성 공간에서 분리하기가 더 어려운 결함 타입을 갖는 분류기보다 속성 드리프트에 대해 더 강건할 수도 있다. 더구나, 토포그래피 결함(topographical defects)에만 기초한 분류기가 콘트라스트 기반의 결함에 기초한 분류기에 비해 툴 드리프트에 대해 더욱 안정적인 것으로 밝혀졌는데, 그 이유는, 강도 기반의 속성이 토포그래피 속성에 비해 툴 드리프트에서 더 많이 표류하는 경향이 있기 때문이다.
몇몇 현재 개발 중인 솔루션은, 툴 고전을 명세 내에서 유지되는 것을 보장하기 위한 척도로서 빔 전류 및 iRaw를 직접 모니터링하는 것을 목표로 한다. 예를 들면, 툴 드리프트에 대해 분류기를 보호하기 위해, 전자 빔 기반의 결함 검토 툴 상에서 수행되는 몇몇 현재의 기술은 툴의 빔 전류 및 iRaw를 모니터링한다. 툴이 둘 중 어느 하나 상에서 명세 범위를 밖에 있을 때 수집되는 데이터는, 분류기 트레이닝을 위해 사용되지 않으며, 툴을 명세 안으로 다시 가져가기 위해 교정(calibration)이 트리거된다.
툴 드리프트와 속성 드리프트 사이의 관계가 알려지지 않을 수 있기 때문에, 테스트되고 있는 다른 가능한 기술에서, 교정을 위해 사용되는 표준 웨이퍼에 대해 수동 의사 결정 트리가 생성된다. 의사 결정 트리는 가장 민감한 강도 속성의 범위를 점검하고 속성이 표준 웨이퍼에 대한 범위 내에 있다는 것을 보장한다. 따라서, 표준 웨이퍼에 대한 속성이 명세 내에 있으면, 툴이 생산으로 릴리스될 수도 있다.
그러나, 상기에서 설명되는 접근법에는 다수의 단점이 있다. 예를 들면, 빔 전류 및 iRaw 모니터링 방법에서, 툴 드리프트는 직접적으로 측정되지만 분류기에 대한 툴 드리프트의 영향은 고려하지 않는다. 다시 말하면, iRaw, 빔 전류, 및 평균 그레이 레벨과 같은 툴 파라미터를 모니터링하는 것은 툴 드리프트의 아이디어를 제공할 수도 있지만, 그러나 이 툴 드리프트가 분류기에 영향을 끼치는지 또는 끼치지 않는지의 여부를 아는 것은 가능하지 않을 수도 있다. 이러한 방식에서, 생산 중의 분류기가 툴 드리프트에 대해 상대적으로 안정적인 경우, 빔 전류 및 iRaw가 명세를 벗어나면 불필요한 교정 수행될 수도 있다. 명세는 전역적으로 미리 정의된다. 또한, 생산 중에 사용되는 분류기가 툴 드리프트에 대해 상대적으로 불안정한 경우, 분류기 성능은 열화되었을 수도 있지만 그러나 iRaw 및 빔 전류는 여전히 명세 내에 있을 수도 있다. 따라서, iRaw 및 빔 전류에 대한 전역적 경계를 제공하는 것은, 적절한 경계가 레이어 상의 결함 타입 및 분류기에 따라 변하기 때문에, 비현실적이다. 명세가 너무 엄격하면, 그들은 많은 수의 오경보를 초래할 것이다. 대조적으로, 명세가 너무 느슨하면, 그들은 많은 분류기가 열화된 성능을 가지고 생산 중에 사용되는 것을 초래할 것이다.
표준 웨이퍼에서 수행되는 결함 분류에서, 이 기법이 툴 드리프트에 기인하는 속성에 대한 영향을 추정하는 것을 목표로 한다는 점에서 이 기술이 이전 기술에 대한 향상이지만, 그것은 표준 웨이퍼에 대한 속성 및 분류기 성능만을 측정한다. 툴 드리프트의 영향이 결함 타입 및 결함 타입의 속성 공간에서의 분리에 따라 각각의 분류기에 고유하기 때문에, 이러한 측정은 분류기 전반에 걸쳐 일반화될 수 없다. 따라서, 이 방법조차도, 분류기마다의 분류기 성능에 대한 툴 드리프트의 효과를 추정할 수 없으며 이전 방법과 동일한 결점을 겪는다.
따라서, 툴 드리프트와 분류기 성능 열화 사이의 관계는, 분류기마다 그리고 결함 타입마다 변한다. 유저가 ADC 제안 빈 코드를 검증하지 않은 생산에서는, 지상 검증 데이터(ground truth data)가 없고 따라서 분류기 성능 열화를 직접적으로 추정하는 방식이 없다. 그러나, 본원에서 추가로 설명되는 바와 같이, 본원에서 설명되는 실시형태는 거절된 빈 사이즈 및/또는 신뢰도 히스토그램과 같은 결함 분류기의 결과를 직접 모니터링하여, 시간이 지남에 따라 툴 드리프트에 의해 야기되는 속성 시프트에 기인하는 결함 타입에 대한 분류기 성능에서의 임의의 저하를 직접적으로 진단하도록 구성될 수도 있다. 툴 드리프트에 기인하는 성능에서의 저하에 대해, 모든 결함 빈이 개별적으로 분석될 수 있다.
하나의 실시형태에서, 컴퓨터 서브시스템(들)은, 생성된 결함 분류기 및 수정된 결함 분류기에 의해 생성되는 결과에서의 미분류 결함의 빈의 사이즈를 모니터링하도록 그리고 빈의 사이즈가 미리 결정된 사이즈보다 더 큰 경우 경보를 생성하도록 구성되며, 경보는, 출력 획득 서브시스템의 하나 이상의 파라미터의 교정이 필요하다는 것을 나타낸다. 예를 들면, 실시형태는 증가하는 속성 드리프트를 검출하기 위해 거절된 빈 사이즈에서의 증가를 사용할 수도 있다. 특히, 몇몇 결함 분류기는 결함 빈에 대한 높은 신뢰도만을 가지고 결함을 분류한다. 각각의 결함 빈에 대한 신뢰도 임계치가 적용될 수도 있고, 임계치 미만의 결함은, 유저에 의해 수동으로 분류되도록 거절된 빈으로 전송될 수도 있다. 이러한 방식에서, 실시형태는 분류기의 거절된 빈 사이즈를 모니터링할 수도 있고, 결함 빈의 성능이 툴 드리프트에 의해 영향을 받고 있다는 경보를 울릴 수도 있다. 이와 같이, 실시형태는 거절된 빈 사이즈를 분류기 성능 열화의 표시자로서 사용하여 빔 재교정(recalibration)을 트리거하도록 구성될 수도 있다.
추가적인 실시형태에서, 하나 이상의 컴퓨터 서브시스템은 생성된 결함 분류기 및 수정된 결함 분류기에 의해 생성되는 결과에서의 각각의 결함 빈의 신뢰도 히스토그램을 모니터링하도록 그리고 신뢰도 히스토그램이 하나 이상의 미리 결정된 특성을 갖는 경우 경보를 생성하도록 구성되며, 경보는, 출력 획득 서브시스템의 하나 이상의 파라미터의 교정이 필요하다는 것을 나타낸다. 예를 들면, 실시형태는 각각의 빈에 대한 평균 신뢰도에서의 저하를 속성 드리프트로서 사용할 수도 있다. 이러한 방식에서, 실시형태는 각각의 결함 빈의 신뢰도 히스토그램을 모니터링할 수도 있고, 결함 빈의 성능이 툴 드리프트에 의해 영향을 받고 있다는 경보를 울릴 수도 있다. 이와 같이, 실시형태는 신뢰도 히스토그램을 분류기 성능 열화의 표시자로서 사용하여 빔 재교정을 트리거하도록 구성될 수도 있다.
특히, 각각의 결함에 대해 분류기에 의해 신뢰도가 할당될 수도 있다. 이 신뢰도는, 이 결함의 결함 타입이 실제로 분류기가 그 결함에 대해 할당한 타입이다는 분류기가 갖는 신뢰도이다. 결함 빈마다의 신뢰도는 속성 공간의 모든 영역에 신뢰도 레벨을 할당하는 것에 의해 시각화될 수 있다. 실질적으로 높은 밀도의 결함 타입을 갖는 영역에 대해서는, 상대적으로 높은 신뢰도가 주어지고, 한편 밀도가 더 낮은 영역에 대해서는 더 낮은 신뢰도가 할당된다.
시간이 지남에 따라 툴이 드리프트함에 따라, 각각의 결함 타입의 속성 클라우드(attributes cloud)가 시프트하기 시작한다. 따라서, 특정한 결함 타입의 결함은, 그들이 속성 공간에서 이전에 채워졌던 영역, 즉 신뢰도가 높았던 영역 밖으로 이동하기 시작한다. 따라서, 툴 드리프트로서, 신뢰도 히스토그램이 상대적으로 높은 신뢰도로부터 중간 신뢰도로 그리고 점차적으로 낮은 신뢰도로 이동할 것이다. 또한, 히스토그램이 더 낮은 신뢰도를 향해 이동함에 따라, 점점 더 많은 결함이 분류기에 의해 각각의 결함 타입의 신뢰도 임계치 아래에 있게 될 것이고, 따라서 거절된 빈 사이즈는 시간이 지남에 따라 증가할 것이다. 따라서, 본원에서 설명되는 실시형태는, 각각의 결함 타입의 거절된 빈 사이즈 및/또는 신뢰도 히스토그램을 모니터링하여, 분류기 성능에 대한 툴 드리프트의 영향을 직접적으로 측정할 수 있다. 이와 같이, 본원에서 설명되는 실시형태는 분류기에 의한 신뢰도 척도 출력을 사용하여 툴 드리프트에 대한 분류기를 모니터링하도록 사용될 수 있다. 또한, 본원에서 설명되는 실시형태는, 어떠한 지상 검증 데이터도 이용 가능하지 않은 상황에서 생산 중의 툴 드리프트에 대한 분류기 모니터링을 위해 사용될 수 있다.
몇몇 실시형태에서, 하나 이상의 컴퓨터 서브시스템은, 결함을 분류하기 위해 생성된 결함 분류기에 의해 사용되는 결함의 하나 이상의 속성에서 트레이닝 세트를 교란시키는(perturbing) 것에 의해 생성된 결함 분류기에 대한 강건성 스코어를 결정하도록 그리고 생성된 결함 분류기의 성능이 미리 결정된 레벨 아래로 떨어지기 이전에, 생성된 결함 분류기가 견딜 수 있는 교란의 양을 결정하도록 구성된다. 이러한 방식에서, 본원에서 설명되는 실시형태는 각각의 분류기에 강건성 스코어를 할당할 수도 있는데, 강건성 스코어는, 분류기가 얼마나 많은 속성 드리프트를 허용할 수 있는지를 추정한다. 트레이닝 세트는 속성 공간에서 교란될 수도 있고, 분류기 성능이 (예를 들면, 소정의 미리 결정된 비율만큼) 떨어지기 시작하기 이전에 분류기가 견딜 수 있는 교란의 양은 분류기의 강건성 스코어로 정의된다. 따라서, 본원에서 설명되는 실시형태의 하나의 이점은, 그들이, 툴 드리프트에 대한 분류기의 내성의 척도인, 분류기마다의 강건성 스코어를 정의할 수 있다는 것이다.
하나의 이러한 실시형태에서, 컴퓨터 서브시스템(들)은, 강건성 스코어에 기초하여 출력 획득 서브시스템의 하나 이상의 파라미터에 대한 하나 이상의 제어 설정을 결정하도록 구성된다. 예를 들면, 팹에서, 상대적으로 많은 수의 분류기가 상대적으로 낮은 강건성 스코어를 갖는다면, 예를 들면 전자 빔 기반의 툴의 경우에 빔 전류 및 iRaw에 대한 보다 엄격한 명세가 바람직할 것이고, 한편, 모든 분류기가 상대적으로 높은 강건성 스코어를 가지면, 명세는 더 느슨해질 수 있다. 따라서, 본원에서 설명되는 실시형태는 독립형 방법으로서 사용될 수 있거나 또는 강건성 스코어를 사용하는 것은 툴 드리프트 모니터링 접근법과 함께 사용되어 명세에 대한 경계를 정의할 수 있다.
따라서, 본원에서 설명되는 실시형태와는 대조적으로, 현재 사용되는 방법은, 툴 파라미터의 관점에서 툴 드리프트를 또는 표준 웨이퍼 상에서 수행되는 분류의 관점에서 성능 열화를 추정하는 것을 목표로 한다. 이들 방법과는 달리, 본원에서 설명되는 실시형태는 분류기마다의 결함 빈마다의 성능 열화를 직접적으로 추정한다. 따라서, 본원에서 설명되는 실시형태의 하나의 이점은, 그들이 툴/속성 드리프트에 기인하는 분류기마다의 분류기 열화를 직접적으로 추정할 수 있다는 것이다. 이전의 접근법은, 단지 툴 레벨 또는 표준 웨이퍼 고유의 측정치에서, 분류기마다의 추정치를 가지지 않는다. 또한, 본원에서 설명되는 실시형태의 이점은, 그들이 툴/속성 드리프트에 기인하는 분류기마다의 결함 타입마다의 분류기 열화를 직접적으로 추정할 수 있다는 것이다. 이전의 접근법은, 단지 툴 레벨 또는 표준 웨이퍼 고유의 측정치에서, 분류기마다의 결함 타입마다의 추정치를 가지지 않는다. 거절 빈 백분율 및 신뢰도 히스토그램에서의 시프트는, 성능 열화에 대한 경보를 울리도록 임계치가 설정될 수 있다. 열화에 대한 이 경보는 툴을 재교정하기 위해 사용될 수 있다. 이전의 방법은, 분류기 중 어느 것도 열화되지 않은 경우, 즉 위양성(false positive)의 경우에 그들이 재교정을 트리거할 수 있다는, 또는 분류기가 실제로 열화된 경우, 즉 고장의 경우에 그들이 트리거할 수 없다는 결점이 문제가 되었다. 이러한 방식에서, 이전의 접근법은, 툴이, 예를 들면 빔 전류 및 iRaw와 관련하여 여전히 명세 내에 있는 경우 분류기를 열화된 모드에서 실행시킬 수 있다. 본원에서 설명되는 실시형태는 이들 결점 중 하나를 겪지 않으며, 그들은 툴 드리프트에 기인하는 분류기의 열화를 직접적으로 모니터링한다. 예를 들면, 본원에서 설명되는 실시형태의 하나의 이점은, 그들이, 이전의 접근법과 비교하여, 빔 교정 또는 툴의 다른 이미지 관련 교정에 대한 오경보의 횟수를 크게 최소화한다는 것이다. 또한, 본원에서 설명되는 실시형태의 다른 이점은, 어떠한 분류기도 생산 중에 열화된 성능을 가지고 실행하고 있지 않다는 것을 그들이 보장한다는 것이다. 본원에서 설명되는 실시형태는 또한, 유저가 분류기를 검증하기 위해 데이터를 분류할 필요 없이, 하나의 툴에서 다른 툴로 포팅되는 분류기가 다른 툴 상에서 작동하는지를, 즉 툴 상태가 매칭하는지를 결정하기 위해 사용될 수 있다.
이러한 방식에서, 본원에서 설명되는 실시형태는, 툴 드리프트에 기인하는 성능 열화에 대해 생산 중에 분류기를 모니터링함에 있어서 결정적인 역할을 할 수도 있다. 실시형태는, 툴 성능의 측정치의 엄격한(hard) 경계를 정의하는 것에 의존하기 보다는, 툴 드리프트에 기인하는 분류기 성능 열화를 추정하기 위한 그리고 툴의 재교정을 트리거하기 위한 직접적인 척도의 세트를 제공한다. 추가적으로, 이러한 경계는 추정하기가 어렵다. 또한, 상기에서 언급되는 바와 같이, 현재 솔루션은, 분류기 성능이 전혀 열화되지 않은 경우에도 재교정을 트리거할 수도 있는데, 이것은 많은 시간 비용이 수반되게 하며, 툴이 인출되어 생산이 중단되는 것을 필요로 한다. 마찬가지로, 툴이 정의되는 경계의 명세 내에 있더라도 분류기는 열화할 수도 있고, 유저가 분류기에 대한 신뢰를 잃을 수 있다. 본원에서 설명되는 실시형태는 이들 두 가지 이슈에 대한 직접적인 솔루션을 제공한다.
본원에서 설명되는 몇몇 추가적인 실시형태는 ADC를 위한 생산에서 신규성 검출을 위해 구성된다. 결함 검토를 위한 현재의 ADC 방법은 유저에게 각각의 레이어에 대한 분류기를 제공하며, 각각의 분류기는 레이어 상에서 발생하는 모든 상이한 결함 타입을 구분하고 라벨을 붙인다. 이들 분류 결과는 유저가 레이어 상의 결함 분류 결과(예를 들면, 결함 파레토)를 추적하고 일탈 및 프로세스 변경을 모니터링하는 것을 돕는다. 그러나, 분류기가 트레이닝 세트에 존재하는 결함의 특정한 세트에 대해 트레이닝되기 때문에, 그들은 생산 동안 레이어 상에서 발생하는 새로운 타입의 결함을 포착 및 구별할 수 없다.
신규의 결함을 포착하는 능력은, 신규의 결함이 레이어 상에서 수행되는 프로세스에서의 변화를 시그널링하기 때문에, 유저에게 매우 중요하며, 신규의 결함이 크리티컬하다면, 그것은 웨이퍼를 사용할 수 없게 만들 수도 있다. 따라서, 유저는 가능한 한 빨리 이들 신규의 결함을 포착하기를 원한다.
ADC가 시간이 지남에 따라 안정적인 분류기 성능을 위해 구성되는 것이 바람직하기 때문에, 신규의 결함의 발생도 또한 ADC에 대해 중요하다. 레이어 상에서의 프로세스 변경에 기인하여, 레이어 상에서 신규의 결함이 발생할 수 있는데, 이것은, 신규의 결함이 다른 결함 클래스로 분류되기 시작함에 따라 분류기 성능을 열화시킬 수 있다. 따라서, 현재 사용되는 ADC는 프로세스 변경에 기인하는 성능 열화에 민감하다. 그러므로, 레이어 상에서 새로운 결함을 검출하고 새로운 결함 클래스를 가지고 분류기의 재트레이닝(re-training)을 트리거하기 위해, 생산 사용 사례에 대해 신규의 결함을 검출하는 것이 중요하다.
현존하는 결함 클래스의 결함에도 상당한 변화가 있을 수 있기 때문에, 상당한 변화를 갖는 결함은 분류기와 관련하여 신규의 결함으로서 작용할 수 있지만, 그러나 이들은 포착하기에 흥미로운 결함은 아니다. 순수한 신규의 결함 검출을 보장하기 위해, 본원에서 설명되는 실시형태는 신규의 결함의 클러스터, 즉 클러스터를 형성하기에 수적으로 충분한, 그리고 동시에, 현존하는 결함 클래스와 가장 상이한 신규의 결함을 검출한다.
본원에서 설명되는 실시형태는 생산 중에 이동하는 웨이퍼 상에서 발생하는 신규의 결함을 검출하기 위해 사용될 수 있다. 본원에서 설명되는 실시형태에 의해 생성되는 결과는, 프로세스 드리프트에 기인하는 성능 열화에 대해 분류기를 보호하는 것 이외에, 레이어 상에서의 임의의 프로세스 드리프트를 유저에게 알리기 위해 사용될 수 있다. 추가적으로, 일단 신규의 결함 빈의 사이즈가 임계치를 초과하면, 신규의 결함 빈은 유저에 의해 분류될 수 있고 분류기의 재트레이닝을 트리거할 수 있다.
전자 빔 기반의 결함 검토를 위해 ADC를 개발함에 있어서 행해진 연구는, 신규의 클래스를 검출하기 위한 랜덤 포레스트 신뢰도 기반의 이상치(outlier) 척도와 근접 기반의 이상치 척도의 사용을 이미 비교하였으며, 랜덤 포레스트 신뢰도 기반의 이상치 척도가 신규의 검출에 대해 더욱 효과적이다는 것이 입증되었다. 랜덤 포레스트 신뢰도 기반의 신규의 검출에서, 랜덤 포레스트 분류는 각각의 결함에 클래스 코드 및 신뢰도 레벨을 할당한다. 신규의 검출은, 가장 낮은 랜덤 포레스트 신뢰도를 갖는 결함, 즉 분류기가 분류할 수 없는 결함을 제거하는 것에 의해 행해진다.
머신 러닝 도메인 외에도, 제1 클래스 분류 기준은, 보이는 데이터(seen data)와 보이지 않는 데이터(unseen data) 사이를 구별하는 최첨단 기술이다(여기서, 보이는 데이터는 분류기의 트레이닝 단계에서 이용 가능한 데이터이고 보이지 않는 데이터는, 분류기가 테스트될 수 있는 미래에 나올 데이터이다). 이들 분류기는 트레이닝 데이터에 기초하여 모델을 구축하고, 생산 데이터가 보이는 데이터와 유사하다는 신뢰도를 가지고 생산 데이터를 할당한다. 이것은, 신규의 결함을 획득하도록, 임계치가 설정될 수 있다.
그러나, 현재 사용되는 방법 및 시스템에는 다수의 단점이 있다. 예를 들면, 랜덤 포레스트 신뢰도 기반의 신규의 검출에서, 현존하는 클래스의 결함에서의 중요한 변화는, 현존하는 클래스의 결함으로 하여금 낮은 랜덤 포레스트 신뢰도를 가지고 분류되게 하고, 현존하는 클래스의 결함은 신규의 결함으로 분류된다. 즉, 이들 결함이 분류기와 관련하여 신규한 것일 수도 있을지라도, 클래스 내 변화(intra-class variation)는 중요하지 않다. 또한, 주어진 레이어 상에 두 개의 유사한 클래스, 예를 들면, 입자 및 잔류물이 있는 경우, 랜덤 포레스트는, 두 클래스를 구별할 수 없기 때문에, 낮은 신뢰도만을 사용하여 그들을 분류할 수 있다. 따라서, 결함의 이들 클래스도 또한, 결국에는 신규의 빈이 될 수도 있다. 더구나, 분류기의 성능 열화에 대해 보호하고 분류기의 재트레이닝을 트리거하기 위해, 신규의 결함의 클러스터를 상당히 많이 포착하는 것은, 생산 중에 각각 하나 또는 두 개의 결함이 있는 신규의 결함의 클래스보다 더 흥미를 일으킨다. 생산 중에 하나 또는 두 가지 예를 갖는 신규의 결함의 세트를 포착하는 것이 가능하더라도, 랜덤 포레스트 분류기는 데이터의 부족으로 인해 그 클래스에 대해 트레이닝될 수 없다. 이와 관련하여, 랜덤 포레스트 신뢰도 기반의 신규의 결함 검출은, 신규의 결함의 어떠한 클러스터링도 제공할 수 없고 그에 의해 주요 빈(major bin)을 제공하고 몇몇 예에서 신규의 결함을 제거한다. 또한, 신규의 클래스는 높은 신뢰도를 가지고 트레이닝에 존재하는 다른 클래스에 잘못 할당될 수 있다. 상기에서 설명되는 단점으로 인해, 이 접근법은 상대적으로 많은 수의 위양성을 갖는 상대적으로 낮은 정확도를 갖는다.
다른 예에서, 하나의 클래스 분류기에서, 모델의 선택은 어렵다. 다수의 모델이 알려져 있지만, 그러나 클러스터의 수, 등등을 선택하는 것은 어렵고 신규의 결함 검출의 성능에 영향을 끼친다. 또한, 이러한 분류기는, 신규의 결함의 클러스터와 현존하는 클래스의 결함에서의 변화 사이를 구별할 수 없는데, 이것은 결국에는 신규의 결함으로서 분류하는 것으로 된다. 또한, 그러한 분류기는 이상치로서 트레이닝 데이터 결함의 5 %를 임계치로 설정하고, 두 개의 클래스로서 5 % 및 95 %의 트레이닝 데이터(5 %의 임계치는 수동으로 수정 가능함)를 사용하는 2 클래스 문제로서 그 문제를 모델링한다. 따라서, 이상치 검출은 트레이닝 데이터에 크게 의존한다.
생산 중에 사용되는 ADC 분류기는 결함을 결함 빈 및 거절된 빈으로 분류한다. 거절된 빈은, 분류기가 높은 신뢰도를 가지고 분류할 수 없는 결함을 포함한다. 거절된 빈은 레이어 상에서의 현존하는 결함 타입뿐만 아니라 신규의 클래스 둘 모두를 포함할 수도 있다. 추가적으로, 신규의 클래스 결함 중 일부는 또한, 결함 빈으로 분류되었을 수도 있다.
본원에서 설명되는 실시형태 중 일부는, 원래의 트레이닝 데이터 세트의 클래스에 이미 속하는 거절된 빈의 결함의 경우, 분류기는 상대적으로 높은 신뢰도로 그들을 신규의 결함으로서 분류할 수 없을 것이고, 한편, 신규의 클래스에 속하는 그리고 트레이닝 세트 결함과는 상이한 결함은 상대적으로 높은 신뢰도를 가지고 신규의 결함으로서 분류된다. 예를 들면, 하나의 실시형태에서, 컴퓨터 서브시스템(들)은, 생성된 결함 분류기 또는 수정된 결함 분류기에 의해 생성되는 미분류 결함의 빈의 결함을, 트레이닝 세트 또는 수정된 트레이닝 세트에 각각 첨부하고(appending), 그에 의해 추가적인 트레이닝 세트를 생성하도록 구성된다. 예를 들면, 본원에서 설명되는 실시형태에서, 거절된 빈 결함은 분류기 셋업을 위해 사용되는 원래의 트레이닝 데이터 세트에 첨부되고 트레이닝을 위해 고유한 클래스 코드(예를 들면, 256)가 주어질 수도 있다. 다른 예에서, 생산 로트의 모든 x 개의 로트에 대해, 모든 거절된 빈(예를 들면, 클래스(256)) 결함은 다른 클래스 코드 "거부됨(Rejected)"으로 라벨링될 수도 있다. 그 다음, 이들 결함은 원래의 트레이닝 데이터 세트 또는 가장 최근의 트레이닝 데이터 세트에 첨부될 수도 있다. 이러한 방식에서, 그러면, 트레이닝 데이터는 거절된 빈을 포함할 수도 있다.
하나의 이러한 예에서, 도 5에서 도시되는 바와 같이, 4 개의 클래스 1, 2, 3 및 4에 대한 트레이닝 데이터(500)가 분류기(502)에 입력될 수도 있다. 트레이닝 데이터는 분류기(502)를 트레이닝시키기 위해 사용될 수도 있는데, 그 다음, 분류기(502)는 생산 데이터(504)에서 결함을 분류하기 위해 사용될 수도 있다. 생산 데이터(504)에 분류기(502)를 적용한 결과는, 분류된 결함(506) 및 거절된 결함(508)을 포함할 수도 있다. 분류된 결함은 트레이닝 세트에 포함되는, 클래스 1, 2, 3 및 4로 분류되는 임의의 수의 결함을 포함할 수도 있고, 한편 거절된 결함은, 트레이닝 세트에 포함되는 클래스 중 하나로 분류될 수 없는 생산 데이터에 포함되는 임의의 결함을 포함할 수도 있다. 이러한 방식에서, 거절된 결함은 미분류 결함으로 간주될 수도 있고, 예를 들면, 도 5에서 도시되는 바와 같은 빈(256)과 같은 클래스 번호 또는 상이한 빈을 할당받을 수도 있다. 특히, 랜덤 포레스트 분류기와 같은 분류기는, 분류된 결함 빈에 상대적으로 낮은 신뢰도를 가지고 할당된 결함을 제거할 수도 있고 그들을 거절된 빈으로 전송할 수도 있다. 이러한 방식에서 생산 데이터 자체의 결함에 대한 랜덤 포레스트 신뢰도 값은, 현존하는 클래스의 다른 낮은 신뢰도 결함으로부터 신규의 클래스 결함 클러스터를 필터링하기에 충분하다는 것을 입증하지 못한다, 즉, 신규의 클래스가 반드시 가장 낮은 랜덤 포레스트 신뢰도를 갖는 것은 아니다. 본원에서 설명되는 실시형태는 새로운 결함의 클러스터 및 결함의 새로운 하위 타입을 다른 낮은 신뢰도 결함으로부터 필터링하기 위해 사용될 수 있다.
그 다음, 거절된 결함(508)은 트레이닝 데이터(500)에 첨부될 수도 있다. 이러한 방식에서, 도 5에서 도시되는 바와 같이, 트레이닝 데이터(500)에 거절된 결함을 첨부하는 것에 의해 추가적인 트레이닝 세트(510)가 생성될 수도 있다. 또한, 도 5에서 도시되는 바와 같이, 추가적인 트레이닝 세트는, 원래 트레이닝 데이터에 포함되는 모든 클래스뿐만 아니라 거절된 결함에 대한 클래스, 예를 들면, 256도 포함할 것이다.
이러한 실시형태에서, 컴퓨터 서브시스템(들)은, 추가적인 트레이닝 세트에 대해 다른 분류기를 트레이닝시키도록 구성되고, 다른 분류기는 추가적인 트레이닝 세트의 결함 중 두 개 이상을 미분류 결함의 추가적인 빈으로 분류한다. 예를 들면, 첨부된 데이터 세트에 대해 (동일한 타입의) 다른 분류기 또는 동일한 분류기가 트레이닝될 수도 있다. 이러한 방식에서, 분류기는 트레이닝 클래스 코드뿐만 아니라 거절된 클래스 코드를 가지고 재트레이닝될 수도 있다. 하나의 이러한 예에서, 도 5에서 도시되는 바와 같이, 추가적인 트레이닝 세트(510)는 분류기(512)를 재트레이닝시키기 위해 사용될 수도 있다. 이 재트레이닝의 결과로서, 추가적인 트레이닝 세트(510)가 결함 클래스뿐만 아니라 거절된 결함에 대한 클래스를 포함하기 때문에, 재트레이닝된 분류기는 결함을 결함 클래스 및 거절된 클래스, 예를 들면, 결함 클래스 1, 2, 3, 및 4 및 거절된 클래스(256)로 분류할 것이다.
또한, 이러한 실시형태에서, 컴퓨터 서브시스템(들)은, 다른 신뢰도 임계치를 초과하는 신뢰도를 갖는 결함이 제1 빈에 할당되고 다른 신뢰도 임계치 미만의 신뢰도를 갖는 결함이 제2 빈에 할당되도록, 추가적인 빈의 결함의 각각에 할당되는 다른 분류기의 신뢰도에 기초하여 미분류 결함의 추가적인 빈의 결함을 분리하도록 구성되고, 제1 빈은 예비적인 신규의 빈이다. 예를 들면, 빈(256)으로 분류되는 결함의 (랜덤 포레스트의 경우에서와 같은) 아웃 오브 박스(out-of-box; OOB) 신뢰도 또는 (SVM의 경우에서와 같은) k 겹 교차 검증(k-folds cross-validation) 신뢰도는, 예비적인 신규의 빈을 획득하기 위해 분류기에 의해 임계치로서 사용될 수도 있다. 하나의 이러한 예에서, 도 5의 단계(514)에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)은 거절된(또는 256) 빈으로 분류되는 거절된 결함의 OOB 신뢰도에 임계치를 설정하고, 그에 의해 거절된 결함을 신규 빈(novelty bin; 516) 및 비 신규의 빈(518)으로 분리할 수도 있다. 다시 말하면, 트레이닝 클래스와 잘 구별되는 신규의 클래스의 클러스터가 분리되어 신규의 빈이 될 수 있다. 거절된 빈(256)으로 분류되는, 그러나 임계치 미만의 OOB 신뢰도를 갖는 결함은 다른 비 신규의 빈에 저장될 수도 있다. 이러한 방식에서, 임계치를 초과하는 거절된 빈의 결함은 신규의 클래스로 전송될 수도 있고 나머지 결함은 다른 빈(예를 들면, 비 신규의 빈)으로 전송될 수도 있다. 따라서, 본원에서 설명되는 실시형태는 신규성 결함 신뢰도를 정의할 수도 있다. 이전에 사용된 랜덤 포레스트 신뢰도 기반의 접근법은, 결함마다 신규의 빈 신뢰도로서 (1 - 할당된 랜덤 포레스트 코드의 랜덤 포레스트 신뢰도)를 할당한다. 대조적으로, 본원에서 설명되는 신뢰도 임계치는, 중요한 모든 신규의 결함을 포착하는 또는 상대적으로 적은 위양성을 가지고 중요한 신규의 빈의 순도를 유지하는 유저의 필요에 따라, 신규의 빈의 정확도 대 순도를 변경하기 위해 유저에 의해 조정 가능한 파라미터를 제공한다. 유저가 임계치를 표시할 수 없는 경우, 자동 임계치가 사용될 수도 있다. 자동 임계치는, 결함의 수(y)보다 더 큰 x를 초과하는 신뢰도를 갖는 신규의 결함의 수에 기초하여 결정될 수도 있다. 예를 들면, 0.9를 초과하는 신뢰도를 갖는 신규의 결함의 수가 30보다 더 큰 경우, 0.9의 임계치가 사용될 수도 있다. 이러한 방식에서, 임계치는, 본원에서 추가로 설명되는 바와 같이 트레이닝이 수행될 수 있는 것을 보장하기 위해 신규의 빈에 충분한 신규의 결함이 존재하는 것을 보장하는 방식으로 선택될 수도 있다.
또한, 이러한 실시형태에서, 컴퓨터 서브시스템(들)은, 예비적인 신규의 빈을 트레이닝 세트 또는 수정된 트레이닝 세트에 각각 첨부하고, 그에 의해 추가적인 트레이닝 세트를 생성하도록 구성되고, 컴퓨터 서브시스템(들)은 추가적인 트레이닝 세트에 대해 추가적인 분류기를 트레이닝시키도록 구성된다. 예를 들면, 예비적인 신규의 빈은, 다른 분류기를 트레이닝시키기 위해 또는 분류기를 재트레이닝시키기 위해 트레이닝 데이터 세트에 첨부될 수도 있다. 하나의 이러한 예에서, 도 5에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)은, 5 개의 클래스, 결함 클래스 1, 2, 3 및 4, 및 예비적인 신규의 빈(516)을 포함하는 추가적인 트레이닝 세트(520)를 생성할 수도 있다. 도 5의 단계(522)에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)은, 그 다음, 추가적인 트레이닝 세트(520)를 사용하여 분류기를 재트레이닝시킬 수도 있다. 신규의 빈 및 원래의 트레이닝 데이터를 사용한 재트레이닝의 완료 이후, 신규의 클래스 결함의 OOB 신뢰도는 신규의 결함 신뢰도, 즉, 결함이 신규의 클래스에 속하는 신뢰도로서 정의된다.
또한, 이러한 실시형태에서, 컴퓨터 서브시스템(들)은, 제2 빈에 할당되는 결함을 추가적인 분류기를 사용하여 분류하고, 그에 의해 제2 빈에 할당되는 결함을, 추가적인 신뢰도 임계치를 초과하는 신뢰도를 가지고 제2 빈에 할당되는 결함 및 추가적인 신뢰도 임계치 미만의 신뢰도를 가지고 제2 빈에 할당되는 결함으로 분리하도록 구성된다. 예를 들면, 이 분류기는 비 신규의 빈 상에서 재실행될 수도 있고, 신규의 빈과 유사한 결함을 비 신규의 빈으로부터 제거하기 위해 신뢰도 임계치가 사용될 수도 있다. 하나의 이러한 예에서, 단계(522)에서 재트레이닝되는 분류기는 비 신규의 빈(518)에 적용될 수도 있고, 단계(524)에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)은 분류기에 의해 할당되는 바와 같은 비 신규의 빈 결함의 신뢰도에 임계치를 설정할 수도 있다. 이러한 방식에서, 신규의 클래스에 대한 임계치를 초과하는 결함은 신규의 빈으로 전송될 수 있다. 다시 말하면, 비 신규의 결함 빈(518)의 결함에 대해 상기에서 설명되는 바와 같이 트레이닝되는 분류기를 재실행한 이후, 비 신규의 결함 빈(518)의 몇몇 결함은 몇몇 신뢰도를 가지고 이 단계에서 신규의 빈 결함으로서 분류기에 의해 재분류될 수도 있다. 이들 결함은 신뢰도에 대해 임계치가 설정될 수도 있고, 새로운 클래스 빈에 추가될 수도 있으며, 이 분류기의 신뢰도로서 신규의 결함 신뢰도를 제공 받을 수도 있다. 이 단계 이후, 신규의 결함은 거절된 빈으로부터 복구될 것이다. 또한, 이 단계는 신규의 빈에 속하는 결함을 획득할 수도 있을 뿐만 아니라 그 결함에 대해 신규의 검출 신뢰도를 할당한다.
또한, 이러한 실시형태에서, 컴퓨터 서브시스템(들)은, 추가적인 신뢰도 임계치를 초과하는 신뢰도를 가지고 제2 빈에 할당되는 결함을 예비적인 신규의 빈에 추가하고, 그에 의해 최종적인 신규의 빈을 생성하도록 구성된다. 예를 들면, 도 5의 단계(526)에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)은 단계(524)의 결과를 신규 빈(516)에 추가하도록 구성될 수도 있는데, 이것은 임의의 적절한 방식으로 수행될 수도 있다.
하나의 이러한 실시형태에서, 컴퓨터 서브시스템(들)은, 최종적인 신규의 빈의 결함을 트레이닝 세트 또는 수정된 트레이닝 세트에 각각 첨부하고, 그에 의해 다른 추가적인 트레이닝 세트를 생성하도록, 재트레이닝된 결함 분류기가 최종적인 신규의 빈에 대응하는 추가적인 신규의 빈을 생성하게끔 다른 추가적인 트레이닝 세트에 기초하여 생성된 결함 분류기 또는 수정된 결함 분류기를 각각 재트레이닝시키도록, 그리고 신규의 결함인 하나 이상의 빈의 결함이 하나 이상의 빈으로부터 추가적인 신규의 빈으로 이동되게끔 재트레이닝된 결함 분류기를 사용하여, 생성된 결함 분류기 또는 수정된 결함 분류기에 의해 생성되는 미분류 결함의 빈 이외의 하나 이상의 빈의 결함을 각각 분류하도록 구성된다. 예를 들면, 최종적인 신규의 빈은, 신규의 빈을 원래의 트레이닝 데이터 세트에 첨부하는 것에 의해 분류기를 추가로 재트레이닝시키고 추가로 재트레이닝된 분류기를 결함 빈(들)에 대해 재실행시키기 위해 사용될 수도 있다. 하나의 이러한 예에서, 도 5에서 도시되는 바와 같이, 트레이닝 세트(528)는 단계(526)에 의해 생성되는 최종적인 신규의 빈의 결함을 트레이닝 세트에 추가하는 것에 의해 생성될 수도 있다. 따라서, 트레이닝 세트는 결함 클래스 1, 2, 3 및 4 및 신규의 결함 클래스를 포함할 것이다. 도 5의 단계(530)에서 추가로 도시되는 바와 같이, 컴퓨터 서브시스템(들)은 트레이닝 세트(528)를 사용하여 분류기를 재트레이닝시키도록 구성될 수도 있다. 또한, 도 5의 단계(532)에서 도시되는 바와 같이, 컴퓨터 서브시스템(들)은 원래 분류된 결함(예를 들면, 분류된 결함(506))에 대해 분류기를 실행하여 분류된 결함으로부터 신규의 클래스를 분리해 내도록 구성될 수도 있다. 도 5의 단계(534)에서 추가로 도시되는 바와 같이, 신규의 결함인 것으로 분리되는 분류된 결함(506)의 결함은 신규 빈(예를 들면, 신규 빈(516))에 추가되고, 그에 의해 추가적인 신규의 빈(536)을 생성할 수도 있다. 이들 단계는 현재 사용되는 ADC 분류기에 의해 상대적으로 높은 신뢰도를 가지고 분류되는 결함으로부터 신규의 결함을 분리한다. 다시 말하면, 이 분류기는 결함 빈, 즉 원래의 분류기에 의해 분류되는 결함에 대해 재실행되어, 전체적인 신규의 클래스를 획득할 수 있다. 이와 같이, 분류된 빈으로 원래의 분류기에 의해 전송된 신규의 클래스 결함은 제거될 수 있다.
본원에서 설명되는 실시형태는, 신규의 결함을 검출하기 위한 다른 방법에 비해 다수의 이점을 갖는다. 예를 들면, 본원에서 설명되는 실시형태는, 신규의 빈의 상당히 높은 정확도 및 순도를 제공한다. 특히, 본원에서 설명되는 실시형태는 현재 사용되는 방법 및 시스템과 비교하여 새로운 접근법을 사용하는 것에 의해 상당한 향상을 제공한다. 본원에서 설명되는 실시형태는 랜덤 포레스트 기반의 신뢰도 접근법과 비교하여 동일한 레벨의 순도에서 훨씬 더 높은 정확도를 획득한다, 즉 본원에서 설명되는 실시형태는 신규의 빈의 신규의 결함의 수를 극대화할 수 있고, 동시에, 신규의 빈의 순도를 유지한다, 즉 위양성의 수를 최소화한다. 신규의 빈과 동일한 수의 결함을 보고하기 위해, 랜덤 포레스트 기반의 접근법은, 분류기 모니터링 동안 상대적으로 큰 수의 오경보로 이어질 수도 있는 그리고 분류기의 불필요한 재트레이닝을 트리거할 수도 있는 더 많은 위양성을 보고한다.
본원에서 설명되는 실시형태는 또한, 분류기 재트레이닝을 트리거하기 위한 임계치로서 신규의 빈을 사용하도록 구성될 수도 있다. 특히, 본원에서 설명되는 실시형태는 신규의 클래스를 사용한 분류기 재트레이닝을 트리거하기 위해 신규 빈 사이즈를 사용하도록 구성될 수도 있다. 이러한 방식에서, 컴퓨터 서브시스템(들)은 프로세스 변경에 대해 레이어를 모니터링하도록 그리고 중요한 신규의 클래스 결함이 검출되면 플래그를 발생시키도록 구성될 수도 있다. 예를 들면, 레이어 상에 새로운 클래스의 결함이 나타나면, 분류기는 그 새로운 클래스를 분류할 수 있도록 재트레이닝되어야만 한다. 생산 사용 사례에 대한 도전 과제 중 하나는, 신규의 클래스를 검출하는 것뿐만 아니라, 신규의 빈을 가지고 분류기 재트레이닝을 트리거하기에 충분한 수의 신규의 결함이 수집되는 때를 결정하는 것이다. 새로운 클래스에 대해 분류기를 트레이닝시키기 위해, 랜덤 포레스트 분류기는 최소 20-30 개의 결함의 신규의 빈을 필요로 한다. 다시 말하면, 랜덤 포레스트 기술은 분류기를 재트레이닝시키기 위해 클래스마다 적어도 20-30 개의 결함을 필요로 한다. 따라서, 20-30 개보다 더 많은 결함 예를 갖는 신규의 클래스가 검출되는 경우에만 분류기 재트레이닝을 트리거하는 것이 유리할 것이다. 하나의 이러한 실시형태에서, 하나 이상의 컴퓨터 서브시스템은, 최종적인 신규의 빈의 사이즈를 임계치와 비교하도록 그리고 최종적인 신규의 빈의 사이즈가 임계치를 초과하는 경우 생성된 결함 분류기 또는 수정된 결함 분류기의 재트레이닝을 각각 트리거하도록 구성된다. 이러한 방식에서, 본원에서 설명되는 실시형태는 신규의 빈의 상대적으로 큰 클러스터를 검출할 수 있고, 신규의 빈이 소정의 한계를 초과하는 경우 신규의 빈을 사용한 분류기의 재트레이닝을 트리거할 수도 있다. 분류기를 재트레이닝시키는 것은, 새로운 결함에 대해 수동 분류가 수행되어야 하고 분류기의 재트레이닝이 툴에 대해 트리거되어야 하는 고비용의 프로세스이다. 따라서, 분류기의 재트레이닝을 트리거하기에 충분한 수의 신규의 타입의 결함이 이용 가능한 때에 관한 자동화된 결정을 행하는 것은, 트리거가 부정확한 경우 그것에 첨부되는 많은 비용을 가질 수 있다. 본원에서 설명되는 실시형태는, 유익하게도, 부정확하게 포착되는 결함 중 일부를 신규의 결함으로서 갖는 20-30 개보다 많은 결함 예에서 신규의 클래스의 대부분의 결함을 포착할 수 있다.
본원에서 설명되는 바와 같이 신규 결함에 대해 분류기 재트레이닝을 트리거하기 위해 신규 빈 사이즈를 사용하는 것은, 다른 접근법에 비해, 더 높은 재트레이닝 성공율을 가질 것이다. 예를 들면, 다른 접근법에서, 분류기 재트레이닝은, 재트레이닝에 대해 사용될 수 있는 신규의 클래스에 대해 이용 가능한 충분한 데이터를 갖지 않고도 트리거될 수도 있다. 본원에서 설명되는 실시형태와 비교하여, 랜덤 포레스트 기반의 접근법에서, 신규의 빈은 신규의 빈 결함의 상대적으로 큰 클러스터(즉, 20-30 개보다 더 많은 결함 예를 갖는 신규의 클래스), 상대적으로 적은 예를 각각 갖는 상대적으로 많은 수의 신규의 결함 클래스(즉, 20 개보다 더 적은 결함 예를 갖는 신규의 클래스) 둘 다 뿐만 아니라, 상대적으로 많은 수의 위양성(즉, 신규의 결함으로서 잘못 포착되는 결함)을 포함한다. 이 경우, 상당한 수의 신규의 결함이 신규 빈에 수집될 수도 있을지라도, 적은 결함 예를 갖는 신규의 클래스가 너무 많이 존재하면 또는 상대적으로 많은 수의 위양성이 존재하면, 분류기는 재트레이닝 가능하지 않을 수도 있다. 따라서, 신규의 빈 사이즈는 랜덤 포레스트 신뢰도 임계치 방법에서 재트레이닝을 위한 임계치로서 사용될 수 없다. 다시 말하면, 자동 재트레이닝을 트리거하기 위한 신규 빈의 결함의 수에 임계치를 설정하는 것은, 20-30 개보다 더 많은 결함을 갖는 신규의 빈의 결함 중 많은 것이, 신규의 빈에 20 개보다 더 적은 결함 예를 갖는 신규의 결함 클래스에 속하는 결함 또는 신규의 결함으로서 잘못 포착된 결함일 수 있기 때문에, 본원에서 설명되는 실시형태에서는 효과적일 것이지만 그러나 랜덤 포레스트 신뢰도 기반의 접근법에서는 효과적이지 않을 것이다.
상기에서 설명되는 실시형태는, 예를 들면, 전자 빔 기반의 결함 검토, 및 생산 중에 수행되는 다른 프로세스에서 분류기를 모니터링하기 위해 사용될 수 있다. 예를 들면, 신규의 결함 검출 인라인의 경우, 매 n 번째 생산 로트 런에 대해, 그 로트에 대한 거절된 빈 데이터가 이전의 n-1 개의 거절된 빈 데이터와 결합될 수도 있다. 본원에서 설명되는 신규성 검출 단계는 결합된 데이터를 사용하여 수행될 수도 있고, 그 로트에 대한 신규의 클래스는 인라인으로 보고될 수도 있다. 또한, 본원에서 추가로 설명되는 바와 같이, 실시형태는 성능 열화에 대한 보호 수단으로서 작용할 수 있다. 실시형태는 또한, 유저에게 중요한 관심사일 수도 있는 프로세스 일탈을 나타내는 경보를 발생시킬 수 있다. 예를 들면, 본원에서 설명되는 실시형태는, 생산 중에 신규의 클래스의 클러스터를 검출하기 위해 사용될 수 있는 그리고 전자 빔 기반의 사용 사례 및 광 기반의 사용 사례에 걸쳐 적용 가능한 일반적인 접근법을 제공한다. 분류기의 생산 및 모니터링에서 신규의 클래스를 검출하기 위한 메커니즘이 제자리에 없으면, 현재의 ADC 솔루션은 생산 중에 채택되지 않을 것이다. 따라서, 신규의 결함 검출은 생산을 위한 전체적인 ADC 솔루션에서 중요한 요소이다.
본원에서 설명되는 실시형태는 또한, 레이어 상에서의 신규의 클래스 출현에 기인하는 결함 빈 순도에서의 저하를 추정하도록 구성될 수도 있다. 예를 들면, 일단 거절된 빈이 유저에 의해 분류되면, 거절된 빈은 본원에서 추가로 설명되는 바와 같이 트레이닝 데이터에 추가될 수도 있고 분류기를 재트레이닝하기 위해 사용될 수도 있는데, 이것은 본원에서 추가로 설명되는 바와 같이 수행될 수도 있다. 그 분류기에 의해 이전에 분류된 결함은, 그 다음, 재트레이닝된 분류기를 통해 재실행되어 그 데이터에 대한 다른 분류 세트를 얻을 수도 있다. 이 추가적인 런에서 신규의 클래스(즉, 유저에 의해 신규의 클래스를 수동으로 할당받은 거절된 결함의 클래스)로 분류되는 결함은, 그 다음, 원래 분류기에서의 순도 저하를 추정하기 위해 사용될 수도 있다.
또한, 실시형태는 연속적인 결함 발견을 위해 직접적으로 사용될 수 있다. 예를 들면, 본원에서 설명되는 실시형태는, 생산 웨이퍼 상의 잠재적인 새로운 결함 타입의 상대적으로 작은 샘플 모집단을, 그것이 적용 가능한 경우마다, 고객에게 제공하는 것이 목표인 연속적인 발견 사용 사례의 중요한 요소를 제공할 수도 있다. 일단 검사 또는 결함 검토 레시피가 생산 중이면, 유저는 주로 방해물 비율 및 일탈에 대한 레시피를 모니터링한다. 랜덤 샘플링은 생산 로트 상에서 수행될 수도 있으며, 샘플은 검토되고 분류되어 생산 웨이퍼 상에서의 방해물 비율을 평가할 수도 있으며, 유저는 또한 랜덤 샘플링으로부터 결함의 파레토를 보게 될 수도 있다. 현재 ADC 솔루션은 파레토의 일부로서 신규의 클래스를 보고할 수 없고 따라서 신규 검출 방법을 사용하여 웨이퍼 상에서 잠재적인 새로운 결함 타입을 유저가 인식하게 만들 필요가 있다.
본원에서 설명되는 실시형태는 또한, 분류기 성능 강건성을 위해 순차적인 분류기를 사용하도록 구성될 수도 있다. 예를 들면, 본원에서 설명되는 실시형태는, 툴 파라미터 상태와 관계 없이 상이한 툴에 걸쳐 포팅될 때 분류기의 성능에서의 일관성 및 성능의 안정성을 향상시키기 위해 안정적인 속성의 엄선된 리스트(select list)에 높은 우선 순위를 부여하는 것에 의해 분류기 생성을 위한 향상된 방법을 제공한다.
현재 사용되는 랜덤 포레스트 기반의 ADC 방법에서, 분류기 생성을 위한 속성에 등급을 매기는 것은, 분리 기반의 속성의 유일한 기준만을 고려하는 것에 의해 수행되었으며 툴 드리프트를 갖는 속성의 안정성을 고려하지 않았다. 속성의 이러한 등급 매김은, 각각의 속성에 의해 주어지는 상이한 타입의 결함 사이의 분리의 양에 기초하여 의사 결정 트리를 구축하면서, 랜덤 포레스트 방법에 의해 내부적으로 수행될 수도 있다. 따라서, 현재로서는, 본원에서 추가로 설명되는 기능을 수행하기 위한 방법은 존재하지 않는다. 또한, 분류기 생성을 위한 현재 사용되는 방법은, 실질적으로 예가 거의 없는 결함 타입을 다루는 어떠한 방법도 가지고 있지 않다. 이러한 방식에서, 실질적으로 예가 거의 없는 결함 타입은 결국에는 주요 결함 빈을 방해할 수 있는데, 이것은 성능 명세 아래로 그들의 순도를 감소시킬 수 있다.
따라서, 현재 사용되는 방법은 다수의 단점을 갖는다. 예를 들면, 분류기 생성을 위한 현재 사용되는 방법에서는, 안정적인 속성 및 불안정한 속성 둘 다를 사용하여 분리가 달성되는 경우, 몇몇 경우에, 불안정한 속성이 안정적인 속성보다 더 높은 순위를 제공 받았다. 결과적으로, 이러한 방식으로 생성되는 분류기는, 상이한 툴에 걸쳐 포팅될 때 그리고 또한 툴 파라미터에서의 변화로 인해 일관성 없는 성능을 가질 수 있다. 특히, 현재 사용되는 ADC 방법은 툴/이미징 드리프트를 다룰 수 없다. 다른 예에서, 현재 사용되는 방법은, 실질적으로 예가 거의 없는 결함 클래스에 대한 사전 정보를 도입하는 어떠한 방법도 가지지 않는다. 결함 타입 및 그 속성에 관한 이 정보는 일반적으로 유저에 의해 제공되며 이들 결함 타입을 제거함에 있어서 도움이 될 수 있다. 추가적인 예에서, 현재 사용되는 접근법은 멀티 툴 분류기 셋업을 위해 툴 대 툴(tool-to-tool) 매칭에 대해 상당히 엄격한 경계를 두며, 두 개의 툴이 명세를 벗어난 경우, 그들의 데이터는 공통 분류기를 설정하는 데 사용될 수 없다.
본원에서 설명되는 실시형태는, 분류기가 상이한 툴에 걸쳐 포팅될 때 안정적인 성능을 위한 그리고 툴 드리프트에 강건한 안정적인 분류기 성능을 위한 실현 가능한 솔루션을 제공한다. 몇몇 전자 빔 기반의 결함 검토 툴에 대한 안정적인 툴 조건 하에서도, 강도 기반의 결함 속성은 상이한 툴에 걸친 속성에서 상대적으로 높은 변화를 나타내었다. 예를 들면, 강도 기반의 P1 속성(에너지 밀도 P1 및 극성 P1, 여기서 P1은, 검출기의 상이한 채널에 상이한 가중치를 제공하는 것에 의해 하나 이상의 알고리즘 및 사후 프로세싱을 사용하여 생성될 수도 있는, 시료의 상부 투시 이미지(top perspective image)에 대해 계산되는 이미지 피쳐를 나타냄)의 경우, 상이한 툴에 걸친 동일한 결함 타입에 대한 속성에서의 변화는 ~50%에 가까울 수도 있고 강도 기반의 P0 속성(강도 StdMix0, 여기서 P0는, 어떠한 사후 프로세싱도 없는 그리고 동일한 가중치를 갖는 모든 채널을 가산하는 것에 의해 생성되는 투시도인 Mix0 투시도로부터 계산되는 이미지 피쳐를 나타내고, 여기서 StdMix0은, Mix0 투시도에 대해 계산되는 이미지에서의 결함 픽셀의 표준 편차로서 계산되는 결함 속성임)의 경우, 그것은 ~40%에 가까운 것으로 밝혀졌다. 그러나, 토포그래피 기반인 속성에서의 변화는 상대적으로 낮다. 예를 들면, 평균 높이 속성은 상이한 툴에 걸쳐 15 % 미만의 변화를 보였다. 상이한 툴에 걸친 강도 기반의 속성의 상대적으로 높은 변화로 인해, 분류기 생성 동안 이러한 속성을 사용하는 것은, 분류기 성능을 불안정하게 만든다는 것이 밝혀졌다.
하나의 실시형태에서, 생성된 결함 분류기는, 다른 신뢰도 임계치 미만의 신뢰도를 가지고 제1 결함 분류기에 의해 분류되는 결함만이 제2 결함 분류기로 전송되도록 순서대로 배열되는 적어도 제1 결함 분류기 및 제2 결함 분류기를 포함하고, 제1 결함 분류기는, 결함을 하나 이상의 제1 클래스로 분리하기 위해 결함에 대한 하나 이상의 컴퓨터 서브시스템에 의해 결정되는 결함 속성의 제1 부분만을 사용하도록 구성되고, 결함 속성의 제1 부분은 출력 획득 서브시스템의 하나 이상의 파라미터에서의 드리프트에 대해 실질적으로 안정하다. 따라서, 본원에서 설명되는 실시형태는, 툴 드리프트에 안정적인 분류기를 제공하기 위해, 분류기를 순서대로, 즉 단지 안정적인 속성에 기초하는 분류기 및 후속하여 모든 속성(또는 적어도 몇몇 상대적으로 불안정한 속성)에 기초하는 다른 분류기를 셋업하는 방법을 제공한다. 또한, 실시형태는, 전자 빔 기반의 결함 검토 툴(및 본원에서 설명되는 다른 툴) 상에서 안정적인 분류기 성능을 가지는, 그리고 분류기에 의해 생성되는 결과의 순도를 향상시키기 위해 결함 실질적으로 예가 거의 없는 클래스를 제거하는 것을 포함할 수도 있는 분류기를 제공한다.
하나의 이러한 실시형태에서, 결함 속성의 제1 부분은 하나 이상의 토포그래피 기반의 속성을 포함한다. 다른 실시형태에서, 결함 속성의 제1 부분은 하나 이상의 형상 기반의 속성을 포함한다. 추가적인 이러한 실시형태에서, 결함 속성의 제1 부분은 강도 기반의 속성을 포함하지 않는다. 예를 들면, 토포그래피 기반의 속성은 상이한 툴에 걸쳐 상대적으로 안정적인 성능을 나타낸다는 것이 결정되었다. 따라서, 상대적으로 안정적인 속성이 결함 클래스 사이의 상대적으로 양호한 분리를 제공할 수 있는 경우에 상대적으로 안정적인 속성(예를 들면, 토포그래피 기반의 속성 및 형상 기반의 속성)만을 사용하는 그리고 안정적인 속성이 결함 클래스 사이의 양호한 분리를 제공할 수 없는 경우에만 다른 상대적으로 불안정한 속성을 사용하는 순차적인 분류기를 생성하는 것은, 일관된 분류기 성능으로 이어질 수 있다는 것이 밝혀졌다. 따라서, 속성은, 툴 파라미터에 기인하는 변화에 대한 그들의 민감성에 기초하여 분리될 수 있다. 이러한 방식에서, 제1 분류기를 구축하기 위해 상대적으로 안정적인 속성에 최고 우선 순위가 주어질 수 있다.
다른 이러한 실시형태에서, 제2 결함 분류기는 결함을 하나 이상의 제2 클래스로 분리하기 위해 결함 속성의 제2 부분을 사용하도록 구성되며, 결함 속성의 제2 부분은 결함 속성의 제1 부분보다 드리프트에 덜 안정적이다. 예를 들면, 속성이, 툴 파라미터에 기인하는 변화에 대한 그들의 민감성에 기초하여 분리되는 경우, 제1 분류기를 구축하기 위한 상대적으로 안정적인 속성에 더 높은 우선 순위가 주어질 수 있고 제2 분류기는, 단지 실질적으로 안정적인 결함 속성이 아니라, 전체 속성을 사용하여 구축될 수 있다. 예를 들면, 몇몇 이러한 실시형태에서, 결함 속성의 제2 부분은 하나 이상의 강도 기반의 속성을 포함한다. 또한, 결함 속성의 제2 부분은 분류에 이용 가능한 모든 결함 속성을 포함할 수도 있다. 이와 같이, 실질적으로 안정적인 결함 속성에 기초한 분류기는 모든 속성에 기초한 분류기에 의해 순차적으로 후속될 수도 있다. 이러한 방식에서, 제1 분류기에 의해 상대적으로 낮은 신뢰도를 가지고 분류되는 결함만이 제2 분류기로 전송될 수 있고, 그에 의해 실질적으로 안정적인 분류기 성능으로 이어질 수 있다. 따라서, 본원에서 설명되는 실시형태는 툴 드리프트에 대해 실질적으로 안정적인 분류기 성능을 제공한다.
또 다른 이러한 실시형태에서, 결함 속성의 제1 부분은, 출력 획득 서브시스템의 하나 이상의 파라미터와 다른 출력 획득 서브시스템의 하나 이상의 파라미터 사이의 차이에 대해 실질적으로 안정적이다. 하나의 이러한 실시형태에서, 하나 이상의 컴퓨터 서브시스템은, 다른 출력 획득 서브시스템에 의해 생성되는 출력에 기초하여 검출되는 결함을, 생성된 결함 분류기를 사용하여 분류하도록 구성된다. 따라서, 본원에서 설명되는 실시형태는, 분류기를 하나의 툴로부터 다른 툴로 포팅한 후에 실질적으로 안정적인 분류기 성능을 제공한다. 예를 들면, 순차적인 분류기는, 다른 툴 상에서 강건한 성능을 제공하기 위한 상이한 툴/이미징 조건을 가지고 다른 툴로 포팅될 수 있다. 다수의 툴 상에서의 강건한 성능은, 제1 순차적인 분류기에 의해 분류되는 결함의 세트가 툴 조건에 관계없이 모든 툴 상에서 분류되도록 본질적으로 보장된다는 사실에 의해 제공된다. 추가적으로, 다른 툴 상에서의 제2 순차적인 분류기의 성능을 검증하기에 충분한 데이터가 수집될 수 있을 때까지, 토포그래피 및 형상 속성과 같은 안정적인 속성에 기초하는 제1 순차적인 분류기만이 다른 툴로 포팅될 수도 있다. 이러한 방식에서, 본원에서 설명되는 실시형태는 순차적인 분류기 또는 단지 제1 분류기를 하나의 툴로부터 다른 툴로 포팅하도록 구성될 수도 있다.
또 다른 이러한 실시형태에서, 결함 분류기를 생성하기 위해 사용되는 결함의 트레이닝 세트는 또한 다른 출력 획득 서브시스템에 의해 생성되는 출력에 기초하여 검출되는 결함을 포함하고, 출력 획득 서브시스템 및 다른 출력 획득 서브시스템은, 출력이 출력 획득 서브시스템 및 다른 출력 획득 서브시스템에 의해 생성된 경우 서로 매칭하지 않는다. 예를 들면, 현재 사용되는 ADC 기술은, 다수 툴의 각각이 명세 내에 있지 않으면, 분류기를 구축하기 위해 다수의 툴로부터의 데이터를 사용하지 않는다. 그러나, 본원에서 설명되는 실시형태는, 툴 중 하나 이상이 명세를 벗어나더라도, 멀티 툴 분류기를 셋업하기 위해 이 데이터를 사용하기 위한 방식을 제공하고, 따라서 멀티 툴 분류기를 셋업하기 위한 시간은 상당히 단축된다. 더 구체적으로는, 토포그래피 속성이 툴 드리프트에 더욱 면역성이 있는 경우, 이 데이터는, 토포그래피 및/또는 형상 속성과 같은 상대적으로 안정적인 속성에 의거하여 구축되는 분류기인 제1 순차적인 분류기를 셋업하기 위해 사용될 수 있다. 따라서, 본원에서 설명되는 실시형태는, 툴이 매칭하지 않고 및/또는 명세를 벗어나는 경우에도, 순차적인 분류기를 셋업하기 위해 멀티 툴 데이터를 사용할 수 있다.
다른 실시형태에서, 생성된 결함 분류기는, 적어도 제1 및 제2 결함 분류기를 적용한 결과가 제3 결함 분류기에 입력되도록, 순서대로 배열되는 제3 결함 분류기를 포함하고, 제3 결함 분류기는 수동 의사 결정 트리이다. 본원에서 설명되는 실시형태와는 대조적으로, 현재 사용되는 랜덤 포레스트 기반의 ADC 분류기는, 예의 부족으로 인해 결함이 실질적으로 거의 없는 클래스를 주 클래스로부터 분리할 수 없다. 그러나, 유저로부터의 사전 지식에 기초하여 이러한 결함 클래스를 분리하기 위해 수동 커트라인 기반의 접근법이 사용될 수도 있다. 따라서, 본원에서 설명되는 실시형태는 상대적으로 적은 예를 갖는 상대적으로 많은 수의 결함 타입을 갖는 레이어 상에서 안정적인 분류기 성능을 제공한다.
하나의 이러한 예에서, 제3 순차적인 분류기는 몇몇 속성 및 사전 지식에 기초한 결정의 세트일 수도 있다. 예를 들면, 트레이닝 세트에 한 클래스의 두 개의 결함이 있을 수도 있지만, 그러나 두 개의 결함은 머신 러닝 기술을 사용하여 트레이닝시키기에는 충분하지 않다. 그러나, 유저는, 예를 들면, 다른 결함 타입보다 더 높은 상당한 높이를 결함이 가지고 있다는 것을 나타낼 수도 있다. 그 다음, 높이 속성에 기초한 의사 결정 트리가 추가되어 상대적으로 큰 높이를 갖는 결함을 필터링할 수 있다. 이 결정은 제3 분류기를 구성할 것이다. 이러한 사전 지식에 기초하여 하나보다 많은 결정이 추가될 수 있다. 의사 결정 트리와 마찬가지로, 모든 이들 결정은 제3 분류기를 구성할 수도 있다.
이러한 방식에서, 본원에서 설명되는 결함 분류기는 3 단계의 순차적인 분류기일 수도 있는데, 이것은 툴 드리프트 및 적은 수의 결함 클래스에 강건하다. 상기에서 더 설명되는 바와 같이, 제1 분류기는, 단지 상대적으로 안정적인 ADC 속성, 즉 이미징 툴 변화에 안정적인 것으로 알려져 있는 속성의 세트를 가지고 구축되는 랜덤 포레스트 분류기일 수도 있다. 제2 분류기는 모든 ADC 속성을 가지고 구축되는 랜덤 포레스트 분류기일 수도 있다. 제3 분류기는 사전 지식에 기초한 수동 의사 결정 트리일 수도 있는데, 이 경우 엔지니어는, 현존하는 클래스와 간섭하는 상대적으로 적은 결함 클래스를 필터링하기 위해 수동 커트라인을 설정한다. 이러한 방식에서, 사전 지식에 기초하여 실질적으로 예가 거의 없는 결함을 제거하기 위해, 수동 의사 결정 트리가 사용될 수도 있다.
하나의 이러한 실시형태가 도 6에서 도시된다. 이 도면에서 도시되는 바와 같이, 데이터(600)는, 토포그래피 및/또는 형상 속성에 기초한 분류기로서 구성되는 제1 분류기(602)에 입력되는 것에 의해 분류기에 입력될 수도 있다. 게다가, 제1 분류기(602)는 단지 토포그래피 및 형상 기반 속성에 근거하여 구축될 수도 있다. 단지 이들 속성을 사용하여 잘 분리되는 결함은 이 분류기에 의해 잘 분리될 것이다. 다시 말하면, 이러한 결함은 높은 신뢰도의 결함(604)을 포함할 수도 있다. 이들 속성이 툴 드리프트에서 실질적으로 안정적이기 때문에, 이들 결함은, 툴 드리프트 이후에도 항상 높은 신뢰도를 가지고 정확하게 분류될 것이다. 나머지 결함, 즉, 낮은 신뢰도 결함(606) 또는 상대적으로 높은 신뢰도를 가지고 제1의 분류기에 의해 분류되지 않은 결함은, 모든 이용 가능한 결함 속성에 기초한 랜덤 포레스트 분류기일 수도 있는 다음 번 순차적인 분류기로 전송될 수도 있다. 예를 들면, 도 6에서 도시되는 바와 같이, 낮은 신뢰도의 결함은, 모든 속성에 기초한 분류기인 제2 분류기(608)로 전송될 수도 있다. 이 분류기에 의해 수행되는 분류는, 고 신뢰도 결함(604)과 결합될 수도 있는 고 신뢰도 결함(610)을 포함하는 결과를 생성할 수 있고, 상대적으로 적은 클래스를 제거하기 위한 수동 의사 결정 트리인 제3 분류기(612)로 전송될 수도 있다. 예를 들면, 제3 순차적인 분류기는, 실질적으로 예가 거의 없는 결함을 제거하기 위해 루트 노드로서 각각의 분류기 빈과 함께 구축되는 수동 의사 결정 트리일 수도 있다. 하나의 이러한 예에서, 라인 브리징이 브리징으로 분류되면, 라인 브리징을 제거하기 위해, 브리징에 대한 ADC 빈, 즉, 제1 및 제2 순차적인 분류기에서 브리징으로 분류되는 결함의 세트에 의거하여 수동 의사 결정 트리가 구축될 수도 있다.
따라서, 상기에서 설명되는 결함 분류기 실시형태는, 현재 사용되는 결함 분류기에 비해 다수의 이점을 제공한다. 예를 들면, 본원에서 설명되는 실시형태는, 시간이 지남에 따른 이미징 조건에서의 변화 또는 툴 드리프트에 강건한 분류기를 구축하는 방법을 제공한다. 본 발명가에 의해 수행된 몇몇 연구는, 결함의 거의 90 %가 단지 토포그래피 및 형상 기반의 속성을 사용하여 분리될 수 있다는 것을 나타낸다. 따라서, 본원에서 설명되는 순차적인 분류기 실시형태에서, 툴이 드리프트하는 경우에도, 성능의 90 %가 보장될 것이다. 따라서, 본원에서 설명되는 실시형태는, 변화하는 조건에 더욱 탄력적인 분류기를 구축하기 위해 사용될 수 있다.
다른 실시형태에서, 실시형태는, 분류기 성능을 열화시키는 것으로 알려진 결함이 실질적으로 거의 없는 클래스를 다루는 방법을 제공한다. 대조적으로, 현재 사용되는 ADC 방법은, 예시적인 결함이 실질적으로 거의 없는 소수의 결함 클래스를 실질적으로 많이 갖는 레이어 상에서 성능을 유지할 수 없는데, 이것은 팹 전반의 일반적인 사용 사례이며 ADC 성능을 심각하게 저해할 수 있다.
추가적인 예에서, 실시형태는 다양한 툴/이미징 조건을 가질 수도 있는 툴에 걸쳐 분류기를 포팅하기 위한 방법을 제공한다. 대조적으로, 현재 사용되는 ADC 방법은 툴 드리프트에 의해 심각하게 영향을 받고, 분류기의 효율적인 포팅을 위한 어떠한 솔루션도 가지지 않는다. 따라서, 현재로서는, 일정한 재교정 없이는 충족하기 어려운 시스템 안정성에 심각한 제약이 가해지고 있다. 예를 들면, 현재 사용되는 ADC 방법에서, 모든 결함 타입은 툴 드리프트에 민감하지만, 그러나 본원에서 설명되는 순차적인 분류기에서는, 토포그래피 및 형상 기반의 속성이 분류할 수 없는 결함만이 툴 드리프트에 민감하다. 포팅 이후, 분류기가 작동하지 않는 것으로 밝혀지면, 현재 사용되는 ADC 방법에서는, 전체 분류기가 재트레이닝되지만, 본원에서 설명되는 순차적인 분류기의 경우에서는, 단지 제2 분류기만이 재트레이닝될 수도 있다. 따라서, 본원에서 설명되는 실시형태는 분류기의 효율적인 툴 대 툴 포팅을 가능하게 하고 상대적으로 적은 결함을 갖는 결함 클래스를 제거하는 것에 의해 분류기 성능을 향상시킨다.
추가적인 예에서, 실시형태는, 툴 이미징 조건이 실질적으로 상이하더라도, 분류기 셋업을 위해 멀티 툴 데이터를 사용하기 위한 방법을 제공한다. 이러한 방식에서, 본원에서 설명되는 실시형태는 툴 매칭에 대해 엄격한 경계를 두지 않고도 분류기의 상대적으로 용이한 멀티 툴 셋업을 제공한다. 따라서, 본원에서 설명되는 실시형태는 ADC 방법의 성공에 중요할 수도 있다. 이러한 방식에서, ADC 작업은, 초기에는 매칭하더라도, 시간이 지남에 따라 드리프트하는 다수의 툴로부터의 분류기 셋업을 수반할 수도 있다. 따라서, 멀티 툴 분류기가 드리프트하는 툴 조건을 다룰 수 있도록 멀티 툴 분류기가 셋업될 수 있는 것을 보장하는 것이 중요하다. 순차적인 분류기는, 툴 드리프트에 대해 불변하는 그리고 툴 대 툴 매칭에 대한 경계를 상당히 완화하는, 분류기를 셋업하기 위한 더욱 강건하고 신뢰 가능한 방식을 제공할 것이다.
다른 실시형태는 적응성 자동 결함 분류기를 사용하여 시료 상의 결함을 분류하기 위한 컴퓨터 구현 방법에 관한 것이다. 그 방법은 상기에서 설명되는 컴퓨터 서브시스템(들)의 기능의 각각에 대한 단계를 포함한다.
방법의 단계의 각각은 본원에서 추가로 설명되는 바와 같이 수행될 수도 있다. 그 방법은 또한, 본원에서 설명되는 출력 획득 서브시스템 및/또는 컴퓨터 서브시스템(들) 또는 시스템(들)에 의해 수행될 수 있는 임의의 다른 단계(들)를 포함할 수도 있다. 방법의 단계는, 본원에서 설명되는 실시형태 중 임의의 것에 따라 구성될 수도 있는 하나 이상의 컴퓨터 시스템에 의해 수행된다. 또한, 상기에서 설명되는 방법은 본원에서 설명되는 시스템 실시형태 중 임의의 것에 의해 수행될 수도 있다.
추가적인 실시형태는, 적응성 자동 결함 분류기를 사용하여 시료 상의 결함을 분류하기 위한 컴퓨터 구현 방법을 수행하기 위한 컴퓨터 시스템 상에서 실행가능한 프로그램 명령어를 저장하는 비일시적 컴퓨터 판독가능 매체에 관한 것이다. 하나의 이러한 실시형태는 도 7에서 도시된다. 특히, 도 7에서 도시되는 바와 같이, 비일시적 컴퓨터 판독가능 매체(700)는 컴퓨터 시스템(704) 상에서 실행 가능한 프로그램 명령어(702)를 포함한다. 컴퓨터 구현 방법은, 본원에서 설명되는 임의의 방법(들)의 임의의 단계(들)를 포함할 수도 있다.
본원에서 설명되는 것과 같은 방법을 구현하는 프로그램 명령어(702)는 컴퓨터 판독가능 매체(700) 상에 저장될 수도 있다. 컴퓨터 판독가능 매체는, 자기 또는 광학 디스크, 자기 테이프, 또는 기술 분야에서 공지되어 있는 임의의 다른 적절한 비일시적 컴퓨터 판독가능 매체와 같은 저장 매체일 수도 있다.
프로그램 명령어는, 다른 것들 중에서도, 프로시져 기반의 기술, 컴포넌트 기반의 기술, 및/또는 객체 지향 기술을 비롯한 다양한 방식 중 임의의 것에서 구현될 수도 있다. 예를 들면, 프로그램 명령어는, 필요에 따라, 액티브X(ActiveX) 컨트롤, C++ 오브젝트, 자바빈(JavaBeans), 마이크로소프트 파운데이션 클래스(Microsoft Foundation Classes; "MFC"), SSE(Streaming SIMD Extension; 스트리밍 SIMD 확장) 또는 다른 기술 또는 방법론을 사용하여 구현될 수도 있다.
컴퓨터 시스템(704)은, 본원에서 설명되는 실시형태 중 임의의 것에 따라 구성될 수도 있다.
본원에서 설명되는 모든 방법은, 방법 실시형태의 하나 이상의 단계의 결과를 컴퓨터 판독가능 저장 매체에 저장하는 것을 포함할 수도 있다. 결과는 본원에서 설명되는 결과 중 임의의 것을 포함할 수도 있고 기술 분야에서 공지되어 있는 임의의 방식으로 저장될 수도 있다. 저장 매체는 본원에서 설명되는 임의의 저장 매체 또는 기술 분야에서 공지되어 있는 임의의 다른 적절한 저장 매체를 포함할 수도 있다. 결과가 저장된 이후, 결과는 저장 매체에서 액세스될 수 있고, 본원에서 설명되는 방법 또는 시스템 실시형태 중 임의의 것에 의해 사용될 수 있고, 유저에 대한 디스플레이를 위해 정형화될 수 있고, 다른 소프트웨어 모듈, 방법, 또는 시스템에 의해 사용될 수 있고, 등등일 수 있다.
본 설명의 검토에서, 기술 분야의 숙련된 자에게는, 본 발명의 다양한 양태의 다른 수정예 및 대안적 실시형태가 명백할 것이다. 예를 들면, 적응성 자동 결함 분류기를 사용하여 시료 상의 결함을 분류하기 위한 방법 및 시스템이 제공된다. 따라서, 본 설명은, 단지 예증적인 것으로만 해석되어야 하며, 본 발명을 실행하는 일반적인 방식을 기술 분야의 숙련된 자에게 교시하는 목적을 위한 것이다. 본원에서 도시되고 설명되는 본 발명의 형태는 현 시점에서의 바람직한 실시형태로서 간주되어야 한다는 것이 이해되어야 한다. 엘리먼트 및 재료는 본원에서 예시되고 설명되는 것들에 대해 대체될 수도 있고, 부품 및 프로세스는 반대로 될 수도 있고, 본 발명의 소정의 피쳐는 독립적으로 활용될 수도 있는데, 이들 모두는, 본 발명의 본 설명의 이익을 가진 이후, 기술 분야의 숙련된 자에게 명백해질 것이다. 하기의 청구범위에서 설명되는 바와 같은 본 발명의 취지와 범위를 벗어나지 않으면서, 본원에서 설명되는 엘리먼트에서 변경이 이루어질 수도 있다.

Claims (27)

  1. 적응성 자동 결함 분류기를 사용하여 시료 상의 결함을 분류하도록 구성되는 시스템으로서,
    적어도 에너지 소스 및 검출기 - 상기 에너지 소스는 시료로 지향되는 에너지를 생성하도록 구성되고, 상기 검출기는 상기 시료로부터 에너지를 검출하도록 그리고 상기 검출된 에너지에 응답하는 출력을 생성하도록 구성됨 - 를 포함하는 출력 획득 서브시스템; 및
    하나 이상의 컴퓨터 서브시스템을 포함하고,
    상기 하나 이상의 컴퓨터 서브시스템은,
    상기 검출기에 의해 생성되는 출력에 기초하여 상기 시료 상에서 결함을 검출하는 것에 의해 제1 로트 결과를 생성하도록;
    클러스터링 방법을 사용하여 상기 결함을 상이한 그룹으로 분리하도록;
    유저로부터 상기 상이한 그룹의 각각에 대한 분류를 수신하도록;
    상기 수신된 분류 및 상기 제1 로트 결과의 모든 결함을 포함하는 결함의 트레이닝 세트에 기초하여 결함 분류기를 생성하도록;
    다른 시료에 대해 상기 검출기에 의해 생성되는 추가적인 출력에 기초하여 상기 시료와 동일한 타입의 다른 시료 상에서 추가적인 결함을 검출하는 것에 의해 추가적인 로트 결과를 생성하도록;
    상기 제1 및 추가적인 로트 결과를 결합하여 누적 로트 결과를 생성하도록;
    상기 생성된 결함 분류기를 상기 누적 로트 결과의 상기 결함에 적용하는 것에 의해 상기 누적 로트 결과의 상기 결함을 분류하도록;
    상기 추가적인 로트 결과의 상기 결함 중 임의의 것이 신뢰도 임계치 미만인 신뢰도 값을 갖는지를 결정하도록;
    상기 추가적인 로트 결과의 상기 결함 중 하나 이상이 상기 신뢰도 임계치 미만인 신뢰도 값을 갖는 경우, 유저로부터 상기 하나 이상의 결함에 대한 하나 이상의 분류를 수신하고 상기 트레이닝 세트를 수정하여 상기 하나 이상의 결함 및 상기 하나 이상의 분류를 포함하도록;
    상기 수정된 트레이닝 세트에 기초하여 상기 결함 분류기를 수정하도록;
    수정된 결함 분류기를 사용하여 상기 누적 로트 결과의 결함을 분류하도록; 그리고
    상기 누적 로트 결과의 상기 결함 모두가 상기 유저에 의해 분류되거나 상기 추가적인 로트 결과의 상기 결함 중 어느 것도 상기 신뢰도 임계치 미만인 신뢰도 값을 갖지 않는 경우, 적응성 분류기 생성을 완료하도록
    구성되는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  2. 제1항에 있어서,
    상기 결함 분류기를 생성하는 것은, 자동 신뢰도 임계치를 사용하여 수행되는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  3. 제1항에 있어서,
    상기 생성된 결함 분류기는 랜덤 포레스트 타입(random forest type) 결함 분류기인 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  4. 제1항에 있어서,
    상기 생성된 결함 분류기는 지원 벡터 머신 타입(supported vector machine type) 결함 분류기인 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  5. 제1항에 있어서,
    상기 하나 이상의 컴퓨터 서브시스템은 또한, 데이터 중복 스코어를,
    a) 결함의 다수의 클래스 중 제1 클래스에 대해, 클러스터링 방법을 사용하여 상기 제1 클래스의 상기 결함의 일부를 선택하고 상기 제1 클래스에 대한 트레이닝 세트에 상기 결함의 상기 선택된 부분을 추가하는 것;
    b) 상기 제1 클래스에 대한 상기 트레이닝 세트 및 상기 다수 클래스 중 다른 클래스의 트레이닝 세트를 갖는 자동화된 분류기를 생성하는 것;
    c) 단계 a)에서 선택되지 않은 상기 제1 클래스의 상기 결함의 일부를 상기 자동화된 분류기를 사용하여 분류하는 것;
    d) 상기 제1 클래스의 임의의 결함이 상기 자동화된 분류기에 의해 미리 정의된 신뢰도 임계치 미만으로 분류되면, 상기 제1 클래스의 미리 결정된 수의 상기 결함을 상기 1 클래스에 대한 상기 트레이닝 세트에 추가하고 단계 a) 내지 c)를 반복하는 것; 및
    e) 상기 제1 클래스의 상기 결함 중 어느 것도 상기 자동화된 분류기에 의해 상기 미리 정의된 신뢰도 임계치 미만으로 분류되지 않는 경우, 상기 데이터 중복성 스코어를 1 - (상기 제1 클래스에 대한 상기 트레이닝 세트의 사이즈)/(상기 제1 클래스의 사이즈)로 계산하는 것
    에 의해 결정하도록 구성되는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  6. 제1항에 있어서,
    상기 하나 이상의 컴퓨터 서브시스템은 또한, 상기 생성된 결함 분류기 및 상기 수정된 결함 분류기에 의해 생성되는 결과에서의 미분류 결함의 빈(bin)의 사이즈를 모니터링하도록 그리고 상기 빈의 사이즈가 미리 결정된 사이즈보다 더 큰 경우 경보(alarm)를 생성하도록 구성되며, 상기 경보는, 상기 출력 획득 서브시스템의 하나 이상의 파라미터의 교정이 필요하다는 것을 나타내는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  7. 제1항에 있어서,
    상기 하나 이상의 컴퓨터 서브시스템은 또한, 상기 생성된 결함 분류기 및 상기 수정된 결함 분류기에 의해 생성되는 결과에서의 각각의 결함 빈의 신뢰도 히스토그램을 모니터링하도록 그리고 상기 신뢰도 히스토그램이 하나 이상의 미리 결정된 특성을 갖는 경우 경보를 생성하도록 구성되며, 상기 경보는, 상기 출력 획득 서브시스템의 하나 이상의 파라미터의 교정이 필요하다는 것을 나타내는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  8. 제1항에 있어서,
    상기 하나 이상의 컴퓨터 서브시스템은 또한, 상기 결함을 분류하기 위해 상기 생성된 결함 분류기에 의해 사용되는 상기 결함의 하나 이상의 속성에서 상기 트레이닝 세트를 교란시키는(perturbing) 것에 의해 상기 생성된 결함 분류기에 대한 강건성 스코어를 결정하도록 그리고 상기 생성된 결함 분류기의 성능이 미리 결정된 레벨 아래로 떨어지기 이전에, 상기 생성된 결함 분류기가 견딜 수 있는 교란의 양을 결정하도록 구성되는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  9. 제8항에 있어서,
    상기 하나 이상의 컴퓨터 서브시스템은 또한, 상기 강건성 스코어에 기초하여 상기 출력 획득 서브시스템의 하나 이상의 파라미터에 대한 하나 이상의 제어 설정을 결정하도록 구성되는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  10. 제1항에 있어서,
    상기 하나 이상의 컴퓨터 서브시스템은 또한,
    상기 생성된 결함 분류기 또는 상기 수정된 결함 분류기에 의해 생성되는 미분류 결함의 빈의 결함을, 상기 트레이닝 세트 또는 상기 수정된 트레이닝 세트에 각각 첨부하는(appending) 것에 의해 추가적인 트레이닝 세트를 생성하도록;
    상기 추가적인 트레이닝 세트에 대해 다른 분류기 - 상기 다른 분류기는 상기 추가적인 트레이닝 세트의 결함 중 두 개 이상을 미분류 결함의 추가적인 빈으로 분류함 - 를 트레이닝시키도록;
    다른 신뢰도 임계치를 초과하는 신뢰도를 갖는 상기 결함이 제1 빈 - 상기 제1 빈은 예비적인 신규의 빈임 - 에 할당되고 상기 다른 신뢰도 임계치 미만의 신뢰도를 갖는 결함이 제2 빈에 할당되도록 상기 추가적인 빈의 상기 결함의 각각에 할당되는 상기 다른 분류기의 신뢰도에 기초하여 상기 추가적인 빈의 상기 결함을 분리하도록;
    상기 예비적인 신규의 빈을 상기 트레이닝 세트 또는 상기 수정된 트레이닝 세트에 각각 첨부하는 것에 의해 추가적인 트레이닝 세트를 생성하도록;
    상기 추가적인 트레이닝 세트에 대해 추가적인 분류기를 트레이닝시키도록;
    상기 추가적인 분류기를 사용하여 상기 제2 빈에 할당되는 상기 결함을 분류하는 것에 의해 상기 제2 빈에 할당되는 상기 결함을, 추가적인 신뢰도 임계치를 초과하는 신뢰도를 가지고 상기 제2 빈에 할당되는 결함 및 상기 추가적인 신뢰도 임계치 미만의 신뢰도를 가지고 상기 제2 빈에 할당되는 결함으로 분리하도록; 그리고
    상기 추가적인 신뢰도 임계치를 초과하는 상기 신뢰도를 가지고 상기 제2 빈에 할당되는 상기 결함을 상기 예비적인 신규의 빈에 추가하는 것에 의해 최종적인 신규의 빈을 생성하도록 구성되는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  11. 제10항에 있어서,
    상기 하나 이상의 컴퓨터 서브시스템은 또한,
    상기 최종적인 신규의 빈의 상기 결함을 상기 트레이닝 세트 또는 상기 수정된 트레이닝 세트에 각각 첨부하는 것에 의해 다른 추가적인 트레이닝 세트를 생성하도록;
    재트레이닝된 결함 분류기가 상기 최종적인 신규의 빈에 대응하는 추가적인 신규의 빈을 생성하게끔 상기 다른 추가적인 트레이닝 세트에 기초하여 상기 생성된 결함 분류기 또는 상기 수정된 결함 분류기를 각각 재트레이닝시키도록; 그리고
    신규의 결함인 상기 하나 이상의 빈의 결함이 상기 하나 이상의 빈으로부터 상기 추가적인 신규의 빈으로 이동되게끔 상기 재트레이닝된 결함 분류기를 사용하여, 상기 생성된 결함 분류기 또는 상기 수정된 결함 분류기에 의해 생성되는 미분류 결함의 상기 빈 이외의 하나 이상의 빈의 상기 결함을 각각 분류하도록 구성되는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  12. 제10항에 있어서,
    상기 하나 이상의 컴퓨터 서브시스템은 또한, 상기 최종적인 신규의 빈의 사이즈를 임계치와 비교하도록 그리고 상기 최종적인 신규의 빈의 상기 사이즈가 상기 임계치를 초과하는 경우 상기 생성된 결함 분류기 또는 상기 수정된 결함 분류기의 재트레이닝을 각각 트리거하도록 구성되는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  13. 제1항에 있어서,
    상기 생성된 결함 분류기는, 다른 신뢰도 임계치 미만의 신뢰도를 가지고 제1 결함 분류기에 의해 분류되는 결함만이 제2 결함 분류기로 전송되도록 순서대로 배열되는 적어도 상기 제1 결함 분류기 및 상기 제2 결함 분류기를 포함하고, 상기 제1 결함 분류기는, 상기 결함을 하나 이상의 제1 클래스로 분리하기 위해 상기 결함에 대한 상기 하나 이상의 컴퓨터 서브시스템에 의해 결정되는 결함 속성의 제1 부분만을 사용하도록 구성되고, 상기 결함 속성의 상기 제1 부분은 상기 출력 획득 서브시스템의 하나 이상의 파라미터에서의 드리프트(drift)에 대해 실질적으로 안정적인 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  14. 제13항에 있어서,
    상기 결함 속성의 상기 제1 부분은 하나 이상의 토포그래피(topography) 기반의 속성을 포함하는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  15. 제13항에 있어서,
    상기 결함 속성의 상기 제1 부분은 하나 이상의 형상 기반의 속성을 포함하는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  16. 제13항에 있어서,
    상기 결함 속성의 상기 제1 부분은 강도 기반의 속성을 포함하지 않는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  17. 제13항에 있어서,
    상기 제2 결함 분류기는 상기 결함 속성의 제2 부분을 사용하여 상기 결함을 하나 이상의 제2 클래스로 분리하도록 구성되고, 상기 결함 속성의 상기 제2 부분은 상기 결함 속성의 상기 제1 부분보다 상기 드리프트에 덜 안정적인 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  18. 제17항에 있어서,
    상기 결함 속성의 상기 제2 부분은 하나 이상의 강도 기반의 속성을 포함하는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  19. 제13항에 있어서,
    상기 결함 속성의 상기 제1 부분은 상기 출력 획득 서브시스템의 상기 하나 이상의 파라미터와 다른 출력 획득 서브시스템의 하나 이상의 파라미터 사이의 차이에 대해 실질적으로 안정적인 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  20. 제19항에 있어서,
    상기 하나 이상의 컴퓨터 서브시스템은 또한, 상기 다른 출력 획득 서브시스템에 의해 생성되는 출력에 기초하여 검출되는 결함을, 상기 생성된 결함 분류기를 사용하여 분류하도록 구성되는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  21. 제13항에 있어서,
    상기 결함 분류기를 생성하기 위해 사용되는 결함의 상기 트레이닝 세트는, 다른 출력 획득 서브시스템에 의해 생성되는 출력에 기초하여 검출되는 결함을 더 포함하고, 상기 출력 획득 서브시스템 및 상기 다른 출력 획득 서브시스템은, 상기 출력이 상기 출력 획득 서브시스템 및 상기 다른 출력 획득 서브시스템에 의해 생성될 때 서로 매칭되지 않는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  22. 제13항에 있어서,
    상기 생성된 결함 분류기는, 상기 제1 및 제2 결함 분류기를 적용한 결과가 제3 결함 분류기에 입력되도록 상기 순서대로 배열되는 제3 결함 분류기를 더 포함하고, 상기 제3 결함 분류기는 수동 의사 결정 트리(manual decision tree)를 포함하는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  23. 제1항에 있어서,
    상기 시료는 웨이퍼를 포함하는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  24. 제1항에 있어서,
    상기 시료로 지향되는 상기 에너지는 광을 포함하고, 상기 시료로부터 검출되는 상기 에너지는 광을 포함하는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  25. 제1항에 있어서,
    상기 시료로 지향되는 상기 에너지는 전자를 포함하고, 상기 시료로부터 검출되는 상기 에너지는 전자를 포함하는 것인, 시료 상의 결함을 분류하도록 구성되는 시스템.
  26. 적응성 자동 결함 분류기를 사용하여 시료 상의 결함을 분류하기 위한 컴퓨터 구현 방법을 수행하기 위한 컴퓨터 시스템 상에서 실행 가능한 프로그램 명령어를 저장하는 비일시적 컴퓨터 판독 가능 매체로서,
    상기 컴퓨터 구현 방법은,
    출력 획득 서브시스템의 검출기에 의해 생성되는 출력에 기초하여 상기 시료 상에서 결함을 검출하는 것에 의해 제1 로트 결과를 생성하는 단계 - 상기 출력 획득 서브시스템은 적어도 에너지 소스 및 상기 검출기를 포함하고, 상기 에너지 소스는 시료로 지향되는 에너지를 생성하도록 구성되고, 상기 검출기는 상기 시료로부터 에너지를 검출하도록 그리고 상기 검출된 에너지에 응답하는 상기 출력을 생성하도록 구성됨 -;
    클러스터링 방법을 사용하여 상기 결함을 상이한 그룹으로 분리하는 단계;
    유저로부터 상기 상이한 그룹의 각각에 대한 분류를 수신하는 단계;
    상기 수신된 분류 및 상기 제1 로트 결과의 모든 결함을 포함하는 결함의 트레이닝 세트에 기초하여 결함 분류기를 생성하는 단계;
    다른 시료에 대해 상기 검출기에 의해 생성되는 추가적인 출력에 기초하여 상기 시료와 동일한 타입의 다른 시료 상에서 추가적인 결함을 검출하는 것에 의해 추가적인 로트 결과를 생성하는 단계;
    상기 제1 및 추가적인 로트 결과를 결합하여 누적 로트 결과를 생성하는 단계;
    상기 생성된 결함 분류기를 상기 누적 로트 결과의 상기 결함에 적용하는 것에 의해 상기 누적 로트 결과의 상기 결함을 분류하는 단계;
    상기 추가적인 로트 결과의 상기 결함 중 임의의 것이 신뢰도 임계치 미만인 신뢰도 값을 갖는지를 결정하는 단계;
    상기 추가적인 로트 결과의 상기 결함 중 하나 이상이 상기 신뢰도 임계치 미만인 신뢰도 값을 갖는 경우, 유저로부터 상기 하나 이상의 결함에 대한 하나 이상의 분류를 수신하고 상기 트레이닝 세트를 수정하여 상기 하나 이상의 결함 및 상기 하나 이상의 분류를 포함하는 단계;
    상기 수정된 트레이닝 세트에 기초하여 상기 결함 분류기를 수정하는 단계;
    상기 수정된 결함 분류기를 사용하여 상기 누적 로트 결과의 결함을 분류하는 단계; 및
    상기 누적 로트 결과의 상기 결함 모두가 상기 유저에 의해 분류되지 않거나 상기 추가적인 로트 결과의 상기 결함 중 어느 것도 상기 신뢰도 임계치 미만인 신뢰도 값을 갖지 않는 경우, 적응성 분류기 생성을 완료하는 단계를 포함하는 것인, 프로그램 명령어를 저장하는 비일시적 컴퓨터 판독 가능 매체.
  27. 적응성 자동 결함 분류기를 사용하여 시료 상의 결함을 분류하기 위한 컴퓨터 구현 방법으로서,
    출력 획득 서브시스템의 검출기에 의해 생성되는 출력에 기초하여 상기 시료 상에서 결함을 검출하는 것에 의해 제1 로트 결과를 생성하는 단계 - 상기 출력 획득 서브시스템은 적어도 에너지 소스 및 상기 검출기를 포함하고, 상기 에너지 소스는 시료로 지향되는 에너지를 생성하도록 구성되고, 상기 검출기는 상기 시료로부터 에너지를 검출하도록 그리고 상기 검출된 에너지에 응답하는 상기 출력을 생성하도록 구성됨 -;
    클러스터링 방법을 사용하여 상기 결함을 상이한 그룹으로 분리하는 단계;
    유저로부터 상기 상이한 그룹의 각각에 대한 분류를 수신하는 단계;
    상기 수신된 분류 및 상기 제1 로트 결과의 모든 결함을 포함하는 결함의 트레이닝 세트에 기초하여 결함 분류기를 생성하는 단계;
    다른 시료에 대해 상기 검출기에 의해 생성되는 추가적인 출력에 기초하여 상기 시료와 동일한 타입의 다른 시료 상에서 추가적인 결함을 검출하는 것에 의해 추가적인 로트 결과를 생성하는 단계;
    상기 제1 및 추가적인 로트 결과를 결합하여 누적 로트 결과를 생성하는 단계;
    상기 생성된 결함 분류기를 상기 누적 로트 결과의 상기 결함에 적용하는 것에 의해 상기 누적 로트 결과의 상기 결함을 분류하는 단계;
    상기 추가적인 로트 결과의 상기 결함 중 임의의 것이 신뢰도 임계치 미만인 신뢰도 값을 갖는지를 결정하는 단계;
    상기 추가적인 로트 결과의 상기 결함 중 하나 이상이 상기 신뢰도 임계치 미만인 신뢰도 값을 갖는 경우, 유저로부터 상기 하나 이상의 결함에 대한 하나 이상의 분류를 수신하고 상기 트레이닝 세트를 수정하여 상기 하나 이상의 결함 및 상기 하나 이상의 분류를 포함하는 단계;
    상기 수정된 트레이닝 세트에 기초하여 상기 결함 분류기를 수정하는 단계;
    상기 수정된 결함 분류기를 사용하여 상기 누적 로트 결과의 결함을 분류하는 단계; 및
    상기 누적 로트 결과의 상기 결함 모두가 상기 유저에 의해 분류되지 않거나 상기 추가적인 로트 결과의 상기 결함 중 어느 것도 상기 신뢰도 임계치 미만인 신뢰도 값을 갖지 않는 경우, 적응성 분류기 생성을 완료하는 단계를 포함하고,
    상기 방법의 단계는 하나 이상의 컴퓨터 시스템에 의해 수행되는 것인, 시료 상의 결함을 분류하기 위한 컴퓨터 구현 방법.
KR1020187010844A 2015-09-18 2016-09-16 적응성 자동 결함 분류 KR102397736B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201562220868P 2015-09-18 2015-09-18
US62/220,868 2015-09-18
US201562387461P 2015-12-23 2015-12-23
US62/387,461 2015-12-23
US201562274013P 2015-12-31 2015-12-31
US62/274,013 2015-12-31
US14/991,901 2016-01-08
US14/991,901 US10436720B2 (en) 2015-09-18 2016-01-08 Adaptive automatic defect classification
PCT/US2016/052323 WO2017049219A1 (en) 2015-09-18 2016-09-16 Adaptive automatic defect classification

Publications (2)

Publication Number Publication Date
KR20180043394A true KR20180043394A (ko) 2018-04-27
KR102397736B1 KR102397736B1 (ko) 2022-05-13

Family

ID=58277077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187010844A KR102397736B1 (ko) 2015-09-18 2016-09-16 적응성 자동 결함 분류

Country Status (5)

Country Link
US (1) US10436720B2 (ko)
KR (1) KR102397736B1 (ko)
CN (1) CN108352339B (ko)
TW (1) TWI690007B (ko)
WO (1) WO2017049219A1 (ko)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015212984A1 (en) * 2014-01-28 2016-06-23 Ventana Medical Systems, Inc. Adaptive classification for whole slide tissue segmentation
US9947596B2 (en) 2015-08-05 2018-04-17 Kla-Tencor Corporation Range-based real-time scanning electron microscope non-visual binner
US10620618B2 (en) * 2016-12-20 2020-04-14 Palantir Technologies Inc. Systems and methods for determining relationships between defects
WO2018119684A1 (zh) * 2016-12-27 2018-07-05 深圳前海达闼云端智能科技有限公司 一种图像识别系统及图像识别方法
US11237119B2 (en) * 2017-01-10 2022-02-01 Kla-Tencor Corporation Diagnostic methods for the classifiers and the defects captured by optical tools
TWI688761B (zh) * 2017-01-18 2020-03-21 荷蘭商Ａｓｍｌ荷蘭公司 缺陷顯示方法
TWI660249B (zh) * 2017-01-18 2019-05-21 荷蘭商Ａｓｍｌ荷蘭公司 缺陷圖案分組方法及系統
US11275361B2 (en) 2017-06-30 2022-03-15 Kla-Tencor Corporation Systems and methods for predicting defects and critical dimension using deep learning in the semiconductor manufacturing process
JP7210873B2 (ja) * 2017-07-26 2023-01-24 横浜ゴム株式会社 欠陥検査方法及び欠陥検査装置
US10713534B2 (en) 2017-09-01 2020-07-14 Kla-Tencor Corp. Training a learning based defect classifier
US11138507B2 (en) * 2017-09-28 2021-10-05 Applied Materials Israel Ltd. System, method and computer program product for classifying a multiplicity of items
US11037286B2 (en) * 2017-09-28 2021-06-15 Applied Materials Israel Ltd. Method of classifying defects in a semiconductor specimen and system thereof
WO2019113313A1 (en) * 2017-12-07 2019-06-13 Walmart Apollo, Llc System and method for the distributed approval of image-based claims
JP7054436B2 (ja) * 2017-12-14 2022-04-14 オムロン株式会社 検出システム、情報処理装置、評価方法及びプログラム
KR20190073756A (ko) 2017-12-19 2019-06-27 삼성전자주식회사 반도체 결함 분류 장치, 반도체의 결함을 분류하는 방법, 그리고 반도체 결함 분류 시스템
US11029359B2 (en) * 2018-03-09 2021-06-08 Pdf Solutions, Inc. Failure detection and classsification using sensor data and/or measurement data
US11514357B2 (en) * 2018-03-19 2022-11-29 Kla-Tencor Corporation Nuisance mining for novel defect discovery
US10670536B2 (en) 2018-03-28 2020-06-02 Kla-Tencor Corp. Mode selection for inspection
JP7219016B2 (ja) * 2018-04-27 2023-02-07 日立造船株式会社 判定装置、判定方法、および対象物判定プログラム
US11593657B2 (en) * 2018-06-05 2023-02-28 Samsung Electronics Co., Ltd. Machine learning device and machine learning method of machine learning device
US10713769B2 (en) * 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training
DE102018114005A1 (de) 2018-06-12 2019-12-12 Carl Zeiss Jena Gmbh Materialprüfung von optischen Prüflingen
CN109065467B (zh) * 2018-08-31 2020-11-13 上海华力微电子有限公司 晶圆缺陷检测系统及检测方法和计算机存储介质
US10854486B2 (en) * 2018-09-19 2020-12-01 Kla Corporation System and method for characterization of buried defects
CN109283685B (zh) * 2018-09-27 2020-10-09 中山大学 一种超构透镜纳米单元的设计方法及超构透镜
CN109741295B (zh) * 2018-11-28 2021-04-20 歌尔股份有限公司 产品质量检测方法及装置
KR102324622B1 (ko) * 2018-12-12 2021-11-12 어플라이드 머티리얼즈 이스라엘 리미티드 프로세스 모니터링
US11010885B2 (en) * 2018-12-18 2021-05-18 Kla Corporation Optical-mode selection for multi-mode semiconductor inspection
US11550309B2 (en) 2019-01-08 2023-01-10 Kla Corporation Unsupervised defect segmentation
US11941493B2 (en) 2019-02-27 2024-03-26 International Business Machines Corporation Discovering and resolving training conflicts in machine learning systems
JP7229338B2 (ja) * 2019-03-29 2023-02-27 Ｍｕｓａｓｈｉ ＡＩ株式会社 検査装置及び検査方法
CN110146513B (zh) * 2019-05-27 2021-07-06 Tcl华星光电技术有限公司 缺陷判定方法及缺陷判定装置
US11676264B2 (en) * 2019-07-26 2023-06-13 Kla Corporation System and method for determining defects using physics-based image perturbations
US11055840B2 (en) * 2019-08-07 2021-07-06 Kla Corporation Semiconductor hot-spot and process-window discovery combining optical and electron-beam inspection
US20210056466A1 (en) * 2019-08-19 2021-02-25 Parsons Corporation System and methodology for data classification, learning and transfer
CN110515753A (zh) * 2019-08-28 2019-11-29 中国银行股份有限公司 一种功能缺陷类型检测方法及系统
KR102627062B1 (ko) * 2019-10-06 2024-01-18 피디에프 솔루션즈, 인코포레이티드 비정상 장비 트레이스 검출 및 분류
US20210110207A1 (en) * 2019-10-15 2021-04-15 UiPath, Inc. Automatic activation and configuration of robotic process automation workflows using machine learning
WO2021086725A1 (en) * 2019-10-31 2021-05-06 Siemens Healthcare Diagnostics Inc. Apparatus and methods of training models of diagnostic analyzers
MX2022005752A (es) * 2019-11-12 2022-08-17 Bright Machines Inc Sistema de análisis de imágenes para pruebas en la fabricación.
US11379718B2 (en) * 2019-12-10 2022-07-05 International Business Machines Corporation Ground truth quality for machine learning models
US11360030B2 (en) * 2020-02-04 2022-06-14 Applied Materials Isreal Ltd Selecting a coreset of potential defects for estimating expected defects of interest
US11430105B2 (en) 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
US11150200B1 (en) 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training
US11620578B2 (en) * 2020-07-08 2023-04-04 Vmware, Inc. Unsupervised anomaly detection via supervised methods
EP4043975B1 (en) * 2021-02-15 2024-05-15 Siemens Aktiengesellschaft Computer-implemented method for determining at least one quality attribute for at least one defect of interest
JP2022140951A (ja) * 2021-03-15 2022-09-29 オムロン株式会社 品質評価装置及び検査管理システム
CN113176275B (zh) * 2021-03-19 2022-02-01 哈工大机器人(中山)无人装备与人工智能研究院 一种用于显示面板复检的方法、装置及系统
US11216932B1 (en) * 2021-03-26 2022-01-04 Minds AI Technologies Ltd Electronic substrate defect detection
WO2022208129A1 (en) * 2021-03-30 2022-10-06 Siemens Industry Software Inc. Method and system for detecting a false error on a component of a board inspected by an aoi machine
US11961218B2 (en) * 2021-07-29 2024-04-16 Zebra Technologies Corporation Machine vision systems and methods for automatically generating one or more machine vision jobs based on region of interests (ROIs) of digital images
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
JP2023076992A (ja) * 2021-11-24 2023-06-05 東レエンジニアリング株式会社 自動欠陥分類装置
CN117409261B (zh) * 2023-12-14 2024-02-20 成都数之联科技股份有限公司 一种基于分类模型的元件角度分类方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5966459A (en) * 1997-07-17 1999-10-12 Advanced Micro Devices, Inc. Automatic defect classification (ADC) reclassification engine
US20130279794A1 (en) * 2012-04-19 2013-10-24 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US20150262038A1 (en) * 2014-03-17 2015-09-17 Kla-Tencor Corporation Creating Defect Classifiers and Nuisance Filters

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978497A (en) * 1994-09-20 1999-11-02 Neopath, Inc. Apparatus for the identification of free-lying cells
US6256093B1 (en) * 1998-06-25 2001-07-03 Applied Materials, Inc. On-the-fly automatic defect classification for substrates using signal attributes
US6922482B1 (en) * 1999-06-15 2005-07-26 Applied Materials, Inc. Hybrid invariant adaptive automatic defect classification
US7359544B2 (en) * 2003-02-12 2008-04-15 Kla-Tencor Technologies Corporation Automatic supervised classifier setup tool for semiconductor defects
US7271891B1 (en) * 2003-08-29 2007-09-18 Kla-Tencor Technologies Corporation Apparatus and methods for providing selective defect sensitivity
US7564552B2 (en) * 2004-05-14 2009-07-21 Kla-Tencor Technologies Corp. Systems and methods for measurement of a specimen with vacuum ultraviolet light
WO2006044426A2 (en) 2004-10-12 2006-04-27 Kla-Tencor Technologies Corp. Computer-implemented methods and systems for classifying defects on a specimen
US7570796B2 (en) * 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
JP4644613B2 (ja) * 2006-02-27 2011-03-02 株式会社日立ハイテクノロジーズ 欠陥観察方法及びその装置
JP4908995B2 (ja) * 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置並びに欠陥検査装置
US8698093B1 (en) 2007-01-19 2014-04-15 Kla-Tencor Corporation Objective lens with deflector plates immersed in electrostatic lens field
WO2009152046A1 (en) * 2008-06-11 2009-12-17 Kla-Tencor Corporation Systems and methods for detecting design and process defects on a wafer, reviewing defects on a wafer, selecting one or more features within a design for use as process monitoring features, or some combination thereof
US8781781B2 (en) * 2010-07-30 2014-07-15 Kla-Tencor Corp. Dynamic care areas
US8664594B1 (en) 2011-04-18 2014-03-04 Kla-Tencor Corporation Electron-optical system for high-speed and high-sensitivity inspections
US8692204B2 (en) 2011-04-26 2014-04-08 Kla-Tencor Corporation Apparatus and methods for electron beam detection
JP5342606B2 (ja) * 2011-06-27 2013-11-13 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置
US9152700B2 (en) * 2011-09-30 2015-10-06 Google Inc. Applying query based image relevance models
US8718353B2 (en) * 2012-03-08 2014-05-06 Kla-Tencor Corporation Reticle defect inspection with systematic defect filter
US9607233B2 (en) * 2012-04-20 2017-03-28 Applied Materials Israel Ltd. Classifier readiness and maintenance in automatic defect classification
US8716662B1 (en) 2012-07-16 2014-05-06 Kla-Tencor Corporation Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations
US9053390B2 (en) * 2012-08-14 2015-06-09 Kla-Tencor Corporation Automated inspection scenario generation
US8934091B2 (en) * 2012-09-09 2015-01-13 Kla-Tencor Corp. Monitoring incident beam position in a wafer inspection system
GB2514836B (en) * 2013-06-07 2020-04-22 Thermo Fisher Scient Bremen Gmbh Isotopic Pattern Recognition
US9509112B2 (en) * 2013-06-11 2016-11-29 Kla-Tencor Corporation CW DUV laser with improved stability
TWI525317B (zh) 2013-10-08 2016-03-11 國立清華大學 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法
KR101768438B1 (ko) * 2013-10-30 2017-08-16 삼성에스디에스 주식회사 데이터 분류 장치 및 방법과 이를 이용한 데이터 수집 시스템
US10127652B2 (en) 2014-02-06 2018-11-13 Kla-Tencor Corp. Defect detection and classification based on attributes determined from a standard reference image
US9535905B2 (en) * 2014-12-12 2017-01-03 International Business Machines Corporation Statistical process control and analytics for translation supply chain operational management

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5966459A (en) * 1997-07-17 1999-10-12 Advanced Micro Devices, Inc. Automatic defect classification (ADC) reclassification engine
US20130279794A1 (en) * 2012-04-19 2013-10-24 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US20150262038A1 (en) * 2014-03-17 2015-09-17 Kla-Tencor Corporation Creating Defect Classifiers and Nuisance Filters

Also Published As

Publication number Publication date
WO2017049219A1 (en) 2017-03-23
US20170082555A1 (en) 2017-03-23
US10436720B2 (en) 2019-10-08
CN108352339A (zh) 2018-07-31
CN108352339B (zh) 2022-11-08
TWI690007B (zh) 2020-04-01
KR102397736B1 (ko) 2022-05-13
TW201721784A (zh) 2017-06-16

Similar Documents

Publication Publication Date Title
KR102397736B1 (ko) 적응성 자동 결함 분류
CN111052331B (zh) 识别检测到的缺陷中的扰乱及所关注缺陷的系统及方法
JP6490211B2 (ja) ウェハ欠陥発見
US10267748B2 (en) Optimizing training sets used for setting up inspection-related algorithms
KR102330733B1 (ko) 적응형 뉴슨스 필터
CN109844919B (zh) 优化用于设置检验相关算法的训练组
KR102472309B1 (ko) 검사를 위한 모드 선택
CN114503245B (zh) 用于多模式检验的基于统计学习模式选择的方法及系统
US11644756B2 (en) 3D structure inspection or metrology using deep learning
KR20210062713A (ko) 설계 및 잡음 기반 케어 영역들
WO2020198405A1 (en) Die screening using inline defect information
US11379969B2 (en) Method for process monitoring with optical inspections

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant