KR20190057402A - 검사 관련 알고리즘을 설정하는데 사용되는 트레이닝 세트의 최적화 - Google Patents

검사 관련 알고리즘을 설정하는데 사용되는 트레이닝 세트의 최적화 Download PDF

Info

Publication number
KR20190057402A
KR20190057402A KR1020197013523A KR20197013523A KR20190057402A KR 20190057402 A KR20190057402 A KR 20190057402A KR 1020197013523 A KR1020197013523 A KR 1020197013523A KR 20197013523 A KR20197013523 A KR 20197013523A KR 20190057402 A KR20190057402 A KR 20190057402A
Authority
KR
South Korea
Prior art keywords
inspection
related algorithm
defects
defect
labeled
Prior art date
Application number
KR1020197013523A
Other languages
English (en)
Other versions
KR102293789B1 (ko
Inventor
마틴 플리할
에르판 솔탄모함마디
사라바난 파라마시밤
사이람 라부
안키트 자인
사라스 쉐키자르
파라산티 우팔루리
Original Assignee
케이엘에이-텐코 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/782,820 external-priority patent/US10267748B2/en
Application filed by 케이엘에이-텐코 코포레이션 filed Critical 케이엘에이-텐코 코포레이션
Publication of KR20190057402A publication Critical patent/KR20190057402A/ko
Application granted granted Critical
Publication of KR102293789B1 publication Critical patent/KR102293789B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H01L22/24—Optical enhancement of defects or not directly visible states, e.g. selective electrolytic deposition, bubbles in liquids, light emission, colour change
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H01L22/26—Acting in response to an ongoing measurement without interruption of processing, e.g. endpoint detection, in-situ thickness measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95676—Masks, reticles, shadow masks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Complex Calculations (AREA)

Abstract

검사 관련 알고리즘을 트레이닝하기 위한 방법 및 시스템이 제공된다. 하나의 시스템은 레이블링된(labeled) 결함 세트로 검사 관련 알고리즘의 초기 트레이닝을 수행함으로써, 상기 검사 관련 알고리즘의 초기 버전을 생성하고, 상기 검사 관련 알고리즘의 초기 버전을 레이블링되지 않은 결함 세트에 적용하도록 구성된 하나 이상의 컴퓨터 서브시스템을 포함한다. 컴퓨터 서브시스템(들)은 상기 적용의 결과에 기초하여 상기 레이블링된 결함 세트를 변경하도록 또한 구성된다. 그 후 컴퓨터 서브시스템(들)은 알고리즘의 가장 최근 버전과 이전 버전에 의해 생성된 결과들 사이의 하나 이상의 차이가 하나 이상의 기준을 만족할 때까지 반복적으로 상기 검사 관련 알고리즘을 재트레이닝하고 상기 레이블링된 결함 세트를 변경한다. 상기 하나 이상의 차이가 하나 이상의 기준을 만족할 때, 상기 검사 관련 알고리즘의 가장 최근 버전이 트레이닝된 알고리즘으로서 출력된다.

Description

검사 관련 알고리즘을 설정하는데 사용되는 트레이닝 세트의 최적화
본 발명은 일반적으로 검사 관련 알고리즘을 설정(set up)하는데 사용되는 트레이닝 세트를 최적화하는 방법 및 시스템에 관한 것이다.
다음의 설명 및 예는 이 섹션에 포함됨으로써 선행 기술로 인정되는 것은 아니다.
검사 공정은 웨이퍼 상의 결함을 검출하기 위하여 반도체 제조 공정 동안 여러 단계에서 사용되어, 제조 공정에서 더 높은 수율 및 더 높은 이익을 촉진한다. 검사는 항상 반도체 디바이스 제조의 중요한 부분이 되어 왔다. 그러나, 반도체 디바이스의 치수가 감소함에 따라, 검사는 수용 가능한 반도체 디바이스의 성공적인 제조에 훨씬 더 중요하게 되는데, 그 이유는 결함이 작을수록 디바이스가 고장날 수 있기 때문이다.
웨이퍼와 같은 표본(specimen) 상에 결함이 검출될 때, 종종 어떤 종류의 알고리즘이 검출된 결함에 적용되어 그들을 상이한 종류의 결함으로 분리한다(또는 결함을 비 결함(non-defect)과 분리한다). 이를 수행하는 한 가지 방법은 검출된 결함을 상이한 유형 또는 클래스의 결함으로 분리하는 결함 분류기(defect classifier)를 검출된 결함에 적용하는 것이다. 결함 분류기는 대개 결함 및/또는 결함 이미지(예를 들어, 흔히 "패치(patch)" 이미지 또는 "패치(patches)"라고 불리는 결함 근처에서 얻어지는 비교적 작은 이미지)의 하나 이상의 속성을 입력으로서 사용하여, 결함의 유형 또는 클래스를 결정한다. 결함 분류기는 그 후 결정된 유형 또는 클래스를 나타내는 어떤 유형의 식별자 또는 ID를 각각의 결함에 지정한다. 검출된 결함을 분리하는 또 다른 방법은 실제 결함을 뉴슨스 또는 노이즈으로부터 분리하는 것이다. "뉴슨스" 결함은 일반적으로 사용자가 신경 쓰지 않는 결함 및/또는 결함으로서 검출되지만 실제로는 결함이 아닌 결함으로서 정의된다. 이러한 알고리즘은 일반적으로 결함 필터 및/또는 뉴슨스 필터라고 한다.
광학 검사 툴에서 가장 널리 사용되는 분류기/뉴슨스 필터는 수동으로 구성된 의사 결정 트리(decision tree)를 기반으로 한다. 이러한 의사 결정 트리의 튜닝 방법은 트리 구성을 위해 가장 잘 알려진 방법(best known method, BKM)에 통합된 경험과 도메인 지식을 활용한다. 이것은 전형적으로 의사 결정 트리가 BKM "템플릿", 결함 클러스터링 및 실질적으로 조잡한 결함 레이블링(패치를 사용)을 사용하여 초기에 생성되는 것을 초래한다. 트리의 구조를 얻은 후에는, 트리의 리프(leaf) 노드에 걸친 스마트 샘플 분포로 다양성 샘플링을 사용하여 트리를 다양하게 샘플링한다. 샘플링된 결함은 그 후 주사 전자 현미경(scanning electron microscope, SEM)으로 검토되고, 분류되며, 의사 결정 커트 라인(상이한 유형의 결함을 구분하는 경계)의 최종 튜닝에 사용된다. 머신 러닝 알고리즘(예를 들면, 가장 가까운 이웃 유형 분류기)에 기초한 다른 분류기는 트레이닝 세트에 자동적으로 주어진 의사 결정 경계를 찾아내지만, 성능을 최대화할 트레이닝 세트를 얻는 방법은 현재 존재하지 않는다.
그러나, 결함 분류기를 설정하고 튜닝하기 위해 현재 사용되는 방법에는 몇 가지 단점이 있다. 예를 들어, 기존의 방법은 노동 집약적이며, 광범위한 전문 지식을 요구하며, 인간 전문가에 의존하는 일관성 없는 결과를 산출한다. 인간 전문가에 의한 분류기 구축은 오류가 발생하기 쉽고 비용이 많이 들고 시간이 많이 소요된다. 각각의 결함에는 비교적 많은 수의 피처가 있어, 분류를 위해 피처를 적절히 시각화하는 것이 사실상 불가능하다. 그러므로, 근본적인 다차원 분포에 대한 지식 부족으로 인하여 인간 전문가는 분류 경계를 구축하는데 중대한 오류를 만들 수 있다. 유의미한 오류가 없더라도 수동으로 차선 수준의 분류기를 만들 가능성이 상당히 높다.
따라서, 전술한 하나 이상의 단점을 갖지 않는 검사 관련 알고리즘을 설정하기 위해 사용되는 트레이닝 세트를 최적화하기 위한 시스템 및/또는 방법을 개발하는 것이 유리할 것이다.
다음의 다양한 실시예의 설명은 첨부된 청구범위의 내용(subject matter)을 제한하는 식으로 해석되어서는 안 된다.
일 실시예는 검사 관련 알고리즘을 트레이닝하도록 구성된 시스템에 관한 것이다. 상기 시스템은 적어도 에너지원 및 검출기를 포함하는 검사 서브시스템을 포함한다. 상기 에너지원은 표본으로 향하는 에너지를 생성하도록 구성된다. 상기 검출기는 상기 표본으로부터의 에너지를 검출하고 상기 검출된 에너지에 응답하는 출력을 생성하도록 구성된다. 상기 시스템은 또한 하나 이상의 컴퓨터 서브시스템을 포함한다. 상기 하나 이상의 컴퓨터 서브시스템은, 레이블링된(labeled) 결함 세트로 검사 관련 알고리즘의 초기 트레이닝을 수행함으로써, 상기 검사 관련 알고리즘의 초기 버전(initial version)을 생성하도록 구성된다. 상기 컴퓨터 서브시스템(들)은 또한 상기 검사 관련 알고리즘의 초기 버전을 레이블링되지 않은(unlabeled) 결함 세트에 적용하고, 상기 적용의 결과에 기초하여 상기 레이블링된 결함 세트를 변경하도록 구성된다. 또한, 상기 컴퓨터 서브시스템(들)은 상기 변경된 레이블링된 결함 세트로 상기 검사 관련 알고리즘을 재트레이닝(re-training)함으로써 상기 검사 관련 알고리즘의 더 최근 버전(more recent version)을 생성하도록 구성된다. 상기 컴퓨터 서브시스템(들)은 또한 상기 검사 관련 알고리즘의 더 최근 버전을 또 다른 레이블링되지 않은 결함 세트에 적용하도록 구성된다. 또한, 상기 컴퓨터 서브시스템(들)은 상기 검사 관련 알고리즘의 더 최근 버전을 적용한 결과 및 상기 검사 관련 알고리즘의 초기 버전 또는 덜 최근 버전(less recent version)을 적용한 결과 사이의 하나 이상의 차이를 결정하도록 구성된다. 상기 컴퓨터 서브시스템(들)은 또한, 상기 레이블링된 결함 세트를 변경하고, 상기 검사 관련 알고리즘을 재트레이닝하고, 상기 검사 관련 알고리즘의 더 최근 버전을 적용하고, 상기 하나 이상의 차이를 결정하는 것을 상기 하나 이상의 차이가 하나 이상의 기준을 만족할 때까지 반복하도록 구성된다. 상기 하나 이상의 차이가 상기 하나 이상의 기준을 만족할 때, 상기 컴퓨터 서브시스템(들)은 상기 검사 관련 알고리즘의 가장 최근 버전(most recent version)을 다른 표본들의 검사에 사용하기 위한 트레이닝된 검사 관련 알고리즘으로서 출력하도록 구성된다. 상기 시스템은 본 명세서에서 설명되는 바와 같이 또한 구성될 수 있다.
다른 실시예는 검사 관련 알고리즘을 트레이닝하기 위한 컴퓨터 구현 방법에 관한 것이다. 상기 방법은 전술한 하나 이상의 컴퓨터 서브시스템의 기능 각각에 대한 단계를 포함한다. 상기 방법의 단계들은 하나 이상의 컴퓨터 시스템에 의해 수행된다. 상기 방법은 본 명세서에서 추가로 설명된 바와 같이 수행될 수 있다. 또한, 상기 방법은 본 명세서에 설명된 임의의 다른 방법(들)의 임의의 다른 단계(들)를 포함할 수 있다. 또한, 상기 방법은 본 명세서에 설명된 임의의 시스템에 의해 수행될 수 있다.
추가 실시예는 검사 관련 알고리즘을 트레이닝하기 위한 컴퓨터 구현 방법을 수행하기 위해 컴퓨터 시스템 상에서 실행되는 프로그램 명령어들을 저장한 비일시적 컴퓨터 판독 가능 매체에 관한 것이다. 상기 컴퓨터 구현 방법은 전술한 방법의 단계들을 포함한다. 컴퓨터 판독 가능 매체는 본 명세서에서 설명된 바와 같이 또한 구성될 수도 있다. 상기 컴퓨터 구현 방법의 단계들은 본 명세서에서 추가로 설명된 바와 같이 수행될 수 있다. 또한, 프로그램 명령어들이 실행 가능한 컴퓨터 구현 방법은 본 명세서에서 설명된 임의의 다른 방법(들)의 임의의 다른 단계(들)를 포함할 수 있다.
본 발명의 다른 목적들 및 이점들은 다음의 상세한 설명을 읽고 첨부 도면을 참조할 때 명백해질 것이다:
도 1 및 도 2는 본 명세서에서 설명된 바와 같이 구성된 시스템의 실시예의 측면도를 도시하는 개략도이다.
도 3은 본 명세서에 설명된 실시예들에 의해 수행될 수 있는 단계들의 일 실시예를 나타내는 흐름도이다.
도 4는 본 명세서에서 설명된 컴퓨터 구현 방법들 중 하나 이상을 수행하기 위해 컴퓨터 시스템 상에서 실행되는 프로그램 명령어들을 저장한 비일시적 컴퓨터 판독 가능 매체의 일 실시예를 나타내는 블록도이다.
본 발명은 다양한 변형 및 대안적인 형태가 가능하지만, 그 특정 실시예는 도면에서 예로서 도시되며 본 명세서에서 상세히 설명될 것이다. 그러나, 도면들 및 그에 대한 상세한 설명은 본 발명을 개시된 특정 형태로 제한하려는 것이 아니라, 반대로, 첨부된 청구범위에 의해 정의되는 바와 같은 본 발명의 정신 및 범위 내에 있는 모든 변형, 균등물 및 대안을 커버하려는 의도임을 이해해야 한다.
이제 도면을 참조하면, 도면은 축척대로 그려지지 않은 것을 유의해야 한다. 특히, 도면의 일부 요소의 크기는 요소의 특성을 강조하기 위해 크게 과장되어 있다. 또한, 도면은 동일한 축척으로 그려지지 않음을 유의해야 한다. 유사하게 구성될 수 있는 둘 이상의 도면에 도시된 요소는 동일한 참조 번호를 사용하여 표시되었다. 본 명세서에서 달리 언급하지 않는 한, 설명되고 도시된 요소 중 임의의 것은 상업적으로 이용 가능한 임의의 적절한 요소를 포함할 수 있다.
일 실시예는 검사 관련 알고리즘을 트레이닝하도록 구성된 시스템에 관한 것이다. 일반적으로, 본 명세서에서 기술된 실시예는 광학 및 다른 툴에 의해 캡처된 결함을 분류하기 위한 또는 다른 검사 관련 기능을 위한 최소 크기 트레이닝 세트를 얻는 방법 및 시스템을 제공한다. 또한, 본 명세서에서 기술된 실시예는 유리하게도 본 명세서에 기술된 결함 분류 및 다른 검사 관련 기능의 목적을 위해 본 명세서에 기술된 분류기 및 다른 검사 관련 알고리즘을 구축하기 위한 가장 유익한 결함의 최소 세트를 발견하는데 사용될 수 있다.
최적의 성능을 위해 표본 검사(예를 들어, 광학 웨이퍼 검사)를 튜닝하는 공정은 전통적으로 거의 전체적으로 수동이었다. 튜닝 공정은 일반적으로 가장 잘 알려진 방법(BKM, best known method)과 튜닝을 수행하는 인간 전문가의 경험과 기술에 의존한다. 따라서 이러한 접근법은 생산 모니터링 시스템을 설정하는 데 바람직하지 않은데, 왜냐하면 이들은 (노력 및 노동의 면에서) 매우 고비용일 뿐만 아니라 튜닝 결과가 주관적이며 일관성이 부족하기 때문이다. 그러나 현재의 검사 튜닝 방법의 이러한 명백한 단점에도 불구하고, 이 공정을 자동화하려는 시도는 생산 환경에서 광범위하게 받아들여지지 않았다. 주된 이유는 이러한 자동화가 알고리즘에 의존하고, 알고리즘은 결국 이들이 트레이닝된 데이터(트레이닝 세트라고 함)로부터 성능을 끌어내기 때문이다. 따라서, 트레이닝 데이터를 체계적으로 획득하지 않으면, 이러한 알고리즘의 성능이 불확실하다. 다시 말해서, 알고리즘의 성능을 최적화하는 트레이닝 세트를 찾는 신뢰할 수 있는 방법이 없으면, 이러한 자동화된 솔루션은 수동 접근법의 모든 문제를 겪는다. 특히 이러한 솔루션은 일관성이 없으며 기본 알고리즘이 아무리 훌륭하더라도 그 성능이 수동 방법의 성능에 필적하는 것이 보장되지 않는다. 또한, 성능 문제를 진단하고 발견된 문제를 해결하는 것이 불가능하지는 않더라도 실제로는 종종 어렵다. 따라서 머신 러닝 접근법(오늘날 이러한 접근법이 알려져 있음)이 지금까지 성공하지 못했던 것은 놀라운 일이 아니다.
본 명세서에서 기술된 실시예는 분류 및 필터링과 같은 검사 관련 기능에 사용될 수 있는 임의의 머신 러닝 알고리즘에 대한 포괄적인 튜닝 방법론을 제공한다. (비록 실시예가 검출 알고리즘 튜닝에도 적용될 수 있다고 하더라도, 본 명세서에서 기술된 실시예는 뉴슨스 필터 및 분류기에 특히 유용하다.) 실시예는 검사(예를 들어, 광학 검사)의 경우 트레이닝 세트의 획득을 위한 접근 방법은 유리하게 알고리즘 튜닝 자체와 완전히 통합될 수 있다는 인식에 기초한다. 이 둘은 상호 연결되어 있으며, 일관된 동작을 제공하기 위해 서로 분리되어서는 안 된다. 이 상호 의존성의 근본적인 이유는 다음과 같다.
광학 검사와 같은 검사는 핫 스캔(hot scan)(상당히 높은 뉴슨스 레이트를 갖는 고도로 결함 있는 스캔)을 사용하여 튜닝된다. 튜닝 자체는 레이블링된 결함(즉, 일반적으로 인간 전문가에 의해 분류되는 분류된 결함)을 필요로 한다. 이 분류는 SEM 검토 툴로 얻은 주사 전자 현미경(SEM) 이미지에 대해 수행된다. 핫 스캔에서 검출된 모든 결함이 검토되고 분류될 수 있다면, 본 명세서에서 설명된 실시예에 대한 필요성은 없을 것이다. 그러나, 이 검토/분류 공정이 인건비와 툴 시간 모두에서 상당히 비싸기 때문에 이것을 하는 것은 실제로는 불가능하다. 그러므로, 분류기나 기타 검사 관련 알고리즘의 최적 성능을 낼 수 있는 결함의 적절한 서브세트를 식별하는 것이 절대적으로 필요하며, 이를 달성하는 최소 세트를 찾는 것이 매우 바람직하다.
본 명세서에 설명된 실시예는 검사 관련 알고리즘(예를 들어, 분류기 모델)이 데이터를 러닝하고 그 성능을 향상시키는 데 필요한 것을 요구하는 러닝 반복에 의해 결함의 트레이닝 세트의 선택을 최적화하는 방법 및 시스템을 제공한다. 본 명세서에서 기술된 실시예들은 또한 러닝이 마지막에 도달했을 때의 지점을 결정하기 위한 방법 및 시스템을 유리하게 제공한다.
일 실시예에서, 표본은 웨이퍼를 포함한다. 다른 실시예에서, 표본은 레티클을 포함한다. 웨이퍼 및 레티클은 당 업계에 공지된 임의의 웨이퍼 및 레티클을 포함할 수 있다.
그러한 시스템의 일 실시예가 도 1에 도시되어 있다. 시스템은 적어도 에너지원 및 검출기를 포함하는 검사 서브시스템을 포함한다. 에너지원은 표본으로 향하는 에너지를 생성하도록 구성된다. 검출기는 표본으로부터 에너지를 검출하고 검출된 에너지에 응답하는 출력을 생성하도록 구성된다.
일 실시예에서, 표본으로 향하는 에너지는 광을 포함하고, 표본으로부터 검출된 에너지는 광을 포함한다. 예를 들어, 도 1에 도시된 시스템의 실시예에서, 검사 서브시스템(10)은 광을 표본(14)으로 향하게 하도록 구성된 조명 서브시스템을 포함한다. 조명 서브시스템은 적어도 하나의 광원을 포함한다. 예를 들어, 도 1에 도시된 바와 같이, 조명 서브시스템은 광원(16)을 포함한다. 일 실시예에서, 조명 서브시스템은 하나 이상의 입사각으로 표본에 광을 향하게 하도록 구성되고, 하나 이상의 입사각은 하나 이상의 경사각 및/또는 하나 이상의 수직각을 포함할 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 광원(16)으로부터의 광은 광학 요소(18)를 통과한 다음 렌즈(20)를 통과하여 빔 스플리터(21)로 향하게 되고, 빔 스플리터(21)는 광을 표본(14)으로 수직 입사각으로 향하게 한다. 입사각은 임의의 적절한 입사각을 포함할 수 있으며, 입사각은 예를 들어, 표본의 특성 및 표본에서 검출될 결함에 따라 달라질 수 있다.
조명 서브시스템은 상이한 시간에 상이한 입사각으로 광을 표본으로 향하게 하도록 구성될 수 있다. 예를 들어, 검사 서브시스템은 광이 도 1에 도시된 것과 상이한 입사각으로 표본으로 향하도록, 조명 서브시스템의 하나 이상의 요소의 하나 이상의 특성을 변경하도록 구성될 수 있다. 그러한 일 예에서, 검사 서브시스템은 광이 상이한 입사각으로 표본으로 향하도록 광원(16), 광학 요소(18) 및 렌즈(20)를 이동시키도록 구성될 수 있다.
경우에 따라, 검사 서브시스템은 광을 동시에 둘 이상의 입사각으로 표본으로 향하게 하도록 구성될 수 있다. 예를 들어, 조명 서브시스템은 둘 이상의 조명 채널을 포함할 수 있고, 조명 채널들 중 하나는 도 1에 도시된 바와 같이 광원(16), 광학 요소(18) 및 렌즈(20)를 포함할 수 있고, 조명 채널들 중 다른 하나(도시되지 않음)는 상이하게 또는 동일하게 구성될 수 있는 유사한 요소를 포함할 수 있고, 또는 본 명세서에 더 설명된 것과 같은 적어도 하나의 광원 및 가능하게는 하나 이상의 다른 컴포넌트를 포함할 수 있다. 그러한 광이 다른 광과 동시에 표본으로 향하는 경우, 상이한 입사각으로 표본으로 향하는 광의 하나 이상의 특성(예를 들어, 파장, 편광 등)이 상이할 수 있으므로, 상이한 입사각으로 표본의 조명으로부터 생기는 광은 검출기(들)에서 서로 구별될 수 있다.
다른 예에서, 조명 서브시스템은 단 하나의 광원(예를 들어, 도 1에 도시된 광원(16))을 포함할 수 있고, 광원으로부터의 광은 조명 서브시스템의 하나 이상의 광학 요소(도시되지 않음)에 의해 (예를 들어, 파장, 편광 등에 기초하여) 상이한 광학 경로로 분리될 수 있다. 그 후 상이한 광학 경로들 각각의 광은 표본으로 향하게 될 수 있다. 다수의 조명 채널은 동일한 시간 또는 상이한 시간에(예를 들어, 상이한 조명 채널이 순차적으로 표본을 조명하는데 사용될 때) 표본으로 광을 향하게 하도록 구성될 수 있다. 다른 예에서, 동일한 조명 채널은 상이한 시간에 상이한 특성을 갖는 표본으로 광을 향하게 하도록 구성될 수 있다. 예를 들어, 경우에 따라, 광학 요소(18)는 스펙트럼 필터로서 구성될 수 있고, 스펙트럼 필터의 특성들은 광의 상이한 파장이 상이한 시간에 표본으로 향해질 수 있도록 (예를 들어, 스펙트럼 필터를 교체(swap out)함으로써) 다양한 상이한 방식으로 변경될 수 있다. 조명 서브시스템은 상이하거나 동일한 특성을 갖는 광을 상이한 입사각 또는 동일한 입사각으로 순차적으로 또는 동시에 표본으로 향하게 하기 위한 당 업계에 공지된 임의의 다른 적절한 구성을 가질 수 있다.
일 실시예에서, 광원(16)은 광대역 플라즈마(broadband plasma, BBP) 광원을 포함할 수 있다. 이러한 방식으로, 광원에 의해 생성되어 표본으로 향하는 광은 광대역 광을 포함할 수 있다. 그러나, 광원은 레이저와 같은 임의의 다른 적절한 광원을 포함할 수 있다. 레이저는 당 업계에 공지된 임의의 적절한 레이저를 포함할 수 있고, 당 업계에 공지된 임의의 적절한 파장 또는 파장들로 광을 발생시키도록 구성될 수 있다. 또한, 레이저는 단색 또는 거의 단색인 광을 발생시키도록 구성될 수 있다. 이러한 방식으로, 레이저는 협대역 레이저일 수 있다. 광원은 또한 다수의 분리된 파장 또는 대역(waveband)에서 광을 발생시키는 다색 광원을 포함할 수 있다.
광학 요소(18)로부터의 광은 렌즈(20)에 의해 빔 스플리터(21)로 집속될 수 있다. 비록 렌즈(20)가 단일 굴절 광학 요소로서 도 1에 도시되어 있지만, 실제로는 렌즈(20)는 협동하여 광학 요소로부터의 광을 표본에 집속시키는 다수의 굴절 및/또는 반사 광학 요소를 포함할 수 있다. 도 1에 도시되고 본 명세서에서 기술된 조명 서브시스템은 임의의 다른 적절한 광학 요소(도시되지 않음)를 포함할 수 있다. 이러한 광학 요소의 예는 편광 성분(들), 스펙트럼 필터(들), 공간 필터(들), 반사 광학 요소들, 아포다이저(apodizer)(들), 빔 스플리터(들), 애퍼처(들) 등을 포함하지만 이에 한정되지는 않으며, 이는 당 업계에 공지된 임의의 그러한 적절한 광학 요소를 포함할 수 있다. 또한, 시스템은 검사에 사용되는 조명 유형에 기초하여 조명 서브시스템의 하나 이상의 요소를 변경하도록 구성될 수 있다.
검사 서브시스템은 또한 광이 표본 위로 주사(scanning)되도록 하는 주사 서브시스템을 포함할 수 있다. 예를 들어, 검사 서브시스템은 검사 중에 표본(14)이 배치되는 스테이지(22)를 포함할 수 있다. 주사 서브시스템은 광이 표본 위로 주사되도록 표본을 이동시키도록 구성될 수 있는 임의의 적절한 기계식 및/또는 로봇식 어셈블리(스테이지(22)를 포함함)를 포함할 수 있다. 추가적으로 또는 대안으로, 검사 서브시스템은 검사 서브시스템의 하나 이상의 광학 요소가 표본 위로 광의 일부 주사를 수행하도록 구성될 수 있다. 광은 임의의 적절한 방식으로 표본 위로 주사될 수 있다.
검사 서브시스템은 하나 이상의 검출 채널을 더 포함한다. 하나 이상의 검출 채널 중 적어도 하나는 검사 서브시스템에 의한 표본의 조명으로 인해 표본으로부터 광을 검출하고 검출된 광에 반응하는 출력을 생성하도록 구성된 검출기를 포함한다. 예를 들어, 도 1에 도시된 검사 서브시스템은 2 개의 검출 채널을 포함하고, 검출 채널 중 하나는 콜렉터(24), 요소(26) 및 검출기(28)에 의해 형성되고, 다른 하나는 콜렉터(30), 요소(32) 및 검출기(34)에 의해 형성된다. 도 1에 도시된 바와 같이, 2 개의 검출 채널은 상이한 수집 각도에서 광을 수집하고 검출하도록 구성된다. 일부 예에서, 하나의 검출 채널은 정반사된 광을 검출하도록 구성되고, 다른 검출 채널은 표본으로부터 정반사되지 않는(예를 들어, 산란되는, 회절되는 등) 광을 검출하도록 구성된다. 그러나, 검출 채널들 중 2 개 이상은 표본으로부터의 동일한 유형의 광(예를 들어, 정반사된 광)을 검출하도록 구성될 수 있다. 도 1은 2 개의 검출 채널을 포함하는 검사 서브시스템의 실시예를 도시하지만, 검사 서브시스템은 상이한 수의 검출 채널(예를 들어, 단지 하나의 검출 채널 또는 두 개 이상의 검출 채널)을 포함할 수 있다. 각각의 콜렉터가 도 1에 단일 굴절 광학 요소로서 도시되어 있지만, 콜렉터 각각은 하나 이상의 굴절 광학 요소(들) 및/또는 하나 이상의 반사 광학 요소(들)를 포함할 수 있다는 것을 이해해야 한다.
하나 이상의 검출 채널은 당 업계에 공지된 임의의 적절한 검출기를 포함할 수 있다. 예를 들어, 검출기는 광전 튜브(photo-multiplier tube, PMT), 전하 결합 소자(charge coupled device, CCD) 및 TDI(time delay integration) 카메라를 포함할 수 있다. 검출기는 또한 당 업계에 공지된 임의의 다른 적절한 검출기를 포함할 수 있다. 검출기는 또한 비(non)-이미징 검출기 또는 이미징 검출기를 포함할 수 있다. 이러한 방식으로, 검출기가 비-이미징 검출기인 경우, 각각의 검출기는, 강도(intensity)와 같은 산란된 광의 특정한 특성을 검출하도록 구성될 수 있지만 이미징 평면(imaging plane) 내의 위치의 함수와 같은 특성을 검출하도록 구성되지 않을 수 있다. 이와 같이, 검사 서브시스템의 각각의 검출 채널에 포함된 각각의 검출기에 의해 생성된 출력은 신호 또는 데이터일 수 있지만, 이미지 신호 또는 이미지 데이터일 수 없다. 그러한 경우에, 시스템의 컴퓨터 서브시스템(36)과 같은 컴퓨터 서브시스템은 검출기의 비-이미징 출력으로부터 표본의 이미지를 생성하도록 구성될 수 있다. 그러나, 다른 예에서, 검출기는 이미지 신호 또는 이미지 데이터를 생성하도록 구성된 이미징 검출기로서 구성될 수 있다. 따라서, 시스템은 다수의 방식으로 본 명세서에서 설명된 출력을 생성하도록 구성될 수 있다.
도 1은 본 명세서에서 설명된 시스템 실시예에 포함될 수 있는 검사 서브시스템의 구성을 일반적으로 예시하기 위해 여기서 제공된다는 것을 유의해야 한다. 명백하게, 본 명세서에서 설명된 검사 서브시스템 구성은 상용 검사 시스템을 설계할 때 정상적으로 수행되는 시스템의 성능을 최적화하도록 변경될 수 있다. 또한, 본 명세서에 설명된 시스템은 미국 캘리포니아주 밀피타스에 소재한 KLA-Tencor로부터 상업적으로 입수 가능한 28xx 및 29xx 시리즈의 툴과 같은 기존의 검사 시스템을 사용하여 (예를 들어, 기존의 검사 시스템에 본 명세서에 설명된 기능을 추가함으로써) 구현될 수 있다. 일부 그러한 시스템의 경우, 본 명세서에서 설명된 방법은 (예를 들어, 시스템의 다른 기능에 추가하여) 시스템의 선택적 기능으로서 제공될 수 있다. 대안으로, 본 명세서에서 설명된 시스템은 완전히 새로운 시스템을 제공하기 위해 "처음부터(from scratch)" 설계될 수 있다.
시스템의 컴퓨터 서브시스템(36)은 컴퓨터 서브시스템이 표본의 주사 동안 검출기에 의해 생성되는 출력을 수신할 수 있도록, 검사 서브시스템의 검출기에 임의의 적절한 방식으로(예를 들어, "유선" 및/또는 "무선" 전송 매체를 포함할 수 있는 하나 이상의 전송 매체를 통해) 결합될 수 있다. 컴퓨터 서브시스템(36)은 본 명세서에서 기술된 바와 같은 검출기의 출력 및 본 명세서에서 더 설명된 임의의 다른 기능을 사용하여 다수의 기능을 수행하도록 구성될 수 있다. 이 컴퓨터 서브시스템은 본 명세서에 기술된 바와 같이 또한 구성될 수도 있다.
(본 명세서에서 기술된 다른 컴퓨터 서브시스템들뿐만 아니라) 이 컴퓨터 서브시스템은 또한 본 명세서에서 컴퓨터 시스템(들)이라고도 칭해질 수 있다. 본 명세서에서 설명된 컴퓨터 서브시스템(들) 또는 시스템(들) 각각은 퍼스널 컴퓨터 시스템, 이미지 컴퓨터, 메인 프레임 컴퓨터 시스템, 워크 스테이션, 네트워크 어플라이언스, 인터넷 어플라이언스 또는 다른 디바이스를 포함하는 다양한 형태를 취할 수 있다. 일반적으로, "컴퓨터 시스템"이라는 용어는 메모리 매체로부터 명령어들을 실행하는 하나 이상의 프로세서를 갖는 임의의 디바이스를 포괄하도록 광범위하게 정의될 수 있다. 컴퓨터 서브시스템(들) 또는 시스템(들)은 또한 병렬 프로세서와 같은 당 업계에 공지된 임의의 적합한 프로세서를 포함할 수 있다. 또한, 컴퓨터 서브시스템(들) 또는 시스템(들)은 고속 처리 및 소프트웨어를 갖춘 컴퓨터 플랫폼을 독립형 또는 네트워크형 툴로서 포함할 수 있다.
시스템이 둘 이상의 컴퓨터 서브시스템을 포함하는 경우, 이미지, 데이터, 정보, 명령어들 등이 본 명세서에서 추가로 설명되는 바와 같이 컴퓨터 서브시스템들 사이에서 전송될 수 있도록, 상이한 컴퓨터 서브시스템들이 서로 결합될 수 있다. 예를 들어, 컴퓨터 서브시스템(36)은 당 업계에 공지된 임의의 적절한 유선 및/또는 무선 전송 매체를 포함할 수 있는 임의의 적절한 전송 매체에 의해 (도 1에 파선으로 도시된 바와 같이) 컴퓨터 서브시스템(들)(102)에 결합될 수 있다. 이러한 컴퓨터 서브시스템들 중 둘 이상은 또한 공유된 컴퓨터 판독 가능 저장 매체(도시되지 않음)에 의해 효과적으로 결합될 수 있다.
검사 서브시스템은 광학 또는 광 기반 검사 서브시스템으로서 위에서 설명되었지만, 검사 서브시스템은 전자빔 기반 검사 서브시스템일 수 있다. 예를 들어, 일 실시예에서, 표본으로 향하는 에너지는 전자들을 포함하고, 표본으로부터 검출된 에너지는 전자들을 포함한다. 이러한 방식으로, 에너지원은 전자빔 소스(electron beam source)일 수 있다. 도 2에 도시된 그러한 일 실시예에서, 검사 서브시스템은 컴퓨터 서브시스템(124)에 결합된 전자 칼럼(electron column)(122)을 포함한다.
또한, 도 2에 도시된 바와 같이, 전자 칼럼은 하나 이상의 요소(130)에 의해 표본(128)에 집속되는 전자들을 생성하도록 구성된 전자빔 소스(126)를 포함한다. 전자빔 소스는 예를 들어 음극 소스 또는 이미터 팁을 포함할 수 있고, 하나 이상의 요소(130)는 예를 들어 건 렌즈(gun lens), 양극(anode), 빔 제한 애퍼처, 게이트 밸브, 빔 전류 선택 애퍼처, 대물 렌즈 및 주사 서브시스템을 포함할 수 있으며, 이들 모두는 당 업계에 공지된 그러한 임의의 적절한 요소를 포함할 수 있다.
표본으로부터 반환된 전자들(예를 들어, 2차 전자들)은 하나 이상의 요소(132)에 의해 검출기(134)로 집속될 수 있다. 하나 이상의 요소(132)는 예를 들어 요소(들)(130)에 포함된 동일한 주사 서브시스템일 수 있는 주사 서브시스템을 포함할 수 있다.
전자 칼럼은 당 업계에 공지된 임의의 다른 적절한 요소를 포함할 수 있다. 또한, 전자 칼럼은 2014년 4월 4일에 Jiang 등에게 발행된 미국 특허 제8,664,594 호, 2014년 4월 8일에 Kojima 등에게 발행된 미국 특허 제8,692,204호, 2014년 4월 15일에 Gubbens 등에게 발행된 미국 특허 제8,698,093호, 및 2014년 5월 6일에MacDonald 등에게 발행된 미국 특허 제8,716,662호에 기술된 바와 같이 또한 구성될 수도 있으며, 이들 특허는 본 명세서에서 완전히 설명된 것처럼 참조로 포함된다.
전자 칼럼은 전자들이 경사 입사각으로 표본으로 향하고 또 다른 경사각으로 표본으로부터 산란되도록 구성된 것으로 도 2에 도시되어 있지만, 전자빔은 임의의 적절한 각도로 표본으로 향하고 그로부터 산란될 수 있다는 것을 이해해야 한다. 또한, 전자빔 기반 서브시스템은 (예를 들어, 상이한 조명 각도, 수집 각도 등으로) 표본의 이미지를 생성하기 위해 다중 모드를 사용하도록 구성될 수 있다. 전자빔 기반 서브시스템의 다중 모드는 서브시스템의 임의의 이미지 생성 파라미터가 상이할 수 있다.
컴퓨터 서브시스템(124)은 전술한 바와 같이 검출기(134)에 결합될 수 있다. 검출기는 표본의 표면으로부터 반환된 전자를 검출하여 표본의 전자빔 이미지를 형성할 수 있다. 전자빔 이미지는 임의의 적합한 전자빔 이미지를 포함할 수 있다. 컴퓨터 서브시스템(124)은 검출기의 출력 및/또는 전자빔 이미지를 사용하여 본 명세서에 설명된 기능 중 임의의 것을 수행하도록 구성될 수 있다. 컴퓨터 서브시스템(124)은 본 명세서에서 설명된 임의의 추가 단계(들)를 수행하도록 구성될 수 있다. 도 2에 도시된 검사 서브시스템을 포함하는 시스템은 본 명세서에 설명된 바와 같이 또한 구성될 수도 있다.
도 2는 본 명세서에 기술된 실시예에 포함될 수 있는 전자빔 기반 검사 서브시스템의 구성을 일반적으로 예시하기 위해 여기에 제공된다. 전술한 광학 검사 서브시스템에서와 같이, 본 명세서에서 설명된 전자빔 기반 검사 서브시스템 구성은 상용 검사 시스템을 설계할 때 정상적으로 수행되는 바와 같이 검사 서브시스템의 성능을 최적화하도록 변경될 수 있다. 또한, 본 명세서에서 설명된 시스템은 (예를 들어, 기존 검사 시스템에 본 명세서에서 설명된 기능을 추가함으로써) 기존 검사 시스템을 사용하여 구현될 수 있다. 일부 이러한 시스템들의 경우, 본 명세서에서 설명된 방법들은 (예를 들어, 시스템의 다른 기능에 추가하여) 시스템의 선택적인 기능으로서 제공될 수 있다. 대안으로, 본 명세서에서 설명된 시스템은 완전히 새로운 시스템을 제공하기 위해 "처음부터" 설계될 수 있다.
검사 서브시스템이 광 또는 전자빔 기반 검사 서브시스템인 것으로 위에서 설명되었지만, 검사 서브시스템은 이온빔 기반 검사 서브시스템일 수 있다. 이러한 검사 서브시스템은 전자빔 소스가 당 업계에 공지된 임의의 적합한 이온빔 소스로 대체될 수 있다는 것을 제외하고는, 도 2에 도시된 바와 같이 구성될 수 있다. 또한, 검사 서브시스템은 상업적으로 이용 가능한 집속 이온빔(focused ion beam, FIB) 시스템, 헬륨 이온 현미경(helium ion microscopy, HIM) 시스템 및 2차 이온 질량 분석(secondary ion mass spectroscopy, SIMS) 시스템에 포함된 것과 같은 임의의 다른 적합한 이온빔 기반 서브시스템일 수 있다.
본 명세서에서 추가로 설명되는 하나 이상의 컴퓨터 서브시스템은 표본의 검사를 수행하는 검사 서브시스템에 결합될 수 있다. 예를 들어, 일 실시예에서, 하나 이상의 컴퓨터 서브시스템은 검출기에 의해 생성된 출력에 기초하여 표본 상의 결함을 검출하도록 구성된다. 대안적으로, 다른 하나 이상의 컴퓨터 서브시스템이 표본의 검사를 수행하는 검사 서브시스템에 결합될 수 있다. 이러한 컴퓨터 서브시스템(들)은 본 명세서에서 추가로 기술된 바와 같이 구성될 수 있다. 어떤 경우에도, 검사 서브시스템에 결합된 하나 이상의 컴퓨터 서브시스템은 검사 서브시스템의 하나 이상의 검출기에 의해 생성된 출력에 기초하여 표본 상의 결함을 검출하도록 구성된다. 결함은 임의의 적절한 방식으로(예를 들어, 출력에 임계 값을 적용하고 임계 값을 초과하는 하나 이상의 값을 갖는 출력을 결함으로서 식별하고 임계 값 미만의 하나 이상의 값을 갖는 출력을 결함으로서 식별하지 않음으로써) 표본 상에서 검출될 수 있다. 표본 상에서 검출된 결함은 당 업계에 공지된 임의의 결함을 포함할 수 있다.
그러나, 본 명세서에서 설명된 시스템에 포함된 컴퓨터 서브시스템(들)이 반드시 표본 상의 결함을 검출하지는 않는다. 예를 들어, 컴퓨터 서브시스템(들)은 표본 상에서 검출된 결함에 대한 정보를 포함하는 표본의 검사 결과를 획득하도록 구성될 수 있다. 표본의 검사 결과는 검사를 수행하는 시스템으로부터(예를 들어, 검사 시스템의 컴퓨터 서브시스템으로부터) 또는 팹(fab) 데이터베이스와 같이 검사 결과가 저장된 저장 매체로부터 직접 본 명세서에서 설명된 컴퓨터 서브시스템(들)에 의해 획득될 수 있다.
전술한 바와 같이, 검사 서브시스템은 표본의 물리적 버전 위로 에너지(예를 들어, 광 또는 전자)를 주사하여, 표본의 물리적 버전에 대한 실제 이미지를 생성하도록 구성된다. 이러한 방식으로 검사 서브시스템은 "가상" 툴이 아닌 "실제" 툴로서 구성될 수 있다. 예를 들어, 도 1에 도시된 저장 매체(도시되지 않음) 및 컴퓨터 서브시스템(들)(102)은 "가상" 툴로서 구성될 수 있다. 특히, 저장 매체 및 컴퓨터 서브시스템(들)은 검사 서브시스템(10)의 일부가 아니며, 표본의 물리적 버전을 처리하기 위한 어떠한 능력도 갖고 있지 않다. 다시 말해서, 가상 툴로서 구성된 툴에서, 실제 툴의 하나 이상의 검출기에 의해 이전에 생성되고 가상 툴에 저장된 하나 이상의 "검출기"의 출력이 출력될 수 있고, "주사" 동안에, 가상 툴은 표본이 주사되고 있는 것처럼 저장된 출력을 재생(replay)할 수 있다. 이러한 방식으로, 가상 툴로 표본을 주사하는 것은 물리적인 표본이 실제 툴로 주사되고 있는 것과 같아 보일 수 있지만, 실제로 "주사"는 표본이 주사될 수 있는 것과 동일한 방식으로 표본에 대한 출력을 단순히 재생하는 것을 수반한다. "가상" 검사 툴로서 구성된 시스템 및 방법은 2012년 2월 28일에 Bhaskar 등에 발행된 공통 양도된 미국 특허 제8,126,255호 및 2015년 12월 29일에 Duffy 등에게 발행된 미국 특허 제9,222,895호에 설명되어 있으며, 이들 특허는 본 명세서에서 완전히 설명된 것처럼 참조에 의해 통합된다. 본 명세서에서 기술된 실시예는 이들 특허에 기재된 바와 같이 또한 구성될 수도 있다. 예를 들어, 본 명세서에 기재된 하나 이상의 컴퓨터 서브시스템은 이들 특허에 기술된 바와 같이 또한 구성될 수도 있다. 또한, 하나 이상의 가상 시스템을 CCS(central compute and storage) 시스템으로서 구성하는 것은 전술한 Duffy의 특허에 설명된 바와 같이 수행될 수 있다. 본 명세서에서 기술된 영구 저장 메커니즘은 CCS 아키텍처와 같은 분산형 컴퓨팅 및 스토리지를 가질 수 있지만, 본 명세서에 설명된 실시예는 그 아키텍처로 제한되지 않는다.
앞서 언급한 바와 같이, 검사 서브시스템은 다중 모드로 표본에 대한 출력을 생성하도록 구성될 수 있다. 일반적으로 "모드"는 표본에 대한 출력을 생성하는 데 사용되는 검사 서브시스템의 파라미터의 값으로서 정의될 수 있다. 따라서, 상이한 모드는 검사 서브시스템의 이미징 파라미터 중 적어도 하나에 대한 값에 있어서 상이할 수 있다. 예를 들어, 광학 기반 검사 서브시스템의 일 실시예에서, 다중 모드들 중 적어도 하나의 모드는 다중 모드 중 적어도 하나의 다른 모드에 사용되는 조명용 광의 적어도 하나의 파장과 상이한 조명용 광의 적어도 하나의 파장을 사용한다. 모드들은 상이한 모드에 대해 (예를 들어, 상이한 광원, 상이한 스펙트럼 필터 등을 사용함으로써) 본 명세서에서 추가로 설명되는 바와 같이 조명 파장에 있어서 상이할 수 있다. 다른 실시예에서, 다중 모드 중 적어도 하나의 모드는 다중 모드 중 적어도 하나의 다른 모드에 사용되는 검사 서브시스템의 조명 채널과는 상이한 검사 서브시스템의 조명 채널을 사용한다. 예를 들어, 전술한 바와 같이, 검사 서브시스템은 2개 이상의 조명 채널을 포함할 수 있다. 이와 같이, 상이한 조명 채널은 상이한 모드에 대해 사용될 수 있다.
본 명세서에서 더 설명되는 바와 같이, 본 명세서에 기재된 광학 및 전자빔 서브시스템은 검사 서브시스템으로서 구성될 수 있다. 그러나, 본 명세서에서 설명된 광학 및 전자빔 서브시스템은 결함 검토 서브시스템과 같은 다른 유형의 툴로서 구성될 수 있다. 특히, 본 명세서에 기술되고 도 1 및 도 2에 도시된 검사 서브시스템의 실시예는, 이들이 사용될 애플리케이션에 따라 상이한 이미징 성능을 제공하기 위해 하나 이상의 파라미터에서 수정될 수 있다. 이러한 일례에서, 도 2에 도시된 검사 서브시스템은 검사보다는 결함 검토를 위해 사용되어야 하는 것이면 더 높은 해상도를 갖도록 구성될 수 있다. 다시 말해서, 도 1 및 도 2에 도시된 검사 서브시스템의 실시예는, 상이한 애플리케이션에 대하여 다소 적절한 상이한 이미징 능력을 갖는 상이한 서브시스템을 생성하기 위하여, 당업자에게 명백할 다수의 방식으로 조정(tailor)될 수 있는 광학 또는 전자빔 서브시스템에 대한 몇몇 일반적이고 다양한 구성을 기술한다.
하나 이상의 컴퓨터 서브시스템은 본 명세서에서 설명된 검사 서브시스템에 의해 생성된 표본에 대한 출력을 획득하도록 구성될 수 있다. 출력을 획득하는 것은 본 명세서에 기술된 검사 서브시스템 중 하나를 사용하여 (예를 들어, 광 또는 전자빔을 표본로 향하게 하고 표본로부터 광 또는 전자빔을 각각 검출함으로써) 수행될 수 있다. 이러한 방식으로, 출력 획득은 물리적 표본 자체 및 일종의 이미징 하드웨어를 사용하여 수행될 수 있다. 그러나, 출력 획득은 반드시 이미징 하드웨어를 사용하여 표본을 이미징하는 것을 포함하지는 않는다. 예를 들어, 다른 시스템 및/또는 방법은 출력을 생성할 수 있고, 본 명세서에서 설명된 바와 같은 가상 검사 시스템 또는 본 명세서에서 설명된 다른 저장 매체와 같은 하나 이상의 저장 매체에 생성된 출력을 저장할 수 있다. 따라서, 출력 획득은 이들이 저장된 저장 매체로부터 출력을 획득하는 것을 포함할 수 있다.
일 실시예에서, 검사 관련 알고리즘은 결함 분류기(defect classifier)이다. 예를 들어, 알고리즘은 표본 상에서 발견된 결함을 상이한 유형 또는 클래스의 결함으로 분리할 수 있다. 결함 분류기는 의사 결정 트리 또는 가장 가까운 이웃 유형 구성과 같은 임의의 적합한 구성을 가질 수 있다. 다른 실시예에서, 검사 관련 알고리즘은 결함 필터이다. 결함 필터는 실제 결함을 (본 명세서에서 추가로 설명되는 바와 같이 정의될 수 있는) 뉴슨스 및 다른 노이즈로부터 분리하고 그 다음에 검사 결과로부터 뉴슨스 및 노이즈를 제거(및 이에 따른 필터링)할 수 있도록 구성될 수 있다는 면에서 뉴슨스 필터로서 구성될 수 있다. 결함 필터는 또한 의사 결정 트리 또는 가장 가까운 이웃 유형 구성과 같은 임의의 적합한 구성을 가질 수 있다. 추가 실시예에서, 검사 관련 알고리즘은 결함 검출 알고리즘이다. 결함 검출 알고리즘은 본 명세서에서 추가로 설명되는 바와 같이 및/또는 당 업계에 공지된 임의의 다른 적절한 방식으로 결함 검출을 수행하도록 구성될 수 있다. 추가 실시예에서, 검사 관련 알고리즘은 머신 러닝 알고리즘이다. 본 명세서에서 설명된 검사 관련 알고리즘은 머신 러닝 알고리즘으로서 구성될 수 있다. 예를 들어, 결함 분류기, 결함 필터 및 결함 검출 알고리즘은 머신 러닝 알고리즘 구성을 가질 수 있다. 또한, 머신 러닝 알고리즘은 2017년 5월 25일에 공개된 Zhang 등에 의한 미국 특허 출원 공개 제2017/0148226호, 2017년 7월 6일에 공개된 Zhang 등에 의한 미국 특허 출원 공개 제2017/0193680호, 2017년 7월 6일에 공개된 Bhaskar 등에 의한 미국 특허 출원 공개 제2017/0194126호, 2017년 7월 13일에 공개된 Bhaskar 등에 의한 미국 특허 출원 공개 제2017/0200260호, 2017년 7월 13일에 공개된 Bhaskar 등에 의한 미국 특허 출원 공개 제2017/0200265호, 2017년 5월 23일에 출원된 Zhange 등에 의한 미국 특허 출원 제15/603,249호에 기재된 바와 같이 구성될 수 있으며, 이들은 본 명세서에서 완전히 설명된 것처럼 참조로 포함된다. 본 명세서에서 설명된 검사 관련 알고리즘은 이 공개 공보에 설명된 임의의 구성을 가질 수 있다.
하나 이상의 컴퓨터 서브시스템은 레이블링된 결함 세트로 검사 관련 알고리즘의 초기 트레이닝을 수행하여, 검사 관련 알고리즘의 초기 버전을 생성하도록 구성된다. 일부 실시예에서, 컴퓨터 서브시스템(들)은 초기 트레이닝을 수행하는데 사용되는 레이블링된 결함 세트를 생성하도록 구성될 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 컴퓨터 서브시스템(들)은 단계(300)에 도시된 바와 같이 결함의 제1 배치(batch)를 선택할 수 있다. 결함의 제1 배치는 본 명세서에서 더 설명되는 바와 같이 선택될 수 있다. 또한, 컴퓨터 서브시스템(들)은 단계(302)에 도시된 바와 같이 선택된 결함을 분류할 수 있다. (도 3은 결함 분류기에 관한 단계를 기술하고 있지만, 도 3에 도시되고 본 명세서에 기술된 단계는 본 명세서에서 기술된 상이한 검사 관련 알고리즘에 대해 수행될 수 있다.) 컴퓨터 서브시스템(들)은 선택된 결함을 분류하고/하거나 본 명세서에서 추가로 설명된 바와 같이 선택된 결함에 대한 분류를 획득할 수 있다. 그 후, 컴퓨터 서브시스템(들)은 단계(304)에 도시된 바와 같이 분류기를 트레이닝할 수 있다. 따라서, 단계(304)에서 수행되는 트레이닝은 본 명세서에 설명된 초기 트레이닝일 수 있다. 초기 트레이닝은 당 업계에 공지된 임의의 적절한 방식으로 수행될 수 있다. 예를 들어, 속성 및/또는 이미지(또는 다른 검출기 출력)와 같은 결함에 대한 정보가 결함 분류기에 입력될 수 있으며, 그 후 결함 분류기는 레이블링된 결함을 분류할 수 있다. 그 후, 결함 분류기의 하나 이상의 파라미터(예를 들어, 커트 라인, 결함 속성 등)는 결함 분류기에 의한 결함에 대해 생성된 분류가 결함에 지정된 레이블과 일치할 때까지 수정될 수 있다. 결함이 본 명세서에 기술된 바와 같이 레이블링될 수 있지만, 결함 속성 및 결함 패치(예를 들어, 광학 속성 및/또는 광학 패치)가 검사 관련 알고리즘에 대한 입력 데이터로서 사용될 수 있다.
컴퓨터 서브시스템(들)은 또한 검사 관련 알고리즘의 초기 버전을 레이블링되지 않은 결함 세트에 적용하도록 구성된다. 예를 들어, 일단 검사 관련 알고리즘이 레이블링된 결함에 대해 초기에 트레이닝되면, 검사 관련 알고리즘의 초기 버전을 (웨이퍼의 핫 검사에서 수십만 개의 결함을 포함할 수 있는) 표본의 검사에 의해 검출되었고 레이블링되지 않은 나머지 결함(및 잠재적인 결함)에 적용할 수 있다.
이러한 방식으로, 전술한 바와 같이, 결함이 본 명세서에서 설명된 바와 같이 레이블링될 수 있지만, 속성(들) 및/또는 패치 이미지(들) 또는 다른 검출기 출력은 초기 트레이닝을 위한 검사 관련 알고리즘으로 입력된다. (예를 들어, 결함 속성(들) 및/또는 패치 또는 다른 검출기 출력을 사용하여) 레이블링된 세트에 대한 초기 트레이닝 후에, 검사 관련 알고리즘의 초기 버전이 레이블링되지 않은 결함 세트에 적용될 수 있다. 검사 관련 알고리즘의 초기 버전을 적용하는 것은 레이블링되지 않은 결함 세트에 대해 이용 가능한 모든(또는 일부) 정보를 검사 관련 알고리즘에 입력함으로써 수행될 수 있다. 레이블링되지 않은 결함 세트는 본 명세서에서 추가로 설명된 바와 같이 구성될 수 있다.
컴퓨터 서브시스템(들)은 적용 결과에 기초하여 레이블링된 결함 세트를 변경하도록 또한 구성된다. 예를 들어, 검사 관련 알고리즘의 초기 버전이 레이블링되지 않은 결함에 적용될 때, 검사 관련 알고리즘은 레이블링되지 않은 결함 각각에 대한 결과(예를 들어, 결함 분류)뿐만 아니라, (예를 들어 분류에 관한) 결정의 신뢰도(confidence)를 출력할 수 있다. 이 신뢰도는 그 후 다음 반복을 위하여 결함 선택 공정에서 사용될 수 있다. 결함 선택 공정에서 선택된 결함은 본 명세서에서 추가로 기술된 바와 같이 레이블링될 수 있으며, 그 후 레이블링된 결함 세트에 추가되어 레이블링된 결함 세트를 변경한다. 레이블링된 결함 세트를 변경하는 것은 본 명세서에서 더 설명된 바와 같이 수행될 수 있다.
일 실시예에서, 레이블링된 결함 세트 및 레이블링되지 않은 결함 세트는 동일한 검사 결과에 포함된다. 예를 들어, 본 명세서에서 더 설명되는 바와 같이, 레이블링된 결함 세트 및 레이블링되지 않은 결함 세트는 하나 이상의 표본을 주사함으로써 생성될 수 있다. 이러한 주사는 핫 스캔으로서 수행되어, 가능하면 많은 결함 또는 결함 유형을 캡처할 수 있다. 주사가 핫 스캔을 포함하는 경우, 그러한 주사에 의해 검출되는 결함의 양(volume) 때문에, 오직 하나의 표본의 오직 하나의 핫 스캔이 본 명세서에서 기술된 모든 단계에 대해 충분한 결함을 생성할 수 있다. 이러한 주사에 의해 검출된 결함 중 일부는 본 명세서에 기술된 바와 같이 레이블링되어, 레이블링된 결함 세트(즉, 트레이닝된 결함 세트)를 생성할 수 있다. 레이블링되지 않은 결함 세트는 그러한 주사에 의해 검출된, 레이블링되지 않은 결함 세트인 나머지 결함일 수 있다. 그러므로, 하나 이상의 핫 스캔에 의해 검출된 모든 결함은 본 명세서에 기술된 실시예에 의해 사용된 결함의 전체를 형성할 수 있으며, 그 중 일부는 레이블링되어, 본 명세서에 설명된 하나 이상의 단계에 사용되며 다른 일부는 레이블링되지 않고 본 명세서에서 설명된 하나 이상의 다른 단계에 사용된다.
다른 실시예에서, 레이블링된 결함 세트를 변경하는 것은 레이블링되지 않은 세트 내의 결함들 중 하나 이상을 레이블링하고, 결함들 중 레이블링된 하나 이상을 레이블링된 세트에 추가하는 것을 포함한다. 예를 들어, 레이블링되지 않은 세트에서 선택된 결함들 중 하나 이상은 본 명세서에 설명된 바와 같이 선택될 수 있고, 그 후 하나 이상의 결함이 임의의 적절한 방식으로 레이블링될 수 있다. 하나의 그러한 예에서, 하나 이상의 선택된 결함은 검사 서브시스템의 해상도보다 더 높은 해상도를 갖는 이미지 획득 서브시스템에 의해 이미징되어, 하나 이상의 선택된 결함의 고해상도(higher resolution) 이미지를 생성할 수 있다. 그런 다음, 그러한 고해상도 결함 이미지가 결함에 레이블을 지정하는 사용자에게 제공될 수 있다. 그러나, 본 명세서에서 더 설명되는 바와 같이, 선택된 결함은 자동 결함 분류기(automatic defect classifier, ADC)에 의해 레이블링될 수 있다. 따라서, 고해상도 결함 이미지는 또한 사용자에게 또는 고해상도 이미지에서 동작하는 ADC에 제공될 수 있다. 사용자에 의해 지정된 레이블은 결함, 뉴슨스, 노이즈, 결함 분류 코드 등과 같이 본 명세서에서 설명된 임의의 레이블을 포함할 수 있다. 사용자에 의해 지정된 레이블은 검사 관련 알고리즘의 구성에 따라 다를 수 있다. 일부 예에서, 컴퓨터 서브시스템(들)은 가능한 다수의 레이블(예를 들어, 결함, 결함이 아님, 결함 클래스 코드 x, 결함 클래스 코드 y 등)을 사용자에게 제공할 수 있다. 또한, 컴퓨터 서브시스템(들)은 새로운 결함 클래스 코드와 같은 새로운 레이블을 사용자가 입력할 수 있게 할 수 있으며, 이 새로운 결함 클래스 코드는 (예를 들어, 검사 관련 알고리즘이 새로운 결함 레이블에 대해 새로운 노드, 빈(bin), 정의 등을 생성할 때처럼) 검사 관련 알고리즘의 구성을 수정하는데 사용될 수 있다. 레이블링된 하나 이상의 결함은 임의의 적절한 방식으로(예를 들어, 새롭게 레이블링된 결함(들)에 대한 정보를, 이전에 레이블링된 결함에 대한 정보가 저장된 파일 또는 다른 데이터 구조에 부가함으로써) 레이블링된 결함 세트에 추가될 수 있다.
본 명세서에서 추가로 설명된 바와 같이, 일 실시예에서, 하나 이상의 컴퓨터 서브시스템은 검출기에 의해 생성된 출력에 기초하여 표본 상의 결함을 검출하도록 구성되며, 표본에서 검출된 결함은 레이블링된 결함 세트 및 레이블링되지 않은 결함 세트를 포함한다. 예를 들어, 본 명세서에서 설명된 컴퓨터 서브시스템(들)에 의해 사용되는 결함은 표본(들) 상에서 핫 스캔(들)을 수행함으로써 표본 또는 표본들 상에서 모두 검출될 수 있다. 특히, 광학 검사와 같은 검사의 경우, 뉴슨스 필터 및 기타 검사 관련 알고리즘은 일반적으로 핫 스캔의 결과(즉, 수만 개의 결함을 포함하는 결과를 생성하는 표본 검사)에 대하여 트레이닝된다. "핫 스캔(hot scan)"은 일반적으로 잠재적인 결함 및 결함들을 검출하는 데 사용되는 임계 값이 주사에 의해 생성된 출력의 노이즈 플로어에서 또는 거의 그 근처에서 의도적으로 설정되는, 표본에 대해 수행되는 검사로서 정의될 수 있다. "핫 스캔들(hot scans)"은 검사 레시피 셋업 등을 위한 목적으로 대부분의 결함 또는 모든 관심 있는 결함이 캡처되도록 보장하기 위하여 일반적으로 가능한 한 많은 잠재적인 결함 및 결함을 검출하도록 수행된다. 따라서, 뉴슨스 필터 및 기타 검사 관련 알고리즘을 핫 스캔 결과를 사용하여 트레이닝될 수 있다.
뉴슨스 필터 또는 결함 분류기와 같은 검사 관련 알고리즘을 트레이닝하기 위하여 표본 상에서 검출된 결함들 중 비교적 작은 서브세트가 레이블링될 수 있다. 레이블링이란 이러한 결함을 "분류(classifyig)"하는 것을 의미한다. 결함을 "분류"하는 것은 컴퓨터 서브시스템(들)에 의해 트레이닝되고 있거나 생성되고 있는 검사 관련 알고리즘에 따라 달라질 수 있다. 예를 들어, 검사 관련 알고리즘이 결함 검출 알고리즘인 경우, 분류는 검출된 결함을 실제(actual) 결함 및 비-실제(not-actual) 결함(예를 들어, 노이즈)으로서 레이블링하는 포함할 수 있다. 다른 예에서, 검사 관련 알고리즘이 뉴슨스 필터인 경우, 분류는 검출된 결함을 실제 결함 및 뉴슨스 결함(일반적으로 노이즈 및/또는 사용자가 실제로 신경 쓰지 않는 실제 결함으로서 정의될 수 있음)으로서 레이블링하는 것을 포함할 수 있다. 추가 예에서, 검사 관련 알고리즘이 결함 분류기인 경우, 분류는 검출된 결함을 브리지, 파티클, 스크래치, 누락된 피처, 거칠기(roughness) 등과 같은 상이한 유형의 결함을 나타내는 결함 ID, 예를 들어 클래스 코드로 레이블링하는 것을 포함할 수 있다. 이러한 결함 분류 또는 레이블링은 일반적으로 결함의 실질적으로 높은 해상도의 이미지를 먼저 획득하는 것을 포함할 수 있다. 높은 해상도의 이미지는 SEM 또는 고해상도 광학 이미징을 사용하여 생성될 수 있다.
일 실시예에서, 초기 트레이닝에 사용된 레이블링된 결함 세트는 표본 상에서 검출된 모든 결함들로부터 선택된 미리 결정된 최소 수의 결함을 포함한다. 예를 들어, 본 명세서에서 더 설명되는 바와 같이, 실시예의 장점들 중 하나는 트레이닝된 검사 관련 알고리즘의 품질을 손상시키지 않으면서 트레이닝 세트 내의 레이블링된 결함이 최소화될 수 있다는 것이다. 그러므로, 초기 트레이닝에 사용되는 미리 결정된 최소 수의 레이블링된 결함은 검사 관련 알고리즘의 개략적으로 트레이닝된 초기 버전을 생성하는 데 필요한 최소 수의 결함일 수 있다. 레이블링된 결함의 최소 수는 경험적으로 또는 과거의 경험 및 (예를 들어, 검사 관련 알고리즘을 트레이닝하는 데 얼마나 많은 레이블링된 결함이 필요한가에 관한) 지식에 기초하여 미리 결정될 수 있다. 또한, 레이블링된 결함의 미리 결정된 최소 수는 검사 관련 알고리즘에 따라 달라질 수 있다. 예를 들어, 결함 분류기의 경우, 레이블링된 결함의 미리 결정된 최소 수는 표본에서 예상되는 및/또는 분류기가 구성되는 각각의 결함 유형의 몇 개(예를 들어, 2 또는 3)의 결함일 수 있다. 결함 검출 알고리즘 또는 뉴슨스 필터와 같은 상이한 검사 관련 알고리즘의 경우, 미리 결정된 최소 수의 레이블링된 결함은 수개 또는 수십 개의 결함뿐만 아니라 비(non)-결함(예를 들어, 각각 10개 내지 50개)일 수 있다. 미리 결정된 최소 수의 결함은 본 명세서에 설명된 실시예에서 이용 가능한 및/또는 표본 상에서 검출된 모든 결함으로부터 랜덤하게 선택될 수 있다(예를 들어, 핫 스캔 결과에서 레이블링되지 않은 결함). 그 후, 랜덤하게 선택된 결함은 본 명세서에 기재된 바와 같이 레이블링될 수 있다. 그 다음에, 레이블링된 결함은 미리 결정된 최소 수의 레이블링된 결함이 초기 트레이닝에 충분한지 여부를 결정하기 위해 분석될 수 있다. 특정 유형의 결함이 충분하게 선택되고 레이블링되지 않은 경우, 위에서 설명한 단계는 레이블링된 결함의 샘플이 원하는 수의 원하는 레이블링된 결함을 포함할 때까지 반복될 수 있다.
본 명세서에 기술된 실시예는 기저 분포의 경계에 가까운 결함을 발견하는 반복적 방법을 제공한다. 또한, 본 명세서에 설명된 실시예는 특히 광학 검사에 대한 새로운 아이디어로 여겨지는 선택 공정을 검사 관련 알고리즘이 구동하도록 함으로써 트레이닝 세트 선택 및 결함 레이블을 튜닝 공정과 결합시킨다. 예를 들어, 또 다른 실시예에서, 레이블링된 결함 세트를 변경하는 것은 검사 관련 알고리즘의 초기 버전을 적용함으로써 레이블링되지 않은 세트 내의 결함에 대해 생성된 결과의 확실성을 결정하는 것, 레이블링되지 않은 세트에서 가장 낮은 확실성을 갖는 결함을 선택하는 것, 선택된 결함에 대한 레이블을 획득하는 것, 선택된 결함 및 그 레이블을 레이블링된 결함 세트에 추가하는 것을 포함한다. 예를 들어, 도 3에 도시된 바와 같이, 컴퓨터 서브시스템(들)은 단계(306)에 도시된 바와 같이 모델의 불확실성, 즉 검사 관련 알고리즘을 각각의 결함에 대해 계산하도록 구성될 수 있다. 또한, 컴퓨터 서브시스템(들)은 단계(308)에 도시된 바와 같이 테스트 데이터에서 가장 낮은 확실성을 갖는 새로운 결함 세트를 발견하도록 구성될 수 있다. 컴퓨터 서브시스템(들)은 단계(310)에 도시된 바와 같이 새로운 세트를 분류하도록 또한 구성될 수도 있다. 컴퓨터 서브시스템(들)은 또한 단계(312)에 도시된 바와 같이 새로운 세트를 트레이닝 세트에 추가하도록 구성될 수 있다. 이러한 방식으로 이러한 단계들에서, 검사 관련 알고리즘이 실질적으로 작은 세트의 레이블링된 결함들로 초기에 트레이닝된 후에, 각각의 결함에 대한 검사 관련 알고리즘(예를 들면, 분류기)의 확실성이 측정될 수 있다. 확실성은 임의의 적절한 방식으로 결정될 수 있다. 예를 들어, 검사 관련 알고리즘은 그것이 생성하는 각각의 결과(예를 들어, 각각의 결함 분류와 관련된 신뢰도)와 관련된 신뢰도를 생성하도록 구성될 수 있다. 그 신뢰도는 확실성을 결정하는 데 사용될 수 있다. 검사 관련 알고리즘은 검사 관련 알고리즘에 의해 생성된 각 결과에 대한 확실성을 자동으로 생성하도록 구성될 수도 있다. 그런 다음 검사 관련 알고리즘이 가장 확신이 없는 결함 세트가 선택되고 레이블이 지정된다. 트레이닝 세트에 대한 결함의 레이블(분류)은 광학 이미지(예를 들어, 패치) 또는 SEM 이미지를 사용하여 수동으로 수행될 수 있다. 레이블은 사전 트레이닝된 SEM 자동 결함 분류기(ADC)를 사용하여 자동으로 수행할 수도 있다. 신뢰할 수 있는 SEM ADC를 사용하면, 이 방법을 통해 트레이닝 공정을 완전히 자동화하고 본 명세서에서 설명된 주요 구성 아이디어보다 레시피 튜닝 공정의 속도를 높일 수 있다. 레이블링된 결함의 이러한 새로운 배치(batch)는 이전에 레이블링된 결함에 추가되어 검사 관련 알고리즘을 재트레이닝(또는 보정)하는 데 사용된다. 이들 단계들 각각은 본 명세서에서 추가로 기술된 바와 같이 수행될 수 있다.
그러한 일 실시예에서, 레이블링되지 않은 세트에서 가장 낮은 확실성을 갖는 결함을 선택하는 것은 레이블링되지 않은 세트에서 가장 낮은 확실성을 갖는 미리 결정된 최소 수의 결함을 선택하는 것을 포함한다. 예를 들어, 레이블링되지 않은 세트의 결함은 가장 낮은 확실성을 갖는 결함으로부터 그 다음 가장 낮은 확실성을 갖는 결함까지 선택될 수 있으며, 미리 결정된 최소 수가 충족될 때까지 계속된다. 레이블링되지 않은 세트에서 선택된 미리 결정된 최소 수의 결함은 본 명세서에 기술된 바와 같이 (예를 들어, 검사 관련 알고리즘의 적절한 트레이닝을 달성하는데 필요한 최소 수의 결함을 결정하기 위해 경험적으로 또는 과거의 실험 및 이력에 기초하여) 사전 결정될 수 있다.
이러한 다른 실시예에서, 레이블링되지 않은 세트에서 가장 낮은 확실성을 갖는 결함을 선택하는 것은 레이블링되지 않은 세트 내의 결함의 하나 이상의 특성의 다양성과 무관하게 수행된다. 예를 들어, 본 명세서에 기술된 실시예는 결함의 제1 특성의 다양성, 결함의 제2 특성의 다양성 또는 결함의 임의의 다른 특성의 다양성에 관계없이 검사 관련 알고리즘에 의해 지정된 레이블의 불확실성에 기초하여 결함을 선택할 수 있다. 이러한 방식으로, 검사 관련 알고리즘에 의해 결함에 대해 생성된 결과의 불확실성에 기초하여 결함을 선택하는 것은 다양성 샘플링과 상이하다. 또한, 레이블링되지 않은 세트에서 가장 낮은 확실성을 갖는 결함을 선택하는 것은 결함에 대한 임의의 다른 속성 또는 정보에 관계 없이 수행될 수 있다. 그러나, 검사 관련 알고리즘이 이전에 레이블링되지 않은 상이한 결함에 상이한 레이블을 지정하도록 구성되는 경우, 가장 낮은 확실성을 갖는 결함은 제1 레이블이 지정되고 가장 낮은 확실성을 갖는 결함, 제2 레이블이 지정되고 가장 낮은 확실성을 갖는 결함을 포함할 수 있다. 다시 말해서, 결함의 하나 이상의 특성의 다양성에 관계없이 레이블링되지 않은 세트에서 가장 낮은 확실성을 갖는 결함을 선택하는 것은 검사 관련 알고리즘에 의해 지정된 레이블에 기초하여(또는 의존하여) 수행될 수 있다. 그러나, 그 선택은 결함 자체의 임의의 하나 이상의 특성의 다양성에 기초하여 여전히 수행되지 않는다. 예를 들어, 상이한 레이블에 지정되고 가장 낮은 확실성을 갖는 결함은 반드시 상대적으로 다양한 결함의 임의의 하나의 특성에 대한 값을 가질 필요는 없다. 사실, 검사 관련 알고리즘의 초기, 예비 또는 중간 버전으로 레이블링하기가 어렵게 만드는 것은 결함의 임의의 하나의 특성의 다양성보다는 유사성일 수 있다.
일부 실시예에서, 레이블링된 결함 세트를 변경하는 것은, 검사 관련 알고리즘의 초기 버전을 적용함으로써 레이블링되지 않은 세트에서 결함에 대하여 생성된 결과의 확실성을 결정하고, 레이블링되지 않은 세트에서 가장 낮은 확실성을 갖는 결함 그룹을 선택하고, 그룹에서 서브세트 내의 결함의 특성에 있어서 가장 큰 다양성을 갖는 결함의 서브세트를 선택하고, 결함의 서브세트에 대하여 레이블을 획득하며, 결함의 선택된 서브세트 및 그 레이블을 레이블링된 결함 세트에 추가하는 것을 포함한다. 예를 들어, 본 명세서에 기술된 실시예는 불확실성 및 다양성을 결합하여 샘플링을 보다 효율적으로 할 수 있다. 첫 번째 우선 순위는 검사 관련 알고리즘이 가장 확신하지 못하는 결함을 샘플링하는 것이며, 그 이유는 이들이 분류 경계 주변에 있는 결함이며, 이러한 결함에 대한 실측 자료(ground truth)를 제공하는 것이 검사 관련 알고리즘의 질을 가장 많이 향상시킨다고 알려져 있기 때문이다. 그러나, 많은 "낮은 신뢰도" 결함이 있을 때, 컴퓨터 서브시스템(들)이 모두 동일한 신뢰도를 가지지만 대신 많은 상이한 낮은 신뢰도 결함들 사이에서 선택된 결함을 다양화시킬 실질적으로 동일하게 보이는 결함을 선택하지 않도록 보장하려고 노력하는 것이 유리할 수 있다. 이러한 식으로 컴퓨터 서브시스템(들)은 경계의 한 부분에만 있는 많은 결함을 단지 선택하는 것과 반대로, 분류 경계 주변의 가장 다양한 세트를 선택할 수 있다. (분류 경계는 원칙적으로, 다차원 공간에서 복잡하고, 알려지지 않았으며, 아마 초평면이고, 최소 수의 레이블링된 결함으로 적절히 트레이닝된 결함 관련 알고리즘을 얻기 위하여, 컴퓨터 서브시스템(들)은 바람직하게는 전체 경계 주변에서 조심스럽게 결함을 선택한다. 다시 말해서, 컴퓨터 서브시스템(들)은 바람직하게는 분류 경계로부터 비교적 멀리 있거나, 즉 비교적 높은 신뢰도를 갖고 있거나, 경계의 동일한 부분에 있는, 즉 특별히 다양하지 않은 결함을 선택하지 않는다.)
컴퓨터 서브시스템(들)은 또한 변경된 레이블링된 결함 세트로 검사 관련 알고리즘을 재트레이닝하도록 구성됨으로써, 검사 관련 알고리즘의 더 최근 버전을 생성한다. 예를 들어, 도 3에 도시된 바와 같이, 컴퓨터 서브시스템(들)은 단계(314)에 도시된 바와 같이 분류기를 재트레이닝(또는 보정)하도록 구성될 수 있다. 재트레이닝은 초기 트레이닝과 관련하여 본 명세서에서 더 기술된 바와 같이 수행될 수 있다. 그러나, 재트레이닝 단계에서 재트레이닝은 검사 관련 알고리즘의 가장 이전 버전(예를 들어, 초기 트레이닝에 의해 생성된 검사 관련 알고리즘의 파라미터) 또는 검사 관련 알고리즘의 제1 버전(예를 들어, 초기 이전(pre-initial) 트레이닝 파라미터를 가진 검사 관련 알고리즘의 버전)으로 시작할 수 있다. 그러나 일반적으로 결함의 새로운 배치(batch)가 레이블링되고 트레이닝 세트에 추가된 후 분류기를 재트레이닝할 때, 재트레이닝은 분류기의 이전 버전으로부터 시작할 수 있지만, 대부분 재트레이닝은 처음부터(from scratch) 시작한다. (새로운 분류기는 각 새로운 트레이닝 세트에 대하여 간단히 트레이닝되지만, 어느 쪽의 가능성이라도 행해질 수 있다.) 이러한 방식으로, 재트레이닝은 검사 관련 알고리즘의 초기 이전(pre-initial) 트레이닝 버전을 사용하여 처음부터 검사 관련 알고리즘을 본질적으로 트레이닝하는 것 또는 직전(immediately prior) 버전의 하나 이상의 파라미터를 튜닝하고 가능하게는 미세 튜닝함으로써 검사 관련 알고리즘의 직전 버전을 트레이닝하는 것을 수반할 수 있다.
또한 컴퓨터 서브시스템(들)은 검사 관련 알고리즘의 더 최근 버전을 또 다른 레이블링되지 않은 결함 세트에 적용하도록 구성된다. 검사 관련 알고리즘의 더 최근 버전이 적용되는 레이블링되지 않은 결함 세트는 여기서 설명된 실시예에서 이용 가능하고/하거나 표본 또는 표본들 상에서 검출된 임의의 및/또는 모든 나머지 레이블링되지 않은 결함을 포함할 수 있다. 이러한 방식으로, 더 최근 버전이 적용되는 레이블링되지 않은 세트는, 레이블링되지 않은 세트 내의 하나 이상의 결함이 선택되고 레이블링되고 레이블링된 결함 세트에 추가되었기 때문에, 초기 버전(또는 이전 버전)이 적용되는 레이블링되지 않은 세트와 상이하다. 따라서, 더 최근 버전이 적용되는 레이블링되지 않은 결함 세트는 초기(또는 이전) 버전이 적용되는 레이블링되지 않은 결함 세트보다 결함이 더 적을 수 있다. 그러나 경우에 따라 일부가 선택되고 레이블링되고 레이블링된 세트에 추가된 후에 남아 있는 레이블링되지 않은 결함 세트는 만일 남아 있는 레이블링되지 않은 결함의 수가 충분히 크지 않다면, 추가적인 레이블링되지 않은 결함으로 보강(augment)될 수 있다. 레이블링되지 않은 세트를 보강하는 것은 예를 들어 또 다른 표본에 또 다른 핫 스캔을 수행하고/하거나 저장 매체, 가상 시스템 등으로부터 추가적인 검사 결과를 획득함으로써, 임의의 적절한 방식으로 수행될 수 있다. 일반적으로 본 명세서에 기재된 주사는 본 명세서에 설명된 기능/단계에 대하여 충분한 레이블링되지 않은 결함을 제공할 것이다. 그러므로, 그러한 결함이 충분하지 않아서 그 수를 증가시키면, 일반적으로 더 흔히 수행되는 보강이 레이블링된 세트의 보강이 될 것이다. 검사 관련 알고리즘의 더 최근 버전이 본 명세서에서 설명된 다른 레이블링되지 않은 결함 세트에 적용될 수 있다. 예를 들어, 다른 레이블링되지 않은 세트의 전부 또는 적어도 일부의 결함에 대한 정보가 검사 관련 알고리즘의 더 최근 버전에 입력될 수 있으며, 그 다음에 세트 내의 레이블링되지 않은 결함의 각각 또는 적어도 일부에 대한 결과를 생성한다.
컴퓨터 서브시스템(들)은 또한 검사 관련 알고리즘의 더 최근 버전을 적용한 결과와 검사 관련 알고리즘의 초기 버전 또는 덜 최근 버전을 적용한 결과 사이의 하나 이상의 차이를 결정하도록 구성된다. 검사 관련 알고리즘의 초기 버전은, 더 최근 버전이, 생성되는 검사 관련 알고리즘의 두번째 버전(초기 버전 직후에 생성된 버전)일 때만 차이를 결정하도록 사용될 것이다. 다른 모든 경우에 이 단계의 차이를 결정하는 데 사용되는 검사 관련 알고리즘의 덜 최근 버전은 더 최근 버전 직전에 생성된 검사 관련 알고리즘일 수 있다. 이러한 방식으로, 검사 관련 알고리즘의 가장 최근에 생성된 버전과 그 버전 직전에 생성된 버전 사이의 차이가 결정될 수 있다. 다시 말해서, 이 단계에서, 검사 관련 알고리즘의 버전 n과 검사 관련 알고리즘의 버전 n-1 사이의 차이가 결정될 수 있다.
이러한 차이는 그 후 공정이 본 명세서에서 설명된 대로 수렴(converge)되는지 여부를 결정하는 데 사용된다. 예를 들어, 본 명세서에서 더 설명되는 바와 같이, 컴퓨터 서브시스템(들)에 의해 수행되는 공정은 반복들 사이의 분류들(또는 다른 결과들)의 변화가 상대적으로 작아질 때 수렴되는 것으로 결정될 수 있다. 변화는 트레이닝 공정의 통계적 변동 때문에 엄격하게 제로가 아닐 수도 있다. 다시 말해서, 동일한 트레이닝 세트에서 트레이닝이 여러 번 반복될 때, 동일한 결함에 대해 완전히 똑같은 분류(또는 다른 결과)가 생성되지 않을 수 있다. 이러한 작은 변동을 추정할 수 있으며 반복 사이의 변화가 추정치만큼 작아지면, 컴퓨터 서브시스템(들)에 의해 수행되는 공정이 중단될 수 있다 - 수렴되었다. 또한 이 기준에 도달할 때, 검사 관련 알고리즘이 최대 성능을 달성한 것이다.
컴퓨터 서브시스템(들)은 또한 레이블링된 결함 세트를 변경하고, 검사 관련 알고리즘을 재트레이닝하고, 검사 관련 알고리즘의 더 최근 버전을 적용하고, 하나 이상의 차이가 하나 이상의 기준을 만족할 때까지 하나 이상의 차이를 결정하는 것을 반복하도록 구성된다. 그러므로 하나 이상의 기준은 본 명세서에 설명된 결함을 레이블링하는 반복 및 다른 단계들을 종료시키는 정지 기준을 정의한다. 예를 들어, 전술한 바와 같이, 하나 이상의 차이가 검사 관련 알고리즘의 성능에 관계 없이 트레이닝에서 트레이닝까지 발생할 비교적 작은 변동의 추정치와 같거나 작은 경우, 하나 이상의 차이는 하나 이상의 기준을 충족하는 것으로 결정될 수 있다. 또한, 검사 관련 알고리즘에 의해 생성된 상이한 결과는 상이한 기준을 가질 수 있다. 예를 들어, 하나의 결함 분류에 대해 생성된 결과의 차이에 대한 하나 이상의 기준은 다른 결함 분류에 대해 생성된 결과의 차이에 대한 하나 이상의 기준과 상이할 수 있다. 그러한 경우에, 전술한 단계는 하나 이상의 기준 모두가 충족될 때까지 반복될 수 있다. 다른 경우, 검사 관련 알고리즘에 의해 생성된 모든 상이한 결과는 동일한 기준을 가질 수 있다. 예를 들어, 상이한 결함 분류에 대해 생성된 결과의 차이에 대한 하나 이상의 기준이 동일할 수 있다. 그러나, 그러한 경우에, 상기 설명된 단계는 하나 이상의 기준 모두가 충족될 때까지 반복될 수 있다. 예를 들어 하나의 결함 분류에 대해 생성된 결과는 두 가지 결함 분류 모두에 대해 동일한 하나 이상의 기준을 충족해야 하는 경우에도 또 다른 결함 분류에 대해 생성된 결과보다 빨리 하나 이상의 기준을 충족시킬 수 있다.
이러한 일례에서, 도 3에 도시된 바와 같이, 컴퓨터 서브시스템(들)은 단계(316)에 도시된 바와 같이 수렴 기준이 만족되는지 여부를 결정하도록 구성될 수 있다. 수렴 기준이 충족되지 않으면, 도 3에 도시된 바와 같이, 컴퓨터 서브시스템(들)은 단계(306)로 되돌아 가서, 각각의 결함에 대한 모델(검사 관련 알고리즘)의 불확실성을 계산할 수 있다. 컴퓨터 서브시스템(들)은 또한 수렴 기준이 충족되는 것으로 결정될 때까지 도 3에 도시된 단계(308), 단계(310), 단계(312) 및 단계(314)를 반복할 수 있다. 데이터-구동(data-driven) 수렴 기준에 대하여 본 명세서에 설명된 실시예들의 신뢰도가 새로운 것으로 믿어진다. 다시 말하면, 본 명세서에서 더 설명되는 바와 같이, 검사 관련 알고리즘(예를 들어, 분류기)이 가장 확신하지 못하는 레이블링되지 않은 결함들의 배치가 선택될 수 있다. 그 후 선택된 결함은 본 명세서에 기술된 바와 같이 레이블링될 수 있다. 새로 레이블링된 결함은 트레이닝 세트에 추가될 수 있으며 변경된 트레이닝 세트는 새로운 검사 관련 알고리즘을 트레이닝하는 데 사용될 수 있다. 이러한 단계는 수렴이 이루어질 때까지 반복될 수 있다.
일 실시예에서, 하나 이상의 기준은, a) 하나 이상의 차이가 검사 관련 알고리즘의 더 최근 버전과 검사 관련 알고리즘의 초기 버전 또는 덜 최근 버전이 무시할 정도로 상이함을 나타내는 것, 및 b) 하나 이상의 차이가 더 최근의 검사 관련 알고리즘과 검사 관련 알고리즘의 초기 버전 또는 덜 최근 버전이 상당히 상이함을 나타내는 것 사이의 경계를 정의한다. 하나 이상의 차이는 전술한 바와 같이 결정된 차이(예를 들어, 검사 관련 알고리즘의 버전 n과 검사 관련 알고리즘의 버전 n-1 사이의 차이)이다. 이러한 방식으로, 컴퓨터 서브시스템(들)은 각각의 반복 후에 검사 관련 알고리즘의 이력을 추적할 수 있고 검사 관련 알고리즘에 의해 생성된 결과의 변화가 충분히 작으면 반복을 종료한다.
본 명세서에서 사용된 용어 "무시할 정도로 상이한(negligibly different)"은 검사 관련 알고리즘마다 다양할 수 있다. 그러나, 본 명세서에서 사용된 "무시할 정도로 상이한"은 검사 관련 알고리즘이 검사 관련 알고리즘의 한 버전에서 다음 버전으로 크게 변경되지 않았음을 나타내기에 충분히 작은 임의의 차이로 정의될 수 있다. 그러므로, "무시할 정도로 상이한" 것으로 인정되는 차이(들)는 본 명세서에서 기술된 실시예에 대한 정지 기준을 정의한다. 이와 같이, 하나 이상의 차이에 대한 "무시할 정도로 상이한" 값은 사용자에 의해 (그들의 허용 가능한 정지 기준이 무엇인지에 기초하여) 사전 결정되고 정의될 수 있고/있거나 트레이닝되는 검사 관련 알고리즘의 유형 및/또는 트레이닝되는 특정 검사 관련 알고리즘의 반복성에 관한 일반적인 정보 또는 특정 정보에 기초하여 컴퓨터 서브시스템(들) 또는 다른 방법 또는 시스템에 의해 미리 결정될 수 있다. 이 용어가 사용될 때에 "상당히 상이한" 하나 이상의 차이는 "무시할 정도로 상이한" 차이 값이 아닌 임의의 모든 차이일 수 있다. 이러한 방식으로, 하나 이상의 차이는 2가지 상이한 범위의 값들: 1) 본 명세서에 기술된 바와 같이 정의된 "무시할 정도로 상이한" 값들; 및 2) "무시할 정도로 상이한" 것이 아닌 모든 것인 "상당히 상이한" 값들을 가질 수 있다.
이전 반복에서 현재 반복까지의 변화가 제로인(또는 작은) 경우 컴퓨터 서브시스템(들)은 검사 관련 알고리즘이 확신을 갖고 있기 때문에 레이블의 가치가 있는 새로운 결함이 없는 것으로 결정한다. 하나의 특정 예에서, 컴퓨터 서브시스템(들)은 최종 테스트 데이터 세트의 결함의 예측된 클래스 코드의 변경 이력을 사용할 수 있다. 그러나, 다수의 다른 수렴 척도(convergence measures)가 본 명세서에 설명된 실시예들에서의 사용을 위해 고려될 수 있다. 수렴 척도 모두는 트레이닝 반복의 함수로서 분류기 성능 및/또는 트레이닝 세트의 내용의 일부 측면을 모니터링할 수 있다. 예를 들어, 컴퓨터 서브시스템(들)은 정확도를 반복의 함수로서 추적함으로써 검사 관련 알고리즘 성능 자체를 모니터링할 수 있다. 또 다른 방법은 수신기 동작 곡선(receiver operating curve, ROC)의 개선을 반복의 함수로서 모니터링하는 것에 의존한다. ROC는 기본적으로 동작 포인트의 전체 범위(예를 들어, 상이한 뉴슨스 레이트)에 걸친 2진 분류기의 성능의 척도이다. 또한 특정 상황에서 또는 특정 목적을 위해 컴퓨터 서브시스템(들)이 각 반복마다 트레이닝 세트에 포함시키면서 결함 유형이 얼마나 상이한가를 모니터링할 수 있다. 예를 들어 컴퓨터 서브시스템(들)은 컴퓨터 서브시스템(들)이 더 이상 관심 결함(defect of interest)을 트레이닝 세트에 넣지 않을 때 정지할 수 있다.
하나 이상의 차이가 하나 이상의 기준을 만족하면, 컴퓨터 서브시스템(들)은 다른 표본들의 검사에 사용하기 위한 트레이닝된 검사 관련 알고리즘으로서 검사 관련 알고리즘의 가장 최근 버전을 출력하도록 구성된다. 검사 관련 알고리즘의 가장 최근 버전을 출력하는 것은, 필요한 경우 아마 검사 관련 알고리즘의 일반적인 구성으로 검사 관련 알고리즘의 가장 최근 트레이닝된 파라미터를 출력하는 것을 포함할 수 있다. 검사 관련 알고리즘의 가장 최근 버전을 출력하는 것은 또한 본 명세서에 기술된 저장 매체 중 하나와 같은 저장 매체 및/또는 검사 레시피가 실행될 때 검사 관련 알고리즘이 실행되도록 검사 레시피에 가장 최근 버전을 저장하는 것을 포함할 수 있다. ("레시피"라는 용어가 여기서 사용될 때 일반적으로 시스템이 공정을 수행하는 데 사용할 수 있는 명령어들의 세트로 정의할 수 있다.)
일 실시예에서, 하나 이상의 컴퓨터 서브시스템은 검사 관련 알고리즘의 가장 최근 버전에 의해 생성된 상이한 결과의 분리 가능성의 척도(measure of separability)를 결정하도록 구성되며, 출력은 결정된 분리 가능성의 척도가 미리 결정된 임계 값보다 초과한 이후에만 수행된다. 예를 들어, 뉴슨스 필터(분류기)와 같은 검사 관련 알고리즘은 상이한 것에 대응하는 데이터 간의 다양한 분리 가능성 척도를 가진 데이터에 적용되고, 예를 들어, 결함 대 뉴슨스, 일 유형의 결함 대 다른 유형의 결함 등이다. 데이터 간의 분리가 실질적으로 양호한 경우, 검사 관련 알고리즘은 일반적으로 비교적 높은 신뢰도로 상대적으로 양호한 성능을 달성할 것이다. 데이터 분리가 평범하거나(mediocre) 나쁘면, 검사 관련 알고리즘이 제대로 수행되지 않으며 일반적으로 수행되는 작업에 관계 없이 비교적 낮은 신뢰도 결과가 상당량 남아 있다. 따라서, 수렴 기준은 임의의 신뢰도 또는 성능 척도에 기초하지 않는다. 따라서 컴퓨터 서브시스템(들)은 검사 관련 알고리즘이 언제 개선을 멈추는지 단순히 모니터링할 수 있고, 이 시점에서 이 데이터에 대해 최상의 검사 관련 알고리즘이 생성되었다. 이와 같이, 검사 관련 알고리즘의 가장 최근 버전에 대한 분리 가능성의 척도를 결정하여, 사용 가능한 트레이닝 데이터로 생성된 최상의 검사 관련 알고리즘이 실제로 다른 표본들에 사용하기에 충분히 잘 수행되고 있는지 여부를 결정할 수 있다. 분리 가능성의 척도가 충분하지 않다고 결정되면, 검사 서브시스템의 다른 출력 생성 파라미터로 생성된 다른 데이터와 같은 다른 옵션이 본 명세서에서 후술되는 바와 같이 검사 관련 알고리즘에 대한 대안적인 입력으로 탐구될 수 있다.
이러한 일례에서, 도 3에 도시된 바와 같이, 일단 수렴 기준이 단계(316)에서 충족되었다고 결정되면, 컴퓨터 서브시스템(들)은 단계(318)에 도시된 바와 같이 데이터가 분리 가능한지 여부를 결정할 수 있다. 데이터가 단계(318)에서 분리 가능하다고 결정되면, 단계(320)에서, 컴퓨터 서브시스템(들)은 검사 관련 알고리즘이 준비가 되어 있다고(즉, 다른 표본의 검사에 사용할 준비가 되어 있고, 생산 모니터링에 사용할 준비가 되어 있다고) 결정할 수 있다. 이러한 방식으로, 실시예들은 검사 관련 알고리즘의 정확성을 보증하기 위한 척도를 사용할 수 있다. 검사 관련 알고리즘이 데이터를 정확하게 분리할 수 있는 것을 보장하기 위해 데이터의 분리 가능성을 측정할 수 있다. 이 측정은 데이터가 분리 가능한지 여부를 알려준다. 결함 분류기인 검사 관련 알고리즘의 경우, 측정은 데이터가 분리 가능한지 여부와 분류기가 각각의 결함 클래스를 랜덤 추측보다 더 잘 분류할 수 있는지 여부를 알려줄 수 있다. 트레이닝 세트의 데이터를 분리할 수 있는 경우 올바른 분류기가 구축된 것으로 선언될 수 있다. 트레이닝 세트 내의 데이터는 각 클래스 코드에 대한 분류기의 정확도가 특정 임계 값을 초과하면 분리 가능하다고 간주될 수 있다(예를 들어, 대략 50%를 넘는 값(밸런싱된 트레이닝 세트에서 50%의 정확도는 완전히 랜덤한 분류, 즉 분리 가능성 없음을 의미하기 때문이다)).
컴퓨터 서브시스템(들)이 도 3의 단계(318)에서 데이터가 분리 가능하지 않다고 결정하면, 도 3에 도시된 바와 같이, 컴퓨터 서브시스템(들)은 단계(322)에 도시된 바와 같이 검사 파라미터를 변경할 수 있다. 예를 들어, 데이터가 분리 가능하지 않으면, 결함 분류기의 경우 데이터는 분류 가능하지 않다. 이 경우에, 컴퓨터 서브시스템(들)은 검사 서브시스템의 하나 이상의 파라미터가 변경되어야 한다고 결정할 수 있다. 예를 들어, 컴퓨터 서브시스템(들)은 검사 모드가 변경되어야 한다고 결정할 수 있다. 컴퓨터 서브시스템(들)은 그 후 검사 서브시스템의 하나 이상의 파라미터의 튜닝을 수행하거나 튜닝을 수행하는 다른 서브시스템(컴퓨터 또는 다른 것)에 단순히 명령어를 제공할 수 있다. 검사 서브시스템의 하나 이상의 파라미터의 튜닝 또는 변경은 임의의 적절한 방식으로 수행될 수 있다. 검사 서브시스템의 튜닝되거나 변경된 파라미터(들)를 사용하여 생성된 출력은 레이블링된 결함 세트 및 레이블링되지 않은 결함 세트를 생성하는데 사용될 수 있으며, 이는 그 후 본 명세서에 설명된 단계(들)를 수행하여 트레이닝된 검사 관련 알고리즘을 생성하는데 사용될 수 있다. 이러한 방식으로, 검사 서브시스템의 새로운 파라미터(들)에 대해 트레이닝된 검사 관련 알고리즘이 생성될 수 있다.
본 명세서에서 기술된 실시예는 검사 관련 알고리즘을 트레이닝하기 위한 다수의 이점을 제공한다. 예를 들어, 검사 관련 알고리즘 튜닝 및 트레이닝 세트 획득을 단일 방법으로 결합하는 것은 기존의 접근법에 비해 큰 이점을 제공하는데, 그 이유는 본 명세서에 기술된 검사 관련 알고리즘 튜닝 및 트레이닝 세트 획득이 검사 관련 알고리즘의 성능에 대한 레이블링된 결함의 효과를 극대화하기 때문이다. (레이블링된 결함은 트레이닝 목적으로 가장 유익한 결함이므로 검사 관련 알고리즘의 성능은 주어진 데이터에 대해 항상 최적이다.) 또한 결함을 레이블링하는 것(예를 들어, 수동으로 결함을 분류하는 것)은 툴 시간과 노동력의 측면에서 상당히 비싸다. 트레이닝 세트 획득 및 검사 관련 알고리즘 튜닝 공정에 대한 수렴 기준을 확인하면 트레이닝 세트의 크기가 최소화되므로 이점이 있다. 또한, 트레이닝 세트 선택 및 결함 레이블을 튜닝 공정과 결함하는 공정은 광학 검사 뉴슨스 필터 및 분류기에 대한 임의의 머신 러닝 알고리즘을 적용하는 데 있어서 절대적으로 필요하다는 인식은 새로운 것이다. (트레이닝 데이터가 수만개의 결함을 가지기 때문에 트레이닝 세트 선택 및 결함 레이블을 튜닝 공정과 결합하는 것이 필요하며, 그 대부분이 뉴슨스이다.) 본 명세서에서 설명된 실시예는 또한 검사 레시피의 일관성을 보장한다. 즉 뉴슨스 필터 튜닝이 더 이상 경험과 기술에 달려 있지 않다.
본 명세서에서 설명된 시스템의 실시예 각각은 본 명세서에 설명된 시스템의 임의의 다른 실시예와 결합될 수 있다.
다른 실시예는 검사 관련 알고리즘을 트레이닝하기 위한 컴퓨터 구현 방법에 관한 것이다. 상기 방법은 전술한 컴퓨터 서브시스템(들)의 기능들 각각에 대한 단계들을 포함한다. 특히, 본 방법은 레이블링된 결함 세트로 검사 관련 알고리즘의 초기 트레이닝을 수행하여 검사 관련 알고리즘의 초기 버전을 생성하는 단계를 포함한다. 상기 방법은 또한 검사 관련 알고리즘의 초기 버전을 레이블링되지 않은 결함 세트에 적용하는 단계 및 상기 적용의 결과에 기초하여 레이블링된 결함 세트를 변경하는 단계를 포함한다. 또한, 상기 방법은 검사 관련 알고리즘을 변경된 레이블링된 결함 세트로 재트레이닝함으로써 검사 관련 알고리즘의 더 최근 버전을 생성하는 단계를 포함한다. 상기 방법은 검사 관련 알고리즘의 더 최근 버전을 또다른 레이블링되지 않은 결함 세트에 적용하는 단계를 더 포함한다. 상기 방법은 또한 검사 관련 알고리즘의 더 최근 버전을 적용한 결과와 검사 관련 알고리즘의 초기 버전 또는 덜 최근 버전을 적용한 결과 사이의 하나 이상의 차이를 결정하는 단계를 포함한다. 또한, 상기 방법은 레이블링된 결함 세트를 변경하는 단계, 검사 관련 알고리즘을 재트레이닝하는 단계, 검사 관련 알고리즘의 더 최근 버전을 적용하는 단계 및 하나 이상의 차이가 하나 이상의 기준을 충족할 때까지 하나 이상의 차이를 결정하는 단계를 반복하는 단계를 포함한다. 하나 이상의 차이가 하나 이상의 기준을 만족할 때, 상기 방법은 다른 표본들의 검사에 사용하기 위한 트레이닝된 검사 관련 알고리즘으로서 검사 관련 알고리즘의 가장 최근 버전을 출력하는 단계를 포함한다.
본 방법의 각 단계는 본 명세서에서 추가로 기술된 바와 같이 수행될 수 있다. 상기 방법은 또한 본 명세서에서 설명된 검사 서브시스템 및/또는 컴퓨터 서브시스템(들) 또는 시스템(들)에 의해 수행될 수 있는 임의의 다른 단계(들)를 포함할 수 있다. 이 방법의 단계들은 본 명세서에서 설명된 임의의 실시예에 따라 구성될 수 있는 하나 이상의 컴퓨터 시스템에 의해 수행된다. 또한, 전술한 방법은 본 명세서에 설명된 임의의 시스템 실시예에 의해 수행될 수 있다.
추가 실시예는 검사 관련 알고리즘을 트레이닝하기 위한 컴퓨터 구현 방법을 수행하기 위해 컴퓨터 시스템 상에서 실행되는 프로그램 명령어들을 저장한 비일시적 컴퓨터 판독 가능 매체에 관한 것이다. 그러한 하나의 실시예가 도 4에 도시되어 있다. 특히, 도 4에 도시된 바와 같이, 비일시적 컴퓨터 판독 가능 매체(400)는 컴퓨터 시스템(404) 상에서 실행 가능한 프로그램 명령어들(402)을 포함한다. 컴퓨터 구현 방법은 본 명세서에서 설명된 임의의 방법(들)의 임의의 단계(들)를 포함할 수 있다.
본 명세서에서 설명된 것과 같은 방법을 구현하는 프로그램 명령어들(402)은 컴퓨터 판독 가능 매체(400)에 저장될 수 있다. 컴퓨터 판독 가능 매체는 자기 또는 광학 디스크, 자기 테이프 또는 당 업계에 알려진 임의의 다른 적절한 비일시적 컴퓨터 판독 가능 매체와 같은 저장 매체일 수 있다.
프로그램 명령어들은 특히 프로시저 기반 기술, 컴포넌트 기반 기술 및/또는 객체 지향 기술을 포함하는 다양한 방법 중 임의의 방식으로 구현될 수 있다. 예를 들어, 프로그램 명령어들은 원하는 대로, ActiveX 컨트롤, C++ 객체, JavaBeans, MFC(Microsoft Foundation Classes), SSE(Streaming SIMD Extension) 또는 다른 기술 또는 방법을 사용하여 구현될 수 있다
컴퓨터 시스템(404)은 본 명세서에서 기술된 실시예들 중 임의의 것에 따라 구성될 수 있다.
본 명세서에서 기술된 모든 방법들은 방법 실시예의 하나 이상의 단계의 결과를 컴퓨터 판독 가능 저장 매체에 저장하는 것을 포함할 수 있다. 결과는 본 명세서에 기재된 결과 중 임의의 것을 포함할 수 있고 당 업계에 공지된 임의의 방식으로 저장될 수 있다. 저장 매체는 본 명세서에 설명된 임의의 저장 매체 또는 당 업계에 공지된 임의의 다른 적절한 저장 매체를 포함할 수 있다. 결과가 저장된 후에, 결과는 저장 매체에서 액세스될 수 있고, 본 명세서에서 기술된 임의의 방법 또는 시스템 실시예에 의해 사용되거나, 사용자에게 디스플레이하기 위해 포맷되고, 다른 소프트웨어 모듈, 방법 또는 시스템 등에 의해 사용된다. 예를 들어, 트레이닝된 검사 관련 알고리즘은 본 명세서에 기술된 바와 같이 수행될 수 있는 다른 표본(들)에 대한 검사(들)를 수행하는데 사용될 수 있다. 검사(들)에 의해 생성된 결과는 다른 표본(들)을 형성하기 위해 사용된 공정 또는 다른 표본(들)에 대한 하나 이상의 기능을 수행하는데 사용될 수 있다. 예를 들어, 본 명세서에 설명된 바와 같이 트레이닝된 검사 관련 알고리즘을 사용하여 수행된 검사(들)에 의해 생성된 결과는 다른 표본(들)을 형성하는데 사용된 하나 이상의 공정의 하나 이상의 파라미터를 변경하는데 사용될 수 있다. 부가적으로 또는 대안으로, 본 명세서에 기술된 바와 같이 트레이닝된 검사 관련 알고리즘을 사용하여 수행된 검사(들)에 의해 생성된 결과는 다른 표본(들)에 추가 피처 또는 재료를 형성하거나 다른 표본(들) 상의 결함을 보정하여 다른 표본(들) 자체를 변경하기 위해서 다른 표본(들)에 대해 수행될 하나 이상의 공정의 하나 이상의 파라미터를 변경하는데 사용될 수 있다.
본 발명의 다양한 양상의 다른 변형 및 대안적인 실시예는 이 설명을 고려하여 당업자에게 명백할 것이다. 예를 들어, 검사 관련 알고리즘을 트레이닝하기 위한 방법 및 시스템이 제공된다. 따라서, 이 설명은 단지 예시적인 것으로서 해석되어야 하며, 본 발명을 수행하는 일반적인 방법을 당업자에게 교시하기 위한 것이다. 본 명세서에 도시되고 설명된 본 발명의 형태는 현재 선호되는 실시예로 간주되어야 함을 이해해야 한다. 본 명세서에서 도시되고 기술된 것들을 대신하여 요소들 및 재료들이 대체될 수 있으며, 부분들 및 공정들은 역전될 수 있고, 본 발명의 특정 피처들은 독립적으로 이용될 수 있으며, 이는 모두 본 발명의 설명의 이익을 얻은 후에 당업자에게 명백할 것이다. 하기 청구범위에 기재된 본 발명의 사상 및 범위를 벗어남이 없이 본 명세서에 설명된 요소에 대한 변경이 이루어질 수 있다.

Claims (20)

  1. 검사 관련 알고리즘을 트레이닝하도록 구성된 시스템에 있어서,
    적어도 에너지원 및 검출기를 포함하는 검사 서브시스템; 및
    하나 이상의 컴퓨터 서브시스템을 포함하고,
    상기 에너지원은 표본(specimen)으로 향하는 에너지를 생성하도록 구성되고, 상기 검출기는 상기 표본으로부터의 에너지를 검출하고 상기 검출된 에너지에 응답하는 출력을 생성하도록 구성되고,
    상기 하나 이상의 컴퓨터 서브시스템은,
    레이블링된(labeled) 결함 세트로 검사 관련 알고리즘의 초기 트레이닝을 수행함으로써, 상기 검사 관련 알고리즘의 초기 버전(initial version)을 생성하고;
    상기 검사 관련 알고리즘의 초기 버전을 레이블링되지 않은(unlabeled) 결함 세트에 적용하고;
    상기 적용의 결과에 기초하여 상기 레이블링된 결함 세트를 변경(alter)하고;
    상기 변경된 레이블링된 결함 세트로 상기 검사 관련 알고리즘을 재트레이닝함으로써 상기 검사 관련 알고리즘의 더 최근 버전(more recent version)을 생성하고;
    상기 검사 관련 알고리즘의 더 최근 버전을 또 다른 레이블링되지 않은 결함 세트에 적용하고;
    상기 검사 관련 알고리즘의 더 최근 버전을 적용한 결과 및 상기 검사 관련 알고리즘의 초기 버전 또는 덜 최근 버전(less recent version)을 적용한 결과 사이의 하나 이상의 차이를 결정하고;
    상기 레이블링된 결함 세트를 변경하고, 상기 검사 관련 알고리즘을 재트레이닝하고, 상기 검사 관련 알고리즘의 더 최근 버전을 적용하고, 상기 하나 이상의 차이를 결정하는 것을 상기 하나 이상의 차이가 하나 이상의 기준을 만족할 때까지 반복하며;
    상기 하나 이상의 차이가 상기 하나 이상의 기준을 만족할 때, 상기 검사 관련 알고리즘의 가장 최근 버전(most recent version)을 다른 표본들의 검사에 사용하기 위한 트레이닝된 검사 관련 알고리즘으로서 출력하도록 구성되는 것인 검사 관련 알고리즘의 트레이닝 시스템.
  2. 제1항에 있어서, 상기 검사 관련 알고리즘은 결함 분류기(defect classifier)인 것인 검사 관련 알고리즘의 트레이닝 시스템.
  3. 제1항에 있어서, 상기 검사 관련 알고리즘은 결함 필터인 것인 검사 관련 알고리즘의 트레이닝 시스템.
  4. 제1항에 있어서, 상기 검사 관련 알고리즘은 결함 검출 알고리즘인 것인 검사 관련 알고리즘의 트레이닝 시스템.
  5. 제1항에 있어서, 상기 검사 관련 알고리즘은 머신 러닝 알고리즘인 것인 검사 관련 알고리즘의 트레이닝 시스템.
  6. 제1항에 있어서, 상기 레이블링된 결함 세트 및 상기 레이블링되지 않은 결함 세트는 동일한 검사 결과에 포함되는 것인 검사 관련 알고리즘의 트레이닝 시스템.
  7. 제1항에 있어서, 상기 레이블링된 결함 세트를 변경하는 것은, 상기 레이블링되지 않은 세트 내의 결함들 중 하나 이상을 레이블링하고, 상기 결함들 중 레이블링된 하나 이상을 상기 레이블링된 세트에 추가하는 것을 포함하는 것인 검사 관련 알고리즘의 트레이닝 시스템.
  8. 제1항에 있어서, 상기 하나 이상의 컴퓨터 서브시스템은 또한 상기 검출기에 의해 생성된 출력에 기초하여 상기 표본 상의 결함을 검출하도록 구성되고, 상기 표본 상에서 검출된 결함은 상기 레이블링된 결함 세트 및 상기 레이블링되지 않은 결함 세트를 포함하는 것인 검사 관련 알고리즘의 트레이닝 시스템.
  9. 제1항에 있어서, 상기 레이블링된 결함 세트는, 상기 표본 상에서 검출된 모든 결함으로부터 선택된 미리 결정된 최소 수의 결함을 포함하는 것인 검사 관련 알고리즘의 트레이닝 시스템.
  10. 제1항에 있어서, 상기 레이블링된 결함 세트를 변경하는 것은, 상기 검사 관련 알고리즘의 초기 버전을 적용함으로써 상기 레이블링되지 않은 세트 내의 결함에 대해 생성된 결과의 확실성(certainty)을 결정하고, 상기 레이블링되지 않은 세트 내에서 가장 낮은 확실성을 가지는 결함을 선택하고, 상기 선택된 결함에 대한 레이블을 획득하며, 상기 선택된 결함 및 그 레이블을 상기 레이블링되지 않은 결함 세트에 추가하는 것을 포함하는 것인 검사 관련 알고리즘의 트레이닝 시스템.
  11. 제10항에 있어서, 상기 레이블링되지 않은 세트 내에서 가장 낮은 확실성을 가지는 결함을 선택하는 것은, 상기 레이블링되지 않은 세트 내에서 가장 낮은 확실성을 가지는 미리 결정된 최소 수의 결함을 선택하는 것을 포함하는 것인 검사 관련 알고리즘의 트레이닝 시스템.
  12. 제10항에 있어서, 상기 레이블링되지 않은 세트 내에서 가장 낮은 확실성을 가지는 결함을 선택하는 것은, 상기 레이블링되지 않은 세트 내의 결함의 하나 이상의 특성의 다양성(diversity)과 독립적으로 수행되는 것인 검사 관련 알고리즘의 트레이닝 시스템.
  13. 제1항에 있어서, 상기 레이블링된 결함 세트를 변경하는 것은, 상기 검사 관련 알고리즘의 초기 버전을 적용함으로써 상기 레이블링되지 않은 세트 내의 결함에 대하여 생성된 결과의 확실성을 결정하고, 상기 레이블링되지 않은 세트에서 가장 낮은 확실성을 가지는 결함 그룹을 선택하고, 상기 그룹에서 서브세트 내의 결함의 특성에 있어서 가장 큰 다양성을 갖는 결함의 서브세트를 선택하고, 상기 결함의 서브세트에 대한 레이블을 획득하며, 상기 선택된 결함의 서브세트 및 그 레이블을 상기 레이블링된 결함 세트에 추가하는 것을 포함하는 것인 검사 관련 알고리즘의 트레이닝 시스템.
  14. 제1항에 있어서, 상기 하나 이상의 기준은, a) 상기 하나 이상의 차이가 상기 검사 관련 알고리즘의 더 최근 버전과 상기 검사 관련 알고리즘의 상기 초기 버전 또는 상기 덜 최근 버전이 무시할 정도로 상이함을 나타내는 것, 및 b) 상기 하나 이상의 차이가 더 최근 검사 관련 알고리즘과 상기 검사 관련 알고리즘의 상기 초기 버전 또는 상기 덜 최근 버전이 상당히 상이한 것을 나타내는 것 사이의 경계를 정의하는 것인 검사 관련 알고리즘의 트레이닝 시스템.
  15. 제1항에 있어서, 상기 하나 이상의 컴퓨터 서브시스템은 또한 상기 검사 관련 알고리즘의 더 최근 버전에 의해 생성되는 상이한 결과들의 분리 가능성(separability)의 척도(measure)를 결정하도록 구성되고, 상기 출력은 상기 결정된 분리 가능성의 척도가 미리 결정된 임계 값을 초과한 후에만 수행되는 것인 검사 관련 알고리즘의 트레이닝 시스템.
  16. 제1항에 있어서, 상기 표본은 웨이퍼를 포함하는 것인 검사 관련 알고리즘의 트레이닝 시스템.
  17. 제1항에 있어서, 상기 표본으로 향하는 에너지는 광을 포함하고, 상기 표본으로부터 검출된 에너지는 광을 포함하는 것인 검사 관련 알고리즘의 트레이닝 시스템.
  18. 제1항에 있어서, 상기 표본으로 향하는 에너지는 전자들을 포함하고, 상기 표본으로부터 검출된 에너지는 전자들을 포함하는 것인 검사 관련 알고리즘의 트레이닝 시스템.
  19. 검사 관련 알고리즘을 트레이닝하기 위한 컴퓨터 구현 방법을 수행하기 위한 컴퓨터 시스템 상에서 실행되는 프로그램 명령어들을 저장한 비일시적 컴퓨터 판독 가능 매체에 있어서,
    상기 컴퓨터 구현 방법은,
    레이블링된(labeled) 결함 세트로 검사 관련 알고리즘의 초기 트레이닝을 수행함으로써, 상기 검사 관련 알고리즘의 초기 버전(initial version)을 생성하는 단계;
    상기 검사 관련 알고리즘의 초기 버전을 레이블링되지 않은(unlabeled) 결함 세트에 적용하는 단계;
    상기 적용의 결과에 기초하여 상기 레이블링된 결함 세트를 변경(alter)하는 단계;
    상기 변경된 레이블링된 결함 세트로 상기 검사 관련 알고리즘을 재트레이닝함으로써 상기 검사 관련 알고리즘의 더 최근 버전(more recent version)을 생성하는 단계;
    상기 검사 관련 알고리즘의 더 최근 버전을 또 다른 레이블링되지 않은 결함 세트에 적용하는 단계;
    상기 검사 관련 알고리즘의 더 최근 버전을 적용한 결과 및 상기 검사 관련 알고리즘의 초기 버전 또는 덜 최근 버전(less recent version)을 적용한 결과 사이의 하나 이상의 차이를 결정하는 단계;
    상기 레이블링된 결함 세트를 변경하고, 상기 검사 관련 알고리즘을 재트레이닝하고, 상기 검사 관련 알고리즘의 더 최근 버전을 적용하고, 상기 하나 이상의 차이를 결정하는 것을 상기 하나 이상의 차이가 하나 이상의 기준을 만족할 때까지 반복하는 단계; 및
    상기 하나 이상의 차이가 상기 하나 이상의 기준을 만족할 때, 상기 검사 관련 알고리즘의 가장 최근 버전(most recent version)을 다른 표본들의 검사에 사용하기 위한 트레이닝된 검사 관련 알고리즘으로서 출력하는 단계를 포함하고,
    상기 초기 트레이닝을 수행하는 단계, 상기 초기 버전을 적용하는 단계, 상기 레이블링된 세트를 변경하는 단계, 상기 검사 관련 알고리즘을 재트레이닝하는 단계, 상기 더 최근 버전을 적용하는 단계, 상기 하나 이상의 차이를 결정하는 단계, 상기 반복하는 단계, 및 상기 출력하는 단계는 상기 컴퓨터 시스템에 의해 수행되는 것인 비일시적 컴퓨터 판독 가능 매체.
  20. 검사 관련 알고리즘을 트레이닝하기 위한 컴퓨터 구현 방법에 있어서,
    레이블링된(labeled) 결함 세트로 검사 관련 알고리즘의 초기 트레이닝을 수행함으로써, 상기 검사 관련 알고리즘의 초기 버전(initial version)을 생성하는 단계;
    상기 검사 관련 알고리즘의 초기 버전을 레이블링되지 않은(unlabeled) 결함 세트에 적용하는 단계;
    상기 적용의 결과에 기초하여 상기 레이블링된 결함 세트를 변경(alter)하는 단계;
    상기 변경된 레이블링된 결함 세트로 상기 검사 관련 알고리즘을 재트레이닝함으로써 상기 검사 관련 알고리즘의 더 최근 버전(more recent version)을 생성하는 단계;
    상기 검사 관련 알고리즘의 더 최근 버전을 또 다른 레이블링되지 않은 결함 세트에 적용하는 단계;
    상기 검사 관련 알고리즘의 더 최근 버전을 적용한 결과 및 상기 검사 관련 알고리즘의 초기 버전 또는 덜 최근 버전(less recent version)을 적용한 결과 사이의 하나 이상의 차이를 결정하는 단계;
    상기 레이블링된 결함 세트를 변경하고, 상기 검사 관련 알고리즘을 재트레이닝하고, 상기 검사 관련 알고리즘의 더 최근 버전을 적용하고, 상기 하나 이상의 차이를 결정하는 것을 상기 하나 이상의 차이가 하나 이상의 기준을 만족할 때까지 반복하는 단계; 및
    상기 하나 이상의 차이가 상기 하나 이상의 기준을 만족할 때, 상기 검사 관련 알고리즘의 가장 최근 버전(most recent version)을 다른 표본들의 검사에 사용하기 위한 트레이닝된 검사 관련 알고리즘으로서 출력하는 단계를 포함하고,
    상기 초기 트레이닝을 수행하는 단계, 상기 초기 버전을 적용하는 단계, 상기 레이블링된 세트를 변경하는 단계, 상기 검사 관련 알고리즘을 재트레이닝하는 단계, 상기 더 최근 버전을 적용하는 단계, 상기 하나 이상의 차이를 결정하는 단계, 상기 반복하는 단계, 및 상기 출력하는 단계는 하나 이상의 컴퓨터 시스템에 의해 수행되는 것인 컴퓨터 구현 방법.
KR1020197013523A 2016-10-17 2017-10-17 검사 관련 알고리즘을 설정하는데 사용되는 트레이닝 세트의 최적화 KR102293789B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
IN201641035490 2016-10-17
IN201641035490 2016-10-17
US201762477248P 2017-03-27 2017-03-27
US62/477,248 2017-03-27
US15/782,820 2017-10-12
US15/782,820 US10267748B2 (en) 2016-10-17 2017-10-12 Optimizing training sets used for setting up inspection-related algorithms
PCT/US2017/057029 WO2018075547A1 (en) 2016-10-17 2017-10-17 Optimizing training sets used for setting up inspection-related algorithms

Publications (2)

Publication Number Publication Date
KR20190057402A true KR20190057402A (ko) 2019-05-28
KR102293789B1 KR102293789B1 (ko) 2021-08-24

Family

ID=66656811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197013523A KR102293789B1 (ko) 2016-10-17 2017-10-17 검사 관련 알고리즘을 설정하는데 사용되는 트레이닝 세트의 최적화

Country Status (6)

Country Link
JP (1) JP6833027B2 (ko)
KR (1) KR102293789B1 (ko)
CN (1) CN109844919B (ko)
IL (1) IL265744B (ko)
SG (1) SG11201902745RA (ko)
TW (1) TWI752100B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102203222B1 (ko) * 2020-10-08 2021-01-14 (주)이랑텍 Ai 학습 기반 rf 필터 자동 튜닝 시스템 및 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10677586B2 (en) * 2018-07-27 2020-06-09 Kla-Tencor Corporation Phase revealing optical and X-ray semiconductor metrology
US11468553B2 (en) * 2018-11-02 2022-10-11 Kla Corporation System and method for determining type and size of defects on blank reticles
US20220130027A1 (en) * 2019-02-15 2022-04-28 Hitachi High-Tech Corporation Structure Estimation System and Structure Estimation Program
TWI694250B (zh) * 2019-03-20 2020-05-21 英業達股份有限公司 表面缺陷偵測系統及其方法
US11360030B2 (en) * 2020-02-04 2022-06-14 Applied Materials Isreal Ltd Selecting a coreset of potential defects for estimating expected defects of interest
WO2021250884A1 (ja) * 2020-06-12 2021-12-16 株式会社日立ハイテク 欠陥検査のための方法、システム、及びコンピューター可読媒体
CN116344378B (zh) * 2023-03-31 2024-01-23 江苏神州新能源电力有限公司 一种光伏板生产用智能检测系统及其检测方法
CN116666248B (zh) * 2023-07-26 2023-11-17 北京象帝先计算技术有限公司 测试结果异常确定方法、装置、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008082821A (ja) * 2006-09-27 2008-04-10 Hitachi High-Technologies Corp 欠陥分類方法及びその装置並びに欠陥検査装置
US20150098655A1 (en) * 2013-10-08 2015-04-09 National Tsing Hua University Method of Defect Image Classification through Integrating Image Analysis and Data Mining
KR20170136566A (ko) * 2015-04-03 2017-12-11 케이엘에이-텐코 코포레이션 광학 다이 대 데이터베이스 검사

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7061601B2 (en) * 1999-07-02 2006-06-13 Kla-Tencor Technologies Corporation System and method for double sided optical inspection of thin film disks or wafers
US10043264B2 (en) * 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US8948494B2 (en) * 2012-11-12 2015-02-03 Kla-Tencor Corp. Unbiased wafer defect samples
US9518932B2 (en) * 2013-11-06 2016-12-13 Kla-Tencor Corp. Metrology optimized inspection
US9613411B2 (en) * 2014-03-17 2017-04-04 Kla-Tencor Corp. Creating defect classifiers and nuisance filters
US9286675B1 (en) * 2014-10-23 2016-03-15 Applied Materials Israel Ltd. Iterative defect filtering process
CN106409711B (zh) * 2016-09-12 2019-03-12 佛山市南海区广工大数控装备协同创新研究院 一种太阳能硅晶片缺陷检测系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008082821A (ja) * 2006-09-27 2008-04-10 Hitachi High-Technologies Corp 欠陥分類方法及びその装置並びに欠陥検査装置
US20150098655A1 (en) * 2013-10-08 2015-04-09 National Tsing Hua University Method of Defect Image Classification through Integrating Image Analysis and Data Mining
KR20170136566A (ko) * 2015-04-03 2017-12-11 케이엘에이-텐코 코포레이션 광학 다이 대 데이터베이스 검사

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102203222B1 (ko) * 2020-10-08 2021-01-14 (주)이랑텍 Ai 학습 기반 rf 필터 자동 튜닝 시스템 및 방법

Also Published As

Publication number Publication date
IL265744B (en) 2021-06-30
TW201825883A (zh) 2018-07-16
KR102293789B1 (ko) 2021-08-24
JP2020500422A (ja) 2020-01-09
TWI752100B (zh) 2022-01-11
SG11201902745RA (en) 2019-05-30
JP6833027B2 (ja) 2021-02-24
IL265744A (en) 2019-06-30
CN109844919B (zh) 2020-12-11
CN109844919A (zh) 2019-06-04

Similar Documents

Publication Publication Date Title
US10267748B2 (en) Optimizing training sets used for setting up inspection-related algorithms
KR102293789B1 (ko) 검사 관련 알고리즘을 설정하는데 사용되는 트레이닝 세트의 최적화
JP6490211B2 (ja) ウェハ欠陥発見
US10964013B2 (en) System, method for training and applying defect classifiers in wafers having deeply stacked layers
KR102472309B1 (ko) 검사를 위한 모드 선택
US9601393B2 (en) Selecting one or more parameters for inspection of a wafer
US9293298B2 (en) Defect discovery and inspection sensitivity optimization using automated classification of corresponding electron beam images
KR102330733B1 (ko) 적응형 뉴슨스 필터
KR102576881B1 (ko) 설계 및 잡음 기반 케어 영역들
US10930597B2 (en) Die screening using inline defect information
US9891538B2 (en) Adaptive sampling for process window determination
KR102629852B1 (ko) 다중-모드 검사를 위한 통계적 학습-기반 모드 선택
KR102557194B1 (ko) 검사를 위한 결함 후보 생성

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant