KR102137184B1 - 자동 및 수동 결함 분류의 통합 - Google Patents

자동 및 수동 결함 분류의 통합 Download PDF

Info

Publication number
KR102137184B1
KR102137184B1 KR1020130043519A KR20130043519A KR102137184B1 KR 102137184 B1 KR102137184 B1 KR 102137184B1 KR 1020130043519 A KR1020130043519 A KR 1020130043519A KR 20130043519 A KR20130043519 A KR 20130043519A KR 102137184 B1 KR102137184 B1 KR 102137184B1
Authority
KR
South Korea
Prior art keywords
defect
defects
class
classification
reliability
Prior art date
Application number
KR1020130043519A
Other languages
English (en)
Other versions
KR20130118276A (ko
Inventor
가디 그린베르그
이단 카이제르만
에프라트 로젠만
Original Assignee
어플라이드 머티리얼즈 이스라엘 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어플라이드 머티리얼즈 이스라엘 리미티드 filed Critical 어플라이드 머티리얼즈 이스라엘 리미티드
Publication of KR20130118276A publication Critical patent/KR20130118276A/ko
Application granted granted Critical
Publication of KR102137184B1 publication Critical patent/KR102137184B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

결함 분류 방법은, 다차원 피쳐 공간(feature space)에서의 분류 규칙들에 관한 결함 클래스들의 정의들을 저장하는 단계를 포함한다. 검사중인 하나 또는 둘 이상의 샘플들에서 검출되는 결함들과 연관된 검사 데이터가 수신된다. 상기 정의들을 기초로 상기 검사 데이터에 대해 자동 분류기를 적용함으로써 복수의 제 1 분류 결과들이 생성되며, 상기 복수의 제 1 분류 결과들은 결함에 대한 클래스 라벨 및 대응하는 신뢰성 레벨(confidence level)을 포함한다. 결함에 대한 신뢰성 레벨이 미리 결정된 신뢰성 임계치 아래인 것으로 결정될 때, 상기 결함에 대해 적어도 하나의 검사 방식(inspection modality)을 적용함으로써 복수의 제 2 분류 결과들이 생성된다. 상기 복수의 제 1 분류 결과들 및 상기 복수의 제 2 분류 결과들을 결합함으로써, 상기 결함 클래스들 전체에 걸친 상기 결함들의 분포를 포함하는 보고서(report)가 생성된다.

Description

자동 및 수동 결함 분류의 통합{INTEGRATION OF AUTOMATIC AND MANUAL DEFECT CLASSIFICATION}
삭제
삭제
본 발명의 실시예들은 일반적으로 자동화된 검사에 관한 것으로서, 특히 제조 결함들을 분석하기 위한 방법들 및 시스템들에 관한 것이다.
자동 결함 분류(ADC) 기술들은 반도체 산업에서 패턴화된 웨이퍼들에 대한 결함들의 검사 및 측정에 널리 사용된다. ADC 기술들은 결함들의 존재를 검출할 뿐만 아니라 제조 공정에 대한 더 상세한 피드백을 제공하고 인간 검사자들에 대한 부하를 감소시키기 위해서 결함들을 자동적으로 유형별로 분류한다. ADC 기술들은, 예를 들어, 마이크로회로 패턴 자체에서의 불균일들(irregularities)과 연관된 결함들 및 웨이퍼 표면상의 미립자 오염물들로부터 발생하는 결함들의 유형들 중에서 구별하는데 사용되고, 그리고 또한 불균일들과 입자들의 특정 유형들을 식별할 수 있다.
ADC를 위한 다양한 방법들이 특허 문헌에 기술되어왔다. 예를 들어, 미국 특허 제 6,256,093 호는 스캔된 웨이퍼에서의 온-더-플라이(on-the-fly) ADC를 기술한다. 광원은 웨이퍼상의 조명 스폿(illuminating spot)을 생성하도록 스캔된 웨이퍼를 조명(illuminate)한다. 스폿으로부터 산란된(scattered) 광은 2개 이상의 이격된 검출기들에 의해 감지되고, 웨이퍼에서의 결함들을 검출하고 결함들을 별개의 결함 유형들로 분류하도록 분석된다.
또 다른 예로서, 미국 특허 제 6,922,482 호는, 경계선(boundary) 및 토포그래픽(topographical) 정보를 이용하는 핵심(core) 분류기를 사용하여, 반도체 웨이퍼의 표면상의 결함을 복수의 핵심 클래스들(core classes) 중 하나로 자동적으로 분류하는 것을 기술한다. 그런 다음, 결함은, 핵심 클래스와 연관되고 오직 제한된 개수의 관련된 핵심 클래스들로부터 결함들을 분류하도록 트레이닝된(trained) 특정 적응성(adaptive) 분류기를 사용하여 하위클래스(subclass)로 더 분류된다. 핵심 분류기 또는 특정 적응성 분류기들에 의해서 분류될 수 없는 결함들은 전체(full) 분류기에 의해서 분류된다.
본 발명의 실시예들은 검사 데이터에 기초로 결함들의 자동화된 분류를 위한 개선된 방법들, 시스템들 및 소프트웨어를 제공한다. 예시적인 컴퓨팅 시스템은 다차원 피쳐 공간(feature space)에서의 복수의 분류 규칙들에 관한 복수의 결함 클래스들의 복수의 정의들을 저장한다. 검사중인 하나 또는 둘 이상의 샘플들에서 검출되는 복수의 결함들에 대해 검사 데이터가 수신된다. 컴퓨팅 시스템은 복수의 정의들을 기초로 검사 데이터에 대해 자동 분류기를 적용함으로써 복수의 제 1 분류 결과들을 생성하며, 복수의 제 1 분류 결과들은 복수의 결함들 중 하나의 결함에 대한 클래스 라벨 및 대응하는 신뢰성 레벨을 포함한다. 결함에 대한 신뢰성 레벨이 미리 결정된 신뢰성 임계치 아래인 것으로 결정될 때, 컴퓨터 시스템은 결함에 대해 적어도 하나의 검사 방식(inspection modality)을 적용함으로써 복수의 제 2 분류 결과들을 생성한다. 컴퓨터 시스템은 복수의 제 1 분류 결과들 및 복수의 제 2 분류 결과들을 결합함으로써 복수의 클래스들 전체에 걸친 복수의 결함들의 분포를 포함하는 보고서(report)를 생성한다.
일 실시예에서, 컴퓨터 시스템은 컴퓨터 시스템의 조작자로부터 복수의 성능 측정들로부터 선택된 분류 성능 측정(classification performance measure)을 수신하고, 이러한 분류 성능 측정을 기초로 신뢰성 임계치를 결정한다. 일 실시예에서, 복수의 측정들은 최대 리젝션 비율(rejection rate)과 목표 순도 레벨(target purity level) 중 적어도 하나를 포함한다.
일 실시예에서, 복수의 결함 클래스들의 복수의 정의들은 파라미터를 갖는 커널 함수(kernel function)를 포함한다. 일 실시예에서, 검사 데이터에 대해 자동 분류기를 적용하는 것은, 신뢰성 임계치를 기초로 복수의 결함 클래스들에 대한 파라미터 값을 선택하는 것을 포함한다.
일 실시예에서, 컴퓨터 시스템은, 복수의 결함 클래스들 중 하나의 결함 클래스에 대해 복수의 결함들 중 각각의 결함을 할당하도록 검사 데이터에 대해 멀티 클래스 분류기를 적용함으로써 그리고 복수의 결함 클래스들 중 각각과 연관된 결함을 식별하기 위해 검사 데이터에 대해 적어도 하나의 단일-클래스 분류기를 적용함으로써, 검사 데이터에 대해 자동 분류기를 적용하며, 결함 클래스 내에 있지 않은 결함은 알려지지 않은 결함(unknown defect)으로서 식별된다.
일 실시예에서, 복수의 결함들은 알려지지 않은 결함을 적어도 포함한다.
일 실시예에서, 컴퓨터 시스템은 트레이닝 데이터(training data)에 대해 자동 분류기를 적용함으로써 피쳐 공간에서의 복수의 분류 규칙들을 정의한다.
일 실시예에서, 컴퓨터 시스템은 검사 방식 또는 다른 분류 방식에 의해 제공되는 복수의 제 2 분류 결과들을 사용하여 자동 분류기를 개선(refine)한다.
일 실시예에서, 컴퓨터 시스템은 인간 검사자에 의해 제공되는 추가의 정보를 통합함으로써 자동 분류기를 개선한다.
일 실시예에서, 컴퓨터 시스템은 다른 분류 절차에 의해 제공되는 추가의 정보를 통합함으로써 자동 분류기를 개선한다.
일 실시예에서, 컴퓨터 시스템은, 자동 분류를 위한 복수의 결함 클래스들의 그룹을 선택하고 그리고 상기 그룹 내에 있지 않은 하나 또는 둘 이상의 결함 클래스들을 인간 검사자에게 제공함으로써, 복수의 정의들을 저장하며; 그리고 자동 분류기를 개선하는 것은 제 2 분류 결과들을 기초로 자동 분류를 위한 그룹에 복수의 결함 클래스들 중 하나 또는 둘 이상의 결함 클래스들을 추가하는 것을 포함한다.
일 실시예에서, 컴퓨터 시스템은, 복수의 샘플들의 복수의 이미지들을 수신하고 복수의 이미지들을 처리함으로써, 복수의 결함들의 복수의 피쳐 값들을 추출한다.
일 실시예에서, 복수의 샘플들은 복수의 반도체 웨이퍼들을 포함하고, 복수의 이미지들은 주사형 전자 현미경(SEM)에 의해 캡쳐된다.
추가적인 실시예들에서, 상기 기술된 실시예들의 동작들을 수행하기 위한 방법들이 또한 구현된다. 부가적으로, 본 발명의 실시예들에서, 비-일시적인(non-transitory) 컴퓨터 판독가능한 저장 매체는 상기 기술된 실시예들의 동작들을 수행하기 위한 방법들을 저장한다.
본 발명의 다양한 실시예들은 이하에 주어진 상세한 설명으로부터 그리고 본 발명의 다양한 실시예들의 첨부된 도면들로부터 보다 충분하게 이해될 것이다.
도 1은 본 발명의 일 실시예에 따른 결함 검사 및 분류 시스템의 예시적인 개략도이다.
도 2는 본 발명의 일 실시예에 따른, 상이한 결함 클래스들에 속하는 검사 피쳐 값들을 포함하는 피쳐 공간의 개략적 표현이다.
도 3a는 본 발명의 일 실시예에 따른 자동화된 결함 분류 시스템의 블록도이다.
도 3b는 본 발명의 일 실시예에 따른 자동 결함 분류기의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 피쳐 공간 내의 신뢰성 임계치들의 예시적인 개략적 표현이다.
도 5는 본 발명의 일 실시예에 따른, 리젝션 비율의 함수로서의 분류 순도의 예시적인 개략적 그래프이다.
도 6은 본 발명의 일 실시예에 따른 단일-클래스 분류기를 도시하는 피쳐 초공간(hyperspace)의 예시적인 개략적 표현이다.
도 7은 본 발명의 일 실시예에 따라 분류기 커널 파라미터들을 설정하기 위한 방법을 도시하는 흐름도이다.
도 8은 본원에서 기술되는 동작들 중 하나 또는 둘 이상을 수행할 수 있는 예시적인 컴퓨터 시스템의 블록도이다.
자동 결함 분류(ADC; automatic defect classification) 시스템들은 일반적으로, 전문 인력(human expert)에 의해 사전-분류된 결함들의 콜렉션(collection)을 포함하는 트레이닝 데이터의 세트를 이용하여 교정(calibrate)된다. ADC 시스템은 다차원 피쳐 공간에서 각각의 결함 클래스와 연관된 피쳐 값들의 함수들로서 정의되는 분류 규칙들을 설정하기 위해 트레이닝 데이터를 사용한다. 다차원 피쳐 공간은 또한, 분류가 3개 보다 많은 피쳐들을 수반하는 경우, 초공간으로서 지칭될 수 있다. 그런 다음, 대부분의 기존의 ADC 시스템들에서, 이러한 설정들은 정확하게 분류된 모든 결함들의 비율로서 정의되는 이들의 정확도를 최적화하도록 테스트 및 조정된다.
그러나, 수많은 ADC 애플리케이션들에서, 분류의 순도가 시스템 동작의 더욱 중요한(meaningful) 측정일 수 있다. 분류의 순도는 정확하게 분류된 나머지 결함들(예를 들어, 분류가능하고 리젝트(reject)되지 않은 것으로 ADC 시스템에 의해 발견된 결함들)의 비율일 수 있다. 시스템 조작자는 원하는 순도 및/또는 특정의 최대 리젝션 비율과 같은 분류 성능 측정을 특정할 수 있다. 분류 성능 측정은, ADC 시스템이 신뢰성을 가지고 분류하기가 불가능하여 이에 따라 전문 인력(예를 들어, 시스템 조작자)에 의한 분류를 위해 되돌려지는(return), 결함들의 비율일 수 있다. ADC 시스템에 의해 리젝트되는 결함들이 항상 어느 정도 비율로 존재하게 될 가능성이 있기 때문에, 분류의 순도가 조작자에게 가장 중요할 수 있다.
분류의 순도는 다양한 유형들의 분류 불확실성에 의해 영향을 받을 수 있다. 일부 경우들에서, 결함과 연관된 피쳐 값들은 2개의(또는 그 보다 많은) 상이한 결함 클래스들 사이의 중첩 영역 내에 있을 수 있다. 일부 경우들에서, 결함의 피쳐 값들은 주어진 결함 클래스와 연관된 범위의 외부 경계(outer border)들에 놓일 수 있다. 2010년 7월 27일자로 출원된 미국 특허 출원 제12/844,724호는, 멀티-클래스 분류기들 및 단일-클래스 분류기들 모두를 포함하는 복수의 상이한 분류기들을 검사 데이터에 적용함으로써 다양한 유형들의 분류 불확실성을 해소하는(address) ADC 시스템을 설명한다. 이 시스템은 분류의 순도를 최적화하도록 분류기들의 파라미터들이 트레이닝되고 조정될 수 있게 한다.
본 발명의 실시예들은 멀티-클래스 분류기 및 단일-클래스 분류기를 이용하는 ADC 시스템을 제공한다. 멀티-클래스 분류기는 복수의 결함 클래스들 사이에서 다차원 피쳐 공간을 분할하고(partition), 피쳐 공간 내의 자신의 위치에 따라 클래스들 중 하나에 각각의 결함을 할당한다. 멀티-클래스 분류기는 클래스들 사이의 중첩 영역들에 있는 결함들을 결정불가능한(non-decidable) 결함들로서 식별한다. 멀티-클래스 분류기는 신뢰성 임계치를 이용함으로써 중첩 영역들 내의 결함들을 식별할 수 있다. 각각의 결함 클래스에 대해, 단일-클래스 분류기는 결함 클래스에 속하는 결함들 및 클래스 내에 있지 않은 결함들을 식별하기 위해 클래스-특정 규칙들을 적용한다. 클래스 내에 있지 않은 결함들은 그 클래스에 대한 신뢰성 임계치를 이용하여 식별될 수 있고, 알려지지 않은 결함들로서 식별될 수 있다. 단일-클래스 및 멀티-클래스 분류기들은 높은 순도로 결함들을 분류하는 데에 함께 이용된다. 상이한 클래스들의 외부 경계들 및 중첩 영역들의 범위(extent)는, 미리정의된 임계치 보다 크지 않은 리젝션 비율을 유지하면서 순도를 최대화하기 위해, 가변 신뢰성 임계치들에 의해 조정된다.
(알려진 결함과 알려지지 않은 결함을 구별하기 위한) 단일-클래스 분류기들 및 (결정가능한 결함과 결정불가능한 결함들을 구별하기 위한) 멀티-클래스 분류기에 대한 신뢰성 임계치들은, 인간 조작자에 의해 수동으로 사전-분류된 결함들의 세트를 이용하여 트레이닝 프로세스 동안 조정될 수 있다. 트레이닝 프로세스의 결과는 각각의 결함 클래스의 피쳐 공간 내에 경계선(boundary)들을 정의하는 분류 규칙들(또한, 리젝션 규칙들이라고도 지칭됨)의 세트일 수 있다. 분류 규칙들의 세트는 클래스를 특징화하는 검사 피쳐 값들의 각각의 범위를 정의할 수 있다. 또한, 분류 규칙들은, 결함의 단일-클래스 또는 멀티-클래스 분류 각각에 연관된 신뢰성의 레벨을 피쳐 공간 내에서의 결함의 위치의 함수로서 부여하는 신뢰성 측정을 제공한다.
일 실시예에서, 각각의 단일-클래스 분류기는, 클래스에 의해 점유되는 피쳐 공간 내의 영역을 정의하는 커널 함수에 의해 정의된다. 영역 내의 결함들은 클래스에 속하는 것으로서 분류될 수 있고, 영역 외부의 결함들은 알려지지 않은 것으로서 분류될 수 있다. 파라미터는 피쳐 공간 내에서의 영역의 형상을 정의할 수 있다. 트레이닝 프로세스 동안, 복수의 영역 윤곽(contour)들이 평가될 수 있고, 각각의 신뢰성 임계치에 대한 최적의 형상이 발견될 수 있다.
다음으로, 그 분류가 알려지지 않은 실제 생산 결함들(production defects)의 분류시에, 원하는 레벨의 성능을 달성하기 위해 각각의 분류기에 대한 신뢰성 임계치들이 선택될 수 있다. 그 분류가 알려지지 않은 실제 생산 결함들의 분류는 제 1 분류 결과들을 초래할 수 있다.
본 발명의 실시예들에서, 자동 분류기들에 의해 리젝트된 (예를 들어, 결정불가능한 것으로 또는 알려지지 않은 것으로 분류된) 결함들은, 결함 클래스에 대한 분류를 위해, 제 1 분류 결과들을 발생시키기 위해 이용되는 것과는 상이한, 하나 또는 둘 이상의 다른 검사 방식들에 전달(pass)되어, 결과적으로 제 2 분류 결과들을 초래한다. 일 실시예에서, 검사 방식은 리젝트된 결함들을 적절한 결함 클래스들에 할당하는 인간 검사자이다. 대안적인 실시예에서, 리젝트된 결함들은, 결함들의 위치들에 및/또는 이러한 위치들 근처에 상주하는 물질들에 대한 추가적인 정보를 제공하는 추가적인 검사 데이터(예를 들어, X-레이 검사 데이터 등)에 기초하여 분류된다. 리젝트된 결함들에 대한 업데이트된 결함 할당들(제 2 분류 결과들)은 ADC 시스템에 다시 전달될 수 있다. 일 실시예에서, ADC 시스템은 자동적으로-분류된 결함들(제 1 분류 결과들)과 업데이트된 결함 할당들(제 2 분류 결과들)을 결합된 데이터 세트로 통합한다. 이에 따라, ADC 시스템은 샘플들의 세트 내의 결함 분포의 완전하고 단일화된 보고서를 제시할 수 있다. 자동 분류 결과들의 높은 순도 때문에, 이러한 단일화된 보고서는 시스템 조작자에게 결함 분포의 가능한 가장 포괄적이고 정확한 뷰(view)를 제공할 수 있다. 이러한 종류의 뷰는, 예를 들어 반도체 디바이스 제조와 같은 프로세스 제어 애플리케이션들에서 특히 중요하다.
몇몇 실시예들에서, 제 2 분류 결과들은 대응하는 결함 이미지들과 함께 자동 분류기들을 개선하는 데에 이용될 수 있다. 예를 들어, 사전-분류된 트레이닝 세트에서 일반적으로 발생하는 결함들에 대한 멀티-클래스 분류기들은 통상적으로 높은 정확도 및 순도를 가질 것이지만, 덜 일반적인 결함 클래스들에 대한 분류기들은 더 낮은 정확도 및 더 높은 리젝션 비율들을 가질 것이다(왜냐하면 이러한 클래스들은 이들의 낮은 결함 카운트로 인해 트레이닝 데이터에서 잘 특징화되지 않기 때문이다). 제 2 분류 결과들은 이러한 덜 일반적인 결함 클래스들에 대해 분류기들을 개선하는 데에 특히 유용할 수 있다. 덜 일반적인 결함 클래스들에 대해 충분한 결함 카운트가 누적되면, 이러한 덜 일반적인 결함 클래스들은 트레이닝 세트에 부가될 수 있으며, 결과적으로, 덜 일반적인 결함 클래스들에 대한 정확도 및 순도가 개선되게 한다. 덜 일반적인 결함 클래스들의 부가의 결과로서, 각각의 결함 클래스에 대한 신뢰성 레벨이 또한 증가할 수 있고, 궁극적으로, 리젝트되는 결함들의 개수를 감소시킬 수 있다.
개시된 실시예들이 반도체 웨이퍼들 내의 결함들의 검출에 특히 관련되기는 하지만, 본 발명의 원리들은 다른 유형들의 이미지 피쳐들의 자동화된 분석 및 분류에 유사하게 적용될 수 있다. 또한, 이러한 실시예들이 특정의 구체적인 유형들 및 조합들의 분류기들에 대해 만들어지기는(built) 했지만, 본 발명의 다른 실시예들에서의 검사 시스템들은 당업계에 공지되어 있는 다른 유형들의 분류기들을 이용할 수 있다. 특히, 상이한 검사 방식들이 이러한 시스템에서 통합되는 원리들은 많은 상이한 자동 및 수동 분류 기술들에 대해 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 자동화된 결함 검사 및 분류를 위한 시스템(20)의 예시적인 개략도이다. 패턴화된 반도체 웨이퍼(22)와 같은 샘플이 검사 머신(24) 내에 삽입된다. 이 머신은 예를 들어, 주사 전자 현미경(SEM) 또는 광 검사 디바이스 또는 해당 기술분야에 공지된 임의의 다른 적당한 종류의 검사 장치를 포함할 수 있다. 머신(24)은 통상적으로 웨이퍼(22)의 표면을 검토(review)하고, 검토 결과들을 감지 및 프로세싱하여, 예를 들어 웨이퍼(22) 상의 결함들의 이미지들을 포함하는 검사 데이터를 출력한다. 일 실시예에서, 검사 데이터는 웨이퍼 상에서 발견된 결함들의 리스트, 그리고 각각의 결함의 위치, 각각의 결함과 연관된 검사 피쳐들의 값들을 포함한다. 검사 피쳐들은 예를 들어, 결함의 크기, 형상, 산란 강도(scattering intensity), 방향성(directionality) 및/또는 스펙트럼 품질들 뿐만 아니라, 결함 콘텍스트(defect context) 및/또는 해당 기술분야에 공지된 임의의 다른 적당한 피쳐들을 포함할 수 있다.
SEM 이미지들 및 연관된 메타데이터를 지칭하는데 본 실시예에서 "검사 데이터"라는 용어가 사용되지만, 이 용어는 데이터를 수집하는데 사용되는 수단과 관계없이, 그리고 데이터가 전체 웨이퍼에 걸쳐 캡쳐되는지 아니면 개개의 의심 위치들 주변에서와 같이 부분들에서 캡쳐되는지와 관계없이, 결함들의 피쳐들을 식별하기 위해 수집되고 프로세싱될 수 있는 임의의 그리고 모든 종류들의 기술(descriptive) 및 진단(diagnostic) 데이터를 지칭하도록 더 넓게 이해되어야 한다. 몇몇 실시예들은 웨이퍼를 스캔하고 의심되는 결함들의 위치들의 리스트를 제공하는 검사 시스템에 의해 식별되는 결함들의 분석에 적용 가능하다. 다른 실시예들은 검사 도구에 의해 제공되었던 의심되는 결함들의 위치들에 기초하여 검토 도구에 의해 재검출되는 결함들의 분석에 적용 가능하다. 본 발명은 검사 데이터가 생성되게 하는 임의의 특정 기술로 한정되는 것은 아니다. 따라서, 반도체 애플리케이션들에 대해, 본 발명의 실시예들은 UVision™ 시스템과 같은 광 검사 시스템, SEMVision™ 시스템과 같은 검토 시스템(둘 모두 Applied Materials Inc.로부터 상업적으로 입수가능함)에 의해, 또는 해당 기술분야에 공지된 임의의 다른 종류의 검사 시스템 또는 방식에 의해 생성되는 데이터의 분석에 적용될 수 있다.
ADC 머신(26)은 검사 머신(24)에 의해 출력되는 검사 데이터를 수신하고 프로세싱한다. 검사 머신(24)이 웨이퍼(22)의 이미지들로부터 모든 관련 검사 피쳐 값들을 추출하지 못한다면, ADC 머신(26)은 이러한 이미지 프로세싱 기능들을 수행할 수 있다. ADC 머신(26)은 도 1에서 검사 머신 출력에 직접 연결되어 있는 것으로 도시되어 있지만, 몇몇 실시예들에서, ADC 머신(26)은 사전에 획득되어 저장된 검사 데이터에 대해 동작될 수 있다. 대안적인 실시예들에서는, ADC 머신(26)의 기능이 검사 머신(24)에 통합될 수 있다.
ADC 머신(26)은, 디스플레이(32) 및 입력 디바이스(34)를 포함하는 사용자 인터페이스와 함께, 결함 정보 및 분류 파라미터들을 보유하기 위한 메모리(30)를 갖는 프로세서(28)를 포함하는 범용 컴퓨터일 수 있다. ADC 머신(26)의 기능들을 구현하는 컴퓨터는 ADC 기능들에 전용화될 수 있거나, 또는 그 컴퓨터는 부가적인 컴퓨팅 기능들을 또한 수행할 수 있다. 일 실시예에서, 본 명세서에서 설명된 ADC 기능들 중 적어도 몇몇은 전용 또는 프로그램 가능한 하드웨어 로직에 의해 수행된다.
ADC 머신(26)은, 상기 정의된, 단일-클래스 및 멀티-클래스 분류기들 모두를 포함하는 복수의 분류기들을 실행시킬 수 있다. 후속하는 실시예들은, 예시 및 명확성을 위해, 머신(26) 및 시스템(20)의 다른 요소(element)들을 참조하여 설명될 것이지만, 이러한 실시예들의 원리들은 결함들의 복수의 클래스들 또는 다른 알려지지 않은 피쳐들을 핸들링(handle)할 수 있는 임의의 분류 시스템에서 유사하게 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른, 결함들(42, 44, 50, 51, 56)의 세트가 매핑(map)되는 피쳐 공간(40)의 예시적인 개략적 표현이다. 피쳐 공간(40)이 2차원인 것으로 표현되어 있지만, 본 명세서에 설명되는 분류 프로세스들은 일반적으로 더 높은 차원의 공간들에서 수행된다. 도 2의 결함들은 2개의 상이한 클래스들에 속하는 것으로 가정되는데, 이러한 클래스들 중 하나는 결함들(42)과 연관되고(하기에서 "Class I"로 지칭될 것임), 다른 하나는 결함들(44)과 연관된다(하기에서 "Class II"로 지칭될 것임). 결함들(42)은 경계(52)에 의해 피쳐 공간(40)에 구속되고(bound), 결함들(44)은 경계(54)에 의해 피쳐 공간(40)에 구속된다. 경계들은 중첩될 수 있다.
ADC 머신은 결함들을 분류하기 위한 2가지 유형들의 분류기들: 멀티-클래스 분류기 및 적어도 하나의 단일-클래스 분류기를 적용할 수 있다. 멀티-클래스 분류기는 Class I과 Class II를 구별한다. 일 실시예에서, 멀티-클래스 분류기는, 두 클래스들과 연관된 영역들 사이의 경계선(46)을 정의하는 바이너리(binary) 분류기이다. 몇몇 실시예들에서, ADC 머신은, 복수의 바이너리 분류기들(이들 각각은 클래스들의 상이한 쌍에 대응함)을 중첩시킴으로써 그리고 복수의 바이너리 분류기들로부터 최대의 포지티브 보트(positive vote)들을 수신하는 클래스에 각각의 결함을 할당함으로써, 멀티-클래스 분류를 수행한다. 일단 멀티-클래스 분류기에 의해 결함들이 분류되면, 경계들(52 및 54)에 의해 표현되는 단일-클래스 분류기들은, 경계들 외부의 결함들을 "알려지지 않은 것"으로서 리젝트하면서, 각각의 클래스에 확실하게 할당될 수 있는 결함들을 식별한다. 이러한 단일-클래스 분류기들은 미국 특허 출원 제12/844,724호에서 보다 상세하게 설명되며, 도 3과 관련하여 하기에서 더 설명된다.
몇몇 실시예들에서, ADC 머신의 시스템 조작자는, 결함 클래스들과 연관된 피쳐 공간(40) 내의 영역들의 경계선들의 위치들을 결정하는 신뢰성 임계치들을 제공한다. 멀티-클래스 분류를 위한 신뢰성 임계치를 설정하는 것은 경계선(46)의 양측(either side)에 경계들(48)을 배치하는 것과 동등할 수 있다. 몇몇 실시예들에서, 신뢰성 임계치가 더 높을수록, 경계들(48)은 더 멀리 떨어질 것이다. ADC 머신은, 경계들(48) 사이에 위치하지만 경계(52 또는 54) 내에 있는 결함들(51)을 "결정불가능한 것"으로서 리젝트할 수 있는데, 왜냐하면 ADC 머신은 이러한 결함들을 요구되는 레벨의 신뢰성을 가지고 하나의 클래스 또는 다른 클래스에 자동적으로 할당하는 것이 불가능할 수 있기 때문이다. 일 실시예에서, 결정불가능한 결함들은 분류를 위해 시스템 조작자와 같은 인간 검사자에게 제공된다. 일 실시예에서, 결정불가능한 결함들은 분류를 위해 이전의 분류기들에 대해 이용가능하지 않은 새로운 지식을 부가하는 방식에 제공된다.
몇몇 실시예들에서, 신뢰성 임계치들은 단일-클래스 분류기들의 경계의 형상을 제어한다. 형상은 경계의 기하학적인 형태를 나타낼 수 있으며, 또한 경계의 범위(extent)를 나타낼 수도 있다. 형상은 단일-클래스 분류기들을 구현하는 데에 사용되는 커널 함수의 파라미터와 연관될 수 있다. 신뢰성 임계치의 각각의 값에 대해, 도 6과 관련하여 하기에서 보다 상세히 설명되는 바와 같이, ADC 머신은 파라미터의 최적의 값을 선택한다. 몇몇 실시예들에서, 신뢰성 임계치가 증가함에 따라 경계의 범위는 축소되고, 상이한 커널 파라미터 값들이 선택됨에 따라 경계의 기하학적인 형태 또한 달라질 수 있다.
도 2를 다시 참조하면, 결함들(56)이 멀티-클래스 분류기에 의해 결정되었을 수도 있기는 하지만, 결함들(56)은 경계들(52 및 54) 외부에 있으며, 이에 따라 "알려지지 않은" 결함들로서 분류될 수 있다. 모두 경계들(52 및 54) 외부에 있으며 경계들(48) 사이에 있는 결함들(50) 또한 "알려지지 않은 것"으로 고려되는데, 왜냐하면 결함들(50)은 경계들(52 및 54) 외부에 있기 때문이다. 몇몇 실시예들에서, 더 낮은 신뢰성 임계치를 설정하게 되면, 결함들(50) 및/또는 결함들(56)을 포함하기 위해 경계(52 및/또는 54)를 충분히 확장시킬 수 있으며, 결과적으로 ADC 머신에 의한 더 적은 결함들의 리젝션을 초래할 수 있다. 하지만, 더 낮은 신뢰성 레벨들을 설정함으로써, ADC 머신에 의해 더 많은 분류 에러들이 생성될 수 있으며, 따라서 분류의 순도를 감소시킬 수 있다. 몇몇 실시예들에서, 신뢰성 임계치를 증가시키게 되면, 분류의 순도를 높일 수 있기는 하지만, 더 높은 리젝션 비율을 초래할 수 있다(ADC 머신에 의해 더 많은 결함들이 알려지지 않은 것으로서 리젝트될 것이다).
도 3a는 본 발명의 일 실시예에 따른 ADC 머신(예를 들어, 도 1의 ADC 머신(26))의 기능 요소들을 도시하는 블록도이다. 몇몇 실시예들에서, 자동 프로세싱 구성요소들(components)(60)은 도 1의 프로세서(28)에 의해 실행되는데 반해, 인간 검사자(70)는 검사 단말(terminal)(68)을 통해 도 1의 ADC 머신(26)과 상호작용한다. 자동 프로세싱 구성요소들(60)은, 구성요소들 중 적어도 몇몇이 하드웨어 및 소프트웨어 요소들의 결합으로서 또는 하드웨어 로직으로 대안적으로 구현될 수 있기는 하지만, 예를 들어 소프트웨어 모듈들로서 구현될 수 있다.
몇몇 실시예들에서, 프로세서(예를 들어, 도 1의 프로세서(28))에 의해, 이미지 프로세싱 동작들이 검사 머신(예를 들어, 도 1의 검사 머신(24))에 의해 캡쳐된 각각의 결함 이미지에 적용된다. 이미지 프로세싱 동작들은, 형상, 텍스쳐 및 컨텍스츄얼(contextual) 피쳐들과 같은 결함 이미지에 대한 피쳐 값들의 벡터를 추출할 수 있다. 자동 분류기(61)는, 클래스 라벨과 연관된 신뢰성 값과 함께, 클래스 라벨을 각각의 결함에 할당할 수 있다. 신뢰성 값은, 할당된 클래스에 결함이 실질적으로 속할 가능성을 나타낼 수 있다.
비교기(66)는 신뢰성 값을 신뢰성 임계치와 비교할 수 있다. 일 실시예에서, 신뢰성 임계치는 ADC 머신의 조작자에 의해 제공된다. 대안적인 실시예에서, 신뢰성 임계치는 목표 순도 및/또는 최대 리젝션 비율과 같이 조작자에 의해 특정되는 하나 또는 둘 이상의 분류 성능 측정들에 기초하여 ADC 머신에 의해 컴퓨팅된다. 만약 주어진 결함의 분류의 신뢰성이 신뢰성 임계치(리젝트 레벨 임계치)를 충족시킨다면, 자동 할당 모듈(71)은 분류를 정확한 것으로서 받아들일 수 있다. 일 실시예에서, 만약 분류의 신뢰성이 신뢰성 임계치를 만족시키지 않는다면, 결함은 리젝트될 수 있고, 검사자(70)에 의한 시각적 분류를 위해 단말(68)에 전달될 수 있다. 일 실시예에서, 리젝트된 결함들은 X-레이 분광학 등과 같은 부가적인 자동 분류 절차들을 사용하여 분석된다. 몇몇 실시예들에서, 신뢰성 임계치는 분류 결과들의 순도와 리젝션들의 개수 간의 균형을 달성하도록 결정된다. 비록 도 3a가 단일 리젝트 레벨 임계치를 나타내고 있지만, 대안적인 실시예들에서, 시스템 조작자는 상이한 결함 클래스들에 대해 상이한 리젝션 레벨 임계치들 또는 신뢰성 임계치들을 설정할 수 있다.
통합 로직(integration logic)(72)은 모듈(71)로부터의 자동 분류 결과들 및 단말(68)로부터의 시각적 분류의 분류 결과들 양쪽 모두를 수신할 수 있고, 통합된 보고서(74)를 생성할 수 있다. 보고서(74)는, 예를 들어, 디스플레이(32) 상에서 제시될 수 있고, 상이한 클래스들 사이의 결함들의 분포를 보여줄 수 있다. 몇몇 실시예들에서, 더 일반적인 결함 유형들에 관한 분포의 일부는 자동 분류 프로세스로부터 비롯되는 반면, 덜 일반적인 결함 유형들은 시각적으로 분류된다. 보고서(74)는, 최적의 순도 레벨과 함께, 테스트 하에 있는 샘플 또는 샘플들의 완전한 사진(picture)을 시스템 조작자에게 제공할 수 있다.
몇몇 실시예들에서, 프로세싱 검사 동안에 통합 로직(72)에 의해 수집되는 정보는 분류기(61)를 개선하는데 적용된다(도 3a에서 통합 로직(72)으로부터 분류기(61)로의 파선 화살표로 표시된 바와 같이). 예를 들어, 로직(72)은 클래스 경계들을 조정하기 위해 인간 검사자(70)에 의해 및/또는 다른 자동 분류 절차들에 의해 제공되는 분류 결과들을 통합할 수 있다. 몇몇 실시예들에서, 통합 로직(72)은 덜 일반적인 클래스에 대한 시각적인 분류 결과들을 누적시켜, 이러한 덜 일반적인 클래스에 대한 신뢰가능한 자동 분류기를 정의한다. 이러한 실시예들에서, 일단 미리 결정된 양의 시각적인 분류 결과들이 누적되면, 이러한 덜 일반적인 클래스는 분류기(61) 및 자동 할당 모듈(71)에 의해 자동적으로 핸들링되는 클래스들의 그룹에 부가된다.
도 3b는 본 발명의 일 실시예에 따른, 도 3a의 분류기(61)와 같은 분류기의 예시적인 블록도이다. 분류기는 멀티-클래스 분류기(62) 및 하나 또는 둘 이상의 단일-클래스 분류기들(64)을 포함할 수 있다. 일 실시예에서, 분류기는 ADC 시스템에서 각각의 결함 클래스에 대해 단일-클래스 분류기(64)를 포함할 수 있다. 대안적인 실시예에서, 단일-클래스 분류기(64)는 하나 보다 많은 결함 클래스에 대해 사용될 수 있다.
멀티-클래스 분류기(62)는 각각의 결함에 대한 피쳐 값들의 벡터를 프로세싱하여, 결함에 대한 결함 클래스를 선택하거나, 또는 그 결함을 결정불가능한 것 또는 알려지지 않은 것으로서 리젝트할 수 있다. 일 실시예에서, 멀티-클래스 분류기(62)는 지원 벡터 머신(support vector machine)이다. 대안적인 실시예에서, 멀티-클래스 분류기(62)는 지원 벡터 머신과 유사한 특성들을 갖는 분류기이다.
단일-클래스 분류기(64)는, 단일-클래스 분류기(64)에 의해 표현된 클래스 또는 클래스들에 대한 하나 또는 둘 이상의 리젝션 규칙들에 대하여 결함의 피쳐들을 체크할 수 있다. 단일-클래스 분류기(64)의 동작은 도 6와 관련하여 보다 상세히 설명되며, 단일-클래스 분류기(64)의 특정한 양상들은 상술된 미국 특허 출원 제 12/844,724호에서 또한 설명된다.
도 4는 본 발명의 일 실시예에 따른, 주어진 결함 클래스에 대한 경계들(84, 86, 88, 90)을 나타내는 피쳐 공간(80)의 예시적인 개략적 표현이다. 몇몇 실시예들에서, 각각의 경계(84, 86, 88, 90)는 상이한 신뢰성 임계치에 대응할 수 있다. 몇몇 실시예들에서, 각각의 경계(84, 86, 88, 90)는 상이한 리젝션 비율 또는 클래스 백분위수 통계치(class percentile statistic)에 대응할 수 있다. 예를 들어, 내부 경계(84)는 높은 신뢰성 임계치를 취함으로써 생성될 수 있어서, 경계(84) 내에 있는 결함들은 주어진 클래스에 높은 순도로 속하게 될 것이다. 이러한 예에서, 경계(84) 외부에 있는 결함들은 "알려지지 않은 것"으로서 리젝트될 것이며, 인간 검사자 또는 다른 검사 방식에 전달되는 높은 분율(fraction)의 결함들을 초래할 것이지만, 실제로 이들 "알려지지 않은" 결함들 중 다수는 주어진 클래스에 속한다. 각각의 경계(86, 88, 90)는 더 낮은 신뢰성 임계치 및 더 낮은 순도 뿐만 아니라 더 낮은 리젝션 비율에 대응할 수 있다.
도 4에 의해 표현된 분류기의 결함(82)으로의 적용은 결함(82)에 대한 특정한 신뢰성 값의 컴퓨테이션(computation)을 초래할 수 있다. 신뢰성 값은 결함(82)이 클래스에 속하는 확률에 대응할 수 있다. 경계(88)에 의해 표현된 신뢰성 임계치가 분류기에 의해 선택되면, 결함(82)은 분류기에 의해 표현된 클래스에 속하는 것으로서 리젝트될 것이다. 그러나, 경계(90)에 의해 표현된 신뢰성 임계치가 분류기에 의해 선택되면, 결함(82)은 분류기에 의해 표현된 클래스에 속하는 것으로서 받아들여질 것이다. 경계가 결함 클래스에 대한 리젝션 규칙들에 관하여 정의되는 방식은 도 6과 관련하여 더 설명된다.
도 5는 본 발명의 일 실시예에 따른, 리젝션 비율의 함수로서의 분류 순도의 예시적인 개략적 그래프이다. 몇몇 실시예들에서, 다른 분류 및 클래스 추출 측정들은 그들의 안정성 또는 신뢰성 표시들에 대한 유사한 의존성을 가질 것이다. ADC 머신은 트레이닝 데이터의 분류의 실제 결과들에 기초하여 그래프를 생성할 수 있다. 이러한 목적을 위해, ADC 머신은, 트레이닝 데이터 내의 결함들의 세트에 걸친 자동 분류 결과들을 인간 검사자에 의해 수행된 "골드(gold) 표준" (검증 세트) 시각적 분류와 비교할 수 있다. 이러한 비교는 상이한 신뢰성 임계치들(대응하는 상이한 리젝션 비율들을 가짐)에 대해 수행될 수 있다. 모든 결함들이 ADC 머신에 의해 제로 리젝션 비율로 자동적으로 분류될 때, 머신은 의문의 여지가 있는 많은 결함들을 분류하도록 요구되므로, 분류의 순도는 낮다. 그러나, 높은 리젝션 비율을 선택하는 것은 높은 순도의 분류를 제공할 수 있지만, ADC 머신에 의해 "알려지지 않은 것"으로서 분류된 결함들의 시각적 분류에서 인간 검사자에게 더 많은 양의 시간을 소비하도록 요구하는 것을 초래할 수 있다.
ADC 머신의 조작자(예를 들어, 인간 검사자)는, 원하는 순도 레벨을 제공할 리젝션 비율을 선택하기 위해 또는 특정한 리젝션 비율을 설정하는 것으로부터 초래할 분류의 순도를 평가하기 위해, 도 5에 도시된 바와 같은 그래프를 사용할 수 있다.
도 6은 본 발명의 일 실시예에 따른, ADC 머신에 의해 사용되는 단일-클래스 분류기를 도시하는 피쳐 초공간의 예시적인 개략적 표현이다. 일 실시예에서, 단일-클래스 분류기는, 해당 클래스에 대한 특정 신뢰성 레벨과 연관되는 (도 4의 경계들(84, 86, 88, 90)과 같은) 클래스 경계를 정의하는 단일-클래스 지원 벡터 머신(OCSVM)에 기초한다. 결함이 클래스 경계 내에 있으면, 그 결함은 이러한 레벨의 신뢰성으로 클래스에 속하는 것으로 고려될 수 있다. 그렇지 않으면, 결함은 알려지지 않은 것으로서 분류될 수 있다.
일 실시예에서, OCSVM은 기본적인 SVM 알고리즘의 비선형 커널-기반 버전이다. (예를 들어, 가우시안 커널과 같은) 커널은, 입력 결함 데이터를 분류기가 정의되는 고차원 공간으로 변환하는 데에 사용될 수 있다. 커널은 비선형 분리기들을 생성하지만, 커널 공간 내에서 그것은 선형 방정식을 구성한다. 구체적으로, ADC 머신은, 매핑
Figure 112013067866405-pat00073
를 사용하여, 무한 유클리드 피쳐 공간 H(힐버트 공간)에 데이터를 매핑한다. 예를 들어, 결함들 xi 및 xj에 대한 가우시안 커널 함수 K(이들의 피쳐 벡터들에 의해 표현됨)는,
Figure 112013067866405-pat00074
이도록 정의된다. 여기서,
Figure 112013067866405-pat00075
는 가변 커널 파라미터이며, 그 값은, 해당 클래스에 대응하는 피쳐 공간 내의 영역의 형상(크기 및 형태)을 결정한다. 주어진 결함 x에 대한 단일-클래스 결정값은,
Figure 112013067866405-pat00076
에 의해 주어지며, 여기서, {xi}는 트레이닝 벡터들의 세트이고,
Figure 112013067866405-pat00077
i는 라그랑지(Lagrange) 승수들이며, b는 거리 파라미터이다. 커널 함수 K를 갖는 클래스에 대해, 수학식 (2)의 값이 음이 아닌(non-negative) 결함들은 그 클래스 내에 있는 것으로 고려되지만, 값이 음인 결함들은 "알려지지 않은 것"이다. 이러한 종류의 컴퓨테이션 및 컴퓨테이션 파라미터 설정들의 세부사항들은 당업계에 알려져 있다.
도 6은 트레이닝 데이터가 초구(hypersphere)(
Figure 112013067866405-pat00004
) 상에 매핑되는 피쳐 공간(H)을 도시한다. OCSVM 알고리즘은 초평면(hyperplane)
Figure 112013067866405-pat00005
를 정의하는 바, 이는 기점(origin)(
Figure 112013067866405-pat00006
)으로부터 거리(
Figure 112013067866405-pat00007
)에서 초구의 지향 반경(directed radius)(
Figure 112013067866405-pat00008
)에 직교한다, 즉
Figure 112013067866405-pat00009
이다. 해당 클래스의 결함들(44)은 지원 벡터들을 나타내는 경계선 포인트들(100) 사이의 초구 상에 놓인다. 트레이닝 페이즈(phase) 동안, ADC 머신은 주어진 신뢰성 임계치에 대해 가장 작은 스페리컬 캡(spherical cap)(가장 작은
Figure 112013067866405-pat00010
)을 제공할 지원 벡터들을 획득할 수 있다. 이러한 동작(operation)은 거리(
Figure 112013067866405-pat00011
)를 최대화하는 것과 동등하다. OCSVM 분류기가 트레이닝된 후, "알려지지 않은" 결함(56)은 (이 경우 거리
Figure 112013067866405-pat00078
만큼) 초평면(
Figure 112013067866405-pat00012
)의 먼 측에 놓이는 것으로 발견될 것이다.
단일-클래스 분류기의 최적의 성능(즉, 주어진 리젝션 비율에서의 자동 분류 결과들의 최대의 순도)을 위해, 커널 함수의 형상은 신뢰성 임계치의 변경과 함께 변경될 수 있다. 파라미터(
Figure 112013067866405-pat00014
)의 값을 변경함으로써 달성될 수 있는 이러한 형상 변경은, 도 6에 도시된 바와 같이, 초평면(
Figure 112013067866405-pat00015
)의 배향각(
Figure 112013067866405-pat00016
)을 변경하는 것과 동등하다. 이러한 변경은 상이한 클래스 신뢰성 경계를 생성할 수 있다. 도 6은 경계선 포인트들(지원 벡터들)(100 및 104) 및 파라미터들(
Figure 112013067866405-pat00017
및
Figure 112013067866405-pat00018
)을 각각 갖는 2개의 초평면들을 예시한다. 제 2 초평면들의 배향은, 제 1 초평면에 의해 "알려지지 않은 것"으로서 리젝트될 부가적인 결함(102)을 받아들인다.
도 6에 도시된 초평면들 각각에 대한 신뢰성 임계치는 각각의 파라미터(
Figure 112013067866405-pat00019
,
Figure 112013067866405-pat00020
)에 의해 주어진다.
Figure 112013067866405-pat00021
의 주어진 값에 대해, 대응하는 커널 특성들은, 트레이닝 데이터의 세트에 걸쳐 하기의 최소화 문제를 해결(solving)함으로써 결정되며;
Figure 112013067866405-pat00079
이때, 다음의 제약을 조건으로 한다:
Figure 112013067866405-pat00080
여기서,
Figure 112013067866405-pat00024
는 트레이닝 세트의 크기(즉, 분류기를 생성하는 데에 이용되었던 사전-분류된 결함 이미지들의 개수)이고,
Figure 112013067866405-pat00025
는 각각의 결함에 대한 분류 에러의 값이다.
수학식 (3)의 문제는 라그랑지 승수들의 벡터(
Figure 112013067866405-pat00026
)에 걸쳐 최소화 문제로서 재계산(recast) 될 수 있다:
Figure 112013067866405-pat00081
이때,
Figure 112013067866405-pat00028
그리고 모든
Figure 112013067866405-pat00029
에 대해
Figure 112013067866405-pat00030
의 제약들을 조건으로 한다. 여기서,
Figure 112013067866405-pat00031
는 벡터 <1,1,1,...,1>이며,
Figure 112013067866405-pat00032
는 다음에 의해 주어지는
Figure 112013067866405-pat00033
준양정치(positive semi-definite) 행렬이다:
Figure 112013067866405-pat00082
문제 (5)의 솔루션은 신뢰성 임계치(
Figure 112013067866405-pat00035
)의 각각의 값에 대한 파라미터 분류 규칙들(동등하게는, 리젝션 규칙들로 지칭됨)의 세트이다. 이러한 규칙들은 일반적 형태:
Figure 112013067866405-pat00036
를 갖는다. ADC 머신은 커널 파라미터(
Figure 112013067866405-pat00037
)의 최적의 값을 자동적으로 선택할 수 있는데, 이는 커널 함수에 의해 주어지는 바와 같이, 클래스에 대응하는 피쳐 공간 내의 영역의 적절한 형상을 생성한다. 분류 규칙들의 파라미터들은 수학식 (2)에서 각각의 새로운 결함(
Figure 112013067866405-pat00038
)에 대해 적용된다.
도 7은 본 발명의 일 실시예에 따라 분류기 커널 파라미터들을 설정하기 위한 방법의 일 실시예의 흐름도이다. 이러한 방법은 하드웨어(회로망(circuitry), 전용 로직 등), (이를 테면, 범용 컴퓨터 시스템 또는 전용 머신 상에서 실행되는) 소프트웨어, 또는 이들 양측 모두의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행된다. 일 실시예에서, 이러한 방법은 도 1의 ADC 머신(26)에 의해 수행된다.
블록(110)에서, 프로세싱 로직은 각각의 관심있는 결함 클래스에 대한 선-분류된(pre-classified) 트레이닝 데이터의 세트를 수신하고, 커널 파라미터(예를 들어,
Figure 112013067866405-pat00039
) 및 신뢰성 임계치(예를 들어,
Figure 112013067866405-pat00040
)의 복수의 상이한 값들 각각에 대해 트레이닝 데이터에 걸쳐 방정식(예를 들어, 도 6의 문제 5)을 해결한다. 프로세싱 로직은 각각의 (
Figure 112013067866405-pat00041
,
Figure 112013067866405-pat00042
) 쌍에 대한 리젝션 비율(즉, "알려지지 않은 것"으로서 분류되는 테스트 세트 내의 결함들의 비율)을 추정한다.
블록(112)에서, 프로세싱 로직은 블록(110)의 결과들에 기초하여 각각의
Figure 112013067866405-pat00043
와 함께 이용될
Figure 112013067866405-pat00044
의 최적의 값을 선택한다.
Figure 112013067866405-pat00045
의 최적의 값은 시스템 및 애플리케이션 요건들에 따라 다양한 방식들로 정의될 수 있다. 일 실시예에서, 분류기가 트레이닝 데이터에 적용될 때
Figure 112013067866405-pat00046
의 값에 가장 가까운 실제 리젝션 비율을 제공하는
Figure 112013067866405-pat00047
의 값이 선택된다. 예를 들어,
Figure 112013067866405-pat00048
가 0.1로 설정된다면,
Figure 112013067866405-pat00049
의 최적의 값은 10% 리젝션 비율을 제공하는 값이다. 이러한 실시예에서, 이러한 정의가 특히 유용할 수 있는데, 그 이유는 상기 정의는, 시스템 조작자에게 리젝션 비율에 걸쳐 정밀 제어를 제공하고, 동시에, 분류기에 의해 받아들여지는 결함들의 분류의 순도를 최적화하기 때문이다. 몇몇 실시예들에서, 블록들(110 및 112)은
Figure 112013067866405-pat00050
의 값들의 미리결정된 세트의 각각에 대해 반복되고, 프로세싱 로직은 최적의 값을 찾을 때 까지 상이한
Figure 112013067866405-pat00051
값들에 걸쳐 서치를 수행한다.
일 실시예에서, 테스트 세트에 걸쳐 컴퓨팅된 실제 리젝션 비율이,
Figure 112013067866405-pat00052
의 최상의 선택을 위한 특정의 미리결정된 마진(margin) 보다 많게
Figure 112013067866405-pat00053
의 값과 상이하다면, 프로세싱 로직은, 해당 신뢰성 레벨(
Figure 112013067866405-pat00054
)에 대해 이러한 결함 클래스에 대한 최적의
Figure 112013067866405-pat00055
가 존재하지 않는다고 결정할 수 있다. 이러한 실시예에서, 프로세싱 로직은, 이러한 클래스에 대해 미리 정의된 특정의 리젝션 비율을 이용하지 말라는 권고를 시스템 조작자에게 제공할 수 있다. 프로세싱 로직은, 상이한 리젝션 비율(예를 들어, 하나 또는 둘 이상의 인접한 리젝션 비율들)을 선택하라는 권고를 시스템 조작자에게 추가로 제공할 수 있다. 몇몇 실시예들에서, 최적의
Figure 112013067866405-pat00056
은, 트레이닝 세트가 작은, 작은 결함 클래스들에 대해 발견되지 않는다. 몇몇 실시예들에서, 결함 클래스의 부가적인 결함들이 인간 검사자에 의해 시각적으로 분류된 후, 이들 부가적인 결함들은 트레이닝 세트에 부가될 수 있으며, 그런 다음 블록들(110 및 112)은 해당 클래스에 대한 자동 분류 규칙들을 개선하기 위해 반복될 수 있다.
도 4로 돌아가 참조하면, 경계들(84, 86, 88, 90) 각각은 상이한 (
Figure 112013034447055-pat00057
,
Figure 112013034447055-pat00058
) 쌍에 대응한다. 예를 들어, 다음과 같다:
Figure 112013034447055-pat00059
주어진 결함의 신뢰성 값은 가장 가까운 경계(결함은 이 경계의 외부에 있다)의 신뢰성 임계치(
Figure 112013067866405-pat00060
)에 의해 주어질 수 있으며; 이에 따라, 본 예에서 결함(82)에 대한 신뢰성 값은 P=0.15 이다.
이제, 도 7로 돌아가서, 블록(114)에서, 프로세싱 로직은
Figure 112013067866405-pat00061
의 최적의 값을 이용하여, 각각의 신뢰성 임계치
Figure 112013067866405-pat00062
에 대한 리젝션 규칙들
Figure 112013067866405-pat00063
을 컴퓨팅한다.
블록(116)에서, 프로세싱 로직은, 각
Figure 112013067866405-pat00064
에 대한 자동 분류 결과들의 순도 뿐 아니라, 각
Figure 112013067866405-pat00065
에 대한 리젝션 비율을 검증하기 위해, 트레이닝 데이터에 리젝션 규칙들을 적용한다. 일 실시예에서, 트레이닝 데이터에 대해 리젝션 규칙들을 적용한 결과들은 도 5와 관련하여 상기 설명된 바와 같이 그래프화된다. 대안적인 실시예에서, 트레이닝 데이터에 대해 리젝션 규칙들을 적용한 결과들은 텍스트 보고서(textual report)로 프린트된다. 각각의 결함 클래스에 대하여 트레이닝 데이터에 대해 리젝션 규칙들을 적용한 결과들은, 시스템 조작자로 하여금, 예를 들어 분류의 희망하는 순도를 제공하게 될 리젝션 비율을 선택하는 것을 가능하게 할 수 있으며, 그 역도 마찬가지이다.
도 8은 컴퓨터 시스템(800)의 예시적인 형태의 머신의 다이어그램을 도시하며, 상기 머신 내에서, 머신으로 하여금 본 명세서에서 논의된 방법론(methodology)들 중 임의의 하나 또는 둘 이상의 것을 수행하게 하기 위한 명령들의 세트가 실행될 수 있다. 대안적인 실시예들에서, 머신은 LAN, 인트라넷, 엑스트라넷, 또는 인터넷으로 다른 머신들에 연결(예를 들어, 네트워킹(networked))될 수 있다. 머신은 클라이언트-서버 네트워크 환경의 서버 또는 클라이언트 머신으로서, 또는 피어-투-피어(peer-to-peer)(또는 분산형) 네트워크 환경의 피어 머신으로서 동작할 수 있다. 머신은 개인용 컴퓨터(PC), 타블렛 PC, 셋탑 박스(STB), 개인용 휴대 정보 단말기(PDA), 셀룰러 전화기, 웹 어플라이언스(web appliance), 서버, 네트워크 라우터, 스위치 또는 브리지, 또는 해당 머신에 의해서 취해질 액션(action)들을 명시하는 명령들의 세트를 (순차적으로 또는 이와 다르게) 실행할 수 있는 임의의 머신일 수 있다. 추가적으로, 단지 하나의 머신만이 예시되지만, "머신"이라는 용어는 또한 본 명세서에서 논의된 방법론들 중 임의의 하나 또는 둘 이상의 것을 수행하기 위해 개별적으로 또는 공동으로 명령들의 세트(또는 복수의 세트들)를 실행하는 머신들의 임의의 집합을 포함하는 것으로 받아들여져야 한다.
예시적인 컴퓨터 시스템(800)은 프로세싱 디바이스(프로세서)(802), 메인 메모리(804)(예를 들어, 판독 전용 메모리(ROM), 플래시 메모리, 동적 랜덤 액세스 메모리(DRAM) 예를 들어, 동기식 DRAM(SDRAM), 더블 데이터 레이트 SDRAM(DDR SDRAM) 또는 램버스 DRAM(Rambus DRAM, RDRAM) 등), 정적 메모리(806)(예를 들어, 플래시 메모리, 정적 랜덤 액세스 메모리(SRAM) 등), 및 데이터 저장 디바이스(818)를 포함하고, 이들은 버스(808)를 통해 서로 통신한다.
프로세서(802)는 마이크로프로세서, 중앙 처리 장치 등과 같은 하나 또는 둘 이상의 범용 프로세싱 디바이스들을 표현한다. 더 구체적으로, 프로세서(802)는 복합 명령 세트 컴퓨팅(CISC) 마이크로프로세서, 축소 명령 세트 컴퓨팅(RISC) 마이크로프로세서, 매우 긴 명령어(VLIW) 마이크로프로세서, 또는 다른 명령 세트들을 구현하는 프로세서 또는 명령 세트들의 조합을 구현하는 프로세서들일 수 있다. 프로세서(802)는 또한 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 디지털 신호 프로세서(DSP), 네트워크 프로세서 등과 같은 하나 또는 둘 이상의 특수 목적 프로세싱 디바이스들일 수 있다. 프로세서(802)는 본 명세서에서 논의되는 동작들 및 단계들을 수행하기 위한 명령들(826)을 실행하도록 구성된다.
컴퓨터 시스템(800)은 네트워크 인터페이스 디바이스(822)를 더 포함할 수 있다. 컴퓨터 시스템(800)은 또한 비디오 디스플레이 유닛(810)(예를 들어, 액정 디스플레이(LCD) 또는 음극선관(CRT)), 영숫자(alphanumeric) 입력 디바이스(812)(예를 들어, 키보드), 커서 제어 디바이스(814)(예를 들어, 마우스) 및 신호 생성 디바이스(816)(예를 들어, 스피커)를 포함할 수 있다.
데이터 저장 디바이스(818)는, 본 명세서에서 설명된 방법론들 또는 기능들 중 임의의 하나 또는 둘 이상을 구현하는 명령들(826)(예를 들어, 소프트웨어)의 하나 또는 둘 이상의 세트들이 저장되는 컴퓨터-판독가능한 저장 매체(824)를 포함할 수 있다. 명령들(826)은 또한, 컴퓨터 시스템(800)에 의한 명령들의 실행 동안에 프로세서(802) 내에서 및/또는 메인 메모리(804) 내에서 완전히 또는 적어도 부분적으로 상주할 수 있고, 메인 메모리(804) 및 프로세서(802)는 컴퓨터-판독가능한 저장 매체들을 또한 구성한다. 명령들(826)은 추가로, 네트워크 인터페이스 디바이스(822)를 이용하여 네트워크(820)를 통해 송신 또는 수신될 수 있다.
일 실시예에서, 명령들(826)은, 자동 및 수동 결함 분류의 통합을 위한 명령들, 및/또는 자동 및 수동 결함 분류의 통합을 위한 명령들을 포함하는 모듈을 호출하는 방법들을 포함하는 소프트웨어 라이브러리를 포함한다. 일 실시예에서, 명령들(826)은, 자동 및 수동 결함 분류의 통합을 위한 명령들, 및/또는 자동 및 수동 결함 분류의 통합을 위한 명령들을 호출하는 방법들을 포함하는 소프트웨어 라이브러리를 포함한다. 컴퓨터 판독가능한 저장 매체(824)(머신 판독가능한 저장 매체)는 예시적인 실시예에서 단일 매체인 것으로 도시되어 있지만, "컴퓨터 판독가능한 저장 매체"라는 용어는 명령들의 하나 또는 둘 이상의 세트들을 저장하는 단일 매체 또는 복수의 매체들(예를 들어, 중앙식 또는 분산식 데이터베이스, 및/또는 연관 캐쉬들(associated caches) 및 서버들)을 포함하는 것으로 받아들여져야 한다. "컴퓨터 판독가능한 저장 매체"라는 용어는 또한, 머신에 의한 실행을 위한 명령들의 세트를 저장, 인코딩 또는 전달할 수 있고, 그리고 머신으로 하여금 본 발명의 방법론들 중 임의의 하나 또는 둘 이상을 수행하게 하는 임의의 매체를 포함하는 것으로 받아들여질 것이다. 그에 따라, "컴퓨터 판독가능한 저장 매체"라는 용어는, 솔리드 스테이트 메모리들, 광학 매체들 및 자기 매체들을 포함하는 것으로(그러나 이에 한정되지 않음) 받아들여질 것이다.
상기 설명에서, 많은 세부사항들이 설명된다. 그러나, 본 발명이 이러한 특정한 세부사항들 없이 실시될 수 있다는 것은, 본 개시의 이점을 갖는 당업자에게 명백할 것이다. 일부 경우들에서, 주지의 구조들 및 디바이스들은 본 발명을 불명료하게 하는 것을 피하기 위하여 상세히 설명하는 대신 블럭도의 형태로 도시된다.
상세한 설명의 몇몇 부분들은 컴퓨터 메모리 내의 데이터 비트들에 대한 동작들의 기호적 표현들과 알고리즘들 측면에서 제시되었다. 이들 알고리즘의 설명들과 표현들은 데이터 프로세싱 기술분야의 당업자들이 그 기술분야의 다른 당업자들에게 이들의 작업의 본질을 가장 효과적으로 전달하기 위해서 사용되는 수단이다. 알고리즘은 여기에서 그리고 일반적으로, 원하는 결과로 이어지는 자체-일관적인 순서의 단계들인 것으로 여겨진다. 단계들은 물리적인 양들(physical quantities)의 물리적 조작들을 요구하는 것들이다. 필수적이지는 않지만, 일반적으로 이러한 양들은 저장, 전송, 조합, 비교, 및 그렇지 않으면 조작될 수 있는 전기적 또는 자기적 신호들의 형태를 취한다. 이러한 신호들을, 비트들, 값들, 요소들, 기호들, 문자들(characters), 용어들(terms), 숫자들(numbers) 등으로서 지칭하는 것이, 일반적인 용법(usage)의 이유로, 때때로 편리한 것으로 증명되었다.
그러나, 모든 이러한 및 유사한 용어들은 적절한 물리적인 양들과 연관되고 그리고 단지 이러한 양들에 적용되는 편리한 라벨들일 뿐임을 유념하여야 한다. 이하의 논의로부터 명백한 바와 같이, 특별히 달리 언급되지 않는다면, 명세서 전반에 걸쳐 "식별", "제시", "업데이트", "결정", "실행", "제공", "수신" 등과 같은 용어들을 사용하는 논의들은 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 액션들 및 프로세스들을 지칭하는 것으로 인식되고, 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스는 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리적인(예를 들어, 전자적) 양들로서 표현되는 데이터를 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 그러한 정보 저장, 전송 또는 디스플레이 디바이스들 내의 물리적인 양들로서 유사하게 표현되는 다른 데이터로 변환 및 조작한다.
또한, 본 발명은 본 명세서의 동작들을 수행하기 위한 장치에 관한 것이다. 이 장치는, 의도되는 목적들을 위해 구성될 수 있거나, 또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화 또는 재구성되는 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 플로피 디스크들, 광학 디스크들, CD-ROM들 및 광자기 디스크들을 포함하는 임의의 유형의 디스크, 판독-전용 메모리들(ROM들), 랜덤 액세스 메모리들(RAM들), EPROM들, EEPROM들, 자기 또는 광학 카드들, 또는 전자적 명령들을 저장하기에 적합한 임의의 유형의 매체들과 같은, 그러나 이에 한정되지 않는, 컴퓨터 판독가능한 저장 매체에 저장될 수 있다.
상기 설명은, 제한적인 것이 아닌, 예시적인 것으로서 의도됨을 이해해야 한다. 상기 설명을 읽고 이해할 때 당업자들에게 많은 다른 실시예들이 명확할 것이다. 따라서, 본 발명의 범위는 첨부된 청구항들을 참조하여, 그러한 청구항들에 권한이 부여된(entitled) 균등물들의 전체 범위와 함께 결정되어야 한다.

Claims (18)

  1. 결함 분류 방법으로서,
    프로세서에 의해, 다차원 피쳐 공간(feature space)에서의 복수의 분류 규칙들에 관한 복수의 결함 클래스들의 복수의 정의들을 저장하는 단계 ― 상기 복수의 분류 규칙들은, 각각의 주어진 결함 클래스에 대해, 상기 주어진 결함 클래스와 연관된 영역의 경계를 피쳐 공간 내에서 정의하고 상기 주어진 결함 클래스로 결함의 분류와 연관된 신뢰성 측정을 제공하며, 상기 신뢰성 측정은 각각의 경계들에 대하여 상기 피쳐 공간 내의 상기 결함의 위치의 함수로서 신뢰성의 레벨을 나타냄 ―;
    상기 프로세서에 의해, 검사중인 하나 이상의 샘플들에서 검출되는 복수의 결함들과 연관된 검사 데이터를 수신하는 단계;
    조작자로부터 상기 프로세서에 의해, 복수의 성능 측정들로부터 선택되는 분류 성능 측정을 수신하는 단계 ― 상기 복수의 성능 측정들은 최대 리젝션 비율(rejection rate) 또는 목표 순도 레벨(purity level) 중 적어도 하나를 포함함 ―;
    상기 분류 성능 측정에 대응하는 적어도 하나의 신뢰성 임계치를 결정하는 단계;
    상기 프로세서에 의해, 상기 검사 데이터에 대해 자동 분류기를 적용하는 단계 ― 상기 자동 분류기는, 상기 복수의 정의들에 기초하고, 그리고 상기 결함 클래스들 중 적어도 두 개의 결함 클래스들의 각각의 경계들 사이의 중첩 영역에 위치되는 결함을 나타내는, 상기 적어도 하나의 신뢰성 임계치에 기초하여 낮은 신뢰성 레벨로 각각 분류된 복수의 결함들을 식별함 ―;
    상기 프로세서에 의해, 상기 중첩 영역과 연관된 상기 결함 클래스들 중 상기 적어도 두 개의 결함 클래스들 중 하나의 결함 클래스에 상기 식별된 복수의 결함들 각각을 할당하기 위해 상기 자동 분류기와 상이한 적어도 하나의 검사 방식을, 낮은 신뢰성 레벨로 분류된 상기 식별된 복수의 결함들에 대해, 적용함으로써 복수의 분류 결과들을 생성하는 단계;
    상기 프로세서에 의해, 상기 자동 분류기와 상이한 상기 적어도 하나의 검사 방식에 의해 분류된 상기 중첩 영역 내에 위치한 상기 식별된 복수의 결함들의 임계치에 기초하여, 상기 복수의 결함 클래스들 중 하나 이상의 결함 클래스들의 경계들을 조정하기 위해 상기 자동 분류기를 개선하는 단계를 포함하고,
    상기 개선하는 단계는 상기 낮은 신뢰성 레벨로 분류된 상기 식별된 복수의 결함들의 상기 복수의 분류 결과들 중 각각의 분류 결과를 사용하여 상기 자동 분류기를 트레이닝함으로써 제공되는,
    결함 분류 방법.
  2. 제 1 항에 있어서,
    상기 주어진 결함 클래스의 신뢰성 임계치를 각각의 주어진 결함 클래스에 대해 결정하는 단계를 더 포함하고,
    상기 주어진 결함 클래스의 신뢰성 임계치는 상기 피쳐 공간 내의 각각의 경계의 위치들에 기초하는,
    결함 분류 방법.
  3. 제 2 항에 있어서,
    상기 피쳐 공간 내의 경계의 범위(extent)는 각각의 결함 클래스의 신뢰성 레벨에 의해 제어되는,
    결함 분류 방법.
  4. 제 2 항에 있어서,
    상기 복수의 결함 클래스들의 상기 복수의 정의들은 파라미터를 갖는 커널 함수를 포함하고, 그리고
    상기 검사 데이터에 대해 상기 자동 분류기를 적용하는 단계는 상기 적어도 하나의 신뢰성 임계치에 기초하여 상기 복수의 결함 클래스들에 대한 상기 파라미터의 값을 선택하는 단계를 포함하는,
    결함 분류 방법.
  5. 제 2 항에 있어서,
    적어도 두 개의 결함 클래스들은 상이하게 결정된 신뢰성 임계치들을 가지는,
    결함 분류 방법.
  6. 제 1 항에 있어서,
    상기 자동 분류기와 상이한 상기 적어도 하나의 검사 방식은 시각적 검사에 대응하고, 그리고
    상기 검사 데이터에 대해 상기 자동 분류기를 적용하는 단계는 상기 복수의 결함 클래스들의 결함 클래스에 상기 복수의 결함들의 결함들을 할당하기 위해 상기 검사 데이터에 멀티 클래스(multi-class) 분류기를 적용하는 단계를 포함하고,
    상기 멀티 클래스 분류기는 상기 중첩 영역 내의 상기 결함들을 식별하도록 구성되는,
    결함 분류 방법.
  7. 다차원 피쳐 공간에서의 복수의 분류 규칙들에 관한 복수의 결함 클래스들의 복수의 정의들을 저장하는 메모리 ― 상기 복수의 분류 규칙들은, 각각의 주어진 결함 클래스에 대해, 상기 주어진 결함 클래스와 연관된 영역의 경계를 피쳐 공간 내에서 정의하고 상기 주어진 결함 클래스로 결함의 분류와 연관된 신뢰성 측정을 제공하며, 상기 신뢰성 측정은 각각의 경계들에 대하여 상기 피쳐 공간 내의 상기 결함의 위치의 함수로서 신뢰성의 레벨을 나타냄 ―; 및
    상기 메모리와 동작가능하게 결합된 프로세서를 포함하고,
    상기 프로세서는,
    검사중인 하나 이상의 샘플들에서 검출되는 복수의 결함들과 연관된 검사 데이터를 수신하고;
    조작자로부터, 복수의 성능 측정들로부터 선택되는 분류 성능 측정을 수신하고 ― 상기 복수의 성능 측정들은 최대 리젝션 비율 또는 목표 순도 레벨 중 적어도 하나를 포함함 ―;
    상기 분류 성능 측정에 대응하는 적어도 하나의 신뢰성 임계치를 결정하고;
    상기 검사 데이터에 대해 자동 분류기를 적용하고 ― 상기 자동 분류기는, 상기 복수의 정의들에 기초하고, 그리고 상기 결함 클래스들 중 적어도 두 개의 결함 클래스들의 각각의 경계들 사이의 중첩 영역에 위치되는 결함을 나타내는, 상기 적어도 하나의 신뢰성 임계치에 기초하여 낮은 신뢰성 레벨로 각각 분류된 복수의 결함들을 식별함 ―;
    상기 중첩 영역과 연관된 상기 결함 클래스들 중 상기 적어도 두 개의 결함 클래스들 중 하나의 결함 클래스에 상기 식별된 복수의 결함들 각각을 할당하기 위해 상기 자동 분류기와 상이한 적어도 하나의 검사 방식을, 낮은 신뢰성 레벨로 분류된 상기 식별된 복수의 결함들에 대해, 적용함으로써 복수의 분류 결과들을 생성하며; 그리고
    상기 자동 분류기와 상이한 상기 적어도 하나의 검사 방식에 의해 분류된 상기 중첩 영역 내에 위치한 상기 식별된 복수의 결함들의 임계치에 기초하여, 상기 복수의 결함 클래스들 중 하나 이상의 결함 클래스들의 경계들을 조정하기 위해 상기 자동 분류기를 개선하고,
    상기 개선하는 것은 상기 낮은 신뢰성 레벨로 분류된 상기 식별된 복수의 결함들의 상기 복수의 분류 결과들 중 각각의 분류 결과를 사용하여 상기 자동 분류기를 트레이닝함으로써 제공되는,
    장치.
  8. 제 7 항에 있어서,
    상기 프로세서는 추가로, 상기 주어진 결함 클래스의 신뢰성 임계치를 각각의 주어진 결함 클래스에 대해 결정하고,
    상기 주어진 결함 클래스의 신뢰성 임계치는 상기 피쳐 공간 내의 각각의 경계의 위치들에 기초하는,
    장치.
  9. 제 8 항에 있어서,
    상기 피쳐 공간 내의 경계의 범위는 각각의 결함 클래스의 신뢰성 레벨에 의해 제어되는,
    장치.
  10. 제 8 항에 있어서,
    상기 복수의 결함 클래스들의 상기 복수의 정의들은 파라미터를 갖는 커널 함수를 포함하고, 그리고
    상기 검사 데이터에 대해 상기 자동 분류기를 적용하는 것은 상기 적어도 하나의 신뢰성 임계치에 기초하여 상기 복수의 결함 클래스들에 대한 상기 파라미터의 값을 선택하는 것을 포함하는,
    장치.
  11. 제 8 항에 있어서,
    적어도 두 개의 결함 클래스들은 상이하게 결정된 신뢰성 임계치들을 가지는,
    장치.
  12. 제 7 항에 있어서,
    상기 자동 분류기와 상이한 상기 적어도 하나의 검사 방식은 시각적 검사에 대응하고, 그리고
    상기 검사 데이터에 대해 상기 자동 분류기를 적용하는 것은 상기 복수의 결함 클래스들의 결함 클래스에 상기 복수의 결함들의 결함들을 할당하기 위해 상기 검사 데이터에 멀티 클래스 분류기를 적용하는 것을 포함하고,
    상기 멀티 클래스 분류기는 상기 중첩 영역 내의 상기 결함들을 식별하도록 구성되는,
    장치.
  13. 프로세서에 의해 실행되는 경우에, 상기 프로세서로 하여금 동작들을 수행하게 하는 명령들을 갖는 비-일시적인(non-transitory) 컴퓨터 판독가능 저장 매체로서,
    상기 동작들은,
    상기 프로세서에 의해, 다차원 피쳐 공간에서의 복수의 분류 규칙들에 관한 복수의 결함 클래스들의 복수의 정의들을 저장하는 동작 ― 상기 복수의 분류 규칙들은, 각각의 주어진 결함 클래스에 대해, 상기 주어진 결함 클래스와 연관된 영역의 경계를 피쳐 공간 내에서 정의하고 상기 주어진 결함 클래스로 결함의 분류와 연관된 신뢰성 측정을 제공하며, 상기 신뢰성 측정은 각각의 경계들에 대하여 상기 피쳐 공간 내의 상기 결함의 위치의 함수로서 신뢰성의 레벨을 나타냄 ―;
    상기 프로세서에 의해, 검사중인 하나 이상의 샘플들에서 검출되는 복수의 결함들과 연관된 검사 데이터를 수신하는 동작;
    조작자로부터 상기 프로세서에 의해, 복수의 성능 측정들로부터 선택되는 분류 성능 측정을 수신하는 동작 ― 상기 복수의 성능 측정들은 최대 리젝션 비율 또는 목표 순도 레벨 중 적어도 하나를 포함함 ―;
    상기 분류 성능 측정에 대응하는 적어도 하나의 신뢰성 임계치를 결정하는 동작;
    상기 프로세서에 의해, 상기 검사 데이터에 대해 자동 분류기를 적용하는 동작 ― 상기 자동 분류기는, 상기 복수의 정의들에 기초하고, 그리고 상기 결함 클래스들 중 적어도 두 개의 결함 클래스들의 각각의 경계들 사이의 중첩 영역에 위치되는 결함을 나타내는, 상기 적어도 하나의 신뢰성 임계치에 기초하여 낮은 신뢰성 레벨로 각각 분류된 복수의 결함들을 식별함 ―;
    상기 프로세서에 의해, 상기 중첩 영역과 연관된 상기 결함 클래스들 중 상기 적어도 두 개의 결함 클래스들 중 하나의 결함 클래스에 상기 식별된 복수의 결함들 각각을 할당하기 위해 상기 자동 분류기와 상이한 적어도 하나의 검사 방식을, 낮은 신뢰성 레벨로 분류된 상기 식별된 복수의 결함들에 대해, 적용함으로써 복수의 분류 결과들을 생성하는 동작; 및
    상기 프로세서에 의해, 상기 자동 분류기와 상이한 상기 적어도 하나의 검사 방식에 의해 분류된 상기 중첩 영역 내에 위치한 상기 식별된 복수의 결함들의 임계치에 기초하여, 상기 복수의 결함 클래스들 중 하나 이상의 결함 클래스들의 경계들을 조정하기 위해 상기 자동 분류기를 개선하는 동작을 포함하고,
    상기 개선하는 동작은 상기 낮은 신뢰성 레벨로 분류된 상기 식별된 복수의 결함들의 상기 복수의 분류 결과들 중 각각의 분류 결과를 사용하여 상기 자동 분류기를 트레이닝함으로써 제공되는,
    비-일시적인 컴퓨터 판독가능한 저장 매체.
  14. 제 13 항에 있어서,
    상기 프로세서는, 상기 주어진 결함 클래스의 신뢰성 임계치를 각각의 주어진 결함 클래스에 대해 결정하는 동작을 포함하는 동작들을 추가로 수행하고,
    주어진 결함 클래스의 신뢰성 임계치는 상기 피쳐 공간 내의 각각의 경계의 위치들에 기초하는,
    비-일시적인 컴퓨터 판독가능한 저장 매체.
  15. 제 14 항에 있어서,
    상기 피쳐 공간 내의 경계의 범위는 각각의 결함 클래스의 신뢰성 레벨에 의해 제어되는,
    비-일시적인 컴퓨터 판독가능한 저장 매체.
  16. 제 14 항에 있어서,
    상기 복수의 결함 클래스들의 상기 복수의 정의들은 파라미터를 갖는 커널 함수를 포함하고, 그리고
    상기 검사 데이터에 대해 상기 자동 분류기를 적용하는 동작은 상기 적어도 하나의 신뢰성 임계치에 기초하여 상기 복수의 결함 클래스들에 대한 상기 파라미터의 값을 선택하는 동작을 포함하는,
    비-일시적인 컴퓨터 판독가능한 저장 매체.
  17. 제 14 항에 있어서,
    적어도 두 개의 결함 클래스들은 상이하게 결정된 신뢰성 임계치들을 가지는,
    비-일시적인 컴퓨터 판독가능한 저장 매체.
  18. 제 13 항에 있어서,
    상기 자동 분류기와 상이한 상기 적어도 하나의 검사 방식은 시각적 검사에 대응하고, 그리고
    상기 검사 데이터에 대해 상기 자동 분류기를 적용하는 동작은 상기 복수의 결함 클래스들의 결함 클래스에 상기 복수의 결함들의 결함들을 할당하기 위해 상기 검사 데이터에 멀티 클래스 분류기를 적용하는 동작을 포함하고,
    상기 멀티 클래스 분류기는 상기 중첩 영역 내의 상기 결함들을 식별하도록 구성되는,
    비-일시적인 컴퓨터 판독가능한 저장 매체.
KR1020130043519A 2012-04-19 2013-04-19 자동 및 수동 결함 분류의 통합 KR102137184B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/451,496 US10043264B2 (en) 2012-04-19 2012-04-19 Integration of automatic and manual defect classification
US13/451,496 2012-04-19

Publications (2)

Publication Number Publication Date
KR20130118276A KR20130118276A (ko) 2013-10-29
KR102137184B1 true KR102137184B1 (ko) 2020-07-24

Family

ID=49380167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130043519A KR102137184B1 (ko) 2012-04-19 2013-04-19 자동 및 수동 결함 분류의 통합

Country Status (4)

Country Link
US (1) US10043264B2 (ko)
JP (1) JP6285640B2 (ko)
KR (1) KR102137184B1 (ko)
TW (1) TWI639824B (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715723B2 (en) 2012-04-19 2017-07-25 Applied Materials Israel Ltd Optimization of unknown defect rejection for automatic defect classification
US10043264B2 (en) 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US9607233B2 (en) 2012-04-20 2017-03-28 Applied Materials Israel Ltd. Classifier readiness and maintenance in automatic defect classification
US10776335B2 (en) 2013-03-13 2020-09-15 Comcast Cable Communications, Llc Systems and methods for managing data
US9158992B2 (en) * 2013-03-14 2015-10-13 Here Global B.V. Acceleration of linear classifiers
EP2976879A4 (en) * 2013-03-20 2016-10-12 Lifetime Brands Inc METHOD AND APPARATUS FOR MOBILE QUALITY MANAGEMENT INSPECTIONS
US10114368B2 (en) 2013-07-22 2018-10-30 Applied Materials Israel Ltd. Closed-loop automatic defect inspection and classification
US9430743B2 (en) 2014-03-06 2016-08-30 Kla-Tencor Corp. Composite defect classifier
US9613411B2 (en) * 2014-03-17 2017-04-04 Kla-Tencor Corp. Creating defect classifiers and nuisance filters
JP6430228B2 (ja) * 2014-12-15 2018-11-28 株式会社Ｓｃｒｅｅｎホールディングス 画像分類装置および画像分類方法
KR102392057B1 (ko) 2014-12-22 2022-04-28 삼성전자주식회사 자동 결함 분류 방법
US20160189055A1 (en) * 2014-12-31 2016-06-30 Applied Materials Israel Ltd. Tuning of parameters for automatic classification
US10312161B2 (en) 2015-03-23 2019-06-04 Applied Materials Israel Ltd. Process window analysis
US9898811B2 (en) 2015-05-08 2018-02-20 Kla-Tencor Corporation Method and system for defect classification
US9922269B2 (en) * 2015-06-05 2018-03-20 Kla-Tencor Corporation Method and system for iterative defect classification
US10130323B2 (en) * 2015-07-13 2018-11-20 Delineo Diagnostics, Inc Method and apparatus for planning computer-aided diagnosis
EP3136270B1 (en) 2015-08-26 2021-02-24 Viavi Solutions Inc. Raw material identification using spectroscopy
US10436720B2 (en) * 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
US11205119B2 (en) * 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
US10209628B2 (en) * 2016-05-26 2019-02-19 Kla-Tencor Corporation System and method for defect classification based on electrical design intent
WO2017180399A1 (en) * 2016-04-13 2017-10-19 Kla-Tencor Corporation System and method for defect classification based on electrical design intent
CN108886007B (zh) * 2016-04-13 2020-03-27 科磊股份有限公司 用于基于电设计意图的缺陷分类的系统及方法
EP3500830B1 (en) * 2016-09-02 2023-08-02 X-Rite Switzerland GmbH Apparatus and method for effect pigment identification
TWI752100B (zh) * 2016-10-17 2022-01-11 美商克萊譚克公司 用於訓練檢查相關演算法之系統、非暫時性電腦可讀媒體及電腦實施方法
US10692690B2 (en) 2017-03-27 2020-06-23 Kla-Tencor Corporation Care areas for improved electron beam defect detection
JP6999150B2 (ja) * 2017-03-28 2022-01-18 株式会社 東京ウエルズ ワークの検査結果判定方法
US10453366B2 (en) * 2017-04-18 2019-10-22 Samsung Display Co., Ltd. System and method for white spot mura detection
US10810408B2 (en) * 2018-01-26 2020-10-20 Viavi Solutions Inc. Reduced false positive identification for spectroscopic classification
CN108776808A (zh) * 2018-05-25 2018-11-09 北京百度网讯科技有限公司 一种用于检测钢包溶蚀缺陷的方法和装置
CN109543707B (zh) * 2018-09-29 2020-09-25 南京航空航天大学 基于三支决策的半监督变更级软件缺陷预测方法
JP7186054B2 (ja) * 2018-10-11 2022-12-08 神鋼検査サービス株式会社 欠陥検出支援装置、該方法および該プログラム
US10762618B1 (en) * 2019-02-14 2020-09-01 United Microelectronics Corp. Mask weak pattern recognition apparatus and mask weak pattern recognition method
CN110147325B (zh) * 2019-05-22 2023-04-07 电信科学技术第十研究所有限公司 一种基于自动化测试的数据生成方法及装置
CN112014398A (zh) * 2019-05-29 2020-12-01 天津中元百宜科技有限责任公司 一种基于机器视觉的病害管道缺陷分类建库与识别的方法
JP7390851B2 (ja) * 2019-10-18 2023-12-04 株式会社日立ハイテク 欠陥分類装置、欠陥分類プログラム
CA3161159A1 (en) 2019-11-12 2021-05-20 Bright Machines, Inc. Image analysis system for testing in manufacturing
US11430105B2 (en) 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
US11150200B1 (en) 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training
CN112446857A (zh) * 2020-11-06 2021-03-05 长江存储科技有限责任公司 缺陷图像自动分类标记系统、建立方法及分类标记方法
EP3995808B1 (de) * 2020-11-09 2023-01-04 Siltronic AG Verfahren zum klassifizieren von unbekannten partikeln auf einer oberfläche einer halbleiterscheibe
CN112634258A (zh) * 2020-12-30 2021-04-09 凌云光技术股份有限公司 一种基于aoi的缺陷检测的自动分类分级方法和装置
US11404244B1 (en) * 2021-02-10 2022-08-02 Applied Materials Israel Ltd. High-resolution x-ray spectroscopy surface material analysis
US11501951B1 (en) 2021-05-14 2022-11-15 Applied Materials Israel Ltd. X-ray imaging in cross-section using un-cut lamella with background material
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
US20230196541A1 (en) * 2021-12-22 2023-06-22 X Development Llc Defect detection using neural networks based on biological connectivity
WO2024036552A1 (en) * 2022-08-18 2024-02-22 Applied Materials, Inc. Method for defect review measurement on a substrate, apparatus for imaging a substrate, and method of operating thereof
CN115934393A (zh) * 2022-11-18 2023-04-07 中国南方电网有限责任公司超高压输电公司检修试验中心 设备缺陷关联性分析方法、装置、计算机设备和存储介质
CN117577550A (zh) * 2023-11-15 2024-02-20 深圳市昇维旭技术有限公司 半导体器件的缺陷分析方法、装置、可读介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040263911A1 (en) * 1998-01-20 2004-12-30 Rodriguez Tony F. Automated methods for distinguishing copies from original printed objects
US20080075352A1 (en) 2006-09-27 2008-03-27 Hisae Shibuya Defect classification method and apparatus, and defect inspection apparatus
JP2010164487A (ja) 2009-01-16 2010-07-29 Tokyo Seimitsu Co Ltd 欠陥検査装置及び欠陥検査方法
US20120027285A1 (en) * 2010-07-27 2012-02-02 Vladimir Shlain Defect classification with optimized purity

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923430A (en) 1993-06-17 1999-07-13 Ultrapointe Corporation Method for characterizing defects on semiconductor wafers
US5991699A (en) * 1995-05-04 1999-11-23 Kla Instruments Corporation Detecting groups of defects in semiconductor feature space
US6292582B1 (en) * 1996-05-31 2001-09-18 Lin Youling Method and system for identifying defects in a semiconductor
US6148099A (en) * 1997-07-03 2000-11-14 Neopath, Inc. Method and apparatus for incremental concurrent learning in automatic semiconductor wafer and liquid crystal display defect classification
US6195458B1 (en) * 1997-07-29 2001-02-27 Eastman Kodak Company Method for content-based temporal segmentation of video
US6996549B2 (en) 1998-05-01 2006-02-07 Health Discovery Corporation Computer-aided image analysis
WO2002095534A2 (en) 2001-05-18 2002-11-28 Biowulf Technologies, Llc Methods for feature selection in a learning machine
US6256093B1 (en) 1998-06-25 2001-07-03 Applied Materials, Inc. On-the-fly automatic defect classification for substrates using signal attributes
US6650779B2 (en) 1999-03-26 2003-11-18 Georgia Tech Research Corp. Method and apparatus for analyzing an image to detect and identify patterns
US6922482B1 (en) 1999-06-15 2005-07-26 Applied Materials, Inc. Hybrid invariant adaptive automatic defect classification
US6763130B1 (en) 1999-07-21 2004-07-13 Applied Materials, Inc. Real time defect source identification
US6577757B1 (en) 1999-07-28 2003-06-10 Intelligent Reasoning Systems, Inc. System and method for dynamic image recognition
US6999614B1 (en) 1999-11-29 2006-02-14 Kla-Tencor Corporation Power assisted automatic supervised classifier creation tool for semiconductor defects
JP2001156135A (ja) 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
US20020159641A1 (en) * 2001-03-14 2002-10-31 Whitney Paul D. Directed dynamic data analysis
US7127099B2 (en) * 2001-05-11 2006-10-24 Orbotech Ltd. Image searching defect detector
WO2002095554A2 (en) 2001-05-18 2002-11-28 Imprivata Inc. System and method for authentication using biometrics
JP3726263B2 (ja) 2002-03-01 2005-12-14 ヒューレット・パッカード・カンパニー 文書分類方法及び装置
US20040034612A1 (en) 2002-03-22 2004-02-19 Nick Mathewson Support vector machines for prediction and classification in supply chain management and other applications
JP4118703B2 (ja) 2002-05-23 2008-07-16 株式会社日立ハイテクノロジーズ 欠陥分類装置及び欠陥自動分類方法並びに欠陥検査方法及び処理装置
US7020337B2 (en) 2002-07-22 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting objects in images
JP3993817B2 (ja) 2002-12-11 2007-10-17 株式会社日立製作所 欠陥組成分析方法及び装置
US7359544B2 (en) * 2003-02-12 2008-04-15 Kla-Tencor Technologies Corporation Automatic supervised classifier setup tool for semiconductor defects
US7602962B2 (en) 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
US7756320B2 (en) 2003-03-12 2010-07-13 Hitachi High-Technologies Corporation Defect classification using a logical equation for high stage classification
JP4443270B2 (ja) 2003-03-12 2010-03-31 株式会社日立ハイテクノロジーズ 欠陥分類方法
US9002497B2 (en) 2003-07-03 2015-04-07 Kla-Tencor Technologies Corp. Methods and systems for inspection of wafers and reticles using designer intent data
US7106434B1 (en) 2003-07-28 2006-09-12 Kla-Tencor Technologies, Inc. Inspection tool
WO2005017813A2 (en) 2003-08-19 2005-02-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for automatic online detection and classification of anomalous objects in a data stream
US7490071B2 (en) * 2003-08-29 2009-02-10 Oracle Corporation Support vector machines processing system
JP2005158780A (ja) 2003-11-20 2005-06-16 Hitachi Ltd パターン欠陥検査方法及びその装置
JP2005198970A (ja) 2004-01-19 2005-07-28 Konica Minolta Medical & Graphic Inc 医用画像処理装置
US20050175243A1 (en) * 2004-02-05 2005-08-11 Trw Automotive U.S. Llc Method and apparatus for classifying image data using classifier grid models
US7609893B2 (en) * 2004-03-03 2009-10-27 Trw Automotive U.S. Llc Method and apparatus for producing classifier training images via construction and manipulation of a three-dimensional image model
US20060009011A1 (en) 2004-07-06 2006-01-12 Gary Barrett Method for recycling/reclaiming a monitor wafer
US7188050B2 (en) * 2004-08-25 2007-03-06 Siemens Corporate Research, Inc. Method and apparatus for detecting out-of-range conditions in power generation equipment operations
US7450766B2 (en) * 2004-10-26 2008-11-11 Hewlett-Packard Development Company, L.P. Classifier performance
WO2006078916A2 (en) 2005-01-21 2006-07-27 Photon Dynamics, Inc. Automatic defect repair system
CN100449981C (zh) 2005-08-15 2009-01-07 大唐移动通信设备有限公司 多载波高速下行分组接入中混合自动重传方法
JP4654093B2 (ja) 2005-08-31 2011-03-16 株式会社日立ハイテクノロジーズ 回路パターン検査方法及びその装置
JP4776308B2 (ja) 2005-09-05 2011-09-21 株式会社東京精密 画像欠陥検査装置、画像欠陥検査システム、欠陥分類装置及び画像欠陥検査方法
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7570800B2 (en) 2005-12-14 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for binning defects detected on a specimen
JP4644613B2 (ja) 2006-02-27 2011-03-02 株式会社日立ハイテクノロジーズ 欠陥観察方法及びその装置
US7684609B1 (en) 2006-05-25 2010-03-23 Kla-Tencor Technologies Corporation Defect review using image segmentation
JP4253335B2 (ja) 2006-07-13 2009-04-08 株式会社東芝 カーネル関数値を用いた、画像の平均値シフトによるフィルタリングとクラスタリングの方法及び装置
JP4992081B2 (ja) 2006-09-20 2012-08-08 国立大学法人山口大学 画像処理により対象物の表面状態を検査する方法及びそのための画像処理プログラム
WO2008077100A2 (en) 2006-12-19 2008-06-26 Kla-Tencor Corporation Systems and methods for creating inspection recipes
US8194968B2 (en) 2007-01-05 2012-06-05 Kla-Tencor Corp. Methods and systems for using electrical information for a device being fabricated on a wafer to perform one or more defect-related functions
JP5022174B2 (ja) 2007-10-22 2012-09-12 株式会社日立製作所 欠陥分類方法及びその装置
JP5081590B2 (ja) 2007-11-14 2012-11-28 株式会社日立ハイテクノロジーズ 欠陥観察分類方法及びその装置
US7949622B2 (en) * 2007-12-13 2011-05-24 Yahoo! Inc. System and method for generating a classifier model for classifying web content
US8583416B2 (en) 2007-12-27 2013-11-12 Fluential, Llc Robust information extraction from utterances
TWI486017B (zh) 2008-03-10 2015-05-21 Interdigital Patent Holdings 高效使用harq程序於半持續及動態傳輸方法及裝置
US7756658B2 (en) 2008-05-14 2010-07-13 Kla-Tencor Corp. Systems and methods for detecting defects on a wafer and generating inspection results for the wafer
US20090305423A1 (en) * 2008-06-09 2009-12-10 Ohio State University Research Foundation Methods for Monitoring Composition and Flavor Quality of Cheese Using a Rapid Spectroscopic Method
US8175373B2 (en) 2009-02-16 2012-05-08 Kla-Tencor Corporation Use of design information and defect image information in defect classification
US8112241B2 (en) 2009-03-13 2012-02-07 Kla-Tencor Corp. Methods and systems for generating an inspection process for a wafer
JP5168215B2 (ja) 2009-04-10 2013-03-21 株式会社デンソー 外観検査装置
US8457414B2 (en) 2009-08-03 2013-06-04 National Instruments Corporation Detection of textural defects using a one class support vector machine
US8774209B2 (en) 2009-12-02 2014-07-08 Qualcomm Incorporated Apparatus and method for spectrum sharing using listen-before-talk with quiet periods
JP2011158373A (ja) 2010-02-02 2011-08-18 Dainippon Screen Mfg Co Ltd 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
US9553697B2 (en) 2010-04-05 2017-01-24 Qualcomm Incorporated HARQ ACK/NACK transmission for multi-carrier operation
US9020237B2 (en) 2010-06-07 2015-04-28 Hitachi High-Technologies Corporation Method for optimizing observed image classification criterion and image classification apparatus
US9165051B2 (en) * 2010-08-24 2015-10-20 Board Of Trustees Of The University Of Illinois Systems and methods for detecting a novel data class
US8983179B1 (en) 2010-11-10 2015-03-17 Google Inc. System and method for performing supervised object segmentation on images
US8502146B2 (en) 2011-10-03 2013-08-06 Kla-Tencor Corporation Methods and apparatus for classification of defects using surface height attributes
TW201340740A (zh) 2011-12-22 2013-10-01 Interdigital Patent Holdings 動態頻譜分配方法、裝置及系統
WO2013140302A1 (en) 2012-03-19 2013-09-26 Kla-Tencor Corporation Method, computer system and apparatus for recipe generation for automated inspection semiconductor devices
US10043264B2 (en) 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US10599944B2 (en) 2012-05-08 2020-03-24 Kla-Tencor Corporation Visual feedback for inspection algorithms and filters
US10330608B2 (en) 2012-05-11 2019-06-25 Kla-Tencor Corporation Systems and methods for wafer surface feature detection, classification and quantification with wafer geometry metrology tools
US8826200B2 (en) 2012-05-25 2014-09-02 Kla-Tencor Corp. Alteration for wafer inspection
US9053390B2 (en) 2012-08-14 2015-06-09 Kla-Tencor Corporation Automated inspection scenario generation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040263911A1 (en) * 1998-01-20 2004-12-30 Rodriguez Tony F. Automated methods for distinguishing copies from original printed objects
US20080075352A1 (en) 2006-09-27 2008-03-27 Hisae Shibuya Defect classification method and apparatus, and defect inspection apparatus
JP2010164487A (ja) 2009-01-16 2010-07-29 Tokyo Seimitsu Co Ltd 欠陥検査装置及び欠陥検査方法
US20120027285A1 (en) * 2010-07-27 2012-02-02 Vladimir Shlain Defect classification with optimized purity

Also Published As

Publication number Publication date
US10043264B2 (en) 2018-08-07
JP2013224943A (ja) 2013-10-31
TWI639824B (zh) 2018-11-01
JP6285640B2 (ja) 2018-02-28
TW201407154A (zh) 2014-02-16
KR20130118276A (ko) 2013-10-29
US20130279794A1 (en) 2013-10-24

Similar Documents

Publication Publication Date Title
KR102137184B1 (ko) 자동 및 수동 결함 분류의 통합
KR102110755B1 (ko) 자동 결함 분류를 위한 알려지지 않은 결함 리젝션의 최적화
US9607233B2 (en) Classifier readiness and maintenance in automatic defect classification
KR102224601B1 (ko) 자동 분류를 위한 파라미터들의 튜닝
US10885618B2 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
TWI416346B (zh) 具最佳化純度的瑕疵分級方法
JP7286290B2 (ja) 半導体試料の欠陥を分類する方法およびそのシステム
CN104169945B (zh) 对图像中的对象的两级分类
CN114092387B (zh) 生成可用于检查半导体样本的训练数据
US20230148321A1 (en) Method for artificial intelligence (ai) model selection
KR20220012217A (ko) 반도체 시편에서의 결함들의 기계 학습 기반 분류
CN112805719A (zh) 分类半导体样本中的缺陷
US20220237758A1 (en) Methods and systems for analysis of wafer scan data
US20220189005A1 (en) Automatic inspection using artificial intelligence models
Chen et al. Producing Plankton Classifiers that are Robust to Dataset Shift

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right