KR20130118275A - 자동 결함 분류를 위한 알려지지 않은 결함 리젝션의 최적화 - Google Patents

Abstract

결함 분류 방법은, 컴퓨터 시스템 내에, 피쳐 공간(feature space) 내의 영역의 정의를 저장하는 단계를 포함한다. 이러한 정의는 결함들의 클래스와 관련되며, 파라미터를 포함하는 커널 함수(kernel function)를 포함한다. 파라미터는 영역의 형상(shape)을 결정한다. 클래스와 관련된 적어도 하나의 결함의 자동 분류를 위한 신뢰성 임계치(confidence threshold)가 수신된다. 신뢰성 임계치와 관련된 파라미터의 값이 선택된다. 검사중인 하나 또는 그 초과의 샘플들 내에서 검출되는 다수의 결함들에 대한 검사 데이터가 수신된다. 파라미터의 선택된 값 및 및 커널 함수를 이용하여, 클래스에 대한 다수의 결함들이 자동적으로 분류된다.

Description

자동 결함 분류를 위한 알려지지 않은 결함 거부의 최적화{OPTIMIZATION OF UNKNOWN DEFECT REJECTION FOR AUTOMATIC DEFECT CLASSIFICATION}

관련 출원들

본 출원은, 2012년 4월 19일 출원되었으며 그 명칭이 "Integration of Automatic and Manual Defect Classification"인 출원 번호 No. 13/451,496 [도켓 번호 08090.44 (L024)]과 관련된다.

본 발명의 실시예들은 일반적으로 자동화된 검사에 관한 것으로서, 특히 제조 결함들을 분석하기 위한 방법들 및 시스템들에 관한 것이다.

자동 결함 분류(ADC) 기술들은 반도체 산업에서 패터닝된 웨이퍼에 대한 결함들의 검사 및 측정에 널리 사용된다. ADC 기술들은 결함들의 존재를 검출할 뿐만 아니라 제조 공정에 대한 더 상세한 피드백을 제공하고 인간 검사관들에 대한 부하를 감소시키기 위해서 결함들을 자동적으로 유형별로 분류한다. ADC 기술들은, 예를 들어, 마이크로회로 패턴 자체에서의 불균일들(irregularities)과 연관된 결함들 및 웨이퍼 표면상의 미립자 오염물들로부터 발생하는 결함들의 유형들 중에서 구별하는데 사용되고, 그리고 또한 불균일들과 입자들의 특정 유형들을 식별할 수 있다.

ADC를 위한 다양한 방법들이 특허 문헌에 기술되어왔다. 예를 들어, 미국 특허 제 6,256,093 호는 스캐닝된 웨이퍼에서의 온-더-플라이(on-the-fly) ADC를 기술한다. 광원은 웨이퍼상의 조명 스폿(illuminating spot)을 생성하도록 스캐닝된 웨이퍼를 조명(illuminate)한다. 스폿으로부터 산란된(scattered) 광은 2개 이상의 이격된 검출기들에 의해 감지되고, 웨이퍼에서의 결함들을 검출하고 결함들을 별개의 결함 유형들로 분류하도록 분석된다.

또 다른 예로서, 미국 특허 제 6,922,482 호는, 경계(boundary) 및 토포그래픽(topographical) 정보를 이용하는 코어(core) 분류기를 사용하여, 반도체 웨이퍼의 표면상의 결함을 다수의 코어 클래스들(core classes) 중 하나로 자동적으로 분류하는 것을 기술한다. 그런 다음에 결함은 코어 클래스와 연관되고 오직 제한된 수의 관련된 코어 클래스들로부터 결함들을 분류하도록 트레이닝된(trained) 특정 적응성(adaptive) 분류기를 사용하여 서브클래스로 더 분류된다. 코어 분류기 또는 특정 적응성 분류기들에 의해서 분류될 수 없는 결함들은 풀(full) 분류기에 의해서 분류된다.

본 발명의 실시예들은 검사 데이터를 기초로 결함들의 자동화된 분류를 위한 개선된 방법들, 시스템들 및 소프트웨어를 제공한다. 예시적인 컴퓨팅 시스템은 피쳐 공간(feature space) 내의 영역의 정의를 저장한다. 이러한 정의는 결함들의 클래스와 관련되며, 파라미터를 포함하는 커널 함수(kernel function)를 포함한다. 파라미터는 영역의 형상(shape)을 결정한다. 컴퓨터 시스템은 클래스와 관련된 적어도 하나의 결함의 자동 분류를 위한 신뢰성 임계치(confidence threshold)를 수신한다. 컴퓨팅 시스템은 신뢰성 임계치와 관련된 파라미터의 값을 선택한다. 컴퓨팅 시스템은 검사중인 하나 또는 그 초과의 샘플들 내에서 검출되는 다수의 결함들에 대한 검사 데이터를 수신한다. 컴퓨팅 시스템은 파라미터의 선택된 값 및 및 커널 함수를 이용하여, 클래스에 대한 다수의 결함들을 자동적으로 분류한다.

일 실시예에서, 컴퓨터 시스템은, 다수의 신뢰성 레벨들 각각을 다수의 파라미터 값들의 고유의(unique) 파라미터 값과 관련시킴으로써, 그리고 신뢰성 임계치와 관련된 파라미터 값을 선택함으로써, 파라미터의 값을 선택한다.

일 실시예에서, 컴퓨터 시스템은, 다수의 파라미터 값들을 이용하여 트레이닝 결과들의 세트를 얻기 위해 트레이팅 데이터에 커널 함수를 적용하고, 트레이닝 결과들에 기초하여 각각의 신뢰성 레벨에 최적의 파라미터 값을 할당함으로써, 다수의 신뢰성 레벨들을 관련시킨다.

일 실시예에서, 컴퓨터 시스템은, 커널 함수를 이용하여 트레이닝 데이터를 자동적으로 분류하는 동안 신뢰성 임계치에 해당하는 다수의 결함들의 서브세트의 거부(rejection)를 초래하기 위해 각각의 신뢰성 임계치에 대해 파라미터 값을 선택함으로써, 각각의 신뢰성 임계치에 최적의 파라미터 값을 할당한다.

일 실시예에서, 피쳐 공간 내의 영역은 커널 함수를 포함하는 단일-클래스 지원 벡터 머신(1-class support vector machine)에 의해 정의되며, 그리고 다수의 결함들을 자동적으로 분류하는 것은, 단일-클래스 지원 벡터 머신을 이용하여, 클래스에 속하는 다수의 제 1 결함들과 클래스와 관련하여 알려지지 않은 결함들로서 분류되는 다수의 제 2 결함들을 구별하는 것을 포함한다.

일 실시예에서, 컴퓨터 시스템은, 각 결함을 각각의 결함 클래스에 할당하기 위해 멀티-클래스 지원 벡터 머신을 적용하고, 적어도 하나의 결정-불가한 결함(non-decidable defect)을 식별함으로써, 다수의 결함들을 자동적으로 분류하며, 이러한 결정-불가한 결함은 피쳐 공간 내의 결함 클래스들 중 적어도 2개의 결함 클래스의 다수의 영역들 간의 중복 구역(overlap area) 내에 있다.

일 실시예에서, 단일-클래스 지원 벡터 머신은 피쳐 공간 내의 초구(hypersphere)에 대한 검사 데이터의 맵핑을 정의하고, 신뢰성 레벨 및 파라미터의 값은 초구 캡(hyperspherical cap)을 생성하기 위해 초구를 분할하는 초평면(hyperplane)을 정의하며, 그리고 초구 캡은 클래스에 속하는 것으로서 분류되는 다수의 결함들을 포함하는 피쳐 공간 내의 영역에 대해 맵핑된다.

추가의 실시예들에서, 전술된 실시예들에 대한 작업들을 실행하는 방법들이 또한 실시된다. 추가로, 본 발명의 실시예들에서, 비-일시적인 컴퓨터 판독가능한 저장 매체는 전술된 실시예들의 작업들을 실행하는 방법들을 저장한다.

본 발명의 다양한 실시예들이 하기에 주어진 상세한 설명으로부터 그리고 본 발명이 다양한 실시예들의 첨부 도면들로부터 보다 충분히 이해될 것이다.
도 1은 본 발명의 실시예에 따른 결함 검사 및 분류 시스템의 예시적인 개략도이다;
도 2는 본 발명의 실시예에 따른 상이한 결함 클래스들에 속하는 검사 피쳐 값들을 포함하는 피쳐 공간의 개략도이다;
도 3a는 본 발명의 실시예에 따른 자동화된 결함 분류 시스템의 블록도이다;
도 3b는 본 발명의 실시예에 따른 자동 겸함 분류기의 블록도이다;
도 4는 본 발명의 실시예에 따른 피쳐 공간 내의 신뢰성 임계치의 예시적 개략도이다;
도 5는 본 발명의 실시예에 따른 거부율에 따른 분류 순도의 예시적 개략적 그래프이다;
도 6은 본 발명의 실시예에 따른 단일 클래스 분류기를 도시하는 피쳐 초공간(hyperspace)의 예시적 개략도이다;
도 7은 본 발명의 실시예에 따른 분류기 핵심 파라미터들을 설정하기 위한 방법을 도시하는 흐름도이다; 그리고
도 8은 본원에 기재된 작업들 중 하나 또는 그 초과를 실행할 수 있는 예시적인 컴퓨터 시스템의 블록도이다.

보통, 자동 결함 분류(ADC; automatic defect classification) 시스템들은 전문 인력(human expert)에 의해 사전-분류된 결함들의 콜렉션(collection)을 포함하는 일 세트의 트레이닝 데이터를 이용하여 캘리브레이팅된다. ADC 시스템은 다차원 특징 공간(multi-dimensional feature space)에서 각각의 결함 클래스와 관련된 특징값들의 함수들로서 정의된 분류 규칙들을 설정하기 위해 트레이닝 데이터(training data)를 사용한다. 다차원 특징 공간은 또한, 분류가 3개보다 많은 특징들을 수반하는 경우, 초공간(hyperspace)으로서 지칭될 수 있다. 다음으로, 대부분의 기존의 ADC 시스템들에서, 이러한 설정들은 정확하게 분류된 모든 결함들의 비율로서 정의되는 그 자체의 정확도를 최적화하기 위해 테스트되고 적응된다.

그러나, 수많은 ADC 애플리케이션들에서, 분류의 순도는 시스템 동작의 더욱 의미있는 측정일 수 있다. 분류의 순도는 정확하게 분류된 나머지 결함들(예를 들어, 거부(reject)되지 않고 분류가능한, ADC 시스템에 의해 발견된 결함들)의 비율일 수 있다. 시스템 오퍼레이터는 원하는 순도 및/또는 특정 최대 거부 레이트와 같은, 분류 성능 측정(classification performance measure)을 구체화할 수 있다. 분류 성능 측정은, ADC 시스템이 확신을 가지고 분류하기는 불가능하여 이에 따라 전문 인력(예를 들어, 시스템 오퍼레이터)에 의한 분류를 위해 복귀하는, 결함들의 비율일 수 있다. ADC 시스템에 의해 거부되는 결함들의 약간의 비율이 항상 존재할 가능성이 있기 때문에, 분류의 순도는 오퍼레이터에게 가장 중요할 수 있다.

분류의 순도는 다양한 유형들의 분류 불확실성에 의해 영향을 받을 수 있다. 일부 경우들에서, 결함과 관련된 특징값들은 2개(또는 그 이상의) 상이한 결함 클래스들 사이의 중첩의 영역 내에 포함될 수 있다. 일부 경우들에서, 결함의 특징값들은 주어진 결함 클래스와 관련된 범위의 외부 경계(outer border)들에 놓일 수 있다. 2010년 7월 27일자로 출원된 U.S 특허 출원 제12/844,724호는, 다중-클래스 분류기들 및 단일-클래스 분류기들 모두를 포함하는 다수의 상이한 분류기들을 검열 데이터(inspection data)에 적용시킴으로써 다양한 유형들의 분류 불확실성을 어드레싱하는 ADC 시스템을 설명한다. 이 시스템은 분류기 파라미터들이 트레이닝되고 조정될 수 있게 하여, 분류의 순도를 최적화한다.

본 발명의 실시예들은 다중-클래스 분류기 및 단일-클래스 분류기를 이용하는 ADC 시스템을 제공한다. 다중-클래스 분류기는 다수의 결함 클래스들 중 다차원 특징 공간을 분할하고, 특징 공간 내의 자신의 위치에 따라 클래스들 중 하나에 각각의 결함을 할당한다. 다중-클래스 분류기는 클래스들 사이의 중첩 영역들에 있는 결함들을 결정-불가한 결함들로서 식별한다. 다중-클래스 분류기는 신뢰성 임계치를 이용함으로써 중첩 영역들 내의 결함들을 식별할 수 있다. 각각의 결함 클래스에 대해, 단일-클래스 분류기는 결함 클래스에 속하는 결함들 및 그 클래스에 속하지 않는 결함들을 식별하기 위해 클래스-특정 규칙들을 적용한다. 그 클래스에 속하지 않는 결함들은 그 클래스에 대한 신뢰성 임계치를 이용하여 식별될 수 있고, 공지되지 않은 결함들로서 식별될 수 있다. 단일-클래스 및 다중-클래스 분류기들은 높은 순도를 갖는 결함들을 분류하는데 함께 이용된다. 상이한 클래스들의 외부 경계들 및 중첩 영역들의 범위는 미리결정된 임계보다 더 크지 않은 거부 레이트를 유지하면서 순도를 최대화하기 위해 가변 신뢰성 임계치들에 의해 조정된다.

(알려진 결함들과 공지되지 않은 결함들을 구별하기 위한)단일-클래스 분류기들 및 (결정가능한 결함들과 결정 불가한 결함들을 구별하기 위한)다중-클래스 분류기들에 대한 신뢰성 임계치들은 휴먼 오퍼레이터에 의해 수동으로 사전-분류되었던 일 세트의 결함들을 이용하여 트레이닝 프로세스 동안 조정될 수 있다. 트레이닝 프로세스의 결과는 각각의 결함 클래스의 특징 공간 내에 바운더리들을 정의하는 일 세트의 분류 규칙들(또한, 거부 규칙들로도 지칭됨)일 수 있다. 일 세트의 분류 규칙들은 클래스를 특징화하는 검열 특징 값들의 각각의 범위를 정의할 수 있다. 또한, 분류 규칙들은 특징 공간 내에서 결함의 위치의 함수로서 결함의 단일-클래스 또는 다중-클래스 분류 각각에 관련된 신뢰성 레벨을 부여하는 신뢰성 측정을 제공한다.

일 실시예에서, 각각의 단일-클래스 분류기는 클래스에 의해 점유된 특징 공간 내 영역을 정의하는 커넬 함수(kernel function)에 의해 정의된다. 영역 내 결함들은 클래스에 속하는 것으로서 분류될 수 있고, 영역 외 결함들은 공지되지 않은 것으로서 분류될 수 있다. 파라미터는 특징 공간 내에서 영역의 형상을 정의할 수 있다. 트레이닝 프로세스 동안, 다수의 영역 윤곽(contour)들이 평가될 수 있고, 각각의 신뢰성 임계치에 대한 최적의 형상이 발견될 수 있다.

다음으로, 분류가 공지되지 않은, 실제 제조 결함들의 분류시에, 각각의 분류기에 대한 신뢰성 임계치들은 원하는 레벨의 성능을 달성하기 위해 선택될 수 있다. 분류가 공지되지 않은, 실제 제조 결함들의 분류는 제 1 분류 결과들을 초래할 수 있다.

본 발명의 실시예들에서, 자동 분류기들에 의해 거부된 (예를 들어, 결정-불가한 것으로 또는 공지되지 않은 것으로 분류된) 결함들은, 결함 클래스에 대한 분류를 위해 제 1 분류 결과들을 발생시키기 위해 이용되는 것과는 상이한, 하나 또는 둘 이상의 다른 검열 양상들로 통과시키고, 이는 제 2 분류 결과들을 초래한다. 일 실시예에서, 검열 양상은 적절한 결함 클래스들로 거부된 결함들을 할당하는 휴먼 검열자이다. 대안적인 실시예에서, 거부된 결함들은 결함들의 위치들에 및/또는 그 위치들 근처에 상주하는 물질들에 대한 추가적인 정보를 제공하는 추가적인 검열 데이터(예를 들어, X-레이 검열 데이터 등)에 기초하여 분류된다. 거부된 결함들(제 2 분류 결과들)에 대한 업데이트된 결함 할당들은 ADC 시스템으로 다시 통과될 수 있다. 일 실시예에서, ADC 시스템은 자동으로-분류된 결합들(제 1 분류 결과들)을 갖는 업데이트된 결함 할당들(제 2 분류 결과들)을 조합된 데이터 세트에 통합한다. 이에 따라, ADC 시스템은 일 세트의 샘플들로 결함 분배의 완성되고 통일된 기록을 제공할 수 있다. 자동 분류 결과들의 높은 순도 때문에, 이러한 통일된 기록은 시스템 오퍼레이터에게 결함 분배의 가능한 가장 포괄적이고 정확한 뷰를 제공할 수 있다. 이러한 종류의 뷰는, 예를 들어, 반도체 디바이스 제조와 같은 프로세스 제어 애플리케이션들에서 특히 중요하다.

몇몇 실시예들에서, 대응하는 결함 이미지들을 함께 갖는 제 2 분류 결과들은 자동 분류기들을 정제하는데 이용될 수 있다. 예를 들어, 사전-분류된 트레이닝 세트에서 보통 발생하는 결함들에 대한 다중-클래스 분류기들은 통상적으로 높은 정확도 및 순도를 가질 것이지만, 덜 보편적인 결함 클래스들에 대한 분류기들은 더 낮은 정확도 및 더 높은 거부 레이트들을 가질 것이다(이는, 이러한 클래스들이 그들의 낮은 결함 카운트 때문에 트레이닝 데이터를 더 잘 특징으로 하지 않기 때문이다). 제 2 분류 결과들은 이러한 덜 보편적인 결함 클래스들에 대한 분류기들을 정제하는데 특히 유용할 수 있다. 충분한 결함 카운트가 덜 보편적인 결함 클래스들에 대해 축적되면, 덜 보편적인 결함 클래스들은 트레이닝 세트에 부가될 수 있으며, 이는 덜 보편적인 결함 클래스들에 대한 정확도 및 순도에서의 개선을 초래한다. 덜 보편적인 결함 클래스들의 부가의 결과로서, 각각의 결함 클래스에 대한 신뢰성 레벨은 증가할 것이며, 결과적으로 거부되는 결함들의 수를 감소시킬 것이다.

구체적으로, 개시된 실시예들이 반도체 웨이퍼들 내 결함들의 검출에 관한 것이지만, 본 발명의 원리들은 다른 유형들의 이미지 특징들의 자동화된 분석 및 분류에 유사하게 적용될 수 있다. 게다가, 이러한 실시예들이 분류기들의 특정 구체적인 유형들 및 조합들에 대해 설계되지만, 본 발명의 다른 실시예들에서의 검열 시스템들은 당업계에 공지되어 있는 바와 같이 다른 유형들의 분류기들을 이용할 수 있다. 구체적으로, 상이한 검열 양상들이 이러한 시스템 내에 통합되는 원리들은 수많은 상이한 자동 및 수동 분류 기술들에 대해 적용될 수 있다.

도 1은 본 발명의 일 실시예에 따른 자동화된 결함 검사 및 분류를 위한 시스템(20)의 예시적인 개략도이다. 패턴화된 반도체 웨이퍼(22)와 같은 샘플이 검사 기계(24)에 삽입된다. 이 기계는 예를 들어, 스캐닝 전자 현미경(SEM: scanning electron microscope)이나 광 검사 디바이스 또는 해당 기술분야에 공지된 임의의 다른 적당한 종류의 검사 장치를 포함할 수 있다. 기계(24)는 일반적으로 웨이퍼(22)의 표면을 리뷰(review)하고, 리뷰 결과들을 감지 및 처리하여, 예를 들어 웨이퍼 상의 결함들의 이미지들을 포함하는 검사 데이터를 출력한다. 일 실시예에서, 검사 데이터는, 각각의 결함과 연관된 검사 피처들의 값들과 함께, 웨이퍼 상에서 발견된 결함들의 리스트, 각각의 결함의 위치를 포함한다. 검사 피처들은 예를 들어, 크기, 형상, 산란 강도, 방향성 및/또는 결함의 스펙트럼 품질들뿐만 아니라, 결함 콘텍스트 및/또는 해당 기술분야에 공지된 임의의 다른 적당한 피처들 또한 포함할 수 있다.

본 실시예에서는 SEM 이미지들 및 연관된 메타데이터를 언급하는데 "검사 데이터"라는 용어가 사용되지만, 이 용어는 데이터를 수집하는데 사용되는 수단과 관계없이, 그리고 데이터가 전체 웨이퍼에 걸쳐 캡처되는지 아니면 개개의 의심 위치들 주변에서와 같이 부분들에서 캡처되는지와 관계없이, 결함들의 피처들을 식별하기 위해 수집되어 처리될 수 있는 임의의 그리고 모든 종류들의 기술 및 진단 데이터를 언급하도록 더 넓게 이해되어야 한다. 일부 실시예들은 웨이퍼를 스캔하고 의심되는 결함들의 위치들의 리스트를 제공하는 검사 시스템에 의해 식별되는 결함들의 분석에 적용될 수 있다. 다른 실시예들은 검사 툴에 의해 제공되었던 의심되는 결함들의 위치들을 기초로 검토 툴에 의해 재검출되는 결함들의 분석에 적용될 수 있다. 본 발명은 검사 데이터가 생성되게 하는 임의의 특정 기술로 한정되는 것은 아니다. 따라서 반도체 애플리케이션들의 경우, 본 발명의 실시예들은 UVision™ 시스템과 같은 광 검사 시스템, SEMVision™시스템과 같은 검토 시스템(둘 다 Applied Materials Inc.로부터 상업적으로 입수할 수 있음)에 의해, 또는 해당 기술분야에 공지된 임의의 다른 종류의 검사 시스템이나 양식(modality)에 의해 생성되는 데이터의 분석에 적용될 수도 있다.

ADC 기계(26)는 검사 기계(24)에 의해 출력되는 검사 데이터를 수신하여 처리한다. 검사 기계(24)가 웨이퍼(22)의 이미지들로부터 모든 관련 검사 피처 값들을 추출하지 못한다면, ADC 기계(26)는 이러한 이미지 처리 기능들을 수행할 수 있다. ADC 기계(26)는 도 1에서 검사 기계 출력에 직접 접속되어 있는 것으로 도시되어 있지만, 일부 실시예들에서 ADC 기계(26)는 사전에 획득되어 저장된 검사 데이터에 대해 동작할 수도 있다. 대안적인 실시예들에서는, ADC 기계(26)의 기능이 검사 기계(24)에 통합될 수도 있다.

ADC 머신(26)은, 디스플레이(32) 및 입력 디바이스(34)를 포함하는 사용자 디바이스와 함께, 결함 정보 및 분류 파라미터들을 보유하기 위한 메모리(30)를 갖는 프로세서를 포함하는 범용 컴퓨터일 수 있다. ADC 머신(26)의 기능들을 구현하는 컴퓨터는 ADC 기능들에 전용화될 수 있거나, 또는 그 컴퓨터는 추가적인 컴퓨팅 기능들도 또한 수행할 수 있다. 일 실시예에서는, 여기서 설명된 ADC 기능들 중 적어도 일부가 전용 또는 프로그램가능 하드웨어 로직에 의해 수행된다.

ADC 머신(26)은, 상기 정의된, 단일-클래스 및 멀티-클래스 분류기들 모두를 포함하는 다수의 분류기들을 구동시킨다. 후속하는 실시예들은, 예시 및 명확성을 위해, 머신(26) 및 시스템(20)의 다른 엘리먼트들을 참조하여 설명될 것이지만, 이러한 실시예들의 원리들은 다수의 클래스들의 결함들 또는 다른 알려지지 않은 특징들을 처리할 수 있는 임의의 분류 시스템에서 마찬가지로 구현될 수 있다.

도 2는 본 발명의 실시예에 따른,한 세트의 결함들(42, 44, 50, 51, 56)이 매핑되는 특징 공간(feature space)(40)의 예시적인 개략적 대표도이다. 특징 공간(40)이 2차원으로 표현되지만, 본 명세서에 설명되는 분급 프로세스들은 통상적으로 더 높은 차원의 공간들에서 수행된다. 도 2에서의 결함들은 2개의 상이한 클래스들에 속하는 것으로 가정되는데, 하나는 결함들(42)(아래에서 "Class I"로 지칭될 것임)과 연관되고, 다른 하나는 결함들(44)(아래에서 "Class II"로 지칭될 것임)과 연관된다. 결함들(42)은 경계(52)에 의해 특징 공간(40)에서 경계가 되는 반면, 결함들(44)은 경계(54)에 의해 특징 공간(40)에서 경계가 된다. 경계들은 오버랩될 수 있다.

ADC 기계는 결함들을 분급하기 위한 두 타입들의 분급기들: 다중-클래스 분급기 및 적어도 하나의 단일-클래스 분급기에 적용될 수 있다. 다중-클래스 분급기는 Class I과 Class II를 구별한다. 일 실시예에서, 다중-클래스 분급기는 바이너리 분급기인데, 이는 두 클래스들과 연관된 영역들 사이의 경계선(46)을 정의한다. 일부 실시예들에서, ADC 기계는 다수의 바이너리 분급기들을 중첩함으로써 다중-클래스 분급을 수행하는데, 각각은 클래스들의 상이한 쌍에 대응하며, 다수의 바이너리 분급기들로부터 가장 포지티브한 보트(positive vote)들을 수신하는 클래스에 각각의 결함을 할당한다. 일단 결함들이 다중-클래스 분급기에 의해 분급되었으면, 경계들(52 및 54)에 의해 표현되는 단일-클래스 분급기들은 "미공지된 것"으로서 경계들 밖의 결함들을 거부하면서 각각의 클래스에 신뢰성있게 할당될 수 있는 결함들을 식별한다. 이러한 단일-클래스 분급기들은 미국 특허 출원 제12/844,724호에서 보다 상세하게 설명되며, 아래에서 도 3과 함께 추가로 설명된다.

일부 실시예들에서, ADC 기계의 시스템 오퍼레이터는 결함 클래스들과 연관된 특징 공간(40) 내의 영역들의 경계선들의 위치들을 결정하는 신뢰성 임계치들을 제공한다. 다중-클래스 분급을 위한 신뢰성 임계치를 셋팅하는 것은 경계선(46)의 양측 상에 경계들(48)을 배치하는 것에 상당할 수 있다. 일부 실시예들에서, 신뢰성 임계치가 더 높을수록, 경계들(48)은 더 멀리 떨어질 것이다. ADC 기계가 이러한 결함들을 요구되는 레벨의 신뢰를 가지는 하나의 클래스 또는 다른 클래스에 자동으로 할당할 수 없기 때문에, ADC 기계는 경계들(48) 사이에 위치하지만 "결정 불가능한 것"으로서 경계(52 또는 54) 내에 있는 결함들(51)을 거부할 수 있다. 일 실시예에서, 결정 불가능한 결함들은 분급을 위해서 시스템 오퍼레이터와 같은 휴먼 인스펙터(human inspector)에 제공된다. 일 실시예에서, 결정 불가능한 결함들은 분급을 위해서 이전의 분급기들에 이용가능하지 않은 새로운 지식을 부가하는 양식(modality)에 제공된다.

일부 실시예들에서, 신뢰성 임계치들은 단일-클래스 분급기들의 경계의 형상을 제어한다. 형상은 기하학 형태의 경계를 지칭할 수 있으며, 또한 경계의 범위를 지칭할 수도 있다. 형상은 단일-클래스 분급기들을 구현하는데 사용되는 커널 함수의 파라미터와 연관될 수 있다. 신뢰성 임계치의 각각의 값에 대하여, ADC 기계는 아래에서 도 6과 함께 보다 상세하게 설명되는 바와 같이, 파라미터의 최적의 값을 선택한다. 일부 실시예들에서, 신뢰성 임계치가 증가함에 따라 경계의 범위는 축소되고, 상이한 커널 파라미터 값들이 선택됨에 따라 기하학 형태의 경계는 또한 변화할 수 있다.

다시 도 2를 참조하면, 결함들(56)이 다중-클래스 분급기에 의해 결정되었을 수 있지만, 결함들(56)은 경계들(52 및 54) 밖에 있으며, 따라서 "미공지된 것"으로서 분급될 수 있다. 결함들(50)이 경계들(52 및 54) 밖에 있기 때문에, 모두 경계들(52 및 54) 밖에 있으며 경계들(48) 사이에 있는 결함들(50)은 또한 "미공지된 것"으로 간주된다. 일부 실시예들에서, 더 낮은 신뢰성 임계치를 셋팅하는 것은 결함들(50) 및/또는 결함들(56)을 포함하기 위해서 경계(52 및/또는 54)를 충분히 확장할 수 있어서, ADC 기계에 의한 더 적은 결함들의 거부를 초래할 수 있다. 그러나, 더 낮은 신뢰성 레벨들을 셋팅함으로써, ADC 기계에 의해 더 많은 분급 에러들이 생성될 수 있으며, 따라서 분급의 순도(purity)가 감소할 것이다. 일부 실시예들에서, 신뢰성 임계치를 증가시키는 것은 분급의 순도를 향상시킬 수 있지만, 더 높은 거부율을 초래할 수 있다(더 많은 결함들이 ADC 기계에 의해 미공지된 것으로서 거부될 것이다).

도 3a는 본 발명의 실시예에 따른, ADC 머신(예컨대, 도 2의 ADC 머신(26))의 기능 엘리먼트들을 도시하는 블록도이다. 일부 실시예들에서, 자동 프로세싱 컴포넌트들(60)은 도 1의 프로세서(28)에 의해 실행되는데 반해, 인간 검사자(70)는 검사 단말(68)을 통해 도 1의 ADC 머신(26)과 상호작용한다. 비록 자동 프로세싱 컴포넌트들(60) 중 적어도 일부가 하드웨어 및 소프트웨어 엘리먼트들의 결합으로서 또는 하드웨어 로직으로 대안적으로 구현될 수 있을지라도, 그 자동 프로세싱 컴포넌트들(40)은 예컨대 소프트웨어 모듈들로서 구현될 수 있다.

일부 실시예들에서, 이미지 프로세싱 동작들은 검사 머신(예컨대, 도 1의 검사 머신(24))에 의해 포착된 각각의 결함 이미지에 프로세서(예컨대, 도 1의 프로세서(28))에 의해 적용된다. 이미지 프로세싱 동작들은 형상, 텍스쳐 및 컨텍스츄얼 특징들과 같은 결함 이미지에 대한 특징 값들의 벡터를 추출할 수 있다. 자동 분류기(61)는 클래스 라벨과 연관된 신뢰성 값과 함께 그 클래스 라벨을 각각의 결함에 할당할 수 있다. 신뢰성 값은 결함이 할당된 클래스에 실질적으로 속할 가능성을 나타낼 수 있다.

비교기(66)는 신뢰성 값을 신뢰성 임계치와 비교할 수 있다. 일 실시예에서, 신뢰성 임계치가 ADC 머신의 운영자에 의해 제공된다. 대안적인 실시예에서, 신뢰성 임계치는 목표 순도 및/또는 최대 거부 레이트와 같이 운영자에 의해 규정되는 하나 이상의 분류 성능 측정들에 기초하여 ADC 머신에 의해 컴퓨팅된다. 만약 정해진 결함의 분류의 신뢰성이 신뢰성 임계치(거부 레벨 임계치)를 충족시킨다면, 자동 할당 모듈(71)이 분류를 정확한 것으로서 용인할 수 있다. 일 실시예에서, 만약 분류의 신뢰성이 신뢰성 임계치를 충족하지 않는다면, 결함은 거부되고, 검사자(70)에 의한 시각적 분류를 위해 단말(68)에 전달될 수 있다. 일 실시예에서, 거부된 결함들은 X-레이 분광학 등과 같은 추가적인 자동 분류 절차들을 사용하여 분석된다. 일부 실시예들에서는, 분류 결과들의 순도와 거부들의 수 간의 균형을 달성하기 위해 신뢰성 임계치가 결정된다. 비록 도 3a는 단일 거부 레벨 임계치를 도시하고 있지만, 대안적인 실시예들에서는, 시스템 운영자가 상이한 결함 클래스들에 대해 상이한 거부 레벨 임계치들 또는 신뢰성 임계치들을 설정할 수 있다.

통합 로직(72)은 모듈(71)로부터의 자동 분류 결과들 및 단말(68)로부터의 시각적 분류의 분류 결과들 양쪽 모두를 수신할 수 있고, 통합된 레포트(74)를 생성할 수 있다. 레포트(74)는, 예컨대, 디스플레이(32) 상에서 제시될 수 있고, 상이한 클래스들 사이의 결함들의 분포를 보여줄 수 있다. 일부 실시예들에서, 더 일반적인 결함 타입들에 관한 분포의 일부는 자동 분류 프로세스로부터 발생하는 반면에, 덜 일반적인 결함 타입들은 시각적으로 분류된다. 레포트(74)는, 최적의 순도 레벨과 함께, 테스트 하에 있는 샘플 또는 샘플들의 완전한 피쳐(picture)를 시스템 운영자에게 제공할 수 있다.

일부 실시예들에서, 프로세싱 검사 동안에 통합 로직(72)에 의해 수집되는 정보는 분류기(61)를 개선(refine)하는데 있어 적용될 수 있다(도 3a에서 통합 로직(72)으로부터 분류기(61)로의 실선 화살표로 표시된 바와 같이). 예컨대, 로직(72)은 클래스 경계들을 조정하기 위해 인간 검사자(70)에 의해 및/또는 다른 자동 분류 절차들에 의해 제공되는 분류 결과들을 통합할 수 있다. 일부 실시예들에서, 통합 로직(72)은 덜 일반적인 클래스에 대해 신뢰가능한 자동 분류기를 정의하기 위해, 이러한 덜 일반적인 클래스에 대해 가시적 분류 결과들을 누적한다. 이러한 예들에서, 일단 미리 결정된 양의 시각적 분류 결과들이 누적되면, 이러한 덜 공통적인 클래스는, 분류기(61) 및 자동 할당 모듈(71)에 의해 자동적으로 처리되는 클래스들의 그룹에 부가될 수 있다.

도 3b는 본 발명의 일 실시형태에 따른, 도 3a의 분류기(61)와 같은 분류기의 예시적인 블록도이다. 분류기는 멀티-클래스 분류기(62) 및 하나 도는 그 초과의 단일-클래스 분류기들(64)을 포함할 수 있다. 일 실시형태에서, 분류기는 ADC 시스템에서의 각각의 결함 클래스에 대한 단일-클래스 분류기(64)를 포함할 수 있다. 대안적인 실시형태에서, 단일-클래스 분류기(64)는 하나 초과의 결함 클래스에 대해 사용될 수 있다.

멀티-클래스 분류기(62)는, 각각의 결함에 대한 결함 클래스를 선택하기 위해 또는 결정가능하지 않은 또는 알려지지 않은 것으로서 그 결함을 거부하기 위해 그 각각의 결함에 대한 피쳐 값들의 벡터를 프로세싱할 수 있다. 일 실시형태에서, 멀티-클래스 분류기(62)는 지원 벡터 머신이다. 대안적인 실시형태에서, 멀티-클래스 분류기(62)는 지원 벡터 머신과 유사한 속성들을 갖는 분류기이다.

단일-클래스 분류기(64)는, 단일-클래스 분류기(64)에 의해 표현된 클래스 또는 클래스들에 대한 하나 또는 그 초과의 거부 법칙들에 대한 결함의 피쳐들을 체크할 수 있다. 단일-클래스 분류기(64)의 동작은 도 6과 관련하여 더 상세히 설명되며, 단일-클래스 분류기(64)의 특정한 양상들은 상술된 미국 특허 출원 제 12/844,724호에서 또한 설명된다.

도 4는 본 발명의 일 실시형태에 따른, 주어진 결함 클래스에 대한 경계들(84, 86, 88, 90)을 나타내는 피쳐 공간(80)의 예시적인 개략적 표현이다. 몇몇 실시형태들에서, 각각의 경계(84, 86, 88, 90)는 상이한 신뢰도 임계치에 대응할 수도 있다. 몇몇 실시형태들에서, 각각의 경계(94, 86, 88, 90)는 상이한 거부 레이트 또는 클래스 백분위수 통계치에 대응할 수도 있다. 예를 들어, 내부 경계(84)는 높은 신뢰도 임계치를 취함으로써 생성될 수도 있어서, 경계(84) 내에 있는 결함들이 높은 순도로 주어진 클래스에 속하게 할 것이다. 이러한 예에서, 경계(84) 외부에 있는 결함들은 "알려지지 않은" 것으로서 거부될 것이며, 사람 조사관 또는 또 다른 조사 양태(modality)로 전달되는 높은 부분의 결함들을 초래하지만, 이들 "알려지지 않은" 결함들의 대부분이 실제로는 주어진 클래스에 속한다. 각각의 경계(86, 88, 90)는 더 낮은 신뢰도 임계치 및 더 낮은 순도 뿐만 아니라 더 낮은 거부 레이트에 대응할 수 있다.

도 4에 의해 표현된 분류기의 결함(82)으로의 적용은 결함(82)에 대한 특정한 신뢰도 값의 계산을 초래할 수도 있다. 신뢰도 값은 결함(82)이 클래스에 속하는 확률에 대응할 수 있다. 경계(88)에 의해 표현된 신뢰도 임계치가 분류기에 의해 선택되면, 결함(82)은 분류기에 의해 표현된 클래스에 속하는 것으로서 거부될 것이다. 그러나, 경계(90)에 의해 표현된 신뢰도 임계치가 분류기에 의해 선택되면, 결함(82)은 분류기에 의해 표현된 클래스에 속하는 것으로서 수용될 것이다. 경계가 결함 클래스에 대한 거부 법칙들의 관점들로 정의되는 방식은 도 6과 관련하여 추가적으로 설명된다.

도 5는 본 발명의 일 실시형태에 따른, 거부 레이트의 함수로서의 분류 순도의 예시적인 개략적 그래프이다. 몇몇 실시형태들에서, 다른 분류 및 클래스 추출 방식들은 그들의 안정도 또는 신뢰도 표시들에 대한 유사한 의존성을 가질 것이다. ADC 머신은 트레이닝 데이터의 분류의 실제 결과들에 기초하여 그래프를 생성할 수도 있다. 이러한 목적을 위해, ADC 머신은, 트레이닝 데이터 내의 결함들의 세트에 걸친 자동 분류 결과들을 사람 조사관에 의해 수행된 "골드(gold) 표준"(검증 세트) 시각적 분류와 비교할 수 있다. 비교는 상이한 신뢰도 임계치들에 대해 (대응하는 상이한 거부 레이트들을 이용하여) 수행될 수도 있다. 모든 결함들이 제로 거부 레이트로 ADC 머신에 의해 자동적으로 분류될 경우, 머신이 의문의 여지가 있는 많은 결함들을 분류하도록 요구되므로, 분류의 순도는 낮다. 그러나, 높은 거부 레이트를 선택하는 것은 높은 순도의 분류를 제공할 수도 있지만, ADC 머신에 의해 "알려지지 않은" 것으로서 분류된 결함들의 시각적 분류에서 더 많은 양의 시간을 소비하도록 사람 조사관에게 요구하는 것을 초래할 수도 있다.

ADC 머신의 오퍼레이터(예를 들어, 사람 조사관)는, 원하는 순도 레벨을 제공할 거부 레이트를 선택하기 위해 또는 특정한 거부 레이트를 셋팅한 것으로부터 초래할 분류의 순도를 평가하기 위해 도 5에 도시된 바와 같은 그래프를 사용할 수도 있다.

도 6은 본 발명의 일 실시형태에 따른, ADC 머신에 의해 사용된 단일-클래스 분류기를 도시하는 피쳐 초공간(hyperapace)의 예시적인 개략적 표현이다. 일 실시형태에서, 단일-클래스 분류기는, 해당 클래스에 대한 특정한 신뢰도 레벨과 연관되는 (도 4의 경계들(84, 86, 88, 90)과 같은) 클래스 경계를 정의하는 일-클래스 지원 벡터 머신(OCSVM)에 기초한다. 결함들이 클래스 경계 내에 있으면, 결함은 이러한 레벨의 신뢰도로 클래스에 속하는 것으로 고려될 수도 있다. 그렇지 않으면, 결함은 알려지지 않은 것으로서 분류될 수도 있다.

일 실시형태에서, OCSVM은 기본적인 SVM 알고리즘의 비선형 커널-기반 버전이다. (예를 들어, 가우시안 커널과 같은) 커널은 입력 결함 데이터를 고차원 공간으로 변환하기 위해 사용될 수 있으며, 여기서, 분류기가 정의된다. 커널은 비선형 분리기들을 생성하지만, 커널 공간 내에서 그것은 선형 방정식을 구성한다. 상세하게, ADC 머신은, 매핑

을 사용하여, 무한 유클리드 피쳐 공간 H(힐버트 공간)에 데이터를 매핑한다. 예를 들어, 결함들 x_i 및 x_j(그들의 피쳐 벡터들에 의해 표현됨)에 대한 가우시안 커널 함수 K는,

이도록 정의된다. 여기서, γ는 가변 커널 파라미터이며, 그의 값은, 해당 클래스에 대응하는 피쳐 공간 내의 구역의 형상(사이즈 및 형태)를 결정한다. 주어진 결함 x에 대한 단일-클래스 결정값은,

에 의해 주어지며, 여기서, {x_i}는 트레이닝 벡터들의 세트이고, α_i는 라그랑지(lagrange) 승수들이며, b는 거리 파라미터이다. 커널 함수 K를 갖는 클래스에 대해, 수학식 (2)의 값이 음이 아닌 결함들은 클래스 내에 있는 것으로 고려되지만, 값이 음인 결함들은 "알려지지" 않은 것이다. 계산 및 계산 파라미터 셋팅들의 이러한 분류의 세부사항들은 당업계에 알려져 있다.

도 6은 트레이닝 데이터가 초구(hypersphere)(

) 상에 맵핑되는 특징 공간(H)을 예시한다. OCSVM 알고리즘은 초평면(hyperplane)(

)을 규정하며, 이는 기점(origin)(

)으로부터 거리(

)에서 초구의 지향 반경(directed radius)(

)에 직교한다, 즉

이다. 해당 클래스의 결함들(44)은 경계선 포인트들(100) 사이의 초구 상에 놓이며, 이는 서포트 벡터들을 나타낸다. 트레이닝 페이즈 동안, ADC 머신은 주어진 신뢰성 임계치에 대해 가장 작은 스페리컬 캡(spherical cap)(가장 작은

)을 제공할 서포트 벡터들을 획득할 수 있다. 이러한 연산은 거리(

)를 최대화하는 것과 동등하다. OCSVM 분류기가 트레이닝된 후에, "미공지" 결함(56)이 초평면(

)의 먼 측 상에 놓이는 것이 발견될 것이다(이러한 경우에 거리(

) 만큼).

단일-클래스 분류기의 최적의 성능을 위해(즉, 최대한의 순도의 자동 분류는 주어진 거부 레이트에서 초래됨), 커넬 함수의 형상은 신뢰성 임계치에서의 변화와 함께 변화될 수 있다. 파라미터(

)의 값을 변경함으로써 달성될 수 있는 이러한 형상 변화는 도 6에 도시된 바와 같이, 초평면(

)의 배향각(

)을 변화시키는 것과 동등하다. 이러한 변화는 상이한 클래스 신뢰성 경계를 형성할 수 있다. 도 6은 경계선 포인트들(서포트 벡터들)(100 및 104) 및 파라미터들(

및

)을 각각 갖는 2개의 초평면들을 예시한다. 제 2 초평면들의 배향은 부가적인 결함(102)을 허용하고, 이는 제 1 초평면에 의해 "미공지"로서 거부될 것이다.

도 6에 도시된 초평면들 각각에 대한 신뢰성 임계치는 각각의 파라미터(

,

)에 의해 주어진다.

의 주어진 값에 있어서, 대응하는 커넬 특성들은, 트레이닝 데이터의 세트에 걸쳐 아래의 최소화 문제를 해결함으로써 결정된다:

제약받는 것은 다음과 같다:

여기서,

는 트레이닝 세트의 크기(즉, 분류기를 발생시키는데 이용되었던 미리-분류된 결함 이미지들의 수)이고,

는 각각의 결함에 대한 분류 에러의 값이다.

식(3)의 문제는 라그랑지 승수법들(Lagrange multipliers)의 벡터(

)에 걸쳐 최소화 문제로서 리캐스팅(recast) 될 수 있다:

제약받는 것은

그리고 모든

에 대해

이다. 여기서,

는 벡터 <1,1,1,...,1>이며,

는 다음에 의해 주어지는

포지티브 준정부호(semi-definite) 매트릭스이다:

문제(5)의 솔루션은 신뢰성 임계치(

)의 각각의 값에 대한 파라메트릭 분류 규칙들(동등하게 거부 규칙들로 지칭됨)의 세트이다. 규칙들은 일반적 형태:

를 갖는다. ADC 머신은 커넬 파라미터(

)의 최적의 값을 자동적으로 선택할 수 있고, 이는 커넬 함수에 의해 주어지는 바와 같은, 클래스에 대응하는 특징 공간에 구역의 적합한 형상을 발생시킨다. 분류 규칙들의 파라미터들은 각각의 새로운 결함(

)에 대해 식(2)에서 적용된다.

도 7은 본 발명의 실시예에 따른, 분류기 커넬 파라미터들을 설정하기 위한 방법의 실시예의 흐름도이다. 방법은 하드웨어(회로망, 전용 로직 등), (이를 테면, 범용 컴퓨터 시스템 또는 전용 머신 상에서 실행되는) 소프트웨어, 또는 이들 양측 모두의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행된다. 일 실시예에서, 방법은 도 1의 ADC 머신(26)에 의해 수행된다.

블록(110)에서, 프로세싱 로직은 각각의 관심있는 결함 클래스에 대한 미리-분류된 트레이닝 데이터의 세트를 수신하고, 커넬 파라미터(예를 들어,

) 및 신뢰성 임계치(예를 들어,

)의 다수의 상이한 값들 각각에 대해 트레이닝 데이터에 걸쳐 식(예를 들어, 도 6의 문제(5))을 해결한다. 프로세싱 로직은 각각의 (

,

) 쌍에 대한 거부 레이트(즉, "미공지"로 분류되는 테스트 세트에서의 결함들의 퍼센티지)를 추정한다.

블록(112)에서, 프로세싱 로직은 블록(110)의 결과들에 기초하여 각각의

와 함께 이용될

의 최적의 값을 선택한다.

의 최적의 값은 시스템 및 애플리케이션 요건들에 따라 다양한 방식들로 규정될 수 있다. 일 실시예에서, 분류기가 트레이닝 데이터에 적용될 때의

의 값에 가장 근접하는 실제 거부 레이트를 제공하는

의 값이 선택된다. 예를 들어,

이 0.1로 설정된다면,

의 최적의 값은 10% 거부 레이트를 제공하는 값이다. 이러한 실시예에서, 이러한 정의가 특히 유용할 수 있는데, 그 이유는 상기 정의는, 거부 레이트에 걸쳐 시스템 오퍼레이터 정밀 제어를 제공하고, 동시에, 분류기에 의해 허용되는 결함들의 분류의 순도를 최적화하기 때문이다. 몇몇 실시예들에서, 블록들(110 및 112)은

의 값들의 미리결정된 세트의 각각에 대해 반복되고, 프로세싱 로직은 그가 최적의 값을 찾을 때까지 상이한

값들에 걸쳐 서치를 수행한다.

일 실시예에서, 테스트 세트에 걸쳐 계산된 실제 거부 레이트가,

의 최상의 선택에 대한 어떠한 미리결정된 마진(margin)보다 많게

의 값과 상이하다면, 프로세싱 로직은, 해당하는 신뢰성 레벨(

)에 대한 이러한 결함 클래스에 대해 최적의

이 존재하지 않는다고 결정할 수 있다. 이러한 실시예에서, 프로세싱 로직은, 이러한 클래스에 대한 미리규정된 특정 거부 레이트를 이용하지 말라는 권고를 시스템 오퍼레이터에게 제공할 수 있다. 프로세싱 로직은, 상이한 거부 레이트(예를 들어, 하나 또는 둘 이상의 인접한 거부 레이트들)를 선택하라는 권고를 시스템 오퍼레이터에게 추가로 제공할 수 있다. 몇몇 실시예들에서, 최적의

은, 트레이닝 세트가 작은, 작은 결함 클래스들에 대해 발견되지 않는다. 몇몇 실시예들에서, 결함 클래스의 부가적인 결함들이 인간 검사자에 의해 시각적으로 분류된 후에, 이들 부가적인 결함들은 트레이닝 세트에 부가될 수 있으며, 그 다음으로 블록들(110 및 112)은, 해당하는 클래스에 대해 자동화 분류 규칙들을 개량하기 위해 반복될 수 있다.

도 4로 돌아가 참조하면, 경계들(84, 86, 88, 90) 각각은 상이한 (

,

) 쌍에 대응한다. 예를 들어, 다음과 같다:

주어진 결함의 신뢰성 값은, 결함이 떨어지는 외측의 가장 가까운 경계의 신뢰성 임계치(

)에 의해 주어질 수 있으며; 따라서, 본 예에서 결함(82)에 대한 신뢰성 값은 P=0.15이다.

이제, 도 7로 돌아가서, 블록(114)에서, 프로세싱 로직은

의 최적 값을 이용하여, 각각의 신뢰성 임계치

에 대해 거부 규칙들

을 계산한다.

단계(116)에서, 프로세싱 로직은, 각

에 대한 다수의 자동 분류 결과들 뿐 아니라, 각

에 대한 거부율을 검증하기 위해, 트레이닝 데이터에 거부 규칙들을 적용한다. 일 실시예에서, 트레이닝 데이터에 대해 거부 규칙들을 적용한 결과들은 도 5와 관련하여 상기 설명된 바와 같이 그래프화된다. 대안적인 실시예에서, 트레이닝 데이터에 대해 거부 규칙들을 적용한 결과들은 텍스트 보고서(textual report)로 프린트된다. 각각의 결함 클래스에 대하여 트레이닝 데이터에 대해 거부 규칙들을 적용한 결과들은, 시스템 오퍼레이터로 하여금, 예를 들어 희망하는 다수의 분류를 제공하게 될 그리고 그 반대를 제공하게 될 거부율을 고를 수 있게 한다.

도 8은 머신의 도면을 컴퓨터 시스템(800)의 예시적인 형태로 도시하고, 머신으로 하여금 본 명세서에서 논의된 방법들 중 임의의 하나 또는 그 초과를 수행하게 하기 위한 명령들의 세트가 머신 내에서 실행될 수 있다. 대안적인 실시예들에서, 머신은 LAN, 인트라넷, 익스트라넷 또는 인터넷에서 다른 머신들에 접속(예를 들어, 네트워킹)될 수 있다. 머신은, 클라이언트-서버 네트워크 환경에서 서버 또는 클라이언트 머신의 용량 내에서 동작할 수 있거나, 또는 피어-투-피어(또는 분산된) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신은 개인용 컴퓨터(PC), 태블릿 PC, 셋탑 박스(STB), 개인 휴대 정보 단말(PDA), 셀룰러 전화, 웹 기기, 서버, 네트워크 라우터, 스위치 또는 브릿지, 또는 임의의 머신에 의해 행해질 동작들을 특정하는 명령들(순차적 또는 다른 방식)의 세트를 실행할 수 있는 그러한 임의의 머신일 수 있다. 추가로, 오직 단일 머신이 도시되었지만, "머신"이라는 용어는 또한, 본 명세서에서 논의되는 방법들 중 임의의 하나 또는 그 초과를 수행하기 위한 명령들의 세트(또는 다수의 세트들)를 개별적으로 또는 함께 실행하는 머신들의 임의의 집합을 포함하는 것으로 받아들여질 것이다.

예시적인 컴퓨터 시스템(800)은, 버스(830)를 통해 서로 통신하는, 프로세싱 디바이스(프로세서)(802), 메인 메모리(804)(예를 들어, 판독 전용 메모리(ROM), 플래쉬 메모리, 동적 랜덤 액세스 메모리(DRAM), 예를 들어 동기식 DRAM(SDRAM), 더블 데이터 레이트(DDR SDRAM) 또는 DRAM(RDRAM) 등), 정적 메모리(806)(예를 들어, 플래쉬 메모리, 정적 랜덤 액세스 메모리(SRAM) 등) 및 데이터 저장 디바이스(818)를 포함한다.

프로세서(802)는 마이크로프로세서, 중앙 처리 장치 등과 같은 하나 또는 그 초과의 범용 프로세싱 디바이스들을 표현한다. 더 구체적으로, 프로세서(802)는 CISC(complex instruction set computing) 마이크로프로세서, RISC(reduced instruction set computing) 마이크로프로세서, VLIW(very long instruction word) 마이크로프로세서, 또는 다른 명령 세트들을 구현하는 프로세서 또는 명령 세트들의 조합을 구현하는 프로세서들일 수 있다. 프로세서(802)는 또한 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 디지털 신호 프로세서(DSP), 네트워크 프로세서 등과 같은 하나 또는 그 초과의 특수 목적 프로세싱 디바이스들일 수 있다. 프로세서(802)는 본 명세서에서 논의되는 동작들 및 단계들을 수행하기 위한 명령들(822)을 실행하도록 구성된다.

컴퓨터 시스템(800)은 네트워크 인터페이스 디바이스(808)를 더 포함할 수 있다. 컴퓨터 시스템(800)은 또한 비디오 디스플레이 유닛(810)(예를 들어, 액정 디스플레이(LCD) 또는 음극선관(CRT)), 영숫자(alphanumeric) 입력 디바이스(812)(예를 들어, 키보드), 커서 제어 디바이스(814)(예를 들어, 마우스) 및 신호 생성 디바이스(816)(예를 들어, 스피커)를 포함할 수 있다.

데이터 저장 디바이스(818)는, 본 명세서에서 설명된 방법들 또는 기능들 중 임의의 하나 또는 그 초과를 구현하는 명령들(822)(예를 들어, 소프트웨어)의 하나 또는 그 초과의 세트들이 저장되는 컴퓨터 판독가능 저장 매체(824)를 포함할 수 있다. 명령들(822)은 또한, 컴퓨터 판독가능 저장 매체를 또한 구성하는 컴퓨터 시스템(800), 메인 메모리(804) 및 프로세서(802)에 의해 명령들의 실행 동안 메인 메모리(804) 내에서 및/또는 프로세서(802) 내에서 완전히 또는 적어도 부분적으로 상주할 수 있다. 명령들(822)은 추가로, 네트워크 인터페이스 디바이스(808)를 이용하여 네트워크(820)를 통해 송신 또는 수신될 수 있다.

일 실시예에서, 명령들(822)은, 자동 및 수동 결함 분류의 통합을 위한 명령들, 및/또는 자동 및 수동 결함 분류의 통합을 위한 명령들을 포함하는 모듈을 호출하는 방법들을 포함하는 소프트웨어 라이브러리를 포함한다. 일 실시예에서, 명령들(822)은, 자동 및 수동 결함 분류의 통합을 위한 명령들, 및/또는 자동 및 수동 결함 분류의 통합을 위한 명령들을 포함하는 모듈을 호출하는 방법들을 포함하는 소프트웨어 라이브러리를 포함한다. 컴퓨터 판독가능 저장 매체(824)(머신 판독가능 저장 매체)는 예시적인 실시예에서 단일 매체인 것으로 도시되어 있지만, "컴퓨터 판독가능 저장 매체"라는 용어는 명령들의 하나 또는 그 초과의 세트들을 저장하는 단일 매체 또는 다수의 매체(예를 들어, 중앙식 또는 분산식 데이터베이스, 및/또는 연관 캐쉬들(associated caches) 및 서버들)를 포함하는 것으로 받아들여져야 한다. "컴퓨터 판독가능 저장 매체"라는 용어는 또한, 머신에 의한 실행을 위한 명령들의 세트를 저장, 인코딩 또는 전달할 수 있고, 그리고 머신으로 하여금 본 발명의 방법들 중 임의의 하나 또는 그 초과를 수행하게 하는 임의의 매체를 포함하는 것으로 받아들여질 것이다. 그에 따라, "컴퓨터 판독가능 저장 매체"라는 용어는, 솔리드 스테이트 메모리들, 광학 매체 및 자기 매체를 포함하는 것으로(그러나 이에 한정되지 않음) 받아들여질 것이다.

상기 설명에서, 많은 세부사항들이 설명된다. 그러나 본 발명이 이러한 특정한 세부사항들 없이도 실시될 수 있다는 것은, 본 개시의 이점을 아는 당업자에게 명백할 것이다. 일부 경우들에, 주지의 구조들 및 디바이스들은 본 발명을 불명료하게 하는 것을 피하기 위하여 상세히 설명하는 대신 블록도의 형태로 도시된다.

상세한 설명의 일부 부분들은 컴퓨터 메모리 내에서 데이터 비트들에 대한 동작들의 알고리즘들과 기호적 표현들에 관하여 제시된다. 이들 알고리즘의 설명들과 표현들은 데이터 프로세싱 기술분야들의 당업자들이 그 기술분야의 다른 당업자들에게 이들 작업의 본질을 가장 효과적으로 전달하기 위해서 사용되는 수단이다. 여기서, 알고리즘은 일반적으로, 원하는 결과로 이어지는 일관된 순서의 단계들인 것으로 여겨진다. 상기 단계들은 물리적 분량(quantity)들의 물리적 조작들을 요구하는 것들이다. 필수적이지는 않지만, 일반적으로 이러한 분량들은 저장, 전달, 조합, 비교, 및 그렇지 않으면 조작될 수 있는 전기적 또는 자기적 신호들의 형태를 취한다. 이러한 신호들을, 비트들, 값들, 요소들, 심볼들, 캐릭터들(characters), 용어들(terms), 수들(numbers) 등으로서 참조하는 것이 주로 통상의 용법(usage)의 이유들로 때때로 편리한 것으로 증명되었다.

그러나 모든 이러한 및 유사한 용어들은 적절한 물리적 분량들과 연관되고 그리고 이러한 분량들에 적용되는 편리한 라벨(label)들일 뿐임을 유념하여야 한다. 이하의 논의로부터 명백한 바와 같이, 특별히 달리 언급되지 않는다면, 명세서 전반에 걸쳐 "식별", "제시", "업데이트", "결정", "실행", "제공", "수신" 등과 같은 용어들을 사용하는 논의들은, 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리적(예를 들어, 전자적) 분량들로서 표현되는 데이터를 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 그러한 정보의 저장, 전송 또는 디스플레이 장치들 내의 물리적 분량들로서 유사하게 표현되는 다른 데이터로 변환 및 조작하는 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 작동들 및 프로세스들을 나타내는 것이 인식된다.

또한, 본 발명은 본 명세서의 동작들을 수행하기 위한 장치에 관한 것이다. 이 장치는, 요구되는 목적들을 위해 구성될 수 있거나, 또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화 또는 재구성되는 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 플로피 디스크들, 광학 디스크들, CD-ROM들 및 광자기 디스크들을 포함하는 임의의 타입의 디스크, ROM들(Read-Only Memories), RAM들(Random Access Memories), EPROM들, EEPROM들, 자기 또는 광학 카드들, 또는 전자적 명령들을 저장하기에 적합한 임의의 타입의 매체와 같은(그러나 이에 한정되는 것은 아님) 컴퓨터 판독가능 저장 매체에 저장될 수 있다.

상기 설명은 도해적이며, 비제한적인 것으로 의도됨이 이해될 것이다. 상기 설명을 읽고 이해할 때 당업자들에게 많은 다른 실시예들이 명확할 것이다. 따라서 본 발명의 범위는 첨부된 청구항들을 참조하여, 그러한 청구항들에 할당된 균등물들의 전체 범위와 함께 결정되어야 한다.

Claims (15)

1. 결함 분류 방법으로서,
   컴퓨터 시스템 내에, 피쳐 공간(feature space) 내의 영역의 정의를 저장하는 단계 ― 상기 정의는 결함들의 클래스와 관련되고, 파라미터를 포함하는 커널 함수(kernel function)를 포함하며, 상기 파라미터는 상기 영역의 형상을 결정함 ― ;
   상기 컴퓨터 시스템에 의해, 상기 클래스와 관련된 적어도 하나의 결함의 자동 분류를 위한 신뢰성 임계치(confidence threshold)를 수신하는 단계;
   상기 컴퓨터 시스템에 의해, 상기 신뢰성 임계치와 관련된 파라미터의 값을 선택하는 단계;
   상기 컴퓨터 시스템에 의해, 검사중인 하나 또는 그 초과의 샘플들 내에서 검출되는 다수의 결함들에 대한 검사 데이터를 수신하는 단계; 및
   상기 컴퓨터 시스템에 의해, 상기 파라미터의 선택된 값 및 상기 커널 함수를 이용하여, 상기 클래스에 대한 상기 다수의 결함들을 자동적으로 분류하는 단계;
   를 포함하는,
   결함 분류 방법.
2. 제 1 항에 있어서,
   상기 값을 선택하는 단계는,
   다수의 신뢰성 레벨들 각각을 다수의 파라미터 값들의 고유의(unique) 파라미터 값과 관련시키는 단계;
   상기 신뢰성 임계치와 관련된 파라미터 값을 선택하는 단계;
   상기 다수의 파라미터 값들을 이용하여 트레이닝 결과들의 세트를 얻기 위해 트레이팅 데이터에 상기 커널 함수를 적용하는 단계; 및
   상기 트레이닝 결과들에 기초하여, 각각의 신뢰성 레벨에 최적의 파라미터 값을 할당하는 단계;
   를 포함하는,
   결함 분류 방법.
3. 제 2 항에 있어서,
   상기 각각의 신뢰성 레벨에 최적의 파라미터 값을 할당하는 단계는,
   상기 커널 함수를 이용하여 상기 트레이닝 데이터를 자동적으로 분류하는 동안 상기 신뢰성 임계치에 해당하는 상기 다수의 결함들의 서브세트의 거부(rejection)를 초래하기 위해 각각의 신뢰성 임계치에 대해 파라미터 값을 선택하는 단계;
   를 포함하는,
   결함 분류 방법.
4. 제 1 항에 있어서,
   상기 피쳐 공간 내의 영역은 상기 커널 함수를 포함하는 단일-클래스 지원 벡터 머신(1-class support vector machine)에 의해 정의되며, 그리고
   상기 다수의 결함들을 자동적으로 분류하는 단계는, 상기 단일-클래스 지원 벡터 머신을 이용하여, 상기 클래스에 속하는 다수의 제 1 결함들과 상기 클래스와 관련하여 알려지지 않은 결함들로서 분류되는 다수의 제 2 결함들을 구별하는 단계를 포함하는,
   결함 분류 방법.
5. 제 4 항에 있어서,
   상기 다수의 결함들을 자동적으로 분류하는 단계는, 각 결함을 각각의 결함 클래스에 할당하기 위해 멀티-클래스 지원 벡터 머신을 적용하는 단계, 및 적어도 하나의 결정-불가한 결함(non-decidable defect)을 식별하는 단계를 포함하고,
   상기 결정-불가한 결함은 상기 피쳐 공간 내의 상기 결함 클래스들 중 적어도 2개의 결함 클래스의 다수의 영역들 간의 중복 구역(overlap area) 내에 있고,
   상기 단일-클래스 지원 벡터 머신은 상기 피쳐 공간 내의 초구(hypersphere)에 대한 상기 검사 데이터의 맵핑을 정의하고,
   상기 신뢰성 레벨 및 상기 파라미터의 값은 초구 캡(hyperspherical cap)을 생성하기 위해 상기 초구를 분할하는 초평면(hyperplane)을 정의하며, 그리고
   상기 초구 캡은 상기 클래스에 속하는 것으로서 분류되는 상기 다수의 결함들을 포함하는 피쳐 공간 내의 영역에 대해 맵핑되는,
   결함 분류 방법.
6. 피쳐 공간 내의 영역의 정의를 저장하도록 구성된 메모리 ― 상기 정의는 결함들의 클래스와 관련되고, 파라미터를 포함하는 커널 함수를 포함하며, 상기 파라미터는 상기 영역의 형상을 결정함 ― ; 및
   상기 클래스와 관련된 적어도 하나의 결함의 자동 분류를 위한 신뢰성 임계치를 수신하고, 상기 신뢰성 임계치와 관련된 파라미터의 값을 선택하고, 검사중인 하나 또는 그 초과의 샘플들 내에서 검출되는 다수의 결함들에 대한 검사 데이터를 수신하고, 그리고 상기 파라미터의 선택된 값 및 상기 커널 함수를 이용하여, 상기 클래스에 대한 상기 다수의 결함들을 자동적으로 분류하도록 구성된 프로세서;
   를 포함하는,
   장치.
7. 제 6 항에 있어서,
   상기 프로세서는 다수의 신뢰성 레벨들 각각을 다수의 파라미터 값들의 고유의 파라미터 값과 관련시키고, 상기 신뢰성 임계치와 관련된 파라미터 값을 선택하고, 상기 다수의 파라미터 값들을 이용하여 트레이닝 결과들의 세트를 얻기 위해 트레이팅 데이터에 상기 커널 함수를 적용하며, 그리고 상기 트레이닝 결과들에 기초하여, 각각의 신뢰성 레벨에 최적의 파라미터 값을 할당하도록 구성된,
   장치.
8. 제 7 항에 있어서,
   상기 프로세서는 상기 커널 함수를 이용하여 상기 트레이닝 데이터를 자동적으로 분류하는 동안 상기 신뢰성 임계치에 해당하는 상기 다수의 결함들의 서브세트의 거부를 초래하기 위해 각각의 신뢰성 임계치에 대해 파라미터 값을 선택하도록 구성된,
   장치.
9. 제 6 항에 있어서,
   상기 피쳐 공간 내의 영역은 상기 커널 함수를 포함하는 단일-클래스 지원 벡터 머신에 의해 정의되며, 그리고
   상기 다수의 결함들을 자동적으로 분류하는 것은, 상기 단일-클래스 지원 벡터 머신을 이용하여, 상기 클래스에 속하는 다수의 제 1 결함들과 상기 클래스와 관련하여 알려지지 않은 결함들로서 분류되는 다수의 제 2 결함들을 구별하는 것을 포함하는,
   장치.
10. 제 9 항에 있어서,
    상기 프로세서는 각 결함을 각각의 결함 클래스에 할당하기 위해 멀티-클래스 지원 벡터 머신을 적용하고, 적어도 하나의 결정-불가한 결함을 식별하도록 구성되고,
    상기 결정-불가한 결함은 상기 피쳐 공간 내의 상기 결함 클래스들 중 적어도 2개의 결함 클래스의 다수의 영역들 간의 중복 구역 내에 있고,
    상기 단일-클래스 지원 벡터 머신은 상기 피쳐 공간 내의 초구에 대한 상기 검사 데이터의 맵핑을 정의하고,
    상기 신뢰성 레벨 및 상기 파라미터의 값은 초구 캡을 생성하기 위해 상기 초구를 분할하는 초평면을 정의하며, 그리고
    상기 초구 캡은 상기 클래스에 속하는 것으로서 분류되는 상기 다수의 결함들을 포함하는 피쳐 공간 내의 영역에 대해 맵핑되는,
    장치.
11. 비-일시적인 컴퓨터 판독가능한 저장 매체로서,
    프로세싱 디바이스에 의해 실행될 때, 상기 프로세싱 디바이스로 하여금:
    피쳐 공간 내의 영역의 정의를 저장하는 단계 ― 상기 정의는 결함들의 클래스와 관련되고, 파라미터를 포함하는 커널 함수를 포함하며, 상기 파라미터는 상기 영역의 형상을 결정함 ― ;
    상기 클래스와 관련된 적어도 하나의 결함의 자동 분류를 위한 신뢰성 임계치를 수신하는 단계;
    상기 신뢰성 임계치와 관련된 파라미터의 값을 선택하는 단계;
    검사중인 하나 또는 그 초과의 샘플들 내에서 검출되는 다수의 결함들에 대한 검사 데이터를 수신하는 단계; 및
    상기 파라미터의 선택된 값 및 상기 커널 함수를 이용하여, 상기 클래스에 대한 상기 다수의 결함들을 자동적으로 분류하는 단계;를 포함하는 작업들을 실행하게 하는 명령들을 갖는,
    비-일시적인 컴퓨터 판독가능한 저장 매체.
12. 제 11 항에 있어서,
    상기 프로세싱 디바이스는:
    다수의 신뢰성 레벨들 각각을 다수의 파라미터 값들의 고유의 파라미터 값과 관련시키는 단계;
    상기 신뢰성 임계치와 관련된 파라미터 값을 선택하는 단계;
    상기 다수의 파라미터 값들을 이용하여 트레이닝 결과들의 세트를 얻기 위해 트레이팅 데이터에 상기 커널 함수를 적용하는 단계; 및
    상기 트레이닝 결과들에 기초하여, 각각의 신뢰성 레벨에 최적의 파라미터 값을 할당하는 단계;를 포함하는 작업들을 더 실행하는,
    비-일시적인 컴퓨터 판독가능한 저장 매체.
13. 제 12 항에 있어서,
    상기 프로세싱 디바이스는:
    상기 커널 함수를 이용하여 상기 트레이닝 데이터를 자동적으로 분류하는 동안 상기 신뢰성 임계치에 해당하는 상기 다수의 결함들의 서브세트의 거부를 초래하기 위해 각각의 신뢰성 임계치에 대해 파라미터 값을 선택하는 단계;를 포함하는 작업들을 더 실행하는,
    비-일시적인 컴퓨터 판독가능한 저장 매체.
14. 제 11 항에 있어서,
    상기 피쳐 공간 내의 영역은 상기 커널 함수를 포함하는 단일-클래스 지원 벡터 머신에 의해 정의되며, 그리고
    상기 다수의 결함들을 자동적으로 분류하는 단계는, 상기 단일-클래스 지원 벡터 머신을 이용하여, 상기 클래스에 속하는 다수의 제 1 결함들과 상기 클래스와 관련하여 알려지지 않은 결함들로서 분류되는 다수의 제 2 결함들을 구별하는 단계를 포함하는,
    비-일시적인 컴퓨터 판독가능한 저장 매체.
15. 제 14 항에 있어서,
    상기 프로세싱 디바이스는:
    각 결함을 각각의 결함 클래스에 할당하기 위해 멀티-클래스 지원 벡터 머신을 적용하는 단계, 및 적어도 하나의 결정-불가한 결함을 식별하는 단계;를 포함하는 작업들을 더 실행하며,
    상기 결정-불가한 결함은 상기 피쳐 공간 내의 상기 결함 클래스들 중 적어도 2개의 결함 클래스의 다수의 영역들 간의 중복 구역 내에 있고,
    상기 단일-클래스 지원 벡터 머신은 상기 피쳐 공간 내의 초구에 대한 상기 검사 데이터의 맵핑을 정의하고,
    상기 신뢰성 레벨 및 상기 파라미터의 값은 초구 캡을 생성하기 위해 상기 초구를 분할하는 초평면을 정의하며, 그리고
    상기 초구 캡은 상기 클래스에 속하는 것으로서 분류되는 상기 다수의 결함들을 포함하는 피쳐 공간 내의 영역에 대해 맵핑되는,
    비-일시적인 컴퓨터 판독가능한 저장 매체.

Images