KR102092054B1

KR102092054B1 - 자동 결함 분류에서 분류기 준비 및 유지

Info

Publication number: KR102092054B1
Application number: KR1020130043530A
Authority: KR
Inventors: 이단 카이제르만; 블라디미르 쉴레인; 에프라트 로젠만
Original assignee: 어플라이드 머티리얼즈 이스라엘 리미티드
Priority date: 2012-04-20
Filing date: 2013-04-19
Publication date: 2020-03-24
Also published as: JP6391083B2; US9607233B2; KR20130118822A; JP2013225313A; US20130279796A1; TW201346593A; TWI576708B

Abstract

분류를 위한 방법은 하나 또는 둘 이상의 샘플들에서 발견된 복수의 결함들과 연관된 검사 데이터를 수신하는 단계 그리고 복수의 결함들의 각각에 대한 클래스를 포함하는 하나 또는 둘 이상의 벤치마크 분류를 수신하는 단계를 포함한다. 클래스들의 하나 또는 둘 이상에 대한 준비 기준은 하나 또는 둘 이상의 벤치마크 분류 결과들에 기초하여 평가되고, 준비 기준은 각각의 클래스에 대해, 클래스에 대한 자동 결함 분류기를 트레이닝하기 위한 검사 데이터의 적합성을 포함한다. 검사 데이터의 일부는 준비 기준을 만족시키는 하나 또는 둘 이상의 클래스들과 연관된 하나 또는 둘 이상의 결함들에 대응하여 선택된다. 하나 또는 둘 이상의 자동 분류기들은 검사 데이터의 선택된 부분을 사용하여 준비 기준을 만족시키는 하나 또는 둘 이상의 클래스들에 대해 트레이닝된다.

Description

자동 결함 분류에서 분류기 준비 및 유지{CLASSIFIER READINESS AND MAINTENANCE IN AUTOMATIC DEFECT CLASSIFICATION}

본 발명은 일반적으로 자동화된 검사에 관한 것이고, 그리고 특히 제조 결함들의 분석을 위한 방법들 및 시스템들에 관한 것이다.

자동 결함 분류(ADC) 기술들은 반도체 산업에서 패턴화된 웨이퍼에 대한 결함들의 검사 및 측정에 널리 사용된다. ADC 기술들은 결함들의 존재를 검출할 뿐만 아니라 제조 공정에 대한 더 상세한 피드백을 제공하고 인간 검사자들에 대한 부하를 감소시키기 위해서 결함들을 자동적으로 유형별로 분류한다. ADC 기술들은, 예를 들어, 마이크로회로 패턴 자체에서의 불균일들(irregularities)과 연관된 결함들 및 웨이퍼 표면상의 미립자 오염물들로부터 발생하는 결함들의 유형들 중에서 구별하는데 사용되고, 그리고 또한 불균일들과 입자들의 특정 유형들을 식별할 수 있다.

ADC를 위한 다양한 방법들이 특허 문헌에 기술되어왔다. 예를 들어, 미국 특허 제 6,256,093 호는 스캔된 웨이퍼에서의 온-더-플라이(on-the-fly) ADC를 기술한다. 광원은 웨이퍼 상의 조명 스폿(illuminating spot)을 생성하도록 스캔된 웨이퍼를 조명(illuminate)한다. 스폿으로부터 산란된(scattered) 광은 2개 이상의 이격된 검출기들에 의해 감지되고, 웨이퍼에서의 결함들을 검출하고 결함들을 별개의 결함 유형들로 분류하도록 분석된다.

또 다른 예로서, 미국 특허 제 6,922,482 호는, 바운더리(boundary) 및 토포그래픽(topographical) 정보를 이용하는 핵심(core) 분류기를 사용하여, 반도체 웨이퍼의 표면상의 결함을 다수의 핵심 클래스들(core classes) 중 하나로 자동적으로 분류하는 것을 기술한다. 그런 다음에 결함은 핵심 클래스와 연관되고 오직 제한된 개수의 관련된 핵심 클래스들로부터 결함들을 분류하도록 트레이닝된(trained) 특정 적응성(adaptive) 분류기를 사용하여 하위클래스(subclass)로 더 분류된다. 핵심 분류기 또는 특정 적응성 분류기들에 의해서 분류될 수 없는 결함들은 전체(full) 분류기에 의해서 분류된다.

본 명세서에 기술된 본 발명의 실시예들은 검사 데이터에 기초한 결함들의 자동화된 분류를 위한 소프트웨어, 시스템들 및 개선된 방법들을 제공한다.

예시적인 컴퓨팅 시스템은 하나 또는 둘 이상의 샘플들에서 발견된 복수의 결함들과 연관된 검사 데이터를 수신한다. 컴퓨팅 시스템은 복수의 결함들의 각각에 대한 클래스를 포함하는 하나 또는 둘 이상의 벤치마크(benchmark) 분류 결과들을 수신한다. 컴퓨팅 시스템은 하나 또는 둘 이상의 벤치마크 분류 결과들에 기초하여 하나 또는 둘 이상의 클래스들에 대한 준비 기준(readiness criterion)을 평가하고, 준비 기준은 각각의 클래스에 대해서, 클래스에 대한 자동 결함 분류기를 트레이닝하기 위한 검사 데이터의 적합성(suitability)을 포함한다. 컴퓨팅 시스템은 준비 기준을 만족시키는 하나 또는 둘 이상의 클래스들과 연관된 하나 또는 둘 이상의 결함들에 대응하는 검사 데이터의 일부를 선택한다. 컴퓨팅 시스템은 준비 기준을 만족시키는 하나 또는 둘 이상의 클래스들에 대해 하나 또는 둘 이상의 자동 분류기들을 검사 데이터의 선택된 부분을 사용하여 트레이닝한다.

일 실시예에서, 컴퓨팅 시스템은 인간 검사자 또는 다른 검사 방식(modality)에 의해 제공된 하나 또는 둘 이상의 분류들을 수신하는 것에 의해서 하나 또는 둘 이상의 벤치마크 분류 결과들을 수신한다.

일 실시예에서, 컴퓨팅 시스템은 트레이닝된 자동 분류기들을 검사 데이터의 선택된 부분 이외에 추가적인 검사 데이터에 적용하여 추가적인 검사 데이터에 대한 복수의 제 1 분류들을 생성하고, 추가적인 검사 데이터 및 복수의 제 1 분류들에 기초하여 복수의 제 2 분류들을 획득하고, 그리고 하나 또는 둘 이상의 자동 분류기들의 추가적인 트레이닝에서의 사용을 위해 검사 데이터의 선택된 부분에서 복수의 제 2 분류들과 추가적인 검사 데이터를 통합(incorporate)한다.

일 실시예에서, 컴퓨팅 시스템은 적어도 임계 개수의 결함들이 벤치마크 분류 결과들에서 각각 분류되어오는 클래스들을 받아들임으로써 준비 기준을 평가한다.

일 실시예에서, 컴퓨팅 시스템은 검사 데이터를 사용하여 성능 측정의 적어도 임계 레벨로 분류될 수 있는 클래스를 받아들임으로써 준비 기준을 평가하고, 성능 측정은 정확도, 분류 성능 측정, 및 리젝션 성능 측정 중에서 적어도 한가지이다.

일 실시예에서, 컴퓨팅 시스템은 수동 분류의 일관성을 증가시키기 위해 자동 분류기들의 결과를 더 제공하고 그리고 수동 분류로부터 부가적인 트레이닝 데이터를 획득한다.

일 실시예에서, 컴퓨팅 시스템은 추가적인 검사 데이터의 하위세트(subset)를 분류를 위한 검사 방식에 더 제공하고, 추가적인 검사 데이터의 하위세트는 트레이닝된 하나 또는 둘 이상의 자동 분류기들에 의해서 분류될 수 없는 검사 데이터를 포함한다.

일 실시예에서, 검사 방식은 운영자(operator)에 의한 추가적인 검사 데이터에서 결함들의 분류를 포함한다.

일 실시예에서, 컴퓨팅 시스템은, 준비 기준을 만족시키지 않는 클래스에 대해서, 검사 방식에 의해 클래스와 연관된 결함들의 그룹을 식별하고, 결함들의 그룹에서 결함들을 분류하는 데에서 검사 방식에 의해 사용된 추가적인 검사 데이터의 하위세트로부터 추가적인 검사 데이터를 수집하고, 수집된 추가적인 검사 데이터를 검사 데이터의 선택된 부분에 부가하여 클래스에 대해 확장된(augmented) 트레이닝 세트를 생성하고, 클래스가 확장된 트레이닝 세트에 기초하여 준비 기준을 만족하는지를 결정하고, 그리고 확장된 트레이닝 세트에 기초하여 클래스가 준비 기준을 만족시킨 것을 결정하자마자, 확장된 트레이닝 세트를 사용하여 클래스에 대한 자동 분류기를 트레이닝한다.

일 실시예에서, 검사 데이터의 선택된 부분 이외에 추가적인 검사 데이터에서의 복수의 결함들의 분포에서의 변화를 검출하자마자, 컴퓨팅 시스템은 하나 또는 둘 이상의 자동 분류기들을 리트레이닝(retrain) 하거나 운영자에게 샘플들의 제조에서 가능한 문제를 경고한다.

일 실시예에서, 컴퓨팅 시스템은 검사 데이터의 선택된 부분에서 결함들의 하위세트를 선택하는 것을 포함하는 하나 또는 둘 이상의 자동 분류기들을 리트레이닝하고, 결함들의 선택된 하위세트는 클래스들 사이의 결함들의 과거 분포(past distribution)를 나타내도록(reflect) 선택된다.

추가적인 실시예들에서, 상기 기술된 실시예들의 동작들을 수행하기 위한 방법들이 또한 구현된다. 부가적으로, 본 발명의 실시예들에서, 비-일시적인(non-transitory) 컴퓨터 판독 가능한 저장 매체는 상기 기술된 실시예들의 동작들을 수행하기 위한 방법들을 저장한다.

본 발명의 다양한 실시예들은 이하에 주어진 상세한 기술로부터 그리고 본 발명의 다양한 실시예들의 첨부된 도면들로부터 더 완전하게 이해될 것이다.
도1은 본 발명의 실시예에 따른, 결함 검사 및 분류 시스템의 예시적인 개략도이다.
도2는 본 발명의 실시예에 따른, 자동화된 결함 분류 시스템의 블럭도이다.
도3은 본 발명의 실시예에 따른, 상이한 클래스들에 속한 검사 피쳐(feature) 값들을 포함하는 피쳐 공간의 예시적인 개략도이다.
도4는 본 발명의 실시예에 따른, 자동화된 결함 분류 시스템을 트레이닝하기 위한 방법을 도시하는 흐름도이다.
도5는 본 발명의 실시예에 따른, 자동화된 결함 분류 시스템을 유지하기 위한 방법을 도시하는 흐름도이다.
도6은 본 명세서에 기술된 하나 또는 둘 이상의 동작들을 수행할 수 있는 예시적인 컴퓨터 시스템의 블럭도이다.

자동 결함 분류(ADC) 시스템들은 일반적으로 트레이닝 데이터의 세트를 사용하여 교정된다(calibrated). 트레이닝 데이터의 세트는 결함들과 벤치마크 분류 결과들의 수집을 위한 검사 데이터를 포함할 수 있다. 벤치마크 분류 결과들은 통상적으로 인간 전문가에 의해 제공된, 결함들에 대한 클래스 할당(assignment)들을 포함할 수 있다. ADC 시스템은, 다-차원 피쳐 공간에서 각각의 결함 클래스를 식별하기 위하여, 피쳐 값들의 함수들로서 정의된 분류 규칙들을 설정하도록 트레이닝 데이터를 사용한다. 다-차원 피쳐 공간은 또한 분류가 3개 초과의 피쳐들을 수반할 때 초공간(hyperspace)으로 지칭될 수 있다. 그런 다음에 분류 규칙들은 그들의 정확도 및/또는 순도를 최적화하기 위하여 테스트되고 조정될 수 있다.

2010년 7월 27일 출원된 미국 특허 출원 제 12/844,724 호는 다중-클래스 및 단일-클래스 분류기들 양쪽 모두를 포함하는 다수의 상이한 분류기들을 검사 데이터에 적용하는 ADC 시스템을 설명한다. 시스템은 알려지지 않거나 새로운 결함들의 리젝션 비율(rate)을 최대화하면서, 분류 순도를 최적화하기 위하여, 분류기들의 파라미터들이 트레이닝되고 조정되게 허용한다. (결정할 수 없거나 알려지지 않은 것으로서) 자동 분류기들에 의해 리젝션된 결함들은 이들 결함들을 적절한 클래스들로 할당하는 인간 검사자 같은 또다른 검사 방식으로 전달된다.

본 발명의 실시예들은 ADC 시스템에서 주어진 결함 클래스에 대해 분류기를 트레이닝하기에 충분한 사전-분류된 데이터의 양을 결정할 수 있는 ADC 시스템을 제공한다. 그러므로 ADC 시스템은 자동 분류기가 동작적 사용(operational use)을 위해 준비된 스테이지를 결정할 수 있다. 실시예들은 또한 트레이닝 데이터의 세트를 개선하는 것(refining)과 결함들의 부가적인 클래스들을 위해 자동 분류기들을 ADC 시스템에 부가하는 것과 같은 분류기 유지를 사정(assess)하기 위하여 사용될 수 있다.

ADC 시스템은 검사 데이터 및 대응하는 벤치마크 분류 결과들을 수신할 수 있고, 그리고 결함 클래스들에 대하여 준비 기준을 평가하기 위해 검사 데이터 및 벤치마크 분류 결과들을 사용할 수 있다. 준비 기준은, 각각의 클래스에 대해, 클래스에 대한 자동 결함 분류기를 트레이닝하기 위한 검사 데이터의 적합성을 표시할 수 있다. 준비 기준을 만족시키는 것으로 발견된 클래스들에 대해, 대응하는 검사 데이터가 트레이닝 세트에 통합되고, 그런 다음에 대응하는 검사 데이터는 이들 클래스들에 대해 자동 분류기들을 트레이닝하는데 사용된다.

자동 분류를 위해 준비된 클래스들을 선택하기 위해, ADC 시스템은 어떤 특정 클래스들 및 결함들을 제거하기 위해 사전-분류된 검사 데이터의 초기 세트를 지울 수(clean) 있다. 그런 다음에 ADC 시스템은 나머지 클래스들에 대한 분류기들(단일-클래스 및/또는 다중-클래스)을 트레이닝하기 위하여 트레이닝 절차(procedure)를 실행할 수 있다. 몇몇 실시예들에서, ADC 시스템은 어떤 임계 개수 미만의 이미지를 갖는 클래스들, 클래스 확률 분포에서 높은 경계 복잡성(border complexity)을 갖는 클래스들, 등과 같은 어떤 통계적 벤치마크 기준들을 만족시키지 않는 결함 클래스들에 대해 분류기들을 개발(develop)시키지 않는다. 이들 실시예들에서, ADC 시스템은 인간 검사자에 의한 것과 같이 또다른 검사 방식에 의한 분류를 위해 특정 통계적 벤치마크 기준들을 만족시키지 않는 결함 클래스들의 결함들을 남겨둘 것이다.

통계적 벤치마크 기준들을 만족시키는 각각의 클래스에 대해, ADC 시스템은 트레이닝 세트의 데이터에 대해 트레이닝된 분류기가 성능의 임계 레벨을 충족하는지를 결정할 수 있다. 결정은 성능의 단일 측정(measure)에 기초할 수 있거나 성능의 여러 측정들을 통합(integrate)할 수 있다. 성능의 측정들은 분류 성능, 리젝션 정확도, 순도 등을 포함할 수 있다. 분류 성능은 예를 들어 분류 정확도 측면에서 측정될 수 있다. 리젝션 정확도는 트레이닝을 위해 사용될 때 관심 클래스로부터 리젝션된 결함들의 개수와 트레이닝을 위해 사용되지 않을 때 클래스로부터 리젝션된 결함들의 개수 사이의 비율에 의해 측정될 수 있다. 그러므로, 분류기가 성능의 임계 레벨을 충족하는지를 결정함으로써, ADC 시스템은 속성 초-공간(attribute hyper-space)의 클래스에 대한 분류 또는 리젝션 바운드들(bounds)이 컴팩트하다는 것을 검증할 수 있어서, 상기 바운드들은 다른 결함 클래스들과 겹치지 않고 클래스에 있는 결함들의 충분히 높은 부분을 포함한다. 일단 주어진 분류기가 이들 기준들을 충족하면, ADC 시스템은 분류기가 트레이닝되는 것을 고려할 수 있고 분류되지 않은 결함들을 자동으로 분류하도록 준비될 수 있다. 준비되지 않는 것으로 결정된 클래스들은 인간 검사자에 의한 수동 프로세싱과 같은 또다른 검사 방식을 위해 남겨진다. 만약 초-공간의 지역(region)들의 결함들이 확인된(validated) 클래스들 중 하나의 클래스의 일부가 아니면, 클래스들은 준비되지 않는 것으로 결정될 수 있다. 몇몇 실시예들에서, 다른 분류 성능 기준들은 자동 분류 및 다른 방식들 사이에서 선택시 적용될 수 있고, 본 발명은 분류 성능을 평가하기 위하여 사용된 측정들에 의해 제한되지 않는다.

몇몇 실시예들에서, ADC 시스템의 초기 트레이닝 이후, ADC 시스템은 하나 또는 둘 이상의 인간 검사자들 또는 대안적인 검사 방식들이, 트레이닝된 클래스들에 대한 결함들을 포함하고 각각의 결함에 대해 ADC-제안된 자동 분류 결과에 의해 안내되는 결함들을 수동으로 분류하게 허용하도록 램프-업(ramp-up) 모드를 제공할 수 있다. 램프-업 모드는 더 적은 수동 오분류들을 가질 수 있는 부가적인 트레이닝 데이터를 수집하면서 수동 분류의 일관성을 증가시킬 수 있다.

후속 동작 동안, 일단 안정적인 자동 분류기가 설치(established)되었으면, 하나 또는 둘 이상의 인간 검사자들이 덜 일반적인 결함 클래스들에서 증가하는 결함들을 조사(view)하고 분류할 수 있다. 이러한 덜 일반적인 결함 이미지들이 누적되면, ADC 시스템은 덜 일반적인 클래스들 중 하나 또는 둘 이상의 클래스에 대한 분류기들을 개발 및 개선하기 위해 덜 일반적인 결함 이미지들을 사용할 수 있다. 일단 주어진 클래스에 대한 트레이닝 데이터가 임계 분류 기준들을 충족할 분류기를 트레이닝하도록 충분히 개선되었으면, ADC 시스템은 이 클래스를 수동보다는 자동으로 분류되는 클래스들의 그룹에 부가할 수 있다. 수동 분류 단계(phase)에서 이 클래스에 대해 수집된 검사 데이터는 트레이닝 세트에 부가될 수 있으며, 이 확장된 트레이닝 세트가 이후에 자동 분류기들의 트레이닝에 사용될 수 있다.

자동 분류기들이 트레이닝된 후, 분류기들의 유지는 분류기들이 동작 조건들의 변화들에 적절히 적응함을 보장할 수 있다. 분류기들을 유지하기 위해, 어떤 클래스 또는 클래스들의 피쳐 공간 위치 또는 출현율(appearance rate)의 증가 또는 감소, 새로운 결함 유형의 출현 등과 같은 ADC 결과들의 변화를 검출하도록 ADC 시스템은 각각의 클래스에 대한 통계적 기준들 및 리젝션 유형을 모니터링할 수 있다. ADC 결과들의 변화들이 검사중인 웨이퍼들의 실제 변화들에 기인한다면, ADC 시스템의 리트레이닝은 필요하지 않을 수 있고, ADC 시스템은 생산 시설에서의 가능한 프로세스 문제를 시스템 운영자에게 경고할 수 있다. ADC 결과들의 변화들이 피쳐 공간의 변동들에 기인한다면(예를 들어, 검사 기계의 노화(aging) 또는 교정 드리프트(calibration drift)에 기인한다면), ADC 시스템은 자동 분류기들을 리트레이닝하거나 리젝션 임계치들을 조정할 필요가 있을 수도 있다.

프로세스 문제들과 피쳐 공간 변화들을 구별하기 위해, ADC 시스템은 자동으로 분류된 클래스들의 통계적 측정치들, 알려지지 않은 그리고/또는 결정할 수 없는 결함들에 대한 리젝션 카운트들, 및 피쳐 공간 변동들을 분석할 수 있다. 이러한 측정치들 중 하나 또는 둘 이상의 측정치의 변화는 인간 검사자에 의한 개입을 트리거할 수 있다. 일 실시예에서, 인간 검사자는 특정 클래스 또는 클래스들로 분류되었던 최근 결함들을 수동으로 분류함으로써 ADC 결과들을 확인한다. 일 실시예에서, 인간 검사자는 자동 분류기들에 의해 리젝션되었지만 아직 수동으로 분류되지 않았던 결함들을 수동으로 분류한다. 일 실시예에서, 리젝션된 결함들이 이전에 수동으로 분류되지 않았을 때에만 수동 분류가 시작된다. 대안적인 실시예에서, 리젝션된 결함들의 수동 분류와 자동화된 분류 간에 상당한 시간 지연이 존재할 때 수동 분류가 시작된다.

몇몇 실시예들에서, 자동 분류기들의 리트레이닝이 필요한지 여부를 결정하기 위해 수동 분류 결과들이 분석된다. 리트레이닝이 필요할 때, 새로운 트레이닝 세트에 포함시키기 위해 각각의 클래스에 대해 가장 최근에 수동으로 그리고 자동으로 분류된 결함들이 선택될 수 있다. 상이한 결함 유형들의 과거 누적 분포를 보존하고 있는 최근의 검사 데이터로부터 결함들의 하위세트를 선택함으로써 새로운 트레이닝 세트가 구성될 수 있다. 몇몇 실시예들에서, 각각의 클래스로부터 선택된 최근 결함들의 수는 각각의 클래스로부터의 과거 결함 카운트에 비례한다. 몇몇 실시예들에서, 각각의 트레이닝 동작의 시작시, 이용 가능한 데이터 내의 모든 클래스들이 분석되고, 트레이닝에 대해 준비된 클래스들에 대해서만 자동 분류기들이 트레이닝된다. 위에서 설명된 바와 같이, 시간에 따라, 충분한 예시들이 누적되어 온 새로운 클래스들이 트레이닝 세트에 부가될 수 있고, 수동 분류들이 감소된다.

따라서 ADC 시스템은 분류기들이 신뢰성의 임계 기준들을 충족하도록 충분히 트레이닝되어 왔을 때 어떤 결함 유형들이 자동으로 분류되어야 하는지를 신뢰성 있고 조직적으로(systematically) 결정할 수 있고, 현장(field)에서의 실제 경험에 기초하여 분류기들을 유지 및 개선할 수 있다.

개시된 실시예들은 구체적으로 반도체 웨이퍼들에서의 결함들의 검출에 관한 것이지만, 본 발명의 원리들은 다른 유형들의 이미지 피쳐들의 자동화된 분석 및 분류에 유사하게 적용될 수 있다.

도 1은 본 발명의 일 실시예에 따른 자동화된 결함 검사 및 분류를 위한 시스템(20)의 예시적인 개략도이다. 패턴화된 반도체 웨이퍼(22)와 같은 샘플이 검사 기계(24) 내에 삽입된다. 이 기계는 예를 들어, 주사 전자 현미경(SEM) 또는 광 검사 디바이스 또는 해당 기술분야에 공지된 임의의 다른 적당한 종류의 검사 장치를 포함할 수 있다. 기계(24)는 통상적으로 웨이퍼(22)의 표면을 스캔하고, 스캔 결과들을 감지 및 프로세싱하여, 웨이퍼(22) 상의 결함들의 이미지들을 포함하는 검사 데이터를 출력한다.

일 실시예에서, 검사 데이터는 웨이퍼 상에서 발견된 결함들의 리스트, 각각의 결함의 위치, 각각의 결함과 연관된 검사 피쳐들의 값들을 포함한다. 검사 피쳐들은 예를 들어, 크기, 형상, 산란 강도(scattering intensity), 방향성(directionality) 및/또는 결함의 스펙트럼 품질들뿐만 아니라, 결함 콘텍스트(defect context) 및/또는 해당 기술분야에 공지된 임의의 다른 적당한 피쳐들을 포함할 수 있다. SEM 이미지들 및 연관된 메타데이터를 지칭하는데 본 실시예에서 "검사 데이터"라는 용어가 사용되지만, 이 용어는 데이터를 수집하는데 사용되는 수단과 관계없이, 그리고 데이터가 전체 웨이퍼에 걸쳐 캡처되는지 아니면 개개의 의심 위치들 주변에서와 같이 부분들에서 캡처되는지와 관계없이, 결함들의 피쳐들을 식별하기 위해 수집되고 프로세싱될 수 있는 임의의 그리고 모든 종류들의 기술(descriptive) 및 진단(diagnostic) 데이터를 지칭하도록 더 넓게 이해되어야 한다. 몇몇 실시예들은 웨이퍼를 스캔하고 의심되는 결함들의 위치들의 리스트를 제공하는 검사 시스템에 의해 식별되는 결함들의 분석에 적용 가능하다. 다른 실시예들은 검사 도구에 의해 제공되었던 의심되는 결함들의 위치들에 기초하여 검토 도구에 의해 재검출되는 결함들의 분석에 적용 가능하다. 본 발명은 검사 데이터가 생성되게 하는 임의의 특정 기술로 한정되는 것은 아니다. 따라서 반도체 애플리케이션들에 대해서, 본 발명의 실시예들은 UVision™ 시스템과 같은 광 검사 시스템, SEMVision™시스템과 같은 검토 시스템(둘 다 Applied Materials Inc.로부터 상업적으로 입수 가능)에 의해, 또는 해당 기술분야에 공지된 임의의 다른 종류의 검사 시스템이나 방식에 의해 생성되는 데이터의 분석에 적용될 수 있다.

ADC 기계(26)는 검사 기계(24)에 의해 출력되는 검사 데이터를 수신하고 프로세싱한다. 검사 기계(24)가 웨이퍼(22)의 이미지들로부터 모든 관련 검사 피쳐 값들을 추출하지 못한다면, ADC 기계(26)는 이러한 이미지 프로세싱 기능들을 수행할 수 있다. ADC 기계(26)는 도 1에서 검사 기계 출력에 직접 연결되어 있는 것으로 도시되어 있지만, 몇몇 실시예들에서 ADC 기계(26)는 사전에 획득되어 저장된 검사 데이터에 대해 동작할 수 있다. 대안적인 실시예들에서는, ADC 기계(26)의 기능이 검사 기계(24)에 통합될 수도 있다.

ADC 기계(26)는, 디스플레이(32) 및 입력 디바이스(34)를 포함하는 사용자 인터페이스와 함께, 결함 정보 및 분류 파라미터들을 보유하기 위한 메모리(30)를 갖는 프로세서(28)를 포함하는 범용 컴퓨터일 수 있다. ADC 기계(26)의 기능들을 구현하는 컴퓨터는 ADC 기능들에 전용화될 수 있거나, 또는 그 컴퓨터는 부가적인 컴퓨팅 기능들도 또한 수행할 수 있다. 일 실시예에서, 본 명세서에서 설명된 ADC 기능들 중 적어도 몇몇은 전용 또는 프로그램 가능한 하드웨어 로직에 의해 수행된다.

ADC 기계(26)는 상이한 클래스들 사이를 구별하기 위한 다중-클래스 분류기 및 개별 클래스들에 전용화된 단일-클래스 분류기들과 같은 다수의 분류기들을 실행시킬 수 있다. 후속하는 실시예들은, 예시 및 명확성을 위해, 기계(26) 및 시스템(20)의 다른 요소(element)들을 참조하여 설명될 것이지만, 이러한 실시예들의 원리들은 다른 알려지지 않은 피쳐들 또는 결함들의 다수의 클래스들을 핸들링(handle)할 수 있는 임의의 분류 시스템에서 유사하게 구현될 수 있다.

도 2는 본 발명의 실시예에 따른, ADC 기계(예를 들어, 도 1의 ADC 기계(26))의 기능 요소들을 도시하는 블럭도이다. 몇몇 실시예들에서, 자동 프로세싱 구성요소들(components)(40)은 도 1의 프로세서(28) 상에서 실행되는데 반해, 인간 검사자(50)는 검사 단말(terminal)(48)을 통해 도 1의 ADC 기계(26)와 상호작용한다. 구성요소들 중 적어도 몇몇이 하드웨어 및 소프트웨어 요소들의 결합으로서 또는 하드웨어 로직으로 대안적으로 구현될 수 있지만, 자동 프로세싱 구성요소들(40)은 예를 들어 소프트웨어 모듈들로서 구현될 수 있다.

몇몇 실시예들에서, 프로세서(예를 들어, 도 1의 프로세서(28))에 의해, 이미지 프로세싱 동작들이 검사 기계(예를 들어, 도 1의 검사 기계(24))에 의해 캡쳐된(captured) 각각의 결함 이미지에 적용된다. 이미지 프로세싱 동작들은 형상, 텍스쳐 및 컨텍스츄얼 피쳐들(contextual features)과 같은 결함 이미지에 대한 피쳐 값들의 벡터를 추출할 수 있다. 자동 분류기(42)는, 클래스 라벨과 연관된 신뢰성 값과 함께, 클래스 라벨을 각각의 결함에 할당할 수 있다. 신뢰성 값은 결함이 할당된 클래스에 실질적으로 속할 가능성을 나타낼 수 있다. 결함들의 각각의 클래스를 핸들링하기 위한 분류기(42)의 준비는 도 4와 관련하여 아래에 추가로 설명되는 절차를 사용하여 결정될 수 있다. 몇몇 실시예들에서, 분류기(42)는, 분류기(42)가 핸들링할 준비가 된 클래스들의 바운드들의 범위 밖에 있는 결함들에 낮은(또는 제로) 신뢰성 값을 할당한다.

일 실시예에서, 신뢰성 임계치가 ADC 기계의 운영자에 의해 제공된다. 대안적인 실시예에서, 신뢰성 임계치는 목표 순도 및/또는 최대 리젝션 비율과 같이 운영자에 의해 명시된 하나 또는 둘 이상의 분류 성능 측정들에 기초하여 ADC 기계에 의해 컴퓨팅된다. 만약 주어진 결함의 분류의 신뢰성이 신뢰성 임계치(리젝트 레벨 임계치)를 충족시킨다면, 자동 할당 모듈(46)이 분류를 정확한 것으로서 받아들일 수 있다. 일 실시예에서, 만약 분류의 신뢰성이 신뢰성 임계치를 만족시키지 않는다면, 결함은 리젝션될 수 있고, 검사자(50)에 의한 시각적 분류를 위해 단말(48)에 전달될 수 있다. 일 실시예에서, 리젝션된 결함들은 X-레이 분광학 등과 같은 부가적인 자동 분류 절차들을 사용하여 분석된다. 몇몇 실시예들에서는, 분류 결과들의 순도 또는 정확도와 리젝션들의 수 간의 균형을 달성하기 위해 신뢰성 임계치가 결정된다. 비록 도 2는 단일 리젝트 레벨 임계치를 도시하고 있지만, 대안적인 실시예들에서, 시스템 운영자가 상이한 결함 클래스들에 대해 상이한 리젝션 기준들을 설정할 수 있다.

통합 로직(integration logic)(52)은 모듈(46)로부터의 자동 분류 결과들 및 단말(48)로부터의 시각적 분류의 결과들 양쪽 모두를 수신할 수 있고, 통합된 보고서(54)를 생성할 수 있다. 보고서(54)는, 예를 들어, 디스플레이(32) 상에서 표현될 수 있고, 상이한 클래스들 사이의 결함들의 분포를 보여줄 수 있다. 몇몇 실시예들에서, 더 일반적인 결함 유형들에 관한 분포의 부분은 자동 분류 프로세스로부터 나오는 반면에, 덜 일반적인 결함 유형들은 시각적으로 분류된다. 보고서(54)는 테스트 하에 있는 샘플 또는 샘플들의 완전한 사진(picture)을 시스템 운영자에게 제공할 수 있다.

몇몇 실시예들에서, 프로세싱 검사 동안에 통합 로직(52)에 의해 수집되는 정보는 분류기(42)를 유지 및 개선하는데 적용된다(도 2에서 통합 로직(52)으로부터 분류기(42)로의 파선 화살표로 표시된 바와 같이). 예를 들어, 로직(52)은 클래스 경계들을 조정하기 위해 인간 검사자(50)에 의해 및/또는 다른 자동 분류 방식들에 의해 제공되는 분류 결과들을 통합할 수 있다. 몇몇 실시예들에서, 통합 로직(52)은 클래스에 대한 신뢰가능한 자동 분류기를 정의하기 위해서 어떤 작은 결함 클래스에 대한 충분한 시각적 분류 결과들을 누적시킨다. 이러한 실시예들에서, 그런 다음에 ADC 기계는 이러한 클래스를 분류기(42) 및 자동 할당 모듈(46)에 의해 자동적으로 핸들링되는 그룹에 부가할 수 있다. 이러한 목적을 위해 적용될 수 있는 방법이 도 5와 관련하여 아래에서 설명된다.

도 3은 본 발명의 실시예에 따라, 결함의 세트에 매핑되는 피쳐 공간의 예시적인 개략도이다. 피쳐 공간(60)은 결함들(62, 64, 70, 72)의 세트에 매핑된다. 비록 피쳐 공간(60)이 2차원인 것으로 도시되지만, 본 명세서에서 설명되는 분류 프로세스들은 더 높은 차원의 공간들에서 일반적으로 시행된다. 결함들(62, 64, 70, 72)은 다수의 상이한 클래스들로 미리 분류되었을 수 있는데, 하나의 클래스는 결함들(62)과 연관되고("클래스(Y)"로서 아래에서 지칭될 것임), 또다른 클래스는 결함들(64)과 연관되며("클래스(Z)"), 그리고 또다른 클래스는 결함들(72)("클래스(X)")과 연관된다. 결함들(70)은 이러한 3개의 클래스들 중 임의의 클래스로 분류될 수 없으며, "미공지됨"으로 간주될 수 있다. 결함들(62, 64 및 72)은 각각의 경계들(66, 68 및 74)에 의해 피쳐 공간에서 경계가 정해진다(bounded). 경계들은 겹칠 수 있다.

클래스들(Y 및 Z)은 양쪽 클래스들 모두가 매우 많은 개수의 결함들(62, 64)을 포함하고 컴팩트한 경계들(66, 68)을 갖기 때문에 자동 분류를 위해 준비되고, 이 경계들은 클래스들 내의 각각의 결함들과 그러한 클래스들 밖에 있는 결함들(70) 사이를 높은 신뢰성으로 구별한다. 그러므로, 도 2의 분류기(42)와 같은 분류기는 후속하는 미분류된 검사 데이터에서 클래스들(Y 및 Z)을 인식하기 위해 결함들(62 및 64)의 피쳐들을 사용하여 트레이닝될 것이다.

클래스(X)는, 클래스(X)가 단지 적은 개수의 결함들(72)을 포함하기 때문에 자동 분류를 위해 준비되지 않을 수 있고, 경계(74)가 높은 신뢰성으로 그 클래스 내의 새로운 결함들을 캡쳐할 것이라는 점 또는 그 클래스 밖의 다른 결함들(70)이 그 경계 밖에 남을 것이라는 점은 명확하지 않다. 이러한 이유들로 인해, 분류기는 클래스(X) 결함들을 핸들링하기 위해서 초기에 트레이닝되지 않을 수 있고 이러한 결함들에 낮은 신뢰성 값을 할당할 수 있으며, 그로 인해서 결함들은 수동 분류를 위해 전달된다. 한편, 만약 통합 로직이 클래스(X)에 대한 충분한 개수의 수동 분류들을 후속적으로 수신하고, 더 높은 신뢰성으로 경계(74)가 정의되도록 허용한다면, 이러한 클래스는 자동 분류를 위해 클래스들(Y 및 Z)에 부가될 수 있다.

도4는 본 발명의 실시예에 따라, 분류기를 트레이닝하기 위한 방법을 도시하는 흐름도이다. 방법은, 하드웨어(회로소자, 전용 로직 등), (범용 컴퓨터 시스템 또는 전용 기계에서 실행되는 것과 같은) 소프트웨어, 또는 이 둘의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행된다. 일 실시예에서, 방법은 도1의 ADC 기계(26)에 의해 수행된다.

블럭(78)에서, 프로세싱 로직은, ADC 시스템이 기동되었는지 또는 분류기의 리트레이닝이 요구되는지를 결정한다. 프로세싱 로직은 새로운 결함 유형의 출현, 어떤 클래스 또는 클래스들의 피쳐 공간 위치 또는 출현율에서의 증가 또는 감소 등과 같은 변화하는 ADC 결과들을 검출하기 위해 리젝션 유형 및 ADC 시스템의 각각의 클래스에 대한 통계적 기준들을 모니터링함으로써 분류기의 리트레이닝이 요구되는 지를 결정할 수 있다. 일 실시예에서, ADC 결과들에서의 변화가 검사중인 웨이퍼들에서의 실제 변경으로 인한 것이라면, 프로세싱 로직은 ADC 시스템의 리트레이닝이 요구되지 않는다고 결정한다. 이러한 실시예에서, 프로세싱 로직은 생산 시설에서의 가능한 프로세스 문제점을 시스템 운영자에게 경고할 수 있다. 일 실시예에서, ADC 결과들의 변화가 피쳐 공간에서의 변동(예를 들어, 검사 기계의 교정 드리프트 또는 노화)으로 인한 것이라면, 프로세싱 로직은 ADC 시스템의 리트레이닝이 요구된다고 결정한다.

블럭(80)에서, 프로세싱 로직은 사전 분류된 검사 데이터를 수신한다. 검사 데이터는, 예를 들어, 벤치마크 분류를 이용하여 인간 검사자에 의해 각각이 태그된(tagged), 많은 개수의 결함들의 이미지들을 포함할 수 있다. ADC 시스템이 리트레이닝될 필요가 있는 실시예들에서, 검사 데이터는 과거 검사 데이터에서 결함 클래스들의 분포를 보존하는 결함들의 분포와 함께, ADC 시스템에 대해 캡쳐된 가장 최근의 검사 데이터로부터 선택될 수 있다.

블럭(82)에서, 프로세싱 로직은 트레이닝할 수 없는 클래스들을 검사 데이터로부터 제거한다. 트레이닝할 수 없는 클래스들은 분류기들을 트레이닝하는데 유용하지 않을 수 있다. 트레이닝할 수 없는 클래스는, 인간 운영자에 의해 "알려지지 않음" 또는 "분류 불가능함"으로 마킹된 결함과 연관된 클래스, 분류 가능하지만 임의의 잘 정의된 클래스로 분류되지 않은 결함과 연관된 클래스, 컴팩트한 클래스 등일 수 있다.

블럭(84)에서, 프로세싱 로직은 분류기를 트레이닝하기에 부적절한 결함들을 검사 데이터로부터 제거한다. 분류기를 트레이닝 하기에 부적절한 결함들은 열악한 데이터 품질을 갖는 결함들, 이를테면, 초점이 벗어나거나 그렇지 않으면 흐릿한 이미지들 또는 매우 작거나 그렇지 않으면 판독하기 어려운 결함들을 포함할 수 있다. 비록 이러한 결함들은 인간 검사자가 애를 써서 분류가능할 수는 있지만, 이들은 자동 분류기의 트레이닝에 노이즈를 부가할 수 있다.

블럭(86)에서, 프로세싱 로직은 준비되지 않은 클래스들을 검사 데이터로부터 제거한다. 프로세싱 로직은 검사 데이터의 나머지 결함들을 분석하고 분류 준비를 위해 나머지 결함들과 연관된 결함 클래스들 각각을 평가함으로써 준비되지 않은 하나 또는 둘 이상의 클래스들을 결정할 수 있다. 일 실시예에서, 원하는 통계적 기준을 충족하지 않는 클래스, 이를테면, 피쳐 공간에서 높은 경계 복잡성 또는 데이터 세트에서 결함들의 어떤 임계 개수보다 더 적은 개수의 결함을 갖는 클래스는 분류 준비가 되지 않았다고 결정된다.

일 실시예에서, 프로세싱 로직은 하나 또는 둘 이상의 자동 분류기들을 이용하여 트레이닝하기에 부적절한 결함들을 결정한다. 일 실시예에서, 프로세싱 로직은 트레이닝 세트를 이용하여 하나 또는 둘 이상의 분류기들을 트레이닝하는데, 트레이닝 세트는 이러한 클래스들에 대해 초기 분류기를 개발 및 테스트하기 위해 프로세싱 로직에 의해 제거되지 않은 클래스들 및 나머지 데이터를 포함한다. 주어진 클래스에 대한 분류기가 적어도 임계치 레벨의 정확도로 벤치마크 분류 결과들에 매칭하는 자동 분류 결과들을 제공하면, 클래스는 자동 분류가 준비되었다고 결정될 수 있다. 예를 들어 도3에서, 각각, 결함들(62 및 64)에 대응하는 클래스들(Y 및 Z)은, 클래스들(Y 및 Z)이 벤치마크 분류 결과들에 매칭하기 때문에 자동 분류가 준비되었다고 결정될 것이다. 클래스가 준비 기준을 만족시키지 못하면, 클래스는 자동 분류 준비가 되지 않았다고 결정될 수 있고 데이터의 트레이닝 세트로부터 드롭될 수 있다.

일 실시예에서, 주어진 클래스의 준비는 혼동행렬(confusion matrix)을 이용하여 결정되는데, 이는 각각의 클래스에서 자동으로 분류된 결함들의 (인간 검사자에 의해 할당된) 실제 클래스 분포를 보여준다. 높은 정확도로 분류된 결함 클래스들은 낮은 혼동을 나타낼 것이며, 후속하는 자동 프로세싱에 대해 이를 근거로 확인될 수 있다. 확인된 클래스들 중 하나의 일부가 아닌 초-공간의 영역들의 결함들을 의미하는, 이러한 준비 레벨에 도달하지 않은 클래스들은 수동 프로세싱을 위해 남겨진다.

블럭(88)에서, 프로세싱 로직은 준비 기준을 충족한 클래스들에서의 결함들에 속하는 검사 데이터를 이용하는 트레이닝 세트를 결정한다. 몇몇 실시예들에서, 트레이닝 세트는 준비되지 않은 클래스들 및 그렇지 않으면 부적절한 데이터가 드롭된 후 남아 있는 검사 데이터를 포함한다.

블럭(90)에서, 트레이닝 세트는 준비 기준을 만족하는 클래스들로 결함들을 자동으로 분류하도록 분류기를 트레이닝하기 위해 이용된다. 일단 분류기가 트레이닝되면, 분류기는 트레이닝 세트 밖의 추가의 검사 데이터를 분류할 준비가 될 수 있다.

(초기 트레이닝이 완료된 후) ADC 시스템의 램프-업 동안 수행될 수 있는 블럭(92)에서, 프로세싱 로직은 각각의 결함에 대한 제안된 분류를 생성 및 디스플레이할 수 있다. 제안된 분류는 새로운 결함들의 ADC-보조 수동 분류를 수행하기 위해 사용될 수 있다. 새로운 결함들의 ADC-보조 수동 분류는 인간 검사자들 또는 대안적인 검사 방식들에 의해 수동 분류 동안 수행될 수 있다. 인간 검사자 또는 대안적인 검사 방식은 모든 결함들을, 심지어 트레이닝된 클래스들에 대해, 수동으로 분류하기 위해 제안된 분류를 사용할 수 있다. ADC-보조 수동 분류 동안, 결함들은 두 번, 모두 자동 및 수동으로 분류된다. 램프-업 모드 동작의 목적은 더 적은 수동 오분류로 부가적인 트레이닝 데이터를 수집하면서 수동 분류의 일관성을 증가시키는 것이다. 그런 다음에, 블럭들(80-90)이 반복될 수 있고, 블럭(92)에서 수행된 수동 분류들을 입력 데이터로서 이용하여 분류기의 추가 트레이닝을 제공한다. 방법은, ADC 보조 및 경험으로 인해 각각의 사이클에서 인간 검사자 분류 일관성을 증가시키고, 따라서 분류 성능을 개선하면서, 수차례 반복될 수 있다.

도 5는 자동 분류기를 유지하기 위한 방법, 구체적으로는 본 발명의 실시예에 따라, 자동 분류기에 의해 핸들링되는 결함 클래스들의 범위 및 트레이닝 세트를 확장시키기 위한 방법을 예시하는 흐름도이다. 방법은, 하드웨어(회로소자, 전용 로직 등), (범용성 컴퓨터 시스템 또는 전용 기계에서 실행되는 것과 같은) 소프트웨어, 또는 이 둘의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행된다. 일 실시예에서, 방법은 도 1의 ADC 기계(26)에 의해 수행된다. 방법은, ADC 시스템의 정상 동작(normal operation) 동안 주기적으로 수행되며, 또한 모니터링되는 유지 기준들(maintenance criteria)에서의 변화들에 의해 시작될 수 있다.

블럭(92)에서, 자동 분류기들은 하나 또는 둘 이상의 결함들을 수동 분류로 전달한다. 일 실시예에서, ADC 시스템의 정상 동작 동안, 자동 분류기에 의해 전달되는 하나 또는 둘 이상의 결함들은, 분류기가 자동으로 분류할 수 없는 검사 데이터의 하위세트이다.

블럭(94)에서, 프로세싱 로직은 인간 운영자와 같은 또다른 검사 방식으로부터 하나 또는 둘 이상의 결함들에 대한 분류를 수신한다. 일 실시예에서, 인간 운영자는 분류를 단말에 입력하고 단말은 분류를 통합 로직에 전달한다. 몇몇 실시예들에서, 분류가 수신한 결함들 중 몇몇은 이전에 준비 기준을 만족시키지 않았던 하나 또는 둘 이상의 클래스들과 연관된 결함들이었다.

블럭(96)에서, 프로세싱 로직은 어떤 클래스(예를 들어, 클래스(X))에 대해 수동으로 분류되었던 결함들을 식별하고 결함들과 연관된 검사 데이터를 클래스에 대한 잠재적인 트레이닝 세트에 부가한다. 그러므로, 프로세싱 로직은 인간 검사자 또는 다른 방식이 클래스로 분류한 결함들과 연관된 데이터를 수집하며, 데이터의 하위세트 또는 데이터로부터의 잠재적인 트레이닝 세트를 생성한다. 몇몇 실시예들에서, 프로세싱 로직은 도 4의 단계(86)에서의 초기 트레이닝 세트로부터 잠재적 트레이닝 세트로 드롭되었던 클래스에 대한 미사용 데이터를 병합한다(merge).

블럭(98)에서, 프로세싱 로직은 클래스의 준비 기준이 미리 결정된 최소값 이상인지를 결정한다. 일 실시예에서, 미리 결정된 최소값은 최소 임계치 크기이다. 클래스의 준비 기준이 미리 결정된 최소치 이상이면, 방법은 블럭(102)으로 진행한다. 클래스의 준비 기준이 미리 결정된 최소치 이상이 아닌 경우, 방법은 블럭(100)으로 진행한다.

블럭(100)에서, 프로세싱 로직은 클래스를 자동 분류 그룹의 밖에 남겨두고, 다음 클래스 또는 다음 결함으로 진행하며, 블럭(92)으로 복귀한다.

블럭(102)에서, 프로세싱 로직은 클래스에 대한 하나 또는 둘 이상의 자동 분류기들을 트레이닝 및 테스트한다. 일 실시예에서, 클래스에서의 결함들의 수가 미리 결정된 양 이상이면, 프로세싱 로직은 확장된 트레이닝 세트를 생성하기 위해 기존의 트레이닝 세트에 잠재적 트레이닝 세트를 포함시킨다. 프로세싱 로직은, 각각의 자동 분류기를 클래스에 대해 트레이닝하고 테스트하는데 확장된 트레이닝 세트를 이용할 수 있다.

블럭(104)에서, 프로세싱 로직은 하나 또는 둘 이상의 자동 분류기들의 성능 측정이 허용 가능한지를 결정한다. 일 실시예에서, 분류기의 정확도가 미리 결정된 임계치 이상이면, 자동 분류기의 성능 측정이 허용 가능하다. 대안적인 실시예에서, 리젝션 절차들의 정확도가 미리 결정된 임계치 이상이면, 자동 분류기의 성능 측정은 허용 가능하다. 이 실시예에서, 자동 분류기는 자동 분류기에 의해 정확하게 분류된 결함들에 대한 상당한 리젝션 없이, 준비 기준을 만족시키지 않는 클래스들을 효과적으로 리젝션할 것이다. 하나 또는 둘 이상의 분류기들의 어느 것의 성능 측정도 허용 가능하지 않은 경우, 방법은 블럭(100)으로 진행한다. 적어도 하나의 분류기의 성능 측정이 허용 가능한 경우, 방법은 블럭(106)으로 진행한다.

블럭(106)에서, 분류기가 확장된 트레이닝 세트를 이용하여 리트레이닝되며, 클래스가 분류기에 의해 자동으로 분류된 클래스들의 세트에 부가된다. 따라서, 분류기가 수행하는 자동 분류들의 정확도 및 분류기에 의해 핸들링되는 클래스들의 범위는, 제조 환경에서 ADC 시스템의 실제 동작 동안, 시간에 따라 강화될 수 있다. 트레이닝 데이터 세트는 새로운 클래스들을 포괄할 뿐만 아니라, 기존 클래스들의 자동 분류의 정확도를 개선하기 위해 점진적으로 확장될 수 있다.

도 6은 컴퓨터 시스템(600)의 예시적인 형태의 기계의 도면을 도시하며, 상기 컴퓨터 시스템(600) 내에서, 기계로 하여금 본 명세서에서 논의된 방법론(methodology)들 중 임의의 하나 또는 둘 이상의 것을 시행하도록 야기하기 위한, 명령들의 세트가 실행될 수 있다. 대안적인 실시예들에서, 기계는 LAN, 인트라넷, 엑스트라넷, 또는 인터넷으로 다른 기계들에 연결(예를 들어 네트워킹(networked))될 수 있다. 기계는 클라이언트-서버 네트워크 환경의 서버 또는 클라이언트 기계의 능력으로, 또는 피어-투-피어(peer-to-peer)(또는 분산형) 네트워크 환경의 피어 기계로서 동작할 수 있다. 기계는 개인용 컴퓨터(PC), 타블렛 PC, 셋탑 박스(STB), 개인용 휴대 정보 단말기(PDA), 셀룰러 전화기, 웹 애플리언스(web appliance), 서버, 네트워크 라우터, 스위치 또는 브리지, 또는 해당 기계에 의해서 취해질 액션(action)들을 명시하는 명령들의 세트(순차적으로 또는 이와 다르게)를 실행할 수 있는 임의의 기계일 수 있다. 추가적으로, 단지 하나의 기계만이 예시되지만, "기계"라는 용어는 또한 본 명세서에서 논의된 방법론들 중 임의의 하나 또는 둘 이상의 것을 수행하기 위해 개별적으로 또는 공동으로 명령들의 세트(또는 다수의 세트들)를 실행하는 기계들의 임의의 집합을 포함하는 것으로 받아들여져야 한다.

예시적인 컴퓨터 시스템(600)은 프로세싱 디바이스(프로세서)(602), 메인 메모리(604)(예를 들어, 판독 전용 메모리(ROM), 플래시 메모리, 동기식 DRAM(SDRAM), 더블 데이터 레이트 SDRAM(DDR SDRAM) 또는 램버스(Rambus) DRAM(RDRAM)과 같은 동적 랜덤 액세스 메모리(DRAM), 등), 정적 메모리(606)(예를 들어, 플래시 메모리, 정적 랜덤 액세스 메모리(SRAM) 등), 및 데이터 저장 디바이스(618)를 포함하고, 이들은 버스(608)를 통해 서로 통신한다.

프로세서(602)는 마이크로프로세서, 중앙 처리 장치 등과 같은 하나 또는 둘 이상의 범용 프로세싱 디바이스들을 표현한다. 더 구체적으로, 프로세서(602)는 복합 명령 세트 컴퓨팅(CISC) 마이크로프로세서, 축소 명령 세트 컴퓨팅(RISC) 마이크로프로세서, 매우 긴 명령어(VLIW) 마이크로프로세서, 또는 다른 명령 세트들을 구현하는 프로세서 또는 명령 세트들의 조합을 구현하는 프로세서들일 수 있다. 프로세서(602)는 또한 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 디지털 신호 프로세서(DSP), 네트워크 프로세서 등과 같은 하나 또는 둘 이상의 특수 목적 프로세싱 디바이스들일 수 있다. 프로세서(602)는 본 명세서에서 논의되는 동작들 및 단계들을 수행하기 위한 명령들(626)을 실행하도록 구성된다.

컴퓨터 시스템(600)은 네트워크 인터페이스 디바이스(622)를 더 포함할 수 있다. 컴퓨터 시스템(600)은 또한 비디오 디스플레이 유닛(610)(예를 들어, 액정 디스플레이(LCD) 또는 음극선관(CRT)), 영숫자(alphanumeric) 입력 디바이스(612)(예를 들어, 키보드), 커서 제어 디바이스(614)(예를 들어, 마우스) 및 신호 생성 디바이스(616)(예를 들어, 스피커)를 포함할 수 있다.

데이터 저장 디바이스(618)는, 본 명세서에서 설명된 방법론들 또는 기능들 중 임의의 하나 또는 둘 이상을 구현하는 명령들(626)(예를 들어, 소프트웨어)의 하나 또는 둘 이상의 세트들이 저장되는 컴퓨터-판독 가능한 저장 매체(624)를 포함할 수 있다. 명령들(626)은 또한, 컴퓨터 시스템(600)에 의한 명령들의 실행 동안에 메인 메모리(604) 내에서 및/또는 프로세서(602) 내에서 완전히 또는 적어도 부분적으로 상주할 수 있고, 메인 메모리(604) 및 프로세서(602)는 컴퓨터-판독 가능한 저장 매체를 또한 구성한다. 명령들(626)은 추가로, 네트워크 인터페이스 디바이스(622)를 이용하여 네트워크(620)를 통해 송신 또는 수신될 수 있다.

일 실시예에서, 명령들(626)은, 자동 결함 분류에서 분류기 준비 및 유지를 위한 명령들 및/또는 자동 결함 분류에서 분류기 준비 및 유지를 위한 명령들을 포함하는 모듈을 호출하는 방법을 포함하는 소프트웨어 라이브러리를 포함한다. 일 실시예에서, 명령들(626)은, 자동 결함 분류에서 분류기 준비 및 유지를 위한 명령들 및/또는 자동 결함 분류에서 분류기 준비 및 유지를 위한 명령들을 호출하는 방법을 포함하는 소프트웨어 라이브러리를 포함한다. 컴퓨터 판독 가능한 저장 매체(624)(기계 판독 가능한 저장 매체)는 예시적인 실시예에서 단일 매체인 것으로 도시되어 있지만, "컴퓨터 판독 가능한 저장 매체"라는 용어는 명령들의 하나 또는 둘 이상의 세트들을 저장하는 단일 매체 또는 다수의 매체들(예를 들어, 중앙식 또는 분산식 데이터베이스, 및/또는 연관 캐쉬들(associated caches) 및 서버들)를 포함하는 것으로 받아들여져야 한다. "컴퓨터 판독 가능한 저장 매체"라는 용어는 또한, 기계에 의한 실행을 위한 명령들의 세트를 저장, 인코딩 또는 전달할 수 있고, 그리고 기계로 하여금 본 발명의 방법론들 중 임의의 하나 또는 둘 이상을 수행하게 야기하는 임의의 매체를 포함하는 것으로 받아들여질 것이다. 그에 따라, "컴퓨터 판독 가능한 저장 매체"라는 용어는, 솔리드 스테이트 메모리들, 광학 매체 및 자기 매체를 포함하는 것으로(그러나 이에 한정되지 않음) 받아들여질 것이다.

상기 설명에서, 많은 세부사항들이 설명된다. 그러나 본 발명이 이러한 특정한 세부사항들 없이 실시될 수 있다는 것은, 본 개시의 이점을 아는 당업자에게 명백할 것이다. 일부 경우들에서, 주지의 구조들 및 디바이스들은 본 발명을 불명료하게 하는 것을 피하기 위하여 상세히 설명하는 대신 블럭도의 형태로 도시된다.

상세한 설명의 몇몇 부분들은 컴퓨터 메모리 내의 데이터 비트들에 대한 동작들의 기호적 표현들과 알고리즘들 측면에서 표현된다. 이들 알고리즘의 설명들과 표현들은 데이터 프로세싱 기술분야의 당업자들이 그 기술분야의 다른 당업자들에게 이들 작업의 본질을 가장 효과적으로 전달하기 위해서 사용되는 수단이다. 알고리즘은 여기에서 그리고 일반적으로, 원하는 결과로 이어지는 자체-일관적인 순서의 단계들인 것으로 여겨진다. 단계들은 물리적인 양들(physical quantities)의 물리적 조작들을 요구하는 것들이다. 필수적이지는 않지만, 일반적으로 이러한 양들은 저장, 전송, 조합, 비교, 및 그렇지 않으면 조작될 수 있는 전기적 또는 자기적 신호들의 형태를 취한다. 이러한 신호들을, 비트들, 값들, 요소들, 기호들, 문자들(characters), 용어들(terms), 숫자들(numbers) 등으로서 지칭하는 것이, 일반적인 용법(usage)의 이유로, 때때로 편리한 것으로 증명되었다.

그러나 모든 이러한 및 유사한 용어들은 적절한 물리적인 양들과 연관되고 그리고 단지 이러한 양들에 적용되는 편리한 라벨들일 뿐임을 유념하여야 한다. 이하의 논의로부터 명백한 바와 같이, 특별히 달리 언급되지 않는다면, 명세서 전반에 걸쳐 "식별", "표현", "업데이트", "결정", "실행", "제공", "수신" 등과 같은 용어들을 사용하는 논의들은 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 액션들 및 프로세스들을 지칭하는 것으로 인식되고, 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스는 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리적인(예를 들어, 전자적) 양들로서 표현되는 데이터를 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 그러한 정보의 저장, 전송 또는 디스플레이 장치들 내의 물리적인 양들로서 유사하게 표현되는 다른 데이터로 변환 및 조작한다.

또한, 본 발명은 본 명세서의 동작들을 수행하기 위한 장치에 관한 것이다. 이 장치는, 의도되는 목적들을 위해 구성될 수 있거나, 또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화 또는 재구성되는 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 플로피 디스크들, 광학 디스크들, CD-ROM들 및 광자기 디스크들을 포함하는 임의의 유형의 디스크, 판독-전용 메모리들(ROM들), 랜덤 액세스 메모리들(RAM들), EPROM들, EEPROM들, 자기 또는 광학 카드들, 또는 전자적 명령들을 저장하기에 적합한 임의의 유형의 매체와 같은, 그러나 이에 한정되지 않는, 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다.

상기 설명은 도해적이며, 비제한적인 것으로 의도됨이 이해될 것이다. 상기 설명을 읽고 이해할 때 당업자들에게 많은 다른 실시예들이 명확할 것이다. 따라서 본 발명의 범위는 첨부된 청구항들을 참조하여, 그러한 청구항들이 권한이 부여된(entitled) 균등물들의 전체 범위와 함께 결정되어야 한다.

Claims

분류를 위한 방법으로서:
컴퓨터 시스템에 의해서, 하나 또는 둘 이상의 샘플들에서 발견된 복수의 결함들과 연관된 검사 데이터를 수신하는 단계;
상기 컴퓨터 시스템에 의해서, 상기 복수의 결함들의 각각에 대한 클래스를 포함하는 하나 또는 둘 이상의 벤치마크 분류 결과들을 수신하는 단계;
상기 컴퓨터 시스템에 의해서, 상기 하나 또는 둘 이상의 벤치마크 분류 결과들에 기초하여 상기 하나 또는 둘 이상의 클래스들에 대해 준비 기준을 평가하는 단계;
상기 준비 기준을 만족시키는 상기 하나 또는 둘 이상의 클래스들과 연관된 하나 또는 둘 이상의 결함들에 대응하는 상기 검사 데이터의 일부를 선택하는 단계; 및
상기 검사 데이터의 선택된 부분을 사용하여 상기 준비 기준을 만족시키는 상기 하나 또는 둘 이상의 클래스들에 대해 하나 또는 둘 이상의 자동 분류기들을 트레이닝하는 단계를 포함하고,
상기 준비 기준은 주어진 클래스에 대해서, 상기 주어진 클래스에 대해 자동 결함 분류기를 트레이닝하기 위한 상기 검사 데이터의 적합성을 나타내고,
상기 주어진 클래스에 대해 상기 자동 결함 분류기를 트레이닝 하기 위한 상기 검사 데이터의 적합성은 상기 준비 기준이 만족된 경우 나타내지며,
상기 주어진 클래스에 대해 상기 준비 기준은, 상기 벤치마크 분류 결과들에서 상기 주어진 클래스의 경계들로 분류되었던 결함들의 전체 개수가 임계 개수보다 더 많은 경우 및 다른 클래스와 연관된 분류와 겹치지 않고 상기 주어진 클래스로 분류되었던 결함들의 개수의 비율이 미리 정해진 기준에 매칭하는 경우에 만족되는,
분류를 위한 방법.
제 1 항에 있어서,
상기 트레이닝된 자동 분류기들을 상기 검사 데이터의 선택된 부분 이외에 추가적인 검사 데이터에 적용하여 상기 추가적인 검사 데이터에 대해 복수의 제 1 분류들을 생성하는 단계;
상기 추가적인 검사 데이터 및 상기 복수의 제 1 분류들에 기초하여 복수의 제 2 분류들을 획득하는 단계; 및
상기 하나 또는 둘 이상의 자동 분류기들에 추가적인 트레이닝에서의 사용을 위해 상기 검사 데이터의 선택된 부분에서 상기 복수의 제 2 분류들과 상기 추가적인 검사 데이터를 통합하는 단계를 더 포함하는,
분류를 위한 방법.
제 1 항에 있어서,
상기 준비 기준을 평가하는 단계는 상기 벤치마크 분류 결과들에서 적어도 임계 개수의 상기 결함들이 각각 분류되어 온 상기 클래스들을 받아들이는 단계 또는 상기 검사 데이터를 사용하여 성능 측정의 적어도 임계 레벨로 분류될 수 있는 클래스를 받아들이는 단계를 포함하고, 상기 성능 측정은 정확도, 분류 성능 측정, 및 리젝션 성능 측정 중 적어도 한가지인,
분류를 위한 방법.
제 1 항에 있어서,
수동 분류의 일관성을 증가시키기 위해 상기 자동 분류기들의 결과를 제공하는 단계; 및
상기 수동 분류로부터 부가적인 트레이닝 데이터를 획득하는 단계를 더 포함하는,
분류를 위한 방법.
제 1 항에 있어서,
추가적인 검사 데이터의 하위세트를 분류를 위한 검사 방식에 제공하는 단계를 더 포함하고, 상기 추가적인 검사 데이터의 하위세트는 상기 트레이닝된 하나 또는 둘 이상의 자동 분류기들에 의해 분류될 수 없는 검사 데이터를 포함하는,
분류를 위한 방법.
제 5 항에 있어서,
상기 준비 기준을 만족시키지 않는 클래스에 대해서,
상기 검사 방식에 의해 상기 클래스와 연관된 결함들의 그룹을 식별하는 단계;
결함들의 상기 그룹에서 결함들을 분류하는 데에서 상기 검사 방식에 의해 사용된 상기 추가적인 검사 데이터의 하위세트로부터 상기 추가적인 검사 데이터를 수집하는 단계;
상기 수집된 추가적인 검사 데이터를 상기 검사 데이터의 선택된 부분에 부가하여 상기 클래스에 대해 확장된 트레이닝 세트를 생성하는 단계;
상기 확장된 트레이닝 세트에 기초하여 상기 클래스가 상기 준비 기준을 만족시키는지를 결정하는 단계; 및
상기 확장된 트레이닝 세트에 기초하여 상기 클래스가 상기 준비 기준을 만족시켰다는 것을 결정하자마자, 상기 확장된 트레이닝 세트를 사용하여 상기 클래스에 대해 자동 분류기를 트레이닝하는 단계를 더 포함하는,
분류를 위한 방법.
제 1 항에 있어서,
상기 검사 데이터의 선택된 부분 이외에 추가적인 검사 데이터에서 상기 복수의 결함들의 분포에서의 변화를 검출하자마자, 상기 하나 또는 둘 이상의 자동 분류기들을 리트레이닝하거나 운영자에게 샘플들의 제조에서의 가능한 문제들을 경고하는 단계를 더 포함하고, 상기 하나 또는 둘 이상의 자동 분류기들을 리트레이닝하는 단계는 상기 검사 데이터의 선택된 부분에서 결함들의 하위세트를 선택하는 단계를 포함하고, 상기 결함들의 선택된 하위세트는 상기 클래스들 중에서 상기 결함들의 과거 분포를 나타내도록 선택되는,
분류를 위한 방법.
장치로서:
메모리; 및
프로세서를 포함하고,
상기 프로세서는,
하나 또는 둘 이상의 샘플들에서 발견된 복수의 결함들과 연관된 검사 데이터 및 상기 복수의 결함들의 각각에 대해 클래스를 포함하는 하나 또는 둘 이상의 벤치마크 분류 결과들을 수신하도록,
상기 하나 또는 둘 이상의 벤치마크 분류 결과들에 기초하여 상기 클래스들의 하나 또는 둘 이상에 대해 준비 기준을 평가하도록,
상기 준비 기준을 만족시키는 하나 또는 둘 이상의 클래스들과 연관된 하나 또는 둘 이상의 결함들에 대응하는 검사 데이터의 일부를 선택하도록, 그리고
상기 검사 데이터의 선택된 부분을 사용하여 상기 준비 기준을 만족시키는 상기 하나 또는 둘 이상의 클래스들에 대해 하나 또는 둘 이상의 자동 분류기들을 트레이닝하도록 구성되고,
상기 준비 기준은 주어진 클래스에 대해서, 상기 주어진 클래스에 대해 자동 결함 분류기를 트레이닝하기 위한 상기 검사 데이터의 적합성을 나타내고,
상기 주어진 클래스에 대해 상기 자동 결함 분류기를 트레이닝 하기 위한 상기 검사 데이터의 적합성은 상기 준비 기준이 만족된 경우 나타내지며,
상기 주어진 클래스에 대해 상기 준비 기준은, 상기 벤치마크 분류 결과들에서 상기 주어진 클래스의 경계들로 분류되었던 결함들의 전체 개수가 임계 개수보다 더 많은 경우 및 다른 클래스와 연관된 분류와 겹치지 않고 상기 주어진 클래스로 분류되었던 결함들의 개수의 비율이 미리 정해진 기준에 매칭하는 경우에 만족되는,
장치.
제 8 항에 있어서,
상기 프로세서는 상기 트레이닝된 자동 분류기들을 상기 검사 데이터의 선택된 부분 이외의 추가적인 검사 데이터에 적용하여 상기 추가적인 검사 데이터에 대해 복수의 제 1 분류들을 생성하도록, 상기 추가적인 검사 데이터와 상기 복수의 제 1 분류들에 기초하여 복수의 제 2 분류들을 획득하도록, 그리고 상기 하나 또는 둘 이상의 자동 분류기들의 추가적인 트레이닝에서의 사용을 위해 상기 검사 데이터의 선택된 부분에서 상기 복수의 제 2 분류들과 상기 추가적인 검사 데이터를 통합하도록 구성된,
장치.
제 8 항에 있어서,
상기 준비 기준을 평가하기 위해서, 상기 프로세서는 상기 벤치마크 분류 결과들에서 적어도 임계 개수의 결함들이 각각 분류되어 온 상기 클래스들을 받아들이도록 구성된,
장치.
제 8 항에 있어서,
상기 준비 기준을 평가하기 위해서, 상기 프로세서는 상기 검사 데이터를 사용하여 성능 측정의 적어도 임계 레벨로 분류될 수 있는 클래스를 받아들이도록 구성되고, 상기 성능 측정은 정확도, 분류 성능 측정, 및 리젝션 성능 측정 중 적어도 하나인,
장치.
제 8 항에 있어서,
상기 프로세서는 추가적인 검사 데이터의 하위세트를 분류를 위한 검사 방식에 제공하도록 더 구성되고, 상기 추가적인 검사 데이터의 하위세트는 상기 트레이닝된 하나 또는 둘 이상의 자동 분류기들에 의해 분류될 수 없는 검사 데이터를 포함하는,
장치.
제 12 항에 있어서,
상기 프로세서는 상기 준비 기준을 만족시키지 않는 클래스에 대해, 상기 검사 방식에 의해 상기 클래스와 연관된 결함들의 그룹을 식별하도록, 상기 결함들의 그룹에서 결함들을 분류하는 데에서 상기 검사 방식에 의해 사용된 상기 추가적인 검사 데이터의 하위세트로부터 상기 추가적인 검사 데이터를 수집하도록, 상기 수집된 추가적인 검사 데이터를 상기 검사 데이터의 선택된 부분에 부가하여 상기 클래스에 대해 확장된 트레이닝 세트를 생성하도록, 상기 클래스가 상기 확장된 트레이닝 세트에 기초하여 상기 준비 기준을 만족시키는지를 결정하도록, 그리고 상기 클래스가 상기 확장된 트레이닝 세트에 기초하여 상기 준비 기준을 만족시킨 것을 결정하자마자, 상기 확장된 트레이닝 세트를 사용하여 상기 클래스에 대해 자동 분류기를 트레이닝하도록 구성된,
장치.
제 8 항에 있어서,
상기 프로세서는 상기 검사 데이터의 선택된 부분 외에 추가적인 검사 데이터에서의 상기 복수의 결함들의 분포에서의 변화를 검출하자마자 상기 하나 또는 둘 이상의 자동 분류기들을 리트레이닝하도록 구성된,
장치.
프로세싱 디바이스에 의해 실행되었을 때 상기 프로세싱 디바이스가 동작들을 수행하게 하는 명령어들을 갖는 비-일시적인 컴퓨터 판독 가능한 저장 매체로서,
상기 동작들이:
컴퓨터 시스템에 의해서, 하나 또는 둘 이상의 샘플들에서 발견된 복수의 결함들과 연관된 검사 데이터를 수신하는 동작;
상기 컴퓨터 시스템에 의해서, 상기 복수의 결함들의 각각에 대한 클래스를 포함하는 하나 또는 둘 이상의 벤치마크 분류 결과들을 수신하는 동작;
상기 컴퓨터 시스템에 의해서, 상기 하나 또는 둘 이상의 벤치마크 분류 결과들에 기초하여 상기 하나 또는 둘 이상의 클래스들에 대해 준비 기준을 평가하는 동작;
상기 준비 기준을 만족시키는 상기 하나 또는 둘 이상의 클래스들과 연관된 하나 또는 둘 이상의 결함들에 대응하는 상기 검사 데이터의 일부를 선택하는 동작; 및
상기 검사 데이터의 선택된 부분을 사용하여 상기 준비 기준을 만족시키는 상기 하나 또는 둘 이상의 클래스들에 대해 하나 또는 둘 이상의 자동 분류기들을 트레이닝하는 동작을 포함하고,
상기 준비 기준은 주어진 클래스에 대해서, 상기 주어진 클래스에 대해 자동 결함 분류기를 트레이닝하기 위한 상기 검사 데이터의 적합성을 나타내고,
상기 주어진 클래스에 대해 상기 자동 결함 분류기를 트레이닝 하기 위한 상기 검사 데이터의 적합성은 상기 준비 기준이 만족된 경우 나타내지며,
상기 주어진 클래스에 대해 상기 준비 기준은, 상기 벤치마크 분류 결과들에서 상기 주어진 클래스의 경계들로 분류되었던 결함들의 전체 개수가 임계 개수보다 더 많은 경우 및 다른 클래스와 연관된 분류와 겹치지 않고 상기 주어진 클래스로 분류되었던 결함들의 개수의 비율이 미리 정해진 기준에 매칭하는 경우에 만족되는,
비-일시적인 컴퓨터 판독 가능한 저장 매체.