KR20160081843A

KR20160081843A - 자동 분류를 위한 파라미터들의 튜닝

Info

Publication number: KR20160081843A
Application number: KR1020150190124A
Authority: KR
Inventors: 올리 즈비티아
Original assignee: 어플라이드 머티리얼즈 이스라엘 리미티드
Priority date: 2014-12-31
Filing date: 2015-12-30
Publication date: 2016-07-08
Also published as: US20160189055A1; KR102224601B1; TW201636907A; TWI691914B

Abstract

분류 시스템을 튜닝하기 위한 방법, 시스템, 및 컴퓨터 소프트웨어 물건이 제공된다. 튜닝 방법은, 트레이닝 클래스 라벨과 각각 연관된 아이템들을 포함하는 트레이닝 데이터를 수신하고, 자동 클래스 라벨, 및 제 1 신뢰 레벨 및 제 2 신뢰 레벨의 대응하는 값들과 각각의 아이템의 연관을 포함하는 테스트 데이터를 획득한다. 자동 클래스마다, 방법은, 트레이닝 데이터 및 테스트 데이터에 기초하여, 2개 또는 그 초과의 성능 메트릭들을 생성한다. 방법은, 각각의 자동 클래스에 대해, 제 1 신뢰 임계치 및 제 2 신뢰 임계치의 값들의 선호되는 쌍을 선택하며, 그 값들의 선호되는 쌍에 대해, 제 1 및 제 2 임계치들 아래의 모든 아이템들을 거부함으로써, 모든 자동 클래스들에 대하여, 성능 메트릭들의 전역적 최적 조건이 만족된다.

Description

자동 분류를 위한 파라미터들의 튜닝{TUNING OF PARAMETERS FOR AUTOMATIC CLASSIFICATION}

[0001] 본 개시는 일반적으로, 자동화된 분류에 관한 것이고, 구체적으로, 제조 결함들의 분석을 위한 방법들 및 시스템들에 관한 것이다.

[0002] 자동 결함 분류(Automatic Defect Classification; ADC) 기법들은, 반도체 산업에서, 기판들 상의 결함들의 검사 및 측정 시에 널리 사용된다. 이러한 기법들은, 결함들의 존재를 검출하고, 결함들을 타입에 따라 자동적으로 분류하여, 생산 프로세스에 대한 더 상세한 피드백을 제공하고, 인간 검사자들에 대한 부담을 감소시키는 것을 목표로 한다. ADC는, 예컨대, 마이크로회로 패턴 그 자체에서의 불규칙성들과 연관된 결함들 및 웨이퍼 표면 상의 입자 오염물들로부터 불생하는 결함들의 타입들을 구별하기 위해 사용되고, 또한, 입자들 및 불규칙성들의 특정 타입들을 식별할 수 있다.

[0003] 이하에서 설명되는 본 개시의 실시예들은, 자동화된 분류를 위한 개선된 방법들, 시스템들, 및 소프트웨어를 제공한다.

[0004] 본 발명의 실시예에 따르면, 분류 시스템을 튜닝하기 위한 방법이 제공된다. 분류 시스템은, 분류 규칙(rule)들을 정의하는 멀티-클래스 및 단일-클래스 분류기(classifier)들을 포함할 수 있다. 방법은, 아이템(item)들을 포함하는 트레이닝 데이터를 수신할 수 있다. 각각의 아이템은 트레이닝 클래스 라벨(label)과 연관될 수 있다. 방법은, 자동 클래스 라벨, 및 제 1 신뢰 레벨(confidence level) 및 제 2 신뢰 레벨의 대응하는 값들과 각각의 아이템의 연관을 포함하는 테스트 데이터를 획득할 수 있다. 방법은, 자동 클래스마다, 트레이닝 데이터 및 테스트 데이터에 기초하여, 2개 또는 그 초과의 성능 메트릭(metric)들을 생성할 수 있다. 방법은, 각각의 자동 클래스에 대해, 제 1 신뢰 임계치 및 제 2 신뢰 임계치의 값들의 선호되는 쌍(preferred pair)을 선택할 수 있고, 제 1 신뢰 임계치(threshold) 및 제 2 신뢰 임계치의 값들의 선호되는 쌍에 의해, 제 1 및 제 2 임계치들 아래의 모든 아이템들을 거부함으로써, 모든 자동 클래스들에 대하여, 성능 메트릭들의 전역적(global) 최적 조건이 만족된다. 아이템들은 반도체 기판 상에서 검사된 의심되는 결함들일 수 있다.

[0005] 본 발명의 실시예에 따르면, 전역적 최적 조건은, 성능 메트릭들에 적용된 하나 또는 그 초과의 성능 제약(constraint)들 하에서 만족될 수 있다.

[0006] 본 발명의 실시예에 따르면, 제 1 신뢰 임계치 및 제 2 신뢰 임계치의 값들의 선호되는 쌍을 선택하는 동작은, 각각의 자동 클래스에 대해, 값들의 후보 쌍들의 그룹을 생성하는 것; 및 값들의 후보 쌍들 중에서, 값들의 선호되는 쌍을 선택하는 것을 포함할 수 있고, 값들의 선호되는 쌍에 의해, 모든 자동 클래스들에 대하여, 성능 메트릭들의 전역적 최적 조건이 만족된다.

[0007] 방법은, 원하는 성능 레벨들 중 하나 또는 그 초과에 관하여 사용자로부터 수신된 입력에 기초하여, 값들의 선호되는 쌍을 선택할 수 있다. 방법은, 값들의 후보 쌍들의 세트를 표현하는 그래프를 플롯팅(plot)할 수 있다. 방법은, 사용자로 하여금, 값들의 선호되는 쌍을 선택하기 위해 그래프를 사용하게 허용할 수 있다. 그래프는, x 축 상에 제 1 성능 메트릭의 그리드(grid)를 정의하고, 제 1 성능 메트릭의 각각의 포인트에 대하여, y 축에 대해 제 2 성능 메트릭의 전역적 최적 조건을 발견함으로써 구성될 수 있다.

[0008] 방법은, 허용되는 쌍 값들의 그룹을 생성하기 위해, 값들의 후보 쌍들의 그룹에 하나 또는 그 초과의 성능 제약을 적용할 수 있다. 방법은, 값들의 허용되는 쌍의 그룹으로부터, 값들의 선호되는 쌍을 선택할 수 있거나, 또는 사용자에 의한 값들의 선호되는 쌍의 선택을 허용할 수 있다.

[0009] 방법은, 제 1 임계치 및 제 2 임계치가 주어진 값들로 세팅되면서, 트레이닝 데이터의 적어도 일부에 분류 규칙들을 적용함으로써, 테스트 데이터를 획득할 수 있다.

[0010] 방법은, 트레이닝 클래스 라벨을 자동 클래스 라벨들과 비교하여, 2개 또는 그 초과의 성능 메트릭들을 생성할 수 있다.

[0011] 방법은, 매 회마다 제 1 임계치 및/또는 제 2 임계치가 상이한 값으로 세팅되면서, 트레이닝 데이터에 분류 규칙들을 다수 회 적용함으로써, 2개 또는 그 초과의 성능 메트릭들을 생성할 수 있다. 성능 메트릭들은, 자동 클래스들 중 하나에 속하는 것으로서 분류되었고, 동일한 트레이닝 클래스 및 테스트 클래스를 갖는 아이템들을 표현하는 순도(purity) 측정; 정확하게 분류된 모든 아이템들을 표현하는 정확도(accuracy) 측정; 분류 시스템이, 자동 클래스들 중 하나에 속하는 것으로서 분류하였어야 하지만, 신뢰를 가지고 분류할 수 없는 아이템들의 수를 표현하는, 다수 아이템들의 거부 레이트(rejection rate of majority items); 특정 자동 클래스에 속하는 것으로서 정확하게 식별된 아이템들의 수를 표현하는 관심 아이템 레이트(item of interest rate); 자동 클래스들에 속하지 않는 것으로서 정확하게 식별된 아이템들의 수를 표현하는 소수 추출(minority extraction); 거부되었어야 하고, 거부된 아이템들의 총 수로부터 벗어나서, 자동 클래스들 중 하나에 속하는 것으로서 분류된 아이템들의 수를 표현하는 폴스 알람 레이트(false alarm rate) 중 하나 또는 그 초과로부터의 하나 또는 그 초과의 성능 측정들에 관련될 수 있다.

[0012] 성능 제약은, 최소의 순도; 최소의 정확도; 최대의, 다수 아이템들의 거부 레이트; 최소의 관심 아이템 레이트; 최소의 소수 추출; 최대의 폴스 알람 레이트; 최소의 신뢰 임계치 값 중 적어도 하나로부터 선택될 수 있다.

[0013] 제 1 신뢰 임계치 및 제 2 신뢰 임계치는, '언노운(Unknown)' 신뢰 임계치; '판정 불가능(Cannot decide)' 신뢰 임계치; '관심 아이템(Item of interest)' 신뢰 임계치 중 적어도 하나로부터 선택될 수 있으며, '언노운' 신뢰 임계치는, '언노운' 신뢰 임계치 아래의 신뢰 레벨로 자동 클래스에 속하는 것으로서 단일-클래스 분류기에 의해 분류된 아이템이 거부되게 할 신뢰 레벨을 표현하고, '판정 불가능' 신뢰 임계치는, '판정 불가능' 신뢰 임계치 아래의 신뢰 레벨로 자동 클래스에 속하는 것으로서 멀티-클래스 분류기에 의해 분류된 아이템이 거부되게 할 신뢰 레벨을 표현하고, '관심 아이템' 신뢰 임계치는, '관심 아이템' 신뢰 임계치 아래의 신뢰 레벨로 특정 자동 클래스에 속하는 것으로서 멀티-클래스 및 단일-클래스 분류기들에 의해 분류된 아이템이 거부되게 할 신뢰 레벨을 표현한다.

[0014] 본 발명의 실시예에 따르면, 분류 시스템을 튜닝하기 위한 장치가 제공된다. 장치는 메모리 및 프로세서를 포함할 수 있으며, 프로세서는, 트레이닝 클래스 라벨과 각각 연관된 아이템들을 포함하는 트레이닝 데이터를 수신하고; 자동 클래스 라벨, 및 제 1 신뢰 레벨 및 제 2 신뢰 레벨의 대응하는 값들과 각각의 아이템의 연관을 포함하는 테스트 데이터를 획득하도록 구성되고, 여기에서, 프로세서는 추가로, 자동 클래스마다, 트레이닝 데이터 및 테스트 데이터에 기초하여, 2개 또는 그 초과의 성능 메트릭들을 생성하고; 각각의 자동 클래스에 대해, 제 1 신뢰 임계치 및 제 2 신뢰 임계치의 값들의 선호되는 쌍을 선택하도록 구성되고, 제 1 신뢰 임계치 및 제 2 신뢰 임계치의 값들의 선호되는 쌍에 의해, 이러한 임계치들 아래의 모든 아이템들을 거부함으로써, 모든 자동 클래스들에 대하여, 성능 메트릭들의 전역적 최적 조건이 만족된다.

[0015] 본 발명의 실시예에 따르면, 분류 시스템을 튜닝하기 위한 장치가 제공된다. 장치는 메모리 및 프로세서를 포함할 수 있으며, 프로세서는, 트레이닝 클래스 라벨과 각각 연관된 아이템들을 포함하는 트레이닝 데이터를 수신하고; 자동 클래스 라벨, 및 제 1 신뢰 레벨 및 제 2 신뢰 레벨의 대응하는 값들과 각각의 아이템의 연관을 포함하는 테스트 데이터를 획득하기 위해, 메모리와 동작적으로 커플링되고, 여기에서, 프로세서는 추가로, 자동 클래스마다, 트레이닝 데이터 및 테스트 데이터에 기초하여, 2개 또는 그 초과의 성능 메트릭들을 생성하고; 각각의 자동 클래스에 대해, 제 1 신뢰 임계치 및 제 2 신뢰 임계치의 값들의 선호되는 쌍을 선택하도록 구성되고, 제 1 신뢰 임계치 및 제 2 신뢰 임계치의 값들의 선호되는 쌍에 의해, 제 1 및 제 2 임계치들 아래의 모든 아이템들을 거부함으로써, 모든 자동 클래스들에 대하여, 성능 메트릭들의 전역적 최적 조건이 만족된다.

[0016] 본 발명의 실시예에 따르면, 명령들을 포함하는 비-일시적인(non-transitory) 컴퓨터-판독가능 매체가 제공되고, 명령들은, 프로세서에 의해 실행되는 경우에, 프로세서로 하여금, 트레이닝 클래스 라벨과 각각 연관된 아이템들을 포함하는 트레이닝 데이터를 수신하게 하고; 자동 클래스 라벨, 및 제 1 신뢰 레벨 및 제 2 신뢰 레벨의 대응하는 값들과 각각의 아이템의 연관을 포함하는 테스트 데이터를 획득하게 하고; 자동 클래스마다, 트레이닝 데이터 및 테스트 데이터에 기초하여, 2개 또는 그 초과의 성능 메트릭들을 생성하게 하고; 각각의 자동 클래스에 대해, 제 1 신뢰 임계치 및 제 2 신뢰 임계치의 값들의 선호되는 쌍을 선택하게 하고, 제 1 신뢰 임계치 및 제 2 신뢰 임계치의 값들의 선호되는 쌍에 의해, 제 1 및 제 2 임계치들 아래의 모든 아이템들을 거부함으로써, 모든 자동 클래스들에 대하여, 성능 메트릭들의 전역적 최적 조건이 만족된다.

[0017] 본 발명의 양상에 따르면, 아이템들을 분류하기 위한 방법이 제공된다. 셋업 스테이지 동안에, 방법은 분류 시스템을 튜닝할 수 있고, 분류 스테이지 동안에, 방법은 아이템들을 포함하는 분류 데이터를 수신할 수 있고, 분류 시스템에 의해 아이템들을 분류할 수 있다. 방법은, 셋업 스테이지 동안에, 제 1 신뢰 임계치 및 제 2 신뢰 임계치의 값들의 선호되는 쌍을 선택할 수 있다. 방법은, 분류 스테이지 동안에, 제 1 신뢰 임계치 및 제 2 신뢰 임계치의 값들의 선호되는 쌍을 적용함으로써, 분류 데이터를 분류할 수 있다.

[0018] 본 발명의 양상에 따르면, 아이템들을 분류하기 위한 시스템이 제공된다. 시스템은, 분류 데이터 아이템들을 수신할 수 있고, 자동 클래스들에 기초하여, 아이템들을 분류할 수 있는 분류 모듈을 포함할 수 있으며, 여기에서, 분류 모듈은 튜닝하기 위한 장치를 포함한다.

[0019] 본 발명은, 도면들과 함께 취해지는, 본 발명의 실시예들의 다음의 상세한 설명으로부터 더 완전히 이해될 것이다.

[0020] 도 1은, 본 발명의 실시예에 따른, 튜닝 모듈을 포함하는 결함 검사 및 분류 시스템의 예시이다.
[0021] 도 2는, 본 발명의 실시예에 따른, 상이한 결함 클래스들에 속하는 검사 피처 값들을 포함하는 피처 공간(feature space)의 표현이다.
[0022] 도 3은, 본 발명의 실시예에 따른, 예시적인 트레이닝 데이터 및 테스트 데이터를 예시하는 테이블이다.
[0023] 도 4는, 본 발명의 실시예에 따른, 분류 방법 및 자동-튜닝 방법의 예시이다.
[0024] 도 5는, 본 발명의 실시예에 따른, 사용자에게 제시되는 그래프의 예시이다.
[0025] 도 6은, 다양한 구현들에 따른, 본원에서 설명되는 동작들 중 하나 또는 그 초과를 수행할 수 있는 예시적인 컴퓨터 시스템의 블록도이다.

[0026] 개요

[0027] 자동 결함 분류 시스템들(ADC)은 반도체 제조와 같은 다양한 분야들에서 사용된다. 분류 시스템은, 분류 규칙들에 따라, 결함들을 복수의 클래스들로 분류할 수 있는 것을 특징으로 한다. 분류 규칙들은 특정한 신뢰 임계치들로 정의된다. 분류 시스템의 성능은, 정확도, 순도, 거부 레이트 등과 같은 성능 측정들에 의해 측정되고, 성능 측정들은 신뢰 레벨들의 선택에 따라 좌우된다.

[0028] 본 개시의 양상들은, 분류 시스템을 튜닝함으로써, 분류 시스템의 성능을 개선하는 것에 관한 것이다. 본 개시의 양상들은, 신뢰 임계치들의 결정을 최적화함으로써, 분류 시스템의 성능을 개선하는 것에 관한 것이다. 본 개시의 양상들은, 분류기 셋업 스테이지의 자동화를 개선함으로써, 분류 시스템의 성능을 개선하는 것에 관한 것이다. 본 개시의 양상들은, 특정한 성능 측정들을 제약들로서 정의하고, 성능 측정 제약들 하에서 신뢰 임계치들을 최적화함으로써, 분류 시스템을 튜닝하는 것에 관한 것이다.

[0029] 분류 시스템은, 분류 규칙들에 따라, 결함들을 복수의 클래스들로 분류할 수 있는 것을 특징으로 한다. 본 개시의 실시예에 따르면, 분류 시스템은, 결함이, 공간에서의 특정한 정의된 볼륨에 속하는지(클래스) 또는 속하지 않는지(거부)를 결정함으로써, 결함을 분류하고, 분류 규칙들은, 결함들 중 어느 것이 복수의 클래스들로 분류될 수 없는지를 식별하기 위한 거부 규칙들을 더 포함할 수 있다. 예시로서, 각각의 클래스는 다-차원 공간에서의 볼륨으로서 나타낼 수 있다. 결함 클래스들 중 적어도 2개의 각각의 범위들 사이의 오버랩(overlap) 구역에서의 결함들은 분류로부터 거부될 수 있다.

[0030] 거부된 결함들은 '판정 불가능'으로서 레이블링될(labeled) 수 있다(예컨대, 하나 초과의 클래스에 속할 수 있고: 즉, 하나 초과의 클래스 볼륨의 일부일 수 있는, 다-차원 공간에서의 위치에 해당될 수 있다). 거부된 결함들은 '언노운'으로서 레이블링될 수 있다(예컨대, 알려진 클래스에 속하지 않을 수 있고: 즉, 클래스 볼륨의 일부가 아닌, 다-차원 공간에서의 위치에 해당될 수 있다).

[0031] 분류 시스템은 추가로, 분류 결과들과 연관된 특정한 임계치 신뢰 레벨을 특징으로 한다. 예시로서, 임계치 신뢰 레벨은, 다-차원 공간에서 클래스 볼륨의 보더(border)들을 드로잉(drawing)하기 위해 사용된다. 클래스 볼륨들의 보더들은 임계치 신뢰 레벨들에 따라 좌우되고, 상이한 신뢰 레벨들은 상이한 클래스 볼륨들(클래스 정의들)을 산출할 것이다. 클래스 볼륨의 범위(bound)들은, 클래스에 속하는 것으로서 식별된 결함들과 그렇지 않은 결함들을 구별하기 위해 선택된 임계치 신뢰 레벨에 따라 더 클 수 있거나 또는 더 작을 수 있다.

[0032] 분류 시스템의 성능은, 정확도, 순도, 거부 레이트 등과 같은 성능 측정들에 의해 측정된다.

[0033] 성능 측정들은 신뢰 레벨들의 선택에 따라 좌우된다.

[0034] 분류 시스템들은, 셋업 스테이지 동안에, 원하는 분류 성능을 위해 트레이닝된다. 셋업 스테이지에서 트레이닝 데이터가 사용된다. 트레이닝 데이터는, 인간 오퍼레이터에 의해 미리-분류될 수 있는 검사 데이터에 대응한다. 트레이닝 데이터에 기초하여, 분류 시스템은, 정의된 클래스들에 대한 분류 임계치들의 값들의 상이한 대안적인 세트들을 평가(assess)한다. 대응하는 임계치 값들을 사용하여 트레이닝 데이터에 분류 규칙들을 적용하는 것은, 특정한 성능 측정들을 산출하는 테스트 분류 결과들을 생성한다. 원하는 성능 측정, 또는 성능 측정들의 조합에 기초하여, 클래스들에 대한 신뢰 임계치들의 특정 세트가 결정된다.

[0035] 거부 규칙들을 채용하는 분류 시스템들은, '판정 불가능'(CND) 신뢰 레벨 또는 '언노운'(UNK) 신뢰 레벨로 분류 결과를 할당할 수 있다. 이는, 예컨대, 단일-클래스 및 멀티-클래스 분류기들을 사용함으로써 달성될 수 있다. 단일-클래스 분류기들은, 각각의 결함에 대해, 주어진 클래스에 속할 확률을 생성하도록 구성된다. 확률이 특정한 임계치를 초과하는 경우에, 결함은 클래스에 속하는 것으로 고려된다. 그렇지 않으면, 결함은 '언노운'으로서 분류된다. 멀티-클래스 분류기는, 각각의 결함에 대해, 클래스의 주어진 세트 중 하나에 속할 확률을 생성하도록 구성된다. 확률이 특정한 임계치를 초과하는 경우에, 결함은 클래스들 중 특정한 하나에 속하는 것으로 고려된다. 그렇지 않으면, 결함은 '판정 불가능'으로서 분류된다. 그러한 분류 시스템의 셋업은, 각각의 클래스에 대해 '언노운' 신뢰 임계치 및 '판정 불가능' 임계치 양자 모두의 결정을 요구한다.

[0036] 본 개시의 양상들은, 소위 분류기 '작업 포인트(working point)'의 결정 - 클래스들에 대한 선호되는 신뢰 임계치들의 결정을 자동화함으로써, 분류기 성능을 개선하는 것을 목표로 한다. 본 개시는, 2개 또는 그 초과의 성능 측정들에 대하여, 클래스들에 대한 선호되는 신뢰 임계치들의 결정을 최적화할 수 있다. 특정한 신뢰 임계치가 특정 성능 측정을 최적화하기는 하지만, 그러한 특정한 신뢰 임계치는 상이한 성능 측정을 악화시킬 수 있다. 즉, 분류 시스템은, 동작 요구들에 따라, 경합하는(competing) 성능 측정들을 고수하도록 요구될 수 있다. 따라서, 본질적으로, 클래스들에 대한 최적의 신뢰 임계치들을 정의하는 것은, 제약 하 최적화 문제이다. 성능 측정들이 원하는 레벨(제약들)로 세팅되고, 제약 하 최적화 알고리즘들이 채용된다.

[0037] 시스템 설명

[0038] 도 1은, 본 발명의 실시예에 따른, 자동화된 결함 검사 및 분류를 위한 시스템(20)의 예시이다. 패터닝된 반도체 웨이퍼(22)와 같은 샘플이 검사 머신(24) 내로 삽입된다. 머신(24)은, 웨이퍼(22)의 표면을 검사할 수 있고, 검사 결과들을 감지 및 프로세싱할 수 있고, 예컨대, 웨이퍼 상의 결함들의 이미지들을 포함하는 검사 데이터를 출력할 수 있다. 부가적으로 또는 대안적으로, 검사 데이터는, 각각의 결함과 연관된 검사 피처들의 값들과 함께, 각각의 결함의 위치를 포함하는, 웨이퍼 상에서 발견된 결함들 또는 의심되는 결함들의 리스트를 포함할 수 있다. 검사 피처들은, 예컨대, 사이즈, 형상, 스캐터링 강도(scattering intensity), 방향성(directionality), 및/또는 스펙트럼 품질들(spectral qualities), 뿐만 아니라, 결함 콘텍스트(defect context), 및/또는 본 기술분야에 알려져 있는 임의의 다른 적합한 피처들을 포함할 수 있다.

[0039] 머신(24)은, 예컨대, SEM(scanning electron microscope), 또는 광학 검사 디바이스, 또는 본 기술분야에 알려져 있는 임의의 다른 적합한 종류의 검사 장치를 포함할 수 있다. 머신(24)은, 웨이퍼의 전체 표면, 웨이퍼의 부분들(예컨대, 전체 다이, 또는 다이의 부분들), 또는 선택 위치들을 검사할 수 있다. 머신(24)은, 반도체 검사 및/또는 리뷰(review) 애플리케이션들, 또는 임의의 다른 적합한 애플리케이션을 위해 동작가능할 수 있다. 본 개시에서 용어 "검사" 또는 그 파생어들이 사용되는 경우에는 언제나, 그러한 검사는, 특정 애플리케이션, 해상도(resolution), 또는 검사 영역의 사이즈에 대하여 제한되지 않고, 예로서, 임의의 검사 툴들 및 기법들에 적용될 수 있다.

[0040] 본 실시예에서 "검사 데이터"라는 용어가 SEM 이미지들 및 연관된 메타데이터를 지칭하는 것으로 사용되지만, 이러한 용어는, 데이터가, 전체 웨이퍼에 걸쳐 캡처링되는지(captured), 또는 부분들에서, 예컨대, 개별적인 의심 위치들 근처에서 캡처링되는지와 무관하게, 그리고 데이터를 수집하기 위해 사용되는 수단과 무관하게, 결함들의 피처들을 식별하기 위해 수집 및 프로세싱될 수 있는 임의의 그리고 모든 종류들의 설명적인(descriptive) 및 진단 데이터를 지칭하는 것으로, 본 개시의 맥락에서, 그리고 청구항들에서 더 광범위하게 이해되어야 한다. 본 발명의 몇몇 실시예들은, 웨이퍼를 스캐닝하고, 의심되는 결함들의 위치들의 리스트를 제공하는 검사 시스템에 의해 식별되는 결함들 또는 의심되는 결함들의 분석에 대해 적용가능하다. 다른 실시예들은, 검사 툴에 의해 제공되었던 의심되는 결함들의 위치들에 기초하여, 리뷰 툴에 의해 재-검출되는 결함들의 분석에 대해 적용가능하다. 본 발명은, 검사 데이터가 생성되는 임의의 특정한 기술에 제한되지 않는다.

[0041] ADC 머신(26)(대안적으로, 분류 머신이라고 지칭됨)은, 검사 머신(24)에 의해 출력된 검사 데이터를 수신하고 프로세싱한다. 검사 머신이 자체적으로, 웨이퍼(22)의 이미지들로부터 모든 관련된 검사 피처 값들을 추출하지 않는 경우에, ADC 머신이 그러한 이미지 프로세싱 기능들을 수행할 수 있다. 도 1에서 ADC 머신(26)이 검사 머신 출력에 직접적으로 연결된 것으로 도시되어 있지만, 대안적으로 또는 부가적으로, ADC 머신은 미리-입수된 저장된 검사 데이터에 대해 동작할 수 있다. 다른 대안으로서, ADC 머신의 기능성은 검사 머신에 통합될 수 있다. 대안적으로 또는 부가적으로, ADC 머신은 하나 초과의 검사 머신에 연결될 수 있다.

[0042] ADC 머신(26)은, 입력 디바이스(34) 및 디스플레이(32)를 포함하는 사용자 인터페이스와 함께, 결함 정보 및 분류 파라미터들을 보유하기 위한 메모리(30)와 프로세서(28)를 포함하는 범용 컴퓨터의 형태의 장치를 포함할 수 있다. 프로세서(28)는 튜닝 모듈(T)을 포함하고, 본원에서 아래에 설명되는 기능들을 수행하도록 소프트웨어로 프로그래밍된다. 소프트웨어는, 예컨대, 네트워크를 통해 전자 형태로 프로세서에 다운로딩될 수 있거나, 또는 소프트웨어는, 대안적으로 또는 부가적으로, (또한 메모리(30)에 포함될 수 있는) 광학, 자기, 또는 전자 메모리 매체들과 같은 유형의 비-일시적인 저장 매체들에 저장될 수 있다. 머신(26)의 기능들을 구현하는 컴퓨터는 튜닝 기능을 포함하는 ADC 기능들에 대해 전용될 수 있거나, 또는 그러한 컴퓨터는 또한, 부가적인 컴퓨팅(computing) 기능들을 수행할 수 있다. 대안적으로, ADC 머신(26)의 기능들은, 하나 또는 다수의 개별적인 컴퓨터들에서의 다수의 프로세서들 사이에 분배될 수 있다. 다른 대안으로서, 본원에서 아래에 설명되는 ADC 기능들 중 적어도 몇몇은, 전용 또는 프로그래머블 하드웨어 로직에 의해 수행될 수 있다.

[0043] ADC 머신(26)은, 위에서 정의된 바와 같은 단일-클래스 및 멀티-클래스 분류기들 양자 모두를 포함하는 다수의 분류기들을 작동(run)시킨다. 다음의 실시예들은, 예시 및 명료성을 위해, 머신(26) 및 시스템(20)의 다른 엘리먼트들에 관하여 설명될 것이지만, 이러한 실시예들의 원리들은, 결함들의 다수의 클래스들 또는 다른 언노운 피처들을 핸들링하기 위해 요구되는 임의의 종류의 분류 시스템에서, 필요한 변경을 가하여, 마찬가지로 구현될 수 있다.

[0044] 본 발명의 실시예들 중 하나에 따르면, 본 발명은, 프로그램 명령들이 저장된 비-일시적인 컴퓨터-판독가능 매체를 포함하는 컴퓨터 소프트웨어 물건으로서 구현되고, 그러한 명령들은, 컴퓨터에 의해 판독되는 경우에, 컴퓨터로 하여금, 본원에서 설명되는 바와 같이, 사용자 입력에 의해 또는 사용자 입력 없이, 자동화된 방식으로 분류 및 자동-튜닝을 수행하게 한다.

[0045] 신뢰 임계치들의 튜닝

[0046] 도 2는, 본 발명의 실시예에 따른, 결함들(42, 44, 50, 51, 56)의 세트가 맵핑되는 피처 공간(40)의 개략적인 표현이다. 시각적인 단순함을 위해, 도 2 및 후속 도면들에서, 피처 공간이 2-차원인 것으로 표현되지만, 본원에서 설명되는 분류 프로세스들은 더 높은 차원수의 공간들에서 수행될 수 있다. 도 2에서의 결함들은 2개의 정의된 클래스들에 속하는 것으로 가정되고, 2개의 정의된 클래스들 중 하나는 결함들(42)(아래에서 "클래스 I"이라고 지칭될 것임)과 연관되고, 다른 하나는 결함들(44)("클래스 II") 과 연관된다. 결함들(42)은 피처 공간에서 보더(52)에 의해 한정되는(bounded) 한편, 결함들(44)은 보더(54)에 의해 한정된다. 보더들은 오버래핑될 수 있다.

[0047] 본 예에서의 ADC 머신(26)은 2개의 타입들의 분류기들을 적용하고: 멀티-클래스 분류기는 클래스들(I 및 II)을 구별한다. 이러한 경우에서의 분류기는, 2개의 클래스들과 연관된 구역들 사이의 경계(46)를 정의하는 바이너리(binary) 분류기이다. 실제로, ADC 머신(26)은, 클래스들의 상이한 쌍에 각각 대응하는 다수의 바이너리 분류기들을 중첩(superposing)시킴으로써, 멀티-클래스 분류를 수행할 수 있고, 그 후에, 각각의 결함을, 바이너리 분류기들에 의해 이러한 결함에 대해 가장 많이 선택된 클래스에 할당할 수 있다. 멀티-클래스 분류기에 의해 결함들이 분류된 후에(또는 이와 병렬로), 보더들(52 및 54)에 의해 표현된 단일-클래스 분류기들은, 보더들 외부의 결함들을 "언노운"으로서 거부하면서, 각각의 클래스에 신뢰가능하게 할당될 수 있는 결함들을 식별한다.

[0048] ADC 머신(26)의 오퍼레이터는, 결함 클래스들과 연관된, 피처 공간(40)에서의 구역들의 경계들의 위치들을 결정하는 신뢰 임계치들을 세팅한다. 멀티-클래스 분류에 대한 신뢰 임계치를 세팅하는 것은, 경계(46)의 양 측 상에 보더들(48)을 배치하는 것과 동등하다. 예컨대, 신뢰 임계치가 높을수록, 보더들(48)이 더 멀리 이격될 것이다. ADC 머신은, 보더들(48) 사이에 위치되지만 보더(52) 내에 위치된 결함들(51)을 "판정할 수 없음"으로서 거부하고, 이는, 머신이, 이러한 결함들을, 신뢰의 요구되는 레벨로, 하나의 클래스 또는 다른 클래스에 자동적으로 할당할 수 없는 것을 의미한다. 이러한 결함들은 ADC 머신에 의해 거부될 수 있고, 따라서, 분류를 위해 인간 검사자에게 전달된다. 대안적으로 또는 부가적으로, 그러한 결함들은, 이전의 분류기들이 이용가능하지 않은 새로운 지식을 부가하는 임의의 양상(modality)에 의한 추가적인 분석을 위해 전달될 수 있다.

[0049] 신뢰 레벨들은 유사하게, 단일-클래스 분류기들의 보더들(52 및 54)의 형상들을 제어한다. 이러한 맥락에서 "형상"은 보더의 범위(extent) 및 기하학적인 형태 양자 모두를 지칭하고, 분류기들을 구현하는데 사용되는 커널 함수(kernel function)의 파라미터와 연관된다. 신뢰 임계치의 각각의 값에 대해, ADC 머신은, 미국 특허 출원 공개 제 2013/0279795 호에서 상세히 설명된 바와 같이, 파라미터의 최적의 값을 선택한다. 보더들의 기하학적인 형상 및 보더들에 의해 정의되는 볼륨은, 임계치 신뢰 레벨이 변화됨에 따라, 변화할 수 있다.

[0050] 도 2에서 도시된 예에서, 결함들(56)은 보더들(52 및 54) 외부에 해당되고, 따라서, "언노운" 결함들로서 분류된다. 보더들(52, 54) 양자 모두의 외부에 있고, 보더들(48) 사이에 있는 결함들(50)이 또한, "언노운"으로서 고려된다. 더 낮은 신뢰 임계치를 세팅하는 것은, 그러한 결함들을 포함시킬 정도로 충분히, 보더(52 및/또는 54)를 확장할 수 있고, 그 결과로, ADC 머신(26)은 더 적은 결함들을 거부할 것이지만, 더 많은 분류 에러들을 가질 수 있거나(따라서, 분류의 순도를 감소시킬 수 있거나), 또는 관심 결함들(defects of interest) 중 몇몇을 놓칠 수 있다. 한편, 신뢰 임계치를 증가시키는 것은, 더 높은 거부 레이트 또는 폴스 알람 레이트의 대가로, 분류의 순도를 향상시킬 수 있다.

[0051] 도 3은, 본 발명의 실시예에 따른, 트레이닝 분류 데이터 및 테스트 분류 데이터를 예시하는 성능 메트릭 테이블이다. 테이블에서의 행들은, 인간 검사자("사용자")에 의해 분류되었고, 검사자에 의해 할당된 클래스들에 따라 소팅된(sorted), 트레이닝 세트에서의 결함들을 나타낸다. 행들(60)은 소위 "다수(majority)" 결함 클래스들(A, B, 및 C)(또한, "자동 클래스들"이라고 지칭됨)을 나타낸다. 다수 클래스들은, 트레이닝 데이터에 대해 분류 규칙들을 적용한 후에, 결함들의 대부분이 이러한 클래스들에 속하는 것으로서 트레이닝 데이터에서 식별되는 클래스들이다. ADC 시스템은 결함들을 다수 클래스들로 분류하는 것이 가능할 것이고, 이러한 클래스들은 또한, "자동 클래스들"이라고 호칭된다. 행들(62)은 소위 "소수(minority)" 결함 클래스들(a 내지 g)을 나타낸다. 소수 클래스들은, 트레이닝 데이터에 대해 분류 규칙들을 적용한 후에, 이러한 클래스들에 속하는 것으로서 트레이닝 데이터에서 식별된 결함들의 대부분이, 분류 시스템에 의해, 자동 클래스들에 속하는 것으로서 분류되지 않을 것이고, 거부될 것인 클래스들이다.

[0052] 테이블의 열들은 분류 시스템(26)에 의한 결함들의 분류를 나타낸다. 구체적으로, 열들(64)은, 머신에 의한 자동 클래스들(A, B, 및 C)로의 결함들의 분류를 나타낸다. 따라서, 행들(60 및 62) 및 열들(64)은, 대각선 상의 셀들에서의 수들이 머신에 의한 정확한 분류에 대응하는 한편, 나머지 셀들은 부정확한 분류들의 수들을 포함하는, 혼동 행렬(confusion matrix)을 정의한다.

[0053] 도 3은, 튜닝 전의 셋업 스테이지의 시작 시에 발생할 수 있는 ADC 결과들의 분배를 도시한다. 이러한 시점에서, 분류에서 사용되는 신뢰 임계치들은, 성능 영향(implication)들에 대한 고려 없이, 최소의 값들로 세팅된다. 결과로서, 모든 결함들은, 3개의 다수(자동) 클래스들 중 하나에 속하는 것으로서 분류된다. 어떠한 결함들도, 머신(26)에 의해, "언노운"(UNK) 또는 "판정할 수 없음"(CND - "판정 불가능")으로서 분류되지 않았고, 따라서, UNK 및 CND 결함들의 수들을 포함하는 열들(66 및 68)은 비어 있다(예컨대, 제로(zero)의 값을 나타낸다). 열(70)에서 리스팅될, 각각의 클래스에 대한 거부들의 수는 유사하게 제로이다. 총계 행(72)은, 머신에 의해 각각의 클래스 또는 카테고리로 (정확하게 또는 부정확하게) 분류된 결함들의 총 수를 제공하는 한편, 트레이닝 세트 총계 열(74)은, 인간 오퍼레이터에 의해 클래스들(A 내지 C 및 a 내지 g) 각각으로 미리-분류되었던, 트레이닝 데이터에서의 결함들의 실제의 총 수를 표시한다.

[0054] 도 3에 대하여, 다수 클래스들(A, B) 각각에 대한 ADC 머신(26)에 의한 분류의 순도에 관한 성능 측정이, 순도 행(76)에서 각각의 열의 바닥에 제시된다. 각각의 클래스에 대한 순도 퍼센티지는, 행(72)에서의 엔트리들에 리스팅된 바와 같은, 머신에 의해 클래스에 할당된 결함들의 총 수에 의해 제산된(divided), 정확하게 분류된 결함들의 수(예컨대, 클래스 A에서의 75개의 결함들, 클래스 B에서의 957개의 결함들, 및 클래스 C에서의 277개의 결함들)와 동등하다. 이러한 경우에, 행(76)에서의 클래스들(A 및 C)에 대한 순도 값들은 낮고 - 아마도, 시스템(20)의 사용자가 선택할 가능성이 있는 최소 순도 레벨보다 더 낮을 것이다. 동시에, 열(74)에서의 각각의 타입의 결함들의 총 수에 의해 제산된, 열(70)에서의 거부들의 수의 몫에 의해 주어지는, 거부 열(78)에서 리스팅된 거부 레이트들(퍼센트 단위로 표현됨)은 제로이다.

[0055] 모든 분류기들이 이상적으로 정의되고, 결함들이 분류하기에 용이하고, 신뢰 임계치들이 이상적인 값들로 세팅된 경우에, 행들(62)에서의 모든 소수 결함들은 열들(66 내지 70)로 옮겨질 것이고, 이는, 모든 소수 결함들이 ADC 머신(26)에 의해 거부된 것을 의미한다. 동시에, 열들(64)에 의해 정의된 혼동 행렬에서의 비-대각선(off-diagonal) 엘리먼트들이 제로가 될 것이고, 열(70)에서의 다수 클래스들(A, B, 및 C)에 대한 거부들의 수가 마찬가지로, 제로가 될 것이다. 이러한 경우에, 행(76)에서의 다수 클래스들에 대한 순도 값들은 100 %일 것이고, 행들(60)에 대한 거부 레이트들은 0일 것인 한편, 행들(62)에서 나타낸 소수 결함들의 식별(80)은 100 %일 것이다.

[0056] 마찬가지로, DOI들(defects of interest)로부터 방해(nuisance) 및 폴스 결함들을 구별하는 목적을 위해, 모든 DOI들은, 오퍼레이터에 의해 DOI로서 할당된 열들(64) 중 하나 또는 그 초과에(100 %의 DOI 캡처 레이트를 제공함), 또는 거부된 열들(66 및 68)에 놓여야 한다. 프로스 클래스들은, 오퍼레이터에 의해 폴스로서 할당된 열들(64)에 집중되어야 한다(0 %의 폴스 알람 레이트를 제공함).

[0057] 도 4는, 본 발명의 실시예에 따른, 자동 결함 분류를 위한, 또는 방해 결함들과 관심 결함들(DOI들)을 구별하기 위한 방법을 개략적으로 예시하는 흐름도이다. 방법(400)은, 원하는 성능 측정들을 충족시키는 신뢰 임계치 값들을 결정함으로써, ADC 머신(26)을 튜닝하기 위해, 트레이닝 데이터 세트에 대해, 셋업 스테이지 동안에, 머신(26)의 모듈(T)에 의해 수행되는 동작들(410)의 시퀀스, 및 셋업 스테이지 동안에 선택되었던 신뢰 임계치 값들을 사용하여, 검사 결과들의 분류를 위해, 검사 결과들에 대해, 분류 스테이지 동안에 수행되는 동작들(420)의 시퀀스를 포함한다. 본 발명의 실시예에 따르면, 셋업 스테이지 동안에, 사용자가 머신(26)과 상호작용하지만, 분류 스테이지 동안에, 머신(26)은 실질적으로 사용자 상호작용 없이 동작한다. 본 발명의 다른 실시예에 따르면, 사용자는, 분류 스테이지 동안에, 머신(26)과 상호작용한다. 방법(400)은, 도 1의 머신(26)의 프로세서(28), 또는 머신(26)에 의해 수행될 수 있다.

[0058] 셋업 스테이지(410): 셋업 스테이지의 동작들(430 내지 470)은 도 4 및 도 3 모두에 관하여 설명될 것이다.

[0059] 도시된 바와 같이, 블록(430)에서, 트레이닝 데이터가 수신될 수 있고, 여기에서, 트레이닝 데이터는, 트레이닝 클래스 라벨과 각각 연관된 아이템들을 포함한다. 트레이닝 데이터는, 주어진 테스트 웨이퍼에 대응하는, 클래스 라벨과 각각 연관된, 결함들과 같은 아이템들의 리스트로 구성될 수 있고, 그에 의해, 트레이닝 클래스 라벨들이 구성된다. 도 3에 대하여, 트레이닝 클래스 라벨들은 행들(60 및 62)에서 표현된다.

[0060] 도시된 바와 같이, 블록(440)에서, 자동 클래스 라벨, 및 대응하는 제 1 및 제 2 신뢰 레벨들과 각각의 아이템을 연관시키는 것을 포함하여, 테스트 데이터가 획득될 수 있다. 본 발명의 실시예에 따르면, 테스트 데이터는, 트레이닝 데이터가 대응하는 테스트 웨이퍼를 검사함으로써 검사 툴(예컨대, 도 1의 머신(24))에 의해 제공되는 검사 결과들에 기초하여 생성된다. ADC 머신은 검사 결과들을 완전히 분류하거나, 또는 검사 결과들의 서브-세트를 분류함으로써, 아이템들을 클래스들과 연관시킨다. 도 3에 대하여, 분류의 결과들은 열들(64)에서 표현된다.

[0061] 도시된 바와 같이, 블록(440)에서, 상이한 신뢰 임계치 레벨들을 세팅하는 것의 결과로서 정의되는 바와 같이, 자동(다수) 클래스마다, 성능 메트릭들이 생성된다. 성능 메트릭들은, 트레이닝 데이터 및 테스트 데이터에 기초하여 생성된다. 성능 메트릭들은, 매 회마다 하나 또는 그 초과의 신뢰 임계치들을 상이한 값으로 세팅하면서, 트레이닝 데이터에 분류 규칙들을 다수 회 적용시킴으로써, 생성된다. 따라서, 테스트 데이터는, 각각의 자동 클래스에 대해, 성능 측정들의 다양한 값들을 발생시키는, 신뢰 임계치 값들과 연관된 아이템들을 각각 포함하는 다양한 분류 결과들을 포함한다. 따라서, 신뢰 임계치들의 값들과 성능 측정들의 값들 사이의 상관이 그에 따라 수신되고, 성능 메트릭들이 구성된다.

[0062] 도시된 바와 같이, 블록(460)에서, 각각의 자동 클래스에 대해, 모든 신뢰 임계치 값들의 그룹 중에서 선호되는 신뢰 임계치 값들을 결정(470)하기 위해, 성능 메트릭들의 최적화 문제가 해소된다.

[0063] ADC 머신의 튜닝은, 2개 또는 그 초과의 성능 측정들(예컨대, 순도 및 거부 레이트)에 대하여, 클래스들에 대한 선호되는 신뢰 임계치의 결정을 최적화함으로써 달성된다. 특정한 신뢰 임계치가 특정 성능 측정(예컨대, 순도)을 최적화하기는 하지만, 그러한 특정한 신뢰 임계치는 상이한 성능 측정(예컨대, 거부 레이트)을 악화시킬 수 있다. 즉, 분류 시스템은, 동작 요구들에 따라, 경합하는 성능 측정들을 고수하도록 요구될 수 있다.

[0064] 본 발명의 실시예에 따르면, 성능 측정들 중 하나 또는 그 초과는 제약으로서 표현될 수 있고, 동작(460)은, 제약 하 최적화 기법을 사용하여 수행된다. 본 발명의 실시예에 따르면, 사용자는, 원하는 제약들을 제공함으로써, 머신(26)과 상호작용한다. 제약들의 예들은, 원하는 레벨의 순도, 원하는 레벨의 정확도, 최소의 거부 레이트 등을 포함하지만 이에 제한되지는 않는다. 그에 의해, 임계치 값들의 후보 쌍들의 그룹은, 하나 또는 그 초과의 제약들을 충족시키는 임계치 값들의 쌍들을 포함하는 것으로 제한된다. 즉, 성능 측정들의 수용가능한 값들을 산출하는 임계치 값들의 쌍들은, 허용되는 쌍 값들로서 식별된다. 성능 측정들의 수용가능하지 않은 값들을 산출하는 임계치 값들의 쌍들은, 허용되지 않는 쌍 값들로서 식별된다. 본 발명의 실시예에 따르면, 성능 제약들이 성능 메트릭들을 생성하기 위해 사용되고, 테스트 데이터에 분류 규칙들을 적용하는 동안에, 허용되는 쌍 값들만이 사용되고, 그에 의해, 소모적인, 시간-소비적인 연산들이 피해진다.

[0065] 본 발명은, 사용될 수 있는 최적화 기법들의 타입 및 종류에 의해 제한되지 않는다. 최적화 기법들은, 그리디 반복 알고리즘(greedy iterative algorithm)들, 라그랑주 승수(Lagrange multiplier)들, 선형 또는 이차(quadratic) 프로그래밍, 분기와 한정(branch and bound), 및 진화적(evolutionary) 또는 확률적(stochastic) 제약 최적화를 포함할 수 있지만 이에 제한되지는 않는다.

[0066] 본 발명의 실시예에 따르면, 하나 또는 그 초과의 성능 측정들이 원하는 레벨로 유지되면서(제약 하 최적화 문제), 그리디 반복 알고리즘이 사용된다. 예컨대, 도 3의 예시에 대하여, 그리디 반복 알고리즘 탐색의 각각의 반복에서, 상이한 신뢰 임계치 값이 적용되고, 순도가, 최소 수용가능한 순도 값 이상인 레벨로 유지되면서, 소수 결함들의 거부(80)가 증가되는 바와 같이, 열(78)에서 리스팅된 거부 레이트들이 증가될 것이다. 순도에 부가하여 또는 순도 대신에, 순도 값들과 무관하게 UNK 또는 CND 결함들에 대한 최소의 임계치와 같은, 거부 임계치에 대한 다른 제약들이 사용될 수 있다. 그리디 반복 알고리즘 탐색은, 다수 클래스들 각각에 대해, 순도가, 미리 정의된 최소 순도 값 이상이도록; 다수 클래스들 각각에 대해, UNK 및 CND 결함들에 대한 최소의 거부 임계치들이, 특정된 값들 이상이도록; 레이트들(80)에 대한 가중 평균(weighted average)으로서 (소수 추출 레이트라고 지칭되는) 소수 결함들의 거부의 전체 레이트가, 특정한 최소 타겟 레이트 이상이도록; 또는 열(78)의 행들(60)에서의 값들의 가중 평균으로서, 다수 결함들의 거부의 평균 레이트가, 순도 및 소수 추출에 대한 위의 조건들을 여전히 충족시키는 것으로 발견될 수 있는 최저의 레이트이도록 하는 신뢰 임계치 값들의 세트를 발견하도록 정의될 수 있다. 본 예에서, 타겟 성능 측정은 순도인 한편, 소수 추출 레이트는 머신(26)에 대한 동작 기준을 정의한다. 본 발명은, 사용되는 성능 측정들의 타입, 제약들의 타입 및 이들의 원하는 레벨들, 또는 제약 하 최적화 접근법의 구현에 의해 제한되지 않는다. 본 발명은, 분류의 요구들 및 목적들에 따라, 다른 세트들의 성능 측정들 및 동작 기준들을 충족시키는 임계치 값들의 세트들을 자동적으로 발견하기 위해 적용될 수 있다.

[0067] 본 발명의 실시예에 따르면, 인간 오퍼레이터(사용자)는 하나 또는 그 초과의 원하는 성능 레벨들을 제공한다. 예컨대, 사용자는 입력/출력 모듈(예컨대, GUI, 디스플레이, 및 키보드)을 통해 머신과 상호작용하고, 하나 또는 그 초과의 원하는 성능 값들을 입력할 수 있다. 이러한 입력에 기초하여, 각각의 자동 클래스에 대한 선호되는 신뢰 임계치 값들이 선택된다. 그러한 원하는 성능 값들은, 최소의 순도, 최소의 정확도, 최대의, 다수 아이템들의 거부 레이트, 최소의 관심 아이템 레이트, 최소의 소수 추출, 최대의 폴스 알람 레이트, 및 최소의 신뢰 임계치 값 중 하나 또는 그 초과를 포함할 수 있다.

[0068] 본 발명의 실시예에 따르면, 선호되는 신뢰 임계치 값들은 자동적으로 선택된다. 예컨대, 선호되는 신뢰 임계치 값들은, 주어진 순도 또는 정확도 레벨에서의 최소의 거부 레이트에 대응하는 것들이다.

[0069] 본 발명의 실시예에 따르면, 선호되는 신뢰 임계치 값들의 선택은, 수동 또는 반-수동 방식으로 수행된다. 각각의 자동 클래스에 대한 다양한 후보 신뢰 임계치 값들이 사용자에게 제공되고, 사용자는, 수동 프로세스로, 각각의 자동 클래스에 대한 선호되는 신뢰 임계치 값들을 선택할 수 있게 된다. 예컨대, 도 3에 대하여 설명된 예에서, 특정한 최소의 순도 또는 정확도를 충족시키는, 각각의 자동 클래스에 대한 후보 CND 및 UNK 신뢰 임계치 값들의 복수의 쌍들이 사용자에게 제공되고; 각각의 그러한 쌍은 상이한 CND 및/또는 UNK 신뢰 임계치 값들을 표현한다. 데이터는 그래프의 형태로 사용자에게 제시될 수 있다. 그래프는, x 축 상에 제 1 성능 측정의 그리드를 정의하고, 제 1 성능 측정의 각각의 포인트에 대하여, y 축에 대해 제 2 성능 측정의 전역적 최적 조건을 발견함으로써 구성된(construed) 2-차원 그래프일 수 있다. 그래프는, x 축 상에 제 1 성능 측정의 그리드를 정의하고, 제 1 성능 측정의 각각의 포인트에 대하여, y 축 및 z 축에 대해 제 2 및 제 3 성능 측정들의 전역적 최적 조건을 발견함으로써 구성된 3-차원 그래프일 수 있다. 어느 경우에도, 그래프 상의 각각의 포인트("작업 포인트(working point)")는, 특정한 성능 측정 레벨들 하에서의, 임계치 값들의 수용가능한 세트(각각의 자동 클래스에 대한 후보 신뢰 임계치 값들)를 표현한다. 다르게 말하면, 각각의 작업 포인트는 성능 측정들 사이의 상이한 트레이드-오프(trade-off)를 제공한다. 후보 작업 포인트들에 관련된 부가적인 시각화(visualization) 및 정보가 사용자에게 제공될 수 있다. 예컨대, (각각의 성능 측정들의 값과 같은) 작업 포인트들이 생성되었던 하나 또는 그 초과의 원하는 성능 측정 레벨(제약들)의 시각화가 사용자에게 제공될 수 있다. 작업 포인트들에 대응하는 성능 레벨 값들이 사용자에게 제공될 수 있다. 특정 자동 클래스에 대한 임계치 값들 및/또는 특정한 성능 측정에 대응하는 임계치 값들이 사용자에게 제공될 수 있다. (예컨대, 에러 바들로서 시각화된) 성능 측정들에 대하여 가능한 에러들 또는 허용오차들을 표현하는, 각각의 작업 포인트에 대한 통계적인 경계들(statistical boundaries), 및 그 이외의 것들이 사용자에게 제공될 수 있다. 이러한 시각화에 의해, 사용자는, 선택의 특정 양상들의 심층적인 조사(in-depth investigation)가 가능하게 된다.

[0070] 블록(460)에서 도시된 바와 같이, 신뢰 임계치 값들의 선호되는 세트가 선택된다. 신뢰 임계치 값들의 선호되는 세트는 사용자에 의해 선택될 수 있다. 사용자 선택은, 그래프 상에서 커서 또는 포인터를 이동시키고, 원하는 작업 포인트를 선택함으로써, 입력/출력 모듈을 통해 제공될 수 있다. 본 발명은, 사용자에게 데이터를 제시하기 위해 사용되는 시각화 기법 및 데이터 구조의 타입에 의해 제한되지 않는다. 본 발명은, 머신과 상호작용하기 위해 사용되는 입력/출력 모듈들 및 GUI의 타입에 의해 제한되지 않는다. 신뢰 임계치 값들의 선호되는 세트는 자동화된 방식으로 선택될 수 있다.

[0071] 분류 스테이지(420):

[0072] 블록(480)에서, 분류 데이터가 검사 머신으로부터(또는 다른 머신으로부터) 수신된다. 대안적으로, 특정 시스템 구성에 따라, 검사 결과들이 검사 머신으로부터 수신되고, 아이템들(예컨대, 결함들)을 포함하는 분류 데이터가 머신(26)에 의해 생성된다.

[0073] 블록(490)에서, 머신(26)에 의해, 자동 클래스들을 위해 선택되었던 신뢰 임계치 값들의 선호되는 세트를 사용하여, 분류 데이터에 분류 규칙들이 적용되고, 그에 의해, 아이템들(결함들)이 분류된다.

[0074] 도 5는, 본 발명의 실시예에 따른, 사용자에게 제시되는 그래프(500)의 개략도이다. 그래프(500)는, 도 1의 머신(26)의 프로세서(28), 또는 머신(26)에 의해 사용자에게 제시될 수 있다. 이러한 비-제한적인 예에서의 그래프의 가로 좌표는 제 1 성능 측정(예컨대, DOI 캡처 레이트)인 한편, 세로 좌표는 제 2 성능 측정(예컨대, 폴스 알람 레이트)이다. 성능 측정들은 퍼센티지들로서 표현되고, 위에서 정의된 방식으로 컴퓨팅된다. 그래프 상의 각각의 포인트(87)는, 위에서 설명된 바와 같이, 분류기 신뢰 임계치 값들의 세트에 대응하는, 머신(26)의 후보 작업 포인트를 표현한다. 도 5에서 도시된 예에서, (또한, '안정성(stability)'이라고 지칭되는) 성능 측정들에 대한 가능한 에러들 또는 허용오차들을 표현하는, 각각의 작업 포인트에 대한 통계적인 경계들을 표시하는 에러 바들(88)이 각각의 작업 포인트에 할당된다. 작업 포인트들(87)은 에러 바들 없이 도시될 수 있다. 작업 포인트들은, (도 5에서와 같이) 불연속적인(discrete) 방식으로, 또는 연속적인 라인 상의 도트들로서 도시될 수 있다.

[0075] 그래프(500)는, 제 1 성능 측정에서의 원하는 값들의 그리드를 정의하고, 제 1 측정 값을 고려하여 다른 성능 측정을 최적화함으로써 생성될 수 있다. 대안적으로, 한번에 모든 성능 측정들을 고려하는 반복 알고리즘이, 경합하는 성능 측정들 각각에서의 변화들 사이의 비율이 최적이 되도록, 각각의 반복에서, 하나 또는 그 초과의 클래스 신뢰 임계치들을 변경시키면서 적용될 수 있다. 이는, 그리디 반복 알고리즘, 또는 임의의 다른 제약 최적화 기법, 예컨대, 라그랑주 승수들, 선형 또는 이차 프로그래밍, 분기와 한정, 또는 진화적 또는 확률적 제약 최적화에 의해 달성될 수 있다. 이러한 기법들 각각에 대하여, 작업 포인트들의 그래프를 생성하기 위해, 연속적인 최적화 단계들이 축적될 수 있다. 안정성 에러 바들은, (예컨대, 부스팅(boosting) 또는 교차-확인(cross-validation) 방법들에 의해) 데이터 파티션들에 대한 다수 런 통계들(multiple runs statistics)을 조합함으로써 추정될 수 있다.

[0076] 반도체 디바이스들의 제조에서 수행되는 결함들의 검사 및 분류의 맥락에서, 다음의 성능 측정들이 사용될 수 있다: 자동 클래스들 중 하나에 속하는 것으로서 분류되었고, 동일한 트레이닝 클래스 및 테스트 클래스를 갖는 아이템들을 표현하는 순도 측정; 정확하게 분류된 모든 아이템들을 표현하는 정확도 측정; 분류 시스템이, 자동 클래스들 중 하나에 속하는 것으로서 분류하였어야 하지만, 신뢰를 가지고 분류할 수 없는 아이템들의 수를 표현하는, 다수 아이템들의 거부 레이트; 특정 자동 클래스에 속하는 것으로서 정확하게 식별된 아이템들의 수를 표현하는 관심 아이템 레이트; 자동 클래스들에 속하지 않는 것으로서 정확하게 식별된 아이템들의 수를 표현하는 소수 추출; 거부되었어야 하고, 거부된 아이템들의 총 수로부터 벗어나서, 자동 클래스들 중 하나에 속하는 것으로서 분류된 아이템들의 수를 표현하는 폴스 알람 레이트. 본 발명은, 사용되는 성능 측정들의 타입에 의해 제한되지 않고, 본 발명의 범위로부터 벗어나지 않는 요구되는 변경들을 갖는 다른 성능 측정들로 구현될 수 있다.

[0077] 본 개시는, UNK 신뢰 레벨('언노운' 신뢰 임계치 아래의 신뢰 레벨로 자동 클래스에 속하는 것으로서 단일-클래스 분류기에 의해 분류된 아이템이 거부되게 할 신뢰 레벨을 표현하는 '언노운' 신뢰 임계치), 및 CND 신뢰 레벨('판정 불가능' 신뢰 임계치 아래의 신뢰 레벨로 자동 클래스에 속하는 것으로서 멀티-클래스 분류기에 의해 분류된 아이템이 거부되게 할 신뢰 레벨을 표현하는 '판정 불가능' 신뢰 임계치)에 관하여 설명되었다. 반도체 디바이스들의 제조에서 수행되는 결함들의 검사 및 분류의 맥락에서, 다른 신뢰 레벨들이 사용될 수 있다. 예컨대, '관심 아이템' 신뢰 임계치 아래의 신뢰 레벨로 특정 자동 클래스에 속하는 것으로서 멀티-클래스 및 단일-클래스 분류기들에 의해 분류된 아이템이 거부되게 할 신뢰 레벨을 표현하는 '관심 아이템' 신뢰 임계치. 본 발명은, 사용되는 신뢰 레벨들의 타입에 의해 제한되지 않고, 분류 규칙 또는 클래스의 정의에 영향을 미치는 임의의 신뢰 레벨이, 본 발명의 범위로부터 벗어나지 않으면서 사용될 수 있다.

[0078] 본 발명의 실시예들은, 반도체 산업에서 기판들 상의 결함들의 검사 및 측정에서 사용될 수 있는 자동 결함 분류(ADC) 기법들 및 시스템들에 대하여 설명될 것이다. 본 발명은, 본 발명의 범위로부터 벗어나지 않으면서, 다양한 산업들에서의 다수의 다른 애플리케이션들에 대해 유용하다.

[0079] 본 발명의 실시예들은, 정확도, 순도, 거부 레이트, '판정 불가능'(CND) 신뢰 레벨, 및 '언노운'(UNK) 신뢰 레벨과 같은, 반도체 산업에서의 검사 및 결함 검출에 대해 관련된 성능 측정들에 대하여 설명될 것이다. 본 발명은 설명되는 애플리케이션들에 대해 제한되지 않고, 본 발명의 범위로부터 벗어나지 않으면서, 다른 애플리케이션들(예컨대, 상이한 성능 측정들의 최적화)에 대해 사용될 수 있다.

[0080] 본 발명의 실시예들은, 분류되지 않은 결함들을 '언노운' 또는 '판정 불가능'으로서 특징지을 수 있는 분류 시스템들에 대하여 설명될 것이다. 본 발명은 그러한 분류기들로 제한되지 않고, 본 발명의 범위로부터 벗어나지 않으면서, 경합하는 성능 측정들을 특징으로 하는 다른 타입들의 분류 시스템들과 함께 사용될 수 있다.

[0081] 위에서 설명된 실시예들이 예로서 인용된 것이고, 본 발명이, 위에서 상세히 나타내고 설명된 것으로 제한되지 않는다는 것이 인식될 것이다. 그보다는, 본 발명의 범위는, 위에서 설명된 다양한 피처들의 조합들 및 하위조합들 양자 모두, 뿐만 아니라, 전술된 설명을 읽을 시에 당업자에게 발생하게 되고, 종래 기술에서 개시되지 않은 본 발명의 변형들 및 변경들을 포함한다.

[0082] 본 발명은 특정한 시스템 구성 대안들에 대하여 설명되었다. 시스템이 구현되는 방식과 무관하게, 시스템은 일반적으로, 특히, 데이터를 프로세싱할 수 있는 하나 또는 그 초과의 컴포넌트들을 포함할 것이다. 데이터 프로세싱이 가능한 모든 그러한 모듈들, 유닛들, 및 시스템들은, 하드웨어, 소프트웨어, 또는 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 몇몇 구현들에서, 그러한 프로세싱 능력들은, 범용 프로세서들에 의해 실행되는 전용 소프트웨어에 의해 구현될 수 있지만, 본 발명의 다른 구현들은, 특히, 데이터의 프로세싱의 속도 및 볼륨이 매우 중요한 경우에, 전용 하드웨어 또는 펌웨어를 활용하는 것을 요구할 수 있다. 본 발명에 따른 시스템은, 적합하게 프로그래밍된 컴퓨터일 수 있다. 마찬가지로, 본 발명은, 본 발명의 방법을 실행시키기 위해 컴퓨터에 의해 판독가능한 컴퓨터 프로그램을 고려한다. 본 발명은 추가로, 본 발명의 방법을 실행시키기 위해 머신에 의해 실행가능한 명령들의 프로그램을 유형으로 구현하는 머신-판독가능 메모리를 고려한다. 명령들의 프로그램이 구현될 수 있고, 그 명령들의 프로그램은, 그러한 명령들의 포함이 명시적으로 상술되지 않았다고 하더라도, 하나 또는 그 초과의 프로세서들에 의해 실행되는 경우에, 방법(400), 또는 방법(400)의 전술된 변형들 중 하나의 실행을 야기한다.

[0083] 도 6은, 컴퓨터 시스템(600)의 예시적인 형태의 머신의 도면을 예시하고, 그 머신 내에서, 머신으로 하여금 본원에서 논의되는 방법들 중 임의의 하나 또는 그 초과를 수행하게 하기 위한 명령들의 세트가 실행될 수 있다. 대안적인 구현들에서, 머신은, LAN, 인트라넷, 엑스트라넷, 또는 인터넷에서 다른 머신들에 연결될 수 있다(예컨대, 네트워킹될(networked) 수 있다). 머신은 클라이언트-서버 네트워크 환경에서 서버 또는 클라이언트 머신으로서 동작할 수 있거나, 또는 피어-투-피어(또는 분산된) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신은, 퍼스널 컴퓨터(PC), 태블릿 PC, 셋-톱 박스(STB), PDA(Personal Digital Assistant), 셀룰러 전화, 웹 기기, 서버, 네트워크 라우터, 스위치 또는 브릿지, 또는 해당 머신에 의해 취해질 액션들을 특정하는 (순차적인 또는 다른 방식의) 명령들의 세트를 실행할 수 있는 임의의 머신일 수 있다. 추가로, 단일 머신만이 예시되어 있지만, "머신"이라는 용어는 또한, 본원에서 논의되는 방법들 중 임의의 하나 또는 그 초과를 수행하기 위한 명령들의 세트(또는 다수의 세트들)를 개별적으로 또는 공동으로 실행시키는 머신들의 임의의 집합을 포함하는 것으로 취해져야 한다.

[0084] 예시적인 컴퓨터 시스템(600)은, 프로세싱 디바이스(프로세서)(602), 메인 메모리(604)(예컨대, 판독-전용 메모리(ROM), 플래시 메모리, 동적 랜덤 액세스 메모리(DRAM), 예컨대 동기식 DRAM(SDRAM), DDR(double data rate) SDRAM, 또는 DRAM(RDRAM) 등), 정적 메모리(606)(예컨대, 플래시 메모리, 정적 랜덤 액세스 메모리(SRAM) 등), 및 데이터 저장 디바이스(614)를 포함하고, 이들은 버스(630)를 통해 서로 통신한다.

[0085] 프로세서(602)는 하나 또는 그 초과의 범용 프로세싱 디바이스들, 예컨대 마이크로프로세서, 중앙 프로세싱 유닛 등을 표현한다. 더 상세하게는, 프로세서(602)는, CISC(complex instruction set computing) 마이크로프로세서, RISC(reduced instruction set computing) 마이크로프로세서, VLIW(very long instruction word) 마이크로프로세서, 또는 다른 명령 세트들을 구현하는 프로세서 또는 명령 세트들의 조합을 구현하는 프로세서들일 수 있다. 프로세서(602)는 또한, 하나 또는 그 초과의 특수-목적 프로세싱 디바이스들, 예컨대, ASIC(application specific integrated circuit), FPGA(field programmable gate array), 디지털 신호 프로세서(DSP), 네트워크 프로세서 등일 수 있다. 프로세서(602)는, 본원에서 논의되는 동작들 및 단계들을 수행하기 위해 명령들(622)을 실행시키도록 구성된다.

[0086] 컴퓨터 시스템(600)은 네트워크 인터페이스 디바이스(604)를 더 포함할 수 있다. 컴퓨터 시스템(600)은 또한, 비디오 디스플레이 유닛(610)(예컨대, LCD(liquid crystal display) 또는 CRT(cathode ray tube)), 입력 디바이스(612)(예컨대, 키보드, 및 알파뉴머릭(alphanumeric) 키보드, 모션 감지 입력 디바이스), 커서 제어 디바이스(614)(예컨대, 마우스), 및 신호 생성 디바이스(616)(예컨대, 스피커)를 포함할 수 있다.

[0087] 데이터 저장 디바이스(614)는 컴퓨터-판독가능 저장 매체(624)를 포함할 수 있고, 컴퓨터-판독가능 저장 매체(624) 상에는, 본원에서 설명되는 방법들 또는 기능들 중 임의의 하나 또는 그 초과를 구현하는 (예컨대, 소프트웨어와 같은) 명령들(622)의 하나 또는 그 초과의 세트들이 저장된다. 명령들(622)은 또한, 컴퓨터 시스템(600)에 의한 명령들(622)의 실행 동안에, 프로세서(602) 내에 그리고/또는 메인 메모리(604) 내에, 완전히 또는 적어도 부분적으로 상주할 수 있고, 메인 메모리(604) 및 프로세서(602)는 또한, 컴퓨터-판독가능 저장 매체들을 구성한다. 명령들(622)은 추가로, 네트워크 인터페이스 디바이스(608)를 통하여 네트워크(620)를 통해 송신 또는 수신될 수 있다.

[0088] 예시적인 구현에서, 컴퓨터-판독가능 저장 매체(628)(머신-판독가능 저장 매체)가 단일 매체인 것으로 도시되어 있지만, "컴퓨터-판독가능 저장 매체"라는 용어는, 명령들의 하나 또는 그 초과의 세트들을 저장하는, 단일 매체 또는 다수의 매체들(예컨대, 중앙집중식 또는 분산된 데이터베이스, 및/또는 연관된 캐시들 및 서버들)을 포함하는 것으로 취해져야 한다. "컴퓨터-판독가능 저장 매체"라는 용어는 또한, 머신에 의한 실행을 위한, 그리고 머신으로 하여금 본 개시의 방법들 중 임의의 하나 또는 그 초과를 수행하게 하는 명령들의 세트를 저장, 인코딩, 또는 운반할 수 있는 임의의 매체를 포함하는 것으로 취해져야 한다. 따라서, "컴퓨터-판독가능 저장 매체"라는 용어는, 고체-상태 메모리들, 광학 매체들, 및 자기 매체들을 포함하지만 이에 제한되지는 않는 것으로 취해져야 한다.

[0089] 전술된 설명에서, 다수의 세부사항들이 제시된다. 그러나, 이러한 특정한 세부사항들 없이, 본 개시가 실시될 수 있다는 것이, 본 개시의 이익을 갖는 당업자에게 명백할 것이다. 몇몇 경우들에서, 본 개시를 불명료하게 하는 것을 피하기 위해, 잘-알려진 구조들 및 디바이스들이 상세히 도시되지 않고 블록도 형태로 도시된다.

[0090] 상세한 설명의 몇몇 부분들은, 컴퓨터 메모리 내의 데이터 비트들에 관한 동작들의 기호 표현들 및 알고리즘들에 관하여 제시되었다. 이러한 알고리즘 설명들 및 표현들은, 데이터 프로세싱 기술들에서의 당업자에 의해, 이들의 작업의 내용을 다른 당업자에게 가장 효과적으로 전달하기 위해 사용되는 수단이다. 여기에서 그리고 일반적으로, 알고리즘은, 바람직한 결과를 야기하는, 단계들의 자기 모순이 없는(self-consistent) 시퀀스인 것으로 생각된다. 단계들은 물리적인 양들의 물리적인 조작들을 요구하는 것들이다. 일반적으로, 필수적인 것은 아니지만, 이러한 양들은, 저장, 전송, 조합, 비교, 및 그렇지 않으면, 조작될 수 있는 전기 또는 자기 신호들의 형태를 취한다. 일반적인 용법의 이유들로, 이러한 신호들을, 비트들, 값들, 엘리먼트들, 심볼들, 문자들, 항들, 수들 등으로서 지칭하는 것이, 때때로 편리한 것으로 입증되었다.

[0091] 그러나, 모든 이러한 그리고 유사한 용어들은 적절한 물리적인 양들과 연관되어야 하고, 이러한 양들에 적용되는 단지 편리한 라벨들일 뿐이라는 것이 유념되어야 한다. 다음의 논의로부터 명백한 것으로 달리 구체적으로 명시되지 않는 한, 설명 전반에 걸쳐, "결정", "야기", "제공", "식별", 필터링", "계산" 등과 같은 용어들을 활용하는 논의들은, 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리적인(예컨대, 전자적인) 양들로서 표현되는 데이터를, 컴퓨터 시스템 메모리들 또는 레지스터들, 또는 다른 그러한 정보 저장, 송신, 또는 디스플레이 디바이스들 내의 물리적인 양들로서 유사하게 표현되는 다른 데이터로 변환시키고 조작하는, 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 프로세스들 및 액션들을 지칭한다는 것이 인식된다.

[0092] 설명의 단순함을 위해, 방법들은, 일련의 행위(act)들로서 본원에서 표현되고 설명된다. 그러나, 본 개시에 따른 행위들은, 다양한 순서들로 그리고/또는 동시에 발생할 수 있고, 본원에서 제시되고 설명되지 않은 다른 행위들과 함께 발생할 수 있다. 게다가, 모든 예시된 행위들이, 개시된 내용에 따라 방법들을 구현하도록 요구되는 것은 아닐 수 있다. 부가하여, 방법들이 대안적으로, 상태도 또는 이벤트들을 통해 일련의 상호관련된 상태들로서 표현될 수 있다는 것을 당업자는 이해 및 인식할 것이다. 부가적으로, 본 명세서에서 개시되는 방법들이, 그러한 방법들을 컴퓨팅 디바이스들로 운반 및 전달하는 것을 용이하게 하기 위해, 제조품 상에 저장될 수 있다는 것이 인식되어야 한다. 본원에서 사용되는 바와 같은 제조품이라는 용어는, 임의의 컴퓨터-판독가능 디바이스 또는 저장 매체들로부터 액세스 가능한 컴퓨터 프로그램을 포함하도록 의도된다.

[0093] 본 개시의 특정한 구현들은 또한, 본원에서의 동작들을 수행하기 위한 장치에 관한 것이다. 이러한 장치는 의도된 목적들에 대해 구성될 수 있거나, 또는 이러한 장치는, 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 작동 또는 재구성되는 범용 컴퓨터를 포함할 수 있다. 그러한 컴퓨터 프로그램은, 플로피 디스크들, 광학 디스크들, CD-ROM들 및 자기-광학 디스크들을 포함하는 임의의 타입의 디스크, 판독-전용 메모리들(ROMs), 랜덤 액세스 메모리들(RAMs), EPROM들, EEPROM들, 자기 또는 광학 카드들, 또는 전자적인 명령들을 저장하는데 적합한 임의의 타입의 매체들과 같지만 이에 제한되지는 않는 컴퓨터 판독가능 저장 매체에 저장될 수 있다.

[0094] 본 명세서 전반에 걸친, "일 구현" 또는 "구현"에 대한 언급은, 구현과 관련하여 설명된 특정한 피처, 구조, 또는 특성이 적어도 하나의 구현에 포함되는 것을 의미한다. 따라서, 본 명세서 전반에 걸친 다양한 위치들에서의 "일 구현에서" 또는 "구현에서"라는 문구의 출현들이 반드시 모두, 동일한 구현을 지칭하는 것은 아니다. 부가하여, "또는"이라는 용어는, 배타적인 "또는"이 아니라 포괄적인 "또는"을 의미하도록 의도된다. 더욱이, "예" 또는 "예시적인"이라는 단어들은, 예, 일례, 또는 예시의 역할을 하는 것을 의미하기 위해 본원에서 사용된다. "예시적인"으로서 본원에서 설명되는 임의의 양상 또는 설계가 반드시, 다른 양상들 또는 설계들에 비해 선호되거나 또는 유리한 것으로서 해석되는 것은 아니다. 그보다는, "예" 또는 "예시적인"이라는 단어들의 사용은, 구체적인 방식으로 개념들을 제시하도록 의도된다.

[0095] 위의 설명이 예시적인 것으로 의도되고, 제한적이지 않다는 것이 이해되어야 한다. 위의 설명을 판독하고 이해할 시에, 다수의 다른 구현들이 당업자에게 명백할 것이다. 따라서, 본 개시의 범위는, 첨부된 청구항들에 관하여, 그러한 청구항들에게 권리가 부여되는 등가물들의 전체 범위와 함께, 결정되어야 한다.

Claims

방법으로서,
프로세싱 디바이스에 의해, 트레이닝 클래스 라벨(training class label)과 각각 연관된 아이템(item)들을 포함하는 트레이닝 데이터를 수신하는 단계;
자동 클래스 라벨, 및 제 1 신뢰 레벨(confidence level) 및 제 2 신뢰 레벨의 대응하는 값들과 각각의 아이템의 연관을 포함하는 테스트 데이터를 획득하는 단계;
각각의 자동 클래스마다, 상기 트레이닝 데이터 및 상기 테스트 데이터에 기초하여, 2개 또는 그 초과의 성능 메트릭(performance metric)들을 생성하는 단계;
각각의 자동 클래스에 대해, 제 1 신뢰 임계치(confidence threshold) 및 제 2 신뢰 임계치의 값들의 선호되는 쌍(preferred pair)을 선택하는 단계
를 포함하며,
상기 제 1 신뢰 임계치 및 상기 제 2 신뢰 임계치의 값들의 선호되는 쌍에 의해, 상기 제 1 및 제 2 신뢰 임계치들 아래의 모든 아이템들을 거부(rejecting)함으로써, 모든 자동 클래스들에 대하여, 상기 성능 메트릭들의 전역적 최적 조건(global optimum condition)이 만족되는,
방법.
제 1 항에 있어서,
상기 전역적 최적 조건은, 상기 성능 메트릭들에 적용된 하나 또는 그 초과의 성능 제약들(constraint) 하에서 만족되는,
방법.
제 1 항에 있어서,
상기 제 1 신뢰 임계치 및 제 2 신뢰 임계치의 값들의 선호되는 쌍을 선택하는 단계는,
각각의 자동 클래스에 대해, 값들의 후보 쌍들의 그룹을 생성하는 단계; 및
상기 값들의 후보 쌍들 중에서, 값들의 선호되는 쌍을 선택하는 단계
를 포함하며,
상기 값들의 선호되는 쌍에 의해, 모든 자동 클래스들에 대하여, 상기 성능 메트릭들의 전역적 최적 조건이 만족되는,
방법.
제 3 항에 있어서,
상기 값들의 선호되는 쌍은, 하나 또는 그 초과의 원하는 성능 레벨들에 관하여 사용자로부터 수신된 입력에 기초하여 선택되는,
방법.
제 4 항에 있어서,
값들의 후보 쌍들의 세트를 표현하는 그래프를 플롯팅(plotting)하고, 상기 사용자로 하여금, 상기 값들의 후보 쌍들의 세트로부터 상기 값들의 선호되는 쌍을 선택하기 위해 상기 그래프를 사용하게 허용하는 단계
를 더 포함하는,
방법.
제 5 항에 있어서,
상기 그래프는, x 축 상에 제 1 성능 메트릭의 그리드(grid)를 정의하고, 상기 제 1 성능 메트릭의 각각의 포인트에 대하여, y 축에 대해 제 2 성능 메트릭의 전역적 최적 조건을 발견함으로써 구성되는,
방법.
제 3 항에 있어서,
하나 또는 그 초과의 성능 제약들은, 허용되는 쌍 값들의 그룹을 생성하기 위해, 상기 값들의 후보 쌍들의 그룹에 적용되고, 상기 값들의 선호되는 쌍은, 상기 허용되는 쌍 값들의 그룹으로부터 선택되는,
방법.
제 1 항에 있어서,
상기 아이템들은, 반도체 기판 상에서 검사된 의심되는 결함들인,
방법.
제 1 항에 있어서,
상기 테스트 데이터를 획득하는 단계는, 상기 제 1 신뢰 임계치 및 상기 제 2 신뢰 임계치가 주어진 값들로 세팅되면서, 상기 트레이닝 데이터의 적어도 일부에 분류 규칙(rule)들을 적용함으로써 수행되는,
방법.
제 1 항에 있어서,
상기 2개 또는 그 초과의 성능 메트릭들을 생성하는 단계는, 상기 트레이닝 클래스 라벨을 자동 클래스 라벨들과 비교함으로써 수행되는,
방법.
제 1 항에 있어서,
상기 2개 또는 그 초과의 성능 메트릭들을 생성하는 단계는, 매 회마다 상기 제 1 신뢰 임계치 및/또는 상기 제 2 신뢰 임계치가 상이한 값으로 세팅되면서, 상기 트레이닝 데이터에 분류 규칙들을 다수 회 적용함으로써 수행되는,
방법.
제 1 항에 있어서,
상기 성능 메트릭들은,
상기 자동 클래스들 중 하나에 속하는 것으로서 분류되었고, 동일한 트레이닝 클래스 및 테스트 클래스를 갖는 아이템들을 표현하는 순도(purity) 측정;
정확하게 분류된 모든 아이템들을 표현하는 정확도(accuracy) 측정;
분류 시스템이, 상기 자동 클래스들 중 하나에 속하는 것으로서 분류하였어야 하지만, 신뢰를 가지고 분류할 수 없는 아이템들의 수를 표현하는, 다수 아이템들의 거부 레이트(rejection rate of majority items);
특정 자동 클래스에 속하는 것으로서 정확하게 식별된 아이템들의 수를 표현하는 관심 아이템 레이트(item of interest rate);
자동 클래스들에 속하지 않는 것으로서 정확하게 식별된 아이템들의 수를 표현하는 소수 추출(minority extraction); 및
거부되었어야 하고, 거부된 아이템들의 총 수로부터 벗어나서, 상기 자동 클래스들 중 하나에 속하는 것으로서 분류된 아이템들의 수를 표현하는 폴스 알람 레이트(false alarm rate)
중 하나 또는 그 초과로부터의 하나 또는 그 초과의 성능 측정들에 관련되는,
방법.
제 2 항에 있어서,
성능 제약은,
최소의 순도;
최소의 정확도;
최대의, 다수 아이템들의 거부 레이트;
최소의 관심 아이템 레이트;
최소의 소수 추출;
최대의 폴스 알람 레이트; 및
최소의 신뢰 임계치 값
중 적어도 하나로부터 선택되는,
방법.
제 1 항에 있어서,
상기 제 1 신뢰 임계치 및 상기 제 2 신뢰 임계치는,
'언노운(Unknown)' 신뢰 임계치;
'판정 불가능(Cannot decide)' 신뢰 임계치; 및
'관심 아이템' 신뢰 임계치
중 적어도 하나로부터 선택되며,
상기 '언노운' 신뢰 임계치는, 상기 '언노운' 신뢰 임계치 아래의 신뢰 레벨로 자동 클래스에 속하는 것으로서 단일-클래스 분류기에 의해 분류된 아이템이 거부되게 할 신뢰 레벨을 표현하고,
상기 '판정 불가능' 신뢰 임계치는, 상기 '판정 불가능' 신뢰 임계치 아래의 신뢰 레벨로 자동 클래스에 속하는 것으로서 멀티-클래스 분류기에 의해 분류된 아이템이 거부되게 할 신뢰 레벨을 표현하고,
상기 '관심 아이템' 신뢰 임계치는, 상기 '관심 아이템' 신뢰 임계치 아래의 신뢰 레벨로 특정 자동 클래스에 속하는 것으로서 멀티-클래스 및 단일-클래스 분류기들에 의해 분류된 아이템이 거부되게 할 신뢰 레벨을 표현하는,
방법.
분류 시스템을 튜닝(tuning)하기 위한 장치로서,
메모리; 및
프로세서
를 포함하며,
상기 프로세서는,
트레이닝 클래스 라벨과 각각 연관된 아이템들을 포함하는 트레이닝 데이터를 수신하기 위해; 그리고
자동 클래스 라벨, 및 제 1 신뢰 레벨 및 제 2 신뢰 레벨의 대응하는 값들과 각각의 아이템의 연관을 포함하는 테스트 데이터를 획득하기 위해
상기 메모리와 동작적으로 커플링되고,
상기 프로세서는 추가로,
자동 클래스마다, 상기 트레이닝 데이터 및 상기 테스트 데이터에 기초하여, 2개 또는 그 초과의 성능 메트릭들을 생성하도록; 그리고
각각의 자동 클래스에 대해, 제 1 신뢰 임계치 및 제 2 신뢰 임계치의 값들의 선호되는 쌍을 선택하도록
구성되고,
상기 제 1 신뢰 임계치 및 상기 제 2 신뢰 임계치의 값들의 선호되는 쌍에 의해, 상기 제 1 및 제 2 임계치들 아래의 모든 아이템들을 거부함으로써, 모든 자동 클래스들에 대하여, 상기 성능 메트릭들의 전역적 최적 조건이 만족되는,
분류 시스템을 튜닝하기 위한 장치.
제 14 항에 있어서,
상기 프로세서는 추가로, 하나 또는 그 초과의 성능 제약들을 수신하고, 상기 성능 메트릭들에 적용된 상기 하나 또는 그 초과의 성능 제약들 하에서, 상기 전역적 최적 조건을 달성하는,
분류 시스템을 튜닝하기 위한 장치.
제 14 항에 있어서,
상기 프로세서는 추가로,
각각의 자동 클래스에 대해, 값들의 후보 쌍들의 그룹을 생성함으로써; 그리고
상기 값들의 후보 쌍들 중에서, 값들의 선호되는 쌍을 선택함으로써,
상기 제 1 신뢰 임계치 및 상기 제 2 신뢰 임계치의 값들의 선호되는 쌍을 선택하며,
상기 값들의 선호되는 쌍에 의해, 모든 자동 클래스들에 대하여, 상기 성능 메트릭들의 전역적 최적 조건이 만족되는,
분류 시스템을 튜닝하기 위한 장치.
제 16 항에 있어서,
상기 프로세서는 추가로, 원하는 성능 레벨들 중 하나 또는 그 초과에 관한, 사용자로부터의 입력을 수신하고, 사용자로부터 수신된 상기 입력에 기초하여, 상기 값들의 선호되는 쌍을 선택하는,
분류 시스템을 튜닝하기 위한 장치.
제 17 항에 있어서,
상기 프로세서는 추가로,
값들의 후보 쌍들의 세트를 표현하는 그래프를 사용자에게 출력으로서 제공하고; 그리고
상기 사용자로 하여금, 상기 원하는 성능 레벨들 중 하나 또는 그 초과를 입력하기 위해 상기 그래프를 사용할 수 있게 하는,
분류 시스템을 튜닝하기 위한 장치.
제 18 항에 있어서,
그래프는, x 축 상에 제 1 성능 메트릭의 그리드를 정의하고, 상기 제 1 성능 메트릭의 각각의 포인트에 대하여, y 축에 대해 제 2 성능 메트릭의 전역적 최적 조건을 발견함으로써 구성되는,
분류 시스템을 튜닝하기 위한 장치.
명령들을 포함하는 비-일시적인(non-transitory) 컴퓨터-판독가능 매체로서,
상기 명령들은, 프로세서에 의해 실행되는 경우에, 상기 프로세서로 하여금,
트레이닝 클래스 라벨과 각각 연관된 아이템들을 포함하는 트레이닝 데이터를 수신하게 하고;
자동 클래스 라벨, 및 제 1 신뢰 레벨 및 제 2 신뢰 레벨의 대응하는 값들과 각각의 아이템의 연관을 포함하는 테스트 데이터를 획득하게 하고;
자동 클래스마다, 상기 트레이닝 데이터 및 상기 테스트 데이터에 기초하여, 2개 또는 그 초과의 성능 메트릭들을 생성하게 하고; 그리고
각각의 자동 클래스에 대해, 제 1 신뢰 임계치 및 제 2 신뢰 임계치의 값들의 선호되는 쌍을 선택하게 하며,
상기 제 1 신뢰 임계치 및 상기 제 2 신뢰 임계치의 값들의 선호되는 쌍에 의해, 상기 제 1 및 제 2 임계치들 아래의 모든 아이템들을 거부함으로써, 모든 자동 클래스들에 대하여, 상기 성능 메트릭들의 전역적 최적 조건이 만족되는,
비-일시적인 컴퓨터-판독가능 매체.
제 20 항에 있어서,
상기 전역적 최적 조건은, 상기 성능 메트릭들에 적용된 하나 또는 그 초과의 성능 제약들 하에서 달성되는,
비-일시적인 컴퓨터-판독가능 매체.
제 20 항에 있어서,
상기 프로세서는 추가로,
각각의 자동 클래스에 대해, 값들의 후보 쌍들의 그룹을 생성함으로써; 그리고
상기 값들의 후보 쌍들 중에서, 값들의 선호되는 쌍을 선택함으로써,
상기 제 1 신뢰 임계치 및 상기 제 2 신뢰 임계치의 값들의 선호되는 쌍을 선택하며,
상기 값들의 선호되는 쌍에 의해, 모든 자동 클래스들에 대하여, 상기 성능 메트릭들의 전역적 최적 조건이 만족되는,
비-일시적인 컴퓨터-판독가능 매체.
제 22 항에 있어서,
상기 프로세서는 추가로, 원하는 성능 레벨들 중 하나 또는 그 초과에 관한, 사용자로부터의 입력을 수신하고, 사용자로부터 수신된 상기 입력에 기초하여, 상기 값들의 선호되는 쌍을 선택하는,
비-일시적인 컴퓨터-판독가능 매체.
제 22 항에 있어서,
상기 프로세서는 추가로,
값들의 후보 쌍들의 세트를 표현하는 그래프를 사용자에게 출력으로서 제공하고, 그리고
상기 사용자로 하여금, 상기 원하는 성능 레벨들 중 하나 또는 그 초과를 입력하기 위해 상기 그래프를 사용할 수 있게 하는,
비-일시적인 컴퓨터-판독가능 매체.
제 18 항에 있어서,
상기 그래프는, x 축 상에 제 1 성능 메트릭의 그리드를 정의하고, 상기 제 1 성능 메트릭의 각각의 포인트에 대하여, y 축에 대해 제 2 성능 메트릭의 전역적 최적 조건을 발견함으로써 구성되는,
비-일시적인 컴퓨터-판독가능 매체.
아이템들을 분류하기 위한 방법으로서,
셋업 스테이지 동안에, 제 1 항 내지 제 13 항 중 어느 한 항에 기재된 방법을 적용하는 단계; 및
분류 스테이지 동안에, 아이템들을 포함하는 분류 데이터를 수신하고, 자동 클래스들에 기초하여, 그리고 상기 제 1 신뢰 임계치 및 상기 제 2 신뢰 임계치의 값들의 선호되는 쌍을 사용하여, 상기 아이템들을 분류하는 단계
를 포함하는,
아이템들을 분류하기 위한 방법.
아이템들을 분류하기 위한 시스템으로서,
분류 데이터 아이템들을 수신할 수 있고, 자동 클래스들에 기초하여, 상기 아이템들을 분류할 수 있는 분류 모듈을 포함하며, 상기 분류 모듈은, 제 14 항 내지 제 19 항 중 어느 한 항에 따른, 분류 시스템을 튜닝하기 위한 장치를 포함하는,
아이템들을 분류하기 위한 시스템.