KR102530950B1

KR102530950B1 - 반도체 시편에서의 결함들의 분류

Info

Publication number: KR102530950B1
Application number: KR1020217015166A
Authority: KR
Inventors: 아사프 아스바그; 보아즈 코헨; 쉬란 간-오르
Original assignee: 어플라이드 머티리얼즈 이스라엘 리미티드
Priority date: 2018-12-20
Filing date: 2019-11-24
Publication date: 2023-05-11
Also published as: US11321633B2; KR20210105335A; TWI791930B; JP7254921B2; US20200202252A1; TW202038110A; JP2022512292A; WO2020129041A1; CN112805719A

Abstract

반도체 시편에서의 결함들을 분류하는 분류기 및 방법이 제공된다. 방법은, 다수 부류로 분류되지만 일부 결함들은 소수 부류(들)에 속하고 일부는 다수에 속하는 제1 결함들을 수신하는 단계; 제2 분류기가 속성 서브세트 및 구별자들을 사용하여 결함들 중 적어도 일부를 소수 및 다수 부류들로 올바르게 분류하도록 속성 서브세트를 선택하고 속성들에 대한 구별자들을 정의하는 단계; 다수 및 소수 부류들의 결함들 및 제2 분류기가 소수인 것으로 분류하는 부가적인 결함들을 포함하는 훈련 세트를 생성하는 단계; 결함이 다수 부류에 속하는 신뢰도 수준을 획득하는 엔진을 훈련 세트, 서브세트, 및 구별자들에 대해 훈련시키는 단계; 각각의 결함을 다수 부류로 분류하는 신뢰도 수준을 획득하기 위해 다수 부류로 분류된 제2 결함들에 엔진을 적용하는 단계; 및 낮은 신뢰도 수준을 갖는 결함들을 소수 부류(들)에 속하는 것으로서 출력하는 단계를 포함한다.

Description

반도체 시편에서의 결함들의 분류

본원에 개시되는 주제는 일반적으로, 시편의 검사 분야에 관한 것으로, 더 구체적으로는, 경계성 부류의 결함들로 분류될 결함들의 자동 검출이 가능한 방법들 및 시스템들에 관한 것이다.

제조된 디바이스들의 극대 규모 집적회로와 연관된 높은 밀도 및 성능에 대한 현재의 요구들은, 1 미크론 미만의 피쳐들, 증가된 트랜지스터 및 회로 속도들, 및 개선된 신뢰성을 요구한다. 그러한 요구들은, 높은 정밀도 및 균일성을 갖는 디바이스 피쳐들의 형성을 요구하고, 이는 차례로, 디바이스들이 여전히 반도체 시편들의 형태로 있는 동안, 디바이스들의 빈번하고 상세한 검사를 포함하는, 제조 프로세스의 신중한 모니터링을 필요로 한다.

본 명세서에서 사용되는 "시편"이라는 용어는, 반도체 집적 회로들, 자기 헤드들, 평판 디스플레이들, 및 다른 반도체-제조 물품들을 제조하는 데 사용되는 임의의 종류의 웨이퍼, 마스크, 및 다른 구조들, 이들의 조합들 및/또는 부분들을 망라하도록 광범위하게 해석되어야 한다.

본 명세서에서 사용되는 "결함"이라는 용어는, 시편 상에 또는 시편 내에 형성된 임의의 종류의 기형 또는 바람직하지 않은 피쳐를 망라하도록 광범위하게 해석되어야 한다.

시편들의 복잡한 제조 프로세스에는 오류들이 없지 않으며, 그러한 오류들은, 제조된 디바이스들에서 결점들을 야기할 수 있다. 그러한 결점들은, 디바이스의 동작에 해를 끼칠 수 있는 결함들, 및 결함들일 수 있지만 제조되는 디바이스에 어떠한 해도 끼치지 않거나 어떠한 오작동도 야기하지 않는 방해인자(nuisance)들을 포함할 수 있다. 비-제한적인 예로서, 결함들은, 원재료에서의 결점들, 기계적, 전기적, 또는 광학적 오류들, 인적 오류들, 또는 그 외의 것들로 인하여 제조 프로세스 동안 야기될 수 있다. 추가로, 결함들은, 시공간적 인자들, 이를테면, 웨이퍼의 약간의 변형들을 야기할 수 있는, 검사 프로세스 동안의 하나 이상의 제조 스테이지 이후에 발생하는 웨이퍼의 온도 변화들에 의해 야기될 수 있다. 검사 프로세스는 또한, 예컨대, 검사 장비 또는 프로세스에서의 광학적, 기계적, 또는 전기적 문제들로 인해 추가적인 추정적 오류들을 도입시킬 수 있으며, 이러한 오류들은 그에 따라, 불완전한 포착들을 제공한다. 그러한 오류들은, 영역에 어떠한 실제 결함도 존재하지 않지만 결함을 포함하는 것으로 보일 수 있는 거짓 긍정 발견들을 초래할 수 있다.

많은 응용들에서, 결함의 유형 또는 부류가 중요하다. 예컨대, 결함은, 입자, 스크래치, 프로세스 등과 같은 다수의 부류들 중 하나로 분류될 수 있다.

본 명세서에서 사용되는 "다수 부류"라는 용어는, 빈번하게 발생하는 임의의 종류 또는 부류의 결함들을 망라하도록 광범위하게 해석되어야 한다. 예컨대, 부류는, 시편을 검사할 때 적어도 미리 결정된 수의 그 부류의 결함들이 발생하거나, 시편을 검사할 때 검출된 결함들의 적어도 미리 결정된 부분이 그 부류에 속하거나, 그 부류에 속하는 직면한 결함들의 수가 그 부류에 속하는 것으로서 결함을 인지하도록 분류기를 훈련시키기에 충분한 경우, 또는 다른 기준들로 다수 부류인 것으로 간주될 수 있다.

본 명세서에서 사용되는 "소수 부류"라는 용어는, 빈번하게 발생하지 않고, 그에 따라, 결함들을 이 부류로 분류하도록 분류기를 훈련시킴으로써 신뢰가능한 분류 모델을 생성하는 데 이용가능한 통계치가 불충분한 임의의 종류 또는 부류의 결함들을 망라하도록 광범위하게 해석되어야 한다. 예컨대, 부류는, 시편을 검사할 때 미리 결정된 수보다 적은 그 부류의 결함들이 발생하거나, 시편을 검사할 때 검출된 결함들의 미리 결정된 것보다 적은 부분이 그 부류에 속하거나, 그 부류에 속하는 직면한 결함들의 수가 그 부류에 속하는 것으로서 결함을 인지하도록 분류기를 훈련시키기에 불충분한 등의 경우에 소수 부류인 것으로 간주될 수 있다.

달리 구체적으로 언급되지 않는 한, 본 명세서에서 사용되는 "검사"라는 용어는, 대상에서의 임의의 종류의 결함들의 검출 및/또는 분류를 망라하도록 광범위하게 해석되어야 한다. 검사는, 검사될 대상의 제조 동안에 또는 그 후에 비-파괴 검사 툴들을 사용함으로써 제공된다. 비-제한적인 예로서, 검사 프로세스는, 하나 이상의 검사 툴을 사용하여 대상 또는 대상의 부분들에 관하여 제공되는, (단일 또는 다수의 스캔들로의) 스캐닝, 샘플링, 검토, 측정, 분류, 및/또는 다른 동작들을 포함할 수 있다. 마찬가지로, 검사는, 검사될 대상의 제조 전에 제공될 수 있고, 예컨대, 검사 처리법(들)을 생성하는 것을 포함할 수 있다. 달리 구체적으로 언급되지 않는 한, 본 명세서에서 사용되는 "검사"라는 용어 또는 그의 파생어들은, 조사되는 영역(들)의 크기, 스캐닝의 속도 또는 해상도, 또는 검사 툴들의 유형에 대하여 제한되지 않는다는 것이 유의된다. 다양한 비-파괴 검사 툴들은, 비-제한적인 예로서, 광학 툴들, 주사 전자 현미경들, 원자간력 현미경들 등을 포함한다.

검사 프로세스는 복수의 검사 단계들을 포함할 수 있다. 제조 프로세스 동안, 검사 단계들은, 예컨대, 특정 층들의 제조 또는 처리 이후 등의 시점에, 다수회 수행될 수 있다. 부가적으로 또는 대안적으로, 각각의 검사 단계는, 예컨대, 상이한 검사 설정들로 동일한 시편 위치들에 대해 또는 상이한 시편 위치들에 대해 다수회 반복될 수 있다.

비-제한적인 예로서, 실행시간 검사는, 예컨대, 시편의 조사 이후에, 샘플링된 결함들의 검토가 후속되는, 2단계 절차를 이용할 수 있다. 조사 단계 동안, 전형적으로, 시편 또는 시편의 부분(예컨대, 관심 영역들, 핫 스폿들 등)의 표면이 비교적 고속 및/또는 저해상도로 스캐닝된다. 포착된 조사 이미지는, 결함들을 검출하고 결함들의 위치들 및 다른 조사 속성들을 획득하기 위해 분석된다. 검토 단계에서, 조사 단계 동안 검출된 결함들 중 적어도 일부의 이미지들이, 전형적으로, 비교적 저속 및/또는 고해상도로 포착되어, 결함들 중 적어도 일부의 분류 및 임의적으로는 다른 분석들이 가능하게 된다. 일부 경우들에서, 단계들 둘 모두가 동일한 조사 툴에 의해 구현될 수 있고, 일부 다른 경우들에서는, 이러한 2개의 단계가 상이한 조사 툴들에 의해 구현된다.

본원에 개시되는 주제의 특정 양상에 따르면, 시편에서의 결함들을 복수의 부류들로 분류하기 위한 시스템이 제공된다. 시스템은 프로세서 및 메모리 회로(PMC)를 포함하며, PMC는, 제1 분류기에 의해 다수 부류로 분류된 복수의 결함들을 수신하고 ― 복수의 결함들로부터의 하나 이상의 결함은 하나 이상의 소수 부류에 속하고, 복수의 결함들로부터의 결함들 중 적어도 일부는 다수 부류에 속하고, 복수의 결함들로부터의 각각의 결함은 각각이 개개의 값을 갖는 복수의 속성들에 의해 특성화됨 ―; 복수의 속성들의 서브세트 및 각각의 개개의 속성에 대한 구별자에 따라 결함들을 분류하도록 구성되는 제2 분류기가 복수의 결함들로부터의 적어도 미리 정의된 몫의 결함들을 하나 이상의 소수 부류 및 다수 부류로 올바르게 분류하도록, 서브세트를 선택하고 서브세트의 각각의 속성에 대한 구별자를 정의하고; 임시 훈련 세트를 생성하고 ― 임시 훈련 세트는, 다수 부류에 속하는 복수의 결함들로부터의 결함들 중 적어도 일부, 소수 부류에 속하는 복수의 결함들로부터의 결함들 중 적어도 일부, 및 부가적인 결함들을 포함하며, 부가적인 결함들은, 제2 분류기가 부가적인 결함들을 소수 부류로 분류하도록 서브세트의 속성에 대한 값들을 가짐 ―; 서브세트의 속성들의 제1 값들에 의해 특성화되는 결함이 다수 부류에 속하는 신뢰도 수준을 획득하도록 구성되는 엔진을 훈련시키고 ― 훈련은 임시 훈련 세트, 서브세트의 속성들, 및 서브세트의 각각의 속성에 대한 구별자에 대해 수행됨 ―; 주어진 결함을 다수 부류로 분류하는 신뢰도 수준을 획득하기 위해, 다수 부류로 분류되는 제2 복수의 결함들로부터의 각각의 주어진 결함에 엔진을 적용하고; 미리 결정된 임계치보다 낮은 신뢰도 수준을 갖는 제2 복수의 결함들로부터의 결함들을 출력 ― 출력에 의한 결함들은 가정상 하나 이상의 소수 부류에 속함 ― 하도록 구성된다.

본원에 개시되는 주제의 추가적인 양상들에 따르면, PMC는, 제2 분류기에 의해 하나 이상의 소수 부류로 분류가능한 부가적인 결함들을 생성하고 부가적인 결함들을 임시 훈련 세트에 포함시키도록 추가로 구성될 수 있다. 부가적인 결함들 중 적어도 하나는 복수의 제1 값들로서 생성되는 합성 결함일 수 있으며, 각각의 제1 값은 서브세트의 각각의 속성에 대한 구별자에 따른 서브세트로부터의 속성과 연관된다. 비-제한적인 예로서, 주어진 속성과 연관된 제1 값은, 하나 이상의 소수 부류에 속하는 제1 결함의 주어진 속성의 값과 제1 결함에 이웃하고 다수 부류에 속하는 제2 결함의 주어진 속성의 값 사이의 값, 하나 이상의 소수 부류에 속하는 결함의 주어진 속성의 값 등으로서 결정될 수 있다.

본원에 개시되는 주제의 추가적인 양상들에 따르면, PMC는, 출력된 결함들 중 적어도 일부를 하나 이상의 소수 부류에 속하는 것으로서 식별하고; 하나 이상의 소수 부류에 속하는 복수의 결함들로부터의 적어도 일부 결함들, 다수 부류에 속하는 복수의 결함들로부터의 적어도 일부 결함들, 및 하나 이상의 소수 부류에 속하는 것으로서 식별된 출력된 결함들을 포함하는 훈련 세트에 대해 제1 분류기를 훈련시킴으로써 제1 분류기를 업데이트하고; 제1 분류기에 의해 다수 부류로 분류된 복수의 결함들을 업데이트하고, 업데이트 시에 나타난 그리고 엔진이 임계치 미만의 신뢰도 수준을 획득한 결함들을 출력하도록 추가로 구성된다.

본원에 개시되는 주제의 다른 양상들에 따르면, 결함들을 분류하는 방법이 제공되며, 방법은, 프로세서 및 메모리 회로(PMC)를 포함하는 컴퓨팅 플랫폼에 의해 실행된다. 방법은, PMC에 의해, 제1 분류기에 의해 다수 부류로 분류된 복수의 결함들을 수신하는 단계 ― 복수의 결함들로부터의 하나 이상의 결함은 하나 이상의 소수 부류에 속하고, 복수의 결함들로부터의 결함들 중 적어도 일부는 다수 부류에 속하고, 복수의 결함들로부터의 각각의 결함은 각각이 개개의 값을 갖는 복수의 속성들에 의해 특성화됨 ―; PMC에 의해, 복수의 속성들의 서브세트 및 각각의 개개의 속성에 대한 구별자에 따라 결함들을 분류하도록 구성되는 제2 분류기가 복수의 결함들로부터의 적어도 미리 정의된 몫의 결함들을 하나 이상의 소수 부류 및 다수 부류로 올바르게 분류하도록, 서브세트를 선택하고 서브세트의 각각의 속성에 대한 구별자를 정의하는 단계; PMC에 의해, 임시 훈련 세트를 생성하는 단계 ― 임시 훈련 세트는, 다수 부류에 속하는 복수의 결함들로부터의 결함들 중 적어도 일부, 소수 부류에 속하는 복수의 결함들로부터의 결함들 중 적어도 일부, 및 부가적인 결함들을 포함하며, 부가적인 결함들은, 제2 분류기가 부가적인 결함들을 소수 부류로 분류하도록 서브세트의 속성에 대한 값들을 가짐 ―; PMC에 의해, 서브세트의 속성들의 제1 값들에 의해 특성화되는 결함이 다수 부류에 속하는 신뢰도 수준을 획득하도록 구성되는 엔진을 훈련시키는 단계 ― 훈련은 임시 훈련 세트, 서브세트의 속성들, 및 서브세트의 각각의 속성에 대한 구별자에 대해 수행됨 ―; PMC에 의해, 주어진 결함을 다수 부류로 분류하는 신뢰도 수준을 획득하기 위해, 다수 부류로 분류되는 제2 복수의 결함들로부터의 각각의 주어진 결함에 엔진을 적용하는 단계; 및 PMC에 의해, 미리 결정된 임계치보다 낮은 신뢰도 수준을 갖는 제2 복수의 결함들로부터의 결함들을 출력하는 단계 ― 출력하는 단계에 의한 결함들은 가정상 하나 이상의 소수 부류에 속함 ― 를 포함한다.

본원에 개시되는 주제의 추가적인 양상들에 따르면, 방법은, 제2 분류기에 의해 하나 이상의 소수 부류로 분류가능한 부가적인 결함들을 생성하고 부가적인 결함들을 임시 훈련 세트에 포함시키는 단계를 더 포함할 수 있다. 부가적인 결함들 중 적어도 하나는 복수의 제1 값들로서 생성되는 합성 결함일 수 있으며, 각각의 제1 값은 서브세트의 각각의 속성에 대한 구별자에 따른 서브세트로부터의 속성과 연관된다.

본원에 개시되는 주제의 추가적인 양상들에 따르면, 방법은, 출력된 결함들 중 적어도 일부를 하나 이상의 소수 부류에 속하는 것으로서 식별하는 단계; 하나 이상의 소수 부류에 속하는 복수의 결함들로부터의 적어도 일부 결함들, 다수 부류에 속하는 복수의 결함들로부터의 적어도 일부 결함들, 및 하나 이상의 소수 부류에 속하는 것으로서 식별된 출력된 결함들을 포함하는 훈련 세트에 대해 제1 분류기를 훈련시킴으로써 제1 분류기를 업데이트하는 단계; 제1 분류기에 의해 다수 부류로 분류된 복수의 결함들을 업데이트하고, 업데이트 시에 나타난 그리고 엔진이 임계치 미만의 신뢰도 수준을 획득한 결함들을 출력하는 단계를 더 포함할 수 있다.

본원에 개시되는 주제의 특정 실시예들의 장점들 중에는, 사용자에 의해 설정된 성공 기준들 또는 척도를 모니터링하는 것을 향상시키는 것이 있으며, 성공 기준들은 자동 결함 분류와 관련된다. 성공 기준들의 일부 비-제한적인 예들은, 하나 이상의 부류의 분류 순도, 하나 이상의 부류의 분류 정확도, 및 추출을 포함한다.

추가적인 장점들 중에는, 불균형한 훈련 세트의 효과를 보정하고, 하나 이상의 소수 부류의 추가적인 결함들을 식별하고, 본 개시내용을 활용하기 전에 분류가능하지 않았던 결함들을 올바르게 분류함으로써, 사용자 요건들에 따라 분류 결과들을 최적화하는 것이 있다.

본 발명을 이해하고, 본 발명이 실제로 어떻게 수행될 수 있는지를 알기 위해, 이제, 첨부된 도면들을 참조하여, 단지 비-제한적인 예로서 실시예들이 설명될 것이다.
도 1은 본원에 개시되는 주제의 특정 실시예들에 따른 검사 시스템의 일반화된 블록도를 예시한다.
도 2는 본원에 개시되는 주제의 특정 실시예들에 따른, 소수 부류에 속할 수 있는 결함들을 식별하는 방법의 일반화된 흐름도를 예시한다.
도 3은 본원에 개시되는 주제의 특정 실시예들에 따른, 결함 분류의 혼동 행렬을 예시한다.
도 4는 본원에 개시되는 주제의 특정 실시예들에 따른, 부가적인 결함들이 생성될 수 있는 예시적인 2차원 결함들을 예시한다.
도 5는 본원에 개시되는 주제의 특정 실시예들에 따른, 시편을 검토하는 방법의 일반화된 흐름도를 예시한다.

다음의 상세한 설명에서는, 본 발명의 완전한 이해를 제공하기 위해 많은 특정 세부사항들이 기재된다. 그러나, 본원에 개시되는 주제는 이러한 특정 세부사항들 없이도 실시될 수 있다는 것이 관련 기술분야의 통상의 기술자들에 의해 이해될 것이다. 다른 예시들에서, 잘 알려진 방법들, 절차들, 구성요소들, 및 회로들은, 본원에 개시되는 주제를 불명료하게 하지 않기 위해 상세히 설명되지 않는다.

달리 구체적으로 언급되지 않는 한, 다음의 논의들로부터 명백한 바와 같이, 본 명세서 전반에 걸쳐, "처리", "컴퓨팅", "표현", "계산", "생성", "배정", "선택", "결정", "수신", "훈련", "적용", "출력" 등과 같은 용어들을 활용하는 논의들은, 데이터를 다른 데이터로 조작 및/또는 변환하는 컴퓨터의 작동(들) 및/또는 프로세스(들)를 지칭하며, 상기 데이터는 물리적, 이를테면 전자적 양들로서 표현되고/거나 상기 데이터는 물리적 객체들을 표현한다는 것이 인식된다. "컴퓨터"라는 용어는, 비-제한적인 예로서, 본 출원에서 개시되는 분류기 및 그의 PMC를 포함하는, 데이터 처리 능력들을 갖는 임의의 종류의 하드웨어 기반 전자 디바이스를 망라하도록 광범위하게 해석되어야 한다.

본원에서 사용되는 "비-일시적인 메모리" 및 "비-일시적인 저장 매체"라는 용어들은, 본원에 개시되는 주제에 적합한 임의의 휘발성 또는 비-휘발성 컴퓨터 메모리를 망라하도록 광범위하게 해석되어야 한다.

달리 구체적으로 언급되지 않는 한, 별개의 실시예들의 맥락에서 설명된 본원에 개시되는 주제의 특정 특징들이 또한, 단일 실시예로 조합되어 제공될 수 있다는 것이 인식된다. 역으로, 단일 실시예의 맥락에서 설명된 본원에 개시되는 주제의 다양한 특징들이 또한, 별개로 또는 임의의 적합한 하위 조합으로 제공될 수 있다. 다음의 상세한 설명에서는, 본 방법들 및 장치의 철저한 이해를 제공하기 위해 많은 특정 세부사항들이 기재된다.

본 명세서에서 사용되는 시편에서의 "결함"이라는 용어는, 시편 상에 또는 시편 내에 형성된 임의의 종류의 기형 또는 바람직하지 않은 피쳐를 망라하도록 광범위하게 해석되어야 한다.

본 명세서에서 사용되는 "부류에 속하는 것으로 알려져 있는"이라는 용어는, 실측 정보(ground truth)로 간주되는 부류로의 결함의 임의의 분류, 예컨대, 인간 사용자에 의해 이루어진 분류, 신뢰되는 분류기에 의해 이루어진 분류 등을 망라하도록 광범위하게 해석되어야 한다.

본 명세서에서 사용되는 "분류"라는 용어는, 복수의 미리 결정된 부류들 중 하나에 대한 결함의 임의의 배정을 망라하도록 광범위하게 해석되어야 한다. 전형적으로, 분류기는, 요구되는 부류들 각각에 속하는 것으로 알려져 있는 결함들에 대해 훈련된다. 일단 훈련이 행해지면, 분류기는, 결함이 어느 부류에 속하는지가 알려져 있든 그렇지 않든 간에, 결함들을 부류들 중 임의의 부류로 분류하는 데 사용될 수 있다.

주어진 결함은 다수 부류 또는 소수 부류에 속할 수 있다. 결함들의 세트에 분류기를 적용할 때, 결함들 중 대부분은 분류기에 의해 다수 부류들로 자동으로 분류될 것이다. 그러나, 소수 부류들에 속하는 것으로 알려져 있는 불충분한 수의 훈련 결함들로 인해, 많은 소수 결함들이 또한 다수 부류들로 잘못 분류될 것이다. 조사 동안 검출된 결함들의 일부만이 검토 동안 추가로 검사되므로, 다수 부류로 분류된 소수 결함이 검토될 가능성은 낮다.

그에 따라, 분류기를 훈련시킬 때 특정 집단들, 예컨대 소수 부류들의 결함들의 과소-표현은 다수의 이유들로 인해 제조 및 검사 프로세스에서 심각한 문제이다.

첫째, 잘못된 분류는 검사 프로세스의 품질의 올바르지 않은 평가로 이어질 수 있다. 소수 결함들의 낮은 표현으로 인해, 프로세스 평가에 대한 소수 결함들의 영향이 낮으며, 따라서, 전체 프로세스의 품질이 올바르지 않게 평가될 수 있다.

둘째, 검사 프로세스의 안정성이 낮을 수 있는데, 더 작은 집단들이 결함들이 잘못 분류될 때의 변화들에 더 취약하기 때문에, 적은 수의 결함들, 또는 심지어 단일 결함이 프로세스 평가의 표준 편차에 상당한 영향을 미칠 수 있다. 그에 따라, 검사 프로세스를 안정적으로 평가하기가 어렵다.

셋째, 단순한 분류 오류들이 처리하지 못할 정도로 너무 심각할 수 있는 결함들을 야기한다. 더욱이, 일부 매우 심각한 결함들을 제거하는 데 상당한 노력을 기울이게 되어, 그 결과, 이러한 유형들의 결함들이 더 적게 남게 된다. 그에 따라, 그러한 결함들이 훈련 프로세스에서 과소-표현되는 경우, 추가적인 결함들이 그들의 부류들로 분류되지 않을 것이며, 이는, 시편에서의 심각한 문제들이 간과되는 것을 야기할 수 있다.

넷째, 특정 유형들의 결함들은, 동일한 부류에 속하는 것으로 지칭되지만 상이한 특성들을 가질 수 있다. 예컨대, "입자" 유형의 결함들은 금속 및 실리콘에서 상당히 상이할 수 있다. 특정 소수 부류들을 식별하지 않고 훈련시키지 않음으로써, 특정 결함들과 관련된 중요한 정보가 손실될 수 있다.

이를 유념하면서, 본원에 개시되는 주제의 특정 실시예들에 따른 검사 시스템의 일반화된 블록도를 예시하는 도 1을 주목한다. 도 1에 예시된 검사 시스템(100)은, 시편 제조의 일부로서 (예컨대, 웨이퍼 및/또는 웨이퍼의 부분들의) 시편의 검사에 사용될 수 있다. 검사는 대상 제조의 일부일 수 있고, 대상의 제조 동안 또는 그 뒤에 수행될 수 있다. 검사 시스템은, 다양한 검사 툴들, 예컨대, 조사 이미지들을 (전형적으로, 비교적 고속 및/또는 저해상도로) 포착하도록 구성되는 하나 이상의 조사 검사 툴(101), 및 조사 툴들(101)에 의해 검출되는 결함들 중 적어도 일부의 검토 이미지들을 (전형적으로, 비교적 저속 및/또는 고해상도로) 포착하도록 구성되는 하나 이상의 검토 검사 툴(102)을 포함할 수 있다. 예시된 검사 시스템(100)은, 결함 유형에 따라 복수의 부류들로 결함들을 자동으로 분류할 수 있는 컴퓨터 기반 자동 결함 분류 툴(이후 분류기로 또한 지칭됨)(103)을 더 포함한다. 비-제한적인 예로서, 분류는 상이한 목적들을 가질 수 있고, 분류 결과들은, 특정 관심 결함들(DoI)을 식별하고, 실제 결함들로부터 거짓 결함들을 필터링하고, 통계적 프로세스 제어(SPC)에서의 편위들(excursions)을 식별하기 위해 파레토(Pareto)를 설정하고/거나 분류 목적들에 따라 다른 것을 행하는 데 사용될 수 있다.

사용자는, GUI(108)의 도움으로, 분류 엔진(121)을 훈련시키기 위한 부류들 및 각각의 부류에 배정된 결함들을 정의할 수 있다. 추가로, GUI(108)는, 사용자(및/또는 관리 시스템)가 각각의 부류에 대해 별개로 순도, 정확도, 추출, 또는 다른 파라미터들과 같은 자동 결함 분류와 관련된 성공 기준들 또는 척도들을 설정 및 모니터링하고 사용자 요건들에 따라 분류 결과들을 최적화할 수 있게 하도록 구성될 수 있다.

분류기(103)는, 하나 이상의 조사 툴(101) 및/또는 하나 이상의 검토 툴(102)에 동작가능하게 연결될 수 있다. 임의적으로, 분류기(103)는, 하나 이상의 조사 툴(101) 또는 하나 이상의 검토 툴(102)과 완전히 또는 부분적으로 통합될 수 있다. 분류기(103)는 추가로, 설계 서버(110) 및 데이터 저장소(109)에 동작가능하게 연결될 수 있다.

시편은, 조사 툴(101)(예컨대, 광학 조사 시스템, 저해상도 SEM 등)에 의해 검사될 수 있다. 결과적인 이미지들 및/또는 파생물들은, 검토를 위한 결함들을 선택하기 위해 (임의적으로는, 예컨대 설계 데이터 및/또는 결함 분류 데이터와 같은 다른 데이터와 함께) 처리될 수 있다.

검토를 위해 선택된 잠재적 결함 위치들의 서브세트는, 검토 툴(102)(예컨대, 주사 전자 현미경(SEM) 또는 원자간력 현미경(AFM) 등)에 의해 검토될 수 있다. 검토 이미지들 및/또는 검토 이미지들의 파생물들에 대한 정보를 주는 데이터(이후 검토 데이터(122)로 지칭됨) 및 개개의 연관된 메타데이터가 분류기(103)에 - 직접 또는 하나 이상의 중간 시스템을 통해 - 송신될 수 있다. 검토 데이터는, 검토 이미지들의 파생물들로서 하나 이상의 중간 시스템에 의해 생성되는 데이터를 포함할 수 있다는 것이 유의된다.

분류기(103)는, 하드웨어 기반 입력 인터페이스(105)에 그리고 하드웨어 기반 출력 인터페이스(106)에 동작가능하게 연결되는 프로세서 및 메모리 회로(PMC)(104)를 포함한다. PMC(104)는, 도 2를 참조하여 추가로 상세히 설명되는 바와 같이 분류기를 동작시키기 위해 필요한 처리를 제공하도록 구성되며, 프로세서 및 메모리(PMC(104) 내에 별개로 도시되지 않음)를 포함한다. 분류기(103) 및 PMC(104)의 동작은 도 2 내지 도 4를 참조하여 추가로 상세히 설명될 것이다.

출력 인터페이스(106)에 의해 출력되는 분류기(103)의 처리 결과들은, 조사 검사 툴들(101) 또는 검토 검사 툴들(102)에, 예컨대 동작 파라미터들의 값들을 변경함으로써 그들의 동작을 변경하기 위해 조사 명령어 관련 데이터(123) 또는 검토 명령어 관련 데이터(124)로서 각각 제공될 수 있다.

관련 기술분야의 통상의 기술자들은, 본원에 개시되는 주제의 교시들이 도 1에 예시된 시스템에 의해 제한되지 않고; 동등한 및/또는 수정된 기능성이 다른 방식으로 병합될 수 있거나 분할될 수 있고, 하드웨어 및 펌웨어와 소프트웨어의 임의의 적절한 조합으로 구현될 수 있다는 것을 용이하게 인식할 것이다.

도 1에 예시된 검사 시스템이 분산형 컴퓨팅 환경에서 구현될 수 있으며, 그러한 분산형 컴퓨팅 환경에서, 도 1에 도시된 전술된 기능 모듈들이 수 개의 로컬 및/또는 원격 디바이스들에 걸쳐 분산될 수 있고 통신 네트워크를 통해 링크될 수 있다는 것이 유의된다. 다른 실시예들에서, 검사 툴들(101 및/또는 102), 데이터 저장소들(109), 저장 시스템(107), 설계 서버(110), 및/또는 GUI(108) 중 적어도 일부가 검사 시스템(100) 외부에 있을 수 있고, 입력 인터페이스(105) 및 출력 인터페이스(106)를 통해 분류기(103)와 데이터 통신하도록 동작할 수 있다는 것이 추가로 유의된다. 분류기(103)는, 하나 이상의 검사 툴과 함께 사용될 독립형 컴퓨터(들)로서 구현될 수 있다. 임의적으로, 분류기(103)는, 데이터 저장소들(109) 및/또는 저장 시스템(107)에 저장된 사전 획득된 검토 데이터에 대해 동작할 수 있다. 대안적으로 또는 부가적으로, 분류기(103)의 개개의 기능들은, 적어도 부분적으로, 하나 이상의 검사 툴, 프로세스 제어 툴, 처리법 생성 툴, 자동 결함 검토 및/또는 분류를 위한 시스템, 및/또는 검사와 관련된 다른 시스템과 통합될 수 있다.

PMC(104)는 소수 결함 식별 엔진(117), 훈련 엔진(120), 및 하나 이상의 분류 엔진(121)을 포함할 수 있다. 소수 결함 식별 엔진(117)은, 하나 이상의 분류 엔진(121)을 훈련시키기 위해 훈련 엔진(120)에 의해 사용될 수 있는 소수 결함들을 식별하는 데 사용될 수 있다.

소수 결함 식별 엔진(117)은, 실측 정보가 존재하고 분류 엔진(121)에 의해 다수 부류들로 잘못 분류되는 소수 결함들을 식별하기 위한 초기 소수 결함 획득 엔진(118)을 포함할 수 있다. 소수 결함 식별 엔진(117)은, 소수 결함들일 가능성이 있지만 실측 정보가 존재하지 않는 결함들을 식별하도록 구성되는 부가적인 소수 결함 획득 엔진(119)을 더 포함할 수 있다. 이어서, 사용자는 이러한 결함들을 검토하고, 결함들 중 임의의 하나 이상의 결함이 실제로 소수 결함인지 여부를 결정할 수 있다. 일단 충분한 수의 소수 부류 결함들이 이용가능하면, 훈련 엔진(120)은 분류기(121)로 또한 지칭되는 분류 엔진을 훈련시키는 데 사용될 수 있다.

PMC(104)는, 각각이 대응하는 분류를 갖는 다수의 결함들을 수신하고, 결함을 수신하여 그 결함이 분류되는 부류를 제공하게 적응되는 분류기를 출력하도록 구성되는 훈련 엔진(120)을 포함할 수 있다.

PMC(104)는, 훈련 엔진(118)에 의해 또는 다른 훈련 엔진에 의해 훈련될 수 있거나 외부 소스로부터 수신될 수 있는, 분류기들로 또한 지칭되는 하나 이상의 분류 엔진(120)을 포함할 수 있다. 아래에서 상세히 설명되는 바와 같이, 하나의 그러한 엔진은 불충분한 수의 소수 결함들로 훈련된 초기 엔진일 수 있고, 다른 엔진이 추가적인 결함들로 훈련될 수 있다.

도 2를 참조하면, 본원에 개시되는 주제의 특정 실시예들에 따른, 소수 결함 식별 엔진(117)을 동작시키는 일반화된 흐름도가 예시된다. PMC(104)는, 비-일시적인 컴퓨터 판독가능 저장 매체 상에 구현되는 컴퓨터 판독가능 명령어들에 따라 아래에서 상세히 설명되는 개개의 동작들을 실행하도록 구성된다.

이제, "혼동 행렬"의 형태로 다수 및 소수 부류들과 그러한 부류들로의 분류를 나타내는 도 3에 대한 참조가 이루어진다. "혼동 행렬"이라는 용어는, 실측 정보 분류 대 자동 분류 결과들의 시각화를 허용하는 임의의 표 레이아웃을 망라하도록 광범위하게 해석되어야 한다.

그에 따라, 도 3의 표(300)는, 예컨대, 예시적인 시편의 조사 동안 검출된 총 250개의 결함의 인간 대 기계 분류를 도시하며, 각각의 결함은 부류들 A, B, C, 또는 D 중 하나에 속한다. 표(300)는 행들(304, 308, 312, 및 316)을 포함하며, 각각의 행은 사용자에 의해 분류되는 바와 같은 각각의 부류의 결함들과 관련되고, 따라서, 부류들로의 이러한 배정은 "실측 정보"로 지칭된다. 사용자에 의해 분류된 결함들의 수는 "총계" 열(332)에 도시된 바와 같이, 부류 A 60개, 부류 B 44개, 부류 C 119개, 및 부류 D 27개이다.

기본 또는 임의의 다른 초기 분류기가 또한 사용되며, 이는, 표(300)의 열들(320, 324, 및 328)에 도시된 바와 같이 결함들을 분류하는데, 예컨대, 부류 A의 52개의 결함이 실제로 부류 A로 분류되었고, 부류 B의 2개의 결함이 부류 C로서 분류되었는 등의 식으로 분류되었다.

부류들 A, B, 및 C의 결함들 대부분이 표(400)의 주 대각선의 처음 3개의 엔트리 상에 부류 A에 대해 60개 중 52개, 부류 B에 대해 44개 중 38개, 그리고 부류 C에 대해 119개 중 110개로 도시된 바와 같이 올바르게 분류된다. 그에 따라, 부류들 A, B, 및 C는 다수 부류들로 간주된다. 그러나, 임의의 부류의 어떠한 결함도 부류 D로 분류되지 않았다. 이는, 분류기가 훈련될 때 충분한 부류 D의 결함들이 존재하지 않음에 따라 분류기가 이 부류로 결함들을 분류할 수 없었기 때문일 가능성이 있다. 그에 따라, 부류 D는 소수 부류로 지칭되고, 이 부류의 결함들은 다수 부류들로 분류된다. 따라서, 그에 따라서 분류기를 훈련시키기 위해서는 더 많은 부류 D 결함들을 발견하는 것이 요구된다.

이제, 다시 도 2를 참조하면, PMC(104)는, 제1 분류기에 의해 제1 다수 부류로 분류되는 복수의 결함들을 수신한다(200). 수신된 결함들은 (예컨대, 인간 전문가 및/또는 다른 분류기 및/또는 이전 분류기 버전 등에 의해) 미리 정의된 부류들로 사전 분류되었으며, 이에 따라, 이러한 사전 분류는 실측 정보로 간주된다. 그에 따라, PMC(104)는, 동일한 다수 부류 또는 소수 부류에 속하는 결함들을 수신한다.

예컨대, PMC(104)는, 제1 분류기에 의해 하나의 부류, 예컨대 열(320) 상에 도시된 부류 A에 배정되고 부류 A 또는 부류 D에 속하는 것으로 알려져 있는 결함들을 수신할 수 있다. 부류 A로 분류되지만 다른 다수 부류들에 속하는 결함들, 예컨대, 부류 B에 속하는 4개의 결함 및 부류 C에 속하는 3개의 결함은 무시된다. 따라서, 부류 A로 올바르게 분류된 부류 A의 52개의 결함과 부류 A로 잘못 분류된 부류 D의 3개의 결함 사이를 구별하는 것이 요구된다.

각각의 결함은 다양한 속성들에 배정된 값들의 집합, 예컨대 벡터로서 설명될 수 있다. 전형적으로, 각각의 결함은, 예컨대, 그의 유형, 색상, 크기, 위치, 원인 등과 관련된 수백 개 이상의 속성들에 배정된 값들로서 설명될 수 있다.

이어서, PMC(104)는, 다수 부류에 속하는 결함들과 소수 부류에 속하는 결함들 사이를 올바르게 구별하기 위해, 속성들의 서브세트를 선택하고 서브세트의 각각의 속성에 대한 구별자를 정의할 수 있다(204). 속성 서브세트 선택은 차원수 감소로 지칭될 수 있다. 결함들보다 더 많은 차원들(즉, 속성들)이 존재할 때, 그러한 구별을 행하는 것이 수학적으로 가능하다. 그러나, 차원들의 수를 감소시키는 것은 일반화, 예컨대 구별 안정성을 향상시키는 데 있어서 유용할 수 있으며, 이에 따라, 부가적인 결함들이 또한 어느 하나의 부류로 분류될 수 있다.

구별은, 선택된 속성 서브세트에만 기반하고 결함들을 다수 및 소수 부류들로 분류하는 임시 분류기로서 설명될 수 있다. 다수 부류에 배정된 결함들과 소수 부류에 배정된 결함들 사이를 올바르게 구별하는 것은, 다수 부류로 분류되는 다수 부류 결함들의 적어도 미리 결정된 부분, 및 소수 부류로 분류되는 소수 부류 결함들의 적어도 (가능하게는 상이한) 미리 결정된 부분과 관련될 수 있다는 것이 인식될 것이다. 미리 결정된 부분은, 미리 결정된 백분율의 개개의 결함들, 적어도 미리 결정된 수의 개개의 결함들 등과 관련될 수 있다.

속성이, 예컨대, 이산 또는 연속적 범위의 일련의 값들을 수신할 수 있는 경우에, 구별자는 절사점일 수 있으며, 이에 따라, 임계치를 초과하는 값들을 갖는 결함들은 하나의 부류와 연관되는 한편, 임계치 미만의 값들을 갖는 결함들은 다른 부류와 연관된다. 속성이 2개의 가능한 값들 중 하나, 예컨대 0 또는 1을 수신할 수 있는 경우, 구별자가 정의될 수 있으며, 이에 따라, 속성에 대한 제1 값을 갖는 결함들을 하나의 부류와 연관되는 한편, 속성에 대한 제2 값을 갖는 결함들은 다른 부류와 연관된다.

속성 서브세트를 선택하는 것은 랜덤 포레스트(Random Forest) 방법을 사용할 수 있으며, 이는, 복수의 결정 트리들을 구성하고, 각각의 그러한 결정 트리로부터의 분류 결과를 수신하고, 다수의 트리들에 의해 취해진 결정에 따라 결정을 행함으로써 동작한다. 제1 스테이지에서, 제1 트리가 구성되는데, 제1 속성은 지니 불순도(Gini Impurity) 지수에 따라 선택될 수 있고, 이는, 세트로부터 무작위로 선택된 요소가 그것이 서브세트 내의 라벨들의 분포에 따라 무작위로 라벨링되었을 때 얼마나 자주 올바르지 않게 라벨링될 것인지의 척도로 간주될 수 있다. 예컨대, 9개의 결함들이 제공되고 각각은 2개의 부류 "X" 및 "0"중 하나에 속하는 것으로 가정한다. 9개의 결함은 속성에 대해 다음의 값들: [1, 1.5, 2, 3, 4, 5.5, 6, 8, 10]을 갖는다. 이러한 속성의 값들의 오름차순으로 결함들을 순서화할 때, 결함 벡터는 [X X 0 X X 0 0 X 0]이며, 이는, 제1, 제2, 제4, 제5, 및 제8 결함들이 부류 "X"를 갖고, 나머지 다른 것들은 부류 "0"을 가짐을 의미한다. 부류 "X"에 대한 지니 불순도 지수는, 이러한 벡터에 대해

로서 정의되며, 여기서, Pi는 올바르게 분류된 "X"의 확률이며, 이는

이다. 지니 불순도 지수에 대한 최적의 값은 0이라는 것이 인식될 것이며, 이는, 속성에 의한 완벽한 구별(여기서, Pi는 0 또는 1임)을 표시한다. 벡터를 구별하는 속성에 대한 구별자 값이 1.5 내지 2인 것으로 선택되는 경우, 벡터는 다음: [X X │ 0 X X 0 0 X 0]과 같을 것이며, 이는, "│" 기호의 좌측에 있는 결함들이 "0"으로서 분류되고, "│" 기호의 우측에 있는 결함들이 "X"로 분류됨을 의미하고, 그때, 부류 "X"에 대한 지니 불순도 지수는

이다. 유사하게, 부류 "0"에 대한 지니 불순도 지수는 0이고, 그에 따라, 가중 평균은

이며, 이는, 지니 지수가 감소했음을, 즉, 순도가 증가했음을 의미한다.

가장 양호한 가중 평균을 제공하는 속성 및 구별자 선택이 결정 트리의 제1 수준으로서 선택될 수 있다. 다음 수준 상에서, 상이한 속성, 또는 상이한 구별 값을 갖는 동일한 속성이 선택될 수 있다.

일부 실시예들에서, 다수 부류로 분류된 결함들 전부가 아니라 그들 중 일부만이 랜덤 포레스트를 구축하는 데 선택될 수 있다. 그러나, 랜덤 포레스트를 구성하는 데 선택될 수 있는 다수 부류로 잘못 분류된 결함들의 비율은, 다수 부류로 분류된 결함들 중의 그의 비율보다 높을 수 있다. 예컨대, 100개의 결함이 다수 부류로 분류되었고 이들 중 2개가 소수 부류에 속하고 98개가 다수 부류에 속하는 경우, 소수 부류에 속하는 2개의 결함 및 다수 부류에 속하는 18개의 결함을 포함하는 20개의 결함이 랜덤 포레스트에 선택될 수 있다.

다수의 그러한 트리들이 구성될 수 있으며, 각각의 트리는, 상이한 세트의 결함들, 및 속성들 및 구별자들의 상이한 선택에 기반한다.

일단 미리 결정된 수의 결정 트리들이 구성되면, 속성 서브세트가 선택될 수 있다. 속성 서브세트는 트리들에서의 각각의 속성 관여에 기반하여 선택될 수 있는데, 더 많은 트리들에 관여하거나 트리들 중 하나 이상에서 더 높은 속성은, 더 적은 트리들에 관여하거나 트리들 중 하나 이상에서 계층이 더 낮은 속성보다 더 높은 등급을 배정받을 수 있다.

랜덤 포레스트 방법은 이용가능한 훈련 세트에 대한 속성 세트의 과적합을 제거할 수 있으며, 여기서, 과적합은, 속성 서브세트가 훈련 세트를 양호하게 구별하도록 설계되지만 그에 따라서 다른 결함 집합들에 덜 효과적인 상황과 관련된다.

이어서, PMC(104)는, 올바르게 분류된 다수 부류의 복수의 결함들, 및 다수 부류로 올바르지 않게 분류된 소수 부류의 복수의 결함들을 포함하는 임시 훈련 세트를 생성할 수 있다(212). 일부 실시예들에서, 다수 부류로 분류된 모든 결함들이 선택되지는 않는다. 더욱이, 다수 부류로 올바르지 않게 분류된 소수 부류의 결함들의 비율은, 다수 결함들로서 분류된 모든 결함들 중의 그들의 개개의 부분보다 높을 수 있다. 임시 훈련 세트는 또한 부가적인 결함들을 포함할 수 있다.

부가적인 결함들은 PMC(104)에 의해 생성될 수 있다. 부가적인 결함들은, 속성 서브세트에 기반한 분류기, 이를테면 위의 랜덤 포레스트 분류기가 소수 부류로 분류할 결함들이다. 부가적인 결함들을 생성하는 것은 또한 오버샘플링으로 지칭될 수 있다. 결함을 생성하는 것은 속성 서브세트의 속성들에 값들을 배정함으로써 수행될 수 있다는 것이 인식될 것이다.

이제, 2개의 차원을 포함하는 속성 서브세트에서의 오버샘플링의 예시적인 실시예를 나타내는 도 4에 대한 참조가 이루어진다.

다수 부류 및 소수 부류의 다수의 결함들이 주어지면, 오버샘플링은 하나 이상의 합성 결함, 즉, 값들의 하나 이상의 집합을 생성하는 것과 관련될 수 있으며, 이들 각각은 기존 소수 결함에 비교적 가깝다.

도 4는, "O"로 표시된 3개의 소수 결함(400, 404, 및 412), 및 "X"로 표시된 다수의 다수 결함들(이를테면, 408 또는 416)을 도시한다. 2개의 부류의 결함들 사이를 양호하게 구별하는 분류기를 생성하기 위해, 다수 부류의 이웃들을 갖는 소수 결함들에 더 가까운 더 많은 합성 결함들이 생성될 수 있다. 그에 따라, 합성 결함은, 결함들(404 및 412)에는 가깝지만 가까운 부류 "X" 이웃들을 갖지 않는 결함(400)에는 가깝지 않게 생성될 수 있다.

합성 결함들을 생성하는 것은, 각각의 소수 결함에 대해, 가장 가까운 다수 결함까지의 거리가 계산될 수 있는, 합성 소수 오버샘플링 기법(SMOTE)을 사용하여 수행될 수 있다. 거리 계산은, 임의의 요구되는 메트릭들, 이를테면, 선택된 속성 서브세트에 대한 (가능한 가중) 제곱 합을 사용하여 수행될 수 있다. 다수 부류의 가장 가까운 이웃까지 가장 작은 거리들을 갖는 미리 결정된 수의 소수 결함들이 선택될 수 있다. 일부 실시예들에서, 동일한 소수 결함이 다수회 선택될 수 있다. 그에 따라, 소수 결함들(404 및 412)이 선택될 수 있다. 각각의 그러한 선택된 결함에 대해, 소수 결함의 속성 값과 가장 가까운 다수 결함의 속성 값 사이의 범위 내의 속성에 대한 값들을 갖는 합성 결함이 생성될 수 있다. 도 4의 예에서, 합성 결함은, 소수 결함(404)과 다수 결함(408)을 연결하는 선을 따라 생성될 수 있다. 일부 실시예들에서, 합성 결함들은 소수 결함에 더 가깝게 생성될 수 있는데, 예컨대, 각각의 속성의 값은, 0.8 * 소수 결함에서의 속성의 값 + 0.2 * 다수 결함에서의 속성의 값, 또는 이의 임의의 다른 가중 조합으로서 계산될 수 있다. 소수 결함(412)과 다수 결함(416)을 연결하는 선을 따라 제2 합성 결함이 생성될 수 있다.

이어서, PMC(104)는, 임시 훈련 세트, 속성 서브세트, 및 서브세트의 각각의 속성에 대한 구별자에 대해 신뢰도 수준 엔진을 훈련시킬 수 있다(216). 신뢰도 수준 엔진은, 결함 및 결함이 분류되는 부류를 수신하고, 결함이 실제로 그 부류에 속하는 신뢰도 수준을 출력하도록 구성될 수 있다.

신뢰도 수준 엔진은 또한 트리 앙상블로서 구현될 수 있으며, 여기서, 트리 앙상블의 트리들은 구배 부스팅을 사용하여 생성될 수 있다. 결정 트리들을 생성하는 것은, 선택된 속성 서브세트에 따라 동작하고 결함들을 다수 부류 및 소수 부류로 분류하는 기본 분류 트리로 시작될 수 있다. 향상된 지니 불순도 지수는 각각의 부류에 배정된 가중치를 고려할 수 있는데, 즉,

이며, 여기서, W_A는 부류 A에 배정된 가중치이고, P_A는 결함이 부류 A로 올바르게 분류될 확률이다. 소수 부류의 결함들을 더 양호하게 분류하도록 신뢰도 수준 엔진을 훈련시키기 위해, 소수 부류의 가중치는 다수 부류로 분류된 모든 결함들 내의 소수 결함들의 비율보다 높을 수 있다. 이어서, 추가적인 트리들이 생성될 수 있으며, 여기서, 이전에 생성된 트리들에 의해 올바르지 않게 분류된 그 소수 결함들에 더 높은 가중치가 배정되는데, 예컨대, 다음과 같다:

. 일부 결함들에 다른 것들보다 더 높은 가중치가 주어지는 것은, 분류의 결과적인 향상된 지니 불순도 지수가 더 높도록 상이한 구별자 값을 선택함으로써 수행될 수 있다.

그에 따라, 신뢰도 수준 엔진 생성의 출력은, 각각의 트리가 부류 및 가중치와 연관된 트리들의 집합이다. 가중치는 각각의 트리와 연관된 오류율에 기반하여 획득될 수 있다. 오류율은, 트리가 실측 정보와 상이한 결과를 출력하는 결함들의 가중치들의 합으로서 정의될 수 있다.

일단 신뢰도 수준 엔진이 이용가능하면, PMC(104)는, 다수 부류로 분류된 추가적인 결함들에 신뢰도 수준 엔진을 적용할 수 있으며(220), 여기서, 이러한 결함들에 대해 어떠한 실측 정보도 이용가능하지 않다. 그에 따라, 다수 부류로 분류된 각각의 그러한 결함이 신뢰도 수준 엔진에 제공되고, 신뢰도 수준이 획득된다. 신뢰도 수준은, 결함이 실제로 다수 부류의 것이고 다수 부류로 잘못 분류되지 않았다는 신뢰도를 표시한다. 신뢰도 수준을 획득하는 것은, 단계(216)에서 생성된 트리 앙상블의 모든 트리들에 의해 결함을 분류하고, 다수 부류로 결함을 분류하는 모든 트리들의 가중치들을 합산함에 따라, 0 내지 1의 신뢰도 수준을 획득함으로써 수행될 수 있다.

이어서, PMC(104)는, 신뢰도 수준이 낮은, 예컨대, 미리 결정된 임계치 미만인 다수 부류로 분류된 결함들을 출력할 수 있다(224). 대안적으로, 가장 낮은 신뢰도 수준들을 갖는, 다수 부류로 분류된 미리 결정된 수의 결함들 또는 미리 결정된 백분율의 모든 결함들이 출력될 수 있다. 낮은 신뢰도 수준은, 결함이 다수 결함이 아니라 오히려 소수 결함일 높은 확률이 존재함을 표시할 수 있다.

이제 도 5를 참조하면, 본원에 개시되는 주제의 특정 실시예들에 따른, 시편을 검토하는 방법의 일반화된 흐름도가 예시된다.

PMC(104)는, 비-일시적인 컴퓨터 판독가능 저장 매체 상에 구현되는 컴퓨터 판독가능 명령어들에 따라 아래에서 상세히 설명되는 개개의 동작들을 실행하도록 구성될 수 있다.

분류기는, 사용자에 의해 분류된 훈련 결함들을 포함하는 이용가능한 훈련 데이터에 대해 훈련된다(500).

이어서, 어떠한 분류도 알려져 있지 않은 추가적인 결함들에 대해 분류가 수행된다(504).

분류 결과들은 위의 도 2와 연관되어 설명된 바와 같이 모니터링 및 거절될 수 있다(508). 모니터링은, 예컨대, 도 2의 단계들(200, 204, 212, 216 및 220)에서 상세히 설명된 바와 같은, 다수 결함들에 대한 신뢰도 수준을 획득하는 것과 관련되고, 거절은, 분류 신뢰도 수준이 낮은 결함들을 출력하는 것(224)과 관련될 수 있다.

출력된 결함들은, 예컨대 사용자에 의해 검토될 수 있고, 이러한 결함들에 대해 실측 정보 분류가 수신될 수 있다(512).

사용자에 의해 소수 결함들로서 표시된 결함들이 수집되고(516) "컨테이너"로 지칭되는 저장 디바이스 또는 데이터 구조에 저장될 수 있다. 훈련시키기에 충분한 수의 소수 결함들, 예컨대, 적어도 미리 결정된 수, 이를테면, 30개, 40개, 100개 등이 컨테이너에 축적될 때, 이 부류가 또한 다수 부류이고 그에 따라 그 소수 결함들을 또한 올바르게 분류할 수 있는 새로운 분류기가 훈련될 수 있다. 그에 따라, 이러한 분류기는 제1 분류기를 대체할 수 있다.

이어서, 훈련(500)이 반복될 수 있으며, 이는 또한, 이용가능한 실측 정보 분류를 이용하여 분류기를 재훈련시키거나 업데이트하는 것으로 지칭될 수 있다.

도 5의 반복들은 미리 결정된 횟수 동안, 미리 결정된 시간 기간 동안, 거절률이 제1 미리 결정된 임계치 아래로 떨어질 때까지, 거절 수가 제2 미리 결정된 임계치 아래로 떨어질 때까지, 또는 다른 중단 기준들이 충족될 때까지 계속될 수 있다.

관련 기술분야의 통상의 기술자들은, 본원에 개시되는 주제의 교시들이 도 2 및 도 5에 예시된 방법들에 의해 제한되지 않는다는 것을 용이하게 인식할 것이다. 소수 결함들을 획득하고 그에 따라서 분류기를 훈련시키기 위해, 다른 적절한 알고리즘들 및 이들의 조합들이 구현될 수 있다.

본 발명은 도면들에서 예시되거나 본원에 포함된 설명에서 기재된 세부사항들로 제한되지 않는다. 본 발명은 다른 실시예들이 가능하며, 다양한 방식들로 실시 및 수행되는 것이 가능하다. 따라서, 본원에서 이용되는 어법 및 용어법이 설명의 목적을 위한 것이고, 제한적인 것으로 간주되지 않아야 한다는 것이 이해되어야 한다. 그에 따라, 본 개시내용이 기초하는 개념이 본원에 개시되는 주제의 여러 목적들을 수행하기 위해 다른 구조들, 방법들, 및 시스템들을 설계하기 위한 기초로서 용이하게 활용될 수 있다는 것을 관련 기술분야의 통상의 기술자들은 인식할 것이다.

또한, 본 발명에 따른 시스템은 적합하게 프로그래밍된 컴퓨터 상에서 적어도 부분적으로 구현될 수 있다는 것이 이해될 것이다. 마찬가지로, 본 발명은 본 발명의 방법을 실행하기 위해 컴퓨터에 의해 판독가능한 컴퓨터 프로그램을 고려한다. 본 발명은 추가로, 본 발명의 방법을 실행하기 위해 컴퓨터에 의해 실행가능한 명령어들의 프로그램을 유형적으로 구현하는 비-일시적인 컴퓨터-판독가능 메모리를 고려한다.

관련 기술분야의 통상의 기술자들은 첨부된 청구항들에서 그리고 첨부된 청구항들에 의해 정의되는 본 발명의 범위로부터 벗어나지 않으면서 이상에서 설명된 바와 같은 본 발명의 실시예들에 다양한 수정들 및 변경들이 적용될 수 있다는 것을 용이하게 인식할 것이다.

Claims

반도체 시편에서의 결함들을 복수의 부류들로 분류할 수 있는 시스템으로서,
상기 시스템은 PMC(processing and memory circuitry)를 포함하고, 상기 PMC는,
제1 분류기에 의해 다수 부류(majority class)로 분류된 복수의 결함들을 수신하고 - 상기 복수의 결함들로부터의 각각의 결함은 복수의 속성들의 각각의 속성에 대한 값과 연관되고, 상기 복수의 결함들로부터의 하나 이상의 결함들은 상기 하나 이상의 결함들의 실측 정보(ground truth)를 나타내는 소수 부류(minority class)에 속하고, 상기 복수의 결함들로부터의 상기 결함들 중 적어도 일부는 상기 결함들의 상기 적어도 일부의 실측 정보를 나타내는 상기 다수 부류에 속함 -;
상기 복수의 속성들의 서브세트를 선택하고, 상기 서브세트의 각각의 속성에 대한 구별자를 정의하여, 상기 서브세트 및 각각의 개개의 속성에 대한 상기 구별자에 따라 결함들을 분류하도록 구성된 제2 분류기가 상기 복수의 결함들로부터의 결함들의 적어도 미리 정의된 부분을 상기 소수 부류 및 상기 다수 부류로 올바르게 분류하게 하고;
임시 훈련 세트를 생성하고 - 상기 임시 훈련 세트는 상기 다수 부류로 올바르게 분류되는 상기 복수의 결함들로부터의 결함들 중 적어도 일부, 상기 소수 부류에 속하지만 상기 다수 부류로 잘못 분류되는 상기 복수의 결함들로부터의 결함들 중 적어도 일부, 및 부가적인 결함들을 포함하며, 상기 부가적인 결함들은 상기 제2 분류기가 상기 부가적인 결함들을 상기 소수 부류로 분류하도록 상기 서브세트에 대한 속성 값들을 가짐 -;
상기 서브세트에 대한 제1 값들에 의해 특성화되는 결함이 상기 다수 부류에 속하는 신뢰도 수준을 획득하도록 구성되는 엔진을 훈련시키고 - 상기 훈련은 상기 임시 훈련 세트, 상기 서브세트, 및 상기 서브세트의 각각의 속성에 대한 상기 구별자를 사용하여 수행됨 -;
상기 다수 부류로 분류되는 제2 복수의 잠재적 결함들로부터의 각각의 주어진 잠재적 결함에 상기 엔진을 적용하여, 상기 다수 부류에 속하는 상기 주어진 잠재적 결함의 신뢰도 수준을 획득하고;
미리 결정된 임계치보다 낮은 신뢰도 수준을 갖는 상기 제2 복수의 잠재적 결함들로부터의 하나 이상의 잠재적 결함들을 출력하도록 - 상기 하나 이상의 잠재적 결함들은 가정상 상기 다수 부류로 잘못 분류되고, 상기 소수 부류에 속할 확률이 더 높음 - 구성되는, 시스템.
제1항에 있어서, 상기 PMC는 상기 제2 분류기에 의해 상기 소수 부류로 분류가능한 상기 부가적인 결함들을 생성하도록 추가로 구성되는, 시스템.
제1항에 있어서, 상기 부가적인 결함들 중 적어도 하나는 복수의 값들에 기초하여 생성된 합성 결함이고, 각각의 값은 상기 서브세트의 각각의 속성에 대한 구별자에 따라 상기 서브세트로부터의 속성과 연관되는, 시스템.
제3항에 있어서, 속성에 할당되는 상기 복수의 값들 중의 값은 상기 소수 부류에 속하는 제1 결함의 속성의 제2 값과 상기 제1 결함에 이웃하고 상기 다수 부류에 속하는 제2 결함의 속성의 제3 값 사이의 제1 값으로서 결정되는, 시스템.
제3항에 있어서, 속성에 할당되는 상기 복수의 값들 중의 값은 상기 소수 부류에 속하는 제1 결함의 속성의 제1 값으로서 결정되는, 시스템.
제1항에 있어서, 상기 PMC는,
상기 출력된 잠재적 결함들 중 적어도 일부를 상기 소수 부류에 속하는 것으로서 식별하고;
상기 소수 부류에 속하는 상기 복수의 결함들로부터의 적어도 일부 결함들, 상기 다수 부류에 속하는 상기 복수의 결함들로부터의 적어도 일부 결함들, 및 상기 출력된 잠재적 결함들 중 상기 일부를 포함하는 훈련 세트에 대해 상기 제1 분류기를 훈련시킴으로써 상기 제1 분류기를 업데이트하고;
상기 다수 부류로 업데이트된 것으로서 상기 제1 분류기에 의해 분류되고, 상기 엔진이 상기 미리 결정된 임계치 미만의 신뢰도 수준을 획득하는, 상기 복수의 결함들에 포함되지 않은 부가적인 결함을 출력하도록 추가로 구성되는, 시스템.
제1항에 있어서, 상기 엔진은 트리 앙상블을 포함하는, 시스템.
제1항에 있어서, 상기 구별자는 일정 범위의 값들로부터의 임계값인, 시스템.
제1항에 있어서, 상기 구별자는 이산 값들의 집합으로부터의 하나 이상의 값들을 포함하는, 시스템.
반도체 시편에서의 결함들을 복수의 부류들로 분류하는 방법으로서,
상기 방법은 메모리 및 프로세서를 포함하는 컴퓨팅 플랫폼에 의해 실행되고, 상기 방법은,
제1 분류기에 의해 다수 부류(majority class)로 분류된 복수의 결함들을 수신하는 단계 - 상기 복수의 결함들로부터의 각각의 결함은 복수의 속성들의 각각의 속성에 대한 값과 연관되고, 상기 복수의 결함들로부터의 하나 이상의 결함들은 상기 하나 이상의 결함들의 실측 정보(ground truth)를 나타내는 소수 부류(minority class)에 속하고, 상기 복수의 잠재적 결함들로부터의 상기 결함들 중 적어도 일부는 상기 결함들의 상기 적어도 일부의 실측 정보를 나타내는 상기 다수 부류에 속함 -;
상기 프로세서에 의해, 상기 복수의 속성들의 서브세트를 선택하고, 상기 서브세트의 각각의 속성에 대한 구별자를 정의하여, 상기 서브세트 및 각각의 개개의 속성에 대한 상기 구별자에 따라 결함들을 분류하도록 구성된 제2 분류기가 상기 복수의 결함들로부터의 결함들의 적어도 미리 정의된 부분을 상기 소수 부류 및 상기 다수 부류로 올바르게 분류하게 하는 단계;
상기 프로세서에 의해, 임시 훈련 세트를 생성하는 단계 - 상기 임시 훈련 세트는 상기 다수 부류로 올바르게 분류되는 상기 복수의 결함들로부터의 결함들 중 적어도 일부, 상기 소수 부류에 속하지만 상기 다수 부류로 잘못 분류되는 상기 복수의 결함들로부터의 결함들 중 적어도 일부, 및 부가적인 결함들을 포함하며, 상기 부가적인 결함들은 상기 제2 분류기가 상기 부가적인 결함들을 상기 소수 부류로 분류하도록 상기 서브세트에 대한 속성 값들을 가짐 -;
상기 프로세서에 의해, 상기 서브세트에 대한 제1 값들에 의해 특성화되는 결함이 상기 다수 부류에 속하는 신뢰도 수준을 획득하도록 구성되는 엔진을 훈련시키는 단계 - 상기 훈련은 상기 임시 훈련 세트, 상기 서브세트, 및 상기 서브세트의 각각의 속성에 대한 상기 구별자를 사용하여 수행됨 -;
상기 다수 부류로 분류되는 제2 복수의 잠재적 결함들로부터의 각각의 주어진 잠재적 결함에 상기 엔진을 적용하여, 상기 다수 부류에 속하는 상기 주어진 잠재적 결함의 신뢰도 수준을 획득하는 단계; 및
미리 결정된 임계치보다 낮은 신뢰도 수준을 갖는 상기 제2 복수의 잠재적 결함들로부터의 하나 이상의 잠재적 결함들을 출력하는 단계 - 상기 하나 이상의 잠재적 결함들은 가정상 상기 다수 부류로 잘못 분류되고, 상기 소수 부류에 속할 확률이 더 높음 - 를 포함하는, 방법.
제10항에 있어서, 상기 제2 분류기에 의해 상기 소수 부류로 분류가능한 상기 부가적인 결함들을 생성하는 단계를 더 포함하는, 방법.
제11항에 있어서, 상기 부가적인 결함들 중 적어도 하나는 복수의 값들에 기초하여 생성된 합성 결함이고, 각각의 값은 상기 서브세트의 각각의 속성에 대한 구별자에 따라 상기 서브세트로부터의 속성과 연관되는, 방법.
제12항에 있어서, 속성에 할당되는 상기 복수의 값들 중의 값은 상기 소수 부류에 속하는 제1 결함의 속성의 제2 값과 상기 제1 결함에 이웃하고 상기 다수 부류에 속하는 제2 결함의 속성의 제3 값 사이의 제1 값으로서 결정되는, 방법.
제12항에 있어서, 속성에 할당되는 상기 복수의 값들 중의 값은 상기 소수 부류에 속하는 제1 결함의 속성의 제1 값으로서 결정되는, 방법.
제10항에 있어서,
상기 출력된 잠재적 결함들 중 적어도 일부를 상기 소수 부류에 속하는 것으로서 식별하는 단계;
상기 소수 부류에 속하는 상기 복수의 결함들로부터의 적어도 일부 결함들, 상기 다수 부류에 속하는 상기 복수의 결함들로부터의 적어도 일부 결함들, 및 상기 출력된 잠재적 결함들 중 상기 일부를 포함하는 훈련 세트에 대해 상기 제1 분류기를 훈련시킴으로써 상기 제1 분류기를 업데이트하는 단계; 및
상기 다수 부류로 업데이트된 것으로서 상기 제1 분류기에 의해 분류되고, 상기 엔진이 상기 미리 결정된 임계치 미만의 신뢰도 수준을 획득하는, 상기 복수의 결함들에 포함되지 않은 부가적인 결함을 출력하는 단계를 더 포함하는, 방법.
제10항에 있어서, 상기 엔진은 랜덤 포레스트(random forest) 분류기에 포함되는, 방법.
제10항에 있어서, 상기 구별자는 일정 범위의 값들로부터의 임계값인, 방법.
제10항에 있어서, 상기 구별자는 이산 값들의 집합으로부터의 하나 이상의 값들을 포함하는, 방법.
프로세서를 포함하는 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금, 반도체 시편에서의 결함들을 복수의 부류들로 자동 분류하는 방법을 수행하게 하는 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체로서,
상기 방법은,
제1 분류기에 의해 다수 부류(majority class)로 분류된 복수의 결함들을 수신하는 단계 - 상기 복수의 결함들로부터의 각각의 결함은 복수의 속성들의 각각의 속성에 대한 값과 연관되고, 상기 복수의 결함들로부터의 하나 이상의 결함들은 상기 하나 이상의 결함들의 실측 정보(ground truth)를 나타내는 소수 부류(minority class)에 속하고, 상기 복수의 잠재적 결함들로부터의 상기 결함들 중 적어도 일부는 상기 결함들의 상기 적어도 일부의 실측 정보를 나타내는 상기 다수 부류에 속함 -;
상기 프로세서에 의해, 상기 복수의 속성들의 서브세트를 선택하고, 상기 서브세트의 각각의 속성에 대한 구별자를 정의하여, 상기 서브세트 및 각각의 개개의 속성에 대한 상기 구별자에 따라 결함들을 분류하도록 구성된 제2 분류기가 상기 복수의 결함들로부터의 결함들의 적어도 미리 정의된 부분을 상기 소수 부류 및 상기 다수 부류로 올바르게 분류하게 하는 단계;
상기 프로세서에 의해, 임시 훈련 세트를 생성하는 단계 - 상기 임시 훈련 세트는 상기 다수 부류로 올바르게 분류되는 상기 복수의 결함들로부터의 결함들 중 적어도 일부, 상기 소수 부류에 속하지만 상기 다수 부류로 잘못 분류되는 상기 복수의 결함들로부터의 결함들 중 적어도 일부, 및 부가적인 결함들을 포함하며, 상기 부가적인 결함들은 상기 제2 분류기가 상기 부가적인 결함들을 상기 소수 부류로 분류하도록 상기 서브세트에 대한 속성 값들을 가짐 -;
상기 프로세서에 의해, 상기 서브세트에 대한 제1 값들에 의해 특성화되는 결함이 상기 다수 부류에 속하는 신뢰도 수준을 획득하도록 구성되는 엔진을 훈련시키는 단계 - 상기 훈련은 상기 임시 훈련 세트, 상기 서브세트, 및 상기 서브세트의 각각의 속성에 대한 상기 구별자를 사용하여 수행됨 -;
상기 다수 부류로 분류되는 제2 복수의 잠재적 결함들로부터의 각각의 주어진 잠재적 결함에 상기 엔진을 적용하여, 상기 다수 부류에 속하는 상기 주어진 잠재적 결함의 신뢰도 수준을 획득하는 단계; 및
미리 결정된 임계치보다 낮은 신뢰도 수준을 갖는 상기 제2 복수의 잠재적 결함들로부터의 하나 이상의 잠재적 결함들을 출력하는 단계 - 상기 하나 이상의 잠재적 결함들은 가정상 상기 다수 부류로 잘못 분류되고, 상기 소수 부류에 속할 확률이 더 높음 - 를 포함하는, 비일시적 컴퓨터 판독가능 매체.