KR102627062B1 - 비정상 장비 트레이스 검출 및 분류 - Google Patents

비정상 장비 트레이스 검출 및 분류 Download PDF

Info

Publication number
KR102627062B1
KR102627062B1 KR1020227014543A KR20227014543A KR102627062B1 KR 102627062 B1 KR102627062 B1 KR 102627062B1 KR 1020227014543 A KR1020227014543 A KR 1020227014543A KR 20227014543 A KR20227014543 A KR 20227014543A KR 102627062 B1 KR102627062 B1 KR 102627062B1
Authority
KR
South Korea
Prior art keywords
trace
traces
modified
processor
abnormalities
Prior art date
Application number
KR1020227014543A
Other languages
English (en)
Other versions
KR20220070302A (ko
Inventor
리차드 버치
제프리 디. 데이비드
칭 주
토모노리 혼다
린 리 청
Original Assignee
피디에프 솔루션즈, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 피디에프 솔루션즈, 인코포레이티드 filed Critical 피디에프 솔루션즈, 인코포레이티드
Publication of KR20220070302A publication Critical patent/KR20220070302A/ko
Application granted granted Critical
Publication of KR102627062B1 publication Critical patent/KR102627062B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079Root cause analysis, i.e. error or fault diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0736Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766Error or fault reporting or storing
    • G06F11/0778Dumping, i.e. gathering error/state information after a fault for later diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/02Manufacture or treatment of semiconductor devices or of parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks

Abstract

반도체 장비 결함을 검출하고 분류하는 방식. 알려진 비정상 동작 상태를 알려지지 않은 비정상 동작 상태로부터 분리하기 위해 센서 트레이스를 모니터링하고 처리한다. 특징 엔지니어링을 통해 목표 특징에 대한 관련 트레이스에 초점을 맞출 수 있다. 초기 비정상 분류 세트에 기초하여 검출 및 분류를 위한 기계 학습 모델이 구축된다. 더 많은 트레이스를 처리하고 학습함에 따라 기계 학습 모델을 지속적으로 업데이트한다.

Description

비정상 장비 트레이스 검출 및 분류
상호 참조
본 출원은 미국 가출원 번호 62/911,346(발명의 명칭: Equipment Trouble Prevention ( ETP ): An effective approach to Anomalous Equipment Trace Detection and Classification without Prior Labeling, 출원일: 2019년 10월 6일, 전체 내용이 본 명세서에 병합됨)의 우선권을 주장한다.
기술 분야
본 출원은 반도체 장비 결함을 검출하고 분류하는 것에 관한 것으로, 보다 상세하게는 알려지지 않은 비정상 장비 동작 상태를 검출 및 분류하기 위해 센서 트레이스를 모니터링하고 처리하는 방식에 관한 것이다.
장비 센서의 시간 트레이스를 모니터링하여 장비 결함을 검출하는 것은 오랫동안 인식되어 왔지만 반도체 제조에서 매우 어려운 문제이다. 결함 검출 및 분류(Fault Detection and Classification: FDC)에 대한 고전적인 접근 방식은 센서 트레이스로부터 요약 통계(summary statistics)(주로 키 번호 또는 지표라고 함)를 계산한 다음 이러한 통계를 모니터링하여 주로 엔지니어링 지식에 기초하여 비정상(anomaly)을 식별하는 것이다.
예를 들어, 도 1a에서 수직 파선들 사이의 영역은 반도체 공정의 일부 또는 단계로부터 4개의 상이한 장비 센서 트레이스(101, 102, 103, 104)를 디스플레이하는 공정 창(process window)(100)이다. 통계는 일반적으로 도 1b에 도시된 바와 같이 트레이스의 각 단계마다 계산된다. 그러나, 통계는 트레이스(104)의 그래프로부터 도 1a에 시각적으로 명백한 비정상 현상(110)을 드러내지 못한다. 따라서 통계적 공정 제어 기술에만 의존하면 중요한 비정상 현상을 놓칠 수 있다. 물론 통계적 공정 제어 접근 방식의 효율성은 다양하며 요약 통계의 품질에 크게 좌우된다. 또한 요약 통계를 계산하기 위한 루틴은 공정 변화에 따라 자주 업데이트되는 것이 필요하다. 따라서 FDC 요약 통계 루틴의 구성 및 유지 관리는 희소 자원에 대한 대규모 투자를 나타낸다.
임의의 적당히 복잡한 공정 단계의 센서를 적절히 나타내는 데 필요한 통계의 수는 수천 또는 수만에 달할 수 있어서 잘못된 신호는 큰 문제가 될 수 있다. 제품 데이터 및/또는 인라인 계측을 분석한 것에 기초하여 관련 통계를 선택하려는 노력은 잘못된 신호를 줄이는 데 유용한 것으로 입증되었지만 이러한 노력은 적절한 응답 데이터를 필요로 하고 여전히 이전에 관찰되지 않은 결함을 예측할 수는 없다.
또 다른 접근 방식은 대부분의 트레이스를 정확히 재구성할 수 있는 제한된 기저 벡터 세트를 식별하는, 예를 들어, 자동 인코더 신경망을 사용하거나 주요 구성요소와 같은 단순한 것을 사용하여 트레이스 복제를 사용하는 것이었다. 높은 잔차(residual)를 가진 트레이스는 비정상으로 간주되며, 잔차 제곱합을 사용하면 비정상을 검출할 수 있다. 그러나 복제 접근 방식은 많은 트레이스에서 비정상을 식별하는 데 있어 잘 작동하지만 기저 벡터는 종종 명확한 물리적 해석을 갖지 않아서, 사용자가 이 정보에 기초하여 비정상을 분류하는 것은 어렵다.
최근 기계 학습의 발전은 비정상 센서 트레이스를 검출하고 분류하는 것에 기초하여 장비 결함을 검출하고 분류하는 능력을 향상시킬 수 있는 새로운 기회를 열어주었다. 그러나 비정상 트레이스를 검출하고 분류하기 위해 기계 학습을 구현하는 데 있어 장애물 중 하나는 라벨이 있는 트레이스 데이터를 얻는 데 어려움이 있다는 것이다. 따라서 비정상 트레이스를 검출하고 분류하는 진정으로 효과적인 방법은 라벨 없이 비정상 트레이스를 식별하는 효과적인 전략을 구현해야 하며, 검출 및 분류를 지속적으로 개선하기 위한 라벨을 수집하기 위해 초기 분류를 활용해야 한다.
도 1a는 4개의 장비 센서 트레이스를 예시하는 공정 디스플레이 창이다.
도 1b는 도 1a에 도시된 트레이스에 대한 요약 통계를 포함하는 표이다.
도 2는 비정상 검출 및 분류 시스템을 예시하는 단순화된 블록도이다.
도 3은 도 2의 일부를 상세하게 도시하는 도면이다.
도 4a 및 도 4b는 부트스트래핑(bootstrapping) 사례의 그래픽 표현이다.
도 5a 및 도 5b는 트레이스 비정상을 분류하기 위한 시스템의 블록도이다.
도 6은 미리 정해진 비정상 클래스 및 대응하는 가능한 조치의 표이다.
도 7a 및 도 7b는 트레이스 비정상의 분류를 검토하고 업데이트하기 위한 시스템의 블록도이다.
본 명세서에서 사용된 "센서 트레이스"라는 용어는 장비 동작 동안 주기적으로 중요한 물리량을 측정하는 시계열 데이터를 말하며, "트레이스" 또는 "장비 트레이스"라는 용어는 처리 인스턴스를 위해 식별된 모든 중요한 센서에 대한 센서 트레이스의 집합을 말한다.
본 명세서에서 다루는 문제는 반도체 처리 장비의 비정상적 동작이다. 처리 동안 수집된 센서 데이터를 모니터링하고, 알려진 비정상 동작 상태를 알려지지 않은 동작 상태와 분리하고, 이러한 알려지지 않은 상태를 분류하여 신속한 응답이 가능하게 함으로써 비정상 장비 동작을 식별하는 능력은 오랫동안 인식되었지만 해결하기 어려운 문제였다. 따라서, 본 발명의 목적은 정상 동작 트레이스에 비해 상당한 비정상을 나타내는 임의의 장비 센서 트레이스를 식별하는 실시간 능력을 제시함으로써 이 문제를 해결하는 것이다.
이러한 문제를 평가하는 것은 병렬 처리 아키텍처의 출현과 기계 학습 알고리즘의 발전으로 촉진되어 이러한 접근 방식을 관련성 있고 현실감 있게 만드는 속도로 방대한 양의 데이터를 사용하여 사용자가 통찰력을 얻고 예측을 할 수 있게 한다. 기계 학습은 데이터로부터 학습할 수 있는 시스템의 구축 및 연구를 포함하는 인공 지능의 한 분야이다. 이러한 유형의 알고리즘은 병렬 처리 능력과 함께 훨씬 더 큰 데이터 세트를 처리할 수 있고 다변량 분석에 훨씬 더 적합하다.
기계 학습 능력의 대부분은 잡음이 많은 고차원 공간에서 정확히 분류하는 능력이다. 그러나 물리적으로 의미 있는 특징 엔지니어링을 통해 검출 및 분류 방식의 효율성을 향상시킬 수 있다. 또한, 우수한 특징 엔지니어링은 유사한 비정상 트레이스 배후의 근본 원인을 이해하는 데 크게 도움을 줄 수 있다. 비정상 트레이스를 검출 및 분류하는 효과적인 기계 학습 접근 방식은 능동적 학습을 촉진하고, 얻어진 정보를 사용하여 결함 검출 및 분류 정확도를 지속적으로 개선해야 한다.
생산 환경에서는 비정상 트레이스 사례의 사전 라벨링은 종종 이용 가능하지 않다. 따라서 비정상 트레이스를 검출하는 효과적인 시스템은 사전 라벨링에 의존할 수 없다. 그러나 라벨을 제공하려는 공정 엔지니어의 부담을 최소화하고 이점을 입증할 수 있다면 이러한 노력을 통해 라벨링 공정에 유용한 입력을 얻을 수 있다. 분류 라벨의 정확성에 대한 검토를 포함하여야 하고, 관련 모델을 검출하고 분류하는 것을 개선하기 위해 필요에 따라 재라벨링을 수행해야 한다.
비정상 트레이스를 검출 및 분류하기 위한 시스템(200)의 간략화된 개요가 도 2에 도시되어 있다. 시스템은 컴퓨터 기반이어서 다양한 모듈이 최신 독립형 데스크탑 컴퓨터 또는 기존 운영 체제를 가진 동등한 장비에 설치 및 실행되거나 또는 인터넷 또는 기타 네트워크를 통해 액세스 가능한 호스트되는 서비스를 통해 사용자에게 이용 가능하게 제공될 수 있다.
모듈(220)에서 장비 트레이스 데이터의 주요 특징 및 관련 세트를 식별하기 위해 "특징 엔지니어링"이 수행된다. 특징 엔지니어링(220)은 목표 특징을 평가하는 데 유용한 트레이스를 모듈(237)에서 식별하고 사용하는 결과를 가져온다. 모듈(220)에서 식별된 주요 특징에 주로 기초하여 분류 라벨을 생성하기 위해 모듈(240)에서 트레이스에 "부트스트래핑"이 수행된다. 이를 통해 라벨이 모듈(260)에 저장 및 기억된다.
부트스트래핑 모듈(240)에서 충분한 라벨이 수집되고 모듈(260)에 저장되면 부트스트래핑 단계는 모듈(250)에서 연속 학습 단계로 전이되고, 여기서 비정상 검출 및 분류 모델이 초기에 구축되고 지속적으로 (또는 주기적으로 또는 때때로) 업데이트된다. 분류(라벨)는 필요에 따라 검토되고 업데이트된다. 모델이 구축되면 모델이 모듈(270)로부터 배포되어 모듈(280)에서 실시간 예측을 수행할 수 있다.
특징 엔지니어링 모듈(220)은 도 3에 보다 상세히 도시되어 있고, 두 가지 주 처리 스테이지, 즉 스테이지(320)에서 맞춤 데이터 준비 스테이지 및 스테이지(330)에서 표준 특징 엔지니어링 스테이지를 포함한다. 이상적으로 특징 엔지니어링은 특정 공정 지식을 요구하지 않지만 많은 경우 이는 비현실적이다. 예를 들어, 특정 상태에서 주입기는 튜닝 사이클에 들어가고, 사이클 동안 센서는 정상 동작과 크게 다르고 웨이퍼에 직접 영향을 미치지 않는 센서 값을 기록한다. 따라서, 일례로서, 스테이지(320)의 맞춤 데이터 준비 동안, 주요 특징은 튜닝 사이클로 식별되고, 나머지 트레이스와 분리되고, 트레이스는 조정되거나 수정되며, 맞춤 특징 세트가 생성되고, 이 맞춤 특징 세트는 이 예에서 웨이퍼의 튜닝 기간의 수, 튜닝 지속 시간, 및 튜닝 전후 각 트레이스의 변화를 나타낸다. 이들 특징은 검출 및 분류 모델에 대한 입력을 제공하기 위해 단계(338)에서 수정된 트레이스와 결합될 수 있다.
이것은 원래 트레이스(324)가 대부분 정상 트레이스(324N)와 비정상을 나타내는 소수의 트레이스(324A)를 포함하기 때문에 도 3에 그래프로 도시되어 있다. 원래 트레이스(324)는 스테이지(320)에서 수정되고, 수정된 트레이스(326)는 수정된 정상 트레이스(326N) 및 소수의 수정된 비정상 트레이스(326A)를 포함한다. 수정된 트레이스(326)는 스테이지(330)로 전달되고, 식별된 맞춤 특징은 검출 및 분류 모델을 위한 전체 특징 세트의 일부로서 스테이지(338)로 보내진다.
스테이지(330)에서 검출 및 분류 모델에 필요한 대부분의 특징은 표준화된 특징이며, 엔지니어링 입력 없이 특징의 계산이 처리된다. 예를 들어, "기저 세트(Basis Set)" 특징은 모듈(332)에서 생성된다. 먼저, 각 단계 식별자("단계 ID")의 기본 통계(중앙값 및 기울기)가 계산되고, 이러한 특성을 제거하도록 트레이스가 수정된다. 그런 다음 주요 구성요소, 자동 코더 등과 같은 잘 알려진 알고리즘 솔루션을 사용하여 수정된 트레이스에 대한 포괄적인 기저 세트를 알고리즘으로 계산한다. 결합된 이러한 특징(알고리즘 기저 세트 특징, 중앙값 및 기울기)은 기저 세트 특징의 전체 목록이 주어지면 허용 가능한 정확도로 원래 트레이스를 재구성할 수 있기 때문에 기저 세트를 형성한다. 그러나 이전에 관찰되지 않은 비정상 트레이스는 이 기저 세트로 정확하게 재현되지 않는다.
"보충" 특징은 모듈(334)에서 생성되며 트레이스 복제에 사용되지 않지만 비정상 현상의 근본 원인을 이해하는 데 유용할 수 있다. 표준 편차, 단계 지속 시간, 백색 잡음 등과 같이 알려진 영향력 있는 척도에 초점을 맞추기 위해 보충 특징이 생성될 수 있다.
트레이스(337)는 재구성의 정확도를 나타내기 위해 모듈(336)에서 생성된 기저 세트 특징 및 "잔차" 특징을 사용하여 원래 트레이스의 근사치로서 재구성된다. 잔차 특징은 기저 세트 특징에서 포착되지 않은 알려져 있지 않은 트레이스 변동을 포착한다.
마지막으로, 모듈(332)의 기저 세트 특징, 모듈(334)의 보충 특징, 모듈(336)의 잔차 특징이 트레이스 비정상을 검출하고 분류하도록 구성되고 훈련된 기계 학습 모델(270)(도 2 참조)에 대한 입력으로서 원래 트레이스, 수정된 트레이스 및 재구성된 트레이스와 결합된다. 이 모델은 비정상 트레이스를 식별하고, 사용자 피드백에 기초하여 이 트레이스를 분류하며, 2단계 접근 방식을 사용하여 구현될 수 있다.
도 2를 참조하면, 부트스트래핑 단계(240)는 초기 라벨을 생성하는 데 사용되며, 연속 학습 단계(260)는 이력 라벨이 누적됨에 따라 새로운 학습을 수집 및 적용한다. 부트스트래핑 단계(240)는 수백 내지 아마도 수천에 이르는 많은 라벨 없는 다중 센서 장비 트레이스가 입력으로서 존재한다고 가정한다. 입력 데이터에 라벨이 없지만 모델은 대부분의 트레이스가 일반적인 도구 동작을 나타낸다고 가정한다. 부트스트래핑 단계의 목표는 특징 엔지니어링 스테이지(220)의 초기 데이터에서 식별된 주요 특징에 주로 기초하여 단변량 및 다변량 이상치(outlier)를 식별하는 것이다.
예를 들어, 도 4a 및 도 4b는 선택된 공정 단계에서의 부트스트래핑 사례를 도시하고, 여기서 원래 트레이스(400)는 제1 트레이스(401), 제2 트레이스(402), 제3 트레이스(403), 제4 트레이스(404), 제5 트레이스(405), 및 제6 트레이스(406)를 포함한다. 여기에 도시되는 4개의 비정상 트레이스에 더하여 부트스트래핑 모듈에 대한 수백(또는 그 이상)의 정상 또는 일반 트레이스 입력이 있다.
트레이스의 중앙값이 계산되고 그래프(408)에서 함께 디스플레이되고, 여기서 트레이스(401)는 이상치이고 따라서 비정상이라는 것이 시각적으로 분명한다. 원래 트레이스(401-406)는 수정되고 중앙값 조정된 트레이스(411 내지 416)로 디스플레이된다.
그런 다음 중앙값 조정된 트레이스(411 내지 416)의 기울기가 계산되고 그래프(418)에서 함께 디스플레이되고, 여기서 트레이스(413)는 비정상이고 트레이스(412 및 414)는 의심된다. 트레이스(411 내지 416)는 다시 수정되고 기울기 조정된 트레이스(421 내지 426)로 디스플레이된다. 중앙값과 기울기가 알려지면 알고리즘 기저 세트 특징이 계산되고, 나머지 트레이스 변동의 대부분을 포착하는 특징이 선택된다. 이 간단한 사례에서 유일한 중요한 기저 특징은 중앙값과 기울기이다. 잔차 특징(일반적으로 원래 트레이스와 기저 세트 특징으로부터 재구성된 대략적인 트레이스 사이의 제곱 오차의 합)이 계산된다. 잔차 특징(428)으로부터, 트레이스(424)는 비정상이고 트레이스(422)는 의심되는 것이 분명하다.
다른 기준에 대해 필터링함으로써 근본 원인 분석을 위해 보충 특징을 노출할 수 있다. 예를 들어, 수정된 트레이스(421 내지 426)에 대한 잡음 특징을 추출하면 그래프(429)에서 트레이스(422)가 비정상인 것으로 보인다.
부트스트래핑 단계(240)를 나타내는 시스템(500)이 도 5a 및 도 5b에 도시되어 있다. 원래 트레이스(502)는 대부분의 정상 트레이스와 소수의 비정상을 포함하고, 특징 엔지니어링 모듈(504)에 입력되고, 여기서 주요 특징이 식별되고 모듈(506)에 저장된다. 모듈(508)에서, 특징 선택으로부터 주요 특징의 단변량 및 다변량 분포를 분석함으로써 이상치 트레이스 및 특징이 식별된다. 그런 다음 이상치는 그래픽 사용자 인터페이스(GUI)(510)에서 사용자에 의해 분류된다.
이 예에서, GUI(510)는 이용 가능한 트레이스의 목록(512)을 갖게 구성되고, 사용자는 하나 이상을 보기 위해 선택할 수 있다. 이 보기에서 4개의 트레이스가 선택되고, 창(514, 515)에서 이상치 트레이스로 디스플레이되고, 창(516, 517)에서 기준 트레이스로 디스플레이된다. 버튼(513)을 통해 사용자는 유사한 더 많은 트레이스를 선택할 수 있다. 창(514)은 4개의 비정상적인 전류 트레이스를 보여주는 반면, 창(515)은 4개의 비정상 전압 트레이스를 보여준다. 창(516)은 6개의 기준 전류 트레이스를 보여주고, 창(517)은 6개의 기준 전압 트레이스를 보여준다. 전류 형상(알고리즘 기저 세트) 특징은 창(518)에 디스플레이되고, 창(519)에 디스플레이된 전압 형상 특징, 창(520)에 디스플레이된 전류 잔차 특징, 및 창(521)에 디스플레이된 전압 잔차 특징은 창(514, 515)에 디스플레이된 모두 4개의 비정상 트레이스에 대해 비정상이다.
이상치는 버튼(524)을 사용하여 분류될 수 있고, 이 예에서는 사용자가 여러 미리 정해진 분류 및 관련 조치 중 하나를 선택하고 버튼(526)을 통해 이 특정 비정상에 이 분류/조치를 할당할 수 있게 하는 풀다운 목록이다. 예를 들어, 도 6은 버튼(524) 또는 다른 등가 모드를 통해 구현될 수 있는 미리 정해진 클래스 및 조치의 표이다. 정상, 의심 및 비정상의 세 가지 클래스가 정의된다. 각 클래스에 대한 조치가 정의된다. 사용자가 이상치를 정상으로 분류하면 조치가 필요하지 않으며 정상 트레이스는 검출 및 분류 모델에서 정상 트레이스의 정의를 업데이트하는 데 사용된다.
사용자가 이상치를 의심되는 것으로 분류하거나 또는 결정적으로 비정상인 것으로 분류하는 경우, 도 6에 나타낸 바와 같이 이상치가 무해한지, 모니터링이 필요한지 또는 즉각적인 알람 상태를 트리거해야 하는지에 대한 추가 표시가 분류와 함께 제공된다. 비정상 분류에 관한 최종 결정에는 일반적으로 일종의 전문가 검토가 포함된다.
모든 이상치가 클래스에 할당된 후, 초기 검출 및 분류 모델은 모든 처리된 트레이스 데이터를 기계 학습 기반 모델에 대한 훈련 세트로 사용하여 모듈(530)에 구축된다. 그런 다음 이 모델을 독립형 또는 온라인 비정상 트레이스 검출 및 분류 시스템으로 사용할 수 있다.
연속 학습 모듈에서 입력 데이터는 온라인 예측, 엔지니어링된 특징 및 트레이스 데이터(원래의 것 및 조정된 것)를 포함한다. 대화형 GUI는 정확한 비정상 검출 및 분류 모델을 구축하기 위한 능동 학습을 촉진한다. 유사한 트레이스를 알고리즘으로 식별하는 능력은 효율적인 능동 학습의 핵심이다.
적절한 공정 지식을 가진 공정 엔지니어는 바람직하게는 모델에 통합될 수 있는 신뢰도 레벨 요인을 구축하기 위해 모든 예측을 검토해야 한다. 예를 들어, 도 7a 및 도 7b는 도 5a 및 도 5b와 유사하고, 분류 검토를 위한 환경을 예시하는 도면이다. GUI(710)는 GUI(510)와 유사하고, 검토자가 트레이스를 선택하게 하고, 버튼(724)으로 적절한 클래스 및 조치를 선택하게 하고, 버튼(726)으로 이 클래스/조치를 할당하게 한 다음, 버튼(726)을 통해 새로운 학습으로 모듈(730)의 모델을 업데이트하게 할 수 있다.
연속 학습은 기존 검출 및 분류 기계 학습 모델을 활용하여 각 웨이퍼에 대해 가장 가능성 있는 분류를 예측하지만 가장 가까운 훈련 데이터와 새로운 트레이스 간의 유사성에 기초하여 신뢰도를 예측한다. 가장 낮은 신뢰도 예측은 필수 검토를 위해 플래그 부착되고, 알려져 있지 않은 비정상일 가능성이 높다.
가장 기본적인 비정상 검출은 단변량(특징이 정상인지 아닌지)이지만, 다변량 방법을 사용하면 단변량 분석에서 쉽게 식별할 수 없는 추가 비정상을 식별할 수 있다. 예를 들어, 일부 장비 오작동은 온도 및 압력 이탈이 모두 발생하는 경우와 같이 다수의 센서 트레이스를 평가하여 보다 쉽게 관찰할 수 있고, 파라미터 중 단 하나만이 고려되는 경우 조치가 훨씬 더 많이 발생할 수 있다. 반대로 장비 오작동은 일반적으로 다수의 센서에서 다수의 비정상을 생성하며, 다변량 시그니처는 근본 원인을 예측하는 데 중요하다.
근본 원인을 분류하기 위한 적절한 기계 학습 알고리즘은 바람직하게는 데이터 특성 및 데이터 볼륨의 함수이다. 예를 들어 데이터 볼륨이 매우 낮은 경우 간단한 최근접 이웃 알고리즘이 최상의 결과를 산출할 수 있다. 데이터 볼륨이 적당하고 주요 데이터 변동이 엔지니어링된 특징에 의해 포착된 경우 극단적인 구배 부스팅과 같은 일부 정교한 트리 기반 방법이 탁월한 선택이 될 수 있다. 데이터 볼륨이 충분하고 근본 원인과 관련된 트레이스에 강력한 잔차 효과가 있는 경우 컨볼루션 신경망이 아마도 최상의 선택이다. 이 문제를 최소한의 사용자 입력으로 해결하기 위해 교차 검증 기반 모델 선택 루틴을 활용하여 분류 모델을 구성하고, 많은 경우 다수의 예측을 단일 예측으로 결합하는 데 사용되는 간단한 집계 모델과 함께 다수의 모델을 사용한다.

Claims (10)

  1. 반도체 장비 트레이스 데이터의 비정상을 검출하고 분류하는 방법으로서,
    각각의 반도체 장비 센서로부터 다수의 원래 트레이스를 프로세서-기반 모델로 수신하는 단계;
    상기 프로세서-기반 모델을 사용하여 상기 다수의 원래 트레이스에 대한 적어도 제1 주요 특징을 식별하는 단계;
    상기 프로세서-기반 모델에 의해 상기 다수의 원래 트레이스 중 적어도 제1 트레이스 세트에서 복수의 비정상을 식별하는 단계;
    상기 프로세서-기반 모델을 사용하여, 상기 제1 주요 특징에 기초하여 상기 제1 트레이스 세트 각각을 수정하는 단계;
    상기 프로세서-기반 모델을 사용하여, 수정된 제1 트레이스 세트 각각으로부터 기저 특징 세트(basis set of features)를 생성하는 단계;
    상기 프로세서-기반 모델을 사용하여, 상기 수정된 제1 트레이스 세트 및 상기 기저 특징 세트로부터 복수의 재구성된 트레이스를 생성하는 단계; 및
    상기 제1 트레이스 세트, 상기 수정된 제1 트레이스 세트 및 상기 재구성된 트레이스에 기초하여 비정상을 검출하고 분류하도록 기계 학습 모델을 훈련시키는 단계; 및
    트레이스 데이터의 비정상을 식별하고 분류하기 위해 상기 기계 학습 모델을 반도체 장비 운영 환경에 배포하는 단계
    를 포함하는, 반도체 장비 트레이스 데이터의 비정상을 검출하고 분류하는 방법.
  2. 제1항에 있어서,
    각각의 반도체 장비 센서로부터 추가 트레이스를 수신하는 단계;
    상기 추가 트레이스의 제1 세트에서 추가 비정상을 식별하는 단계;
    통계적 특성의 기본 세트를 제거하기 위해 상기 추가 트레이스를 수정하는 단계;
    수정된 추가 트레이스로부터 상기 기저 특징 세트를 생성하는 단계;
    상기 수정된 추가 트레이스로부터 재구성된 추가 트레이스를 생성하는 단계; 및
    상기 원래 트레이스의 제1 세트, 상기 수정된 추가 트레이스, 및 상기 재구성된 추가 트레이스에 기초하여 상기 기계 학습 모델을 업데이트하는 단계
    를 더 포함하는, 반도체 장비 트레이스 데이터의 비정상을 검출하고 분류하는 방법.
  3. 제2항에 있어서,
    잔차 특징(residual feature)을 상기 기저 특징 세트에서 포착되지 않은 알려지지 않은 트레이스 변동으로서 결정하는 단계;
    상기 제1 주요 특징에 대해 알려진 영향을 갖는 보충 특징을 결정하는 단계; 및
    상기 원래 트레이스의 제1 세트, 상기 수정된 추가 트레이스, 상기 재구성된 추가 트레이스, 상기 기저 특징 세트, 상기 잔차 특징 및 상기 보충 특징에 기초하여 상기 기계 학습 모델을 업데이트하는 단계
    를 더 포함하는, 반도체 장비 트레이스 데이터의 비정상을 검출하고 분류하는 방법.
  4. 제1항에 있어서,
    상기 제1 트레이스 세트와 제1 미리 정해진 목표 특징 간의 효과적인 상관 관계를 식별하는 단계를 더 포함하는, 반도체 장비 트레이스 데이터의 비정상을 검출하고 분류하는 방법.
  5. 제1항에 있어서, 상기 제1 트레이스 세트와 복수의 미리 정해진 목표 특징 간의 효과적인 상관 관계를 식별하는 단계를 더 포함하는, 반도체 장비 트레이스 데이터의 비정상을 검출하고 분류하는 방법.
  6. 제1항에 있어서, 상기 기저 특징 세트를 생성하는 단계는,
    상기 제1 트레이스 세트의 통계적 특성의 세트를 계산하는 단계;
    상기 통계적 특성의 세트를 제거하기 위해 상기 제1 트레이스 세트를 수정하는 단계;
    상기 수정된 제1 트레이스 세트에 대한 알고리즘 솔루션을 계산하는 단계
    를 더 포함하되; 상기 알고리즘 솔루션과 상기 통계적 특성 세트는 상기 기저 특징 세트를 형성하는, 반도체 장비 트레이스 데이터의 비정상을 검출하고 분류하는 방법.
  7. 제1항에 있어서, 상기 다수의 원래 트레이스는 대부분 정상 트레이스를 포함하고, 상기 복수의 비정상은 단지 소수의 비정상을 나타내는, 반도체 장비 트레이스 데이터의 비정상을 검출하고 분류하는 방법.
  8. 제1항에 있어서,
    선택된 트레이스 비정상을 검토하기 위해 그래픽 사용자 인터페이스를 제공하는 단계;
    상기 선택된 트레이스 비정상과 연관될 복수의 미리 정해진 클래스 중 하나를 상기 그래픽 사용자 인터페이스로부터 제1 입력으로서 수신하는 단계; 및
    상기 선택된 트레이스 비정상에 대해 할당될 복수의 미리 정해진 조치 중 하나를 상기 그래픽 사용자 인터페이스로부터 제2 입력으로서 수신하는 단계
    를 더 포함하는, 반도체 장비 트레이스 데이터의 비정상을 검출하고 분류하는 방법.
  9. 명령어를 포함하는 비일시적 컴퓨터 판독 가능 매체로서, 상기 명령어는, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    각각의 반도체 장비 센서로부터 다수의 원래 트레이스를 수신하게 하고;
    프로세서-기반 모델을 사용하여 상기 다수의 원래 트레이스에 대한 적어도 제1 주요 특징을 식별하게 하고;
    상기 다수의 원래 트레이스 중 적어도 제1 트레이스 세트에서 복수의 비정상을 식별하게 하고;
    상기 제1 주요 특징에 기초하여 상기 제1 트레이스 세트 각각을 수정하게 하고;
    수정된 제1 트레이스 세트 각각으로부터 기저 특징 세트를 생성하게 하고;
    상기 수정된 제1 트레이스 세트 및 상기 기저 특징 세트로부터 복수의 재구성된 트레이스를 생성하게 하고;
    상기 제1 트레이스 세트, 상기 수정된 제1 트레이스 세트 및 상기 재구성된 트레이스에 기초하여 비정상을 검출하고 분류하도록 기계 학습 모델을 훈련시키기 위한 명령어를 생성하게 하고;
    상기 컴퓨터 판독 가능 매체가 트레이스 데이터의 비정상을 식별하고 분류하기 위해 반도체 장비 운용 환경을 모니터링하는 프로세서에 배치되는, 비일시적 컴퓨터 판독 가능 매체.
  10. 삭제
KR1020227014543A 2019-10-06 2020-10-06 비정상 장비 트레이스 검출 및 분류 KR102627062B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962911346P 2019-10-06 2019-10-06
US62/911,346 2019-10-06
PCT/US2020/054431 WO2021071854A1 (en) 2019-10-06 2020-10-06 Anomalous equipment trace detection and classification

Publications (2)

Publication Number Publication Date
KR20220070302A KR20220070302A (ko) 2022-05-30
KR102627062B1 true KR102627062B1 (ko) 2024-01-18

Family

ID=75274106

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227014543A KR102627062B1 (ko) 2019-10-06 2020-10-06 비정상 장비 트레이스 검출 및 분류

Country Status (6)

Country Link
US (2) US11609812B2 (ko)
JP (1) JP7470784B2 (ko)
KR (1) KR102627062B1 (ko)
CN (1) CN114600087A (ko)
TW (1) TW202139033A (ko)
WO (1) WO2021071854A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227209B2 (en) * 2019-07-31 2022-01-18 Dell Products L.P. Systems and methods for predicting information handling resource failures using deep recurrent neural network with a modified gated recurrent unit having missing data imputation
US11176019B2 (en) * 2020-04-01 2021-11-16 International Business Machines Corporation Automated breakpoint creation
WO2022221109A1 (en) * 2021-04-14 2022-10-20 Amgen Inc. Automated outlier removal for multivariate modeling
CN113516174B (zh) * 2021-06-03 2022-04-19 清华大学 调用链异常检测方法、计算机设备以及可读存储介质
CN113807441B (zh) * 2021-09-17 2023-10-27 长鑫存储技术有限公司 半导体结构制备中的异常传感器监测方法及其装置
US11961030B2 (en) 2022-01-27 2024-04-16 Applied Materials, Inc. Diagnostic tool to tool matching methods for manufacturing equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170109646A1 (en) 2014-11-25 2017-04-20 Stream Mosaic, Inc. Process control techniques for semiconductor manufacturing processes
US20190146032A1 (en) 2017-09-21 2019-05-16 Pdf Solutions, Inc. Failure detection for wire bonding in semiconductors

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4317805B2 (ja) * 2004-09-29 2009-08-19 株式会社日立ハイテクノロジーズ 欠陥自動分類方法及び装置
US8532949B2 (en) * 2004-10-12 2013-09-10 Kla-Tencor Technologies Corp. Computer-implemented methods and systems for classifying defects on a specimen
JP4723466B2 (ja) 2006-12-19 2011-07-13 三菱電機株式会社 データ処理装置及びデータ処理方法及びプログラム
US7987150B1 (en) * 2007-02-09 2011-07-26 Siglaz Method and apparatus for automated rule-based sourcing of substrate microfabrication defects
US8396582B2 (en) * 2008-03-08 2013-03-12 Tokyo Electron Limited Method and apparatus for self-learning and self-improving a semiconductor manufacturing tool
JP5119022B2 (ja) 2008-03-26 2013-01-16 東京瓦斯株式会社 可変的予測モデル構築方法、及び、可変的予測モデル構築システム
US20130173332A1 (en) * 2011-12-29 2013-07-04 Tom Thuy Ho Architecture for root cause analysis, prediction, and modeling and methods therefor
US9129237B2 (en) * 2011-12-28 2015-09-08 Elitetech Technology Co., Ltd. Integrated interfacing system and method for intelligent defect yield solutions
US9880842B2 (en) * 2013-03-15 2018-01-30 Intel Corporation Using control flow data structures to direct and track instruction execution
US10436720B2 (en) * 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
US10360477B2 (en) * 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
US11023577B2 (en) 2016-08-04 2021-06-01 Adobe Inc. Anomaly detection for time series data having arbitrary seasonality
KR101970619B1 (ko) * 2017-06-28 2019-04-22 한국과학기술연구원 비정상 상황 검출 방법 및 이를 수행하기 위한 시스템
KR20190040825A (ko) * 2017-10-11 2019-04-19 주식회사 씨세론 데이터 처리 방법 및 장치
US10732883B1 (en) * 2019-01-28 2020-08-04 International Business Machines Corporation Storage layer selection based upon information assignment
US11232368B2 (en) * 2019-02-20 2022-01-25 Accenture Global Solutions Limited System for predicting equipment failure events and optimizing manufacturing operations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170109646A1 (en) 2014-11-25 2017-04-20 Stream Mosaic, Inc. Process control techniques for semiconductor manufacturing processes
US20190146032A1 (en) 2017-09-21 2019-05-16 Pdf Solutions, Inc. Failure detection for wire bonding in semiconductors

Also Published As

Publication number Publication date
CN114600087A (zh) 2022-06-07
WO2021071854A1 (en) 2021-04-15
JP2023501062A (ja) 2023-01-18
US20210103489A1 (en) 2021-04-08
TW202139033A (zh) 2021-10-16
US11609812B2 (en) 2023-03-21
JP7470784B2 (ja) 2024-04-18
KR20220070302A (ko) 2022-05-30
US20210142122A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
KR102627062B1 (ko) 비정상 장비 트레이스 검출 및 분류
JP5301310B2 (ja) 異常検知方法及び異常検知システム
US8732100B2 (en) Method and apparatus for event detection permitting per event adjustment of false alarm rate
JP5538597B2 (ja) 異常検知方法及び異常検知システム
US7289857B2 (en) Data analysis system and method
US11080127B1 (en) Methods and apparatus for detection of process parameter anomalies
JP2008186472A (ja) 予測的状態監視のための診断システムおよび方法
Jalali et al. Predicting time-to-failure of plasma etching equipment using machine learning
CN115454778A (zh) 大规模云网络环境下的时序指标异常智能监控系统
CN110757510A (zh) 一种机器人剩余寿命预测方法及系统
JP2023535721A (ja) プロセストレースからの装置故障モードの予測
Sepe et al. A physics-informed machine learning framework for predictive maintenance applied to turbomachinery assets
Lee et al. In-line predictive monitoring framework
JP2003044123A (ja) プラント診断装置
CN116034321A (zh) 解释工业应用中的机器学习输出
KR102486463B1 (ko) 열화에 따른 시계열 데이터를 이용한 실시간 이상 감지 방법 및 그를 위한 장치
Smeraldo et al. A data-driven approach to fault diagnostics for industrial process plants based on feature extraction and inferential statistics
Jauhri et al. Outlier detection for large scale manufacturing processes
CN117114454B (zh) 一种基于Apriori算法的直流套管状态评估方法及系统
KR102566876B1 (ko) 비지도 학습 방법을 활용한 레이다 시스템용 공기건조장비의 이상 탐지 시스템 및 방법
Starr et al. Data fusion applications in intelligent condition monitoring
US11954615B2 (en) Model management for non-stationary systems
Yang An Integrated Physics-Informed Process Control Framework and Its Applications to Semiconductor Manufacturing
US20230280736A1 (en) Comprehensive analysis module for determining processing equipment performance
Bieber et al. The impact of metrics on the choice of prognostic methodologies

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant