KR102236931B1 - 툴 프로세스 데이터에 대한 다-변량 분석을 제공하기 위한 k-최근접 이웃-기반 방법 및 시스템 - Google Patents

툴 프로세스 데이터에 대한 다-변량 분석을 제공하기 위한 k-최근접 이웃-기반 방법 및 시스템 Download PDF

Info

Publication number
KR102236931B1
KR102236931B1 KR1020167007565A KR20167007565A KR102236931B1 KR 102236931 B1 KR102236931 B1 KR 102236931B1 KR 1020167007565 A KR1020167007565 A KR 1020167007565A KR 20167007565 A KR20167007565 A KR 20167007565A KR 102236931 B1 KR102236931 B1 KR 102236931B1
Authority
KR
South Korea
Prior art keywords
tool
reference fingerprint
data
recipe
sample data
Prior art date
Application number
KR1020167007565A
Other languages
English (en)
Other versions
KR20160045866A (ko
Inventor
데르모트 캔트웰
토르스텐 크릴
알렉세이 야노비치
Original Assignee
어플라이드 머티어리얼스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어플라이드 머티어리얼스, 인코포레이티드 filed Critical 어플라이드 머티어리얼스, 인코포레이티드
Publication of KR20160045866A publication Critical patent/KR20160045866A/ko
Application granted granted Critical
Publication of KR102236931B1 publication Critical patent/KR102236931B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Drying Of Semiconductors (AREA)
  • General Factory Administration (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Collating Specific Patterns (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

서버 컴퓨터 시스템은 레시피를 실행하는 제 1 툴에 대한 레퍼런스 핑거프린트를 생성한다. 서버 컴퓨터 시스템은, 레퍼런스 핑거프린트를 생성하기 위해, 파라미터들 내에서 수행하는 제 1 툴과 관련된 레퍼런스 데이터를 사용한다. 레퍼런스 핑거프린트는 타겟 베이스라인 및 타겟 베이스라인에 기초한 허용 가능한 범위들을 포함한다. 서버 컴퓨터 시스템은, 레시피를 실행하는 제 2 툴과 연관된 샘플 데이터가 파라미터들 내에서 수행하고 있는지를, 샘플 데이터의, 레퍼런스 핑거프린트에 대한 비교에 기초하여, 결정한다. 제 2 툴은 제 1 툴 또는 제 1 툴과 동일한 유형의 다른 툴일 수 있다. 서버 컴퓨터 시스템은, 샘플 데이터의, 레퍼런스 핑거프린트에 대한 비교에 기초하여, 제 2 툴의 등급을 사용자 또는 시스템 중 적어도 하나에 제공한다. 등급은 제 2 툴이 파라미터들 내에서 수행하고 있는지를 나타낸다.

Description

툴 프로세스 데이터에 대한 다-변량 분석을 제공하기 위한 K-최근접 이웃-기반 방법 및 시스템{K-NEAREST NEIGHBOR-BASED METHOD AND SYSTEM TO PROVIDE MULTI-VARIATE ANALYSIS ON TOOL PROCESS DATA}
[0001] 본 개시물의 구현예들은 툴 프로세스 데이터를 분석하는 것에 관한 것으로, 더 구체적으로, k-최근접 이웃-기반 방법(k-nearest neighbor-based method)을 사용하여 툴 프로세스 데이터에 대한 다-변량 분석(multi-variate analysis)을 제공하는 것에 관한 것이다.
[0002] 반도체 산업에서, 레시피들(recipes)을 실행하는 다양한 툴들에 대한 막대한 양의 센서 데이터가 존재한다. 전형적으로, 센서 정보는 원시 데이터(raw data)이고, 이는 일반적으로, 프로세스 엔지니어들, 등과 같은 몇몇 사용자들에 도움이 되지 않을 수 있다. 대량의 데이터는 종종, 관리하기 어려울 수 있다. 몇몇 해결법들은, 원시 데이터를 사용자들에게 의미있는 데이터로 변환하려고 시도하기 위해서, PCA(principal component analysis)와 같은 통계적인 접근법(statistical approach)을 사용한다. 그러나, 배치 프로세스들(batch processes)에서의 비-선형성(non-linearity), 가변적인 지속 기간의 프로세스 단계들, 등과 같은, 반도체 프로세스들의 고유한 특성들은 PCA-기반 해결법들에서 몇몇 어려움들을 야기해왔다.
[0003] 본 개시물은, 유사한 참조부호들이 유사한 엘리먼트들을 나타내는 첨부한 도면들의 도들에서 예로서 예시되고, 제한으로서 예시된 것이 아니다. 본 개시물에서, "단수 형태의(an 또는 one)" 구현예에 대한 상이한 참조들이 반드시 동일한 구현예에 대한 것은 아니고, 그러한 참조들은 적어도 하나를 의미한다는 것이 주목되어야 한다.
[0004] 도 1은 툴 분석 모듈을 활용하는 시스템을 예시하는 블럭도이다.
[0005] 도 2는 툴 분석 모듈의 일 구현예의 블럭도이다.
[0006] 도 3은, 다양한 구현예들에 따른, 레퍼런스 핑거프린트(reference fingerprint)를 포함하는 예시적인 그래픽 사용자 인터페이스를 예시한다.
[0007] 도 4는, 다양한 구현예들에 따른, 다수의 실행들(runs)에 대한 프로세스 인덱스(process index)의, 레퍼런스 핑거프린트에 대한 비교를 포함하는 예시적인 그래픽 사용자 인터페이스를 예시한다.
[0008] 도 5는 k-최근접 이웃-기반 분석을 사용하여 레퍼런스 핑거프린트를 생성하기 위한 방법의 일 구현예를 예시한다.
[0009] 도 6은, 다양한 구현예들에 따른, 이웃 벡터의 예 및 거리 매트릭스(distance matrix)의 예를 예시한다.
[0010] 도 7은 툴 프로세스 데이터에 대해 k-최근접 이웃-기반 분석을 수행하기 위한 방법의 일 구현예를 예시한다.
[0011] 도 8은, 다양한 구현예들에 따른, 챔버에서의 레시피의 실행을 위한 센서들에 대한 기여도 데이터(contribution data)를 포함하는 예시적인 그래픽 사용자 인터페이스를 예시한다.
[0012] 도 9는, 다양한 구현예들에 따른, 본원에서 설명되는 툴 분석 모듈의 동작들 중 하나 또는 그 초과를 수행할 수 있는 예시적인 컴퓨팅 디바이스의 블럭도이다.
[0013] 본 개시물의 구현예들은 툴 프로세스 데이터에 대해 k-최근접 이웃-기반 분석을 수행하기 위한 방법 및 시스템에 관한 것이다. 간결하고 단순하기 위해, 본 문서 전체에서 챔버가 툴의 예로서 사용된다. 본 개시물의 구현예들은, 예를 들어, 프로세스 챔버들에 대한 챔버 매칭(matching) 및 제어를 위한 데이터 분석을 지원하기 위해, k-최근접 이웃(kNN) 알고리즘을 수정한다. 서버 컴퓨터 시스템은, 챔버에서의 레시피의 다수의 실행들에 대한 데이터, 및 실행들에 대한 다수의 센서들에 대한 데이터를 수집할 수 있고, 각각의 실행을 설명하는 단일 값을 생성할 수 있는데, 그러한 단일 값은 이하에서 "프로세스 인덱스"로 지칭된다. 프로세스 인덱스는, 챔버에서의 레시피의 실행이, 동일한 챔버 및/또는 동일한 유형의 챔버들에서의 레시피의 알려진 양호한 실행들과 어떻게 비교되는지에 대한 지표(indicator)이다. 프로세스 인덱스는 또한, 센서들이, 알려진 양호한 실행들과 어떻게 관련되는지를 설명한다. 프로세스 인덱스는, 어느 센서들이 챔버 매칭 문제(issue)를 야기할 수 있는지를 결정하는 데에 사용될 수 있다.
[0014] 서버 컴퓨터 시스템은, 레시피를 실행하는 툴(예를 들어, 챔버)에 대한 레퍼런스 핑거프린트를 생성할 수 있다. 서버는, 레퍼런스 데이터로부터, 타겟 베이스라인(target baseline), 및 타겟 베이스라인에 기초한 하나 또는 그 초과의 허용 가능한 범위들을 생성하기 위해, 예상된 대로(예를 들어, 레시피를 실행하는 것과 연관된 파라미터들 내에서) 수행하는 툴과 관련된 레퍼런스 데이터를 사용할 수 있다. 타겟 베이스라인 및 하나 또는 그 초과의 허용 가능한 범위들은 레퍼런스 핑거프린트를 구성할 수 있다. 서버 컴퓨터 시스템은, 동일한 툴 또는 동일한 유형의 다른 툴들과 연관되고 동일한 레시피를 실행하고 있는 샘플 데이터가, 샘플 데이터의, 레퍼런스 핑거프린트에 대한 비교에 기초하여 툴이 예상된 대로(예를 들어, 파라미터들 내에서) 수행하고 있는 것을 나타내는지를 결정할 수 있다. 서버 컴퓨터 시스템은, 샘플 데이터의, 레퍼런스 핑거프린트에 대한 비교에 기초하여, 분석되고 있는 툴의 등급(classification)을 시스템 또는 사용자에게 제공할 수 있다. 등급은, 분석되고 있는 툴/레시피 조합이 정상으로 동작하는지를 나타낼 수 있다.
[0015] 도 1은, 예를 들어, 네트워크(120)를 통해 통신하는, 제조 시스템 데이터 소스(예를 들어, 제조 실행 시스템(MES; manufacturing execution system)(101)), 하나 또는 그 초과의 툴들(예를 들어, 챔버들(109)), 및 분석 서버(105)를 포함하는 제조 시스템(100)을 예시하는 블럭도이다. 네트워크(120)는 근거리 네트워크(LAN), 무선 네트워크, 모바일 통신 네트워크, 인터넷과 같은 광역 네트워크(WAN), 또는 유사한 통신 시스템일 수 있다.
[0016] MES(101), 분석 서버(105), 및 툴 분석 모듈(107)은, 서버 컴퓨터들, 게이트웨이 컴퓨터들, 데스크탑 컴퓨터들, 랩탑 컴퓨터들, 태블릿 컴퓨터, 노트북 컴퓨터, PDA(personal digital assistant), 모바일 통신 디바이스들, 휴대폰들, 스마트폰들, 휴대용(hand-held) 컴퓨터들, 또는 유사한 컴퓨팅 디바이스를 포함하여, 임의의 유형의 컴퓨팅 디바이스에 의해, 개별적으로 호스팅될(hosted) 수 있다. 대안적으로, MES(101), 분석 서버(105), 및 툴 분석 모듈(107)의 임의의 조합은, 서버 컴퓨터들, 게이트웨이 컴퓨터들, 데스크탑 컴퓨터들, 랩탑 컴퓨터들, 모바일 통신 디바이스들, 휴대폰들, 스마트폰들, 휴대용 컴퓨터들, 또는 유사한 컴퓨팅 디바이스를 포함하여, 단일 컴퓨팅 디바이스에서 호스팅될 수 있다.
[0017] 분석 서버(105)는 챔버들(109)에 관한 데이터를 수집하고 분석할 수 있다. 일 구현예에서, 로트 데이터(lot data) 및 장비(예를 들어, 챔버) 데이터, 등을 수신하기 위해, 분석 서버(105)는 팩토리 시스템 데이터 소스(예를 들어, MES(101), ERP(Enterprise Resource Planning) 시스템, 등)에 커플링된다. 일 구현예에서, 분석 서버(105)는 챔버(109)로부터 직접적으로 데이터를 수신한다. 분석 서버(105)는, 특정 레시피들을 실행하는 동안 챔버들(109)이 예상된 성능에서 벗어나는지를 결정하기 위해서, 예상된 대로 수행하고 있는 챔버들(109)을 나타내는 레퍼런스 데이터, 및 챔버들(109)에서 레시피들을 실행하는 것에 대한 실시간(real-time) 데이터를 사용하도록, 툴 분석 모듈(107)을 포함할 수 있다.
[0018] 툴 분석 모듈(107)은, 주어진 레시피에 대해서 챔버에 대한 레퍼런스 핑거프린트를 생성하기 위해, 주어진 레시피에 대해서, 예상된 대로 수행하는 챔버로부터의 데이터를 사용할 수 있다. 툴 분석 모듈(107)은, 챔버들의 성능 및/또는 상태(health)를 평가하기 위해, 레시피를 실행하는 챔버에 대한 샘플 데이터뿐만 아니라, 레시피를 실행하는 다른 챔버들에 대한 샘플 데이터를 레퍼런스 핑거프린트와 비교할 수 있다. 주어진 레시피를 실행하고 있는 챔버가, 레퍼런스 핑거프린트와 비교하여, 예상된 대로 수행하지 않는 경우, 툴 분석 모듈(107)은 챔버, 챔버에서의 실행들, 및/또는 챔버 상의 센서들에 대한 부가적인 데이터를 제공할 수 있고, 그러한 데이터는 어느 센서들 및/또는 레시피 속성들이 임의의 편차의 원인이 되는지를 설명한다. 일 구현예에서, 툴 분석 모듈(107)은, 레퍼런스 핑거프린트의 파라미터들로부터 벗어난 챔버들(109)을 '정상적이지 않음' 또는 '비정상'으로 분류하고, 레퍼런스 핑거프린트의 파라미터들 내에 있는 챔버들(109)을 '정상'으로 분류한다. 일 구현예에서, 툴 분석 모듈(107)은 등급을 위해 정도(degree)를 결정한다. 예를 들어, 툴 분석 모듈(107)은 추가적으로, 챔버에 대한 샘플 데이터의, 레퍼런스 핑거프린트로부터의 편차의 크기(magnitude)에 따라, 비정상인 챔버들을 '상(high)', '중(medium)', 또는 '하(low)'로 분류할 수 있다. 툴 분석 모듈(107)은 챔버 등급(예를 들어, 정상, 정상적이지 않음, 상, 중, 하, 등)을 사용자(예를 들어, 프로세스 엔지니어, 시스템 엔지니어, 산업 엔지니어, 시스템 관리자, 등) 및/또는 시스템(예를 들어, 유지보수 시스템, 등)에 제공할 수 있다.
[0019] 도 2는 툴 분석 모듈(200)의 일 구현예의 블럭도이다. 툴 분석 모듈(200)은 도 1의 툴 분석 모듈(107)과 동일할 수 있다. 툴 분석 모듈(200)은 핑거프린트 서브-모듈(205), 분석 서브-모듈(210), 알림(notification) 서브-모듈(215), 및 사용자 인터페이스(UI) 서브-모듈(220)을 포함할 수 있다.
[0020] 툴 분석 모듈(200)은 하나 또는 그 초과의 데이터 저장소들(data stores; 250)에 커플링될 수 있다. 데이터 저장소들(250)은 영구 저장 유닛들(persistent storage units)일 수 있다. 영구 저장 유닛은 로컬(local) 저장 유닛 또는 원격(remote) 저장 유닛일 수 있다. 영구 저장 유닛들은 자기 저장 유닛, 광학 저장 유닛, 솔리드 스테이트(solid state) 저장 유닛, 전자 저장 유닛(주 메모리) 또는 유사한 저장 유닛일 수 있다. 영구 저장 유닛들은 모놀리식(monolithic) 디바이스 또는 디바이스들의 분산형 세트(distributed set)일 수 있다. 본원에서 사용되는 바와 같은 '세트'는 임의의 양의 정수개의 아이템들을 지칭한다.
[0021] 데이터 저장소들(250)은, 하나 또는 그 초과의 툴들(예를 들어, 챔버들)에 대한 툴 데이터(251)를 저장할 수 있다. 툴 데이터(251)는, 대응하는 툴에서 실행되고 있는 레시피들, 및 대응하는 툴에 대한 센서들을 설명하는 데이터를 포함할 수 있다. 툴 데이터(251)는, 제조 현장(site)의 시스템(예를 들어, MES) 및/또는 툴들(예를 들어, 챔버들)에 의해 제공될 수 있다.
[0022] 핑거프린트 서브-모듈(205)은, 특정 레시피들을 실행하는 챔버들 및/또는 챔버 유형들에 대응하는 레퍼런스 핑거프린트들(255)을 생성하기 위해, 수정된 k-최근접 이웃 알고리즘을 사용할 수 있다. 핑거프린트 서브-모듈(205)은, 동일한 유형의 챔버들에서 특정 레시피를 실행하는 것의 '양호한(good)' 실행들에 대응하는, 툴 데이터(251)의 서브세트(subset)를 식별할 수 있다. 이하에서, '양호한' 실행 또는 '정상' 실행은, 챔버에서, 예상된 대로, 예를 들어, 예상된 파라미터들 내에서 수행하는, 특정 레시피에 대한 실행을 지칭한다. 이하에서, '불량한(bad)' 실행 또는 '비정상' 실행은, 챔버에서, 예상된 대로 수행하지 않는, 예를 들어, 예상된 파라미터들 내에 있지 않는, 특정 레시피에 대한 실행을 지칭한다. 핑거프린트 서브-모듈(205)은 양호한 실행들에 대한 툴 데이터(251)를 레퍼런스 데이터(253)로서 사용할 수 있다. 레퍼런스 데이터(253)는, 챔버 식별자(identifier), 챔버 유형, 레시피 식별자, 챔버에서의 실행들의 횟수, 실행 식별자들, 센서 식별자들, 센서들에 대한 센서 데이터, 등을 포함할 수 있고, 이에 제한되지 않는다. 레퍼런스 데이터(253)는 데이터 저장소(250)에 저장될 수 있다. 데이터 저장소(250)는, 핑거프린트 서브-모듈(205)이 레퍼런스 핑거프린트들(255)을 생성하기 위해 사용해야 하는, 양호한 실행들의 횟수를 명시하는 설정(configuration) 데이터(261)를 저장할 수 있다. 예를 들어, 설정 데이터(261)는, 레퍼런스 핑거프린트들(255)을 생성하기 위해, 50회의 양호한 실행들로부터의 데이터가 사용되어야 한다고 명시할 수 있다. 설정 데이터(261)는 설정 가능할 수 있고, 사용자(예를 들어, 시스템 관리자, 프로세스 엔지니어 등) 정의될 수 있다(defined).
[0023] 핑거프린트 서브-모듈(205)은, 레퍼런스 데이터(253)로부터, 타겟 베이스라인, 및 타겟 베이스라인과 관련된 하나 또는 그 초과의 범위들을 계산할 수 있다. 타겟 베이스라인 및 타겟 베이스라인과 관련된 하나 또는 그 초과의 범위들은 레퍼런스 핑거프린트(255)를 구성할 수 있다. 레퍼런스 핑거프린트(255)는 동일한 유형들의 챔버들에 대해 사용될 수 있다. 레퍼런스 핑거프린트를 생성하는 일 구현예는 도 5와 함께 이하에서 더 상세하게 설명된다.
[0024] 도 3은, 다양한 구현예들에 따른, 레퍼런스 핑거프린트(310)를 포함하는 예시적인 그래픽 사용자 인터페이스(GUI; 300)를 예시한다. 레퍼런스 핑거프린트(310)는 타겟 베이스라인(325)에 대한 값(예를 들어, 값 2.8) 및 하나 또는 그 초과의 허용 가능한 범위들(예를 들어, 범위1(320) 및 범위2(315))을 포함한다. 타겟 베이스라인 및 범위들을 결정하는 일 구현예는 도 5와 함께 이하에서 더 상세하게 설명된다. 일 구현예에서, 샘플이 타겟 베이스라인(325)의 범위들(예를 들어, 범위1(320) 및 범위2(315)) 내에 있는 경우, 샘플은 정상인 것으로 분류된다. '샘플' 또는 '샘플 실행'은 이하에서, 예상된 성능과 관련하여 실행이 정상 실행인지 또는 비정상 실행인지가 알려지지 않은, 챔버에서의 특정 레시피의 실행을 지칭한다. 일 구현예에서, 범위1(320)은, 타겟 베이스라인(325)에 대한 3-시그마(sigma)(3 표준 편차들) 밴드(band)이고, 범위2(315)는, 타겟 베이스라인(325)에 대한 6-시그마(6 표준 편차들) 밴드이다. GUI(300)는, 레퍼런스 핑거프린트(310)를 생성하는 데에 사용된 실행들(330)을 설명하는 x-축을 포함할 수 있다. 예를 들어, 레퍼런스 데이터(253)는 50회의 양호한 실행들에 대한 데이터를 포함할 수 있다. GUI(300)는, 분석되고 있는 데이터와 레퍼런스 핑거프린트 사이의 거리(예를 들어, 유닛들에서, 레퍼런스까지의 거리(305))를 설명하는 y-축을 포함할 수 있다.
[0025] 다시 도 2로 돌아가면, 데이터 저장소(250)는 하나 또는 그 초과의 샘플들(샘플 실행들)에 대한 샘플 데이터(257)를 저장할 수 있다. 샘플 데이터(257)는 챔버 식별자, 챔버 유형, 레시피 식별자, 실행 식별자, 센서 식별자들, 센서들에 대한 센서 데이터, 등을 포함할 수 있고, 이에 제한되지 않는다.
[0026] 분석 서브-모듈(210)은, 대응하는 실행에 대한 센서 판독값들(sensor readings)을 설명하기 위해 샘플 벡터(S)를 생성하도록, 특정 실행에 대한 샘플 데이터(257)를 사용할 수 있다. 샘플 벡터(S)는 m 엘리먼트들을 갖는 행(row) 벡터일 수 있고, 여기서, 각각의 엘리먼트는 특정 실행에 대한 센서 판독값에 대응한다. 분석 서브-모듈(210)은, 샘플 실행에 대한 프로세스 인덱스를 결정하기 위해, 샘플 벡터(S)를 사용할 수 있다. 샘플 실행에 대한 프로세스 인덱스를 결정하는 일 구현예는 도 7과 함께 이하에서 더 상세하게 설명된다. 분석 서브-모듈(210)은, 샘플에 대한 샘플 데이터(257)가, 샘플 데이터(257)에 대응하는 특정 챔버/레시피 조합을 정상 또는 비정상으로 분류하는지를 결정하기 위해, 샘플 실행에 대한 프로세스 인덱스를 레퍼런스 핑거프린트(255)의 타겟 베이스라인 및 범위들에 대해 비교할 수 있다. 특정 챔버/레시피 조합에 대한 샘플 실행을 정상 또는 비정상으로 분류할지를 결정하는 일 구현예는 도 7과 함께 이하에서 더 상세하게 설명된다.
[0027] 사용자 인터페이스(UI) 서브-모듈(220)은, 다수의 실행들에 대한 프로세스 인덱스의, 레퍼런스 핑거프린트(255)에 대한 비교를 포함하는 사용자 인터페이스(202)를 제공할 수 있다. 사용자 인터페이스(202)는 그래픽 사용자 인터페이스(GUI)일 수 있다.
[0028] 도 4는, 다양한 구현예들에 따른, 다수의 실행들에 대한 프로세스 인덱스의, 레퍼런스 핑거프린트에 대한 비교를 포함하는 예시적인 그래픽 사용자 인터페이스(400)를 예시한다. 레퍼런스 핑거프린트는 타겟 베이스라인(420)에 대한 값(예를 들어, 7), 제 1 범위(415)(예를 들어, 3-시그마 밴드), 및 제 2 범위(410)(예를 들어, 6-시그마 밴드)를 포함할 수 있다. GUI(400)는, 샘플 실행들에 대한 프로세스 인덱스들을 나타내는 데이터 점들(points)(406)을 포함할 수 있다. 일 구현예에서, 샘플 실행은, 대응하는 프로세스 인덱스(예를 들어, 데이터 점)가 타겟 베이스라인(420)의 범위들(410, 415) 내에 있는 경우, 정상인 것으로 분류되고, 대응하는 프로세스 인덱스(예를 들어, 데이터 점)가 타겟 베이스라인(420)의 범위들(410, 415) 내에 있지 않은 경우, 비정상인 것으로 분류된다. 예를 들어, 샘플 실행-48에 대한 프로세스 인덱스를 나타내는 데이터 점(405)은 레퍼런스 핑거프린트에 대한 허용 가능한 범위들(410, 415) 밖에 있고, 실행-48은 비정상으로 분류될 수 있다. 실행-48에 대한 데이터는, 어느 센서들이, 실행-48이 허용 가능한 범위들(410, 415) 외부에 있게 하는 원인이 될 수 있는지를 결정하기 위해, 추가적으로 분석될 수 있다. 다른 예에서, 샘플 실행-49에 대한 프로세스 인덱스를 나타내는 데이터 점(407)은, 레퍼런스 핑거프린트에 대한 허용 가능한 범위들(410, 415) 내에 있지만, 6-시그마 밴드 내에 있다. 실행-49에 대한 데이터는, 어느 센서가, 실행-49가 6-시그마 밴드 내에 있게 하는 원인이 될 수 있는지를 결정하기 위해, 추가적으로 분석될 수 있다.
[0029] 도 2로 돌아가면, 알림 서브-모듈(215)은, 대응하는 챔버/레시피 조합에 대한 샘플 데이터(257)가 정상인지 또는 비정상인지를 나타내는 등급 알림을 제공할 수 있다. 알림 서브-모듈(215)은 사용자 인터페이스(202), 메세지, 및 네트워크, 등을 통해 등급 알림을 제공할 수 있다. 알림 서브-모듈(215)은, 예를 들어, 사용자(예를 들어, 프로세스 엔지니어, 산업 엔지니어, 시스템 엔지니어, 시스템 관리자) 및/또는 시스템(예를 들어, 보고 시스템, 스케줄러, 등)에 등급 알림을 제공할 수 있다.
[0030] 일 구현예에서, 툴 분석 모듈(200)은 데이터를 센서별로 그리고/또는 프로세스 단계별로 그룹핑한다(group). 예를 들어, 툴 분석 모듈(200)은 툴 데이터(251)를 센서별로 그리고/또는 프로세스 단계별로 그룹핑할 수 있다. 다른 예에서, 툴 분석 모듈(200)은 레퍼런스 데이터(253)를 센서별로 그리고/또는 프로세스 단계별로 그룹핑할 수 있다. 다른 예에서, 툴 분석 모듈(200)은 샘플 데이터(257)를 센서별로 그리고/또는 프로세스 단계별로 그룹핑할 수 있다. 다른 예에서, 툴 분석 모듈(200)은 데이터의 임의의 조합을 센서별로 그리고/또는 프로세스 단계별로 그룹핑할 수 있다. 데이터를 그룹핑하는 것에 의해, 툴 분석 모듈(200)은, 비정상인 등급이, 모든 프로세스 단계들에 대해서 하나의 센서 때문인지, 오직 하나의 단계에 대해서만인지, 또는 상이한 단계들에 대해서 상이한 센서들 때문인지를 결정할 수 있다. 일 구현예에서, 툴 분석 모듈(200)은 데이터의 파레토 분포(pareto distribution)를 결정한다. 예를 들어, 레퍼런스 핑거프린트의 파라미터들 외부에 있는 데이터를 갖는 많은 실행들 및/또는 센서들이 존재한다면, 툴 분석 모듈(200)은, 레퍼런스 핑거프린트의 파라미터들 외부에 있는 데이터를 갖는 실행들 및/또는 센서들의 서브세트(예를 들어, 탑 10, 탑 20, 등)를 식별할 수 있다. 파레토 분포는, 하나의 센서에 기인하여, 서브세트가 레퍼런스 핑거프린트의 파라미터들 외부에 있다는 것을 나타낼 수 있다.
[0031] 도 5는 k-최근접 이웃-기반 분석을 사용하여 레퍼런스 핑거프린트를 생성하기 위한 방법의 일 구현예를 예시한다. 방법(500)은, 하드웨어(예를 들어, 회로망, 전용 로직, 프로그램 가능한 로직, 마이크로코드, 등), 소프트웨어(예를 들어, 프로세싱 디바이스에서 실행되는 명령들), 또는 이들의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행될 수 있다. 일 구현예에서, 방법(500)은 도 1의 서버(105)의 툴 분석 모듈(107)에 의해 수행된다.
[0032] 블록(501)에서, 서버는, 주어진 레시피를 실행하는 툴(예를 들어, 챔버)에 대한 레퍼런스 매트릭스(R)을 생성한다. 레퍼런스 매트릭스(R)는 다수의 양호한 실행들에 대한 데이터를 포함하는 레퍼런스 데이터로부터 생성될 수 있다. 레퍼런스 매트릭스(R)는 n행들 x m열들을 포함할 수 있고, 여기서, n은 레퍼런스 데이터의 양호한 실행들의 횟수이며, m은 대응하는 실행들에 대한 센서들의 개수이다.
Figure 112016027571553-pct00001
[0033] 레퍼런스 매트릭스(R)의 각각의 행(실행)에 대해, 서버는, 대응하는 실행에 대한 센서 판독값들을 설명하기 위해, 행이 벡터(S)를 나타내게 할 수 있다. 벡터(S)는 m 엘리먼트들을 갖는 행 벡터일 수 있고, 각각의 엘리먼트는 특정 실행에 대한 센서 판독값에 대응한다.
Figure 112016027571553-pct00002
[0034] 블록(503)에서, 레퍼런스 매트릭스(R)의 각각의 행에 대해, 서버는, 레퍼런스 데이터 평균 및 레퍼런스 세트의 각각의 센서에 대한 표준 편차에 기초하여, 정규화된(normalized) S 벡터 및 정규화된 레퍼런스 매트릭스(R)를 계산한다.
[0035] 블록(505)에서, 정규화된 R 매트릭스의 각각의 행에 대해, 서버는, 거리 매트릭스(D)를 생성하기 위해, 정규화된 S 벡터를 사용하고, 블록(507)에서, 이웃 벡터(N)를 생성하기 위해, 거리 매트릭스(D)를 사용한다.
Figure 112016027571553-pct00003
[0036] 도 6은, 다양한 구현예들에 따른, 이웃 벡터(N)(615)의 예 및 거리 매트릭스(D)(609)의 예를 예시한다. 거리 매트릭스(D)(609)는 n행 x m열 매트릭스일 수 있다. 거리 매트릭스(D)(609)의 각각의 행은 실행(예를 들어, 실행1(601), 실행2(603), 실행3(605), 실행4(607))을 나타낼 수 있고, 거리 매트릭스(D)(609)의 각각의 열은 센서(예를 들어, 센서1(611), 센서2(613))를 나타낼 수 있다. 거리 매트릭스(D)(609)의 각각의 엘리먼트는, 벡터(S)의 대응하는 엘리먼트와 레퍼런스 매트릭스(R) 사이의 거리를 설명하는 거리 유닛(예를 들어, 거리 유닛(617), 거리 유닛(619))을 나타낼 수 있다. 일 구현예에서, 거리 매트릭스(D)(609)의 각각의 엘리먼트(예를 들어, 거리 유닛(617), 거리 유닛(619))는 벡터(S)의 대응하는 엘리먼트와 레퍼런스 매트릭스(R) 사이의 제곱 거리이다. 예를 들어, 실행1(601)에 대한 센서1(611)에 대한 거리 유닛(617)은 제로(zero)의 값을 가질 수 있고, 이는, 실행1의 센서1이, 레퍼런스 매트릭스(R)의 대응하는 엘리먼트로부터 떨어진(away from) 제로 유닛들임을 나타낸다. 다른 예에서, 실행1(601)에 대한 센서2(613)에 대한 거리 유닛(619)은 1(one)의 값을 가질 수 있고, 이는, 실행1의 센서2가, 레퍼런스 매트릭스(R)의 대응하는 엘리먼트로부터 떨어진 1 유닛임을 나타낸다. 이웃 벡터(N)는 n 엘리먼트 열 벡터일 수 있고, 여기서, 각각의 엘리먼트는, 대응하는 거리 매트릭스(D)의 행의 합이다.
[0037] 도 5로 돌아가면, 블록(509)에서, 서버는, 레퍼런스 데이터의 각각의 샘플에 대한 값들의 k 벡터를 생성하기 위해, N 벡터에서 k번째(kth) 가장 작은 값(최근접 이웃 값)을 식별하도록, k-최근접 이웃 값(예를 들어, k=3)을 사용한다. 서버는 식별된 최근접 이웃 값들을 k 벡터로서 데이터 저장소에 저장할 수 있다. 서버는, 이웃 벡터(N)의 엘리먼트들을 가장 작은 값으로부터 가장 큰 값으로 소팅(sorting)함으로써, 최근접 이웃 값을 식별할 수 있다. 예를 들어, 도 6의 이웃 벡터(N)(615) [1,2,1,3] 는 [1,1,2,3] 으로 소팅될 수 있다. 서버는 소팅된 이웃 벡터(N)에서 k-포지션에 대응하는 값을 k번째 가장 작은 값(최근접 이웃 값)으로 결정할 수 있다. 예를 들어, k=3의 경우, 서버는, "2"가 3번째 포지션(예를 들어, k=3)에 있고, k번째 가장 작은 값(최근접 이웃 값)이라고 결정한다. 서버는 레퍼런스 데이터의 각각의 샘플에 대한 값들의 k 벡터를 생성한다. k 벡터는, 모든 센서들이, 레퍼런스 데이터의 다른 실행들에 대한 대응하는 센서들에 어떻게 관련되는지를 설명할 수 있다. 서버에 의해 사용되어야 하는 k값(예를 들어, k=3)은 설정 데이터에 명시될 수 있다.
[0038] 블록(511)에서, 서버는, 센서들의 m-차원 분포를 매칭하기 위해, k 벡터의 평균을 임의의 샘플에 대한 타겟 베이스라인으로 결정한다. 타겟 베이스라인은 레퍼런스 핑거프린트를 정의하는 데에 사용된다. 블록(513)에서, 서버는, 레퍼런스 핑거프린트에 대한 하나 또는 그 초과의 허용 가능한 범위들을 정의하기 위해, k 벡터의 하나 또는 그 초과의 임계값들(thresholds)(예를 들어, 하나 또는 그 초과의 표준 편차들)을 결정한다. 블록(515)에서, 서버는 레퍼런스 핑거프린트를 타겟 베이스라인 및 임계값들로서 정의한다.
[0039] 도 7은 툴 프로세스 데이터에 대해 k-최근접 이웃-기반 분석을 수행하기 위한 방법(700)의 구현예의 흐름도이다. 방법(700)은 하드웨어(예를 들어, 회로망, 전용 로직, 프로그램 가능한 로직, 마이크로코드, 등), 소프트웨어(예를 들어, 프로세싱 디바이스에서 실행되는 명령들), 또는 이들의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행될 수 있다. 일 구현예에서, 방법(700)은 도 1의 서버(105)의 툴 분석 모듈(107)에 의해 수행된다.
[0040] 블록(701)에서, 서버는 챔버에서의 레시피의 다수의 샘플 실행들에 대한 샘플 데이터를 식별한다. 샘플 실행은, 실행이 정상 실행인지 또는 비정상 실행인지가 알려지지 않은, 챔버에서의 특정 레시피의 실행이다. 샘플 데이터는 GUI를 통한 사용자 선택의 입력에 기초할 수 있다. 예를 들어, 사용자는, 레시피-XYZ에 대한, 챔버-X에서의 가장 최근의 50회의 실행들(예를 들어, 실행-1 내지 실행-50)을, 분석되어야 할 것으로 선택할 수 있다. 샘플 데이터는 툴 분석 모듈에 커플링된 데이터 저장소에 저장될 수 있다. 방법(700) 또는 방법(700)의 하나 또는 그 초과의 부분들은 반복될 수 있다. 반복들의 횟수는 분석되어야 할 샘플 실행들의 횟수에 기초할 수 있다.
[0041] 블록(703)에서, 서버는 샘플 데이터에 대한 프로세스 인덱스를 결정한다. 서버는, 대응하는 샘플 실행에 대한 센서 판독값들을 설명하기 위해 샘플 벡터(S)를 생성하도록, 샘플 데이터를 사용할 수 있다. 샘플 벡터(S)는 m 엘리먼트들을 갖는 행 벡터일 수 있고, 각각의 엘리먼트는 특정 샘플 실행에 대한 센서 판독값에 대응한다.
Figure 112016027571553-pct00004
[0042] 서버는 정규화된 샘플 벡터(S)를 레퍼런스 매트릭스(R)에 대해 계산할 수 있다. 서버는, 샘플 실행들에 대한 거리 매트릭스(D)를 생성하기 위해, 정규화된 샘플 벡터(S)를 사용할 수 있다. 거리 매트릭스(D)는 n행 x m열 매트릭스일 수 있고, 여기서, 각각의 엘리먼트는 샘플 벡터(S)의 대응하는 엘리먼트와 레퍼런스 매트릭스(R) 사이의 제곱 거리이다. 거리 매트릭스(D)의 각각의 행은 샘플 실행이다. 거리 매트릭스(D)의 각각의 열은 센서이다. 서버는, 이웃 벡터(N)를 계산하기 위해, 거리 매트릭스(D)를 사용할 수 있다. 이웃 벡터(N)는 n 엘리먼트 열 벡터일 수 있고, 여기서, 각각의 엘리먼트는 대응하는 거리 매트릭스(D)의 행의 합이다. 서버는, N 벡터에서 k번째 가장 작은 값(최근접 이웃 값)을 식별하기 위해, k값(예를 들어, k=3)을 사용할 수 있다. N 벡터에서 k번째 가장 작은 값(최근접 이웃 값)은 주어진 레시피에 대해서 챔버에 대한 프로세스 인덱스이다. 서버에 의해 사용되어야 하는 k값(예를 들어, k=3)은, 툴 분석 모듈에 커플링된 데이터 저장소에 저장되는 설정 데이터에 명시될 수 있다.
[0043] 블록(705)에서, 서버는, 챔버/레시피 조합에 대한 샘플 데이터에 대한 프로세스 인덱스가 레퍼런스 핑거프린트의 파라미터들 내에 있는지를 결정한다. 블록(707)에서, 프로세스 인덱스가 레퍼런스 핑거프린트의 파라미터들 내에 있는 경우, 서버는 챔버/레시피 조합에 대한 샘플 데이터를 정상으로 분류하고, 그리고 블록(711)에서, 예를 들어, 사용자(예를 들어, 프로세스 엔지니어, 산업 엔지니어, 시스템 엔지니어, 시스템 관리자) 및/또는 시스템(예를 들어, 보고 시스템, 스케줄러, 등)에 등급을 제공한다.
[0044] 프로세스 인덱스가 레퍼런스 핑거프린트의 파라미터들 내에 있지 않은 경우(블록(705)), 블록(709)에서, 서버는 챔버/레시피 조합에 대한 샘플 데이터를 비정상으로 분류하고, 그리고 블록(711)에서, 예를 들어, 시스템 및/또는 사용자에게 등급을 제공한다. 서버는 GUI를 통해서, 메세지 및 네트워크, 등을 통해서 등급을 제공할 수 있다. 시스템 및/또는 사용자는, 예를 들어, 챔버의 유지보수, 챔버 매칭, 프로세스 챔버들에 대한 제어, 등을 위해, 등급을 사용할 수 있다.
[0045] 블록(713)에서, 서버는, 프로세스 인덱스가 레퍼런스 핑거프린트의 파라미터들 내에 있지 않은 이유를 식별하기 위해, 부가적인 데이터를 제공할지를 결정한다. 서버가 부가적인 데이터를 제공해야 하는 경우, 블록(715)에서 서버는 부가적인 데이터를 제공한다. 예를 들어, 서버는, 챔버에서의 특정 실행에 대한 부가적인 정보를 수신하기 위해, 그래픽 사용자 인터페이스(GUI)를 통해 사용자 입력을 수신할 수 있고, 서버는 GUI에서 실행과 관련된 프로세스 단계들 및 센서들에 대한 데이터를 제공할 수 있다. 부가적인 데이터는, 예를 들어, 특정 실행에 대한 센서들에 대한 기여도 데이터를 포함할 수 있고, 이에 제한되지 않는다.
[0046] 도 8은, 다양한 구현예들에 따른, 챔버에서의 레시피의 실행에 대한 센서들에 대한 기여도 데이터를 포함하는 예시적인 그래픽 사용자 인터페이스(800)를 예시한다. 툴 분석 모듈은 챔버에서의 레시피의 실행에 대한 센서들에 대한 기여도 벡터(contribution vector; C)를 생성할 수 있다. GUI(800)는, 막대 도표로 그려진, 특정 챔버/레시피 조합에 대한 실행-48에 대한 기여도 벡터(C)를 포함한다. 기여도 벡터(C)는 m 엘리먼트 행 벡터일 수 있고, 여기서, 각각의 엘리먼트는 각각의 센서에 대한 각각의 실행에 대한 기여도 인자(factor)이다.
Figure 112016027571553-pct00005
[0047] 예를 들어, 센서1(예를 들어, 도 6의 센서1(611))에 대한 4개의 레퍼런스 실행들(예를 들어, 도 6의 실행들(601, 603, 605, 607))이 존재할 수 있다. 일 예에서, 도 6은, 정규화된 레퍼런스 매트릭스(R)에 대하여, 알려지지 않은 정규화된 샘플 벡터(S)에 대한 거리 매트릭스(D)(609)를 포함할 수 있다. 기여도 벡터는, 거리 매트릭스(D)(609)의 각각의 열을 취하고 k번째 가장 작은 값을 찾아냄으로써 계산될 수 있다. 열1의 센서1에 대한 기여도 벡터 c=[c1 ... cm]는 c1=[0,1,1,2] 및 c2=[0,1,1,1] 일 수 있다. 툴 분석 모듈은 기여도 벡터(c)의 엘리먼트들을 가장 작은 값으로부터 가장 큰 값으로 소팅할 수 있다. k=3, C=[1,1]이라고 가정하면, 이는, 알려지지 않은 샘플의 센서1(611)는 레퍼런스 세트로부터 떨어진 1 유닛이고, 센서2(613)는 레퍼런스 세트로부터 떨어진 1 유닛이라는 것을 설명한다. 이제, 이웃 벡터(N)는 많은 유닛들 샘플이 레퍼런스 핑거프린트로부터 온다는 것을 설명할 수 있고, 기여도 벡터(C)는, 레퍼런스 핑거프린트로부터 이웃 벡터(N)의 임의의 편차를 야기하는 것에 대해, 인자들을 설명할 수 있다.
[0048] 도 8로 돌아가면, GUI(800)는 특정 실행에 대한 센서들을 설명하는 x-축을 포함할 수 있다. 예를 들어, x-축은 실행-48(815)에 대한 센서 데이터를 설명할 수 있다. GUI(800)는, 분석되는 데이터와 레퍼런스 핑거프린트 사이의 거리를 설명하는 y-축(810)을 포함할 수 있다. 툴 분석 모듈은, 기여도 벡터(C)를 계산하기 위해, 거리 매트릭스(D)를 사용할 수 있다. 예를 들어, 최대 기여도 유형, 엘리먼트 기여도 유형, 및 k번째 엘리먼트 기여도 유형을 포함하여, 다수의 유형들의 기여도 벡터(C)가 존재할 수 있고, 이에 제한되지 않는다.
[0049] k번째 엘리먼트 기여도 유형의 경우, 벡터(C)의 각각의 엘리먼트는 대응하는 센서에 대한 기여도이다. 1과 동일하거나 그 미만인 거리 값은, 센서가, 레퍼런스 핑거프린트 내에 샘플 데이터가 존재하는 것의 원인이라는 것을 나타낼 수 있다. 1 초과이지만 2(two)와 동일하거나 그 미만인 거리 값은, 센서를 추가적으로 조사하고(investigate) 그리고/또는 모니터링하기 위한 경고를 트리거링할(trigger) 수 있다. 2를 초과하는 거리 값은, 센서가 아마도, 레퍼런스 핑거프린트 내에 샘플 데이터가 존재하지 않는 것의 원인이라는 것을 나타낼 수 있다. 예를 들어, 거리 값(805)은 2보다 크고, 그리고, 대응하는 센서가, 레퍼런스 핑거프린트의 파라미터들 내에 샘플 데이터가 있지 않은 것의 원인이라는 것을 나타낼 수 있다. 일 구현예에서, 값이 더 클수록, 센서와 레퍼런스 핑거프린트 사이의 차이가 더 크다.
[0050] 도 9는, 다양한 구현예들에 따른, 본원에서 사용되는 툴 분석 모듈의 동작들 중 하나 또는 그 초과를 수행할 수 있는 예시적인 컴퓨팅 디바이스의 블록도이다. 일 구현예에서, 컴퓨팅 디바이스는 도 2의 툴 분석 모듈(200)을 호스팅하는 컴퓨팅 디바이스에 대응한다. 컴퓨팅 디바이스(900)는, 기계로 하여금 본원에서 논의된 방법론들 중 임의의 하나 또는 그 초과의 방법론들을 수행하게 하기 위한 명령들의 세트를 포함한다. 대안적인 구현예들에서, 기계는, LAN, 인트라넷, 엑스트라넷(extranet), 또는 인터넷으로 다른 기계들에 연결될 수 있다(예를 들어, 네트워킹될 수 있다). 기계는 클라이언트-서버 네트워크 환경에서 서버 기계로서 동작할 수 있다. 기계는 개인용 컴퓨터(PC), 셋-탑 박스(STB), 서버, 네트워크 라우터, 스위치 또는 브릿지, 또는 그러한 기계에 의해 취해질 액션들을 특정하는 (순차적인 또는 다른 방식의) 명령들의 세트를 실행할 수 있는 임의의 기계일 수 있다. 또한, 단일 기계만 예시되었지만, "기계"라는 용어는 또한, 본원에서 논의된 방법론들 중 임의의 하나 또는 그 초과의 방법론들을 수행하기 위해, 개별적으로 또는 공동으로 명령들의 세트(또는 다수의 세트들)를 실행하는 기계들의 임의의 집합을 포함하는 것으로 이해되어야 한다.
[0051] 예시적인 컴퓨터 디바이스(900)는, 프로세싱 시스템(예를 들어, 프로세싱 디바이스)(902), 주 메모리(904)(예를 들어, 판독-전용 메모리(ROM), 플래시 메모리, 동기식 DRAM(SDRAM)과 같은 동적 랜덤 액세스 메모리(DRAM), 등), 정적 메모리(906)(예를 들어, 플래시 메모리, 정적 랜덤 액세스 메모리(SRAM), 등), 및 데이터 저장 디바이스(918)를 포함하고, 이들은 서로 버스(930)를 통해 통신한다.
[0052] 프로세싱 디바이스(902)는, 마이크로프로세서, 중앙 처리 유닛, 등과 같은 하나 또는 그 초과의 범용 프로세싱 디바이스들을 나타낸다. 더 구체적으로, 프로세싱 디바이스(902)는 복합 명령 세트 컴퓨팅(CISC) 마이크로프로세서, 축소 명령 세트 컴퓨팅(RISC) 마이크로프로세서, 초장 명령어(VLIW) 마이크로프로세서, 또는, 다른 명령 세트들을 구현하는 프로세서 또는 명령 세트들의 조합을 구현하는 프로세서들일 수 있다. 프로세싱 디바이스(902)는 또한, 주문형 반도체(ASIC), 필드 프로그래밍 가능한 게이트 어레이(FPGA), 디지털 신호 프로세서(DSP), 네트워크 프로세서, 등과 같은 하나 또는 그 초과의 특수-목적 프로세싱 디바이스들일 수 있다. 프로세싱 디바이스(902)는 본원에서 논의되는 동작들 및 단계들을 수행하기 위해 툴 분석 모듈(200)을 실행하도록 구성된다.
[0053] 컴퓨팅 디바이스(900)는 네트워크 인터페이스 디바이스(908)를 더 포함할 수 있다. 컴퓨팅 디바이스(900)는 또한, 비디오 디스플레이 유닛(910)(예를 들어, 액정 디스플레이(LCD) 또는 음극선관(CRT)), 영-숫자 입력 디바이스(912)(예를 들어, 키보드), 커서 제어 디바이스(914)(예를 들어, 마우스), 및 신호 생성 디바이스(916)(예를 들어, 스피커)를 포함할 수 있다.
[0054] 데이터 저장 디바이스(918)는, 본원에서 설명되는 방법론들 또는 기능들 중 임의의 하나 또는 그 초과를 구현하는 명령들(예를 들어, 툴 분석 모듈(200)의 명령들)의 하나 또는 그 초과의 세트들이 저장되는 컴퓨터-판독 가능한 저장 매체(928)를 포함할 수 있다. 툴 분석 모듈(200)은 또한, 컴퓨팅 디바이스(900)에 의한 명령들의 실행 동안에 주 메모리(904) 내에 및/또는 프로세싱 디바이스(902) 내에 완전하게 또는 적어도 부분적으로 상주(reside)할 수 있고, 주 메모리(904)와 프로세싱 디바이스(902)는 또한, 컴퓨터-판독 가능한 저장 매체를 구성한다. 툴 분석 모듈(200)은 추가로, 네트워크 인터페이스 디바이스(908)를 통해 네트워크(920)를 통해서 전송되거나 수신될 수 있다.
[0055] 컴퓨터-판독 가능한 저장 매체(928)가 단일 매체인 것으로 예시적인 구현예에 도시되지만, "컴퓨터-판독 가능한 저장 매체"라는 용어는, 명령들의 하나 또는 그 초과의 세트들을 저장하는 단일 매체 또는 다수의 매체들(예를 들어, 중앙형 또는 분산형 데이터베이스, 및/또는 연관된 캐쉬들 및 서버들)을 포함하는 것으로 이해되어야 한다. "컴퓨터-판독 가능한 저장 매체"라는 용어는 또한, 기계에 의해 실행하기 위한 명령들의 세트를 저장하거나 인코딩하거나 또는 운반(carrying)할 수 있고 그리고 기계로 하여금 본 개시물의 방법론들 중 임의의 하나 또는 그 초과의 방법론들을 수행하게 하는 임의의 매체를 포함하는 것으로 이해되어야 한다. 따라서, "컴퓨터-판독 가능한 저장 매체"라는 용어는 솔리드-스테이트(solid-state) 메모리들, 광학 매체들, 및 자기 매체들을 포함하지만, 이에 제한되지는 않는 것으로 이해되어야 한다.
[0056] 상기 설명에서, 많은 세부 사항들이 설명된다. 그러나, 본 개시물의 구현예들이 이러한 특정 세부 사항들 없이 실시될 수 있다는 것이, 본 개시물의 이익을 향유하는 당업자에게 자명할 것이다. 몇몇 경우들에서, 설명을 불명료하게 하는 것을 피하기 위해, 잘-알려진 구조들 및 디바이스들은 상세하게 도시되는 대신에 블럭도 형태로 도시된다.
[0057] 상세한 설명의 몇몇 부분들은 컴퓨터 메모리 내의 데이터 비트들(bits)에 대한 작동들의 심볼 표현들 및 알고리즘들 측면에서 표현된다. 이러한 알고리즘의 설명들 및 표현들은, 데이터 프로세싱 기술분야의 당업자들이 그 기술 분야의 다른 당업자들에게 가장 효과적으로 자신들의 작업의 내용(substance)을 전달하기 위해 사용되는 수단이다. 알고리즘은 여기서, 그리고 일반적으로, 결과로 이어지는 동작들의 자기-모순 없는(self-consistent) 시퀀스일 것으로 생각된다. 동작들은 물리적인 양들의 물리적 조작들(physical manipulations)을 이용하는 것들이다. 보통, 필수적인 것은 아니지만, 이러한 양들은, 저장되고, 이송되고, 결합되고, 비교되고, 그리고 그와 다르게 조작될 수 있는, 전기 또는 자기 신호들의 형태를 취한다. 주로 일반적인 용법의 이유들로, 이러한 신호들을 비트들, 값들, 엘리먼트들, 심볼들, 문자들(characters), 용어들, 숫자들, 등으로서 지칭하는 것이 종종 편리하다고 증명되었다.
[0058] 그러나, 이러한 용어들 및 유사한 용어들 모두는 적절한 물리적 양들과 연관되어야 하고 그리고 이러한 양들에 적용된 단지 편리한 라벨들이라는 것을 명심해야 한다. 상기 논의로부터 명백한 것과 같이 구체적으로 다르게 언급되지 않는 한, 명세서 전체에 걸쳐, "생성하는(creating)", "결정하는(determining)", "제공하는(providing)", "식별하는(identifying)", "정의하는(defining)" 등과 같은 용어들을 사용하는 논의들은 컴퓨팅 디바이스 또는 유사한 전자 컴퓨팅 디바이스의 프로세스들 및 동작들을 지칭하는 것으로 이해되고, 그러한 컴퓨팅 디바이스는 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리적(예를 들어, 전자적) 양들로서 표현된 데이터를 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 그러한 정보 저장 디바이스들 내의 물리적 양들로서 유사하게 표현된 다른 데이터로 조작 및 변환시킨다.
[0059] 본 개시물의 구현예들은 또한, 본원에서의 작동들을 수행하기 위한 장치에 관한 것이다. 이러한 장치는 언급된 목적들을 위해 특별히 구성될 수 있거나, 또는 이러한 장치는 컴퓨터에 저장된 컴퓨터 프로그램에 의해서 선택적으로 작동되거나 재구성되는 범용 컴퓨터를 포함할 수 있다. 그러한 컴퓨터 프로그램은, 광학 디스크들, CD-ROM들, 및 광-자기 디스크들을 포함하는 임의의 유형의 디스크, 판독-전용 메모리들(ROM들), 랜덤 액세스 메모리들(RAM들), EPROM들, EEPROM들, 자기 또는 광학 카드들, 또는 전자 명령들을 저장하기에 적합한 임의의 유형의 매체들과 같은, 그러나 이에 제한되지는 않는 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다.
[0060] 상기 설명은 예시적인 것으로 의도된 것이고, 제한적인 것으로 의도되지 않았음이 이해되어야 한다. 상기 설명을 읽고 이해할 때, 많은 다른 구현예들이 당업자들에게 자명할 것이다. 그러므로, 본 개시물의 범위는 첨부된 청구항들을 참고하여, 그러한 청구항들이 권리를 갖는 등가물들의 전체 범위와 함께, 결정되어야 한다.

Claims (15)

  1. 방법으로서,
    레시피(recipe)를 실행하는 제 1 툴에 대한 레퍼런스 핑거프린트(reference fingerprint)를, 상기 레시피를 실행하는 것과 연관된 파라미터들 내에서 수행하는 상기 제 1 툴과 관련된 레퍼런스 데이터, 및 상기 레퍼런스 데이터로부터 결정된 복수의 최근접 이웃 값들(nearest neighbor values)을 사용하여, 생성하는 단계 ― 상기 레퍼런스 핑거프린트는 타겟 베이스라인(target baseline) 및 상기 타겟 베이스라인에 기초한 하나 또는 그 초과의 허용 가능한 범위들을 포함함 ―;
    상기 레시피를 실행하는 제 2 툴과 연관된 샘플 데이터가 상기 파라미터들 내에서 수행하고 있는지를, 상기 샘플 데이터의, 상기 레퍼런스 핑거프린트에 대한 비교에 기초하여, 결정하는 단계 ― 상기 제 2 툴은 상기 제 1 툴 또는 상기 제 1 툴과 동일한 유형의 다른 툴임 ―; 및
    상기 샘플 데이터의, 상기 레퍼런스 핑거프린트에 대한 비교에 기초하여, 상기 제 2 툴의 등급(classification)을 사용자 또는 시스템 중 적어도 하나에 제공하는 단계 ― 상기 등급은 상기 제 2 툴이 상기 파라미터들 내에서 수행하고 있는지를 나타냄 ― 를 포함하는,
    방법.
  2. 제 1 항에 있어서,
    상기 샘플 데이터와 상기 레퍼런스 핑거프린트 사이의 하나 또는 그 초과의 편차들(deviations)을 식별하는 단계;
    상기 하나 또는 그 초과의 편차들에 기초하여 상기 제 2 툴이 상기 파라미터들 내에서 수행하고 있지 않은 것을 결정하는 단계; 및
    상기 제 2 툴이 상기 파라미터들 내에서 수행하고 있지 않은 원인을 식별하기 위해 부가적인 데이터를 제공하는 단계를 더 포함하는,
    방법.
  3. 제 2 항에 있어서,
    상기 부가적인 데이터는, 상기 제 2 툴의 복수의 센서들의 기여도(contribution)를 설명하는 기여도 데이터를 포함하는,
    방법.
  4. 제 1 항에 있어서,
    상기 등급은, 상기 샘플 데이터가 상기 레퍼런스 핑거프린트 내에 있는 경우에 정상(normal)이고, 상기 등급은, 상기 샘플 데이터가 상기 레퍼런스 핑거프린트 내에 있지 않은 경우에 비정상(abnormal)인,
    방법.
  5. 제 1 항에 있어서,
    상기 레퍼런스 핑거프린트를 생성하는 단계는,
    상기 레퍼런스 데이터를 사용하여 상기 복수의 최근접 이웃 값들의 벡터를 생성하는 단계 ― 상기 벡터는 상기 레시피에 대한 상기 제 1 툴에 대한 복수의 센서들의 성능을 나타냄 ―;
    상기 벡터로부터 타겟 값을 결정하는 단계 ― 상기 타겟 값은 상기 복수의 센서들의 예상된 성능을 나타냄 ―;
    상기 타겟 값에 기초하여 상기 복수의 센서들의 예상된 성능에 대한 하나 또는 그 초과의 허용 가능한 범위들을 결정하는 단계; 및
    상기 레퍼런스 핑거프린트를 상기 타겟 값 및 상기 하나 또는 그 초과의 허용 가능한 범위들로서 정의하는 단계를 포함하는,
    방법.
  6. 제 5 항에 있어서,
    상기 타겟 값을 결정하는 단계는,
    상기 벡터의 상기 복수의 최근접 이웃 값들의 평균을 결정하는 단계를 포함하는,
    방법.
  7. 제 5 항에 있어서,
    상기 하나 또는 그 초과의 허용 가능한 범위들을 결정하는 단계는,
    상기 타겟 값으로부터의 하나 또는 그 초과의 표준 편차들을 결정하는 단계를 포함하는,
    방법.
  8. 시스템으로서,
    메모리; 및
    상기 메모리와 커플링된 프로세싱 디바이스를 포함하고, 이는,
    레시피를 실행하는 제 1 툴에 대한 레퍼런스 핑거프린트를, 상기 레시피를 실행하는 것과 연관된 파라미터들 내에서 수행하는 상기 제 1 툴과 관련된 레퍼런스 데이터, 및 상기 레퍼런스 데이터로부터 결정된 복수의 최근접 이웃 값들을 사용하여, 생성하기 위한 것이고 ― 상기 레퍼런스 핑거프린트는 타겟 베이스라인 및 상기 타겟 베이스라인에 기초한 하나 또는 그 초과의 허용 가능한 범위들을 포함함 ―;
    상기 레시피를 실행하는 제 2 툴과 연관된 샘플 데이터가 상기 파라미터들 내에서 수행하고 있는지를, 상기 샘플 데이터의, 상기 레퍼런스 핑거프린트에 대한 비교에 기초하여, 결정하기 위한 것이며 ― 상기 제 2 툴은 상기 제 1 툴 또는 상기 제 1 툴과 동일한 유형의 다른 툴임 ―; 그리고
    상기 샘플 데이터의, 상기 레퍼런스 핑거프린트에 대한 비교에 기초하여, 상기 제 2 툴의 등급을 사용자 또는 시스템 중 적어도 하나에 제공하기 위한 것이며, 상기 등급은 상기 제 2 툴이 상기 파라미터들 내에서 수행하고 있는지를 나타내는,
    시스템.
  9. 제 8 항에 있어서,
    상기 프로세싱 디바이스는 추가로,
    상기 샘플 데이터와 상기 레퍼런스 핑거프린트 사이의 하나 또는 그 초과의 편차들을 식별하기 위한 것이고;
    상기 하나 또는 그 초과의 편차들에 기초하여 상기 제 2 툴이 상기 파라미터들 내에서 수행하고 있지 않은 것을 결정하기 위한 것이며; 그리고
    상기 제 2 툴이 상기 파라미터들 내에서 수행하고 있지 않은 이유를 식별하기 위해 부가적인 데이터를 제공하기 위한 것이며, 상기 부가적인 데이터는 상기 제 2 툴의 복수의 센서들의 기여도를 설명하는 기여도 데이터를 포함하는,
    시스템.
  10. 제 8 항에 있어서,
    상기 등급은, 상기 샘플 데이터가 상기 레퍼런스 핑거프린트 내에 있는 경우에 정상이고, 상기 등급은, 상기 샘플 데이터가 상기 레퍼런스 핑거프린트 내에 있지 않은 경우에 비정상인,
    시스템.
  11. 제 8 항에 있어서,
    상기 레퍼런스 핑거프린트를 생성하기 위한 것은,
    상기 프로세싱 디바이스가,
    상기 레퍼런스 데이터를 사용하여 상기 복수의 최근접 이웃 값들의 벡터를 생성하기 위한 것이고 ― 상기 벡터는 상기 레시피에 대한 상기 제 1 툴에 대한 복수의 센서들의 성능을 나타냄 ―;
    상기 벡터로부터 타겟 값을 결정하기 위한 것이며 ― 상기 타겟 값은 상기 복수의 센서들의 예상된 성능을 나타냄 ―;
    상기 타겟 값에 기초하여 상기 복수의 센서들의 예상된 성능에 대한 하나 또는 그 초과의 허용 가능한 범위들을 결정하기 위한 것이고; 그리고
    상기 레퍼런스 핑거프린트를 상기 타겟 값 및 상기 하나 또는 그 초과의 허용 가능한 범위들로서 정의하기 위한 것임을 포함하는,
    시스템.
  12. 프로세싱 디바이스에 의해 실행될 때, 상기 프로세싱 디바이스로 하여금 동작들을 수행하게 하는 명령들을 포함하는 비-일시적(non-transitory) 컴퓨터 판독 가능한 저장 매체로서, 상기 동작들은,
    레시피를 실행하는 제 1 툴에 대한 레퍼런스 핑거프린트를, 상기 레시피를 실행하는 것과 연관된 파라미터들 내에서 수행하는 상기 제 1 툴과 관련된 레퍼런스 데이터, 및 상기 레퍼런스 데이터로부터 결정된 복수의 최근접 이웃 값들을 사용하여, 상기 프로세싱 디바이스에 의해 생성하는 동작 ― 상기 레퍼런스 핑거프린트는 타겟 베이스라인 및 상기 타겟 베이스라인에 기초한 하나 또는 그 초과의 허용 가능한 범위들을 포함함 ―;
    상기 레시피를 실행하는 제 2 툴과 연관된 샘플 데이터가 상기 파라미터들 내에서 수행하고 있는지를, 상기 샘플 데이터의, 상기 레퍼런스 핑거프린트에 대한 비교에 기초하여, 결정하는 동작 ― 상기 제 2 툴은 상기 제 1 툴 또는 상기 제 1 툴과 동일한 유형의 다른 툴임 ―; 및
    상기 샘플 데이터의, 상기 레퍼런스 핑거프린트에 대한 비교에 기초하여, 상기 제 2 툴의 등급을 사용자 또는 시스템 중 적어도 하나에 제공하는 동작을 포함하며, 상기 등급은 상기 제 2 툴이 상기 파라미터들 내에서 수행하고 있는지를 나타내는,
    비-일시적 컴퓨터 판독 가능한 저장 매체.
  13. 제 12 항에 있어서,
    상기 동작들은,
    상기 샘플 데이터와 상기 레퍼런스 핑거프린트 사이의 하나 또는 그 초과의 편차들을 식별하는 동작;
    상기 하나 또는 그 초과의 편차들에 기초하여 상기 제 2 툴이 상기 파라미터들 내에서 수행하고 있지 않은 것을 결정하는 동작; 및
    상기 제 2 툴이 상기 파라미터들 내에서 수행하고 있지 않은 이유를 식별하기 위해 부가적인 데이터를 제공하는 동작을 더 포함하는,
    비-일시적 컴퓨터 판독 가능한 저장 매체.
  14. 제 12 항에 있어서,
    상기 등급은, 상기 샘플 데이터가 상기 레퍼런스 핑거프린트 내에 있는 경우에 정상이고, 상기 등급은, 상기 샘플 데이터가 상기 레퍼런스 핑거프린트 내에 있지 않은 경우에 비정상인,
    비-일시적 컴퓨터 판독 가능한 저장 매체.
  15. 제 12 항에 있어서,
    상기 레퍼런스 핑거프린트를 생성하는 동작은,
    상기 레퍼런스 데이터를 사용하여 상기 복수의 최근접 이웃 값들의 벡터를 생성하는 동작 ― 상기 벡터는 상기 레시피에 대한 상기 제 1 툴에 대한 복수의 센서들의 성능을 나타냄 ―;
    상기 벡터로부터 타겟 값을 결정하는 동작 ― 상기 타겟 값은 상기 복수의 센서들의 예상된 성능을 나타냄 ―;
    상기 타겟 값에 기초하여 상기 복수의 센서들의 예상된 성능에 대한 하나 또는 그 초과의 허용 가능한 범위들을 결정하는 동작; 및
    상기 레퍼런스 핑거프린트를 상기 타겟 값 및 상기 하나 또는 그 초과의 허용 가능한 범위들로서 정의하는 동작을 포함하는,
    비-일시적 컴퓨터 판독 가능한 저장 매체.
KR1020167007565A 2013-08-23 2014-08-21 툴 프로세스 데이터에 대한 다-변량 분석을 제공하기 위한 k-최근접 이웃-기반 방법 및 시스템 KR102236931B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/974,915 US9910430B2 (en) 2013-08-23 2013-08-23 K-nearest neighbor-based method and system to provide multi-variate analysis on tool process data
US13/974,915 2013-08-23
PCT/US2014/052088 WO2015027063A1 (en) 2013-08-23 2014-08-21 K-nearest neighbor-based method and system to provide multi-variate analysis on tool process data

Publications (2)

Publication Number Publication Date
KR20160045866A KR20160045866A (ko) 2016-04-27
KR102236931B1 true KR102236931B1 (ko) 2021-04-05

Family

ID=52481070

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167007565A KR102236931B1 (ko) 2013-08-23 2014-08-21 툴 프로세스 데이터에 대한 다-변량 분석을 제공하기 위한 k-최근접 이웃-기반 방법 및 시스템

Country Status (8)

Country Link
US (1) US9910430B2 (ko)
EP (1) EP3036655A4 (ko)
JP (1) JP6629204B2 (ko)
KR (1) KR102236931B1 (ko)
CN (1) CN105518654B (ko)
SG (1) SG11201601107WA (ko)
TW (1) TWI628553B (ko)
WO (1) WO2015027063A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9910430B2 (en) 2013-08-23 2018-03-06 Applied Materials, Inc. K-nearest neighbor-based method and system to provide multi-variate analysis on tool process data
US10360249B2 (en) * 2015-04-10 2019-07-23 Trendminder N.V. System and method for creation and detection of process fingerprints for monitoring in a process plant
US10565513B2 (en) * 2016-09-19 2020-02-18 Applied Materials, Inc. Time-series fault detection, fault classification, and transition analysis using a K-nearest-neighbor and logistic regression approach
KR102296942B1 (ko) * 2017-05-05 2021-09-01 에이에스엠엘 네델란즈 비.브이. 디바이스 제조 프로세스의 수율의 예측 방법
CN108393744B (zh) * 2018-04-11 2023-07-18 嘉兴南湖学院 一种刀具状态多传感监测方法
US11486927B2 (en) 2020-04-02 2022-11-01 Applied Materials, Inc. Bode fingerprinting for characterizations and failure detections in processing chamber
EP3995920A1 (en) * 2020-11-10 2022-05-11 ABB Schweiz AG Event analytics in modular industrial plants
CN113190792B (zh) * 2021-04-18 2023-10-24 宁波大学科学技术学院 一种基于近邻局部异常因子的乙烯裂解炉运行状态监测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060042753A1 (en) 2004-08-26 2006-03-02 Scientific Systems Research Limited Method for transferring process control models between plasma processing chambers

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60113073T2 (de) * 2000-03-10 2006-08-31 Smiths Detection Inc., Pasadena Steuerung für einen industriellen prozes mit einer oder mehreren multidimensionalen variablen
US6895293B2 (en) * 2000-09-14 2005-05-17 Applied Materials, Inc. Fault detection and virtual sensor methods for tool fault monitoring
US6650955B1 (en) 2001-12-18 2003-11-18 Advanced Micro Devices, Inc. Method and apparatus for determining a sampling plan based on process and equipment fingerprinting
US7043403B1 (en) 2002-09-04 2006-05-09 Advanced Micro Devices, Inc. Fault detection and classification based on calculating distances between data points
US20050286753A1 (en) * 2004-06-25 2005-12-29 Triant Technologies Inc. Automated inspection systems and methods
US20060180570A1 (en) * 2005-02-14 2006-08-17 Mahoney Leonard J Application of in-situ plasma measurements to performance and control of a plasma processing system
US7477960B2 (en) 2005-02-16 2009-01-13 Tokyo Electron Limited Fault detection and classification (FDC) using a run-to-run controller
US7355711B2 (en) * 2005-07-01 2008-04-08 Kla-Tencor Technologies Corporation Method for detecting an end-point for polishing a material
US7587296B2 (en) * 2006-05-07 2009-09-08 Applied Materials, Inc. Adaptive multivariate fault detection
US7813895B2 (en) 2007-07-27 2010-10-12 Applied Materials, Inc. Methods for plasma matching between different chambers and plasma stability monitoring and control
US8145444B1 (en) * 2007-11-30 2012-03-27 Intellectual Assets Llc Asset surveillance system and method comprising self-calibrating fault detection
DE102008021558A1 (de) 2008-04-30 2009-11-12 Advanced Micro Devices, Inc., Sunnyvale Verfahren und System für die Halbleiterprozesssteuerung und Überwachung unter Verwendung von PCA-Modellen mit reduzierter Grösse
DE102009006887B3 (de) * 2009-01-30 2010-07-15 Advanced Micro Devices, Inc., Sunnyvale Verfahren und System zur Halbleiterprozesssteuerung und Überwachung unter Anwendung eines Datenqualitätsmaßes
US9910430B2 (en) 2013-08-23 2018-03-06 Applied Materials, Inc. K-nearest neighbor-based method and system to provide multi-variate analysis on tool process data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060042753A1 (en) 2004-08-26 2006-03-02 Scientific Systems Research Limited Method for transferring process control models between plasma processing chambers

Also Published As

Publication number Publication date
EP3036655A1 (en) 2016-06-29
KR20160045866A (ko) 2016-04-27
WO2015027063A1 (en) 2015-02-26
US20150057788A1 (en) 2015-02-26
TWI628553B (zh) 2018-07-01
JP2016528655A (ja) 2016-09-15
CN105518654B (zh) 2019-03-15
SG11201601107WA (en) 2016-03-30
US9910430B2 (en) 2018-03-06
EP3036655A4 (en) 2017-05-03
TW201523311A (zh) 2015-06-16
CN105518654A (zh) 2016-04-20
JP6629204B2 (ja) 2020-01-15

Similar Documents

Publication Publication Date Title
KR102236931B1 (ko) 툴 프로세스 데이터에 대한 다-변량 분석을 제공하기 위한 k-최근접 이웃-기반 방법 및 시스템
Haoxiang et al. Big data analysis and perturbation using data mining algorithm
US11720821B2 (en) Automated and customized post-production release review of a model
JP6896069B2 (ja) ｋ近傍およびロジスティック回帰アプローチを用いた時系列異常検出、異常分類、ならびに遷移分析
JP7205139B2 (ja) 異常検出のためのシステム、方法、およびコンピュータプログラム製品
KR101713007B1 (ko) 일반화된 그리고 견고한 예측 모델들의 생성을 위한 증가된 신호 대 잡음비
US9933772B2 (en) Analyzing SCADA systems
WO2018157752A1 (en) Approximate random number generator by empirical cumulative distribution function
TW201403353A (zh) 巨量資料分析系統
US11501200B2 (en) Generate alerts while monitoring a machine learning model in real time
Lai et al. Review of intrusion detection methods and tools for distributed energy resources
US20180240016A1 (en) Method and apparatus for generating one class model based on data frequency
CN115589339A (zh) 网络攻击类型识别方法、装置、设备以及存储介质
JP2018198072A (ja) 動径基底関数ネットワークおよび超立方体を使用した半導体処理機器における偏位の分類
US11592811B2 (en) Methods and apparatuses for defining authorization rules for peripheral devices based on peripheral device categorization
Guan ACS-IoT: A CNN-BiLSTM Model for Anomaly Classification in IoT Networks
US10386822B2 (en) System for rapid identification of sources of variation in complex manufacturing processes

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant