KR20190131083A - 리소그래피 시스템들과 같은 시스템들을 모델링하거나 시스템들의 예측 유지보수를 수행하는 방법들 및 연관된 리소그래피 시스템들 - Google Patents

리소그래피 시스템들과 같은 시스템들을 모델링하거나 시스템들의 예측 유지보수를 수행하는 방법들 및 연관된 리소그래피 시스템들 Download PDF

Info

Publication number
KR20190131083A
KR20190131083A KR1020197031127A KR20197031127A KR20190131083A KR 20190131083 A KR20190131083 A KR 20190131083A KR 1020197031127 A KR1020197031127 A KR 1020197031127A KR 20197031127 A KR20197031127 A KR 20197031127A KR 20190131083 A KR20190131083 A KR 20190131083A
Authority
KR
South Korea
Prior art keywords
events
event
parameter
time series
context
Prior art date
Application number
KR1020197031127A
Other languages
English (en)
Other versions
KR102304281B1 (ko
Inventor
데이비드 에버트 송 쿡 시그터만스
마르셀 리차드 안드레 브런트
니콜라스 헨드릭 프랭크 플루스 반 암스텔
에롤 아서 잘민
스테판 루시안 보이네아
헤라르뒤스 알베르투스 빌헬무스 시그버투스 프레우스팅
Original Assignee
에이에스엠엘 네델란즈 비.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이에스엠엘 네델란즈 비.브이. filed Critical 에이에스엠엘 네델란즈 비.브이.
Publication of KR20190131083A publication Critical patent/KR20190131083A/ko
Application granted granted Critical
Publication of KR102304281B1 publication Critical patent/KR102304281B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70491—Information management, e.g. software; Active and passive control, e.g. details of controlling exposure processes or exposure tool monitoring processes
    • G03F7/70508—Data handling in all parts of the microlithographic apparatus, e.g. handling pattern data for addressable masks or data transfer to or from different components within the exposure apparatus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70491—Information management, e.g. software; Active and passive control, e.g. details of controlling exposure processes or exposure tool monitoring processes
    • G03F7/70525—Controlling normal operating mode, e.g. matching different apparatus, remote control or prediction of failure
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0283—Predictive maintenance, e.g. involving the monitoring of a system and, based on the monitoring results, taking decisions on the maintenance schedule of the monitored system; Estimating remaining useful life [RUL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Exposure And Positioning Against Photoresist Photosensitive Materials (AREA)

Abstract

복수의 파라미터 시계열에서의 이벤트들 사이의 인과 관계를 결정하는 방법으로서, 이 방법은, 파라미터 편위 이벤트와 연관된 제1 이벤트를 식별하고 고장 이벤트와 연관된 제2 이벤트를 식별하는 단계 - 상기 제1 이벤트들 및 제2 이벤트들을 포함하는 복수의 이벤트들이 있음 -; 상기 이벤트들의 쌍들 각각에 대한 인과 관계를 확립하기 위해 상기 이벤트들의 쌍들에 대한 전달 엔트로피의 값들을 결정하는 단계; 상기 전달 엔트로피의 결정된 값들 및 식별된 인과 관계들을 사용하여 프로세스 네트워크를 결정하는 단계 - 이벤트들 각각은 상기 프로세스 네트워크 내의 노드이고, 노드들 사이의 에지들은 전달 엔트로피의 결정된 값들에 의존함 -; 상기 복수의 이벤트들 및 상기 인과 관계들 내에서 방향성 사이클을 식별하는 단계; 방향성 사이클을 분류하는 단계; 및 분류된 방향성 사이클과의 인과 관계를 갖는 하나 이상의 이벤트(들)를 분류하는 단계를 포함한다.

Description

리소그래피 시스템들과 같은 시스템들을 모델링하거나 시스템들의 예측 유지보수를 수행하는 방법들 및 연관된 리소그래피 시스템들
관련 출원들에 대한 상호 참조
본 출원은, 2017년 3월 23일자로 출원되었고 본 명세서에 그 전체가 참조로 포함되는 EP 출원 제17162628.6호의 우선권을 주장한다.
본 발명의 분야
본 발명은 일반적으로 시스템들의 예측 유지보수(predictive maintenance), 및 그러한 시스템들을 모델링하는 방법들에 관한 것이다. 더 구체적으로는, 본 발명은 리소그래피 시스템들 및 기법들의 성능을 측정, 검사, 특성화, 시뮬레이션 및/또는 평가하는 데 사용되는 시스템들 및 기법들에 관한 것이다.
리소그래피 장치는 기판 상으로, 일반적으로는 기판의 타겟 부분 상으로 원하는 패턴을 인가하는 머신이다. 리소그래피 장치는, 예를 들어, 집적 회로(integrated circuit)(IC)들의 제조에 사용될 수 있다. 그 경우에, 마스크 또는 레티클로 대안적으로 지칭되는 패터닝 디바이스는 IC의 개별 층 상에 형성될 회로 패턴을 생성하는 데 사용될 수도 있다. 이 패턴은 기판(예를 들어, 실리콘 웨이퍼) 상의 타겟 부분(예를 들어, 하나 또는 수 개의 다이들의 부분을 포함함) 상으로 전사될 수 있다. 패턴의 전사는 전형적으로 기판 상으로 제공된 방사선-감광성 재료(레지스트)의 층 상으로의 이미징(imaging)을 통한 것이다. 일반적으로, 단일 기판은 연속적으로 패터닝되는 인접한 타겟 부분들의 네트워크를 포함할 것이다.
리소그래피 프로세스들에서는, 예를 들어 프로세스 제어 및 검증(verification)을 위해, 생성된 구조체들의 측정들을 빈번하게 행하는 것이 바람직하다. 그러한 측정들을 행하기 위한 다양한 툴들이 알려져 있으며, 임계 치수(critical dimension)(CD)를 측정하는 데 종종 사용되는 스캐닝 전자 현미경들, 및 오버레이, 즉, 디바이스 내의 2개의 층들의 정렬 정확도를 측정하기 위한 특수화된 툴들을 포함한다. 최근에는, 리소그래피 분야에서의 사용을 위해 다양한 형태들의 스케터로미터(scatterometer)들이 개발되었다. 이들 디바이스들은 타겟 상으로 방사선 빔을 지향시키고, 산란된 방사선의 하나 이상의 특성들 - 예를 들어, 파장의 함수로서 단일 반사 각도에서의 세기; 반사된 각도의 함수로서 하나 이상의 파장들에서의 세기; 또는 반사된 각도의 함수로서 편광(polarization) - 을 측정하여, 타겟의 관심 특성이 결정될 수 있게 하는 회절 "스펙트럼"을 획득한다.
리소그래피 시스템들 또는 장치들(또는 일반적으로는 시스템들)의 동작을 모델링하는 것이 바람직하다. 이것은, 리소그래피 시스템의 파라미터 값들을 모니터링하는 것, 및 시스템 동작의 모델을 사용하여 이들 파라미터 값들에 기초한 장래 성능 또는 이벤트(event)들의 예측들을 행하는 것을 포함할 수도 있다. 본 개시내용은, 본 명세서에서 리소그래피 시스템들, 또는 일반적으로는 시스템들의 그러한 예측 유지보수에 관한 방법들을 설명한다.
제1 양태에서 본 발명은 산업 프로세스와 연관된 복수의 파라미터 시계열(parameter time series)에서의 이벤트들 사이의 인과 관계를 결정하는 방법을 제공하고, 이 방법은, 적어도 파라미터 편위 이벤트(parameter excursion event)와 연관된 제1 이벤트를 식별하고 적어도 고장 이벤트와 연관된 제2 이벤트를 식별하는 단계 - 상기 제1 이벤트들 및 제2 이벤트들을 포함하는 복수의 이벤트들이 있음 -; 상기 이벤트들의 쌍들 각각에 대한 인과 관계를 확립하기 위해 상기 이벤트들의 쌍들에 대한 전달 엔트로피(transfer entropy)의 값들을 결정하는 단계; 상기 전달 엔트로피의 결정된 값들 및 식별된 인과 관계들을 사용하여 프로세스 네트워크를 결정하는 단계 - 상기 이벤트들 각각은 상기 프로세스 네트워크 내의 노드이고, 노드들 사이의 에지들은 전달 엔트로피의 결정된 값들에 의존함 -; 상기 복수의 이벤트들 및 상기 인과 관계들 내에서 하나 이상의 방향성 사이클(directed cycle)들을 식별하는 단계; 공칭 시스템 거동에 기초하여 방향성 사이클을 분류하는 단계; 및 사이클 분류에 기초하여 분류된 방향성 사이클과의 인과 관계를 갖는 하나 이상의 이벤트(들)를 분류하는 단계를 포함한다.
제2 양태에서 본 발명은 리소그래피 장치를 제공하는데, 이 리소그래피 장치는, 패턴을 조명하도록 배열되는 조명 광학 시스템; 및 패턴의 이미지를 기판 상으로 투영하도록 배열되는 투영 광학 시스템을 포함하고, 리소그래피 장치는 상기 리소그래피 장치에 의해 수행되는 상기 리소그래피 프로세스의 동작을 모델링하기 위해 제1 양태의 방법을 수행하도록 배열된다.
본 발명은, 프로세서로 하여금 제1 양태의 방법을 수행하게 하기 위한 머신 판독가능 명령어들을 포함하는 컴퓨터 프로그램 제품을 더 추가로 제공한다.
본 발명의 추가의 피처들 및 이점들뿐만 아니라, 본 발명의 다양한 실시예들의 구조체 및 동작이 첨부 도면들을 참조하여 아래에 상세히 설명된다. 본 발명은 본 명세서에서 설명되는 특정 실시예들로 제한되지 않는다는 것에 유의한다. 그러한 실시예들은 단지 예시 목적들을 위해 본 명세서에 제시된다. 부가적인 실시예들은 본 명세서에 포함된 교시에 기초하여 관련 기술(들)의 통상의 기술자에게 명백할 것이다.
이제, 본 발명의 실시예들은 대응하는 참조 부호들이 대응하는 부분들을 나타내는 첨부된 개략적인 도면들을 참조하여 단지 예로서 설명될 것이다.
도 1은 리소그래피 장치를 도시한다.
도 2는 본 발명에 따른 검사 장치가 사용될 수도 있는 리소그래피 셀 또는 클러스터를 도시한다.
도 3은 검사 장치의 예로서 분광 스케터로미터의 동작 원리들을 예시한다.
도 4는 본 발명의 방법을 사용하여 획득가능한 예시적인 프로세스 네트워크를 도시한다.
도 5는 본 발명의 예시적인 실시예에 따른, 이벤트들 사이의 인과 관계를 결정하는 방법을 예시하는 흐름도이다.
도 6은 방향성 사이클의 개략적 표현이다.
도 7은 콘텍스트(context) 결정에 따라 파라미터 출력에 품질 가중치들을 할당하는 방법을 예시하는 타이밍도이다.
도 8은 파라미터 데이터에 품질 가중치(quality weighting)를 할당하도록 동작가능한 시스템을 예시하는 시스템도이다.
도 9는 파라미터 데이터의 시계열 내의 이벤트에 시간을 부여하는 방법을 예시하는 흐름도이다.
도 10은 레코드들의 데이터의 매칭 품질에 있어서 이들 사이에 변동을 갖는 레코드들을 매칭시키는 방법을 예시하는 방법을 예시하는 흐름도이다.
도 11은 예시적인 실시예에 따른, 인과 관계들의 네트워크를 구축하는 방법을 예시하는 흐름도이다.
도 12는 예시적인 실시예에 따른, 경보 만료 시간들을 할당하는 방법을 예시하는 흐름도이다.
도 13은 예시적인 실시예에 따른, 경보들을 우선순위화하는 방법을 예시하는 흐름도이다.
도 14는 예시적인 실시예에 따른, 모델 프리(model free), 구성 독립적 결함 진단들을 수행하는 방법을 예시하는 흐름도이다.
본 발명의 실시예들을 상세히 설명하기 전에, 본 발명의 실시예들이 구현될 수도 있는 예시적인 환경을 제시하는 것이 유익하다.
도 1은 리소그래피 장치(LA)를 개략적으로 도시한다. 이 장치는, 방사선 빔(B)(예를 들어, UV 방사선 또는 DUV 방사선)을 컨디셔닝(condition)하도록 구성되는 조명 시스템(조명기)(IL), 패터닝 디바이스(예를 들어, 마스크)(MA)를 지지하도록 구축되고 특정 파라미터들에 따라 패터닝 디바이스를 정확히 위치설정하도록 구성된 제1 포지셔너(first positioner)(PM)에 연결되는 패터닝 디바이스 지지체 또는 지지 구조체(예를 들어, 마스크 테이블)(MT); 기판(예를 들어, 레지스트 코팅된 웨이퍼)(W)을 홀딩하도록 각각이 구축되고 특정 파라미터들에 따라 기판을 정확히 위치설정하도록 구성된 제2 포지셔너(PW)에 각각이 연결되는 2개의 기판 테이블들(예를 들어, 웨이퍼 테이블)(WTa 및 WTb); 및 기판(W)의 (예를 들어, 하나 이상의 다이들을 포함하는) 타겟 부분(C) 상으로 패터닝 디바이스(MA)에 의해 방사선 빔(B)에 부여된 패턴을 투영하도록 구성되는 투영 시스템(예를 들어, 굴절형 투영 렌즈 시스템)(PS)을 포함한다. 기준 프레임(reference frame)(RF)이 다양한 컴포넌트들을 연결하고, 패터닝 디바이스 및 기판의 그리고 이들 상의 피처들의 포지션들을 설정 및 측정하기 위한 기준의 역할을 한다.
조명 시스템은, 방사선을 지향, 성형(shaping), 또는 제어하기 위한 굴절형, 반사형, 자기형, 전자기형, 정전형 또는 다른 타입들의 광학 컴포넌트들, 또는 이들의 임의의 조합과 같은 다양한 타입들의 광학 컴포넌트들을 포함할 수도 있다.
패터닝 디바이스 지지체는 패터닝 디바이스의 배향, 리소그래피 장치의 설계, 및 예를 들어 패터닝 디바이스가 진공 환경에서 홀딩되는지 아닌지의 여부와 같은 다른 조건들에 의존하는 방식으로 패터닝 디바이스를 홀딩한다. 패터닝 디바이스 지지체는 많은 형태들을 취할 수 있다. 패터닝 디바이스 지지체는, 예를 들어 투영 시스템에 대해, 원하는 포지션에 있다는 것을 보장할 수도 있다.
본 명세서에서 사용되는 "패터닝 디바이스"라는 용어는, 예컨대 기판의 타겟 부분에 패턴을 생성하도록 방사선 빔의 단면에 패턴을 부여하는 데 사용될 수 있는 임의의 디바이스를 지칭하는 것으로 폭넓게 해석되어야 한다. 방사선 빔에 부여된 패턴은, 예를 들어 패턴이 위상-시프팅 피처들 또는 소위 어시스트 피처(assist feature)들을 포함하는 경우, 기판의 타겟 부분의 원하는 패턴에 정확히 대응하지 않을 수도 있다는 것에 유의해야 한다. 일반적으로, 방사선 빔에 부여된 패턴은 집적 회로와 같이 타겟 부분에 생성되는 디바이스 내의 특정 기능 층에 대응할 것이다.
여기에 도시된 바와 같이, 그 장치는 투과 타입의 것(예를 들어, 투과형 패터닝 디바이스를 채용함)이다. 대안적으로, 그 장치는 반사 타입의 것(예를 들어, 상기에 언급된 바와 같은 타입의 프로그래머블 미러 어레이를 채용하거나, 또는 반사형 마스크를 채용함)일 수도 있다. 패터닝 디바이스들의 예들은 마스크들, 프로그래머블 미러 어레이들, 및 프로그래머블 LCD 패널들을 포함한다. 본 명세서의 "레티클" 또는 "마스크"라는 용어들의 임의의 사용은 "패터닝 디바이스"라는 더 일반적인 용어와 동의어인 것으로 간주될 수도 있다. "패터닝 디바이스"라는 용어는 또한 그러한 프로그래머블 패터닝 디바이스를 제어함에 있어서의 사용을 위해 패턴 정보를 디지털 형태로 저장하는 디바이스를 지칭하는 것으로 해석될 수 있다.
본 명세서에서 사용되는 "투영 시스템"이라는 용어는, 사용되고 있는 노광 방사에 대해 적합하거나, 또는 액침액(immersion liquid)의 사용 또는 진공의 사용과 같은 다른 요인들에 대해 적합하다면, 굴절형, 반사형, 반사 굴절형(catadioptric), 자기형, 전자기형 및 정전형 광학 시스템들, 또는 이들의 임의의 조합을 포함하는 임의의 타입의 투영 시스템을 포괄하는 것으로서 폭넓게 해석되어야 한다. 본 명세서의 "투영 렌즈"라는 용어의 임의의 사용은 "투영 시스템"이라는 더 일반적인 용어와 동의어인 것으로 간주될 수도 있다.
리소그래피 장치는 또한, 투영 시스템과 기판 사이의 공간을 채우도록 기판의 적어도 일부분이 비교적 높은 굴절률을 가진 액체, 예를 들어 물에 의해 커버될 수도 있는 타입의 것일 수도 있다. 액침액은 또한, 예를 들어, 마스크와 투영 시스템 사이의, 리소그래피 장치 내의 다른 공간들에도 제공될 수도 있다. 액침 기법들은 투영 시스템들의 개구수(numerical aperture)를 증가시키기 위해 본 기술분야에 잘 알려져 있다.
동작시, 조명기(IL)는 방사선 소스(SO)로부터 방사선 빔을 수광한다. 소스 및 리소그래피 장치는, 예를 들어 소스가 엑시머 레이저일 때 별개의 개체들일 수도 있다. 그러한 경우들에서, 소스는 리소그래피 장치의 부분을 형성하는 것으로 간주되지 않고, 방사선 빔은, 예를 들어, 적합한 지향 미러들 및/또는 빔 확장기를 포함하는 빔 전달 시스템(BD)의 도움으로, 소스(SO)로부터 조명기(IL)로 전달된다. 다른 경우들에서, 예를 들어 소스가 수은등일 때, 소스는 리소그래피 장치의 일체적인 부분일 수도 있다. 소스(SO) 및 조명기(IL)는, 필요한 경우 빔 전달 시스템(BD)과 함께, 방사선 시스템으로 지칭될 수도 있다.
조명기(IL)는, 예를 들어 방사선 빔의 각도 세기 분포를 조정하기 위한 조정기(AD), 인테그레이터(integrator)(IN) 및 콘덴서(condenser)(CO)를 포함할 수도 있다. 조명기는 방사선 빔을 컨디셔닝하여 그 방사선 빔의 단면에서 원하는 균일성 및 세기 분포를 갖도록 하는 데 사용될 수도 있다.
방사선 빔(B)은 패터닝 디바이스 지지체(MT) 상에 홀딩되는 패터닝 디바이스(MA) 상에 입사되고, 패터닝 디바이스에 의해 패터닝된다. 방사선 빔(B)은, 패터닝 디바이스(예를 들어, 마스크)(MA)를 가로질러, 투영 시스템(PS)을 통과하는데, 이 투영 시스템은 빔을 기판(W)의 타켓 부분(C) 상으로 포커싱시킨다. 제2 포지셔너(PW) 및 포지션 센서(IF)(예를 들어, 간섭측정 디바이스, 선형 인코더, 2-D 인코더 또는 용량성 센서)의 도움으로, 기판 테이블(WTa 또는 WTb)은 예를 들어 상이한 타겟 부분들(C)을 방사선 빔(B)의 경로에 위치설정하도록 정확히 이동될 수 있다. 유사하게, 제1 포지셔너(PM) 및 다른 포지션 센서(도 1에 명시적으로 도시되지 않음)는, 예를 들어 마스크 라이브러리로부터의 기계적 인출 후에, 또는 스캔 동안에, 방사선 빔(B)의 경로에 대해 패터닝 디바이스(예를 들어, 레티클/마스크)(MA)를 정확히 위치설정하는 데 사용될 수 있다.
패터닝 디바이스(예를 들어, 레티클/마스크)(MA) 및 기판(W)은 마스크 정렬 마크들(M1, M2) 및 기판 정렬 마크들(P1, P2)을 사용하여 정렬될 수도 있다. 예시된 바와 같은 기판 정렬 마크들은 전용 타겟 부분들을 차지하고 있지만, 이들은 타겟 부분들 사이의 공간들 내에 위치될 수도 있다(이들은 스크라이브-레인 정렬 마크들이라고 알려져 있다). 유사하게, 하나 초과의 다이가 패터닝 디바이스(예를 들어, 마스크)(MA) 상에 제공되는 상황들에서, 마스크 정렬 마크들은 다이들 사이에 위치될 수도 있다. 디바이스 피처들 간에서, 다이들 내에 작은 정렬 마크가 또한 포함될 수도 있고, 그 경우에 마커들은 인접한 피처들과는 어떠한 상이한 이미징 또는 프로세스 조건들도 요구하지 않고, 가능한 한 작은 것이 바람직하다. 정렬 마커들을 검출하는 정렬 시스템은 아래에 추가로 설명된다.
도시된 장치는 다양한 모드들에서 사용될 수 있다. 스캔 모드에서, 패터닝 디바이스 지지체(예를 들어, 마스크 테이블)(MT) 및 기판 테이블(WT)이 동기적으로 스캐닝되는 동안, 방사선 빔에 부여된 패턴은 타겟 부분(C) 상으로 투영된다(즉, 단일 동적 노광). 패터닝 디바이스 지지체(예를 들어, 마스크 테이블)(MT)에 대한 기판 테이블(WT)의 속도 및 방향은 투영 시스템(PS)의 확대(축소) 및 이미지 반전 특성들에 의해 결정될 수도 있다. 스캔 모드에서, 노광 필드의 최대 사이즈는 단일 동적 노광시 타겟 부분의 (비-스캐닝 방향으로의) 폭을 제한하는 반면, 스캐닝 모션의 길이는 타겟 부분의 (스캐닝 방향으로의) 높이를 결정한다. 본 기술분야에 잘 알려져 있는 바와 같이, 다른 타입들의 리소그래피 장치 및 동작 모드들이 가능하다. 예를 들어, 스텝 모드가 알려져 있다. 소위 "마스크리스(maskless)" 리소그래피에서는, 프로그래머블 패터닝 디바이스가 정지 상태로 홀딩되지만 변화하는 패턴을 가지며, 기판 테이블(WT)은 이동 또는 스캐닝된다.
상기에 설명된 사용 모드들 또는 완전히 상이한 사용 모드들에 대한 조합들 및/또는 변형들이 또한 채용될 수도 있다.
리소그래피 장치(LA)는 2개의 기판 테이블들(WTa, WTb), 및 그 기판 테이블들이 교환될 수 있는 2개의 스테이션들 - 노광 스테이션(EXP) 및 측정 스테이션(MEA) - 을 갖는 소위 듀얼 스테이지 타입으로 된다. 하나의 기판 테이블 상의 하나의 기판이 노광 스테이션에서 노광되고 있는 동안, 다른 기판이 측정 스테이션에서 다른 기판 테이블 상으로 로딩될 수 있고, 다양한 예비 단계들이 수행될 수 있다. 이것은 이 장치의 스루풋의 상당한 증가를 가능하게 한다. 예비 단계들은, 레벨 센서(LS)를 사용하여 기판의 표면 높이 윤곽들을 매핑시키는 단계, 및 정렬 센서(AS)를 사용하여 기판 상의 정렬 마커들의 포지션을 측정하는 단계를 포함할 수도 있다. 포지션 센서(IF)가 노광 스테이션뿐만 아니라 측정 스테이션에 있는 동안 기판 테이블의 포지션을 측정하는 것이 가능하지 않은 경우, 기준 프레임(RF)에 대해, 양측 모두의 스테이션들에서 기판 테이블의 포지션들이 추적될 수 있게 하도록 제2 포지션 센서가 제공될 수도 있다. 다른 배열들이 알려져 있고, 도시된 듀얼-스테이지 배열 대신에 사용가능하다. 예를 들어, 기판 테이블 및 측정 테이블이 제공되는 다른 리소그래피 장치들이 알려져 있다. 이들은 예비 측정들을 수행할 때 함께 도킹(dock)되고, 그 후에 기판 테이블이 노광을 거치는 동안에 도킹해제(undock)된다.
도 2에 도시된 바와 같이, 리소그래피 장치(LA)는 때때로 리소셀(lithocell) 또는 클러스터라고도 또한 지칭되는 리소그래피 셀(LC)의 부분을 형성하는데, 이는, 기판 상에 전-노광(pre-exposure) 및 후-노광(post-exposure) 프로세스들을 수행하기 위한 장치를 또한 포함한다. 통상적으로, 이들은, 레지스트 층들을 퇴적시키기 위한 스핀 코터(spin coater)들(SC), 노광된 레지스트를 현상하기 위한 디벨로퍼(developer)들(DE), 칠 플레이트(chill plate)들(CH) 및 베이크 플레이트(bake plate)들(BK)을 포함한다. 기판 핸들러 또는 로봇(RO)이 입/출력 포트들(I/O1, I/O2)로부터 기판들을 집어올리고, 이들을 상이한 프로세스 장치 사이에서 이동시킨 후에, 리소그래피 장치의 로딩 베이(loading bay)(LB)로 전달한다. 종종 집합적으로 트랙으로 지칭되는 이들 디바이스들은, 리소그래피 제어 유닛(LACU)을 통해 리소그래피 장치를 또한 제어하는 감독 제어 시스템(supervisory control system)(SCS)에 의해 자체 제어되는 트랙 제어 유닛(TCU)의 제어 하에 있다. 따라서, 스루풋과 프로세싱 효율성을 최대화시키기 위해 상이한 장치가 동작될 수 있다.
리소그래피 장치에 의해 노광되는 기판들이 올바르고 일관성있게(consistently) 노광되기 위해서는, 후속 층들 사이의 오버레이 에러들, 라인 두께들, 임계 치수들(CD) 등과 같은 특성들을 측정하도록 노광된 기판들을 검사하는 것이 바람직하다. 이에 따라, 리소셀(LC)이 위치되는 제조 설비는, 리소셀에서 프로세싱된 기판들(W) 중 일부 또는 전부를 수용하는 메트롤로지 시스템(metrology system)(MET)을 또한 포함한다. 메트롤로지 결과들은 감독 제어 시스템(SCS)에 간접적으로 또는 직접적으로 제공된다. 에러들이 검출되는 경우, 특히 검사가 동일한 배치(batch)의 다른 기판들이 여전히 노광되도록 충분히 빠르게 그리고 곧 행해질 수 있는 경우, 후속 기판들의 노광들에 대해 조정들이 이루어질 수도 있다. 또한, 이미 노광된 기판들은 수율을 개선시키도록 스트리핑(strip) 및 재가공(rework)되거나, 또는 폐기되어, 그에 의해 결점이 있다고 알려진 기판들 상에 추가의 프로세싱을 수행하는 것을 회피할 수도 있다. 기판의 단지 일부 타겟 부분들에만 결점이 있는 경우에, 단지 양호한 타겟 부분들 상에만 추가의 노광들이 수행될 수 있다.
메트롤로지 시스템(MET) 내에서, 검사 장치는 기판들의 특성들을 결정하는 데 사용되고, 특히, 상이한 기판들 또는 동일한 기판의 상이한 층들의 특성들이 층마다 어떻게 변하는지를 결정하는 데 사용된다. 검사 장치는 리소그래피 장치(LA) 또는 리소셀(LC)에 통합될 수도 있거나, 또는 독립형 디바이스(stand-alone device)일 수도 있다. 가장 신속한 측정들을 가능하게 하기 위해, 검사 장치는 노광 직후에 노광된 레지스트 층에서 특성들을 측정하는 것이 바람직하다. 그러나, 레지스트 내의 잠상(latent image)은 매우 낮은 콘트라스트(contrast)를 가지며 - 방사선에 노광된 레지스트의 부분들과 노광되지 않은 레지스트의 부분들 사이에 굴절률에 있어서 단지 매우 작은 차이만이 있다 - 모든 검사 장치가 잠상의 유용한 측정들을 행하기에 충분한 감도를 갖는 것은 아니다. 그에 따라, 측정들은, 관습상 노광된 기판들 상에서 수행되는 제1 단계이고 레지스트의 노광된 부분과 노광되지 않은 부분 사이의 콘트라스트를 증가시키는 후-노광 베이크 단계(PEB) 이후에 행해질 수도 있다. 이 스테이지에서, 레지스트 내의 이미지는 반-잠상(semi-latent)이라고 지칭될 수도 있다. 또한, 현상된 레지스트 이미지 - 그 포인트에서, 레지스트의 노광된 부분들 또는 노광되지 않은 부분들 중 어느 하나가 제거되었음 - 의 측정들을 행하는 것이 가능하거나, 또는 에칭과 같은 패턴 전사 단계 이후에 행하는 것이 가능하다. 후자의 가능성은 결점이 있는 기판들의 재가공에 대한 가능성들을 제한하지만, 여전히 유용한 정보를 제공할 수도 있다.
도 3은 상기에 설명된 타입의 메트롤로지 시스템에서 검사 장치로서 사용될 수도 있는 알려진 분광 스케터로미터를 도시한다. 그것은, 기판(W) 상으로 방사선을 투영하는 광대역(백색 광) 방사선 투영기(2)를 포함한다. 반사된 방사선은 정반사된 방사선(specular reflected radiation)의 스펙트럼(6)(파장의 함수로서 세기)을 측정하는 분광계(spectrometer)(4)로 통과된다. 이 데이터로부터, 검출된 스펙트럼을 야기하는 구조체 또는 프로파일(8)이 프로세싱 유닛(PU) 내에서의 계산에 의해 재구축될 수도 있다. 재구축은, 예를 들어 정밀 결합파 분석(Rigorous Coupled Wave Analysis) 및 비-선형 회귀(non-linear regression)에 의해, 또는 미리 측정된 스펙트럼들 또는 미리 컴퓨팅된 시뮬레이션된 스펙트럼들의 라이브러리와의 비교에 의해 수행될 수 있다. 일반적으로, 재구축을 위해 구조체의 일반적인 형태가 알려져 있으며, 구조체가 만들어진 프로세스의 지식으로부터 일부 파라미터들이 가정되어, 구조체의 단지 몇몇 파라미터들만이 스케터로메트리 데이터로부터 결정되게 한다. 그러한 스케터로미터는 수직-입사(normal-incidence) 스케터로미터 또는 경사-입사(oblique-incidence) 스케터로미터로서 구성될 수도 있다.
컴퓨터 모델링 기법들은 시스템의 성능을 예측, 보정, 최적화 및/또는 검증하는 데 사용될 수도 있다. 그러한 기법들은 하나 이상의 파라미터 값들을 모니터링하고, 이들 파라미터 값들에 기초하여 시스템 성능을 예측, 보정, 최적화 및/또는 검증할 수도 있다. 컴퓨터 모델은 이력 파라미터 값(historical parameter value)들을 사용하여 구축될 수도 있고, 파라미터 값들의 예측들을 동일한 파라미터들에 대한 실제 값들과 비교하는 것에 의해 끊임없이 업데이트, 개선 또는 모니터링될 수도 있다. 특히, 그러한 컴퓨터 모델링 기법들은 리소그래피 시스템 또는 프로세스의 시스템 성능을 예측, 보정, 최적화 및/또는 검증하는 데 사용될 수도 있다.
현재는, 예측 모델들, 및 더 구체적으로는 고장들을 예측하는 예측 모델들의 생성에 상당한 노력이 소비된다. 예를 들어, 통계적 프로세스 제어 접근법들, 머신 학습 접근법들 및 데이터 마이닝 접근법들을 포함할 수도 있는 방법론들이 예측 모델들을 생성하도록 채용될 수 있는데, 이 예측 모델들은 머신 고장을 예측하고 고장이 발생하기 전에 경보들을 생성할 수 있다. 사용된 방법들 중 일부는 베이지안 추론(Bayesian inference), 신경 네트워크들, 서포트 벡터 머신(Support Vector Machine)들 등이다.
현재 방법들은 수 개의 결점들을 갖는다: 모델들을 최적화시키기 위해 또는 적합한 데이터 변환들을 정의하기 위해, 일반적으로 비즈니스 및/또는 도메인 지식이 필요하다. 다시 말해, 머신 학습은 도메인 전문가들의 (연속적인) 입력을 요구한다. 고비용의 수리들(부품 비용, 인건비, 정지 시간(downtime) 등)의 경우, 긍정 오류(false positive)의 비용을 최소화시키기 위해 경보에 대한 이중 체크가 필요하다. 이 "경보 검증"은 도메인 전문가들에 의해 다시 이루어질 필요가 있다. 이들 경보 검증들은 모델 알고리즘들에 의해 생성되지 않는다. 다른 결점은, 원칙적으로 이슈마다 모델이 생성되어, 하나 초과의 모델이 생성될 필요가 있을 때 큰 리드 타임(lead time)들을 초래한다는 점이다.
리소그래피 장치는 많은 서브시스템들을 포함하는 복잡한 분산 프로세싱 시스템으로 여겨질 수 있다. 리소그래피 장치는 전형적으로 다른 데이터 소스들 간에서 이벤트 로그(event log)를 생성한다. 이 이벤트 로그는 리소그래피 시스템의 각각의 서브시스템에 의해 생성되고, 리소그래피 장치 이벤트들의 기록이다. 기록된 이벤트들을 링크시키는 메커니즘인 예외 링킹(exception linking)이 인과 관계(원인 및 결과)가 추적될 수 없게 한다; 그것은 동일한 관찰가능한 근본 예외(근본 원인)를 본질적으로 설명하는 기록된 이벤트들을 단순히 클러스터링한다. 이벤트 로그는 수리 전략들을 표시하지도 않고, 솔루션들 및/또는 설계 개선들을 표시하지도 않는다. 이벤트 로그 데이터는 또한 동기화가 결여되어 있다; 상이한 서브시스템들의 클록들이 반드시 동기화되지는 않는다. 결과로서, 예외 링킹은 통상적으로 근본 예외들을 검출함에 있어서 50%보다 더 정확하지가 않다.
이전 고장들을 해결한 솔루션들을 재활용하는 것을 통해 진단 시간이 효과적으로 최소화될 수도 있다. 그러나, 전례 없는 고장들을 효과적으로 해결하거나 또는 과거 이벤트들로부터 학습하여 장래 설계들을 개선시키기 위해, 이벤트 로그는 이벤트-대-고장 경로(event-to-failure path)들을 신뢰성있게 식별하기 위한 내재된 인과 구조체가 결여되어 있다. (결함) 이벤트 평가 및 전파 경로들을 설명하는 정보가 스캐너 예상 모델들의 개발을 위해 또한 중요한데, 이 스캐너 예상 모델들은 이제 주로, 예측 관찰가능량(predictive observable)들(특히, 성능 파라미터들) 사이의 알려진 인과 관계들에만 단지 관련되는 전문적 지식에 기초한다. 이것은, 잠재적으로 예측되는, 그리고 가능하게는 결합되는 관찰가능량들의 알려지지 않은 콜렉션을 탐구되지 않은 상태로 남겨둔다.
본 명세서에서, 리소그래피 장치는 구동 및 응답 관찰가능량들(즉, 원인 및 결과 관계들), 구체적으로는 "극단 이벤트(extreme event)들"(입력 데이터에서의 파라미터 편위 이벤트들 또는 불규칙성들) 및 고장 이벤트들(예를 들어, 머신 에러들, 부품 교환들, 교정들 등)의 네트워크의 관점에서 설명될 수 있다는 것이 제안된다.
전달 엔트로피의 개념은 이들 이벤트들의 쌍들 사이의 인과 관계들을 결정하는 데 사용될 수 있다는 것이 제안된다. 그러나, 이 방법론은 다른 기존 모델링 접근법들과 또한 조합될 수 있다. 이것은 네트워크의 인과 매핑이 수행될 수 있게 하고, 이로부터 극단 이벤트 대 고장 이벤트 경로들 및 근본 원인들이 결정될 수 있다. 교정된 전기기계 시스템의 경우, 데이터에서의 다음의 6개의 "극단" 이벤트들이 임박한 고장들: 스파이크(spike)들, 스텝(step)들, 트렌드의 변화들, 표준 편차의 변화들, 트렌드에 대한 표준 편차들의 변화들 및 제어 한계 위반들의 표시일 수도 있다는 것이 관찰되었다. 이들 이벤트들의 극단성의 레벨은 연속적 또는 디지털 스케일로 표시될 수도 있다(예를 들어, 0-> 스파이크 없음, 1-> 작은 스파이크, 2, 큰 스파이크 등).
인과 네트워크는 노드들과 방향성 에지들(링크들)로 이루어질 수도 있다. 노드들은 극단 데이터 이벤트들 및 고장 이벤트들을 표시한다. 방향성 에지들은 인과성의 방향을 표시하고, 인과 지연(즉, 원인과 결과 사이의 시간 차이들) 및 조건부 확률로 라벨링될 수도 있다. 극단 데이터 이벤트로부터 고장 이벤트로 이어지는 모든 에지는 예측 모델인 것으로 간주될 수 있다.
도 4는 4개의 노드들: 3개의 극단 데이터 이벤트 노드들 A, B, D 및 고장 이벤트 노드 C를 포함하는 단순한 인과 방향성 그래프(causal directed graph)를 도시한다. 각각의 방향성 에지는 인과 지연: 노드 A와 노드 B 사이에서는 10분, 노드 D와 노드 B 사이에서는 4일 그리고 노드 B와 노드 C 사이에서는 4일로 라벨링된다. 화살표들 FP1 및 FP2는 고장 이벤트 C로 이어지는 2개의 상이한 고장 경로들을 표시한다. 인과 방향성 그래프는, 극단 데이터 이벤트 D에 후속하여 4일 후에 극단 데이터 이벤트 B가 관찰되어야 하거나, 또는 극단 데이터 이벤트 A에 후속하여 10분 후에 극단 데이터 이벤트 B가 관찰되어야 하고, 고장 이벤트 C는 극단 데이터 이벤트 B가 관찰된 후 4일 후에 일어날 것으로 기대될 수 있다는 것을 교시한다. 극단 데이터 이벤트 B는, 관찰된 고장 경로(FP1 또는 FP2)에 따라, 극단 데이터 이벤트 A 또는 D의 경보 검증인 것으로 간주될 수 있다.
전달 엔트로피는, 비트들에 있어서의 정보 전달의 연산(computation)을 통해, 동시에 관찰되는, 가능하게는 결합되는 시계열의 임의의 쌍 사이에서 관찰가능량들의 인과 네트워크의 추론을 가능하게 한다. 시계열은, 예를 들어, 이벤트 로그 데이터, 성능 파라미터들, 보드 덤프(board dump)들, 테스트 데이터, 메트롤로지 데이터 또는 트레이스 데이터(trace data)로부터 비롯될 수도 있다. 결과적인 전달 엔트로피는 구동 및 응답 관찰가능량들(이벤트들)을 구별하고 이들의 상호작용들에서 시간-비대칭을 검출하는 것이 가능하다. 모델의 필요 없이 임의의 선형 및 비-선형 원인 영향(causal effect)들을 식별하는 것이 가능한 비-파라미터 측정이기 때문에, 전달 엔트로피가 리소그래피 장치의 기초 역학의 더 나은 이해를 효과적으로 얻을 수 있다. 이것은 구조적 설계 개선들뿐만 아니라, 정확한 고장 진단 및 예상을 도울 것이다. 이것은 다음의 것을 통해 달성될 수 있다:
- 극단 이벤트들 및 고장 이벤트들에 관한 관찰된 시계열로부터 리소그래피 장치 인과 연결성의 재구축;
- 동시적인 다수의 모델들의 생성;
- 고장 진화 및 상이한 고장 경로들의 분석;
- 고장들에 대한 근본 원인들의 식별;
- 성능 저하의 분석;
- 리소그래피 장치 제어 성능의 분석;
도 5는 설명된 바와 같은 전달 엔트로피 형식을 사용하는 방법을 도시하는 흐름도이다.
머신 시계열(500)이 단계 510에서 임의로 콘텍스트 필터링된다. 리소그래피 장치에서, 콘텍스트 또는 상태는 파라미터 값이 기록될 때 장치가 있는 모드 또는 동작 상태를 지칭한다. 덜 공식적으로는, 그것은 파라미터 값이 기록될 때 머신이 행하고 있는 것의 측정치이다. 상이한 콘텍스트들은, 예를 들어: "가동(up)", "생산", "유휴(idle)", "정규 정지(scheduled down)", 또는 "비정규 정지(unscheduled down)"를 포함할 수도 있다. 통상적으로, 모니터링되고 있는 파라미터들의 파라미터 값들로부터 콘텍스트를 결정하는 것이 가능하다. 이를 행하기 위해, 예측 모델은, 파라미터 데이터로부터 파라미터 데이터 콘텍스트를 결정하기 위해 콘텍스트 엔진을 포함 또는 사용할 수도 있다. 그러나, 특정 시간들에는, 파라미터 데이터로부터의 콘텍스트의 결정이 더 어려워진다. 특히, 이것은 콘텍스트 전이(context transition) 동안; 즉, 리소그래피 장치가 한 동작 상태로부터 다른 동작 상태로 전이할 때 그러할 수도 있다. 그러나, 이것은 모든 전이들에 대해 반드시 그러한 것은 아닐 것이다. 콘텍스트 엔진이 콘텍스트를 결정함에 있어서 에러를 일으키는 경우에, 모델 출력 정확도가 떨어질 수도 있다. 통상적으로, 콘텍스트 엔진은 콘텍스트들 사이의 각각의 전이가 순간적이라고 가정한다. 그러나, 현실은 각각의 전이에 유한한 시간이 걸리고, 전이 동안에는 콘텍스트 결정이 덜 정확할 수도 있다는 것이다.
그에 따라, 콘텍스트 필터링은 모든 콘텍스트들에 대해 콘텍스트 결정 정확도의 선험적 지식(a priori knowledge)을 사용하여 콘텍스트 결정에 대한 품질 가중치를 결정한다. 이 품질 가중치는 콘텍스트의 세그먼트마다 결정될 수도 있다. 각각의 콘텍스트가 콘텍스트 세그먼트들로 세그먼트화될 수도 있다. 이 세그먼트화는 각각의 콘텍스트를 전이 세그먼트들 및 중간 세그먼트들로 세그먼트화할 수도 있다. 더 구체적으로는, 전이 세그먼트들은 시작 세그먼트 및 종료 세그먼트를 포함할 수도 있다. 실시예에서, 전이 세그먼트들은 중간 세그먼트에 비해 상대적으로 짧을 수도 있다. 그것은 또한, 적절하다면, 하나 이상의 콘텍스트들이 3개보다 더 적거나 더 많은 세그먼트들로 세그먼트화된다는 것일 수도 있다.
특정 타이밍도들 및 시스템 예들과 함께 콘텍스트 필터링의 한층 더한 설명은 "콘텍스트 필터링"이라는 헤딩 하에서 아래에 설명된다.
단계 520에서, 콘텍스트 필터링된 시계열로부터 극단 데이터 이벤트들이 식별된다. 실시예에서, 데이터에서 최대 6개의 상이한 타입들의 이벤트들이 임박한 고장들의 표시로 간주될 수도 있다. 이들 극단 이벤트들은: 스파이크들, 스텝들, 트렌드의 변화들, 표준 편차의 변화들, 트렌드에 대한 표준 편차들의 변화들 및 제어 한계 위반들 중 하나 이상을 포함할 수도 있다. 그에 따라 극단 이벤트를 식별하는 것은, 입력 시계열(500)에서 이들 이벤트들 중 하나 이상을 식별하는 것을 포함할 수도 있다. 초기 컨디셔닝 단계에서, 입력 파라미터 시계열은, 예를 들어, 극단 이벤트의 존재 또는 다른 경우를 표시하는 바이너리 데이터 스트림(binary data stream)들을 포함하는 "극단 이벤트 시계열"로 변환될 수도 있다(예를 들어, 0=극단 이벤트 없음, 1=극단 이벤트). 극단성의 정도들을 포착하기 위해 보다 많은 레벨들(또는 연속적인 스케일)이 가능하다(예를 들어, 0=극단 이벤트 없음, 1=사소한 극단 이벤트, 2=주요한 극단 이벤트).
콘텍스트 필터링은 위상 지연을 초래할 수도 있고 그에 따라 각각의 파라미터의 시간은 "파라미터 데이터에서의 이벤트 표시자의 시간 결정"이라는 제목의 후속 섹션에서 설명되는 방법론에 따라 결정될 수도 있다.
스텝(예를 들어, 모니터링된 파라미터 값의 지속적인 변화) 이벤트 표시자의 경우에, 스텝에 후속하여 프로세스 능력의 증가가 있는지 여부가 결정될 수도 있다. 그러한 경우, 스텝은 극단 이벤트의 표시자로 간주되는 것보다는 오히려 유지보수 액션으로 인한 것일 수도 있다. 프로세스 능력은, 적어도 하나의 프로세스 한계, 사양 또는 다른 요건 내에서 출력을 생성하는 프로세스의 능력의 측정치이다. 프로세스 능력은 프로세스 능력 지수(예를 들어, Cpk 또는 Cpm)의 관점에서 또는 프로세스 성능 지수(예를 들어, Ppk 또는 Ppm)로서 표현될 수도 있다.
단계 530에서, 고장 이벤트들을 포함하는 부가적인 시계열(540)이, 존재하는 임의의 극단 이벤트들이 식별된 (콘텍스트 필터링된) 시계열(500)에 부가된다. 상이한 데이터 소스들(극단 이벤트들을 포함하는 시계열 및 고장 이벤트들을 포함하는 시계열)로부터의 레코드들의 매칭은 "데이터 레코드 매칭"이라는 제목의 후속 섹션에서 설명되는 방법론에 따라 조합 및 매칭될 수도 있다. 이것은, 복수의 데이터 소스들(시계열(500 및 540))로부터의 레코드들(극단 이벤트들 및 고장 이벤트들)을 매칭시키는 것을 설명하는데, 이 데이터 소스들은 데이터의 매칭 품질에 있어서 이들 사이에 변동을 갖는다. 예를 들어, 극단 이벤트들 중 일부는 (예를 들어) 밀리초 정밀도의 시계열(예를 들어, 파라미터는 매 밀리초마다 샘플링된다)로부터 획득될 것이다; 다른 파라미터들은 단지 매 초마다, 또는 단지 매 시간 또는 하루마다 샘플링될 것이다. 이 방법은, 연속적으로 덜 엄격한 매칭 룰(matching rule)들을 사용하여 매칭된 레코드들을 획득하기 위해 데이터 소스들로부터의 레코드들을 반복적으로 매칭 및 필터링하는 단계를 포함하고, 매칭 룰들은 매칭 품질의 변동에 기초하여 정의된다. 더 구체적으로는, 이 단계는, 2개의 데이터 소스들 사이의 엔트로피를 최소화(예를 들어, 엔트리들 사이의 거리들을 최소화)시키는 단계를 포함할 수도 있다.
단계 550에서, 고장들의 수 및 선정된 고유 모델 검증 접근법(머신 학습의 표준)에 따라, 예를 들어, 저품질 및 고품질 데이터의 서브세트 및 혼합에 기초하여 인과 네트워크들이 생성된다. 이 데이터는 전달 엔트로피 알고리즘에 대해 입력될 수도 있는데, 그 결과는 인과 네트워크를 생성하는 데 사용된다. 고장 이벤트 노드(직접 또는 간접)로 이어지는 각각의 극단 데이터 이벤트 노드는 예측 모델로서 보여질 수 있다. 관계에 관한 모든 기능적, 가능하게는 다변량 및 비선형 정보는 에지 파라미터들(방향, 인과 지연, 전이 확률)로 변환된다는 것을 이해해야 한다. 전달 엔트로피, 및 리소그래피 시스템들에의 그의 적용은, "전달 엔트로피를 사용하는 인과 관계들의 식별"이라는 헤딩 하에서, 아래에 더 상세히 설명된다.
임의적인 단계 560에서, 자동화된 모델 검정(automated model qualification)이 수행된다. 이것은 에지별 백엔드 테스팅(per-edge backend testing)을 수행하는 것을 포함할 수도 있다. 백엔드 테스팅을 수행하는 데 요구되는 모든 정보는 생성된 데이터 세트에서 이용가능하다: 백엔드 테스팅 그리고 그에 따라 초기 모델 검정이 또한 자동화될 수 있다. 백엔드 테스팅은 모델 구축 및 유지보수의 중요한 부분일 수도 있다. 백엔드 테스팅은, 결과들이 알려져 있는 이력 데이터에 모델을 적용하는 것, 및 알려진 결과들을 이들 결과들에 대한 모델의 예측들과 비교하는 것을 포함한다. 이러한 방식으로 모델의 예측들의 정확도가 검증될 수 있다. 또한, 모델 파라미터들은 모델이 다시 실행될 때 모델링된 결과들과 실제 결과들 사이의 차이를 최소화시키기 위해 변경될 수도 있다. 백엔드 테스팅의 결과는 혼동 매트릭스(또는 에러 매트릭스) 및 관련 모델 특성들(예를 들어, 정밀도 및/또는 감도)일 수도 있다.
그 후에, 백엔드 테스팅의 결과들은 이익 메트릭(benefit metric)(예를 들어, 확률 밀도 함수(probability density function)(PDF))을 결정하는 데 사용될 수 있다. 이익 메트릭은 인과 지연의 함수로서 극단 데이터 이벤트(또는, 더 구체적인 예에서, 검출된 극단 데이터 이벤트의 결과로서 생성된 경보)를 처리(attend to)하는 이익을 정량화할 수도 있다. 이 PDF는, 후속하여 설명되는 바와 같이, 동적 경보 우선순위화를 결정하는 데 사용될 수 있다. 그러한 이익 메트릭은 예측된 고장 이벤트에 대한 기본 확률 분포들의 형태를 취할 수도 있다. 알려진 비즈니스 정보로부터 획득된 이익 메트릭 및 비용 메트릭에 기초하여, 시간의 함수로서 각각의 경보를 처리하는 비용에 대한 기대 이익을 평가하는 것이 가능하다. 특정 예에서, 기본 고장 확률들은 와이블 근사(Weibull approximation)에 의해 근사될 수도 있다. 이익 메트릭의 생성 및 그것이 경보들의 관리에 사용될 수 있는 방법의 추가의 세부사항들이 "경보들을 관리하는 방법들"이라는 후속 섹션에서 설명된다.
임의적인 단계 570에서, 그것은 "방향성 사이클들"이 네트워크에서 나타나는데, 이는 고장 이벤트를 초래한다는 것일 수도 있다. 그러한 방향성 사이클들이 결정되는 경우, 사이클로 이어지는 근본 원인 이벤트가 또한 검출될 수 있다. 이 정보는 고장의 원인을 조사하는 데 필요한 노력을 최소화시키는 데 사용될 수 있다. 방향성 사이클들은 노드들 사이의 비이행성(intransitivity)을 표시한다. 도 6은 그러한 비이행성을 예시한다. 그것은 관계 R을 설명하는 에지들에 의해 관련된 3개의 노드들 A, B 및 C를 도시하여, 노드 A가 노드 B에 의존하고(A R B), 노드 B가 노드 C에 의존하며(B R C), 노드 C가 노드 A에 의존하도록(C R A) 한다. 이것은 관계 R이 사이클의 콘텍스트 내에서 비이행성임을 암시한다. 그러한 비이행성을 원하거나 또는 원하지 않을 수 있다. 그러나, 본 발명자들은 근본 원인들이 사실상 비이행성이 아니라고 생각한다. 결과적으로, 그러한 방법은 다수의 잠재적인 근본 원인들을 배제시키는 데 사용되고, 그에 따라 더 빠르고 효율적으로 실제 근본 원인을 식별할 수도 있다.
방향성 그래프에서의 방향성 사이클(즉, 단계 550에서 생성된 인과 네트워크)은 고려 하의 관계가 (적어도) 방향성 사이클의 콘텍스트 내에서 비이행성일 수 있음을 암시한다. 인과성의 관점에서, 이것은 반직관적인(counter-intuitive) 것처럼 보일 수도 있다: 인과성은 이행성인 경향이 있다. 그러나, 인과 추론에서는, 인과 비이행성이 알려져 있고, 인과 항상성(causal homeostasis)이라고 지칭된다. 인과 항상성은, 예를 들어, 시간 경과에 따라 안정된 세트(또는 보강 메커니즘)로서 함께 견디는 특성들의 세트를 발생시키는 원인들 및 결과들의 인터로킹 세트(interlocking set)를 설명할 수도 있다. 이 형태의 인과성은 복잡한(예를 들어, 생물학적) 시스템들에서의 특정 피처들을 설명하는 데 사용된다.
비이행성의 원하지 않는 방향성 사이클들이 관찰될 수도 있지만 근본 원인들이 비이행성이 아니라는 사실은, 잠재적인 근본 원인들이 원하지 않는 방향성 사이클과 연결되는 원하지 않는 노드들로서 결정될 수도 있지만, 원하지 않는 방향성 사이클의 부분을 형성하지는 않는다는 것을 의미한다. 그에 따라, 원하지 않는 사이클 내의 모든 노드들이 잠재적인 근본 원인들로서 묵살될 수 있다. 물론, 일부 방향성 사이클들은 원하는 것일 것이다(예를 들어, 계획된 그리고/또는 바람직한 피드백 또는 보강 메커니즘들).
그러나, 이유가 무엇이든지, 근본 원인 노드는 그래프 상에 존재하지 않고, 원하지 않는 방향성 사이클은 사이클의 부분이 아닌 (그래프 상의) 연결된 노드들을 갖지 않는다는 것을 이해해야 한다. 이 경우에, 사이클에서의 가장 중요한 노드는 근본 원인 노드인 것으로 추정될 수 있다. 그러한 노드가 실제로 (비이행성인) 근본 원인이 되지 않을 것이지만, 그것은 후속 분석에서 실제 근본 원인을 식별하도록 도울 것이다. 노드들의 상대적인 중요성이 상이한 방식들로 정의될 수도 있고, 이 방법은 적용의 범주 및 콘텍스트에 의존할 수 있다. 예를 들어, 중앙성 분석이 가장 중요한 노드를 결정하는 데 사용될 수도 있다. 임의의 적합한 중앙성 메트릭 또는 방법이 채용될 수 있다.
단계 570은 다음의 주요 스테이지들 - 1) 임의의 방향성 사이클들을 결정함, 2) 방향성 사이클들을 원하는지 여부를 결정함 및 3) 근본 원인을 결정함을 포함할 수도 있다. 이들 주요 스테이지들 각각에 수반된 개념들은 "방향성 사이클들을 통한 근본 원인 결정"이라는 후속 섹션에서 확장된다.
임의적인 단계 580에서, 상이한 고장 경로들이 결정될 수 있다. 이 정보는 반응 진단 전략들을 최적화시키는 데 사용될 수 있다. 또한, 고장 경로 상의 후속 노드들은 이전 "극단 이벤트들"의 검증으로서 보여질 수 있다.
단계 590에서, 모델 검정 단계 이후의 (감도, 정밀도, 인과 지연 등의 관점에서의) 하나 이상의 품질 기준들을 만족시키는 모델들은 연관된 동적 우선순위 메트릭 및/또는 만료 시간과 조합하여 전개되는데, 이는, 아래의, 앞서 언급된 "경보들을 관리하는 방법들" 섹션에 설명되는 바와 같이 결정될 수도 있다.
결과적으로, 예측 모델들을 생성하는 것에 부가적으로, 이 방법은 고장의 근본 원인(원하지 않는 사이클들이 식별될 때), 상이한 고장 메커니즘들 및 경보 검증들을 위한 제안들을 식별하도록 도울 수 있다.
콘텍스트 필터링
리소그래피 장치들을 모델링할 때, 콘텍스트 정보의 고유 결함들은 잘못된 모델 입력 데이터를 초래할 수도 있는데, 이는 차례로 잘못된 모델 출력(예를 들어, 긍정 오류들)을 초래할 수도 있다는 것이 나타났다. 추가로, 콘텍스트 결정에 따른 이슈들의 결과로서 매우 유의한 수의 긍정 오류들이 발생하는 것으로 나타났다.
각각의 콘텍스트 세그먼트에 대해; 즉, 모든 콘텍스트의 모든 세그먼트에 대해 콘텍스트 결정의 정확도의 측정치를 결정하기 위해 선험적 분석이 사용될 수도 있다. 이것은 각각의 콘텍스트 세그먼트에 대한 콘텍스트 결정이 올바를 확률의 측정치를 포함할 수도 있다. 품질 가중치는 이 정확도 측정치로부터 도출될 수도 있다. 그것은 품질 가중치가 중간 세그먼트들에 비해 전이 세그먼트들에 대해 더 낮을 것이라는 것일 수도 있다. 그러나, 이것은 반드시 그러한 것은 아닐 것이며, 특정 세그먼트에 할당되는 품질 가중치는 선험적 분석 그리고 그에 따라 실제 콘텍스트 및 그 콘텍스트의 세그먼트에 의존할 것이다.
실시예에서, 품질 가중치들의 데이터베이스 또는 파일이 결정될 것이며, 하나의 가중치는 시스템(예를 들어, 리소그래피 장치)이 있을 수도 있는 가능한 콘텍스트 세그먼트들 각각에 대한 것이다. 예를 들어, "유휴 상태" 콘텍스트의 시작, 중간 및 종료 세그먼트들 각각에는 품질 가중치가 할당될 수도 있다. 유사하게, "생산 상태" 콘텍스트의 각각의 세그먼트 각각에는 품질 가중치가 할당될 수도 있다. 이것은 각각의 콘텍스트에 대해 행해질 수 있다.
정확도 측정치, 그리고 그에 따라 품질 가중치는 실제 콘텍스트 전이에 또한 의존할 수도 있다는 것을 이해해야 한다. 콘텍스트 전이는 시스템이 어느 콘텍스트로부터 전이하고 있는지와 어느 콘텍스트로 전이하고 있는지를 설명한다. 구체적으로는, 정확도 측정치는, 시스템이 동작하고 있는 콘텍스트 세그먼트뿐만 아니라, 선행 및/또는 후속 콘텍스트 세그먼트에도 의존할 수도 있다. 특정 예로서, "생산 상태" 콘텍스트의 종료 세그먼트에 적용가능한 품질 측정치는 후속 콘텍스트에 의존할 수도 있으며, 예를 들어, 품질 측정치는 이 후속 콘텍스트가 "정규 정지" 또는 "비정규 정지"인 경우에 상이할 수도 있다. 결과로서, 실시예에서, 품질 가중치는 콘텍스트 전이마다 각각의 콘텍스트 세그먼트에 대해 결정될 수도 있다. 이것은 품질 가중치가 각각의 콘텍스트 세그먼트에 대해 그 바로 앞의 콘텍스트 세그먼트 또는 그 바로 다음의 콘텍스트 세그먼트에 의존하여 결정될 수도 있다는 것을 의미한다. 그에 따라, 특정 예로서, "유휴 상태" 콘텍스트의 종료 세그먼트에 대해 각각의 가능한 후속 상태에 대해 상이한 품질 가중치가 결정될 수도 있다. 유사하게, "유휴 상태" 콘텍스트의 시작 세그먼트에 대해 각각의 가능한 선행 상태에 대해 상이한 품질 가중치가 결정될 수도 있다.
일단 이 데이터베이스가 결정되었으면, 그것은 콘텍스트 결정에 따라 파라미터 출력에 품질 가중치를 할당하는 데 사용될 수 있다. 그 후에, 품질 가중치는 모델 입력으로서 사용될 수 있다. 실시예에서, 이 품질 가중치는 허용가능한 품질 가중치(예를 들어, 임계치를 초과하는 품질 가중치)를 갖는 세그먼트들에 대응하는 파라미터 데이터가 정상적으로 고려되고 허용가능하지 않은 품질 가중치(예를 들어, 임계치 미만의 품질 가중치)를 갖는 세그먼트들에 대응하는 파라미터 데이터가 무시되도록 하는 바이너리(1 또는 0)일 수도 있다. 그러한 실시예에서, 그것은 중간 세그먼트들이 항상 "1"로 가중되는 것일 수도 있다. 그러나, 다른 가중 체계들이 가능하다; 그러한 가중 체계들은 상이한 분해능(resolution)을 가질 수도 있다(반드시 바이너리는 아님). 예를 들어, 가중치는, 일부 파라미터 데이터에, 파라미터 데이터에 대응하는 세그먼트에 할당되는 품질 가중치에 따라 변동하는 고려 레벨이 주어질 수도 있도록 이루어질 수도 있다.
도 7은 예시적인 실시예에 따른, 도 5의 단계 510에서 수행되는 것과 같은 콘텍스트 필터링 방법을 예시하는 타이밍도이다. 시간 축(t), 및 파라미터 출력(610)에 대한 트레이스가 도시된다. 이 아래에는 리소그래피 장치 콘텍스트 엔진 출력(720)이 파라미터 데이터에 할당된 콘텍스트를 예시하고 있다. 이 예에서, 출력의 제1 부분에 콘텍스트(C1)가 할당되고, 출력의 제2 부분에 콘텍스트(C2)가 할당되며, 출력의 제3 부분에 콘텍스트(C3)가 할당된다. 이들 콘텍스트들 각각은 세그먼트들로 세그먼트화되었다. 단지 제1 콘텍스트(C1)의 후반 부분 및 콘텍스트(C3)은 초기 부분만이 도시된다. 결과적으로, 예시된 시간프레임은 콘텍스트(C1)의 중간 세그먼트(IS1) 및 종료 세그먼트(ES1), 콘텍스트(C2)의 시작 세그먼트(BS2), 중간 세그먼트(IS2) 및 종료 세그먼트(ES2), 및 콘텍스트(C3)의 시작 세그먼트(BS3) 및 중간 세그먼트(IS3)를 나타낸다. 트레이스(730)는 품질 가중치의 출력을 나타낸다. 알 수 있는 바와 같이, 이 출력은 세그먼트(IS1)에 대해 "1"에 있지만, 전이 세그먼트들(ES1 및 BS2) 동안 "0"으로 떨어진다. 이것은 콘텍스트(C1)의 종료 세그먼트들 및 콘텍스트(C2)의 시작 세그먼트들 동안의 파라미터 출력 데이터(710)가 신뢰성이 없는 것으로 앞서 결정되었기 때문일 수도 있다. 콘텍스트 전이가 콘텍스트(C1)로부터 콘텍스트(C2)로라는 사실은 고려될 수도 있거나 또는 고려되지 않을 수도 있다. 품질 가중치 출력(730)은 중간 세그먼트(IS2) 동안 다시 "1"이고, 전이 세그먼트(ES2) 동안 다시 "0"으로 떨어진다. 그러나, 품질 가중치 출력(730)이 전이 세그먼트(BS3) 동안 "1"이어서 콘텍스트(C3)의 시작 세그먼트 동안의 파라미터 데이터가 허용가능한 품질로 된 것으로 평가되었음을 표시한다는 것을 알 수 있다. 품질 가중치 출력(730)은 세그먼트(IS3) 동안 "1"로 유지된다.
도 8은 콘텍스트 필터링 방법에 따른, 파라미터 데이터에 품질 가중치를 할당하도록 동작가능한 시스템을 예시하는 시스템도이다. 콘텍스트 데이터(810)가 품질 가중치 룰세트(quality weight ruleset)(820)를 도출하는 데 사용된다. 품질 가중치 룰세트(820), 콘텍스트 데이터(810) 및 모델 입력 데이터(예를 들어, 센서 출력으로부터의 파라미터 데이터)(830)는 콘텍스트 엔진(850)을 포함하는 예측 모델(840)로의 입력들로서 사용된다. 예측 모델은 콘텍스트 엔진(850)의 출력에 따라 모델 입력 데이터(830)에 품질 가중치를 할당하기 위해 품질 가중치 룰세트(820)를 사용할 것이다.
파라미터 데이터에서의 이벤트 표시자의 시간 결정
스텝들, 스파이크들, 단계 520의 설명에서 설명된 것들 중 임의의 것과 같은, 센서들로부터 출력된 파라미터 데이터의 이벤트 표시자들은 다수의 이벤트들을 표시할 수 있다. 특히, 이벤트들은 극단 이벤트들 및 고장 이벤트들을 포함할 수도 있다. 파라미터 데이터에서 이벤트 표시자들을 상관시키는 것을 가능하게 하기 위해, 이벤트 표시자의 발생 시간을 충분한 정확도로 결정하는 것이 중요하다. 이것이 행해질 수 없는 경우, 이벤트 표시자에 의해 표시된 이벤트가 머신 상에서 수행되는 액션(예를 들어, 유지보수 액션)의 결과인지 또는 원인인지 여부를 결정하는 것이 가능하지 않다.
그에 따라, 파라미터 데이터에서 스텝들 및/또는 스파이크들과 같은 이벤트 표시자들을 식별하고 대응하는 이벤트가 발생한 시간의 정확한 추정치를 제공하는 방법들이 개시된다.
파라미터 데이터(입력 시계열)의 필터링은 종종 위상 지연을 발생시키는데, 이는 이벤트 표시자에 대한 시간, 그리고 그에 따라 극단 이벤트 또는 고장 이벤트의 시간의 임의의 결정에 있어서의 부정확도를 초래한다. 이를 완화시키기 위해, 파라미터 데이터 시계열이 또한 시간에 있어서 반전되고 동일한 필터가 적용되는 것(반-인과 필터링(anti-causal filtering))이 제안된다. 그 후에, 이들 2개의 필터링된 시계열은 시계열 내의 임의의 이벤트 표시자들의 시간을 발견하도록 조합될 수 있다. 반-인과 필터링의 효과는 위상 지연의 효과를 상쇄시키는 것이다; 인과적으로 그리고 반-인과적으로 필터링된 2개의 시계열은, 동일한 크기이지만 반대 부호인 위상 지연을 가질 것이다. 그에 따라, 이들 시계열의 적절한 조합(예를 들어, 평균)이 위상 지연을 상쇄시킬 것이다.
도 9는 파라미터 데이터의 시계열 내의 이벤트 표시자에 시간을 부여하는 방법을 예시하는 흐름도이다. 그러한 방법은 예시적인 실시예에 따라 도 5에 도시된 방법의 단계 520에서 사용될 수도 있다. 단계들은 다음과 같고, 그 후에 더 상세히 이후에 설명된다(일부 단계들의 순서는 바뀔 수도 있다):
910- 센서로부터 입력 파라미터 데이터를 획득함;
920- 입력 파라미터 데이터의 신호 엔벨로프(signal envelope)를 결정함;
930- 데이터 엔벨로프들을 미분(differentiate)함;
940- 데이터 엔벨로프를 인과적으로 그리고 반-인과적으로 필터링함;
950- 미분된 엔벨로프들에서 스파이크들의 시간을 결정함; 및
960- 인과적으로 그리고 반-인과적으로 필터링된 데이터 엔벨로프들로부터의 스파이크들의 결정된 시간들을 조합하여, 이벤트의 보정된 시간을 결정함.
단계 910에서, 파라미터 데이터가 센서로부터 획득되고, 단계 920에서, 파라미터 데이터의 신호 엔벨로프가 결정된다. 이것은 신호 노이즈에 대해 스텝들과 같은 이벤트 표시자들의 향상된 콘트라스트를 제공할 것이다. 상부 및 하부 엔벨로프 양측 모두가 이 단계에서 별개로 결정되고, 후속 단계들에서 별개로 프로세싱될 수도 있다.
단계 930에서, 결정된 엔벨로프(시계열 파라미터 데이터)가 미분되어, 미분된 시계열 데이터를 획득한다. 이 미분은 이벤트가 발생하였음을 표시하는 스파이크들을 생성한다. 미분 이후의, 원래 시계열 파라미터 데이터에서의 스텝들이 단일 스파이크들을 생성할 것이다. 미분 이후의, 원래 시계열 파라미터 데이터에서의 스파이크들은 포지티브 및 네거티브 스파이크들의 쌍들을 생성할 것이다.
단계 940에서, 미분된 시계열 데이터가 인과적으로 그리고 반-인과적으로 필터링되어, 제1 필터링된 시계열 데이터 및 제2 필터링된 시계열 데이터를 획득한다. 반-인과적으로 필터링하는 것은, 엔벨로프 시계열을 시간에 있어서 반전시키는 것, 및 순방향 시계열에 적용된 것과 동일한 필터를 적용하는 것을 포함한다. 필터링은 미분 노이즈의 제거를 위한 저역 통과 필터링을 포함할 수도 있다.
단계 950에서, (원래 파라미터 데이터에서의 스텝에 대응하는) 제1 스파이크의 제1 시간이 제1 미분된 시계열 데이터에 대해 결정되고, (원래 파라미터 데이터에서의 동일한 스텝에 대응하는) 제2 스파이크의 제2 시간이 제2 미분된 시계열 데이터에 대해 결정된다. 단계 950은 네거티브 및 포지티브 스파이크들의 쌍 중 하나를 형성하고, 그에 따라 원래 파라미터 데이터에서의 스파이크들에 대응하는 스파이크들을 식별하는 것을 또한 포함할 수도 있다. 그 후에, 이들은, 예를 들어, 단지 스텝들만이 이벤트 표시자들인 것으로 간주될 때 제거 또는 무시될 수 있다.
단계 960에서, 제1 시간 및 제2 시간은 보정된 시간을 결정하도록 조합되고, 보정된 시간은, 필터링에 의해 야기된 위상 지연이 보정된, 이벤트에 대한 실제 시간이다. 보정된 시간은, 예를 들어, 제1 시간 및 제2 시간의 평균일 수도 있다.
결정된 바와 같은 이벤트 표시자의 보정된 시간이 알려진 유지보수 액션과 일치하는 경우, 그것은 이것이 이슈의 타입에 따라 시스템 건전성(system health)의 변화를 표시하지 않는 것으로 해석될 수 있다는 것일 수도 있다. 유지보수 액션을 결정하는 방법은 상기에 개시되고 여기에서 사용될 수 있다. 그렇지 않으면, 이벤트 표시자들은 악화된 시스템 건전성을 표시하는 이벤트의 증상들일 수도 있다. 그에 따라, 적절하다면, 경보가 생성될 수도 있거나, 또는 임의의 다른 액션이 개시될 수도 있다.
데이터 레코드 매칭
도 10은 예시적인 실시예에 따른, 도 5에 도시된 방법의 단계 530에서 사용될 수도 있는 레코드들을 매칭시키는 방법을 예시하는 흐름도이다.
복수의 데이터 소스들(1002 및 1004)은 이들의 데이터의 매칭 품질에 있어서 이들 사이에 변동을 갖는다. 데이터 소스들 사이의 매칭 품질의 변동은 데이터 소스들 사이의 데이터의 정확도 또는 범주의 차이를 포함할 수도 있다. 이 예에서, 하나의 데이터 소스(1002)는 제1 데이터 정확도 및/또는 범주를 가지며 다른 데이터 소스(1004)는 제2의 상이한 데이터 정확도 및/또는 범주를 갖는다.
이 방법은 단계 1006에서 시작한다. 단계 1008은, 복수의 데이터 소스들(1002, 1004)로부터 필드들의 세트를 선택하는 단계를 수반한다.
단계 1010은, 필드들 사이의 하나 이상의 거리 측정치들을 정의하는 단계를 수반한다. 거리 측정치들은 매칭 품질의 변동과 관련된다.
단계 1012는, 정의된 거리 측정치들에 기초하여 상이한 엄격성을 갖는 매칭 룰들의 세트를 정의하는 단계를 수반한다. 따라서, 매칭 룰들은 매칭 품질의 변동에 기초하여 정의된다.
매칭 룰들은 데이터 입력 프로세스들 및 데이터 범주의 변동 및 차이들을 반영한다. 예를 들어: 특정 이벤트 데이터는 밀리초 정확도 내에서 소프트웨어를 통해 생성되고, 여기서 다른 관련 서비스 데이터가 잠재적인 지연들의 날수(days)로 수동으로 입력된다. "이벤트 발생 날짜/시간"에 대해 점진적으로 완화된 매칭 룰은 상이한 데이터 소스들 사이의 이른바 "이벤트 발생 날짜/시간"의 증가하는 차이일 수 있다.
가장 엄격한 매칭 룰은 정확한 매치일 수도 있는데, 즉, 특정 데이터 엔트리들은 고려 하의 데이터 소스들 사이에서 동일하다. 가장 엄격한 매칭 룰의 경우에, 모든 매칭된 데이터는 가장 높은 데이터 품질 티어(tier)(TIER1)에 속하는 것으로서 분류될 수도 있다. 데이터 품질이 높을수록 이벤트의 모든 양태들에 관한 불확실성이 낮아진다. 이 TIER1 데이터의 경우, 비즈니스 양태들(예를 들어, 부품 비용, 노동 시간들), 머신 양태들(정지 시간, 근본 에러 또는 에러 패턴, 정지 시간, 관련 인터럽트들의 수) 및 조직 양태들(정지 동안 특정 활동들에 소비된 시간; 위치 등에 따른 이슈 해결의 차이들)을 높은 정도의 정확도로 검정하는 것이 가능하다.
가장 엄격한 매칭 룰은 상이한 데이터 소스들의 데이터 사이에 어떠한 매치도 발견될 수 없다는 것이다. 이것은 이들 이슈들의 경우 단지 비즈니스 양태만이 또는 단지 성능 양태들만이 또는 단지 조직 양태들만이 알려져 있다는 것을 의미한다. 데이터 품질이 낮을수록, 이벤트에 관한 불확실성이 높아진다.
매칭 룰들은 상이한 데이터 소스들의 필드들 사이의 "거리" 측정치일 수도 있다. 필드들 사이에서, 거리 측정치들이 정의될 수 있다.
예를 들어, 날짜/시간들의 경우에는, 관리 정보 시스템에서의 날짜/시간들과 (제조 시스템 이벤트 로그에서의) 정지의 종료 사이의 차이의 실제 최소값을 사용할 수 있다.
근본 에러들(예를 들어, 장치 고장과 연관된 에러 코드들)의 경우 거리 측정치는 부분 사용 또는 고장 설명과 같은 공통 피처들을 갖는 특정 서비스 주문(Service Order)(SO)들의 그룹들에 대한 이들 근본 에러들의 상대 빈도의 역수로서 정의될 수도 있다. 부분당 그 부분 상에 항상 기록된 모든 가능한 근본 에러들의 리스트가 이들의 상대 빈도에 더하여 생성될 수 있다. 2개의 데이터 세트들 사이의 정확한 매치의 경우(즉, 이들은 동일한 근본 에러를 갖고 있다)에, "거리"는 0으로 정의될 수 있고; 그렇지 않으면 상대 빈도의 역수가 사용될 수 있다.
이들 2개의 예들에 대해 다른 많은 거리 측정치들이 활용할 수 있다. 매칭 룰들은 주제 전문가들에 의해 생성되고 고려 하의 데이터 소스들의 특이성들을 반영할 수도 있다.
거리 측정치들(여기서 SO = 서비스 주문 및 PMA = 예방 유지보수 액션(Preventive Maintenance Action), RER = 근본 에러 리포트(Root Error Report), SAP = SAP SE로부터의 소프트웨어 시스템)의 예들은 다음과 같다:
1. 머신 생성 데이터(소스 = PMA)와 사용된 부분을 갖는 서비스 주문 정보(수동, 소스는 SAP이다) 사이의 근본 에러 거리.
a. PMA에서의 근본 에러 코드 = SAP에서의 근본 에러 코드인 경우: 소스들 사이의 RER 거리 = 0이다.
b. PMA에서의 근본 에러 코드가 사용된 부분들을 갖는 SO들의 RER들의 "리스트에 있는" 경우, 거리 = 1/(상대 빈도)-1이다.
i. 부분당, 그 특정 부분 상에 엔지니어들에 의해 항상 기입된 모든 RER들이 카운팅된다. 이것에 기초하여, 상대 빈도가 계산될 수 있다.
2. 2개의 시간 필드들 사이의 시간 거리:
a. 거리(예를 들어, 단위는 임의적이다) = 2개의 필드들 사이의 시간의 차이.
3. 부분들의 수 거리: 특정 SO들과의 매치가 발견될 수 있을 때, 부분들의 수 자체가 거리 측정치로서 사용된다(거리에 관한 아이디어: 거리가 클수록, 불확실성이 높아짐).
4. 소스 거리: 각각의 소스는 선험적으로 고도로 정확한 것 또는 덜 정확한 것으로서 분류될 수 있다. 부분들의 수와 마찬가지로, 이것은 절대 거리일 수도 있다. 따라서, 소스들은 선택된 필드들의 정확도과 관련하여 랭킹될 수도 있다.
매칭 룰들은 상이한 데이터 소스들의 필드들 사이의 거리 측정치에 기초하여 정의된다. 매칭 룰들은 거리 측정치의 가중 합(weighted sum)에 기초하여 정의될 수도 있다. 거리 측정치는 예를 들어 다음의 것을 포함할 수도 있다:
상이한 데이터 소스들의 필드들 사이의 시간의 차이.
데이터 소스에서 수동으로 생성된 데이터와 다른 데이터 소스에서 머신 생성된 데이터 사이의 차이.
상이한 데이터 소스들의 필드들 사이의 장비 부분들의 수의 차이.
상이한 데이터 소스들의 필드들 사이의 에러 식별자들의 상대 발생 빈도의 역수의 차이.
상이한 데이터 소스들 사이의 데이터-소스 정확도의 차이.
방법은, 매칭 단계들 이전에, 예를 들어 단계 1008에서, 데이터의 적어도 일부를 변환하는 단계를 또한 포함할 수도 있다. 데이터 타입(날짜/시간, 텍스트)에 따라 특정 변환 기법들이 사용될 수 있다(예를 들어, 텍스트의 경우 특정 텍스트 마이닝 기법들이 채용될 수도 있다).
아래의 표 1은 매칭 룰들의 예시적인 세트를 나타낸다.
룰의 순서 머신 번호 날짜/타임스탬프 매치 에러 코드 매치 다른 매치 티어
1 동일 소스 = 장치 정지 시간 리포트 TIER1
2 동일 PMA 인터럽트 타임스탬프와의 SO 타임스탬프 매치들(+/- 30분) SO 에러 코드와 동일한 PMA 에러 코드 동일한 SO 상의 3개 이하의 상이한 부분들 TIER1
3 동일 PMA 인터럽트 타임스탬프와의 SO 타임스탬프 매치들(+/- 30분) "부분당 근본 에러들"의 리스트에서의 PMA 에러 코드, 확률 >= 25% 동일한 SO 상의 3개 이하의 상이한 부분들 TIER2
4 동일 SO 날짜에서의 PMA 인터럽트 타임스탬프(+/- 3일) SO 에러 코드와 동일한 PMA 에러 코드 동일한 SO 상의 3개 이하의 상이한 부분들 TIER2
5 동일 SO 날짜에서의 PMA 인터럽트 타임스탬프(+/- 3일) SO 에러 코드와 동일한 PMA 에러 코드 동일한 SO 상의 3개 초과의 상이한 부분들 TIER3
6 동일 SO 날짜에서의 PMA 인터럽트 타임스탬프(+/- 3일) 동일한 서브모듈 TIER4
표 1. 예시적인 매칭 룰들
단계 1014 내지 단계 1018은 선행 매치의 비매칭된 레코드들에 대한 연속적으로 덜 엄격한 매칭 룰들을 사용하여 매칭된 레코드들(1020, 1022)을 획득하기 위해 데이터 소스들로부터의 레코드들을 반복적으로 매칭 및 필터링하는 것에 의해, 데이터 소스들(1002, 1004)로부터 레코드들을 매칭시키는 단계를 수반한다. 이것은, 매칭 룰들의 세트 중 가장 엄격한 것을 사용하여 데이터 소스들을 쿼리(query)(1014)하는 것, 및 그에 의해 획득된 매칭된 레코드들(1020)을, 높은 매칭 품질을 표시하는 표시자와 연관시키는 것을 수반한다. 그것은, 매칭 룰들의 세트 중 덜 엄격한 것을 사용하여 데이터 소스들을 쿼리(1018)하는 것, 및 그에 의해 획득된 매칭된 레코드들을, 보다 낮은 매칭 품질을 표시하는 표시자와 연관시키는 것을 또한 수반한다. 반복은 모든 룰들이 사용될 때 1016, 1024로 완료되거나, 또는 원하는 경우 보다 일찍 완료된다.
따라서, 매칭된 레코드들(1020, 1022)은 이들을 획득하는 데 사용되는 매칭 룰의 엄격성에 대응하는 매칭 품질 표시자와 연관된다.
따라서, 미리 선택된 세트의 필드들에 대해 점진적으로 완화된 "매칭 룰들"을 사용하여 상이한 데이터 소스들로부터의 데이터가 조합된다. 가장 엄격한 매칭 룰들과 매칭하지 않는 데이터의 경우, 즉, 결과적인 매치가 최저의 연관된 불확실성을 갖지 않아서, 점진적으로 덜 엄격한 매칭 룰들이 사용된다. 다시 말해, 양측 모두가 이용가능한 데이터 소스들과 매칭하고, 예를 들어 비즈니스 특정 지식을 적용하는 것에 의해 매치를 검정하는 "알고리즘 시브(algorithmic sieve)"가 사용된다.
품질 분류(TIER1... TIERn)는 "거리들"의 가중 합에 기초할 수도 있다. 품질 분류의 정의는, 주제 전문가들에 의한 판정 프로세스의 결과일 수도 있고 시간 경과에 따라 그리고 회사마다 다를 수 있다.
룰들을 정의함에 있어서 그것은 이들이 집합적으로 총망라한 것일 수도 있는데, 즉, 모든 소스들로부터의 모든 레코드들이 분류된다(그리고 가능한 경우 링크된다). 그러나, 매칭 룰들이 상호 배타적일 필요는 없다는 것이 밝혀졌다. 예를 들어, 노동 액션은 상이한 시간들에서 발생한 수 개의 머신 이벤트들에 관련될 수 있다. TIER 정의에 따라 이들 이벤트들은 동일한 SO에 링크될 수 있지만, 상이한 매칭 품질을 갖는다. 분석의 목적에 따라 요구된 최소 매칭 품질이 상이할 것이다.
이 "시브"는 컴퓨팅 시간의 관점에서 고비용인데, 이는 데이터 소스들에서의 모든 레코드들이 서로 비교되기 때문이다(예를 들어, 데카르트 곱(Cartesian product)). 계산 시간을 감소시키기 위해 데이터 분할 방법이 채용될 수도 있다. 매칭 단계들에 앞서 수행되는 이 분할 방법은, 데이터 소스 k의 어떤 레코드들이 데이터 소스 l로부터의 어떤 레코드들과 매칭될 필요가 있는지를 표시하기 위해 거리 측정치들이 사용될 수 있도록 하는 방식으로 일부 미리 정의된 필드들에 기초하여 데이터가 분할될 수 있는 특성을 활용한다. 예를 들어: 이벤트가 발생한 달(데이터 소스 l)과 서비스 주문들이 생성된 달(데이터 소스 k)이 결정될 수 있다. 그 후에 단지 동일한 달(및 연도)에 속하는 상이한 데이터 소스들로부터의 레코드들만이 매칭된다. 총 계산 시간에 대한 영향은 분할들의 수에 의존한다. 실제로, 컴퓨팅 시간들은 수 자릿수 감소될 수도 있다.
상기에 설명된 바와 같이, 조합의 품질을 표시하면서 상이한 데이터 소스들을 조합하는 방법들이 제공된다. 이것은 레코드들을 매칭시키는 데 필요한 작업량을 감소시킨다. 이 접근법의 유용성의 척도는 본 명세서에서 설명되는 방법들이 없으면 특정 분석을 수행하는 데 몇 주가 걸린다는 것이다. 본 명세서에서 설명되는 방법들에 의하면, "수동" 결과들이 수 시간 내에 재생산되고 개선될 수 있다.
전달 엔트로피를 사용하는 인과 관계들의 식별
전달 엔트로피는 비대칭 정보 흐름의 방향성 측정치이고, 본 명세서에 참조로 포함되는 Schreiber T.에 의한 "Measuring Information Transfer"(Physical Review Letters 85 (2): 461-464)에서 설명된다. 전달 엔트로피는 그 관찰에 대한 이전 값들(그 자신의 과거)에만 기초한 장래 관찰과, 그 관찰에 대한 이전 값들 및 다른 관찰에 대한 이전 값들(그 자신의 과거 및 다른 관찰의 과거)에 기초한 대응하는 장래 관찰 사이의 엔트로피 차이의 측정치이다. 다시 말해, 프로세스 X로부터 다른 프로세스 Y로의 전달 엔트로피는 Y의 과거 값들이 주어진 X의 과거 값들을 인지하는 것에 의해 Y의 장래 값들에서 감소되는 불확실성의 양이다.
정보 이론에서, 엔트로피(더 구체적으로는, 샤논(Shannon) 엔트로피)는 수신되는 각각의 메시지(예를 들어, 시계열 또는 다른 데이터 스트림 내의 이벤트 또는 값)에 포함된 정보의 기대값(평균)의 측정치이다. 더 구체적으로는, 샤논 엔트로피 H(Yt)는 확률 분포 p(y)를 따르는 이산 변수 Yt의 독립적인 드로우(draw)들을 최적으로 인코딩하는 데 필요한 평균 비트 수를 설명한다:
Figure pct00001
수학식 (1)
전달 엔트로피 T는 다음과 같이 설명될 수 있다:
Figure pct00002
수학식 (2)
여기서 p(a,b)는 동일한 시간에 발생한 이벤트들 a 및 b의 결합 확률이고, p(b|a)는 p(a,b)/p(a)와 동일한 조건부 확률이다.
Figure pct00003
및
Figure pct00004
은 시간 간격 k 및 l 각각의 시계열 Xt 및 Yt의 즉각적인 이력이다. 상기에서, 래그 파라미터(lag parameter) ω는, Yt에 관한 가장 많은 정보를 제공하는 Yt의 k 길이 이력이 ω=1에서의 그 즉각적인 이력이 아니라 ω > 1 시간 단계들 더 일찍(시간 단계들은 Δt 또는 dt의 단위들로 되어 있다) 위치될 수도 있는 상황을 설명한다. 유사하게, 시간 래그 τ는, Yt 자신의 이력에 포함되는 것 이상의 부가적인 정보를 제공하는 거리 t에서의 Xt의 l 길이 이력의 고려를 가능하게 한다. T는 Yt 자체의 k 길이 이력에 존재하지 않는 Xt의 l 길이 이력으로부터 얻어지는 Yt의 현재 상태의 불확실성의 감소를 측정한다.
l=k=ω=1이고 시간 래그 τ가 결정될 미지수라고 가정하면, 전달 엔트로피 T에 대한 수학식은 다음과 같이 단순화될 수 있다:
Figure pct00005
수학식 (3)
이 설명에서, 전달 엔트로피 T는, yt-1에 의해 기여되는 정보에 부가적인 시간 래그 τ에 걸쳐 xt에 의해 yt에 기여되는 정보의 측정치이다. 많은 시간 래그들에 걸쳐 T를 컴퓨팅하는 것에 의해, Xt로부터 Yt로의 방향성 커플링의 시간 스케일을 산정하는 것이 가능하다. 수학식 (7)은 대안적인 형태로, 컴포넌트 샤논 엔트로피들 H의 관점에서 쓰여질 수 있다:
Figure pct00006
수학식 (4)
여기서 (예를 들어) H(X,Y)는 2개의 파라미터들 X 및 Y 사이의 결합 엔트로피이다. 정보 이론적 의미에서, 엔트로피의 다른 측정치들이 전달 엔트로피의 결정에 사용될 수 있다는 것에 유의해야 한다. 샤논 엔트로피의 사용은 단지 예일 뿐이다.
이벤트 로그로 기록된 것들과 같은 리소그래피 장치 이벤트들에 전달 엔트로피를 적용하기 위해, 다음의 판정들이 이루어진다:
1. 무엇이 '이벤트'를 구성하는가. 이것은, 예를 들어, 이벤트 로그에 기록되는 무언가일 수 있거나, 그리고/또는 센서들로부터의 파라미터 값들, 리소그래피 장치에 의해 수행되는 측정들, 리소그래피 장치 상에서 수행되는 측정들의 생성물을 포함할 수도 있다. 그러한 이벤트들은 이벤트들의 시계열이 각각의 파라미터에 대해 구축될 수 있도록 연속적으로 또는 주기적으로 기록되어야 한다. 도 5의 방법과 관련된 특정 예에서, 시계열은, 극단 이벤트의 존재 또는 부존재를 표시하는 하나 이상의 제1(예를 들어, 바이너리) 극단 이벤트 시계열, 및 고장 이벤트의 존재 또는 부존재를 표시하는 하나 이상의 제2(예를 들어, 바이너리) 고장 이벤트 시계열을 포함할 수도 있다. 다른 실시예들은, 특히 극단 이벤트 시계열에 대해, 더 많은 수의 레벨들(또는 연속적인 스케일)을 가질 수도 있는데, 이는 극단 이벤트의 극단성의 레벨을 포착할 수 있다.
2. 연속적인 상태 공간들을 갖는 시스템들로부터 관찰된 시계열을 이산화하거나 또는, 가능한 상태들의 수를 감소시키기 위해 고-차원 상태 공간들을 갖는 시스템들로부터 본래 이산인 시계열을 추가로 이산화하는 방법. 수학식 (3)의 전달 엔트로피 측정치는 이산 시계열에 대해 도출되기 때문에, 관찰된 시계열의 이산화가 전달 엔트로피의 추산을 향해 필요한 단계일 수도 있다. 이산화는, 예를 들어, 최소부터 최대까지의 시계열의 값들의 세트를 쇼팅(sorting)하고, 쇼팅된 세트를, 상태가 각각 할당되는 다수의 빈(bin)들로 균등하게 분할하는 것에 의해 수행될 수 있다. 그 후에, 전이 확률의 추산은 발생 빈도로부터 계산하기 수월하다.
3. 소스 및 타겟 파라미터에 대해 과거 값들의 어떤 블록 길이가 적용되어야 하는가.
도 11은 예시적인 실시예에 따른, 단계 550에서 사용가능한, 인과 관계들의 네트워크를 구축하는 방법을 예시하는 흐름도이다. 단계들은 다음과 같고, 그 후에 더 상세히 이후에 설명된다(일부 단계들의 순서는 바뀔 수도 있다):
1110- 시계열의 세트;
1120- 시계열 데이터 사이의 전달 엔트로피를 측정하는 것에 의해 서브시스템 파라미터들의 모든 쌍들 사이의 인과 관계들을 정량화함;
1130- 대리 데이터(surrogate data) 및 부트스트랩 방법들을 사용하여, 계산된 전달 엔트로피 값들의 통계적 유의성(statistical significance)을 테스트함;
1140- 동기화 비율 Tz를 컴퓨팅함;
1150- 특성 시간 래그를 식별함; 그리고
1160- 네트워크를 구축함.
1110은 극단 이벤트 시계열(파라미터 데이터를 극단 이벤트들의 존재, 부존재 그리고 임의로 극단성의 표시로 변환) 및 고장 이벤트 시간(파라미터 데이터를 고장 이벤트들의 존재, 부존재 그리고 임의로 극단성의 표시로 변환)을 포함할 수도 있는 시계열의 세트이다.
1120에서, 전달 엔트로피 T에 대한 값이 시계열 내에서 검출/포함되는 이벤트들의 모든 쌍들에 대해 계산될 수 있다(이것은 전달 엔트로피가 비대칭이기 때문에 양방향으로 되어야 한다). 이것은, 예를 들어 수학식 (2), 수학식 (3) 또는 수학식 (4)를 사용하여 다수의 시간 래그들에 대해 수행될 수도 있다.
단계 1130에서, 각각의 계산된 전달 엔트로피 값의 통계적 유의성이 계산될 수 있다. 이것은 전달 엔트로피 값에 의해 설명되는 이벤트 관계가 관계없는 시계열 및/또는 이벤트들 사이의 랜덤 확률(random chance)을 통해 발생하는 것보다 더 강한지 여부의 테스트이다. 이것은 각각의 전달 엔트로피 값 T를 유의성 임계치 Ts와 비교하는 것에 의해 행해질 수 있다. 유의성 임계치 Ts는 셔플링된(shuffled) 대리 전달 엔트로피에 기초하여 결정될 수도 있다. T가 시계열 Xt와 Yt 사이의 전달 엔트로피를 설명하는 경우, 셔플링된 대리 전달 엔트로피는 시계열 Xs 및 Ys의 전달 엔트로피일 것이고, 여기서 시계열 Xs 및 Ys는 각각 시계열 Xt 및 Yt의 랜덤하게 (시간에 있어서) 셔플링된 버전들이다. 이 셔플링은 시계열 사이의 시간 상관관계들을 파괴한다. 단지 전달 엔트로피 값 T가 유의성 임계치 Ts보다 더 큰 경우에만, 관련 파라미터들 사이에 유의한 정보 흐름이 있는 것으로 추정된다. 유의성 임계치 Ts 아래로 떨어지는 전달 엔트로피 값들은 유의한 커플링의 확립을 위해 통계적으로 의미있는 것으로 간주될 수 없다.
실시예에서, 셔플링된 대리 전달 엔트로피들은 셔플링된 시계열 Xs 및 Ys의 다수의 실현(realization)들에 대해 계산되어, 대리 전달 엔트로피들의 가우시안 분포를 발생시킨다. 그 후에, 유의성 임계치 Ts는 이 가우시간 분포의 평균에 기초할 수 있다; 예를 들어, 그것은 평균 초과의 다수 표준 편차들에서 설정될 수 있다.
단계 1140에서, 동기화 비율 Tz가 계산되어, 2개의 파라미터들 및/또는 이벤트들이 주어진 시간 스케일에서 상당량의 정보를 공유한다는 관찰의 이유들을 결정하도록 도울 수 있다. 동기화 비율 Tz는, 2개의 이벤트들 사이의 계산된 전달 엔트로피 및 2개의 이벤트들 사이의 공유된 정보의 측정치의 비율일 수도 있다. 구체적으로, 동기화 비율 Tz는 다음의 것에 의해 계산될 수도 있다:
Figure pct00007
수학식 (5)
여기서 I(Xt,Yt)는 Xt와 Yt 사이의 상호 정보량(mutual information)이다. 상호 정보량은 이벤트들의 상호 의존성의 측정치이다; 즉, 그것은 이들 이벤트들 중 하나를 아는 것이 다른 것에 관한 불확실성을 얼마나 많이 감소시키는지를 측정한다. 상호 정보량은 다음과 같이 정의될 수 있다:
Figure pct00008
수학식 (6)
동기화 비율 Tz는 제로 래그에서의 상호 정보량과 비교하여 Xt-τ로부터 Yt로의 정보의 전달을 측정한다. 이 비율은 2개의 이벤트들 사이의 커플링의 성질의 특성화를 가능하게 한다. 동기화 비율 Tz는 비대칭이고, 그에 따라 이벤트들의 쌍들 사이의 커플링 특성들이 상이한 방향들에서 상이할 수도 있다는 것에 유의해야 한다.
(특정 방향에서) 이벤트들의 쌍들 사이의 커플링이 있는 경우, 커플링은 동기화 지배적(synchronization dominated), 피드백 지배적(feedback dominated), 또는 강제 지배적(forcing dominated)인 것으로 카테고리화될 수 있다. 동기화 지배적 커플링은 Tz<1이고 T<Ts일 때로서 정의될 수 있다. 이 커플링은 유의한 공유 정보를 표시하지만, 어떠한 유의한 정보 흐름도 없다. 피드백 지배적 흐름은 Tz<1이고 T>Ts일 때로서 정의될 수 있다. 이 커플링은 유의한 정보 흐름보다 더 큰 유의한 공유 정보를 표시한다. 이것은 동기화 커플링 및 강제 커플링 사이의 중간 카테고리화이고, 여기서 실질적인 동기화 및 강제 양측 모두가 존재한다. 강제 커플링은 Tz>1이고 T>Ts일 때로서 정의될 수 있다. 이 커플링은 유의한 공유 정보보다 더 큰 유의한 정보 흐름을 표시한다.
단계 1150에서, 각각의 식별된 커플링(각각의 전달 엔트로피 값)에 대한 특성 시간 래그가 계산될 수 있다. 이것은, 제1 통계적으로 유의한 시간 래그, 또는 그렇지 않으면 전달 엔트로피(T)가 (그것이 통계적으로 유의하다고 가정하여) 가장 높은 시간 래그일 수 있다.
단계 1160에서, 다수의 이벤트들이 주어지면, 네트워크 내의 노드로서 각각의 이벤트(극단 이벤트 또는 고장 이벤트)를 캐스팅(casting)하고, 각각의 노드 사이의 전달 엔트로피를 컴퓨팅하는 것에 의해 프로세스 네트워크를 구축하는 것이 가능하다. (각각의 방향에서의) 에지들은 통계적으로 유의한 커플링이 존재하는 것으로 나타낸 노드들 사이에서 나타내어질 수 있다. 프로세스 네트워크는 커플링 강도(전달 엔트로피의 값) 및 커플링 특성화를 또한 표시할 수 있다. 인과 매트릭스(causal matrix)가 구축될 수도 있고, 여기서 각각의 셀은 2개의 노드들 사이에 방향성 커플링이 있는지 여부를 표시한다. 인과 매트릭스는, 3차원 매트릭스 [np × np × nτ]일 수도 있고, 여기서 np는 이벤트들의 수이며, nτ는 연구되는 시간 래그들의 수이다. 그러나, 계산들을 더 관리하기 쉬운 상태로 유지하기 위해, 2차원 매트릭스 [np × np]가 사용될 수 있고, 이는, 이전 단계에서 결정된 바와 같은, 그 커플링에 대한 특성 시간 래그에 대응하는 각각의 엔트리에 대한 전달 엔트로피의 값들을 포함한다.
인과 매트릭스는, 예를 들어, 원형 방향성 차트(circular directional chart)(노드들 및 연결들), 버블 차트(bubble chart) 및/또는 히트 맵(heat map)으로서 디스플레이될 수도 있다. 버블 차트 또는 히트 맵에서, 인과 강도(전달 엔트로피 값)는 각각 버블 직경 또는 색에 의해 표현될 수도 있다.
일단 프로세스 네트워크가 구축되면, 그것은 하나 초과의 인(in-) 또는 아웃(out-) 링크들을 갖는 노드들을 식별하는 데 유리할 수도 있다. 이들 노드들은 네트워크에 가장 큰 영향을 가질 수도 있다. 영향의 관점에서 네트워크 노드들을 랭킹하도록 네트워크 중앙성 분석이 수행될 수도 있다. 그 후에, 랭킹은 시스템 내의 결함으로부터 고장으로의 정보 흐름들을 매핑시키는 데 사용될 수 있다. 예로서, 랭킹들은 앞서 언급된 이벤트 로그에서의 엔트리들에 적용될 수 있는데, 이는 정상 이벤트들, 경고들, 고장 이벤트들 및 알람들을 이용한 방향성 인과 그래프에서 서브시스템의 보고된 근본 에러들의 가장 영향력있는 것의 표시를 가능하게 한다.
요약하면, 리소그래피 장치들을 모니터링하기 위해 설명된 바와 같은 전달 엔트로피 방법들을 사용하는 결과로서, 스캐너 관찰가능량들 사이의 상호작용들이 정보의 전달들로서 여겨질 수도 있다. 전달 엔트로피는 동시에 관찰된 리소그래피 장치 시계열의 모든 쌍에 대한 원인 분석을 가능하게 한다. 전달 엔트로피는, 에러들 및 알람들 사이에서만의 예외 링킹과는 대조적으로, 이벤트들, 경고들, 에러들 및 알람들 사이의 인과 관계들의 재구축을 가능하게 한다. 인과 관계들로부터, 결함 대 고장 경로들이 결정될 수 있고, 결함의 근본 원인이 보다 양호하게 식별될 수 있다.
경보들을 관리하는 방법들
경보가 생성될 때, 그것은 즉시 조치가 취해질 것이어서, 엔지니어들은 모든 경보들에 대한 액션들을 정의 및 계획하는 것으로 가정된다. 이것이 이상적인 상황일 것이지만, 현실은 엔지니어 시간 및 자원이 유한하고, 리소그래피 장치들과 같은 복잡한 머신들의 모델링이 너무 많은 수의 경보들을 생성하여 이들이 모두 즉시 처리되지 않을 수도 있다는 것이다. 결과로서, 그것은 (예를 들어, 어느 경보들이 가장 중요하거나 그리고/또는 시간 임계적인지에 대한 이들의 전문적 지식에 따라) 엔지니어들이 후속 조치를 취할 경보들을 선택하는 경우가 있을 수도 있다. 이것은 처리를 위해 선택되지 않은 경보들이 미처리된 채로 남게 되지만 여전히 활성(active)일 것이다.
그에 따라, 경보 및 대응하는 이익 메트릭에 기초하여, 관리 액션이 수행될 수도 있는데, 예를 들어 경보 만료 시간이 경보들 중 일부 또는 전부에 대해 계산될 수 있다. 이 경보 만료 시간은 경보들에 자동으로 적용되거나, 또는 그렇지 않으면 모니터링될 수 있고, 미처리된 경보들은 일단 경보 만료 시간에 도달하면 취소/재설정될 수 있다. 이러한 방식으로, 미처리된 경보들은 비즈니스 성과(business impact)(또는 다른 기준들)가 너무 낮아져 이들을 처리할 가치가 없을 때 만료될 것이다. 물론, 모든 경보들에 경보 만료 시간이 할당될 필요는 없다; 일부 경보들은 임계적인 것으로 결정될 수도 있고, 처리할 때까지 활성으로 유지되어야 한다(또는, 동일한 효과로, 무한의 경보 만료 시간이 할당될 수도 있다).
특정 예에서, 이익 매트릭은 와이블 근사에 의해 근사될 수도 있는 기본 고장 확률들로부터 도출될 수도 있다. 와이블 근사는 경보 이후 날수의 함수로서 기본 고장 확률을 구축할 수도 있다. 모델이 백엔드 테스트될 때, 누적 분포 함수가 사용될 수도 있다. 누적 분포 함수는 경보 이후 시간 x 후의 고장들의 프랙션(fraction)으로서 해석될 수 있다. 이로부터, 이 방법에서 사용될 수 있는 하나의 백엔드 테스트 결과는 잔여 유효 수명(remaining useful life)(RUL)인데, 이는 경보의 생성 후 경보에 대응하는 아이템들/시스템들의 80%가 고장난 시간인 것으로서 정의된다.
경보 만료 시간 tstop은 평균적으로 이익들이 더 이상 비용을 능가하지 않는 시간으로서 정의될 수도 있고, 와이블 분포의 조건 하에서 다음의 것에 의해 주어질 수도 있다:
Figure pct00009
수학식 (7)
여기서 β는 모델에 적절한 와이블의 소위 형상 인자(shape factor)이고, B는 사전적 액션(proactive action)의 이익 메트릭이고, C는 경보 검증의 비용 메트릭이고, Precision은 추정량(estimator)의 표준 편차이며, RUL은 누적 고장 확률 분포 함수에서 고장들의 80%가 발생한 시간이다.
도 12는 예시적인 실시예에 따른, 단계 560 및 단계 590에서 사용될 수도 있는 경보 만료 시간들을 할당하는 방법을 예시하는 흐름도이다. 단계들은 다음과 같고, 그 후에 더 상세히 이후에 설명된다(일부 단계들의 순서는 바뀔 수도 있다):
1210- 백엔드 테스트 결과들;
1220- 비즈니스 정보;
1230- 확률 분포들을 결정함;
1240- 경보 만료 시간을 결정함; 그리고
1250- 만료 시간들을 모니터링함.
1230- 백엔드 테스트 결과들(710)은 각각의 가능한 경보에 대한 이익 메트릭을 결정하는 데 사용된다. 그러한 이익 메트릭은 경보 후 시간 경과에 따른 고장(또는 다른 이벤트) 확률 분포로부터 도출되거나 또는 이를 포함할 수도 있다. 확률 분포들은 시간의 함수로서 경보 후 발생하는 고장의 확률을 설명한다. 그러한 확률 분포는, 경보 이후 시간 지남에 따라 고장이 발생할 누적 또는 비-누적 확률을 포함할 수도 있다. 예를 들어, 그러한 확률은 와이블 근사를 사용하여 근사될 수도 있다. 실시예에서, 이익 메트릭은, 고장 확률 분포로부터 도출되는 특정 고장 시나리오들에 대한 정지 시간 감소 가능성의 측정치이다. 이 단계는 도 5의 단계 560의 자동화된 모델 검정에 사용될 수도 있다.
1240- 단계 1230에서 결정된 이익 메트릭 및 비즈니스 정보(1220)로부터 획득된 비용 메트릭이 각각의 경보에 대한 경보 만료 시간을 결정하는 데 사용된다. 경보 만료 시간은 수학식 (7)을 사용하여 계산될 수도 있다. 비즈니스 정보(1220)는 특정 경보 처리 시나리오들(예를 들어, 특정 경보에 대해 적절한 유지보수 및/또는 수리 액션들)의 비용들을 포함할 수도 있다. 그러한 비용 메트릭은 경보를 처리함에 있어서의 임의의 비용 또는 간접비(overhead)를 고려할 수도 있고, 예를 들어, 머신 정지 시간, 감소된 생산성, 재정적 비용 및/또는 자원 활용(사람 및/또는 머신)을 포함할 수도 있다. 경보 만료 시간은 시간의 함수로서 경보를 처리함에 있어서의 비용에 대한 이익의 평가로부터 획득될 수 있다. 경보 만료 시간은 비용에 대한 이익의 평가가 임계치를 충족시키거나 또는 지나는지 여부에 기초하여 결정될 수 있다. 임계치는, 비용에 대한 이익이 네거티브이고 그에 따라 비용들이 이익을 능가하는 것으로 결정되는 포인트로서 정의될 수도 있다.
단계 1250에서, 경보 정보가 디스플레이된다. 경보에 대해 경보 만료 시간에 도달할 때, 그 경보의 표현은 일부 방식으로 변화될 수도 있다. 그것은 경보가 경보 만료 시간에 자동으로 재설정되거나, 또는 그렇지 않으면 경보는 만료된 것으로서 디스플레이될 수도 있다는 것일 수도 있다. 경보들의 이 디스플레잉은 프론트엔드 프로세스(front end process)의 부분으로서 수행될 수도 있는 한편, 이 방법의 다른 단계들은 백엔드 프로세스로서 수행될 수도 있는데, 이는 프론트엔드의 부분일 수도 있거나 또는 부분이 아닐 수도 있다.
이전에 설명된 바와 같이, 즉시 처리될 수 있는 것보다 너무 많은 경보들이 생성된다. 비즈니스 관점에서, 생성된 경보들은 변동하는 영향을 갖는다. 이 영향은 경보가 생성된 이래로 경보가 미처리된 채로 유지되는 시간에 의존한다. 이것은 경보의 우선순위가 시간 가변적임을 암시한다. 현재 우선순위의 결정은 인간(사용자) 판정 프로세스이다. 그러나, 다른 보류 경보들에 대한 보류 경보의 우선순위는 빠르게 변화할 수 있고, 그에 따라 정확하게 유지되기에 번거로울 수도 있다.
다른 실시예에서, 비즈니스 정보 및 연관된 비용 메트릭, 및 각각의 예측 모델에 대한 확률 분포들을 포함하거나 또는 이로부터 획득된(차례로, 백엔드 테스트 결과들로부터 획득된) 이익 메트릭이 각각의 경보에 대한 우선순위 메트릭을 결정하는 데 사용될 수 있다. 우선순위 메트릭은 시간 의존적일 것이고, 그에 따라 미처리된 경보들의 상대 랭킹들이 시간 경과에 따라 변동할 수도 있다. 이 방법은, 경보들의 순간 영향(instantaneous impact)의 측정치인, 각각의 경보에 대한 우선순위 메트릭을 결정하는 단계를 포함할 수도 있다. 그 후에, 기준 모델 및 대응하는 기준 우선순위 메트릭이 식별된다; 이것은 영향이 생성되는 시간에 가장 높은 우선순위 메트릭(그리고 그에 따라 개입에 대한 가장 높은 순간 영향 값)을 갖는 모델일 수도 있다. 우선순위 메트릭은 로그 스케일(logarithmic scale)로 정의될 수도 있어서, 경보들은, 예를 들어, 1부터 5까지 또는 1부터 10까지 랭킹될 수도 있는데, 이때 각각의 랭킹은 기준 우선순위 메트릭에 대해 이전 랭킹보다 한 자릿수 더 큰 개입 이익 영향을 표현한다. 그 후에, 경보들에는 주어진 시간에서의 우선순위 메트릭 값들에 기초한 우선순위 랭킹이 주어질 수 있다.
도 13은 예시적인 실시예에 따른, 단계 560 및 단계 590에서 사용될 수도 있는 경보들을 우선순위화하는 방법을 예시하는 흐름도이다. 단계들은 다음과 같고, 그 후에 더 상세히 이후에 설명된다(일부 단계들의 순서는 바뀔 수도 있다):
1310- 백엔드 테스트 결과들;
1315- 비즈니스 정보;
1320- 확률 분포들을 결정함;
1330- 개입의 순간 영향(우선순위 메트릭)을 결정함;
1340- 로그 스케일로 상대 순간 영향을 캐스팅함;
1350- t=0에서의 기준 우선순위 메트릭;
1360- 우선순위 스케일 및 방향, 로그 베이스(logarithm base); 그리고
1370- 우선순위 랭킹을 디스플레이함.
단계 1320에서, 이전 실시예에서와 같이, 백엔드 테스트 결과들이 이익 메트릭을 결정하는 데 사용된다. 이전에서와 같이, 이익 메트릭은 경보 후 시간 경과에 따른 고장(또는 다른 이벤트) 확률 분포들로부터 도출되거나 또는 이를 포함할 수도 있다. 이것은 본질적으로 1230과 동일한 단계이다.
단계 1330에서, 각각의 경보에 대해 우선순위 메트릭이 결정된다. 우선순위 메트릭은, 생성되는 경보에 대한 개입 또는 후속 액션의 순간 영향의 측정치이다. 우선순위 메트릭은 비즈니스 정보 및 이전 단계로부터의 확률 분포들을 사용하여 결정된다. 이전 실시예에서와 같이, 비즈니스 정보는 임의의 개입에 대한 비용 메트릭의 형태로 비롯되거나, 또는 그 비용 메트릭의 생성을 가능하게 할 수도 있다. 비즈니스 정보는, 경보가 생성되는 순간에 있는 시간 t=0에서의 개입의 순간 영향의 측정치를 또한 포함할 것이다. 이 정보 및 이익 메트릭(확률 분포들)을 사용하여, t>0에서의 개입의 순간 영향의 측정치가 결정될 수 있다.
실시예에서, 우선순위 메트릭은 기대 순간 영향 EII의 형태를 취한다. EII는, 시간 "x" 후의 즉각적인 사전적 액션을 시간 "x" 후의 순간 고장의 확률로 곱한 것으로 가정한, 사전적 액션의 영향의 측정치이다. 이것은 구체적으로 다음의 형태를 취할 수도 있다:
Figure pct00010
수학식 (8)
여기서 t는 경보 이후의 날수의 시간이고, A는 상수이다.
단계 1340에서, 우선순위 메트릭들은 기준 우선순위 메트릭에 대해 로그 스케일로 캐스팅된다. 기준 우선순위 메트릭은, 시간 t=0에서의 최대 순간 영향 값(우선순위=1)을 갖는 것으로 결정되는 우선순위 메트릭(850)일 수도 있다. 이것은 비즈니스 정보로부터 도출될 수 있다. 그 후에, 다른 경보들의 우선순위 메트릭들은 현재 시간 또는 다른 시간 t>0에 대해 기준 우선순위 메트릭과 비교된다. 우선순위 메트릭들의 (임의의 베이스의) 로그를 취하는 것에 의해, 우선순위 랭킹이 경보들에 대해 계산될 수 있다.
이것은 0부터 N까지의 선형 스케일로 기대 순간 영향 EII를 매핑시키는 것에 의해 달성될 수도 있으며, 이때 N은 최저 영향이고 1은 최고이다(그리고 0은 월등히 높음). 우선순위 메트릭들의 로그를 취할 때, 다음 3개의 조건들이 충족되어야 한다:
Figure pct00011
우선순위 메트릭이 낮을수록, 실제 우선순위가 높다;
Figure pct00012
EII가 제로일 때, 우선순위는 N+1(최저 우선순위보다 더 낮음)이다;
Figure pct00013
기준 우선순위 메트릭의 우선순위는 1로 설정된다.
이것은 우선순위 랭킹 Priority (t)를 계산하기 위한 다음의 예시적인 공식을 발생시킨다:
Figure pct00014
수학식 (9)
여기서 괄호들은 결과가 올림(round up)됨을 표시하고, PS는 t=0에서 우선순위 1을 갖는 기준 우선순위 메트릭이고, 다음과 같이 정의된다:
Figure pct00015
단계 1370에서, (미처리된) 경보들은 적절한 시간(이는 즉각적인 시간일 수도 있다) 동안 이들의 우선순위 랭킹에 따라 디스플레이된다. 우선순위 메트릭들 및 우선순위 랭킹은 규칙적인 간격들로, 예를 들어 매일, 반나절 또는 시간(1시간 또는 그 이상)마다 재계산될 수도 있다. 각각의 미처리된 경보에 대한 상대 우선순위 메트릭들의 변화들은 경보 표현의 특정된 변화를 발생시킬 것이다. 우선순위 랭킹들의 디스플레잉은 프론트엔드 프로세스의 부분으로서 수행될 수도 있는 한편, 이 방법의 다른 단계들은 백엔드 프로세스로서 수행될 수도 있는데, 이는 프론트엔드의 부분일 수도 있거나 또는 부분이 아닐 수도 있다.
N=10인 특정 예에서, 0, 1 또는 2의 우선순위 랭킹들은 매우 높은 우선순위를 표시하고, 대응하는 경보들은 그에 따라(예를 들어, 적색으로 컬러링되는 것에 의해) 표현될 수도 있다. 유사하게, 3 내지 7의 우선순위 랭킹을 갖는 것에 대응하는 경보들은 (예를 들어, 오랜지색 또는 황색으로 컬러링된) 중간 긴급사항으로서 표현될 수도 있고, 우선순위 랭킹 8, 9 또는 10을 갖는 경보들은 (예를 들어, 황색 또는 녹색으로 컬러링된) 낮은 긴급사항으로서 표현될 수도 있다. 우선순위 랭킹이 11보다 더 큰 경우, 경보는 단순히 만료될 수도 있다.
경보들을 우선순위화하고 경보 만료 시간들을 결정하는 방법들은 조합될 수 있어서, 각각의 경보에 우선순위 랭킹 및 경보 만료 시간 양측 모두가 제공된다. 그러나, N+1 이상의 우선순위를 갖는 경보들은 단순히 제거될 수 있고, 어떠한 경보 만료 시간도 생성될 필요가 없다는 것에 유의한다.
방향성 사이클들을 통한 근본 원인 결정
현재의 결함 진단 방법들은 이들이 잠재적인 근본 원인들의 제한된 세트를 구별하는 것이 가능하지 않기 때문에 이들은 각각 본질적으로 비결정적이라는 점에서 중요한 제한을 갖는다. 결함 진단들의 하이브리드 방법의 부가적인 문제점은, 불안한(volatile) 에코시스템에서, 결함 진단 모델의 일정한 "튜닝"이 요구된다는 점이다. 구성이 변화할 때마다, 사용되는 방향성 그래프는: 그것이 노드들의 콘텐츠이든, 전달 확률들이든, 원인의 방향이든 등 간에 변화한다.
방향성 사이클 또는 노드를 원하는지 또는 원하지 않는지 여부에 대한 결정은 다수의 방식들로 수행될 수 있다. 그러나, 결정은 그것이 자동화될 수 있도록 해야 한다. 예를 들어, 결정은 노드 또는 방향성 사이클에 의해 표현되는 건전성 특성들에 기초하여 이루어질 수도 있다. 예를 들어, 극단 이벤트 노드들은 이들이 (거의 확실하게) 고장 이벤트 노드들인 것처럼 사양으로부터 벗어난 파라미터를 표시할 수도 있으므로 원하지 않을 수도 있다. 원하지 않는 방향성 사이클은, 하나 이상의 원하지 않는 노드들을 포함하거나, 또는 원하지 않는 보강 또는 피드백 메커니즘을 설명하는 방향성 사이클을 포함할 수도 있다. 범주 및 콘텍스트에 따라, 노드/사이클을 원하지 않는지 여부를 귀납적으로(a posteriori) 결정하는 다른 방법들이 적용될 수 있다. 또한, 결정은 바이너리일 필요가 없지만, 그 대신에 범주 및 목표에 따라 보다 큰 분해능을 갖거나 또는 연속적일 수도 있다.
실시예에서, 방향성 사이클 또는 노드를 원하는지 또는 원하지 않는지 여부가 다수의 방식들로, 예를 들어 상이한 색들로 표현되는 것에 의해 그래프 상에서 표현될 수 있다.
도 14는 예시적인 실시예에 따른, 모델 프리, 구성 독립적 결함 진단들을 수행하는 방법을 예시하는 흐름도이다. 단계들은 다음과 같고, 그 후에 더 상세히 이후에 설명된다:
1410- 인과 네트워크
1420- 사이클들을 식별함
1430- 사이클들이 발견됨?
1440- 사이클들/노드들을 분류함
1450- 노드들을 분류함
1460- 원하지 않는 사이클/원하지 않는 사이클의 부분을 초래하는 가장 중요한 노드를 결정함
1470- 가장 중요한 노드/제1 노드를 결정함
1480- 근본 원인을 결정함
1490- 종료
단계 1420에서, 인과 네트워크(방향성 그래프)(1410)가 검사되어 임의의 방향성 사이클들을 식별한다. 단계 1430에서, 임의의 방향성 사이클들이 존재하는지 여부에 대한 결정이 이루어진다. 방향성 사이클들이 존재하는 경우, 방향성 사이클들(및 노드들)은 단계 1440에서 분류된다. 이것은 방향성 사이클들 및 노드들을 원하는지 또는 원하지 않는지 여부를 결정하는 것을 포함할 수도 있다. 비-바이너리 카테고리화(예를 들어, 방향성 사이클을 원하는/원하지 않는 정도의 표시)가 또한 가능하다. 인과 네트워크 상에서, 원하는 그리고 원하지 않는 사이클들/노드들이 상이하게, 예를 들어, 상이한 색들에 의해 표현될 수도 있다. 1460에서, 원하지 않는 방향성 사이클에 연결되는(예를 들어, 이에 이르는), 그러나 그 부분이 아닌 원하지 않는 노드(또는 하나 초과가 있는 경우, 가장 중요한 원하지 않는 노드)가 식별된다. 그러한 원하지 않는 노드가 있지 않은 경우, 원하지 않는 방향성 사이클의 부분을 형성하는 가장 중요한 원하지 않는 노드가 식별된다. 단계 1480에서, 식별된 노드가 근본 원인 노드인 것으로 결정된다.
단계 1430에서, 어떠한 방향성 사이클들도 존재하지 않는 것으로 결정되는 경우, 그러면 단계 1450에서 노드들이 분류된다. 이것은 노드들을 원하는지 또는 원하지 않는지 여부를 결정하는 것을 포함할 수도 있다. 비-바이너리 카테고리화(예를 들어, 노드를 원하는/원하지 않는 정도의 표시)가 또한 가능하다. 인과 네트워크 상에서, 원하는 그리고 원하지 않는 노드들이 상이하게, 예를 들어, 상이한 색들에 의해 표현될 수도 있다. 단계 1470에서, 가장 중요한 원하지 않는 노드, 또는 대안적으로 제1 원하지 않는 노드가 식별되고, 단계 1480에서, 식별된 노드가 근본 원인 노드인 것으로 결정된다.
본 발명의 추가의 실시예들은 아래에 넘버링된 실시예들로 요약된다:
1. 산업 프로세스와 연관된 복수의 파라미터 시계열에서의 이벤트들 사이의 인과 관계를 결정하는 방법으로서,
적어도 파라미터 편위 이벤트와 연관된 제1 이벤트를 식별하는 단계; 적어도 고장 이벤트와 연관된 제2 이벤트를 식별하는 단계; 및
제1 이벤트와 제2 이벤트 사이의 인과 관계를 확립하는 단계
를 포함하는, 방법.
2. 실시예 1에 있어서, 파라미터 편위 이벤트는: 대응하는 파라미터 시계열에서 스파이크, 스텝, 트렌드의 변화, 표준 편차의 변화, 트렌드에 대한 표준 편차의 변화 및 제어 한계 위반 중 하나 이상으로서 식별되는, 방법.
3. 실시예 1 또는 실시예 2에 있어서, 상기 파라미터 시계열은, 시간 경과에 따른 파라미터 편위 이벤트의 존재 또는 부존재를 나타내는 하나 이상의 바이너리 파라미터 편위 이벤트 시계열을 포함하는, 방법.
4. 임의의 선행 실시예에 있어서, 상기 파라미터 시계열은, 시간 경과에 따른, 파라미터 편위 이벤트의 존재 또는 부존재 및 임의의 파라미터 편위 이벤트들의 극단성의 정도를 나타내는 하나 이상의 파라미터 편위 이벤트 시계열을 포함하는, 방법.
5. 임의의 선행 실시예에 있어서, 고장 이벤트가 상기 산업 프로세스 및/또는 상기 산업 프로세스를 수행하는 데 사용되는 임의의 장치의 임의의 양태의 임의의 고장으로서 식별되는, 방법.
6. 임의의 선행 실시예에 있어서, 상기 파라미터 시계열은, 시간 경과에 따른 고장 이벤트의 존재 또는 부존재를 나타내는 하나 이상의 바이너리 고장 이벤트 시계열을 포함하는, 방법.
7. 임의의 선행 실시예에 있어서, 인과 관계를 확립하는 단계는, 상기 제1 이벤트와 제2 이벤트 사이의 전달 엔트로피에 대한 값을 결정하는 단계; 및 상기 전달 엔트로피에 대한 값을 사용하여 제1 이벤트와 제2 이벤트 사이의 인과 관계를 확립하는 단계를 포함하는, 방법.
8. 실시예 7에 있어서, 양방향에서 제1 이벤트 및 제2 이벤트에 대해 상기 전달 엔트로피에 대한 값이 결정되고 상기 인과 관계가 확립되는, 방법.
9. 실시예 7 또는 실시예 8에 있어서, 상기 전달 엔트로피에 대한 값은, 복수의 상이한 시간 래그들에 대해, 제1 이벤트 및 제2 이벤트에 대해 결정되고, 시간 래그는, 전달 엔트로피가 측정되는 시간 간격의 측정치인, 방법.
10. 실시예 7 내지 실시예 9 중 어느 한 실시예에 있어서, 전달 엔트로피 값의 통계적 유의성이, 결정된 전달 엔트로피 값을, 랜덤 확률을 통해 발생하는 것을 나타내는 유의성 임계 값과 비교하는 것; 및 전달 엔트로피 값이 유의성 임계 값을 초과할 때에만 인과 관계를 부여하는 것에 의해 평가되는, 방법.
11. 실시예 10에 있어서, 파라미터 시계열을 시간에 있어서 셔플링하는 단계, 셔플링된 시계열의 쌍들에 대한 대리 전달 엔트로피 값들을 결정하는 단계, 및 상기 유의성 임계 값을 결정함에 있어서의 기준들로서 대리 전달 엔트로피 값들을 사용하는 단계를 포함하는, 방법.
12. 실시예 7 내지 실시예 11 중 어느 한 실시예에 있어서,
결정된 전달 엔트로피 값에 대한 동기화 비율을 결정하는 단계 - 상기 동기화 비율은 파라미터 시계열의 대응하는 쌍들에 대한 상호 정보량 값에 대한 전달 엔트로피 값의 비율임 -; 및
상기 동기화 비율을 사용하여 확립된 인과 관계를 카테고리화하는 단계
를 포함하는, 방법.
13. 실시예 12에 있어서, 전달 엔트로피 값이 통계적으로 유의한 것으로 평가되는 경우, 대응하는 인과 관계는 동기화 비율이 1 미만인 경우에는 피드백 지배적 정보 흐름을 그리고 동기화 비율이 1보다 더 큰 경우에는 강제 지배적 정보 흐름을 표현하는 것으로 간주되는, 방법.
14. 실시예 7 내지 실시예 13 중 어느 한 실시예에 있어서, 상기 제1 이벤트들 및 제2 이벤트들을 포함하는 복수의 이벤트들이 있고; 상기 방법은 상기 이벤트들의 쌍들에 대해 수행되어 전달 엔트로피를 결정하고 상기 이벤트들의 쌍들 각각에 대한 인과 관계를 확립하는, 방법.
15. 실시예 14에 있어서, 상기 결정된 전달 엔트로피들 및 식별된 인과 관계들을 사용하여 프로세스 네트워크를 결정하는 단계를 포함하고,
상기 이벤트들 각각은 상기 프로세스 네트워크 내의 노드이고, 노드들 사이의 에지들은 결정된 전달 엔트로피들에 의존하는, 방법.
16. 실시예 15에 있어서, 각각의 에지는, 에지가 연결된 노드들에 의해 표현되는 이벤트들 사이의 시간 지속기간을 표현하는 대응하는 시간 지속기간 값을 포함하는, 방법.
17. 실시예 16에 있어서, 각각의 에지는, 그것이 연결된 노드들 사이의 전이 확률 및 인과 관계의 방향에 관한 정보를 더 포함하는, 방법.
18. 실시예 15 내지 실시예 17 중 어느 한 실시예에 있어서, 인과 매트릭스를 결정하는 단계를 포함하고,
상기 인과 매트릭스의 각각의 셀은 2개의 노드들 사이에 방향성 인과 관계가 있는지 여부를 표시하는, 방법.
19. 실시예 18에 있어서, 상기 인과 매트릭스의 차원수를 감소시키기 위해, 각각의 방향에서, 각각의 쌍의 이벤트들에 대해 특성 시간 래그가 결정되는, 방법.
20. 실시예 19에 있어서, 상기 특성 시간 래그는, 대응하는 결정된 전달 엔트로피가 통계적으로 유의한 것으로 평가되는 제1 시간 래그인, 방법.
21. 실시예 19에 있어서, 상기 특성 시간 래그는, 대응하는 결정된 전달 엔트로피가 가장 높은 시간 래그인, 방법.
22. 실시예 15 내지 실시예 21 중 어느 한 실시예에 있어서, 상기 프로세스 네트워크의 모든 노드들은 배타적으로 파라미터 편위 이벤트 또는 고장 이벤트 중 어느 하나를 표현하는, 방법.
23. 실시예 22에 있어서, 고장 이벤트를 표현하는 노드로 이어지는 파라미터 편위 이벤트를 표현하는 노드를 포함하는 프로세스 네트워크의 각각의 서브섹션은 예측 모델인 것으로 결정되는, 방법.
24. 실시예 23에 있어서, 각각의 예측 모델에 대해 백엔드 테스팅을 수행하는 단계; 및 백엔드 테스팅 결과들을 사용하여 각각의 결정된 예측 모델을 검정하는 단계를 포함하는, 방법.
25. 실시예 24에 있어서, 상기 백엔드 테스팅은, 예측 모델의 예측들의 결과들을, 모델에 의해 모델링되는 시스템 및/또는 프로세스의 대응하는 알려진 이력과 비교하는 것을 획득하는 것을 포함하는, 방법.
26. 실시예 24 또는 실시예 25에 있어서, 각각의 결정된 예측 모델의 검정은: 감도, 정밀도, 인과 지연들 중 하나 이상의 것의 관점에서 수행되는, 방법.
27. 실시예 24, 실시예 25 또는 실시예 26에 있어서, 백엔드 테스팅 결과들을 사용하여, 예측 모델에 포함된 파라미터 편위 이벤트를 처리함에 있어서의 이익의 측정치에 관한 이익 메트릭을 결정하는 단계; 및 상기 이익 메트릭을 사용하여 상기 예측 모델을 검정하는 단계를 포함하는, 방법.
28. 실시예 27에 있어서, 상기 이익 메트릭은 파라미터 편위 이벤트가 처리되지 않는 시간 경과에 따른 고장 확률을 설명하는 고장 확률 분포로부터 획득되는, 방법.
29. 실시예 23 내지 실시예 28 중 어느 한 실시예에 있어서,
생성되는 각각의 경보를 처리하는 비용의 측정에 관한 비용 메트릭을 획득하는 단계;
시간의 함수로서 생성되는 각각의 경보를 처리함에 있어서의 이익의 측정치에 관한 이익 메트릭을 획득하는 단계; 및
각각의 경보에 대한 비용 메트릭에 대한 이익 메트릭의 평가에 기초하여 상기 미처리된 경보들에 대한 관리 액션을 수행하는 단계
에 의해, 하나 이상의 파라미터 편위 이벤트들의 검출에 기초하여 예측 모델들 중 하나 이상에 의해 생성되는 미처리된 경보들을 관리하는 단계를 포함하는, 방법.
30. 실시예 29에 있어서, 상기 관리 액션은, 각각의 경보에 적합한 비용 메트릭에 대한 이익 메트릭의 평가에 기초하여 각각의 미처리된 경보들에 경보 만료 시간을 할당하는 것을 포함하는, 방법.
31. 실시예 30에 있어서, 경보 만료 시간은 비용 메트릭에 대한 이익 메트릭의 평가가 임계 값을 충족시키는 시간에 기초하는, 방법.
32. 실시예 29 내지 실시예 31 중 어느 한 실시예에 있어서, 경보 만료 시간에 미처리된 경보들을 자동으로 만료시키는 단계를 포함하는, 방법.
33. 실시예 29 내지 실시예 32 중 어느 한 실시예에 있어서, 경보 만료 시간들은 사용자에게 디스플레이되는, 방법.
34. 실시예 29 내지 실시예 33 중 어느 한 실시예에 있어서, 상기 관리 액션은, 각각의 경보에 적절한 비용 메트릭에 대한 이익 메트릭의 평가에 기초하여 상기 미처리된 경보들 각각에 대한 우선순위 메트릭을 결정하는 것을 포함하고, 상기 우선순위 메트릭은 각각의 미처리된 경보에 대한 처리의 순간 영향의 측정치인, 방법.
35. 실시예 34에 있어서, 상기 우선순위 메트릭들은 기준 우선순위 메트릭과 관련하여 참조되고, 상기 기준 우선순위 메트릭은, 대응하는 경보가 생성되는 시간에 가장 큰 순간 영향을 표현한 것으로 결정된 우선순위 메트릭인, 방법.
36. 실시예 34 또는 실시예 35에 있어서, 각각의 미처리된 경보에 대한 처리의 순간 영향의 측정치는, 특정 시간 후의 즉각적인 사전적 액션을 상기 특정 시간 후의 순간 고장의 확률로 곱한 것으로 가정한, 사전적 액션의 영향의 측정치를 포함하는, 방법.
37. 실시예 34, 실시예 35 또는 실시예 36에 있어서, 우선순위 메트릭에 기초하여 각각의 경보에 우선순위 랭킹이 할당되는, 방법.
38. 실시예 37에 있어서, 우선순위 랭킹들 및/또는 우선순위 메트릭들이 사용자에게 디스플레이되는, 방법.
39. 실시예 29 내지 실시예 38 중 어느 한 실시예에 있어서, 비용 메트릭은 각각의 경보를 처리하는 비용들에 관한 알려진 정보로부터 도출되는, 방법.
40. 실시예 15 내지 실시예 39 중 어느 한 실시예에 있어서,
상기 복수의 이벤트들 및 상기 인과 관계들 내에서 하나 이상의 방향성 사이클들을 식별하는 단계;
공칭 시스템 거동에 기초하여 방향성 사이클을 분류하는 단계; 및
사이클 분류에 기초하여 분류된 방향성 사이클과의 인과 관계를 갖는 하나 이상의 이벤트(들)를 분류하는 단계
를 더 포함하는, 방법.
41. 실시예 40에 있어서, 상기 하나 이상의 이벤트(들)를 분류하는 단계는, 상기 제1 이벤트들 중 하나 이상을 상기 제2 이벤트들 중 하나에 대한 근본 원인 이벤트로서 분류하는 단계를 포함하는, 방법.
42. 실시예 41에 있어서, 상기 제1 이벤트들 중 하나 이상을 근본 원인 이벤트로서 분류하는 단계는, 분류된 방향성 사이클과의 인과 관계를 갖지만 분류된 방향성 사이클 내에 포함되지 않는 상기 제1 이벤트들 중 하나 이상을 근본 원인 이벤트로서 분류하는 단계를 포함하는, 방법.
43. 실시예 41 또는 실시예 42에 있어서, 상기 방향성 사이클을 분류하는 단계는, 상기 방향성 사이클을 원하는지 또는 원하지 않는지 여부를 결정하는 단계를 포함하는, 방법.
44. 실시예 43에 있어서, 상기 방향성 사이클을 원하는지 또는 원하지 않는지 여부를 결정하는 단계는, 방향성 사이클에 의해 설명된 시스템의 동작 양태가 상기 공칭 시스템 거동을 참조하여 특정된 마진 내에 있는지 여부를 결정하는 단계를 포함하는, 방법.
45. 실시예 43 또는 실시예 44에 있어서, 상기 근본 원인 이벤트를, 분류된 원하지 않는 방향성 사이클과의 인과 관계를 갖지만 분류된 원하지 않는 방향성 사이클 내에 포함되지 않는 제1 이벤트로서 결정하는 단계를 포함하는, 방법.
46. 실시예 15 내지 실시예 45 중 어느 한 실시예에 있어서, 파라미터 편위 이벤트로부터 고장 이벤트까지의 하나 이상의 고장 경로들을 식별하는 단계를 포함하는, 방법.
47. 실시예 46에 있어서, 상기 고장 경로들 중 하나는 복수의 파라미터 편위 이벤트들을 포함하고, 상기 고장 경로에 대한 후속 파라미터 편위 이벤트와 함께 상기 고장 경로에 대한 보다 앞선 파라미터 편위 이벤트의 발생을 검증하는, 방법.
48. 실시예 46 또는 실시예 47에 있어서, 단일 고장 이벤트에 대한 상이한 고장 경로들을 결정하는 단계를 포함하고,
상기 상이한 고장 경로들은 상기 단일 고장 이벤트로 이어지는 하나 이상의 파라미터 편위 이벤트들의 관점에서 상이한, 방법.
49. 임의의 선행 실시예에 있어서, 상기 방법은,
산업 프로세스가 상기 파라미터 시계열로부터 동작하고 있는 콘텍스트에 관한 콘텍스트 데이터를 결정하는 초기 단계 - 상기 프로세스는 임의의 시간에 복수의 콘텍스트들 중 적어도 하나에서 동작가능함 -; 및
상기 콘텍스트 데이터에 품질 가중치를 적용하는 단계
를 포함하고,
상기 품질 가중치는 특정 콘텍스트 세그먼트에 대한 상기 콘텍스트 데이터의 정확도의 측정치에 의존하고, 각각의 콘텍스트 세그먼트는 상기 콘텍스트들 중 하나의 콘텍스트의 세그먼트를 포함하고, 각각의 콘텍스트는 시간적으로 세그먼트화되는, 방법.
50. 실시예 49에 있어서, 특정 콘텍스트 세그먼트에 대한 상기 콘텍스트 데이터의 정확도의 상기 측정치는 시스템 및/또는 프로세스에 대한 각각의 가능한 콘텍스트 세그먼트에 대해 이전에 결정된, 방법.
51. 실시예 50에 있어서, 특정 콘텍스트 세그먼트에 대한 상기 콘텍스트 데이터의 정확도의 상기 측정치는, 상기 가능한 콘텍스트 세그먼트들 각각에 대해, 각각의 가능한 콘텍스트 전이에 대해 이전에 결정된, 방법.
52. 실시예 49 내지 실시예 51 중 어느 한 실시예에 있어서, 상기 콘텍스트 세그먼트들은 중간 세그먼트들 및 전이 세그먼트들을 포함하여, 각각의 콘텍스트가 2개의 전이 세그먼트들 및 이들 사이의 중간 세그먼트를 포함하는, 방법.
53. 실시예 49 내지 실시예 52 중 어느 한 실시예에 있어서, 상기 품질 가중치는 콘텍스트 세그먼트에 의존하여 상기 콘텍스트 데이터의 각각의 콘텍스트 세그먼트에 적용되는, 방법.
54. 실시예 53에 있어서, 상기 품질 가중치는 선행 및/또는 후속 콘텍스트 세그먼트에 추가로 의존하여 상기 콘텍스트 데이터의 각각의 콘텍스트 세그먼트에 적용되는, 방법.
55. 실시예 49 내지 실시예 54 중 어느 한 실시예에 있어서, 품질 가중치는 이벤트들 사이에서 상기 인과 관계를 결정할 때 상기 콘텍스트 데이터 및/또는 콘텍스트 데이터가 대응하는 이벤트에 따르는 고려 정도를 결정하는, 방법.
56. 실시예 55에 있어서, 품질 가중치는, 이벤트들 사이에서 상기 인과 관계를 결정함에 있어서 상기 콘텍스트 데이터 및/또는 콘텍스트 데이터가 대응하는 이벤트가 포함되거나 또는 포함되지 않도록 가중되도록 하는 바이너리인, 방법.
57. 실시예 49 내지 실시예 56 중 어느 한 실시예에 있어서, 상기 콘텍스트는, 시스템 및/또는 프로세스의 동작 모드 또는 동작 상태를 포함하는, 방법.
58. 임의의 선행 실시예에 있어서, 파라미터 편위 이벤트를 포함하는 파라미터 시계열에 대해:
제1 필터링된 시계열 데이터를 획득하기 위해 상기 파라미터 시계열에 인과 필터를 적용하는 단계;
제2 필터링된 시계열 데이터를 획득하기 위해 상기 파라미터 시계열에 반-인과 필터를 적용하는 단계 및
파라미터 편위 이벤트에 대한 보정된 시간을 결정하기 위해 상기 제1 필터링된 시계열 데이터와 상기 제2 필터링된 시계열 데이터를 조합하는 단계
를 수행하는 것에 의해 상기 파라미터 편위 이벤트들 중 하나 이상의 파라미터 편위 이벤트의 시간을 결정하는 단계를 포함하는, 방법.
59. 실시예 58에 있어서, 반-인과 필터를 적용하는 단계는,
파라미터 시계열을 시간에 있어서 반전시키는 단계; 및
상기 인과 필터를 반전된 파라미터 시계열에 적용하는 단계
를 포함하는, 방법.
60. 실시예 58 또는 실시예 59에 있어서, 입력 파라미터 데이터의 신호 엔벨로프를 결정하여 상기 파라미터 시계열이 상기 신호 엔벨로프를 설명하는 초기 단계를 포함하는, 방법.
61. 실시예 60에 있어서, 신호 엔벨로프를 결정하는 단계는, 상부 엔벨로프 및 하부 엔벨로프를 결정하는 단계를 포함하고, 상기 방법은 상기 상부 엔벨로프 및 하부 엔벨로프 각각에 대해 별개로 수행되는, 방법.
62. 실시예 58 내지 실시예 61 중 어느 한 실시예에 있어서,
상기 제1 필터링된 시계열 데이터 내에서 상기 파라미터 편위 이벤트에 대한 제1 시간을 결정하는 단계; 및
상기 제2 필터링된 시계열 데이터 내에서 상기 파라미터 편위 이벤트에 대한 제2 시간을 결정하는 단계
를 포함하고,
상기 조합하는 단계는, 상기 보정된 시간을 획득하기 위해 상기 제1 시간과 상기 제2 시간을 조합하는 단계를 포함하는, 방법.
63. 임의의 선행 실시예에 있어서, 상기 복수의 파라미터 시계열은, 상기 파라미터 편위 이벤트들 중 하나 이상을 포함하는 파라미터 편위 시계열, 및 상기 고장 이벤트들 중 하나 이상을 포함하는 고장 파라미터 시계열을 포함하고, 상기 파라미터 편위 시계열 및 고장 시계열은, 이들의 데이터의 매칭 품질에 있어서 이들 사이에 변동을 가지며, 상기 방법은,
연속적으로 덜 엄격한 매칭 룰들을 사용하여 매칭된 이벤트들을 획득하기 위해 파라미터 편위 시계열 및 고장 시계열 각각으로부터의 이벤트들을 반복적으로 매칭 및 필터링하는 단계를 더 포함하고, 매칭 룰들은 매칭 품질의 변동에 기초하여 정의되는, 방법.
64. 실시예 63에 있어서, 매칭된 이벤트들을, 이들을 획득하는 데 사용되는 매칭 룰의 엄격성에 대응하는 매칭 품질 표시자와 연관시키는 단계를 더 포함하는, 방법.
65. 실시예 63 또는 실시예 64에 있어서, 매칭 품질의 변동은 이벤트들의 타이밍 정확도의 차이를 포함하는, 방법.
66. 실시예 63 내지 실시예 65 중 어느 한 실시예에 있어서, 상기 매칭 룰들은 상기 파라미터 편위 이벤트들과 고장 이벤트들 사이의 거리 측정치에 기초하여 정의되고, 거리 측정치는 상이한 파라미터 시계열 사이의 정확도의 차이를 포함하는, 방법.
67. 실시예 66에 있어서, 매칭 룰들은 거리 측정치의 가중 합에 기초하여 정의되는, 방법.
68. 실시예 63 내지 실시예 67 중 어느 한 실시예에 있어서,
(a) 복수의 파라미터 시계열로부터 이벤트들의 세트를 선택하는 단계;
(b) 이벤트들 사이의 하나 이상의 거리 측정치들을 정의하는 단계; 및
(c) 정의된 거리 측정치들에 기초하여 상이한 엄격성을 갖는 매칭 룰들의 세트를 정의하는 단계
를 더 포함하고,
파라미터 시계열로부터의 이벤트들을 반복적으로 매칭 및 필터링하는 단계는,
(d) 매칭 룰들의 세트 중 가장 엄격한 것을 사용하여 파라미터 시계열을 쿼리하고, 이에 의해 획득된 매칭된 이벤트들을, 높은 매칭 품질을 표시하는 표시자와 연관시키는 단계; 및
(e) 매칭 룰들의 세트의 덜 엄격한 룰을 사용하여 파라미터 시계열을 쿼리하고, 이에 의해 획득된 매칭된 이벤트들을, 보다 낮은 매칭 품질을 표시하는 표시자와 연관시키는 단계
를 포함하는, 방법.
69. 임의의 선행 실시예에 있어서, 상기 산업 프로세스는, 기판 상에 패턴을 인가하기 위한 리소그래피 프로세스를 포함하는, 방법.
70. 리소그래피 장치로서,
패턴을 조명하도록 배열되는 조명 광학 시스템; 및
패턴의 이미지를 기판 상으로 투영하도록 배열되는 투영 광학 시스템
을 포함하고;
리소그래피 장치는 상기 리소그래피 장치에 의해 수행되는 상기 리소그래피 프로세스의 동작을 모델링하기 위해 실시예 69의 방법을 수행하도록 배열되는, 리소그래피 장치.
71. 적합한 프로세서 제어 장치 상에서 실행될 때, 프로세서 제어 장치로 하여금, 실시예 1 내지 실시예 69 중 어느 한 실시예의 방법을 수행하게 하는 프로세서 판독가능 명령어들을 포함하는, 컴퓨터 프로그램.
72. 실시예 71의 컴퓨터 프로그램을 포함하는, 컴퓨터 프로그램 캐리어.
73. 리소그래피 프로세스를 사용하여 디바이스 패턴이 일련의 기판들에 인가되는 디바이스들의 제조 방법으로서,
이 방법은, 실시예 69의 방법을 사용하는 상기 리소그래피 프로세스의 모델링 동작을 포함하는, 방법.
본 명세서에서 사용되는 "방사선" 및 "빔"이라는 용어들은, 자외(UV) 방사선(예를 들어, 365, 355, 248, 193, 157 또는 126 nm의 파장 또는 그 부근의 파장을 가짐) 및 극자외(EUV) 방사선(예를 들어, 5 내지 20 nm 범위의 파장을 가짐)뿐만 아니라 이온 빔들 또는 전자 빔들과 같은 입자 빔들을 포함하는 모든 타입들의 전자기 방사선을 포괄한다.
"렌즈"라는 용어는, 문맥상 허용하는 경우, 굴절형, 반사형, 자기형, 전자기형 및 정전형 광학 컴포넌트들을 포함하는 다양한 타입들의 광학 컴포넌트들 중 어느 하나 또는 이들의 조합을 지칭할 수도 있다.
특정 실시예들의 전술한 설명은, 다른 사람들이, 본 기술분야의 기술 내의 지식을 적용함으로써, 다양한 적용들에 대해 본 발명의 일반적인 개념을 벗어나지 않고 지나친 실험 없이 그러한 특정 실시예들을 쉽게 수정 및/또는 적응할 수 있도록 본 발명의 일반적인 성질을 전부 드러낼 것이다. 그에 따라, 그러한 적응들 및 수정들은 본 명세서에 제시된 교시 및 안내에 기초하여, 개시된 실시예들의 등가물들의 의미 및 범위 내에 있도록 의도된다. 본 명세서에서 어구 또는 전문용어는 예시에 의한 설명의 목적을 위한 것이며 제한하려는 것이 아니므로, 통상의 기술자라면 본 명세서의 전문용어 또는 어구가 교시 및 안내를 고려하여 해석되어야 한다는 것을 이해해야 한다.
본 발명의 폭 및 범주는 상기에 설명된 예시적인 실시예들 중 어느 것에 의해서도 제한되지 않아야 하며, 다음의 청구항들 및 그 등가물들에 따라서만 정의되어야 한다.

Claims (15)

  1. 산업 프로세스와 연관된 복수의 파라미터 시계열(parameter time series)에서의 이벤트들 사이의 인과 관계를 결정하는 방법으로서,
    적어도 파라미터 편위 이벤트(parameter excursion event)와 연관된 제1 이벤트를 식별하고 적어도 고장 이벤트와 연관된 제2 이벤트를 식별하는 단계 - 상기 제1 이벤트들 및 제2 이벤트들을 포함하는 복수의 이벤트들이 있음 -;
    상기 이벤트들의 쌍들 각각에 대한 인과 관계를 확립하기 위해 상기 이벤트들의 쌍들에 대한 전달 엔트로피(transfer entropy)의 값들을 결정하는 단계;
    상기 전달 엔트로피의 결정된 값들 및 식별된 인과 관계들을 사용하여 프로세스 네트워크를 결정하는 단계 - 상기 이벤트들 각각은 상기 프로세스 네트워크 내의 노드이고, 노드들 사이의 에지들은 상기 전달 엔트로피의 결정된 값들에 의존함 -;
    상기 복수의 이벤트들 및 상기 인과 관계들 내에서 하나 이상의 방향성 사이클(directed cycle)들을 식별하는 단계;
    공칭 시스템 거동에 기초하여 방향성 사이클을 분류하는 단계; 및
    사이클 분류에 기초하여 상기 분류된 방향성 사이클과의 인과 관계를 갖는 하나 이상의 이벤트(들)를 분류하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 하나 이상의 이벤트(들)를 분류하는 단계는, 상기 제1 이벤트들 중 하나 이상을 상기 제2 이벤트들 중 하나에 대한 근본 원인 이벤트로서 분류하는 단계를 포함하는, 방법.
  3. 제1항에 있어서,
    파라미터 편위 이벤트는: 대응하는 파라미터 시계열에서 스파이크(spike), 스텝(step), 트렌드의 변화, 표준 편차의 변화, 트렌드에 대한 표준 편차의 변화 및 제어 한계 위반 중 하나 이상으로서 식별되는, 방법.
  4. 제1항에 있어서,
    고장 이벤트를 표현하는 노드로 이어지는 파라미터 편위 이벤트를 표현하는 노드를 포함하는 상기 프로세스 네트워크의 각각의 서브섹션은 예측 모델인 것으로 결정되는, 방법.
  5. 제4항에 있어서,
    생성되는 각각의 경보를 처리(attend to)하는 비용의 측정치에 관한 비용 메트릭(cost metric)을 획득하는 단계;
    시간의 함수로서 생성되는 각각의 경보를 처리함에 있어서의 이익의 측정치에 관한 이익 메트릭을 획득하는 단계; 및
    각각의 경보에 대한 상기 비용 메트릭에 대한 상기 이익 메트릭의 평가에 기초하여 상기 미처리된 경보들에 대한 관리 액션을 수행하는 단계
    에 의해, 하나 이상의 파라미터 편위 이벤트들의 검출에 기초하여 예측 모델들 중 하나 이상에 의해 생성되는 미처리된 경보들을 관리하는 단계를 포함하는, 방법.
  6. 제1항에 있어서,
    파라미터 편위 이벤트로부터 고장 이벤트까지의 하나 이상의 고장 경로들을 식별하는 단계를 포함하는, 방법.
  7. 제6항에 있어서,
    상기 고장 경로들 중 하나는 복수의 파라미터 편위 이벤트들을 포함하고, 상기 고장 경로에 대한 후속 파라미터 편위 이벤트와 함께 상기 고장 경로에 대한 보다 앞선 파라미터 편위 이벤트의 발생을 검증하는, 방법.
  8. 제1항에 있어서,
    상기 방법은,
    상기 산업 프로세스가 상기 파라미터 시계열로부터 동작하고 있는 콘텍스트(context)에 관한 콘텍스트 데이터를 결정하는 초기 단계 - 상기 프로세스는 임의의 시간에 복수의 콘텍스트들 중 적어도 하나에서 동작가능함 -; 및
    상기 콘텍스트 데이터에 품질 가중치(quality weighting)를 적용하는 단계
    를 포함하고,
    상기 품질 가중치는 특정 콘텍스트 세그먼트에 대한 상기 콘텍스트 데이터의 정확도의 측정치에 의존하고, 각각의 콘텍스트 세그먼트는 상기 콘텍스트들 중 하나의 콘텍스트의 세그먼트를 포함하고, 각각의 콘텍스트는 시간적으로 세그먼트화되는, 방법.
  9. 제1항에 있어서,
    상기 파라미터 편위 이벤트를 포함하는 상기 파라미터 시계열에 대해:
    제1 필터링된 시계열 데이터를 획득하기 위해 상기 파라미터 시계열에 인과 필터를 적용하는 단계;
    제2 필터링된 시계열 데이터를 획득하기 위해 상기 파라미터 시계열에 반-인과 필터(anti-causal filter)를 적용하는 단계 및
    상기 파라미터 편위 이벤트에 대한 보정된 시간을 결정하기 위해 상기 제1 필터링된 시계열 데이터와 상기 제2 필터링된 시계열 데이터를 조합하는 단계
    를 수행하는 것에 의해 상기 파라미터 편위 이벤트들 중 하나 이상의 파라미터 편위 이벤트의 시간을 결정하는 단계를 포함하는, 방법.
  10. 제1항에 있어서,
    상기 복수의 파라미터 시계열은, 상기 파라미터 편위 이벤트들 중 하나 이상을 포함하는 파라미터 편위 시계열, 및 상기 고장 이벤트들 중 하나 이상을 포함하는 고장 파라미터 시계열을 포함하고, 상기 파라미터 편위 시계열 및 고장 시계열은, 이들의 데이터의 매칭 품질에 있어서 이들 사이에 변동을 가지며,
    상기 방법은,
    연속적으로 덜 엄격한 매칭 룰(matching rule)들을 사용하여 매칭된 이벤트들을 획득하기 위해 상기 파라미터 편위 시계열 및 고장 시계열 각각으로부터의 이벤트들을 반복적으로 매칭 및 필터링하는 단계를 더 포함하고,
    상기 매칭 룰들은 상기 매칭 품질의 변동에 기초하여 정의되는, 방법.
  11. 제1항에 있어서,
    상기 산업 프로세스는, 기판 상에 패턴을 인가하기 위한 리소그래피 프로세스를 포함하는, 방법.
  12. 제8항에 있어서,
    상기 품질 가중치는 선행 및/또는 후속 콘텍스트 세그먼트에 추가로 의존하여 상기 콘텍스트 데이터의 각각의 콘텍스트 세그먼트에 적용되는, 방법.
  13. 제8항에 있어서,
    상기 품질 가중치는 이벤트들 사이에서 상기 인과 관계를 결정할 때 상기 콘텍스트 데이터 및/또는 상기 콘텍스트 데이터가 대응하는 이벤트에 따르는 고려 정도를 결정하는, 방법.
  14. 제13항에 있어서,
    상기 품질 가중치는, 이벤트들 사이에서 상기 인과 관계를 결정함에 있어서 상기 콘텍스트 데이터 및/또는 상기 콘텍스트 데이터가 대응하는 이벤트가 포함되거나 또는 포함되지 않도록 가중되도록 하는 바이너리(binary)인, 방법.
  15. 제8항에 있어서,
    상기 콘텍스트는, 상기 시스템 및/또는 프로세스의 동작 모드 또는 동작 상태를 포함하는, 방법.
KR1020197031127A 2017-03-23 2018-02-15 리소그래피 시스템들과 같은 시스템들을 모델링하거나 시스템들의 예측 유지보수를 수행하는 방법들 및 연관된 리소그래피 시스템들 KR102304281B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17162628.6A EP3379356A1 (en) 2017-03-23 2017-03-23 Method of modelling lithographic systems for performing predictive maintenance
EP17162628.6 2017-03-23
PCT/EP2018/053781 WO2018171982A1 (en) 2017-03-23 2018-02-15 Methods of modelling systems or performing predictive maintenance of systems, such as lithographic systems and associated lithographic systems

Publications (2)

Publication Number Publication Date
KR20190131083A true KR20190131083A (ko) 2019-11-25
KR102304281B1 KR102304281B1 (ko) 2021-09-24

Family

ID=58530361

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197031127A KR102304281B1 (ko) 2017-03-23 2018-02-15 리소그래피 시스템들과 같은 시스템들을 모델링하거나 시스템들의 예측 유지보수를 수행하는 방법들 및 연관된 리소그래피 시스템들

Country Status (6)

Country Link
US (1) US11461675B2 (ko)
EP (1) EP3379356A1 (ko)
KR (1) KR102304281B1 (ko)
CN (1) CN110462536B (ko)
TW (2) TWI672565B (ko)
WO (1) WO2018171982A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6664007B2 (ja) * 2016-04-20 2020-03-13 エーエスエムエル ネザーランズ ビー．ブイ． レコードを整合させる方法、保守のスケジュールを作成する方法、および装置
US10560326B2 (en) * 2017-09-22 2020-02-11 Webroot Inc. State-based entity behavior analysis
CN113946461A (zh) * 2018-06-15 2022-01-18 华为技术有限公司 一种故障根因分析的方法及装置
KR20230130767A (ko) * 2018-11-07 2023-09-12 에이에스엠엘 네델란즈 비.브이. 공정에 대한 보정 결정
WO2020190326A1 (en) * 2019-03-15 2020-09-24 3M Innovative Properties Company Determining causal models for controlling environments
US20220276563A1 (en) * 2019-07-10 2022-09-01 Asml Netherlands B.V. Prediction data selection for model calibration to reduce model prediction uncertainty
JP2021068109A (ja) * 2019-10-21 2021-04-30 富士ゼロックス株式会社 情報処理装置及びプログラム
CN113051307A (zh) * 2019-12-27 2021-06-29 深信服科技股份有限公司 告警信号的分析方法、设备、存储介质及装置
EP3910419A1 (en) * 2020-05-14 2021-11-17 ASML Netherlands B.V. Methods of modelling systems or performing predictive maintenance of systems, such as lithographic systems and associated lithographic systems
US20230138469A1 (en) * 2020-03-06 2023-05-04 Asml Netherlands B.V. Methods of modelling systems for performing predictive maintenance of systems, such as lithographic systems
CN115552334A (zh) * 2020-05-08 2022-12-30 Asml荷兰有限公司 用于诊断未观察的操作参数的方法和设备
US20230410995A1 (en) * 2020-10-22 2023-12-21 Koninklijke Philips N.V. Multi-criteria fair queueing of alerts
CN113485287B (zh) * 2021-06-23 2024-03-26 佛山科学技术学院 一种多粒度度量的动态系统故障诊断方法及系统
WO2023180238A1 (en) * 2022-03-25 2023-09-28 Koninklijke Philips N.V. Systems and methods for personalized ranked alerts
CN115718744B (zh) * 2022-11-28 2023-07-21 北京中航路通科技有限公司 一种基于大数据的数据质量度量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050267609A1 (en) * 2004-05-25 2005-12-01 Asmil Netherlands B.V. Lithographic motion control system and method
US20130055145A1 (en) * 2011-08-29 2013-02-28 John Melvin Antony Event management apparatus, systems, and methods
EP3106998A1 (en) * 2014-02-14 2016-12-21 Omron Corporation Causal network generating system and causal relation data structure

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1026615A1 (de) * 1999-02-05 2000-08-09 Franz-Peter Dr. Liebel Verfahren zur Berechnung von Wahrscheinlichkeiten pathophysiologischer Zustände als Zwischenergebnisse der Diagnosefindung
US7894903B2 (en) * 2005-03-24 2011-02-22 Michael Sasha John Systems and methods for treating disorders of the central nervous system by modulation of brain networks
US8014881B2 (en) * 2007-02-15 2011-09-06 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method
US8140301B2 (en) * 2007-04-30 2012-03-20 International Business Machines Corporation Method and system for causal modeling and outlier detection
JP2010061450A (ja) 2008-09-04 2010-03-18 Univ Of Tokyo 情報処理装置、情報処理方法及びプログラム
US8988653B2 (en) * 2009-08-20 2015-03-24 Asml Netherlands B.V. Lithographic apparatus, distortion determining method, and patterning device
NL2008311A (en) * 2011-04-04 2012-10-08 Asml Netherlands Bv Integration of lithography apparatus and mask optimization process with multiple patterning process.
CN102541017B (zh) * 2012-01-12 2014-07-23 浙江大学 一种复杂化工过程中振荡信号的快速定位方法
US10223327B2 (en) * 2013-03-14 2019-03-05 Fisher-Rosemount Systems, Inc. Collecting and delivering data to a big data machine in a process control system
FR3018416B1 (fr) * 2014-03-04 2017-06-23 Thales Sa Procede et systeme de supervision, notamment applique a la videosurveillance
EP3048613B1 (en) * 2015-01-20 2019-06-12 ABB Schweiz AG Method for analysis of plant disturbance propagations
KR102149866B1 (ko) * 2015-09-29 2020-09-01 에이에스엠엘 네델란즈 비.브이. 리소그래피 시스템들과 같은 시스템들을 모델링하거나 시스템들의 예측 유지보수를 수행하는 방법들, 및 연계된 리소그래피 시스템들.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050267609A1 (en) * 2004-05-25 2005-12-01 Asmil Netherlands B.V. Lithographic motion control system and method
US20130055145A1 (en) * 2011-08-29 2013-02-28 John Melvin Antony Event management apparatus, systems, and methods
EP3106998A1 (en) * 2014-02-14 2016-12-21 Omron Corporation Causal network generating system and causal relation data structure

Also Published As

Publication number Publication date
EP3379356A1 (en) 2018-09-26
US20200342333A1 (en) 2020-10-29
CN110462536B (zh) 2022-11-15
TW201937309A (zh) 2019-09-16
US11461675B2 (en) 2022-10-04
TWI706232B (zh) 2020-10-01
WO2018171982A1 (en) 2018-09-27
TWI672565B (zh) 2019-09-21
TW201837617A (zh) 2018-10-16
KR102304281B1 (ko) 2021-09-24
CN110462536A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
KR102304281B1 (ko) 리소그래피 시스템들과 같은 시스템들을 모델링하거나 시스템들의 예측 유지보수를 수행하는 방법들 및 연관된 리소그래피 시스템들
KR102149866B1 (ko) 리소그래피 시스템들과 같은 시스템들을 모델링하거나 시스템들의 예측 유지보수를 수행하는 방법들, 및 연계된 리소그래피 시스템들.
US11687007B2 (en) Method for decision making in a semiconductor manufacturing process
TWI764554B (zh) 判定微影匹配效能
EP3693795A1 (en) Method for decision making in a semiconductor manufacturing process
US20230058166A1 (en) Method for determining an inspection strategy for a group of substrates in a semiconductor manufacturing process
CN114008535B (zh) 用于确定特征对性能的贡献的方法和设备
US11526084B2 (en) Determining significant relationships between parameters describing operation of an apparatus
NL2024999A (en) Determining lithographic matching performance
CN115552334A (zh) 用于诊断未观察的操作参数的方法和设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant