KR101713007B1 - 일반화된 그리고 견고한 예측 모델들의 생성을 위한 증가된 신호 대 잡음비 - Google Patents

일반화된 그리고 견고한 예측 모델들의 생성을 위한 증가된 신호 대 잡음비 Download PDF

Info

Publication number
KR101713007B1
KR101713007B1 KR1020147031298A KR20147031298A KR101713007B1 KR 101713007 B1 KR101713007 B1 KR 101713007B1 KR 1020147031298 A KR1020147031298 A KR 1020147031298A KR 20147031298 A KR20147031298 A KR 20147031298A KR 101713007 B1 KR101713007 B1 KR 101713007B1
Authority
KR
South Korea
Prior art keywords
input variables
variables
iterations
contribution
generating
Prior art date
Application number
KR1020147031298A
Other languages
English (en)
Other versions
KR20140144282A (ko
Inventor
디파크 샤르마
헬렌 알. 아머
제임스 모이네
Original Assignee
어플라이드 머티어리얼스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어플라이드 머티어리얼스, 인코포레이티드 filed Critical 어플라이드 머티어리얼스, 인코포레이티드
Publication of KR20140144282A publication Critical patent/KR20140144282A/ko
Application granted granted Critical
Publication of KR101713007B1 publication Critical patent/KR101713007B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/36—Circuit design at the analogue level
    • G06F30/367—Design verification, e.g. using simulation, simulation program with integrated circuit emphasis [SPICE], direct methods or relaxation methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)

Abstract

컴퓨터 시스템은 입력 변수들의 세트를 이용하여 결정 트리-기반의 예측 모델을 반복적으로 실행한다. 반복들은 입력 변수들의 상응하는 랭킹들을 생성한다. 컴퓨터 시스템은, 입력 변수들의 랭킹들을 이용하여 전체적인 변수들 기여 데이터를 생성하고 그리고 상기 전체적인 변수들 기여 데이터를 기초로 중요 입력 변수들을 식별한다.

Description

일반화된 그리고 견고한 예측 모델들의 생성을 위한 증가된 신호 대 잡음비{INCREASING SIGNAL TO NOISE RATIO FOR CREATION OF GENERALIZED AND ROBUST PREDICTION MODELS}
본 개시 내용의 실시예들은 예측 모델들에 관한 것이고, 보다 특정하게는, 일반화된(generalized) 그리고 견고한(robust) 예측 모델들의 생성을 위해 신호 대 잡음비를 증가시키는 기술에 관한 것이다.
프로세스 윈도우(process window)들이 축소됨에 따라, 반도체 제조업자들은 양호한 수율(yield)을 유지하고 탈선들(excursions)(일탈들(deviations))을 피하는 것이 점점 더 어렵다는 것을 알 수 있을 것이다. 수율 및 디바이스 성능은 또한 프로세스 변동(process variation)들에 대해서 더 민감할 수 있다. 예를 들어, 웨이퍼 결과들을 기초로 챔버를 매칭시키는 것(matching) 및 챔버 탈선들을 방지하는 것은, 툴 가변성(variability) 그리고 수율 및 디바이스 성능에 대한 그 영향들을 관리하는데 있어서 중요한 것들(keys)이다. 툴 디자인에 관한 심화된 지식(deep knowledge)과 조합된 진보된 통계적 및 기계적 학습 방법들은, 챔버들을 매칭시키는데 있어서 그리고 탈선들을 예측하는데 있어서 도움을 주는, 툴들에서의 가변성의 일반화된 모델들을 구축하는데 도움을 줄 수 있다. 이러한 일반화된 예측 모델들은 수율에 영향을 미치는(또는 결함들을 유발하는) 변수들을 식별할 수 있으며 그리고 챔버 탈선들을 검출할 수 있다.
전형적으로, 예를 들어 가상 계측(virtual metrology; VM), 수율, 결함들, 및 예측 유지보수(predictive maintenance, PdM)를 위한, 성능 표시자들(indicators)의 높은 충실도(fidelity)(높은 품질) 예측 모델들을 구축하기 위하여, 진보된 통계적 방법들이 이용된다. 높은 충실도 예측 모델들을 개발하는 것은 어려움이 있는데, 이는 매우 높이즈가 많고(highly noisy) 상관되는(correlated) 입력 또는 프로세스 데이터, 낮은 신호 대 잡음, 그리고 큰(high) 가변성 환경 때문이다. 상관되는 데이터는 데이터에서의 실패 원인을 정확하게 식별하는 것을 어렵게 만든다. 낮은 신호 대 잡음은 정보가 손실될(missing) 수 있음을 의미한다. 큰 가변성 프로세스는, 예측 모델들이 일반화되지 않고 신속하게 변화한다는 것을 의미한다.
많은 수의 입력 변수들, 높은 레벨들의 다중공선성(multicollinearity), 및 잡음으로 인해, 견고한 예측 모델들을 개발하는 것이 점점 더 어려워지고 있다. 이러한 입력 변수 리스트를, 모델링 기술들이 핸들링할 수 있는 보다 적은 리스트(smaller list)로 감소시키는 것은 일반적으로, 발견적 교수법(heuristics) 및 과거의 지식을 이용하여 이루어지는데, 이는 매우 시간 소모적이고 에러들을 발생시키는 경향이 있을 수 있으며 그리고 덜 정확한 예측 모델들을 초래할 수 있다.
본 개시 내용의 다양한 실시예들이, 이하에서 주어지는 상세한 설명으로부터 그리고 본 개시 내용의 다양한 실시예들에 관한 첨부 도면들로부터 보다 완전히 이해될 것이다.
도 1은 일부 실시예들에 따른, 생산 환경(100)을 도시한 블록도이다.
도 2는 중요 변수 식별기 모듈(key variable identifier module)의 일 실시예의 블록도이다.
도 3은 각각의 반복(iteration)에 대하여, 입력 변수들에 대해 할당된 상이한 가중치(weight)들을 이용하여 복수의 반복들에 대해 예측 모델을 실행함으로써, 중요 입력 변수들을 식별하기 위한 방법의 실시예의 흐름도이다.
도 4는 일부 실시예들에 따른, 예시적인 입력 변수 벡터들을 도시한다.
도 5는 일부 실시예들에 따른, 할당된 가중치들을 기초로 예측 모델들을 실행하는 반복에 대한 예시적인 입력 변수들 기여 결과(contribution result)를 도시한다.
도 6은 일부 실시예들에 따른, 반복들에 대한 입력 변수들 기여 결과들을 기초로 하는 전체 변수들 기여 결과 데이터의 예시적인 그래프적 표현을 도시한다.
도 7은 일부 실시예들에 따른, 반복들에 대한 입력 변수들 기여 결과들을 기초로 하는 전체 변수들 기여 결과 데이터(700)의 예시적인 리스트를 도시한다.
도 8은 여기에서 개시된 하나 또는 그 초과의 동작들을 수행할 수 있는 컴퓨터 시스템의 일 실시예의 도면이다.
본 발명의 구현예들은, 일반화되고 견고한 예측 모델들을 생성하기 위해 신호 대 잡음비를 증가시키기 위한 방법 및 시스템에 관한 것이다. 구현예들은 각각의 반복에 대하여 입력 변수들에 할당된 상이한 가중치들을 이용하여 예측 모델을 반복적으로 실행함으로써 중요 입력 변수들을 식별한다. 컴퓨팅 시스템은 입력 변수들을 식별하고 그러한 입력 변수들을 이용하여 결정 트리 기반(decision tree-based)의 예측 모델을 생성한다. 컴퓨팅 시스템은 결정 트리-기반의 예측 모델을 반복적으로 실행하고, 그리고 각각의 반복에 대해, 입력 변수들에 대해 상이한 가중치들을 할당한다. 컴퓨팅 시스템은, 상응하는 할당된 가중치들을 기초로 각각의 반복에 대해 각각의 입력 변수의 기여를 나타내는 변수들 기여 결과(variables contribution result)를 생성한다. 컴퓨팅 시스템은, 반복들에 대한 변수들 기여 결과들을 이용하여 전체적인 변수들 기여 결과 데이터를 생성하고, 전체적인 변수들 기여 결과 데이터로부터 중요 입력 변수들을 식별한다. 예를 들어, 삼백개(300)의 입력 변수들이 존재할 수 있으며, 그리고 컴퓨팅 시스템은, 입력 변수들 중 오십개(50)가 강한(strong) "신호"를 구성하기 위한 중요 입력 변수들임을 그리고 나머지 이백오십개(250)의 입력 변수들은 중요 변수들이 아니라 "잡음"임을 식별한다.
구현예들은, 프로세스 데이터의 신호 대 잡음비를 증가시키는데 필요한 시간 및 노력을 감소시키고, 견고하고 일반화된 예측 모델들을 생성하는데 도움을 준다. 구현예들은, 많은 수의 프로세스 변수들로부터 더 적은 적절한 변수 리스트를 생성하는 것과 연관된 에러 및 시간을 감소시키기 위한 방법을 제공한다. 하나의 구현예에서, 룰스 앙상블(Rules Ensemble; RE) 알고리즘의 데이터 마이닝(data mining) 능력을 이용하여, 성능 표시자에 적은 영향을 미치거나 영향을 미치지 않는 변수들을 필터링한다. 일단 더 적은 변수 리스트(중요 입력 변수들)가 식별되면, 다양한 모델링 기술들(예를 들어, SVM(Support Vector Machine)들, 선형 회귀(Linear Regression; LR))이 중요 입력 변수들을 이용할 수 있다. 구현예들은, 시간을 절감하고, 컴퓨팅 전력을 절감하고, 그리고 예측 연습들(exercises)의 생성(manufacturing)의 정확성을 개선하는 장점들을 제공한다.
도 1은, 일부 실시예들에 따른, 생산 환경(100)을 도시한 블록도이다. 생산 환경(100)은, 예를 들어, 그리고 비제한적으로, 제조 플랜트(manufacturing plant) 및 풀필먼트 센터(fulfillment center; 주문에서 발송까지 담당하는 곳)를 포함할 수 있다. 간결성 및 단순성을 위해서, 예측 모델링 시스템(105), 하나 또는 그 초과의 툴들(103), 및 하나 또는 그 초과의 CIM(컴퓨터화된 통합된 제조) 시스템들(101)을 포함하는 제조 플랜트가 본 문서 전반을 통해서 생산 환경(100)의 예로서 이용된다. CIM 시스템(101), 툴들(103), 및 예측 모델링 시스템(105)은, 예를 들어, 네트워크(120)를 통해서 통신할 수 있다. 네트워크(120)는 근거리 통신망(LAN), 무선 네트워크, 이동 통신 네트워크, 인터넷과 같은 광역 네트워크(WAN), 또는 유사한 통신 시스템일 수 있다.
툴들(103)의 예들은, 전자 디바이스들 또는 다른 제품들의 제조를 위한 툴들을 포함한다. 툴들(103)의 예들은, 비제한적으로, 진입 웨이퍼 품질 툴들, 텍스처링(texturing) 툴들, 확산 툴들, 에칭기(etcher)들, 질화물(패시베이션) 툴들, 세정 툴들, 후방 금속 툴(back metal tool)들, 전방 금속 툴(front metal tool)들, 파이어링 툴(firing tool)들, 격리 툴들, 테스팅 툴들, 측정 툴들, 화학 기상 증착 로(furnace)들 등을 포함할 수 있다.
CIM 시스템들(101)의 예들은, 비제한적으로, 제조 실행 시스템(MES), 기업 자원 계획(ERP), 생산 계획 및 제어(PPC), 컴퓨터-보조형 시스템들(예를 들어, 디자인, 엔지니어링, 제조, 프로세싱 계획, 품질 보장), 컴퓨터 수치 제어형 머신 툴들, 직접 수치 제어 기계 툴들, 제어 시스템 등을 포함할 수 있다.
예측 모델링 시스템(105)은, 예를 들어, 수율, 예측 유지보수, 가상 계측(계측 예측), 예측 스케쥴링 및 결함들을 예측하기 위한 예측 모델들을 생성할 수 있다. 견고한 예측 모델들을 개발하는 것은, 많은 수의 입력 변수들로 인해 어려울 수 있다. 예측 모델링 시스템(105)은, 각각의 반복에 대하여 입력 변수들에 대해 할당된 상이한 가중치들을 이용하여 예측 모델을 반복적으로 실행함으로써 중요 입력 변수들을 식별하기 위한 중요 변수 식별기 모듈(107)을 포함할 수 있다. 복수의 반복들은, 예측 모델이 보다 일반화되게 하는데 도움을 줄 수 있는 무작위성(randomness)의 수준(level)을 도입한다.
중요 변수 식별기 모듈(107)은, 예측 모델을 구축하기 위해, 하나 또는 그 초과의 툴들(103) 및/또는 CIM 시스템들(101)로부터의 데이터 및 결정 트리-기반의 예측적 학습 기술(예를 들어, 룰스 앙상블)을 이용할 수 있다. 중요 변수 식별기 모듈(107)은, 어떠한 입력 변수들이 중요한지를 결정하기 위해, 결정 트리-기반의 예측 모델의 복수의 반복들을 실행하고 그리고 결정 트리-기반의 예측 모델 내의 입력 변수들에 대해 상이한 가중치들을 할당할 수 있다. 중요 입력 변수들을 이용하여, 비제한적으로, 수율 예측 모델, 예측 유지보수 예측 모델 등과 같은 제조-관련 예측 모델을 트레이닝(training)시킬 수 있다. 제조-관련 예측 모델은 SVM(Support Vector Machine) 모델 또는 LR(Logistic Regression) 모델일 수 있다. 예측 모델을 구축하고 실행하기 위해 룰스 앙상블 기술을 이용하는 실시예들이 도 2-3과 관련하여 이하에서 더 구체적으로 설명된다. 실시예들은, 견고하고 일반화된 예측 모델들을 생성하기 위해, 프로세스 데이터의 신호 대 잡음비를 증가시킬 수 있다. 실시예들은 제어 시스템에서 신호 대 잡음비를 증가시킬 수 있다. 생산 환경(100)은 결함(fault) 검출 및 분류 시스템을 포함할 수 있다. 실시예들은, 이러한 결함 검출 및 분류 시스템 내에서, 무관한 통계치(irrelevant statistic)들의 부피(volume)를 감소시킬 수 있다.
CIM 시스템들(101), 툴들(103), 예측 모델링 시스템(105), 및 중요 변수 식별기 모듈(107)은, 서버 컴퓨터들, 게이트웨이 컴퓨터들, 데스크탑 컴퓨터들, 랩탑 컴퓨터들, 태블릿 컴퓨터, 노트북 컴퓨터, 개인용 휴대 정보 단말기(PDA), 이동 통신 디바이스들, 셀 폰들, 스마트 폰들, 휴대용(hand-held) 컴퓨터들, 또는 유사한 컴퓨팅 디바이스를 포함하는 임의의 타입의 컴퓨팅 디바이스에 의해, 개별적으로 또는 조합하여 함께 호스팅될(hosted) 수 있다.
도 2는 중요 변수 식별기 모듈(200)의 일 실시예의 블록도이다. 중요 변수 식별기 모듈(200)은 도 1의 중요 변수 식별기 모듈(107)과 동일할 수 있다. 중요 변수 식별기 모듈(200)은 입력 변수 하위-모듈(input variable sub-module)(201), 모델 반복 하위-모듈(203), 가중치 하위-모듈(205), 및 변수 기여 하위-모듈(207)을 포함한다. 대안적인 실시예들에서는, 입력 변수 하위-모듈(201), 모델 반복 하위-모듈(203), 가중치 하위-모듈(205) 및 변수 기여 하위-모듈(207)의 기능이 조합되거나 또는 더 분할될 수 있음이 주목된다.
입력 변수 하위-모듈(201)은 입력 변수들을 식별할 수 있다. 입력 변수들은 프로세스 결함 검출 및 분류(FDC) 변수들일 수 있다. 예를 들어, 입력 변수들은, 웨이퍼들 상에서 실행되는 다양한 단계들에 대해 계산되는 다양한 센서 통계치들일 수 있다. 입력 변수 하위-모듈(201)은, 하나 또는 그 초과의 툴들 및/또는 CIM 시스템들로부터 수집되는 툴 데이터(251)를 저장하는 하나 또는 그 초과의 데이터 저장부(data store)들(250)에 결합될 수 있다. 툴들은 웨이퍼 프로세싱 툴들일 수 있으며, 그리고 데이터는, 각각의 웨이퍼가 (충분한 품질의) 양호한 웨이퍼로서 분류되는지, 또는 (불충분한 품질의) 불량한 웨이퍼로서 분류되는지를 나타낼 수 있다. 예를 들어, 툴 데이터(251)는 1500개의 웨이퍼들에 대해 에칭 툴로부터 수집되는 데이터이다. 하나의 데이터 포인트(data point)가 하나의 웨이퍼를 나타낼 수 있다. 각각의 웨이퍼는 에칭 툴로부터의 데이터를 기초로 양호한 웨이퍼 또는 불량한 웨이퍼로서 분류될 수 있다. 각각의 웨이퍼는 입력들로서 1040개의 프로세스 변수들을 가질 수 있다. 프로세스 변수들은 프로세스 센서들에 대한 단계 레벨 통계치(step level statistic)들일 수 있다. 입력 변수 하위-모듈(201)은, 툴 데이터(251)에 기초하여, 식별되는 입력 변수들을 나타내기 위한 입력 변수 벡터(253)를 생성한다. 입력 변수 하위-모듈(201)은 데이터 저장부(250) 내에 입력 변수 벡터(253)를 저장할 수 있다.
모델 반복 하위-모듈(203)은, 예측 모델을 구축하기 위해, 결정 트리-기반의 예측적 학습 기술 및 입력 변수들을 이용할 수 있다. 예측 모델의 예들은, 비제한적으로, 수율 예측 모델, 예방적 유지보수(preventative maintenance) 예측 모델, 계측 예측 모델, 결함 예측 모델, 가상 계측 예측 모델, 예방적 스케쥴링(preventative maintenance) 예측 모델 등을 포함할 수 있다. 결정 트리-기반의 예측적 학습 기술의 예들은, 비제한적으로, 룰스 앙상블, 랜덤 포리스트(Random Forest) 등을 포함할 수 있다. 룰스 앙상블들은, 많은 수의 약한 학습기(weak leaner)들(예를 들어, 결정 트리들)을 조합하여 강력한 학습기(strong learner)를 구축하기 위한 결정 트리-기반의 예측적 학습 기술이다. 룰스 앙상블들에서, 베이스 학습기(base learner)들은, 데이터로부터 구축된 결정 트리들을 이용하여 구성되는 단순한 규칙(simple rule)들이다. 결정 트리는 규칙(rule)들의 세트를 정의한다. 규칙은, 개별적인 입력 변수들의 값들에 관한 적은 수의 단순 스테이트먼트(simple statement)들의 결합(conjunction)일 수 있다. 세트 규칙들은 단순한 형태일 수 있고, 용이하게 해석될 수 있는데, 이는 (충분한 품질의) 양호한 예측 정확성을 생성할 수 있다. 결정 트리는 루트 노드(root node), 하나 또는 그 초과의 내측 노드(interior node)들, 및 하나 또는 그 초과의 말단 노드(terminal node)들을 포함할 수 있다. 내측 노드들은 입력 변수들에 상응할 수 있다. 트리는 노드들을 연결하기 위한 엣지(edge)들을 포함할 수 있다. "부모(parent)" 노드를 그 "자식(child)" 노드들 중 하나에 연결하는 트리의 각각의 엣지는, 결정 트리 내의 규칙에 기여하는 팩터(factor)를 나타낸다. 하나의 구현예에서, 트리 내의 노드에 상응하는 규칙은, 루트 노드로부터 그 노드까지의 경로 상의 모든 엣지들과 연관된 팩터들의 곱(product)에 의해 정의된다. 규칙들은 예측 모델(예를 들어, 수율 예측 모델, 예방적 유지보수 예측 모델, 계측 예측 모델)을 생성하기 위해 이용될 수 있다.
모델 반복 하위-모듈(203)은, 입력 변수들을 이용하여 예측 모델의 규칙들을 실행하는 예측 모델의 많은 반복들을 실행할 수 있다. 반복들의 수는 사용자에 의해 정의될(user-defined) 수 있으며 그리고 구성 데이터(259)의 일부로서 데이터 저장부(250) 내에 저장될 수 있다. 각각의 반복에 대해, 모델 반복 하위-모듈(203)은, 규칙들의 세트가 영향을 미치는 데이터 포인트들의 수에 기초하여 입력 변수들의 랭킹(ranking)을 생성할 수 있다. 이러한 랭킹은, 다른 입력 변수들에 대한 각각의 입력 변수의 변수 기여를 나타낼 수 있다. 변수 기여는 예측 모델에 대한 각각의 입력 변수들의 상대적인 중요성(importance) 또는 관련성(relevance)이다. 가장 관련된 입력 변수들은, 예측 모델에 나타나는 가장 영향력있는 예측자(influential predictor)들을 우선적으로 정의하는 입력 변수들이다. 중요한 예측들에서 빈번하게 나타나는 입력 변수들이, 덜 영향력있는 예측자들에서만 나타나는 경향이 있는 입력 변수들 보다 더 관련될 수 있다. 모델 반복 하위-모듈(203)은 규칙들의 세트 및 각각의 반복에 대한 랭킹들을 반복 결과 데이터(255)의 일부로서 데이터 저장부(250) 내에 저장할 수 있다.
가중치 하위-모듈(205)은, 예측 모델 내의 각각의 입력 변수에 대해 가중치를 할당할 수 있으며, 그리고 예측 모델을 실행하는 각각의 반복에 대해 입력 변수들에 대해 할당된 가중치들을 변화시킬 수 있다. 가중치들에 대한 값들은, 입력 변수 벡터(253) 내의 입력 변수들의 순서(order)에 기초할 수 있다. 일 실시예에서, 가중치 하위-모듈(205)은, 입력 변수 벡터(253) 내의 입력 변수들의 순서를 변화시킴으로써, 입력 변수들에 대해 할당되는 가중치 값들을 변화시킨다. 일 실시예에서, 가중치 하위-모듈(205)은 입력 변수 벡터(253) 내의 입력 변수들의 순서를 무작위적으로 변경한다. 가중치들은 미리-정의될 수 있고 및/또는 사용자(예를 들어, 시스템 엔지니어, 산업 엔지니어, 프로세스 엔지니어 등)에 의해 정의될 수 있다. 가중치 값들은 데이터 저장부(250) 내에 저장될 수 있다.
변수 기여 하위-모듈(207)은, 반복 결과 데이터(255) 내의 모든 반복들에 대한 결과들을 조합하여, 어떤 변수들이 중요 입력 변수들인지를 나타내는 전체적인 변수들 기여 결과 데이터(257)를 생성할 수 있다. 전체적인 변수들 기여 결과 데이터(257)는 리스트일 수 있다. 전체적인 변수들 기여 결과 데이터의 리스트의 일 실시예가 도 7과 함께 이하에서 더 구체적으로 설명된다. 전체적인 변수들 기여 결과 데이터(257)는 그래프적인 표현일 수 있다. 전체적인 변수들 기여 결과 데이터의 그래프적인 표현의 일 실시예가 도 6과 함께 이하에서 더 구체적으로 설명된다. 변수 기여 하위-모듈(207)은 전체적인 변수들 기여 결과 데이터(257)를 데이터 저장부(250) 내에 저장할 수 있다.
변수 기여 하위-모듈(207)은, 컷오프 임계치(cutoff threshold) 및 전체적인 변수들 기여 결과 데이터(257)를 이용하여, 어떤 입력 변수들이 중요 입력 변수들인지를 결정할 수 있다. 중요 입력 변수들을 식별하기 위해 컷오프 임계치를 이용하는 일 실시예가 도 3과 함께 이하에서 더 구체적으로 설명된다. 임계치는 미리-정의될 수 있고 및/또는 사용자(예를 들어, 시스템 엔지니어, 산업 엔지니어, 프로세스 엔지니어 등)에 의해 정의될 수 있다. 임계치는 데이터 저장부(250)에 저장될 수 있다. 변수 기여 하위-모듈(207)은 중요 입력 변수들(261)을 데이터 저장부에 저장할 수 있다. 중요 입력 변수들(261)은 벡터일 수 있다.
데이터 저장부(250)는 영구 저장 유닛(presistent storage unit)일 수 있다. 영구 저장 유닛은 로컬 저장 유닛 또는 원격 저장 유닛일 수 있다. 영구 저장 유닛들은 자기 저장 유닛, 광학 저장 유닛, 고상 저장 유닛, 전자적 저장 유닛들(메인 메모리), 또는 유사한 저장 유닛일 수 있다. 영구 저장 유닛들은 모놀리식(monolithic) 디바이스이거나 또는 디바이스들의 분포된 세트(distributed set)일 수 있다. 여기에서 사용된 바와 같이, '세트(set)'는 아이템(item)들의 임의의 양(positive)의 범 자연수(whole number)를 지칭한다.
도 3은, 각각의 반복에 대해 입력 변수들에 대해 할당된 상이한 가중치들을 이용하여 복수의 반복들에 대해 예측 모델을 실행함으로써 중요 입력 변수들을 식별하기 위한 방법(300)의 실시예의 흐름도이다. 방법(300)은, 하드웨어(예를 들어, 회로망, 전용 로직, 프로그래밍가능 로직, 마이크로코드 등), 소프트웨어(예를 들어, 프로세싱 디바이스 상에서 실행되는 명령들), 또는 그 조합을 포함할 수 있는 프로세싱 로직에 의해 수행될 수 있다. 일 실시예에서, 방법(300)은 도 1의 중요 변수 식별기 모듈(107)에 의해 수행된다.
블록(301)에서, 프로세싱 로직은 입력 변수들을 식별한다. 입력 변수들은 프로세스 결함 검출 및 분류(FDC) 변수들일 수 있다. 예를 들어, 입력 변수들은, 각각의 웨이퍼가 양호한 품질 또는 불량한 품질로서 분류되는 웨이퍼 레벨 데이터를 포함하는, 하나 또는 그 초과의 반도체 제조 툴들로부터의 데이터에 기초할 수 있다. 예를 들어, 입력 변수들은, 52개의 센서들에 대해 실행되는 각각의 웨이퍼의 4개의 단계들에 대해 계산되는 5개 센서 통계치(five sensor statistic)들로 이루어진 1040개의 입력 변수들을 포함할 수 있다. 5개 센서 통계치들은, 예를 들어, 4개의 단계들 각각에 대한 센서 트레이스(sensor trace)의 평균, 표준 편차, 면적(area), 최대치(maximum) 및 최소치(minimum)를 포함할 수 있다. 일 실시예에서, 프로세싱 로직은 입력 변수들의 벡터를 생성한다. 예를 들어, 입력 변수 벡터는 1040개의 입력 변수들을 포함한다.
블록(303)에서, 프로세싱 로직은 입력 변수들을 이용하여 결정 트리-기반의 예측 모델을 생성한다. 예측 모델의 예들은, 비제한적으로, 수율 예측 모델, 예방적 유지보수 예측 모델, 계측 예측 모델, 결함 예측 모델 등을 포함할 수 있다. 프로세싱 로직은 결정 트리들을 이용하여 예측 모델을 구축할 수 있다. 일 실시예에서, 프로세싱 로직은 룰스 앙상블 알고리즘 및 결정 트리들을 이용하여 예측 모델을 생성한다. 다른 실시예에서, 프로세싱 로직은 랜덤 포리스트 알고리즘 및 결정 트리들을 이용하여 예측 모델을 생성한다.
결정 트리는, 낮은 복잡성(complexity)을 갖지만 큰 분산(variance)을 갖는 예측 모델을 구축할 수 있다. 룰스 앙상블 알고리즘은, 트리들의 부스팅(boosting)으로부터 취한 아이디어를 이용하여, 결정 트리들에 비해 개선된 것이다. 부스팅은 학습 알고리즘의 성능을 개선하기 위한 일반적인 방법이다. 룰스 앙상블-기반의 예측 모델은 다음과 같이 쓰여질 수 있다:
Figure 112014107097946-pct00001
F(x)는, 예를 들어, 수율, 계측, 결함들 등을 예측하기 위한 함수 추정치(functional estimate)이고, x는 입력 변수들(예를 들어, 프로세스 FDC 변수들)의 벡터이고, rm(x)는 다음과 같이 형태의 규칙(rule of the form)이다:
Figure 112014107097946-pct00002
여기서, I는 바이너리 함수(binary function)이다.
규칙의 예는, 비제한적으로, 다음을 포함할 수 있다:
Figure 112014107097946-pct00003
여기서, x1, x2, 및 x3 은 입력 변수들(예를 들어, 프로세스 FDC 변수들)일 수 있다. 프로세싱 로직은 결정 트리들을 이용하여 규칙들을 생성할 수 있다.
블록(305)에서, 프로세싱 로직은 예측 모델 내의 입력 변수들의 각각에 대해 가중치를 할당한다. 일 실시예에서, 가중치들은 입력 변수 벡터 내의 입력 변수들의 순서를 기초로 결정된다. 일 실시예에서, 가중치들은 무작위적으로 결정된다. 일 실시예에서, 입력 변수 벡터 내의 제 1 입력 변수에 대해 최대 가중치 값이 할당되며, 가중치 값들은 벡터 내의 각각의 후속 입력 변수에 대해 점진적으로 감소된다. 다른 실시예에서는, 입력 변수 벡터 내의 제 1 입력 변수에 대해 최소 가중치 값이 할당되며, 가중치 값들은 벡터 내의 각각의 후속 입력 변수에 대해 점진적으로 증가될 수 있다. 가중치들은 미리-정의될 수 있고 및/또는 사용자(예를 들어, 프로세스 엔지니어, 시스템 엔지니어, 산업 엔지니어 등)에 의해 정의될 수 있다.
블록(307)에서, 프로세싱 로직은, 할당된 가중치들을 기초로 예측 모델을 실행하는 것으로부터 변수들 기여 결과를 생성한다. 변수들 기여 결과는 규칙들의 세트 및 그러한 규칙들의 세트에 기초하는 입력 변수들의 랭킹을 포함할 수 있다. 프로세싱 로직은, 규칙들의 세트가 영향을 미치는 데이터 포인트들의 수를 기초로 입력 변수들을 랭크화(rank)할 수 있다. 랭킹은 다른 입력 변수들에 대한 각각의 입력 변수의 변수 기여를 나타낼 수 있다. 블록(309)에서, 프로세싱 로직은, 중요 변수 식별기 모듈에 결합된 데이터 저장부 내에 변수들 기여 결과를 저장한다.
블록(311)에서, 프로세싱 로직은, 반복들의 임계 수(threshold number)가 충족되었는지의 여부를 결정한다. 프로세싱 로직은, 예측 모델이 실행된 횟수(number of times)를 추적(track)할 수 있고, 예측 모델이 실행된 횟수를 데이터 저장부 내에 저장된 반복들의 임계 수와 비교할 수 있다. 반복들의 임계 수는 사용자에 의해 정의될 수 있다. 반복들의 임계 수는 체험적으로 결정될 수 있다. 일 실시예에서, 임계치(threshold)는 입력 변수들의 수 보다 큰 수치이다. 만약 반복들의 임계 수가 충족되지 않았다면, 프로세싱 로직은 블록(305)으로 돌아가서, 예측 모델 내의 입력 변수들에 대해 상이한 가중치들을 할당한다. 예를 들어, 프로세싱 로직은, 입력 변수들에 대해 상이한 가중치들을 할당하기 위해, 입력 변수 벡터 내의 입력 변수들의 변화된 순서를 생성한다. 일 실시예에서, 프로세싱 로직은 입력 변수 벡터 내의 입력 변수들의 새로운 순서를 생성한다. 새로운 순서의 입력 변수들의 일부는, 입력 변수에 대해 이전에 할당되었던 가중치 값을 가질 수 있다. 예를 들어, 새로운 순서는 처음 3개의 변수의 순서를 변화시키는 것을 포함할 수 있으며, 나머지 7개의 변수들의 순서는 변화되지 않는다. 다른 예에서는, 모든 입력 변수들에 대해 새로운 가중치가 할당된다. 프로세싱 로직은 새롭게 할당된 가중치들을 이용하여 예측 모델링의 다른 반복을 실행하고, 새롭게 할당된 가중치들에 상응하는 변수들 기여 결과를 생성하고 저장한다.
만약 반복들의 임계 수가 충족된다면, 프로세싱 로직은, 모든 반복들에 대해 저장된 변수들 기여 결과들을 이용하여, 전체적인 변수들 기여 결과 데이터를 생성한다. 예를 들어, 반복들의 임계 수는 1000이고, 프로세싱 로직은 예측 모델이 1000 회 실행되었음을 결정하는 바, 각각의 반복은 입력 변수들에 대해 할당된 적어도 약간 상이한 가중치들을 이용한다. 일 실시예에서, 프로세싱 로직은, 모든 반복들에 대한 저장된 변수들 기여 결과들을 조합하고 그리고 각각의 반복의 변수 기여의 가중 평균을 결정함으로써, 전체적인 변수들 기여 결과 데이터를 생성한다. 전체적인 변수들 기여 결과 데이터는, 사용자 인터페이스에 제시되는 그래픽적인 표현일 수 있다. 전체적인 변수들 기여 결과 데이터의 그래픽적인 표현의 일 실시예가 도 6과 함께 이하에서 더 구체적으로 설명된다. 전체적인 변수들 기여 결과 데이터는 리스트일 수 있다. 전체적인 변수들 기여 결과 데이터의 리스트의 일 실시예는 도 7과 함께 이하에서 더 구체적으로 설명된다.
블록(315)에서, 프로세싱 로직은 전체적인 변수들 기여 결과 데이터로부터 중요 입력 변수들을 식별한다. 중요 입력 변수들은, 입력 변수들 중 어떤 입력 변수가, 예를 들어 웨이퍼 분류에 가장 큰 영향을 미치는 지를 나타낼 수 있다. 전체적인 변수들 기여 결과 데이터는 입력 변수들의 랭킹 리스트를 포함할 수 있다. 프로세싱 로직은, 컷오프 임계치를 기초로 어떤 입력 변수들이 중요 입력 변수들인지를 식별할 수 있다. 일 실시예에서, 컷오프 임계치는 박스 샘플들의 멀티플 아웃(multiple out)을 위한 ROC(Receiver Operating Characteristics) 곡선 통계치의 AUC(Area Under the Curve)를 기초로 결정된다. 통계치는 예측 모델이 얼마나 양호하게 출력을 식별하는지를 보여준다. 박스 샘플의 하나의 아웃(out) 내의 웨이퍼들의 수는 사용자에 의해 정의될 수 있다. 예를 들어, 박스 샘플의 하나의 아웃은 300개의 웨이퍼들이다. 해당 포인트의 아래에서의 변수 부가(variable addition)가 AUC를 상당히 증가시키지 않는 그러한 포인트가 컷오프 임계치일 수 있다. 예를 들어, 프로세싱 로직은 가장 큰 가중된(weighted) 입력 변수로부터 시작될 수 있고, 그리고 추가적인 부가가 AUC의 매우 한계적인(marginal) 증가를 초래할 때까지 입력 변수들을 계속해서 부가할 수 있다. 다른 실시예에서, 컷오프 임계치는 RMS(root mean square)를 이용하여 결정된다.
도 4는 일부 실시예들에 따른, 예시적인 입력 변수 벡터들(410, 420, 430, 440)을 도시한다. 입력 변수 벡터(410, 420, 430, 440)는 10개의 입력 변수들(x1 내지 x10)을 포함한다. 반복 1에 대한 벡터(410) 내의 입력 변수들은 최초 순서(initial order)를 가질 수 있다. 이러한 순서에 기초하여 각각의 입력 변수에 가중치들이 할당될 수 있다. 최초 순서에 기초하여 할당된 가중치들을 이용하여 예측 모델을 실행하여, 반복 1에 대한 입력 변수들 기여 결과(450)를 생성할 수 있다. 입력 변수들 기여 결과의 일 실시예가 도 5와 함께 이하에서 더 구체적으로 설명된다. 예측 모델을 실행하는 제 2 반복에서, 벡터(410) 내의 입력 변수들의 최초 순서가 변화될 수 있다. 입력 변수 벡터(420)는 반복 2에 대한 예시적인 입력 변수 벡터를 설명하는데, 여기에서는, 순서가 변화되었으며, 그리고 변화된 순서에 기초하여, 벡터(420) 내의 입력 변수들의 일부 또는 전부에 대해 상이한 가중치들이 할당된다. 변화된 순서를 기초로 할당된 가중치들을 이용하여 제 2 반복에 대해 예측 모델을 실행함으로써, 반복 2에 대한 입력 변수들 기여 결과(460)를 생성할 수 있다. 예측 모델을 실행하는 제 3 반복에 대해, 벡터(420) 내의 입력 변수들의 이전의 순서가 변화될 수 있다. 입력 변수 벡터(430)는 반복 3에 대한 예시적인 입력 변수 벡터를 설명하는데, 여기에서는, 순서가 변화되었으며, 그리고 변화된 순서에 기초하여, 벡터(430) 내의 입력 변수들의 일부 또는 전부에 대해 상이한 가중치들이 할당된다. 변화된 순서를 기초로 할당된 가중치들을 이용하여 제 3 반복에 대해 예측 모델을 실행함으로써, 반복 3에 대한 입력 변수들 기여 결과(470)를 생성할 수 있다. 예측 모델을 실행하는 n번째 반복에 대해, 입력 변수들의 이전의 순서가 변화될 수 있다. 입력 변수 벡터(440)는 반복 n에 대한 예시적인 입력 변수 벡터를 설명하는데, 여기에서는, 순서가 변화되었으며, 그리고 변화된 순서에 기초하여, 벡터(440) 내의 입력 변수들의 일부 또는 전부에 대해 상이한 가중치들이 할당된다. 변화된 순서를 기초로 할당된 가중치들을 이용하여 n번째 반복에 대해 예측 모델을 실행함으로써, 반복 n에 대한 입력 변수들 기여 결과(480)를 생성할 수 있다.
도 5는, 일부 실시예들에 따른, 할당된 가중치들을 기초로 예측 모델을 실행하는 반복에 대한 예시적인 입력 변수들 기여 결과(500)를 도시한다. 입력 변수들 기여 결과(500)는 사용자 인터페이스에 제시되는 그래픽적인 표현일 수 있다. 변수들 기여 결과(500)는 규칙들의 세트에 기초하는 입력 변수들(x1 내지 x10)의 랭킹을 포함한다. 랭킹은 다른 입력 변수들에 대한 각각의 입력 변수의 영향을 나타낸다. 예를 들어, 변수(x5)(Chuck_Pos_Step2_Mean)가, 이러한 특정 반복에 대해 입력 변수들에 할당된 가중치들에 기초하는 예측 모델에 가장 큰 영향을 미친다.
도 6은, 일부 실시예들에 따른, 반복들에 대한 입력 변수들 기여 결과들에 기초하는 전체적인 변수들 기여 결과 데이터(650)의 예시적인 그래픽적인 표현을 도시한다. 전체적인 변수들 기여 결과 데이터(650)를 생성하기 위해, 반복들(610, 620, 630, 640)에 대한 입력 변수들 기여 결과들이 조합될 수 있고 그리고 각각의 반복의 변수 기여의 가중된 평균이 결정될 수 있다.
도 7은, 일부 실시예들에 따른, 반복들에 대한 입력 변수들 기여 결과들에 기초하는 전체적인 변수들 기여 결과 데이터(700)의 예시적인 리스트를 도시한다. 리스트(700)는 각각의 입력 변수에 대한 랭크를 나타낼 수 있다. 컷오프 임계치(720)를 이용하여, 어떤 입력 변수들이 중요 변수들(730)인지를 식별할 수 있다. 예를 들어, 변수들(x8, x7, x1, x10, x2, 및 x6)이 중요 변수들로서 식별된다. 일 실시예에서, 컷오프 임계치(720)는 ROC 곡선 통계치의 AUC(Area Under the Curve)를 기초로 결정된다. 다른 실시예에서, 컷오프 임계치(720)는 RMS(room mean square)를 이용하여 결정된다.
도 8은 컴퓨터 시스템(800)의 예시적인 형태의 머신의 다이어그램을 도시하며, 상기 머신 내에서, 머신으로 하여금 본 명세서에서 논의된 방법론(methodology)들 중 임의의 하나 또는 그 초과의 것을 수행하게 하기 위한 명령들의 세트가 실행될 수 있다. 대안적인 실시예들에서, 머신은 LAN, 인트라넷, 엑스트라넷, 또는 인터넷으로 다른 머신들에 연결(예를 들어, 네트워킹(networked))될 수 있다. 머신은 클라이언트-서버 네트워크 환경의 서버 또는 클라이언트 머신으로서, 또는 피어-투-피어(peer-to-peer)(또는 분산형) 네트워크 환경의 피어 머신으로서 동작할 수 있다. 머신은 개인용 컴퓨터(PC), 태블릿 PC, 셋탑 박스(STB), 개인용 휴대 정보 단말기(PDA), 셀룰러 전화기, 웹 어플라이언스(web appliance), 서버, 네트워크 라우터, 스위치 또는 브리지, 또는 해당 머신에 의해서 취해질 액션(action)들을 명시하는 (순차적인 또는 다른 방식의) 명령들의 세트를 실행할 수 있는 임의의 머신일 수 있다. 추가적으로, 단지 하나의 머신만이 예시되지만, "머신"이라는 용어는 또한 본 명세서에서 논의된 방법론들 중 임의의 하나 또는 그 초과의 것을 수행하기 위해 개별적으로 또는 공동으로 명령들의 세트(또는 복수의 세트들)를 실행하는 머신들의 임의의 집합을 포함하는 것으로 받아들여져야 한다.
예시적인 컴퓨터 시스템(800)은 프로세싱 디바이스(프로세서)(802), 메인 메모리(804)(예를 들어, 판독 전용 메모리(ROM), 플래시 메모리, 동적 랜덤 액세스 메모리(DRAM) 예를 들어, 동기식 DRAM(SDRAM), 더블 데이터 레이트 SDRAM(DDR SDRAM) 또는 램버스 DRAM(Rambus DRAM, RDRAM) 등), 정적 메모리(806)(예를 들어, 플래시 메모리, 정적 랜덤 액세스 메모리(SRAM) 등), 및 데이터 저장 디바이스(818)를 포함하고, 이들은 버스(830)를 통해 서로 통신한다.
프로세서(802)는 마이크로프로세서, 중앙 처리 장치 등과 같은 하나 또는 그 초과의 범용 프로세싱 디바이스들을 나타낸다. 더 구체적으로, 프로세서(802)는 복합 명령 세트 컴퓨팅(CISC) 마이크로프로세서, 축소 명령 세트 컴퓨팅(RISC) 마이크로프로세서, 매우 긴 명령어(VLIW) 마이크로프로세서, 또는 다른 명령 세트들을 구현하는 프로세서 또는 명령 세트들의 조합을 구현하는 프로세서들일 수 있다. 프로세서(802)는 또한, 주문형 집적 회로(ASIC), 필드 프로그래밍가능 게이트 어레이(FPGA), 디지털 신호 프로세서(DSP), 네트워크 프로세서 등과 같은 하나 또는 그 초과의 특수 목적 프로세싱 디바이스들일 수 있다. 프로세서(802)는 본 명세서에서 논의되는 동작들 및 단계들을 수행하기 위한 명령들(822)을 실행하도록 구성된다.
컴퓨터 시스템(800)은 네트워크 인터페이스 디바이스(808)를 더 포함할 수 있다. 컴퓨터 시스템(800)은 또한 비디오 디스플레이 유닛(810)(예를 들어, 액정 디스플레이(LCD) 또는 음극선관(CRT)), 영숫자(alphanumeric) 입력 디바이스(812)(예를 들어, 키보드), 커서 제어 디바이스(814)(예를 들어, 마우스) 및 신호 생성 디바이스(816)(예를 들어, 스피커)를 포함할 수 있다.
데이터 저장 디바이스(818)는, 본 명세서에서 설명된 방법론들 또는 기능들 중 임의의 하나 또는 그 초과를 구현하는 명령들(822)(예를 들어, 소프트웨어)의 하나 또는 그 초과의 세트들이 저장되는 컴퓨터-판독가능한 저장 매체(828)를 포함할 수 있다. 명령들(822)은 또한, 컴퓨터 시스템(800)에 의한 명령들의 실행 동안에 프로세서(802) 내에서 및/또는 메인 메모리(804) 내에서 완전히 또는 적어도 부분적으로 상주할 수 있고, 메인 메모리(804) 및 프로세서(802)는 컴퓨터-판독가능한 저장 매체들을 또한 구성한다. 명령들(822)은 추가로, 네트워크 인터페이스 디바이스(808)를 이용하여 네트워크(820)를 통해 송신 또는 수신될 수 있다.
일 실시예에서, 명령들(822)은 인-메모리(in-memory) 압축/압축해제 시스템(예를 들어, 도 3의 인-메모리 압축/압축해제 시스템(300))을 위한 명령들 및/또는 인-메모리 압축/압축해제 시스템을 호출하는 방법들을 포함하는 소프트웨어 라이브러리를 포함한다. 컴퓨터 판독가능한 저장 매체(828)(머신 판독가능한 저장 매체)는 예시적인 실시예에서 단일 매체인 것으로 도시되어 있지만, "컴퓨터 판독가능한 저장 매체"라는 용어는 명령들의 하나 또는 그 초과의 세트들을 저장하는 단일 매체 또는 복수의 매체들(예를 들어, 중앙식 또는 분산식 데이터베이스, 및/또는 연관 캐쉬들(associated caches) 및 서버들)을 포함하는 것으로 받아들여져야 한다. "컴퓨터 판독가능한 저장 매체"라는 용어는 또한, 머신에 의한 실행을 위한 명령들의 세트를 저장, 인코딩 또는 전달할 수 있고, 그리고 머신으로 하여금 본 발명의 방법론들 중 임의의 하나 또는 그 초과를 수행하게 하는 임의의 매체를 포함하는 것으로 받아들여져야 한다. 그에 따라, "컴퓨터 판독가능한 저장 매체"라는 용어는, 비제한적으로, 고상 메모리들, 광학 매체들 및 자기 매체들을 포함하는 것으로 받아들여져야 한다.
상기 설명에서, 많은 세부사항들이 설명된다. 그러나, 본 발명이 이러한 특정한 세부사항들 없이 실시될 수 있다는 것은, 본 개시의 이점을 갖는 당업자에게 명백할 것이다. 일부 경우들에서, 주지의 구조들 및 디바이스들은, 본 발명을 불명료하게 하는 것을 피하기 위하여, 상세히 설명하는 대신 블럭도의 형태로 도시된다.
상세한 설명의 몇몇 부분들은 컴퓨터 메모리 내의 데이터 비트들에 대한 동작들의 기호적 표현들과 알고리즘들 측면에서 제시되었다. 이들 알고리즘의 설명들과 표현들은 데이터 프로세싱 기술분야의 당업자들이 그 기술분야의 다른 당업자들에게 이들의 작업의 본질을 가장 효과적으로 전달하기 위해서 사용되는 수단들이다. 알고리즘은 여기에서 그리고 일반적으로, 원하는 결과로 이어지는 자체-일관적인 순서의 단계들인 것으로 여겨진다. 단계들은 물리적인 양들(physical quantities)의 물리적 조작들을 요구하는 것들이다. 필수적이지는 않지만, 일반적으로, 이러한 양들은 저장, 전송, 조합, 비교, 및 다르게(otherwise) 조작될 수 있는 전기적 또는 자기적 신호들의 형태를 취한다. 이러한 신호들을, 비트들, 값들, 요소들, 기호들, 문자들(characters), 용어들(terms), 숫자들(numbers) 등으로서 지칭하는 것이, 일반적인 용법(usage)의 이유로, 때때로 편리한 것으로 증명되었다.
그러나, 모든 이러한 및 유사한 용어들은 적절한 물리적인 양들과 연관되고 그리고 단지 이러한 양들에 적용되는 편리한 라벨들일 뿐임을 유념하여야 한다. 이하의 논의로부터 명백한 바와 같이, 특별히 달리 언급되지 않는다면, 명세서 전반에 걸쳐 "식별(identifying)", "생성(creating)", "실행(executing)", "발생(generating)" 등과 같은 용어들을 사용하는 논의들은 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 액션들 및 프로세스들을 지칭하는 것으로 인식되고, 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스는 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리적인(예를 들어, 전자적) 양들로서 표현되는 데이터를 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 그러한 정보 저장, 전송 또는 디스플레이 디바이스들 내의 물리적인 양들로서 유사하게 표현되는 다른 데이터로 조작 및 변환한다.
설명의 단순함을 위해, 본원에서 방법들은 일련의 행동(act)들로서 도시되고 설명된다. 그러나, 본 개시 내용에 따른 행동들은, 본원에서 제시 및 설명되지 않은 다른 행동들과 함께, 다양한 순서들로 및/또는 동시적으로 이루어질 수 있다. 또한, 개시된 청구 대상에 따른 방법들을 구현하는데 있어서, 설명된 행동들 전부가 요구되지 않을 수도 있다. 또한, 당업자는, 방법들이 상태도(state diagram) 또는 이벤트들을 통해서 일련의 상호관련된(interrelated) 상태들로서 대안적으로 표현될 수 있다는 것을 이해하고 인식할 것이다. 부가적으로, 본 명세서에서 개시된 방법들은, 그러한 방법들을 컴퓨팅 디바이스들로 전달 및 이송하는 것을 돕기 위한 제조 물품(article of manufacture) 상에 저장될 수 있다는 것을 이해해야 한다. 본원에서 사용된 바와 같이, 제조 물품이라는 용어는, 임의의 컴퓨터-판독가능 디바이스 또는 저장 매체들로부터 액세스가능한 컴퓨터 프로그램을 포함하는 것으로 의도된다.
본 발명의 특정 실시예들은 또한, 본원에서의 동작들을 수행하기 위한 장치에 관한 것이다. 이 장치는, 의도되는 목적들을 위해 구성될 수 있거나, 또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화 또는 재구성되는 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은, 비제한적으로, 플로피 디스크들, 광학 디스크들, CD-ROM들 및 광자기 디스크들을 포함하는 임의의 유형의 디스크, 판독-전용 메모리(ROM)들, 랜덤 액세스 메모리(RAM)들, EPROM들, EEPROM들, 자기 또는 광학 카드들, 또는 전자적 명령들을 저장하기에 적합한 임의의 유형의 매체들과 같은, 컴퓨터 판독가능한 저장 매체에 저장될 수 있다.
본 명세서 전반을 통해 "일 실시예" 또는 "실시예"에 대한 언급은, 그 실시예와 관련되어 설명되는 특정의 피쳐(feature), 구조, 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 의미한다. 그에 따라, 본 명세서 전반을 통해 여러 장소들에서의 "일 실시예에서" 또는 "실시예에서"라는 문구의 출현이 반드시 모두 동일한 실시예를 언급하는 것은 아니다. 또한, "또는"이라는 용어는, 배타적인 "또는"이라기 보다는, 포괄적인 "또는"을 의미하는 것으로 의도된다. 또한, "예" 또는 "예시적인"이라는 단어들은 본원에서, 예, 사례, 또는 설명으로서의 역할을 한다는 것을 의미하기 위해서 사용된다. 본원에서 "예시적인" 것으로서 설명되는 임의의 양상 또는 디자인이, 다른 양상들 또는 디자인들 보다 바람직하거나 유리한 것으로 반드시 해석되는 것은 아니다. 그 대신에, "예" 또는 "예시적인"이라는 단어들의 이용은 개념들을 구체적인 방식으로 제시하기 위한 것이다.
상기 설명은, 제한적인 것이 아닌, 예시적인 것으로서 의도됨을 이해해야 한다. 상기 설명을 읽고 이해할 때 당업자들에게 많은 다른 실시예들이 자명해질 것이다. 따라서, 본 발명의 범위는 첨부된 청구항들을 참조하여, 그러한 청구항들에 권한이 부여된(entitled) 균등물들의 전체 범위와 함께 결정되어야 한다.

Claims (20)

  1. 방법으로서,
    복수의 입력 변수들을 이용하여 복수의 반복(iteration)들에 대해 결정 트리-기반(decision tree-based)의 예측 모델(prediction model)을 실행함으로써 상기 복수의 입력 변수들의 복수의 랭킹들의 세트들을 만드는 단계 ― 상기 복수의 반복들은 상기 복수의 랭킹들의 세트들에 상응하고, 상기 복수의 입력 변수들은 적어도 하나의 반도체 제조 툴로부터의 데이터에 기초함 ― ;
    상기 복수의 입력 변수들의 랭킹들을 이용하여 전체적인 변수들 기여 데이터(variables contribution data)를 생성하는 단계; 및
    상기 전체적인 변수들 기여 데이터를 기초로, 상기 복수의 입력 변수들로부터 복수의 중요 입력 변수(key input variable)들을 식별하는 단계를 포함하는,
    방법.
  2. 제 1 항에 있어서,
    상기 변수들 기여 데이터를 생성하는 단계는, 룰스 앙상블 알고리즘(rules ensemble algorithm), 지원 벡터 머신 알고리즘(support vector machine algorithm), 선형 회귀 알고리즘(linear regression algorithm), 또는 부분 최소 제곱(partial least squares) 알고리즘 중 적어도 하나에 기초하는,
    방법.
  3. 제 1 항에 있어서,
    상기 복수의 랭킹들의 세트들을 만드는 단계는,
    상기 복수의 반복들에 대해 상기 복수의 입력 변수들 중 적어도 하나에 대해 상이한 가중치를 할당하는 단계를 포함하는,
    방법.
  4. 제 3 항에 있어서,
    상기 상이한 가중치는, 벡터 내의 복수의 입력 변수들의 순서(order)를 이용하여 할당되거나 또는 무작위적으로 할당되는,
    방법.
  5. 제 1 항에 있어서,
    상기 전체적인 변수들 기여 데이터를 생성하는 단계는,
    상기 복수의 반복들에 상응하는 복수의 변수들 기여 결과들을 생성하는 단계를 포함하고,
    상기 복수의 변수들 기여 결과들은, 상응하는 반복에 대한 상기 복수의 입력 변수들에 상응하는 복수의 기여들을 나타내는,
    방법.
  6. 제 5 항에 있어서,
    상기 전체적인 변수들 기여 데이터를 생성하는 단계는,
    상기 복수의 반복들에 대한 상기 복수의 변수들 기여 결과들을 결합하는 단계; 및
    상기 상응하는 반복에 대해 상기 복수의 입력 변수들 각각에 대한 기여의 가중 평균(weighted average)을 결정하는 단계를 포함하는,
    방법.
  7. 제 1 항에 있어서,
    상기 복수의 중요 입력 변수들을 식별하는 단계는 임계치에 기초하고, 상기 임계치는 AUC(area under curve) 통계치 또는 수신기 동작 특성 곡선 통계치 중 적어도 하나인,
    방법.
  8. 제 1 항에 있어서,
    상기 복수의 중요 입력 변수들을 이용하여, 제조-관련 예측 모델(manufacturing-related prediction model)을 트레이닝(train)하는 단계를 더 포함하는,
    방법.
  9. 프로세싱 디바이스에 의해서 실행될 때, 상기 프로세싱 디바이스로 하여금 동작들을 수행하게 하는 명령들을 포함하는 비-일시적인 컴퓨터 판독가능 저장 매체로서,
    상기 동작들은,
    복수의 입력 변수들을 이용하여 복수의 반복(iteration)들에 대해 결정 트리-기반(decision tree-based)의 예측 모델(prediction model)을 실행함으로써 상기 복수의 입력 변수들의 복수의 랭킹들의 세트들을 만드는 동작 ― 상기 복수의 반복들은 상기 복수의 랭킹들의 세트들에 상응하고, 상기 복수의 입력 변수들은 적어도 하나의 반도체 제조 툴로부터의 데이터에 기초함 ― ;
    상기 복수의 입력 변수들의 랭킹들을 이용하여 전체적인 변수들 기여 데이터를 생성하는 동작; 및
    상기 프로세싱 디바이스에 의해, 상기 전체적인 변수들 기여 데이터를 기초로, 상기 복수의 입력 변수들로부터 복수의 중요 입력 변수들을 식별하는 동작을 포함하는,
    비-일시적인 컴퓨터 판독가능 저장 매체.
  10. 제 9 항에 있어서,
    상기 변수들 기여 데이터를 생성하는 동작은, 룰스 앙상블 알고리즘, 지원 벡터 머신 알고리즘, 선형 회귀 알고리즘, 또는 부분 최소 제곱(partial least squares) 알고리즘 중 적어도 하나에 기초하는,
    비-일시적인 컴퓨터 판독가능 저장 매체.
  11. 제 9 항에 있어서,
    상기 복수의 랭킹들의 세트들을 만드는 동작은,
    상기 복수의 반복들에 대해 상기 복수의 입력 변수들 중 적어도 하나에 대해 상이한 가중치를 할당하는 동작을 포함하며,
    상기 상이한 가중치는, 벡터 내의 복수의 입력 변수들의 순서를 이용하여 할당되거나 또는 무작위적으로 할당되는,
    비-일시적인 컴퓨터 판독가능 저장 매체.
  12. 제 9 항에 있어서,
    상기 전체적인 변수들 기여 데이터를 생성하는 동작은,
    상기 복수의 반복들에 상응하는 복수의 변수들 기여 결과들을 생성하는 동작 ― 상기 복수의 변수들 기여 결과들은, 상응하는 반복에 대한 상기 복수의 입력 변수들에 상응하는 복수의 기여들을 나타냄 ―;
    상기 복수의 반복들에 대한 상기 복수의 변수들 기여 결과들을 결합하는 동작; 및
    상기 상응하는 반복에 대해 상기 복수의 입력 변수들 각각에 대한 기여의 가중 평균을 결정하는 동작을 포함하는,
    비-일시적인 컴퓨터 판독가능 저장 매체.
  13. 제 9 항에 있어서,
    상기 복수의 중요 입력 변수들을 식별하는 동작은 임계치를 기초로 하며, 상기 임계치는 AUC(area under curve) 통계치 또는 수신기 동작 특성 곡선 통계치 중 적어도 하나인,
    비-일시적인 컴퓨터 판독가능 저장 매체.
  14. 제 9 항에 있어서,
    상기 동작들은,
    상기 복수의 중요 입력 변수들을 이용하여, 제조-관련 예측 모델을 트레이닝하는 동작을 더 포함하는,
    비-일시적인 컴퓨터 판독가능 저장 매체.
  15. 시스템으로서,
    복수의 입력 변수들을 저장하기 위한 메모리; 및
    상기 메모리에 결합된 프로세싱 디바이스를 포함하고,
    상기 프로세싱 디바이스는:
    복수의 입력 변수들을 이용하여 복수의 반복들에 대해 결정 트리-기반의 예측 모델을 실행함으로써 상기 복수의 입력 변수들의 복수의 랭킹들의 세트들을 만들고 ― 상기 복수의 반복들은 상기 복수의 랭킹들의 세트들에 상응하고, 상기 복수의 입력 변수들은 적어도 하나의 반도체 제조 툴로부터의 데이터에 기초함 ―;
    상기 복수의 입력 변수들의 랭킹들을 이용하여 전체적인 변수들 기여 데이터를 생성하고; 그리고
    상기 전체적인 변수들 기여 데이터를 기초로, 상기 복수의 입력 변수들로부터 복수의 중요 입력 변수들을 식별하는,
    시스템.
  16. 제 15 항에 있어서,
    상기 변수들 기여 데이터를 생성하는 것은, 룰스 앙상블 알고리즘, 지원 벡터 머신 알고리즘, 선형 회귀 알고리즘, 또는 부분 최소 제곱(partial least squares) 알고리즘 중 적어도 하나에 기초하는,
    시스템.
  17. 제 15 항에 있어서,
    상기 복수의 랭킹들의 세트들을 만들기 위해 상기 프로세싱 디바이스는,
    상기 복수의 반복들에 대해 상기 복수의 입력 변수들 중 적어도 하나에 대해 상이한 가중치를 할당하고,
    상기 상이한 가중치는, 벡터 내의 복수의 입력 변수들의 순서를 이용하여 할당되거나 또는 무작위적으로 할당되는,
    시스템.
  18. 제 15 항에 있어서,
    상기 프로세싱 디바이스는,
    상기 복수의 반복들에 상응하는 복수의 변수들 기여 결과들을 생성하고 ― 상기 복수의 변수들 기여 결과들은, 상응하는 반복에 대한 상기 복수의 입력 변수들에 상응하는 복수의 기여들을 나타냄 ―;
    상기 복수의 반복들에 대한 상기 복수의 변수들 기여 결과들을 결합하고; 그리고
    상기 상응하는 반복에 대해 상기 복수의 입력 변수들 각각에 대한 기여의 가중 평균을 결정함으로써 상기 전체적인 변수들 기여 데이터를 생성하는,
    시스템.
  19. 제 15 항에 있어서,
    상기 프로세싱 디바이스는, 임계치를 기초로 상기 복수의 중요 입력 변수들을 식별하고, 상기 임계치는 AUC(area under curve) 통계치 또는 수신기 동작 특성 곡선 통계치 중 적어도 하나인,
    시스템.
  20. 제 15 항에 있어서,
    상기 프로세싱 디바이스는 추가로, 상기 복수의 중요 입력 변수들을 이용하여, 제조-관련 예측 모델을 트레이닝하는,
    시스템.
KR1020147031298A 2012-04-06 2013-04-05 일반화된 그리고 견고한 예측 모델들의 생성을 위한 증가된 신호 대 잡음비 KR101713007B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261621330P 2012-04-06 2012-04-06
US61/621,330 2012-04-06
US13/856,288 US9275334B2 (en) 2012-04-06 2013-04-03 Increasing signal to noise ratio for creation of generalized and robust prediction models
US13/856,288 2013-04-03
PCT/US2013/035449 WO2013152288A1 (en) 2012-04-06 2013-04-05 Increasing signal to noise ratio for creation of generalized and robust prediction models

Publications (2)

Publication Number Publication Date
KR20140144282A KR20140144282A (ko) 2014-12-18
KR101713007B1 true KR101713007B1 (ko) 2017-03-07

Family

ID=49293125

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147031298A KR101713007B1 (ko) 2012-04-06 2013-04-05 일반화된 그리고 견고한 예측 모델들의 생성을 위한 증가된 신호 대 잡음비

Country Status (4)

Country Link
US (1) US9275334B2 (ko)
KR (1) KR101713007B1 (ko)
TW (1) TWI553496B (ko)
WO (1) WO2013152288A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105849643B (zh) 2013-12-17 2019-07-19 Asml荷兰有限公司 良品率估计和控制
US11004139B2 (en) 2014-03-31 2021-05-11 Monticello Enterprises LLC System and method for providing simplified in store purchases and in-app purchases using a use-interface-based payment API
US11080777B2 (en) * 2014-03-31 2021-08-03 Monticello Enterprises LLC System and method for providing a social media shopping experience
US10511580B2 (en) 2014-03-31 2019-12-17 Monticello Enterprises LLC System and method for providing a social media shopping experience
US10140394B2 (en) 2014-09-25 2018-11-27 Applied Materials, Inc. Method for rejecting tuning disturbances to improve lamp failure prediction quality in thermal processes
US9826338B2 (en) 2014-11-18 2017-11-21 Prophecy Sensorlytics Llc IoT-enabled process control and predective maintenance using machine wearables
US9767690B2 (en) 2014-11-19 2017-09-19 Uber Technologies, Inc. Parking identification and availability prediction
US9787647B2 (en) * 2014-12-02 2017-10-10 Microsoft Technology Licensing, Llc Secure computer evaluation of decision trees
US9825758B2 (en) 2014-12-02 2017-11-21 Microsoft Technology Licensing, Llc Secure computer evaluation of k-nearest neighbor models
US10648735B2 (en) 2015-08-23 2020-05-12 Machinesense, Llc Machine learning based predictive maintenance of a dryer
US10613046B2 (en) 2015-02-23 2020-04-07 Machinesense, Llc Method for accurately measuring real-time dew-point value and total moisture content of a material
US10599982B2 (en) 2015-02-23 2020-03-24 Machinesense, Llc Internet of things based determination of machine reliability and automated maintainenace, repair and operation (MRO) logs
US10481195B2 (en) 2015-12-02 2019-11-19 Machinesense, Llc Distributed IoT based sensor analytics for power line diagnosis
US20160245279A1 (en) 2015-02-23 2016-08-25 Biplab Pal Real time machine learning based predictive and preventive maintenance of vacuum pump
US20160313216A1 (en) 2015-04-25 2016-10-27 Prophecy Sensors, Llc Fuel gauge visualization of iot based predictive maintenance system using multi-classification based machine learning
US20160245686A1 (en) 2015-02-23 2016-08-25 Biplab Pal Fault detection in rotor driven equipment using rotational invariant transform of sub-sampled 3-axis vibrational data
US10638295B2 (en) 2015-01-17 2020-04-28 Machinesense, Llc System and method for turbomachinery preventive maintenance and root cause failure determination
US9823289B2 (en) 2015-06-01 2017-11-21 Prophecy Sensorlytics Llc Automated digital earth fault system
TWI625615B (zh) * 2016-11-29 2018-06-01 財團法人工業技術研究院 預測模型建立方法及其相關預測方法與電腦程式產品
CN106768956A (zh) * 2016-12-28 2017-05-31 湖南坤宇网络科技有限公司 一种基于决策树系统的锅炉下降管故障预警方法
US11715287B2 (en) * 2017-11-18 2023-08-01 Neuralmagic Inc. Systems and methods for exchange of data in distributed training of machine learning algorithms
US10921792B2 (en) 2017-12-21 2021-02-16 Machinesense Llc Edge cloud-based resin material drying system and method
CN109976998B (zh) * 2017-12-28 2022-06-07 航天信息股份有限公司 一种软件缺陷预测方法、装置和电子设备
CN108376264A (zh) * 2018-02-26 2018-08-07 上海理工大学 一种基于支持向量机增量学习的冷水机组故障诊断方法
WO2020156769A1 (en) * 2019-01-29 2020-08-06 Asml Netherlands B.V. Method for decision making in a semiconductor manufacturing process
CN109934358A (zh) * 2019-01-30 2019-06-25 中国人民解放军32181部队 装备故障预测和健康评估方法、系统及终端设备
CN111579222A (zh) * 2019-01-30 2020-08-25 帆宣系统科技股份有限公司 自动最佳化故障特征产生方法
CN109976316B (zh) * 2019-04-25 2021-06-18 山东科技大学 一种故障相关的变量选择方法
EP3736754A1 (en) * 2019-05-09 2020-11-11 Siemens Aktiengesellschaft A method and apparatus for providing predictions of key performance indicators of a complex manufacturing system
US20210117861A1 (en) * 2019-10-16 2021-04-22 Pdf Solutions, Inc. Machine learning variable selection and root cause discovery by cumulative prediction
US11321651B2 (en) * 2019-12-30 2022-05-03 Coupang Corp. Cycle and safety stock determination systems
CN113569935B (zh) * 2021-07-20 2024-02-09 中煤能源研究院有限责任公司 一种基于svm和主元贡献图的软化加药方法、系统及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060246495A1 (en) 2005-04-15 2006-11-02 Garrett James A Diagnosis of sepsis

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7921068B2 (en) * 1998-05-01 2011-04-05 Health Discovery Corporation Data mining platform for knowledge discovery from heterogeneous data types and/or heterogeneous data sources
US7117188B2 (en) * 1998-05-01 2006-10-03 Health Discovery Corporation Methods of identifying patterns in biological systems and uses thereof
US6356146B1 (en) * 1999-07-13 2002-03-12 Pmc-Sierra, Inc. Amplifier measurement and modeling processes for use in generating predistortion parameters
US6470229B1 (en) * 1999-12-08 2002-10-22 Yield Dynamics, Inc. Semiconductor yield management system and method
JP3323180B2 (ja) 2000-03-31 2002-09-09 株式会社東芝 決定木変更方法およびデータマイニング装置
US8639009B2 (en) * 2000-10-11 2014-01-28 Imatx, Inc. Methods and devices for evaluating and treating a bone condition based on x-ray image analysis
WO2004053659A2 (en) 2002-12-10 2004-06-24 Stone Investments, Inc Method and system for analyzing data and creating predictive models
US7634360B2 (en) * 2003-09-23 2009-12-15 Prediction Sciences, LL Cellular fibronectin as a diagnostic marker in stroke and methods of use thereof
US7225200B2 (en) 2004-04-14 2007-05-29 Microsoft Corporation Automatic data perspective generation for a target variable
US7933762B2 (en) * 2004-04-16 2011-04-26 Fortelligent, Inc. Predictive model generation
FR2883997A1 (fr) 2005-04-04 2006-10-06 France Telecom Procede de gestion de decisions, procede de construction d'un arbre de decision, gestionnaire central, gestionnaire intermediaire, terminal et produits programmes d'ordinateur correspondants
US7593934B2 (en) * 2006-07-28 2009-09-22 Microsoft Corporation Learning a document ranking using a loss function with a rank pair or a query parameter
WO2008080126A2 (en) * 2006-12-22 2008-07-03 Aviir, Inc. Two biomarkers for diagnosis and monitoring of atherosclerotic cardiovascular disease
AU2009217184B2 (en) * 2008-02-20 2015-03-19 Digital Medical Experts Inc. Expert system for determining patient treatment response
US7974723B2 (en) 2008-03-06 2011-07-05 Applied Materials, Inc. Yield prediction feedback for controlling an equipment engineering system
US20100114654A1 (en) * 2008-10-31 2010-05-06 Hewlett-Packard Development Company, L.P. Learning user purchase intent from user-centric data
AU2009333489A1 (en) * 2008-12-30 2010-07-08 Centocor Ortho Biotech Inc. Serum markers predicting clinical response to anti-TNF antibodies in patients with ankylosing spondylitis
WO2011008361A1 (en) * 2009-06-30 2011-01-20 Dow Agrosciences Llc Application of machine learning methods for mining association rules in plant and animal data sets containing molecular genetic markers, followed by classification or prediction utilizing features created from these association rules
WO2011141586A1 (es) * 2010-05-14 2011-11-17 Telefonica, S.A. Método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones
RU2603601C2 (ru) * 2010-12-20 2016-11-27 Конинклейке Филипс Электроникс Н.В. Способы и системы для идентификации пациентов с умеренными когнитивными нарушениями с риском перехода в болезнь альцгеймера
BR112013032232A2 (pt) * 2011-06-16 2016-09-20 Caris Life Sciences Switzerland Holdings S A R L método de caracterização de câncer através do uso de biomarcador de ácido nucleico
US9495645B2 (en) * 2012-10-21 2016-11-15 Concept.Io, Inc. Method and system of iteratively autotuning prediction parameters in a media content recommender
US20140257924A1 (en) * 2013-03-08 2014-09-11 Corelogic Solutions, Llc Automated rental amount modeling and prediction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060246495A1 (en) 2005-04-15 2006-11-02 Garrett James A Diagnosis of sepsis

Also Published As

Publication number Publication date
TWI553496B (zh) 2016-10-11
US20130268469A1 (en) 2013-10-10
WO2013152288A1 (en) 2013-10-10
TW201342103A (zh) 2013-10-16
KR20140144282A (ko) 2014-12-18
US9275334B2 (en) 2016-03-01

Similar Documents

Publication Publication Date Title
KR101713007B1 (ko) 일반화된 그리고 견고한 예측 모델들의 생성을 위한 증가된 신호 대 잡음비
Branke et al. Hyper-heuristic evolution of dispatching rules: A comparison of rule representations
KR20200091808A (ko) 어노말리 디텍션
US20220027738A1 (en) Distributed synchronous training architecture using stale weights
Shakya et al. Reliable automated software testing through hybrid optimization algorithm
TW201403353A (zh) 巨量資料分析系統
KR102236931B1 (ko) 툴 프로세스 데이터에 대한 다-변량 분석을 제공하기 위한 k-최근접 이웃-기반 방법 및 시스템
KR102320706B1 (ko) 설비 모니터링 시스템의 모델 임계값 설정 방법
Byabazaire et al. Using trust as a measure to derive data quality in data shared IoT deployments
JP2010211684A (ja) データ処理方法、データ処理プログラム、データ処理装置
Mohammadi et al. The potential of region-specific machine-learning-based ground motion models: application to Turkey
Zhai et al. Nonlinear variable selection algorithms for surrogate modeling
US9665668B2 (en) Configuring a dispatching rule for execution in a simulation
Rai et al. Fast parameter estimation of generalized extreme value distribution using neural networks
JP2022549407A (ja) レジーム・シフトの識別及び分析のための方法及びシステム
Vidnerová et al. Sensor data air pollution prediction by kernel models
US20190065987A1 (en) Capturing knowledge coverage of machine learning models
CN108229689B (zh) 在半导体处理设备中使用径向基函数网络与超立方体进行偏离分类
Hämäläinen et al. Dangerous relationships: biases in freshwater bioassessment based on observed to expected ratios
CN113191477A (zh) 碱式电解槽的温度传感器故障诊断方法与装置
Rana et al. A study of hyper-parameter tuning in the field of software analytics
Sivaramakrishnan et al. Workload Characterization in Embedded Systems Utilizing Hybrid Intelligent Gated Recurrent Unit and Extreme Learning Machines
Ferenc et al. Employing partial least squares regression with discriminant analysis for bug prediction
US20230169515A1 (en) Intelligent warranty pricing framework
US8874416B2 (en) Process tool chemical and gas usage optimization

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right