KR20140104386A - 동적 특이치 바이어스 감소 시스템 및 방법 - Google Patents

동적 특이치 바이어스 감소 시스템 및 방법 Download PDF

Info

Publication number
KR20140104386A
KR20140104386A KR1020140019597A KR20140019597A KR20140104386A KR 20140104386 A KR20140104386 A KR 20140104386A KR 1020140019597 A KR1020140019597 A KR 1020140019597A KR 20140019597 A KR20140019597 A KR 20140019597A KR 20140104386 A KR20140104386 A KR 20140104386A
Authority
KR
South Korea
Prior art keywords
data
error
values
data set
generating
Prior art date
Application number
KR1020140019597A
Other languages
English (en)
Other versions
KR102052217B1 (ko
Inventor
리차드 브래들리 존스
Original Assignee
하트포드 스팀 보일러 인스펙션 앤드 인슈어런스 컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/772,212 external-priority patent/US9111212B2/en
Application filed by 하트포드 스팀 보일러 인스펙션 앤드 인슈어런스 컴퍼니 filed Critical 하트포드 스팀 보일러 인스펙션 앤드 인슈어런스 컴퍼니
Publication of KR20140104386A publication Critical patent/KR20140104386A/ko
Application granted granted Critical
Publication of KR102052217B1 publication Critical patent/KR102052217B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/32—Gas-filled discharge tubes
    • H01J37/32431—Constructional details of the reactor
    • H01J37/32715—Workpiece holder
    • H01J37/32724—Temperature
    • C—CHEMISTRY; METALLURGY
    • C23—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; CHEMICAL SURFACE TREATMENT; DIFFUSION TREATMENT OF METALLIC MATERIAL; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL; INHIBITING CORROSION OF METALLIC MATERIAL OR INCRUSTATION IN GENERAL
    • C23C—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; SURFACE TREATMENT OF METALLIC MATERIAL BY DIFFUSION INTO THE SURFACE, BY CHEMICAL CONVERSION OR SUBSTITUTION; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL
    • C23C16/00—Chemical coating by decomposition of gaseous compounds, without leaving reaction products of surface material in the coating, i.e. chemical vapour deposition [CVD] processes
    • C23C16/44—Chemical coating by decomposition of gaseous compounds, without leaving reaction products of surface material in the coating, i.e. chemical vapour deposition [CVD] processes characterised by the method of coating
    • C23C16/458—Chemical coating by decomposition of gaseous compounds, without leaving reaction products of surface material in the coating, i.e. chemical vapour deposition [CVD] processes characterised by the method of coating characterised by the method used for supporting substrates in the reaction chamber
    • C23C16/4582—Rigid and flat substrates, e.g. plates or discs
    • C23C16/4583—Rigid and flat substrates, e.g. plates or discs the substrate being supported substantially horizontally
    • C23C16/4586—Elements in the interior of the support, e.g. electrodes, heating or cooling devices
    • C—CHEMISTRY; METALLURGY
    • C23—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; CHEMICAL SURFACE TREATMENT; DIFFUSION TREATMENT OF METALLIC MATERIAL; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL; INHIBITING CORROSION OF METALLIC MATERIAL OR INCRUSTATION IN GENERAL
    • C23C—COATING METALLIC MATERIAL; COATING MATERIAL WITH METALLIC MATERIAL; SURFACE TREATMENT OF METALLIC MATERIAL BY DIFFUSION INTO THE SURFACE, BY CHEMICAL CONVERSION OR SUBSTITUTION; COATING BY VACUUM EVAPORATION, BY SPUTTERING, BY ION IMPLANTATION OR BY CHEMICAL VAPOUR DEPOSITION, IN GENERAL
    • C23C16/00—Chemical coating by decomposition of gaseous compounds, without leaving reaction products of surface material in the coating, i.e. chemical vapour deposition [CVD] processes
    • C23C16/44—Chemical coating by decomposition of gaseous compounds, without leaving reaction products of surface material in the coating, i.e. chemical vapour deposition [CVD] processes characterised by the method of coating
    • C23C16/46—Chemical coating by decomposition of gaseous compounds, without leaving reaction products of surface material in the coating, i.e. chemical vapour deposition [CVD] processes characterised by the method of coating characterised by the method used for heating the substrate
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/32—Gas-filled discharge tubes
    • H01J37/32431—Constructional details of the reactor
    • H01J37/32798—Further details of plasma apparatus not provided for in groups H01J37/3244 - H01J37/32788; special provisions for cleaning or maintenance of the apparatus
    • H01J37/32889—Connection or combination with other apparatus
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/32—Gas-filled discharge tubes
    • H01J37/32917—Plasma diagnostics
    • H01J37/32935—Monitoring and controlling tubes by information coming from the object and/or discharge
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67011—Apparatus for manufacture or treatment
    • H01L21/67017—Apparatus for fluid treatment
    • H01L21/67063—Apparatus for fluid treatment for etching
    • H01L21/67069—Apparatus for fluid treatment for etching for drying etching
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67011—Apparatus for manufacture or treatment
    • H01L21/67098—Apparatus for thermal treatment
    • H01L21/67103—Apparatus for thermal treatment mainly by conduction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67248—Temperature monitoring
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67253—Process monitoring, e.g. flow or thickness monitoring
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/32—Processing objects by plasma generation
    • H01J2237/33—Processing objects by plasma generation characterised by the type of processing
    • H01J2237/332—Coating
    • H01J2237/3321—CVD [Chemical Vapor Deposition]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/32—Processing objects by plasma generation
    • H01J2237/33—Processing objects by plasma generation characterised by the type of processing
    • H01J2237/334—Etching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

기능 및 추세 선 특이치 바이어스를 감소시키기 위한 데이터 필터링을 위한 시스템 및 방법이 본원에 기재된다. 객관적 통계 방법을 통해 데이터 세트로부터 특이치가 제거된다. 바이어스는 절대 오차, 상대 오차, 또는 이 둘 모두를 기초로 결정된다. 오차 값이 데이터, 모델 계수, 또는 추세 선 계산으로부터 계산된다. 오차 값이 사용자-제공 기준보다 크거나 같을 때 특이치 데이터 레코드가 제거된다. 최적화 방법 또는 그 밖의 다른 반복 계산을 위해, 각각의 반복마다 제거된 데이터가 모델에 다시 적용되어 새로운 결과를 계산한다. 완전한 데이터 세트에 대한 모델 값을 이용하여, 새로운 오차 값이 계산되고 특이치 바이어스 감소 절차가 다시 적용된다. 사용자 정의 오차 개선 한계에 도달할 때까지, 반복 방식으로 모델 계수 및 특이치 제거 데이터를 위해 전체 오차가 최소화된다. 필터링된 데이터는 검증, 특이치 바이어스 감소, 및 데이터 품질 작업을 위해 사용될 수 있다.

Description

동적 특이치 바이어스 감소 시스템 및 방법{DYNAMIC OUTLIER BIAS REDUCTION SYSTEM AND METHOD}
관련 출원의 상호 참조
이 일부계속출원은 2011년 08월 19일자로 출원된 미국 정규 특허 출원 13/213,780호, 발명의 명칭 "Dynamic Outlier Bias Reduction System And Method"을 기초로 우선권 주장하며, 상기 미국 정규 특허 출원은 그 전체가 본원에 참조로서 포함된다.
발명의 기술 분야
본 발명은 분석 개발(analysis development)에서 특이적 요소(outlier element)가 제거된(또는 필터링된) 데이터의 분석에 관한 것이다. 상기 분석은 단순한 통계치의 계산 또는 이의 개발에서 데이터를 이용하는 수학적 모델과 관련된 보다 복잡한 연산과 관련될 수 있다. 특이 데이터 필터링의 목적은 데이터 품질 및 데이터 검증 동작을 수행하려는 것 또는 차후의 분석, 회귀 분석, 시계열 분석에서 적용되는 대표 표준, 통계치, 데이터 그룹 또는 수학적 모델 개발을 위한 적절한 데이터를 계산하기 위한 것이다.
표준 모델 또는 데이터 구동 모델(data-driven model)에서 특이 데이터(outlier data)를 제거하는 것은, 대표적이며 타당한 분석이 기저 데이터로부터 개발됨을 보장하기 위한 사전 분석 작업의 중요한 부분이다. 예를 들어, 이산화탄소(CO2), 오존(O3), 수증기(H2O), 히드로플루오로카본(HFC), 퍼플루오로카본(PFC), 클로로플루오로카본(CFC), 설퍼 헥사플루오라이드(SF6), 메탄(CH4), 아산화질소(N2O), 일산화탄소(CO), 질소 산화물(NOx), 및 비-메탄 휘발성 유기 화합물(NMVOC) 방출에 대한 온실 가스 표준의 공정한 벤치마킹을 개발하는 것이 표준 개발에서 사용되는 수집된 산업 데이터가 특정 속성을 보임을 요구한다. 산업 장소 중 몇 개에 의한 극히 우수하거나 나쁜 성능이 그 밖의 다른 장소에 대해 계산된 표준을 치우치게 만들어선 안 된다. 표준 계산에 이러한 성능 결과를 포함시키는 것은 불공평하거나 비대표적이라고 판단될 수 있다. 과거에, 성능 특이치(performance outlier)는 대상 입력을요구하는 반-정량적 프로세서(semi-quantitative process)를 통해 제거되었다. 본 발명의 시스템 및 방법은 이러한 작업을 사전-분석 또는 사전-모델 개발 스테이지에서가 아니라 모델 개발에 통합된 부분으로 수행하며, 데이터-구동식 접근법이다.
바이어스의 제거는 정당화(justification)가 데이터 변경을 입증하기 위한 일부 형태로 자료화된 주관적인 프로세스(documented subjective process)일 수 있다. 그러나 임의의 형태의 특이치 제거는 계산 결과를 변경하기 위한 가능성을 지니는 데이터 중도절단(data censoring)의 형태이다. 이러한 데이터 필터링은 계산에서 바이어스나 오차를 감소시킬 수도 있고 감소시키지 않을 수도 있으며, 전체 분석 공개의 사상에서, 엄격한 데이터 제거 가이드라인 및 특이치 제거를 위한 자료화가 분석 결과에 포함될 필요가 있다. 따라서 데이터 품질 작업, 데이터 검증, 통계 계산 또는 수학적 모델 개발 등의 목적으로, 동적 통계 프로세스를 이용해 특이 데이터 바이어스를 객관적으로 제거하기 위한 새로운 시스템 및 방법을 제공할 필요가 있다. 상기 특이 바이어스 제거 시스템 및 방법은 또한 데이터를 대표 카테고리로 그룹짓기 위해 사용될 수 있으여, 여기서 각각의 그룹에 커스텀화된 수학적 모델의 개별에 데이터가 적용된다. 바람직한 실시예에서, 수학적 모델에서의 곱셈 및 덧셈 팩터로서의 계수(coefficient)가 정의되고, 비선형 속성을 갖는 그 밖의 다른 수치 파라미터도 정의된다. 예를 들어, f(x,y,z) = a*x + b*yc + d*sin(ez) + f인 수학적 모델에서, a, b, c, d, e, 및 f는 모두 계수로 정의된다. 이들 항의 값은 고정 값이거나, 수학적 모델의 개발의 일부일 수 있다.
선호되는 실시예는, 바이어스 기준을 선택하는 단계와, 데이터 세트를 제공하는 단계와, 한 세트의 모델 계수를 제공하는 단계와, 한 세트의 타깃 값을 선택하는 단계와, (1) 완전 데이터 세트에 대한 한 세트의 예측 값을 발생시키는 단계와, (2) 데이터세트에 대한 오차 세트를 발생시키는 단계와, (3) 오차 세트 및 바이어스 기준에 기초하여 한 세트의 오차 임계 값을 발생시키는 단계와, (4) 오차 세트와 한 세트의 오차 임계 값에 기초하여 중도절단 데이터 세트(a censored data set)를 프로세서에 의해 발생시키는 단계와, (5) 한 세트의 새 모델 계수를 프로세서에 의해 발생시키는 단계와, (6) 중도절단 성능 종료 기준이 충족되지 않을 경우, 한 세트의 새 모델 계수를 이용하여 단계(1)-(5)를 반복하는 단계를 포함하는, 특이치 바이어스 감소를 위한 컴퓨터-구현 방법을 포함한다. 선호되는 실시예에서, 한 세트의 예측 값은 데이터 세트 및 한 세트의 모델 계수에 기초하여 발생될 수 있다. 선호되는 실시예에서, 오차 세트는 한 세트의 예측 값과 한 세트의 타깃 값에 기초하여 발생되는 한 세트의 절대 오차와 한 세트의 상대 오차를 포함할 수 있다. 다른 실시예에서, 오차 세트는 한 세트의 예측 값과 한 세트의 타깃 값 사이의 차이로 연산되는 값들을 포함할 수 있다. 다른 실시예에서, 한 세트의 새 계수를 발생시키는 단계는, 선형 또는 비선형 최적화 모델을 이용하여 실현될 수 있는, 한 세트의 예측 값과 한 세트의 실제 값 사이의 한 세트의 오차를 최소화시키는 단계를 더 포함할 수 있다. 선호되는 실시예에서, 중도절단 성능 종료 기준은 표준 오차 및 결정 계수에 기초할 수 있다.
다른 실시예는, 오차 기준을 선택하는 단계와, 데이터 세트를 선택하는 단계와, 한 세트의 실제 값을 선택하는 단계와, 하나의 초기 세트의 모델 계수를 선택하는 단계와, 완전 데이터 세트 및 하나의 초기 세트의 모델 계수에 기초하여 한 세트의 모델 예측 값을 발생시키는 단계와, (1) 완전 데이터 세트에 대한 한 세트의 실제 값 및 모델 예측 값에 기초하여 한 세트의 오차를 발생시키는 단계와, (2) 완전 데이터 세트에 대한 오차 기준과 완전한 한 세트의 오차에 기초하여 한 세트의 오차 임계 값을 발생시키는 단계와, (3) 완전 데이터 세트와 한 세트의 오차 임계 값에 기초하여 필터링이 이루어지도록 특이치 제거된 데이터 세트를 발생시키는 단계와, (4) 한 세트의 새 계수의 발생이 컴퓨터 프로세서에 의해 수행되도록, 필터링된 데이터 세트 및 한 세트의 이전 계수에 기초하여 한 세트의 새 계수를 발생시키는 단계와, (5) 한 세트의 특이치 바이어스 감소 모델 예측 값들의 발생이 컴퓨터 프로세서에 의해 수행되도록, 필터링된 데이터 세트 및 한 세트의 새 모델 계수에 기초하여 한 세트의 특이치 바이어스 감소 모델 예측 값들을 발생시키는 단계와, (6) 모델 예측 값과 한 세트의 실제 값에 기초하여 한 세트의 모델 성능 값을 발생시키는 단계와, 성능 종료 기준이 충족되지 않을 경우, 이전 반복으로부터의 한 세트의 계수를 한 세트의 새 계수로 대체하면서, 단계 (1)-(6)를 반복할 수 있는 반복 단계와, 그리고, 컴퓨터 데이터 매체에 한 세트의 모델 예측 값을 저장하는 단계를 포함하는, 특이치 바이어스 감소를 위한 컴퓨터-구현 방법을 포함한다.
다른 실시예는, 설비용 타깃 변수를 선택하는 단계와, 타깃 변수의 한 세트의 실제 값을 선택하는 단계와, 타깃 변수에 관련된 설비에 대한 복수의 변수를 식별하는 단계와, 복수의 변수에 대한 값들을 포함하는, 설비에 대한 데이터 세트를 획득하는 단계와, 바이어스 기준을 선택하는 단계와, 한 세트의 모델 계수를 선택하는 단계와, (1) 완전 데이터 세트 및 한 세트의 모델 계수에 기초하여 한 세트의 예측 값을 발생시키는 단계와, (2) 한 세트의 예측 값 및 한 세트의 실제 값에 기초하여 한 세트의 중도절단 모델 성능 값을 발생시키는 단계와, (3) 타깃 변수에 대한 한 세트의 실제 값 및 한 세트의 예측 값에 기초하여 오차 세트를 발생시키는 단계와, (4) 오차 세트 및 바이어스 기준에 기초하여 한 세트의 오차 임계 값을 발생시키는 단계와, (5) 데이터 세트 및 한 세트의 오차 임계값에 기초하여 중도절단 데이터 세트를 프로세서에 의해 발생시키는 단계와, (6) 중도절단 데이터 세트 및 한 세트의 모델 계수에 기초하여 한 세트의 새 모델 계수를 프로세서에 의해 발생시키는 단계와, (7) 데이터 세트 및 한 세트의 새 모델 계수에 기초하여 한 세트의 새 예측 값을 프로세서에 의해 발생시키는 단계와, (8) 한 세트의 새 예측 값과 한 세트의 실제 값에 기초하여 한 세트의 새 중도절단 모델 성능 값을 발생시키는 단계와, 한 세트의 새 계수를 이용하여 중도절단 성능 종료 기준이 충족되지 않을 경우, 단계 (1)-(8)을 반복하는 단계와, 컴퓨터 데이터 매체에 한 세트의 새 모델 예측 값을 저장하는 단계를 포함하는, 특이치 바이어스 감소를 위한 컴퓨터-구현 방법을 포함한다.
다른 실시예는, 생산, 경제적 효과, 또는 성과에 관한 산업적 설비에 대한 척도인 설비용 타깃 변수를 결정하는 단계와, 설비에 대한 복수의 변수를 식별하는 단계 - 상기 복수의 변수는 타깃 변수에 영향을 미치는 설비에 대한 복수의 직접 변수와, 설비에 대한 한 세트의 변환 변수를 포함하며, 각각의 변환 변수는 타깃 변수에 영향을 미치는 적어도 한자의 직접 설비 변수의 함수임 - 와, 절대 오차 및 상대 오차를 포함하는 오차 기준을 선택하는 단계와, 복수의 변수에 대한 값을 포함하는, 설비에 대한 데이터 세트를 획득하는 단계와, 타깃 변수의 한 세트의 실제 값을 선택하는 단계와, 초기 한 세트의 모델 계수를 선택하는 단계와, 완전 데이터 세트와 초기 한 세트의 모델 계수에 기초하여 한 세트의 모델 예측 값을 발생시키는 단계와, 한 세트의 모델 예측 값과 한 세트의 실제 값에 기초하여 완전한 한 세트의 오차를 발생시키는 단계 - 상대 오차는
Figure pat00001
을 이용하여 연산되고, 'm'은 참조 수치이고, 절대 오차는
Figure pat00002
를 이용하여 연산됨 - 와, 한 세트의 모델 예측 값과 한 세트의 실제 값에 기초하여 한 세트의 모델 성능 값을 발생시키는 단계- 한 세트의 전체 모델 성능 값은 제 1 표준 오차 및 제 1 결정 계수를 포함함 - 와, (1) 완전 데이터 세트에 대한 한 세트의 실제 값과 모델 예측 값에 기초하여 한 세트의 오차를 발생시키는 단계와, (2) 완전 데이터 세트에 대한 오차 기준과 완전한 한 세트의 오차에 기초하여 한 세트의 오차 임계 값을 발생시키는 단계와, (3) 완전 데이터 세트 및 한 세트의 오차 임계 값에 기초하여 필터링이 이루어지도록, 오차 임계 값보다 크거나 동일한 오차 값을 갖는 데이터를 제거함으로써 특이치 제거 데이터 세트를 발생시키는 단계와, (4) 새 모델 예측 값의 발생이 컴퓨터 프로세서에 의해 수행되도록, 선형 최적화 모델 및 비선형 최적화 모델 중 적어도 하나를 이용하여 한 세트의 예측 값과 한 세트의 실제 값 사이의 오차를 최소화시킴으로써 특히치 제거 데이터 세트와 한 세트의 모델 계수에 기초하여 한 세트의 특이치 바이어스 감소 모델 예측 값을 발생시키는 단계와, (5) 한 세트의 새 계수의 발생이 컴퓨터 프로세서에 의해 수행되도록, 특이치 제거 데이터 세트와 이전 한 세트의 계수에 기초하여 한 세트의 새 계수를 발생시키는 단계와, (6) 한 세트의 모델 성능 값이 제 2 표준 오차, 및 제 2 결정 계수를 포함하도록, 한 세트의 새 예측 모델 값과 한 세트의 실제 값에 기초하여 한 세트의 전체 모델 성능 값을 발생시키는 단계와, 성능 종료 기준이 충족되지 않을 경우, 이전 반복으로부터 한 세트의 계수를 한 세트의 새 계수로 대체하면서, 단계 (1)-(6)을 반복하는 단계 - 상기 성능 종료 기준은 표준 오차 종료 값과 결정 계수 종료 값를 포함하고, 성능 종료 기준의 충족은 표준 오차 종료 값이 제 1 및 제 2 표준 오차 사이의 차이보다 큰 경우와, 결정 계수 종료 값가 제 1 및 제 2 결정 계수 사이의 차이보다 큰 경우를 포함함 - 와, 컴퓨터 데이터 매체에 한 세트의 새 모델 예측 값을 저장하는 단계를 포함하는, 특이치 바이어스 감소를 위한 컴퓨터-구현 방법을 포함한다.
다른 실시예는, 오차 기준을 선택하는 단계와, 데이터 세트를 선택하는 단계와, 한 세트의 실제 값을 선택하는 단계와, 초기 한 세트의 모델 예측 값을 선택하는 단계와, 한 세트의 모델 예측 값과 한 세트의 실제 값에 기초하여 한 세트의 오차를 결정하는 단계와, (1) 완전한 한 세트의 오차 및 오차 기준에 기초하여 한 세트의 오차 임계 값을 결정하는 단계와, (2) 필터링이 데이터 세트 및 한 세트의 오차 임계 값에 기초하여 이루어지도록, 특이치 제거 데이터 세트를 발생시키는 단계와, (3) 한 세트의 특이치 바이어스 감소 모델 예측 값의 발생이 컴퓨터 프로세서에 의해 수행되도록, 특이치 제거 데이터 세트 및 이전 모델 예측 값에 기초하여 한 세트의 특이치 바이어스 감소 모델 예측 값을 발생시키는 단계와, (4) 한 세트의 새 모델 예측 값과 한 세트의 실제 값에 기초하여 한 세트의 오차를 결정하는 단계와, 이전 반복으로부터 한 세트의 모델 예측 값을 한 세트의 새 모델 예측 값으로 대체하면서, 성능 종료 기준이 충족되지 않을 경우, 단계 (1)-(4)를 반복하는 단계와, 컴퓨터 데이터 매체에 한 세트의 특이치 바이어스 감소 모델 예측 값을 저장하는 단계를 포함하는, 특이치 바이어스 감소를 위한 컴퓨터-구현 방법을 포함한다.
다른 실시예는, 설비용 타깃 변수를 결정하는 단계와, 설비에 대한 복수의 변수를 식별하는 단계 - 상기 복수의 변수는 타깃 변수에 영향을 미치는 설비에 대한 복수의 직접 변수와, 설비에 대한 한 세트의 변환 변수를 포함하며, 각각의 변환 변수는 타깃 변수에 영향을 미치는 적어도 하나의 직접 설비 변수의 함수임 - 와, 절대 오차 및 상대 오차를 포함하는 오차 기준을 선택하는 단계와, 복수의 변수에 대한 값을 포함하는 데이터 세트를 획득하는 단계와, 타깃 변수의 한 세트의 실제 값을 선택하는 단계와, 초기 한 세트의 모델 계수를 선택하는 단계와, 데이터 세트에 한 세트의 모델 계수를 적용함으로써 한 세트의 모델 예측 값을 발생시키는 단계와, 한 세트의 성능 값이 제 1 표준 오차와 제 1 결정 계수를 포함하도록, 한 세트의 모델 예측 값과 한 세트의 실제 값에 기초하여 한 세트의 성능 값을 발생시키는 단계와, (1) 완전 데이터 세트에 대한 한 세트의 모델 예측 값과 한 세트의 실제 값에 기초하여 한 세트의 오차를 발생시키는 단계 - 상대 오차는
Figure pat00003
을 이용하여 연산되고, 'm'은 참조 수치이고, 절대 오차는
Figure pat00004
를 이용하여 연산됨 - 와, (2) 완전 데이터 세트에 대한 완전한 한 세트의 오차 및 오차 기준에 기초하여 한 세트의 오차 임계 값을 발생시키는 단계와, (3) 필터링이 데이터 세트 및 한 세트의 오차 임계 값에 기초하여 이루어지도록, 한 세트의 오차 임계 값보다 크거나 동일한 오차 값을 갖는 데이터를 제거함으로써 특이치 제거 데이터 세트를 발생시키는 단계와, (4) 특이치 제거 데이터 세트 및 한 세트의 이전 계수에 기초하여 한 세트의 새 계수를 발생시키는 단계와, (5) 모델 예측 값의 발생이 컴퓨터 프로세서에 의해 수행되도록, 선형 최적화 모델 및 비선형 최적화 모델 중 적어도 하나를 이용하여 한 세트의 예측 값과 한 세트의 실제 값 사이의 오차를 최소화시킴으로써 한 세트의 새 모델 계수와 특이치 제거 데이터 세트에 기초하여 한 세트의 특이치 바이어스 감소 모델 예측 값을 발생시키는 단계와, (6) 한 세트의 특이치 바이어스 감소 모델 예측 값과 한 세트의 실제 값에 기초하여 한 세트의 업데이트된 성능 값을 발생시키는 단계 - 한 세트의 업데이트된 성능 값은 제 2 표준 오차 및 제 2 결정 계수를 포함함 - 와, 성능 종료 기준이 충족되지 않을 경우, 이전 반복으로부터의 한 세트의 계수를 한 세트의 새 계수로 대체하면서, 단계 (1)-(6)을 반복하는 단계 - 상기 성능 종료 기준은 표준 오차 종료 기준과 결정 계수 종료 값를 포함하고, 성능 종료 기준의 충족은 표준 오차 종료 값이 제 1 및 제 2 표준 오차 사이의 차이보다 큰 경우와, 결정 계수 종료 값가 제 1 및 제 2 결정 계수 사이의 차이보다 큰 경우를 포함함 - 와, 컴퓨터 데이터 매체에 한 세트의 특이치 바이어스 감소 인자를 저장하는 단계를 포함하는, 특이치 바이어스 감소를 위한 컴퓨터-구현 방법을 포함한다.
다른 실시예는, 복수의 데이터 값을 포함하는 타깃 데이터 세트를 제공하는 단계와, 타깃 데이터세트에 기초하여 무작위적 타깃 데이터 세트를 발생시키는 단계와, 한 세트의 바이어스 기준 값을 선택하는 단계와, 데이터 세트 및 선택된 바이어스 기준 값 각각에 기초하여 특이치 바이어스 감소 타깃 데이터 세트를 프로세서에 의해 발생시키는 단계와, 랜덤 데이터 세트 및 각각의 선택된 바이어스 기준 값에 기초하여 특이치 바이어스 감소 랜덤 데이터 세트를 프로세서에 의해 발생시키는 단계와, 특이치 바이어스 감소 데이터 세트 및 특이치 바이어스 감소 랜덤 데이터 세트에 대한 한 세트의 오차 값을 연산하는 단계와, 특이치 바이어스 감소 데이터 세트 및 특이치 바이어스 감소 랜덤 데이터 세트에 대한 한 세트의 상관 계수를 연산하는 단계와, 선택된 바이어스 기준 값 및 대응하는 오차 값 및 상관 계수에 기초하여 데이터 세트 및 랜덤 데이터 세트에 대한 바이어스 기준 곡선을 발생시키는 단계와, 데이터 세트에 대한 바이어스 기준 곡선을 랜덤 데이터 세트에 대한 바이어스 기준 곡선에 비교하는 단계를 포함하는, 모델 개발에 사용되는 데이터 세트의 생존 가능성에 액세스하기 위한, 컴퓨터-구현 방법을 포함한다. 특이치 바이어스 감소 타깃 데이터 세트 및 특이치 바이어스 감소 랜덤 타깃 데이터 세트는 동적 특이치 바이어스 제거 방법을 이용하여 발생된다. 랜덤 타깃 데이터 세트는 복수의 데이터 값들의 범위 내의 값으로부터 발전된 무작위화된 데이터 값들로 구성될 수 있다. 또한, 한 세트의 오차 값은 한 세트의 표준 오차를 포함할 수 있고, 한 세트의 상관 계수는 한 세트의 결정 값 계수를 포함한다. 다른 실시예는 타깃 데이터 세트에 대한 바이어스 기준 곡선을 랜덤 타깃 데이터 세트에 대한 바이어스 기준 곡선과 비교함에 기초하여, 개발 모델을 지원하기 위해 타깃 데이터 세트의 생존 가능성에 관한 자동 어드바이스를 발생(역방향도 가능)시키는 단계를 더 포함할 수 있다. 어드바이스는 상관 계수 임계치 및/또는 오차 임계치와 같은, 분석가에 의해 선택되는 파라미터에 기초하여 발생될 수 있다. 또 다른 실시예는 모델 예측 값에 대응하는 복수의 실제 데이터 값을 포함하는 실제 데이터 세트를 제공하는 단계와, 실제 데이터 세트에 기초하여 랜덤 실제 데이터 세트를 발생시키는 단계와, 실제 데이터 세트 및 각각의 선택된 바이어스 기준 값에 기초하여 특이치 바이어스 감소 실제 데이터 세트를 프로세서에 의해 발생시키는 단계와, 랜덤 실제 데이터 세트 및 각각의 선택된 바이어스 기준 값에 기초하여 특이치 바이어스 감소 랜덤 실제 데이터 세트를 프로세서에 의해 발생시키는 단계와, 특이치 바이어스 감소 랜덤 타깃 데이터 세트 및 특이치 바이어스 감소 랜덤 실제 데이터에 기초하여 랜덤 데이터 플롯을 각각의 선택된 바이어스 기준에 대하여 발생시키는 단계와, 특이치 바이어스 감소 타깃 데이터 세트 및 특이치 바이어스 감소 실제 타깃 데이터 세트에 기초하여 현실 데이터 플롯을 각각의 선택된 바이어스 기준에 대해 발생시키는 단계와, 각각의 선택된 바이어스 기준에 대응하는 현실 데이터 플롯에 랜덤 데이터 플롯을 비교하는 단계를 더 포함한다.
선호되는 실시예는 프로세서 및 저장 서브시스템을 포함하는 서버와, 데이터세트를 포함하는 저장 서브시스템에 의해 저장되는 데이터베이스와, 명령어를 포함하는 저장 서브시스템에 의해 저장되는 컴퓨터 프로그램을 포함하는 시스템을 포함하며, 상기 명령어는 실행될 때, 바이어스 기준을 선택하는 단계와, 한 세트의 모델 계수를 제공하는 단계와, 한 세트의 타깃 값을 선택하는 단계와, (1) 데이터 세트에 대해 한 세트의 예측 값을 발생시키는 단계와, (2) 데이터세트에 대한 오차 세트를 발생시키는 단계와, (3) 오차 세트 및 바이어스 기준에 기초하여 한 세트의 오차 임계 값을 발생시키는 단계와, (4) 오차 세트 및 한 세트의 오차 임계 값에 기초하여 중도절단 데이터 세트를 발생시키는 단계와, (5) 한 세트의 새 모델 계수를 발생시키는 단계와, (6) 중도절단 성능 종료 기준이 충족되지 않을 경우, 한 세트의 새 모델 계수를 이용하여 단계 (1)-(5)를 반복하는 단계를, 프로세서로 하여금 수행하게 한다. 선호되는 실시예에서, 한 세트의 예측 값은 데이터 세트 및 한 세트의 모델 계수에 기초하여 발생될 수 있다. 선호되는 실시예에서, 오차 세트는 한 세트의 예측 값 및 한 세트의 타깃 값에 기초하여 발생되는, 한 세트의 절대 오차 및 한 세트의 상대 오차를 포함할 수 있다. 다른 실시예에서, 오차 세트는 한 세트의 예측 값과 한 세트의 타깃 값 사이의 차이로 연산되는 값을 포함할 수 있다. 다른 실시예에서, 한 세트의 새 계수를 발생시키는 단계는, 선형 또는 비선형 최적화 모델을 이용하여 실현될 수 있는, 한 세트의 예측 값 및 한 세트의 실제 값 사이의 한 세트의 오차를 최소화시키는 단계를 더 포함할 수 있다. 선호되는 실시예에서, 중도절단 성능 종료 기준은 표준 오차 및 결정 계수에 기초할 수 있다.
본 발명의 다른 실시예는 프로세서 및 저장 서브시스템을 포함하는 서버와, 데이터 세트를 포함하는 저장 서브시스템에 의해 저장되는 데이터베이스와, 명령어를 포함하는 저장 서브시스템에 의해 저장되는 컴퓨터 프로그램을 포함하는 시스템을 포함하며, 상기 명령어는, 실행될 때, 오차 기준을 선택하는 단계와, 한 세트의 실제 값을 선택하는 단계와, 초기 한 세트의 계수를 선택하는 단계와, 완전한 한 세트의 모델 예측 값을 데이터 세트 및 초기 한 세트의 계수로부터 발생시키는 단계와, (1) 완전한 데이터세트에 대한 한 세트의 실제 값 및 모델 예측 값에 기초하여 한 세트의 오차를 발생시키는 단계와, (2) 완전한 데이터 세트에 대한 오차 기준 및 완전한 한 세트의 오차에 기초하여 한 세트의 오차 임계 값을 발생시키는 단계와, (3) 완전한 데이터 세트 및 한 세트의 오차 임계 값에 기초하여 필터링이 이루어지도록 특이치 제거 데이터 세트를 발생시키는 단계와, (4) 한 세트의 특이치 바이어스 감소 모델 예측 값의 발생이 컴퓨터 프로세서에 의해 수행되도록, 특이치 제거 데이터 세트 및 한 세트의 계수에 기초하여 한 세트의 특이치 바이어스 감소 모델 예측 값을 발생시키는 단계와, (5) 한 세트의 새 계수 발생이 컴퓨터 프로세서에 의해 수행되도록, 특이치 제거 데이터 세트 및 한 세트의 이전 계수에 기초하여 한 세트의 새 계수를 발생시키는 단계와, (6) 특이치 바이어스 감소 모델 예측 값 및 한 세트의 실제 값에 기초하여 한 세트의 모델 성능 값을 발생시키는 단계와, 성능 정료 기준이 충족되지 않을 경우, 이전 반복으로부터 한 세트의 계수를 한 세트의 새 계수로 대체하면서, 단계 (1)-(6)을 반복하는 단계와, 컴퓨터 데이터 매체에 한 세트의 전체 특이치 바이어스 감소 모델 예측 값을 저장하는 단계를 프로세서로 하여금 수행하게 한다.
또 다른 실시예는 프로세서 및 저장 서브시스템을 포함하는 서버와, 설비에 대한 타깃 변수와, 타깃 변수의 한 세트의 실제 값과, 타깃 변수에 관련된 설비용 복수의 변수와, 복수의 변수에 대한 값들을 포함하는 설비용의 데이터 세트를 포함하는 저장 서브시스템에 의해 저장되는 데이터베이스와, 명령어를 포함하는 저장 서브시스템에 의해 저장되는 컴퓨터 프로그램을 포함하는 시스템을 포함하며, 상기 명령어는 실행될 때, 바이어스 기준을 선택하는 단계와, 한 세트의 모델 계수를 선택하는 단계와, (1) 데이터 세트 및 한 세트의 모델 계수에 기초하여 한 세트의 예측 값을 발생시키는 단계와, (2) 한 세트의 예측 값 및 한 세트의 실제 값에 기초하여 한 세트의 중도절단 모델 성능 값을 발생시키는 단계와, (3) 타깃 변수에 대한 한 세트의 예측 값 및 한 세트의 실제 값에 기초하여 오차 세트를 발생시키는 단계와, (4) 오차 세트 및 바이어스 기준에 기초하여 한 세트의 오차 임계 값을 발생시키는 단계와, (5) 데이터 세트 및 한 세트의 오차 임계치에 기초하여 중도절단 데이터 세트를 발생시키는 단계와, (6) 중도절단 데이터 세트 및 한 세트의 모델 계수에 기초하여 한 세트의 새 모델 계수를 발생시키는 단계와, (7) 데이터 세트 및 한 세트의 새 모델 계수에 기초하여 한 세트의 새 예측 값을 발생시키는 단계와, (8) 한 세트의 새 예측 값 및 한 세트의 실제 값에 기초하여 한 세트의 새 중도절단 모델 성능 값을 발생시키는 단계와, 한 세트의 새 계수를 이용하여, 중도절단 성능 종료 기준이 충족되지 않을 경우 단계 (1)-(8)을 반복하는 단계와, 저장 서브시스템에 한 세트의 새 모델 예측 값을 저장하는 단계를, 프로세서로 하여금 수행하게 한다.
다른 실시예는 프로세서 및 저장 서브시스템을 포함하는 서버와, 설비에 대한 데이터 세트를 포함하는 저장 서브시스템에 의해 저장되는 데이터베이스와, 명령어를 포함하는 저장 서브시스템에 의해 저장되는 컴퓨터 프로그램을 포함하는 시스템을 포함하며, 상기 명령어는 실행될 때, 타깃 변수를 결정하는 단계와, 복수의 변수를 식별하는 단계 - 상기 복수의 변수는 타깃 변수에 영향을 미치는 설비에 대한 복수의 직접 변수와, 설비에 대한 한 세트의 변환 변수를 포함하며, 각각의 변환 변수는 타깃 변수에 영향을 미치는 적어도 하나의 직접 변수의 함수임 - 와, 절대 오차 및 상대 오차를 포함하는 오차 기준을 선택하는 단계와, 타깃 변수의 한 세트의 실제 값을 선택하는 단계와, 초기 한 세트의 계수를 선택하는 단계와, 데이터 세트 및 초기 한 세트의 계수에 기초하여 한 세트의 모델 예측 값을 발생시키는 단계와, 한 세트의 모델 예측 값 및 한 세트의 실제 값에 기초하여 한 세트의 오차를 결정하는 단계 - 상대 오차는
Figure pat00005
을 이용하여 연산되고, 'm'은 참조 수치이고, 절대 오차는
Figure pat00006
를 이용하여 연산됨 - 와, 한 세트의 모델 예측 값 및 한 세트의 실제 값에 기초하여 한 세트의 성능 값을 결정하는 단계 - 상기 한 세트의 성능 값은 제 1 표준 오차 및 제 1 결정 계수를 포함함 - 와, (1) 모델 예측 값 및 한 세트의 실제 값에 기초하여 한 세트의 오차를 발생시키는 단계와, (2) 완전한 데이터 세트에 대한 완전한 한 세트의 오차 및 오차 기준에 기초하여 한 세트의 오차 임계 값을 발생시키는 단계와, (3) 데이터 세트 및 한 세트의 오차 임계 값에 기초하여 필터링이 이루어지도록, 한 세트의 오차 임계 값 바깥의 오차 값을 갖는 데이터를 필터링함으로써 특이치 제거 데이터 세트를 발생시키는 단계와, (4) 특이치 바이어스 감소 모델 예측 값의 발생이 컴퓨터 프로세서에 의해 수행되도록, 선형 최적화 모델 및 비선형 최적화 모델 중 적어도 하나를 이용하여 한 세트의 모델 예측 값 및 한 세트의 실제 값 사이의 오차를 최소화시킴으로써 특이치 제거 데이터 세트 및 한 세트의 계수에 기초하여 한 세트의 새 모델 예측 값을 발생시키는 단계와, (5) 한 세트의 새 계수의 발생이 컴퓨터 프로세서에 의해 수행되도록, 특이치 제거 데이터 세트 및 한 세트의 이전 계수에 기초하여 한 세트의 새 계수를 발생시키는 단계와, (6) 한 세트의 모델 성능 값이 제 2 표준 오차 및 제 2 결정 계수를 포함하도록, 한 세트의 새 모델 예측 값 및 한 세트의 실제 값에 기초하여 한 세트의 성능 값을 발생시키는 단계와, 이전 반복으로부터의 한 세트의 계수를 한 세트의 새 계수로 대체하면서, 성능 종료 기준이 충족되지 않을 경우, 단계 (1)-(6)를 반복하는 단계 - 성능 종료 기준은 표준 오차 및 결정 계수를 포함하고, 성능 종료 기준의 충족은 표준 오차 종료 값이 제 1 및 제 2 표준 오차 사이의 차이보다 큰 경우와, 결정 계수 종료 값가 제 1 및 제 2 결정 계수 사이의 차이보다 큰 경우를 포함함 - 와, 컴퓨터 데이터 매체에 한 세트의 새 모델 예측 값을 저장하는 단계를, 프로세서로 하여금 수행하게 한다.
본 발명의 다른 실시예는 프로세서 및 저장 서브시스템을 포함하는 서버와, 데이터 세트를 포함하는 저장 서브시스템에 의해 저장되는 데이터베이스와, 명령어를 포함하는 저장 서브시스템에 의해 저장되는 컴퓨터 프로그램을 포함하는 시스템을 포함하며, 상기 명령어는 실행될 때, 오차 기준을 선택하는 단계와, 데이터 세트를 선택하는 단계와, 한 세트의 실제 값을 선택하는 단계와, 초기 한 세트의 모델 예측 값을 선택하는 단계와, 한 세트의 모델 예측 값 및 한 세트의 실제 값에 기초하여 한 세트의 오차를 결정하는 단계와, (1) 완전한 한 세트의 오차 및 오차 기준에 기초하여 한 세트의 오차 임계 값을 결정하는 단계와, (2) 데이터 세트 및 한 세트의 오차 임계 값에 기초하여 필터링이 이루어지도록, 특이치 제거 데이터 세트를 발생시키는 단계와, (3) 특이치 제거 데이터 세트 및 완전한 한 세트의 모델 예측 값에 기초하여 한 세트의 특이치 바이어스 감소 모델 예측 값을 발생시키는 단계 - 한 세트의 특이치 바이어스 감소 모델 예측 값의 발생은 컴퓨터 프로세서에 의해 이루어짐 - 와, (4) 한 세트의 특이치 바이어스 감소 모델 예측 값 및 대응하는 한 세트의 실제 값에 기초하여 한 세트의 오차를 결정하는 단계와, 한 세트의 모델 예측 값을 한 세트의 특이치 바이어스 감소 모델 예측 값으로 대체하면서, 성능 종료 기준이 충족되지 않을 경우, 단계 (1)-(4)를 반복하는 단계와, 컴퓨터 데이터 매체에 한 세트의 특이치 바이어스 감소 인자를 저장하는 단계를, 프로세서에 의해 수행하게 한다.
본 발명의 다른 실시예는 프로세서 및 저장 서브시스템을 포함하는 서버와, 데이터 세트를 포함하는 저장 서브시스템에 의해 저장되는 데이터베이스와, 명령어를 포함하는 저장 서브시스템에 의해 저장되는 컴퓨터 프로그램을 포함하는 시스템을 포함하며, 상기 명령어는 실행될 때, 타깃 변수를 결정하는 단계와, 설비에 대한 복수의 변수를 식별하는 단계 - 상기 복수의 변수는 타깃 변수에 영향을 미치는 설비용의 복수의 직접 변수와, 설비용 한 세트의 변환 변수를 포함하고, 각각의 변환 변수는 타깃 변수에 영향을 미치는 적어도 하나의 주 설비 변수의 함수임 - 와, 절대 오차 및 상대 오차를 포함하는 오차 기준을 선택하는 단계와, 복수의 변수에 대한 값을 포함하는 데이터 세트를 획득하는 단계와, 타깃 변수의 한 세트의 실제 값을 선택하는 단계와, 데이터 세트에 한 세트의 모델 계수를 적용함으로써 한 세트의 모델 예측 값을 발생시키는 단계와, 한 세트의 모델 예측 값 및 한 세트의 실제 값에 기초하여 한 세트의 성능 값을 결정하는 단계 - 상기 한 세트의 성능 값은 제 1 표준 오차 및 제 1 결정 계수를 포함함 - 와, (1) 한 세트의 모델 예측 값 및 한 세트의 실제 값에 기초하여 한 세트의 오차를 결정하는 단계 - 상대 오차는
Figure pat00007
을 이용하여 연산되고, 'k'는 참조 수치이고, 절대 오차는
Figure pat00008
를 이용하여 연산됨 - 와, (2) 완전한 데이터 세트에 대한 한 세트의 오차 및 오차 기준에 기초하여 한 세트의 오차 임계 값을 결정하는 단계와, (3) 데이터 세트 및 한 세트의 오차 임계 값에 기초하여 필터링이 이루어지도록 오차 임계 값보다 크거나 동일한 오차 값을 갖는 데이터를 제거함으로써 특이치 제거 데이터 세트를 발생시키는 단계와, (4) 특이치 제거 데이터세트 및 한 세트의 이전 계수에 기초하여 한 세트의 새 계수를 발생시키는 단계와, (5) 특이치 제거 데이터 세트 및 한 세트의 계수에 기초하여 한 세트의 특이치 바이어스 감소 모델 값을 발생시키고, 선형 최적화 모델 및 비선형 최적화 모델 중 적어도 하나를 이용하여 한 세트의 예측값과 한 세트의 실제 값 사이의 오차를 최소화시키는 단계와, (5) 한 세트의 특이치 바이어스 감소 모델 예측 값과 한 세트의 실제 값에 기초하여 한 세트의 업데이트된 성능 값을 결정하는 단계 - 상기 한 세트의 업데이트된 성능 값은 제 2 표준 오차 및 제 2 결정 계수를 포함함 - 와, 이전 반복으로부터 한 세트의 계수를 한 세트의 새 계수로 대체하면서, 성능 종료 기준이 충족되지 않을 경우, 단계 (1)-(5)를 반복하는 단계 - 성능 종료 기준은 표준 오차 종료 값과 결정 계수 종료 값을 포함하고, 성능 종료 기준의 충족은 표준 오차 종료 값이 제 1 및 제 2 표준 오차 사이의 차이보다 큰 경우와, 결정 계수 종료 값이 제 1 및 제 2 결정 계수의 차이보다 큰 경우를 포함함 - 와, 컴퓨터 데이터 매체에 한 세트의 특이치 바이어스 감소 인자를 저장하는 단계를 프로세서에 의해 수행하게 한다.
또 다른 실시예는 프로세서 및 저장 서브시스템을 포함하는 서버와, 복수의 모델 예측 값을 포함하는 타깃 데이터 세트를 포함하는 저장 서브시스템에 의해 저장되는 데이터베이스와, 명령어를 포함하는 저장 서브시스템에 의해 저장되는 컴퓨터 프로그램을 포함하는 모델의 개발에 사용되는 데이터 세트의 생존 가능성을 평가하기 위한 시스템을 포함하며, 상기 명령어는, 랜덤 타깃 데이터 세트를 발생시키는 단계와, 한 세트의 바이어스 기준 값을 선택하는 단계와, 타깃 데이터 세트 및 각각의 선택된 바이어스 기준 값에 기초하여 특이치 바이어스 감소 데이터 세트를 발생시키는 단계와, 랜덤 타깃 데이터 세트 및 각각의 선택된 바이어스 기준 값에 기초하여 특이치 바이어스 감소 랜덤 타깃 데이터 세트를 발생시키는 단계와, 특이치 바이어스 감소 타깃 데이터 세트 및 특이치 바이어스 감소 랜덤 타깃 데이터 세트에 대한 한 세트의 오차 값을 연산하는 단계와, 특이치 바이어스 감소 타깃 데이터 세트 및 특이치 바이어스 감소 랜덤 타깃 데이터 세트에 대해 한 세트의 상관 계수를 연산하는 단계와, 각각의 선택된 바이어스 기준에 대한 대응하는 오차 값 및 상관 계수에 기초하여 타깃 데이터 세트 및 랜덤 타깃 데이터 세트에 대한 바이어스 기준 곡선을 발생시키는 단계와, 랜덤 타깃 데이터 세트에 대한 바이어스 기준 곡선에 타깃 데이터 세트에 대한 바이어스 기준 곡선을 비교하는 단계를, 프로세서로 하여금 수행하게 한다. 프로세서는 동적 특이치 바이어스 제거 방법을 이용하여 특이치 바이어스 감소 타깃 데이터 세트 및 특이치 바이어스 감소 랜덤 타깃 데이터 세트를 발생시킨다. 랜덤 타깃 데이터 세트는 복수의 데이터 값의 범위 내의 값들로부터 발전되는 랜덤화된 데이터 값으로 구성될 수 있다. 또한, 한 세트의 오차 값은 한 세트의 표준 오차를 포함할 수 있고, 한 세트의 상관 계수는 한 세트의 결정 계수 값을 포함한다. 다른 실시예에서, 프로그램은 실행될 때, 랜덤 타깃 데이터 세트에 대한 바이어스 기준 곡선에 타깃 데이터 세트에 대한 바이어스 기준 곡선을 비교함에 기초하여 자동화된 어드바이스를 발생시키는 단계를 프로세서에 의해 수행하게 하는 명령어를 더 포함한다. 어드바이스는 상관 계수 임계치 및/또는 오차 임계치와 같이, 분석가에 의해 선택되는 파라미터에 기초하여 발생될 수 있다. 또 다른 실시예에서, 시스템의 데이터베이스는 모델 예측 값에 대응하는 복수의 실제 데이터 값을 포함하는 실제 데이터 세트를 더 포함하며, 프로그램은 실행될 때, 실제 데이터 세트에 기초하여 랜덤 실제 데이터 세트를 발생시키는 단계와, 실제 데이터 세트 및 각각의 선택된 바이어스 기준 값에 기초하여 특이치 바이어스 감소 실제 데이터 세트를 발생시키는 단계와, 랜덤 실제 데이터 세트 및 각각의 선택된 바이어스 기준 값에 기초하여 특이치 바이어스 감소 랜덤 실제 데이터 세트를 발생시키는 단계와, 각각의 선택된 바이어스 기준에 대하여, 특이치 바이어스 감소 랜덤 타깃 데이터 세트 및 특이치 바이어스 감소 랜덤 실제 데이터에 기초하여 랜덤 데이터 플롯을 발생시키는 단계와, 각각의 선택된 바이어스 기준에 대하여, 특이치 바이어스 감소 타깃 데이터 세트 및 특이치 바이어스 감소 실제 데이터 세트에 기초하여 현실 데이터 플롯을 발생시키는 단계와, 랜덤 데이터 플롯을 각각의 선택된 바이어스 기준에 대응하는 현실 데이터 플롯과 비교하는 단계를 프로세서에 의해 수행하게 하는 명령어를 더 포함한다.
다른 실시예는 데이터 세트를 처리하기 위한 컴퓨팅 유닛과, 처리될 데이터 세트를 입력하기 위한 입력 유닛과, 처리되는 데이터 세트를 출력하기 위한 출력 유닛과, 명령어를 포함하는 저장 서브시스템에 의해 저장되는 컴퓨터 프로그램을 포함하는 설비용으로 측정되는 타깃 변수의 특이치 바이어스를 감소시키기 위한 시스템을 포함하며, 상기 컴퓨팅 유닛은 프로세서 및 저장 서브시스템을 포함하고, 입력 유닛은 주어진 타깃 변수를 측정하기 위한, 그리고, 대응하는 데이터 세트를 제공하기 위한 측정 장치를 포함하며, 상기 명령어는 실행될 때, 설비용 타깃 변수를 선택하는 단계와, 타깃 변수에 관련된 설비용 복수의 변수를 식별하는 단계와, 복수의 변수에 대한 값들을 포함하는, 설비용의 데이터 세트를 획득하는 단계와, 바이어스 기준을 선택하는 단계와, 한 세트의 모델 계수를 선택하는 단계와, (1) 데이터 세트에 대해 한 세트의 예측 값을 발생시키는 단계와, (2) 데이터 세트에 대해 오차 세트를 발생시키는 단계와, (3) 오차 세트 및 바이어스 기준에 기초하여 한 세트의 오차 임계 값을 발생시키는 단계와, (4) 오차 세트 및 한 세트의 오차 임계 값에 기초하여 중도절단 데이터 세트를 발생시키는 단계와, (5) 한 세트의 새 모델 계수를 발생시키는 단계와, (6) 한 세트의 새 모델 계수를 이용하여, 중도절단 성능 종료 기준이 충족되지 않을 경우 단계 (1))-(5)를 반복하는 단계를 프로세서에 의해 수행하게 한다.
또한, 다른 실시예는 지분 증권(가령, 보통주) 또는 파생 상품 거래(가령, 포워드(forwards), 퓨처(futures), 옵션(options), 및 스왑(swap), 등)과 같은 금융 기관용으로 측정되는 타깃 변수의 특이치 바이어스를 감소시키기 위한 시스템을 포함하며, 상기 시스템은 데이터 세트를 처리하기 위한 컴퓨팅 유닛과, 처리될 데이터 세트를 수신하기 위한 입력 유닛과, 처리되는 데이터 세트를 출력하기 위한 출력 유닛과, 명령어를 포함하는 저장 서브시스템에 의해 저장되는 컴퓨터 프로그램을 포함하며, 상기 컴퓨팅 유닛은 프로세서 및 저장 서브시스템을 포함하고, 입력 유닛은 타깃 변수(가령, 주가) 상에 데이터를 저장하기 위한, 그리고, 대응하는 데이터 세트를 제공하기 위한, 저장 장치를 포함하며, 상기 명령어는 실행될 때, 금용 기관용 타깃 변수를 선택하는 단계와, 타깃 변수에 관련된 기관용 복수의 변수(가령, 배당금, 수익, 현금 유출입, 등)를 식별하는 단계와, 복수의 변수에 대한 값들을 포함하는, 금융 기관용 데이터 세트를 획득하는 단계와, 바이어스 기준을 선택하는 단계와, 한 세트의 모델 계수를 선택하는 단계와, (1) 데이터 세트에 대해 한 세트의 예측 값을 발생시키는 단계와, (2) 데이터 세트에 대한 오차 세트를 발생시키는 단계와, (3) 오차 세트 및 바이어스 기준에 기초하여 한 세트의 오차 임계 값을 발생시키는 단계와, (4) 오차 세트 및 한 세트의 오차 임계 값에 기초하여 중도절단 데이터 세트를 발생시키는 단계와, (5) 한 세트의 새 모델 계수를 발생시키는 단계와, (6) 한 세트의 새 모델 계수를 이용하여, 중도절단 성능 종료 기준이 충족되지 않을 경우, 단계 (1)-(5)를 반복하는 단계를 프로세서에 의해 수행하게 한다.
도 1은 데이터 특이치 식별 및 제거 방법의 일 실시예를 예시하는 순서도다.
도 2는 데이터 품질 작동에 대한 데이터 특이치 식별 및 제거 방법의 일 실시예를 예시하는 순서도다.
도 3은 데이터 비준에 대한 데이터 특이치 식별 및 제거 방법의 일 실시예를 예시하는 순서도다.
도 4는 발명의 방법을 구현하기 위한 예시적 노드다.
도 5는 데이터 세트의 정량적 평가를 위한 예시적 그래프다.
도 6A 및 6B는 전체 데이터 세트에 대해 각각 랜덤화된 그리고 현실의 데이터 세트를 예시하는, 도 5의 데이터 세트의 정량적 평가를 위한 예시적 그래프다.
도 7A 및 7B는 데이터의 30%를 특이치로 제거한 후, 각각 랜덤화된, 그리고 현실의, 데이터 세트를 예시하는, 도 5의 데이터 세트의 정량적 평가를 위한 예시적 그래프다.
도 8A 및 8B는 데이터의 50%를 특이치로 제거한 후, 각각 랜덤화된, 그리고 현실의, 데이터 세트를 예시하는, 도 5의 데이터 세트의 정량적 평가를 위한 예시적 그래프다.
도 9는 설비용으로 측정되는 타깃 변수의 특이치 바이어스를 감소시키는데 사용되는 예시적 시스템을 예시한다.
다음의 기재는 구조화된 내용을 액세스 및 관리하기 위한 시스템 및 방법의 여러 다른 특징들을 구현하기 위한 여러 다른 실시예, 또는 예시를 제공한다. 구성요소, 프로세서, 및 구현예의 특정 예시가 본 발명을 명확화하는 데 도움이 되도록 기재된다. 이들은 예에 불과하며, 청구항에 기재된 본 발명을 제한하려는 의도는 갖지 않는다. 공지된 요소들은 상세한 기재 없이 제시되어, 불필요한 세부사항으로 본 발명의 바람직한 실시예를 모호하게 하지 않는다. 대부분의 경우, 본 발명의 바람직한 실시예의 완전한 이해를 획득하기 위해 필요하지 않은 세부사항은 본 발명이 속하는 분야의 통상의 기술자의 지식의 범위내에 있는 한, 생략되었다.
동적 특이 바이어스 감소(Dynamic Outlier Bias Reduction)의 한 가지 실시예의 수학적 설명은 다음과 같다:
명명법:
Figure pat00009
초기 계산, k=0
초기 단계 1: 초기 모델 계수 추정치
Figure pat00010
를 이용해, 모델을 완전한 데이터 세트:
Figure pat00011
에 적용시킴으로써, 초기 모델 예측 값을 계산한다.
초기 단계 2: 초기 모델 성능 결과를 계산한다:
Figure pat00012
, 표준 오차 등
Figure pat00013
초기 단계 3: 모델 오차 임계 값을 계산한다:
Figure pat00014
초기 단계 4: 데이터 레코드를 필터링하여 특이치를 제거한다:
Figure pat00015
반복 계산, k > 0
반복 단계 1: 모델을 수락된 데이터 세트로 적용시킴으로써 예측 값을 계산한다:
Figure pat00016
Figure pat00017
Figure pat00018
반복 단계 2: 모델 성능 결과를 계산한다:
Figure pat00019
, 표준 오차 등
Figure pat00020
종료 기준이 얻어진 경우, 중단하고, 그렇지 않은 경우 단계 3으로 진행한다:
반복 단계 3: 현재 모델을 이용해 제거된 데이터
Figure pat00021
에 대한 결과를 계산한다:
Figure pat00022
반복 단계 4: 모델 오차 임계 값을 계산한다:
Figure pat00023
반복 단계 5: 데이터 레코드를 필터링하여 특이치를 제거한다:
Figure pat00024
동적 특이 바이어스 감소의 또 다른 수학적 설명이 이하에서 제공된다:
명명법:
Figure pat00025
초기 계산, k=0
초기 단계 1: 초기 모델 계수 추정치,
Figure pat00026
를 이용해, 모델을 완전한 데이터 세트에 적용시킴으로써 초기 모델 예측 값 결과를 계산한다:
Figure pat00027
Figure pat00028
Figure pat00029
초기 단계 2: 초기 모델 성능 결과를 계산한다:
Figure pat00030
, 표준 오차 등
Figure pat00031
초기 단계 3: 모델 오차 임계 값을 계산한다:
Figure pat00032
초기 단계 4: 데이터 레코드를 필터링하여 특이치를 제거한다:
Figure pat00033
반복 계산, k > 0
반복 단계 1: 모델을 특이치가 제거된 데이터 세트에 적용시킴으로써 모델 예측 값을 계산한다:
Figure pat00034
Figure pat00035
Figure pat00036
반복 단계 2: 모델 성능 결과를 계산한다:
Figure pat00037
, 표준 오차 등
Figure pat00038
종료 기준이 얻어진 경우, 중단하고, 그렇지 않은 경우 단계 3으로 진행한다:
반복 단계 3: 현재 모델을 이용해 제거된 데이터,
Figure pat00039
에 대한 결과를 계산한다 :
Figure pat00040
반복 단계 4: 모델 오차 임계 값을 계산한다:
Figure pat00041
반복 단계 5: 데이터 레코드를 필터링하여 특이치를 제거한다:
Figure pat00042
k를 증분시키고 반복 단계 1로 진행한다.
현재의 중도절단된 데이터 세트(censored dataset)로부터 새로운 모델 계수가 계되는 각각의 반복 후, 이전 반복으로부터의 제거된 데이터와 현재의 중도절단된 데이터가 재조합된다. 이 조합은 완전환 데이터 세트 내 모든 데이터 값을 포함한다. 그 후 현재의 모델 계수가 완전한 데이터 세트로 적용되어, 예측 값의 완전한 세트를 계산할 수 있다. 예측 값의 완전한 세트에 대해 절대 오차 및 상대 오차가 계산되고, 새로운 바이어스 기준 백분위수 임계값이 계산된다. 절대 또는 상대 오차가 임계 값보다 큰 경우 모든 데이터 값을 제거함으로써, 새로운 중도절단된 데이터 세트가 생성되고 그 후 비선형 최적화 모델(nonlinear optimization model)이 상기 새롭게 중도절단된 데이터 세트에 적용되어 새로운 모델 계수를 계산한다. 이 프로세스에 의해 모든 데이터 값이, 모델 데이터 세트에 이들이 포함 가능한지에 대해 매 반복(iteration)마다 검토된다. 모델 계수가 데이터에 가장 잘 맞는 값으로 수렴하기 때문에, 이전 반복에서 배제됐던 일부 데이터 값이 차후의 반복에 포함되는 것이 가능하다.
하나의 실시예에서, GHG 방출의 변차가 방출 결과의 과대평가 또는 과소평가를 초래해 모델 예측 값의 바이어스를 야기할 수 있다. 모델 예측 값의 바이어스가 제거되지 않는 한, 이들 비-산업적 영향, 가령, 계산 절차에서의 환경적 조건 및 오차에 의해 특정 설비에 대한 결과가 유사한 설비와 상당히 상이하게 될 수 있다. 모델 예측 값의 바이어스는 또한 특유의 동작 조건 때문에 존재할 수도 있다.
분석가가 설비의 계산에 오차가 있고 특유의 참작할만한 특성을 가진다고 확신할만한 경우, 계산에서 설비의 데이터를 단순히 제거함으로써, 상기 바이어스는 수동으로 제거될 수 있다. 그러나 여러 다른 회사, 지역, 및 나라로부터의 설비의 성능을 측정할 때, 데이터 세부사항에 대한 정확한 선험적 지식은 있기 힘들다. 따라서 임의의 분석-기반 데이터 제거 절차는 모델 결과의 자료화되지 않은(undocumented), 비-데이터 지원 바이어스에 대한 가능성을 가진다.
하나의 실시예에서, 동적 특이치 바이어스 감소가, 통계적 특이치를 결정하고 모델 계수 계산으로부터 이를 제거하기 위해 데이터 및 규정된 전체 오차 기준을 사용하는 절차에 적용된다. 이는 예를 들어 백분위수 함수를 이용하는 데이터 생성 전역 오차 기준(data produced global error criteria)을 이용해 특이치를 식별하는 데이터-구동 프로세스(data-driven process)이다. 동적 특이치 바이어스 감소의 용도는 모델 예측 값에서의 바이어스의 감소에 국한되지 않고, 이 실시예에서의 용도는 단지 예에 불과하다. 또한 동적 특이치 바이어스 감소는 임의의 통계적 데이터 세트로부터 특이치를 제거하도록 사용될 수 있으며, 비-제한적 예를 들면, 산술 평균, 선형 회귀, 및 추세선(trend line)의 계산에서 사용될 수 있다. 특이적 설비들은 계산 결과에 여전히 나타나지만 모델 계수 또는 통계적 결과를 계산하기 위해 적용되는 필터링된 데이터 세트에서는 특이치들이 사용되지 않는다.
일반적으로 특이치를 제거하기 위해 사용되는 표준 절차는 데이터 세트의 표준 편차 (σ)를 계산하고 단순히 평균의 2σ 구간 외부의 모든 데이터를, 가령, 특이치라고 정의하는 것이다. 이 절차는, 일반적으로, 실제로 시험될 수 없는 통계적 가정을 가진다. 본 발명의 실시예에서 적용되는 동적 특이치 바이어스 감소법의 설명은 도 1에 대략적으로 나와 있으며, 상대 오차와 절대 오차 모두를 사용한다. 예를 들어, 한 설비 'm'에 대해 다음과 같다:
상대 오차m = ((예측 값m - 실제 값m)/실제 값m)2 (1)
절대 오차m = (예측 값m - 실제 값m)2 (2)
단계(110)에서, 분석가가 계산에서 제거될 특이치를 정의할 오차 임계 기준을 특정한다. 예를 들어, 오차 함수로서 백분위수 연산을 이용해, 상대 오차와 절대 오차에 대한 80퍼센트의 백분위수 값이 설정될 수 있다. 이는 상대 오차에 대한 80번째 미만의 백분위수 값과 절대 오차 계산에 대한 80번째 미만의 백분위수 값이 포함될 것이며, 나머지 값은 제거, 즉 특이치로서 간주됨을 의미한다. 이 예시에서, 데이터 값이 제거되는 것을 피하기 위해, 데이터 값은 상대 오차와 절대 오차의 80번째 백분위수 값 모두 미만이어야 한다. 그러나 상대 오차 및 절대 오차에 대한 백분위수 임계치는 독립적으로 달라질 수 있으며, 또 다른 실시예에서, 백분위수 임계치들 중 하나만 사용될 수 있다.
단계(120)에서, 모델 표준 오차 및 결정 계수(r2) 퍼센트 변화 기준이 특정된다. 이들 통계치의 값은 모델별로 달라질 것이며, 선행 반복 절차에서의 퍼센트 변화는, 가령, 5 퍼센트로, 사전 설정될 수 있다. 이들 값은 반복 절차를 종료하기 위해 사용될 수 있다. 또 다른 종료 기준은 단순한 반복 카운트(iteration count)일 수 있다.
단계(130)에서 각각의 설비에 대해 모델 계수 및 예측 값을 생성하는 최적화 계산이 수행된다.
단계(140)에서, 모든 설비에 대한 상대 오차와 절대 오차가 수학식 (1) 및 (2)를 이용해 계산된다.
단계(150)에서, 단계(110)에서 임계 기준이 특정된 오차 함수가 단계(140)에서 계산된 데이터에 적용되어, 특이치 임계 값을 결정할 수 있다.
단계(160)에서, 선택된 구성에 따라, 상대 오차, 절대 오차, 또는 이 둘 모두가 단계(150)에서 계산된 오차 임계 값 미만인 경우 데이터가 필터링된다.
단계(170)에서, 특이치가 제거된 데이터 세트만 이용해 최적화 계산이 수행된다.
단계(180)에서, 표준 오차 및 r2의 퍼센트 변화가 단계(120)에서 특정된 기준에 비교된다. 퍼센트 변화가 기준보다 큰 경우, 프로세스는 단계(140)로 복귀함으로써 반복된다. 그렇지 않은 경우, 단계(190)에서 반복 절차가 종료되고, 이 동적 특이치 바이어스 감소 기준 절차에서 계산된 최종 모델이 완성된다. 현재의 반복을 지나 제거된 데이터 상태인지 또는 인정된 데이터 상태인지에 관계 없이, 상기 모델 결과는 모든 설비에 적용된다.
또 다른 실시예에서, 프로세스는 다음과 같은 특정 반복 파라미터(iterative parameter)의 선택으로 시작된다:
(1) 절대 오차 및 상대 오차 백분위수 값으로서, 둘 중 적어도 하나가 반복 프로세스에서 사용될 수 있음
(2) 결정 계수(r2라고도 알려져 있음) 개선 값, 및
(3) 표준 오차 개선 값.
프로세스는 원본 데이터 세트(original data set), 실제 데이터의 세트, 및 상기 원본 데이터 세트를 기초로 하는 예측 값을 계산하기 위한 적어도 하나의 계수 또는 팩터로 시작한다. 하나의 계수 또는 계수의 세트가 원본 데이터 세트에 적용되어, 예측 값의 세트를 만들 수 있다. 계수의 세트의 비-제한적 예를 들면, 스칼라, 지수, 파라미터, 및 주기 함수가 있을 수 있다. 그 후 예측 데이터의 세트가 실제 데이터의 세트에 비교된다. 표준 오차 및 결정 계수가 예측 데이터와 실제 데이터 간의 차이를 기초로 계산된다. 데이터 점(data point)들 각각과 연관된 상기 절대 오차 및 상대 오차가 사용자-선택 절대 오차 및 상대 오차 백분위수 값을 기초로 데이터 특이치를 제거하기 위해 사용된다. 절대 오차 및/또는 상대 오차에 대한 백분위수 값과 연관된 범위 외부에 있는 모든 데이터가 원본 데이터 세트로부터 제거되기 때문에 데이터를 순위화(ranking)하는 것은 불필요하다. 본 방법은 절대 오차 또는 상대 오차, 또는 또 다른 함수와 함께 수행될 수 있기 때문에, 데이터를 필터링하기 위해 절대 오차 및 상대 오차의 사용은 단지 예시에 불과하다.
사용자-선택 백분위수 범위 내에 있는 절대 오차 및 상대 오차와 연관된 데이터는 특이치가 제거된 데이터 세트이며, 프로세스의 각각의 반복은 자신의 고유의 필터링된 데이터 세트를 가질 것이다. 이 제 1 특이치가 제거된 데이터 세트(outlier removed data set)는 실제 값과 비교될 예측 값을 결정하도록 사용된다. 적어도 하나의 계수는 오차를 최적화함으로써 결정되고, 그 후 계수는 제 1 특이치가 제거된 데이터 세트를 기초로 예측 값을 생성하도록 사용된다. 특이치 바이어스 감소된 계수는 하나의 반복에서 다음 반복으로 지식이 전달될 때 사용하는 메커니즘으로서 역할한다.
제 1 특이치가 제거된 데이터 세트가 생성된 후, 표준 오차 및 결정 계수가 계산되고 원본 데이터 세트의 표준 오차 및 결정 계수에 비교된다. 표준 오차의 차이 및 결정 계수의 차이가 모두 그들 각자의 개선 값(imporvement value) 보다 낮은 경우, 프로세스는 중단된다. 그러나 개선 기준들 중 적어도 하나가 충족되지 않은 경우, 프로세스는 또 한 번의 반복을 계속한다. 표준 오차 및 결정 계수를 반복 프로세스에 대한 체크(check)로서 사용하는 것은 단지 예에 불과하면, 표준 오차만, 또는 결정 계수만 이용하는 체크가 수행될 수 있고, 여러 다른 통계적 체크 또는 그 밖의 다른 수행 종료 기준(가령, 반복 횟수)이 이용될 수 있다.
제 1 반복이 개선 기준을 충족하는 데 실패했다고 가정하면, 제 2 반복이 예측 값의 새로운 세트를 결정하기 위해 제 1 특이치 바이어스 감소 데이터 계수를 원본 데이터에 적용시킴으로써 시작된다. 그 후 원본 데이터가 다시 처리되어, 제 1 특이치가 제거된 데이터 세트 계수를 이용하면서 데이터 점에 대한 절대 오차 및 상대 오차뿐 아니라 원본 데이터 세트에 대한 표준 오차와 결정 계수 값까지 확립한다. 그 후 데이터가 필터링되어 제 2 특이치가 제거된 데이터 세트를 형성하고 상기 제 2 특이치가 제거된 데이터 세트를 기초로 계수를 결정할 수 있다.
그러나 상기 제 2 특이치가 제거된 데이터 세트는 제 1 특이치가 제거된 데이터 세트의 서브세트일 필요는 없으며, 특이치 바이어스 감소 모델 계수의 제 2 세트, 제 2 표준 오차, 및 제 2 결정 계수와 연관된다. 이들 값이 결정되면, 제 2 표준 오차가 제 1 표준 오차에 비교되고 제 2 결정 계수는 제 1 결정 계수에 대해 비교될 것이다.
(표준 오차 및 결정 계수에 대한) 개선 값이 이들 파라미터의 차이를 초과하는 경우, 프로세스가 종료될 것이다. 그렇지 않은 경우, 원본 데이터를 다시 프로세싱함으로써, 또 하나의 반복이 시작될 것이며, 이번엔 제 2 특이치 바이어스 감소 계수를 이용해 원본 데이터 세트를 프로세싱하고 예측 값의 새로운 세트를 생성할 것이다. 절대 오차와 상대 오차에 대한 사용자-선택 백분위수 값을 기초로 하는 필터링이, 제 3 특이치 바이어스 감소 계수의 세트를 결정하기 위해 최적화될 제 3 특이치가 제거된 데이터 세트를 생성할 것이다. 상기 프로세스는 오차 개선 또는 그 밖의 다른 종료 기준(가령, 수렴 기준(convergence criteria) 또는 특정된 반복 횟수)이 충족될 때까지 계속될 것이다.
이 프로세스의 출력은 계수 또는 모델 파라미터의 세트일 것이며, 여기서 계소 또는 모델 파라미터는 수학적 값(또는 값들의 세트)이며, 비-제한적 예를 들면, 데이터를 비교하기 위한 모델 예측 값, 선형 수식의 기울기와 절편 값, 다항식의 지수 또는 계수가 있다. 동적 특이치 바이어스 감소의 출력은 이의 우변에서의 출력 값이 아니고, 오히려, 출력 값을 결정하기 위해 데이터를 수정할 계수일 것이다.
도 2에 도시된 또 하나의 실시예에서, 동적 특이치 바이어스 감소가 데이터 품질 기법으로서 적용되어, 데이터의 일관성(consistency) 및 정확도(accuracy)를 평가함으로써, 데이터가 특정 용도에 적절한지를 검증할 수 있다. 데이터 품질 작업을 위해, 본 방법은 반복 절차를 포함하지 않을 수 있다. 이 프로세스 동안 동적 특이치 바이어스 감소와 함께 그 밖의 다른 데이터 품질 기법이 사용될 수 있다. 상기 방법은 특정 데이터 세트의 산술 평균 계산에 적용된다. 이 예시에서 데이터 품질 기준은 연속 데이터 값(successive data value)이 일부 범위 내에 포함되는 것이다. 따라서 너무 멀리 떨어진 임의의 값은 열악한 품질의 데이터가 될 것이다. 그 후 오차 항(error term)이 함수의 연속 값으로 구성되고, 동적 특이치 바이어스 감소가 이들 오차 값에 적용된다.
단계(210)에서 초기 데이터가 임의의 순서로 나열된다.
단계(220)는 데이터 세트에 대해 수행되는 함수 또는 연산을 구성한다. 이 실시예에서, 상기 함수 및 연산은 데이터의 오름차순 순위화(ascending ranking) 및 이에 뒤 따르는 연속 산술 평균 계산이며, 여기서 각각의 선(line)은 상기 선 상의 그리고 상기 선 위의 모든 데이터의 평균에 대응한다.
단계(230)에서, 단계(220)의 결과로부터의 연속 값을 이용해 데이터로부터 값 상대 오차 및 절대 오차가 계산된다.
단계(240)에서 분석가가 원하는 특이치 제거 오차 기준(%)을 입력할 수 있다. 품질 기준 값은 단계(220)의 데이터를 기초로 한 단계(230)의 오차 계산으로부터의 최종 값이다.
단계(250)에서 데이터 품질 특이치가 필터링된 데이터 세트가 나타난다. 상대 오차 및 절대 오차가 단계(240)에서 제공된 특정 오차 기준을 초과하는 경우 특정 값이 제거된다.
단계(260)는 특이치가 제거된 완전한 데이터 세트들 간 산술 평균 계산 비교를 보여준다. 모든 적용된 수학적 또는 통계적 계산 시, 식별된 특이치 제거 데이터 요소가 실제로 열악한 품질을 갖는지 여부를 판단하기 때문에 분석가가 최종 단계이다. 동적 특이치 바이어스 감소 시스템 및 방법은 분석가가 데이터를 직접 제거하지 않게 하지만, 최적 실시 가이드라인이 실용적 타당성(practical relevance)에 대한 분석가 검토와 결과 체크를 제안한다.
도 3에 도시된 또 하나의 실시예에서, 동적 특이치 바이어스 감소가 데이터 세트의 합리적인 정확도를 시험하여 데이터가 특정 용도에 적절한지 여부를 결정하는 데이터 검증 기법으로서 적용된다. 데이터 검증 작업을 위해, 본 방법은 반복 절차를 포함하지 않을 수 있다. 이 예시에서, 동적 특이치 바이어스 감소가 2개의 데이터 세트 간 피어슨 상관 계수(Pearson Correlation Coefficient)의 계산에 적용된다. 상기 피어슨 상관 계수는 데이터 세트에서 타 데이터 점과 비교적 상이한 값에 반응할 수 있다. 이 통계치와 관련하여 데이터 세트를 검증하는 것은 결과가 극단적 값의 영향보다는 데이터의 대다수가 무엇인지를 나타냄을 보장하기 위해 중요하다. 이 예시의 데이터 검증 프로세스는 연속 데이터 값이 특정 범위 내에 있다는 것이다. 따라서 너무 멀리 떨어져 있는 임의의 값(가령, 특정 범위를 벗어난 값)은 열악한 품질의 데이터를 의미할 것이다. 이는 함수의 연속 값의 오차 항을 구성함으로써 이뤄진다. 동적 특이치 바이어스 감소가 이들 오차 값에 적용되고, 특이치가 제거된 데이터 세트가 검증된 데이터이다.
단계(310)에서, 데이터 쌍(paired data)이 임의의 순서로 나열된다.
단계(320)에서 데이터 세트 내 각각의 순서화된 쌍(ordered pair)에 대한 상대 오차 및 절대 오차가 계산된다.
단계(330)에서 분석가가 원하는 데이터 검증 기준을 입력할 수 있다. 이 예시에서, 모두 90%인 상대 오차 및 절대 오차가 선택된다. 단계(330)에서의 품질 기준 값 항목이 단계(320)에서 나타난 데이터에 대한 최종 절대 오차 및 상대 오차 백분위수 값이다.
단계(340)는 특이치 제거 프로세스를 나타내며, 여기서, 상대 오차 및 절대 오차 값 모두 단계(330)에서 입력된 사용자 선택 백분위수 값에 대응하는 값을 초과하는 기준을 이용해 유효하지 않을 수 있는(invalid) 데이터가 데이터 세트로부터 제거된다. 실시될 때, 그 밖의 다른 오차 기준이 사용될 수 있으며 복수의 기준이 이 예시에서 나타나는 것처럼 적용될 때, 오차 값의 임의의 조합이 적용되어 특이치 제거 규칙을 결정할 수 있다.
단계(350)에서, 검증된 데이터 및 원본 데이터 값 통계치 결과가 계산된다. 이 경우, 피어슨 상관 계수이다. 그 후 이들 결과가 분석가에 의한 실용적 타당성에 대해 검토된다.
또 하나의 실시예에서, 동적 특이치 바이어스 감소가 전체 데이터 세트의 검증을 수행하기 위해 사용된다. 표준 오차 개선 값, 결정 계수 개선 값, 및 절대 및 상대 오차 임계치가 선택되고, 그 후 데이터 세트가 오차 기준에 따라 필터링된다. 원본 데이터 세트가 높은 품질을 갖는 경우라도, 절대 및 상대 오차 임계치를 벗어난 오차 값을 가질 일부 데이터가 여전히 존재할 것이다. 따라서 데이터의 임의의 제거가 필요하지 여부를 결정하는 것이 중요하다. 제 1 반복 후, 특이치가 제거된 데이터 세트가 표준 오차 개선 및 결정 계수 개선 기준을 통과했다면, 필터링된 데이터 세트가 유의미하다고 간주되기 너무 작은(가령, 선택된 개선 값 미만의) 표준 오차 및 결정 계수를 생성했기 때문에, 원본 데이터 세트는 검증된 것이다.
또 다른 실시예에서, 데이터 특이치 제거의 반복이 계산에 어떻게 영향을 미치는지에 대한 통찰을 제공하기 위해 동적 특이치 바이어스 감소가 사용된다. 사용자가 각각의 반복이 수행될 때마다의 데이터 특이치 제거 계산의 진행을 관측할 수 있게 하는 그래프 또는 데이터 테이블이 제공된다. 이 단계별 접근법에 의해, 분석가가 계산의 특유의 속성을 관측할 수 있고, 이는 결과에 가치와 지식을 더할 수 있다. 예를 들어, 수렴의 속도와 속성이 동적 특이치 바이어스 감소가 다차원 데이터 세트에 대한 대표적 팩터를 계산하는 데 미치는 영향을 나타낼 수 있다.
도시된 바와 같이, 87개의 레코드의 열악한 품질의 데이터 세트에 대한 선형 회귀 계산을 고려하자. 회귀되는 수식의 형태는 y = mx + b이다. 표 1은 5번의 반복에 대한 반복 프로세스의 결과를 보여준다. 95%의 상대 및 절대 오차 기준을 이용할 때, 수렴은 3회 반복 내에 이뤄짐을 주목하라. 회귀 계수(regression coefficient)의 변화가 관측될 수 있고 동적 특이치 바이어스 감소 방법이 79개의 레코드를 기초로 하는 계산 데이터 세트를 감소시킨다. 비교적 낮은 결정 계수(r2=39%)가 r2 통계치와 계산된 회귀 계수에 미치는 추가 특이치 제거 영향을 연구하기 위해서는 더 낮은(<95%) 기준이 시험되어야 함을 암시한다.
Figure pat00043
표 2에서, 80%의 상대 및 절대 오차 기준을 이용해 동적 특이치 바이어스 검소를 적용한 결과가 나타난다. 특이치 오차 기준의 15% 점(95% 내지 80%) 변화가 r2의 35 퍼센트 포인트 증가(39%에서 74%)와 용인된 데이터(admitted data)의 35% 추가 감소(포함된 레코드가 79개에서 51개로 감소)를 생성했음에 주목할 수 있다. 분석가는 특이치가 제거된 결과를 더 많은 청중들에게 전달하고 데이터 가변성이 분석 결과에 미치는 영향과 관련된 더 많은 통찰을 제공하기 위해 분석 프로세스에서 특이치가 제거된 데이터를 포함하는 회귀 선(regression line)의 변화, 표 1 및 2의 수치 결과의 그래픽 뷰를 이용할 수 있다.
Figure pat00044
도 4에서 도시된 바와 같이, 본 방법을 수행하기 위해 사용되는 시스템의 하나의 실시예가 컴퓨팅 시스템을 포함한다. 하드웨어는 필요한 수치 계산을 수행하기 위해 적절한 시스템 메모리(420)를 포함하는 프로세서(410)를 포함한다. 상기 프로세서(410)는 시스템 메모리(420) 내에 위치하는 컴퓨터 프로그램을 실행시켜 방법을 수행하게 한다. 디스플레이(440)의 동작을 활성화시키도록 비디오 및 저장장치 제어기(430)가 사용될 수 있다. 시스템은 데이터 입력을 위한 다양한 데이터 저장 장치, 가령, 플로피 디스크 유닛(450), 내부/외부 디스크 드라이브(460), 내부 CD/DVD(470), 테이프 유닛(480), 및 그 밖의 다른 유형의 전자 저장 매체(490)를 포함한다. 앞서 언급된 데이터 저장 장치는 단지 예시에 불과하다. 이들 저장 매체는 데이터 세트 및 특이치 제거 기준을 시스템에 입력하고, 특이치가 제거된 데이터 세트를 저장하며, 계산된 팩터를 저장하고, 시스템이 생성한 추세 선(trend line) 및 추세 선 반복 그래프를 저장하도록 사용된다. 계산은 통계 소프트웨어 패키지를 적용하거나, 가령, Microsoft Excel을 이용한 스프레드시트 포맷으로 입력된 데이터로부터 수행될 수 있다. 상기 계산은 회사 특정적 시스템 구현예를 위해 설계된 커스텀화된 소프트웨어 프로그램을 이용해 또는 Excel이나 그 밖의 다른 데이터베이스 및 스프레드시트 프로그램과 호환가능한 상용화된 소프트웨어를 이용해 수행된다. 또한 시스템은 다른 데이터베이스와 링크되어 동적 특이치 바이어스 감소 시스템 및 방법 계산에서 사용될 데이터를 제공하기 위해 사설 또는 공중 외부 저장 매체(300)와 인터페이싱할 수 있다. 출력 장치는 계산 워크시트 및 그 밖의 다른 시스템 생성 그래프 및 리포트를 인트라넷 또는 인터넷을 통해 관리자나 그 밖의 다른 사람에게 전송하기 위한 원격통신 장치(510), 프린터(520), 입력 장치(450, 460, 470, 480, 490)로서 앞서 언급된 전자 저장 매체 및 사설 저장 데이터베이스(530)일 수 있다. 본원에서 사용되는 이들 출력 장치는 예시에 불과하다.
도 5, 6A, 6B, 7A, 7B, 8A, 및 8B에 도시되어 있는 바와 같이, 하나의 실시예에서, 동적 특이치 바이어스 감소는, 적절 범위 내에서 형성된 랜덤 데이터 값으로 구성된 벤치마크 데이터 세트의 오차 및 상관에 비교되는, 오차 및 데이터 세트의 데이터 값들의 상관을 기초로 하여 데이터 세트의 품질을 정량적 및 정성적으로 평가하기 위해 사용될 수 있다. 하나의 실시예에서, 오차가 데이터 세트의 표준 오차로 지정될 수 있고, 상관은 데이터 세트의 결정 계수(r2)로 지정될 수 있다. 하나의 실시예에서, 상관은 켄달 순위 상관 계수(Kendall rank correlation coefficient)(일반적으로 켄달의 타우(τ) 계수라고 일컬어짐)이도록 지정될 수 있다. 또 다른 실시예에서, 상관이 스피어맨 순위 상관 계수(Spearman's rank correlation coefficient), 즉, 스피어맨의 로(ρ) 계수로 지정될 수 있다. 앞서 설명한 바와 같이, 동적 특이치 바이어스 감소는 기술된 기저 모델 또는 프로세스를 나타내지 않는 특이치로 식별된 데이터 값을 체계적으로 제거하도록 사용된다. 일반적으로 특이치는 비교적 적은 개수의 데이터 값과 연관된다. 그러나 실시될 때, 데이터 세트는 의사 값(spurious value) 또는 랜덤 노이즈(random noise)에 의해 알지 못하게 오염될 수 있다. 도 5, 6A, 6B, 7A, 7B, 8A, 및 8B의 그래픽 표현이 기저 모델이 데이터에 의해 뒷받침되지 않는 상황을 식별하기 위해 동적 특이치 바이어스 감소 시스템 및 방법이 적용될 수 있는 방식을 도시한다. 예측된 모델과 실제 데이터 값 간에 계산된 상대 및/또는 절대 오차가 백분위수-기반 바이어스 기준, 가령, 80%보다 큰 경우 데이터 값을 제거함으로써 특이치 감소가 수행된다. 이는 상대 또는 절대 오차 백분위수 값이 80번째 백분위수와 연관된 백분위수 임계 값보다 큰 경우(데이터 값의 80%가 이 값 미만의 오차를 갖는 경우) 데이터 값이 제거됨을 의미한다.
도 5에 도시된 바와 같이, 사실 모델(realistic model) 개발 데이터 세트와 실제 데이터세ㅌ의 범위 내에서 개발된 랜덤 값의 데이터 세트가 비교된다. 실제로는 분석가가 임의의 데이터 세트 오염에 대한 사전 지식을 갖지 않기 때문에, 이러한 사실화(realization) 동적 특이치 바이어스 감소 시스템 및 방법을 이용해 몇 개의 모델 계산으로부터의 반복 결과를 관측하는 것으로부터 이뤄져야 한다. 도 5는 두 데이터 세트 모두에 대한 예시적 모델 개발 계산 결과를 도시한다. 표준 오차, 모델의 설명되지 않는 오차의 크기의 측정치가 결정 계수(%) 즉 r2에 대해 도표로 그려져서, 얼마나 많은 데이터 변차가 모델에 의해 설명되는지를 나타낸다. 각각의 점들 옆의 백분위수 값은 바이어스 기준을 나타낸다. 예를 들어, 90%는 90번째 백분위수보다 큰 절대 또는 상대 오차 값에 대한 데이터 값이 특이치로서 모델로부터 제거되는 것을 의미한다. 이는 각각의 반복에서 가장 높은 오차를 갖는 데이터 값의 10%를 제거하는 것에 대응한다.
도 5는 랜덤 데이터 세트 모델과 사실 데이터 세트 모델 모두에 대해, 바이어스 기준을 증가시킴으로써 오차가 감소됨, 즉, 두 데이터 세트 모두에 대해 표준 오차 및 결정 계수가 개선됨을 도시한다. 그러나 랜덤 데이터 세트에 대한 표준 오차는 사실 모델 데이터 세트보다 2 내지 3배 더 크다. 분석가는 80%의 결정 계수 요건을 예를 들어, 모델 파라미터를 결정하기 위해 수락 가능한 정확도 레벨로서 이용할 수 있다. 도 5에서, 랜덤 데이터 세트의 경우 70% 바이어스 기준에서, 그리고 사실 데이터의 경우 대략 85% 바이어스 기준에서 80%의 r2가 얻어진다. 그러나 랜덤 데이터 세트에 대한 대응하는 표준 오차가 사실 데이터 세트보다 2배 이상 크다. 따라서 서로 다른 바이어스 기준을 갖는 모델 데이터 세트 분석을 체계적으로 실행시키고 대표적인 의사 데이터 세트(spurious dataset)에 대한 계산을 반복하고 도 5에 도시된 것처럼 결과를 도표로 그림으로써, 분석가는 데이터 세트에 대한 수락 가능한 바이어스 기준(즉, 제거되는 데이터 값의 수락 가능한 퍼센트율), 그리고 따라서 전체 데이터 세트 품질을 평가할 수 있다. 덧붙여, 이러한 체계적 모델 데이터 세트 분석은 파라미터의 구성 가능한 세트를 기초로 모델을 개발할 때 사용되는 데이터 세트의 생존 가능성(viability)에 대한 조언을 자동으로 렌더링하도록 사용될 수 있다. 예를 들어, 데이터 세트에 대해 동적 특이치 바이어스 제거를 이용해 모델이 개발되는 하나의 실시예에서, 서로 다른 바이어스 기준 하에서 계산된 모델 데이터 세트 및 대표적인 의사 데이터 세트에 대한 오차 및 상관 계수 값이 사용되어 개발된 모델을 뒷받침하는 데 있어 데이터 세트의 생존 가능성, 및 내재적으로, 데이터 세트를 뒷받침하는 데 있어 개발된 모델의 생존 가능성(viability)에 대한 조언을 자동으로 렌더링할 수 있다.
도 5에서 도시된 바와 같이, 몇 가지 경우에 대해 이들 모델 성능의 거동을 관측하는 것은 데이터 값이 모델링되는 프로세싱을 대표하는지 여부를 결정하기 위한 정량적 토대를 제공한다. 예를 들어, 도 5를 참조하면, 사실 데이터 세트의 경우의 100% 바이어스 기준(즉, 바이어스 감소가 없음)에서의 표준 오차가, 랜덤 데이터 세트의 경우의 약 65% 바이어스 기준(즉, 데이터 값 중 가장 높은 오차를 갖는 35%가 제거됨)에서의 표준 오차에 대응한다. 이러한 발견은 데이터가 오염되지 않았다는 결론을 뒷받침한다.
도 5의 도시된 그래프에 의해 촉진된 앞서 기재된 정량적 분석에 추가로, 데이터 세트의 품질을 평가하는 데 도움이 되기 위한 주관적인 절차에서 동적 특이치 바이어스 감소가, 더 강력하진 않더라도, 동등하게 활용될 수 있다. 이는 특이치와 포함된 결과 모두에 대해 데이터의 실제 타깃 값에 대해 모델 예측 값을 도표로 그림으로써 이뤄진다.
도 6A 및 6B는 도 5의 사실 곡선과 랜덤 곡선 모두의 100% 점에 대한 이들 도표를 도시한다. 도 6A에서의 넓은 산포도가 임의의 타깃 값과, 이러한 의도적 랜덤성(randomness)에 들어 맞을 수 없는 모델의 최종 불능(inability)과 일치한다. 도 6B는 실제 데이터 수집과 모델 정확도 및 실제 값이 모델 예측 값이 실제 타깃 값과 동일한 선(이하, 실제 = 예측 선)을 부근에서 그룹지어 진다는 점에서 일치하고 공통적이다.
도 7A 및 7B는 도 5에서의 70% 점들로부터의 결과를 도시한다(즉, 데이터의 30%가 특이치로서 제거됨). 도 7A 및 7B에서, 특이치 바이어스 감소는 실제-예측 선으로부터 가장 멀리 떨어진 점을 제거하는 것으로 나타나지만, 도 7A와 7B 간의 모델 정확도의 큰 변차가 이 데이터 세트가 모델링된 프로세스를 대표함을 암시한다.
도 8A 및 8B는 도 5에서의 50% 점들로부터의 결과를 도시한다(즉, 데이터의 50%가 특이치로서 제거됨). 이 경우, 데이터의 약 절반이 특이치로서 식별되며, 도 8A에서 모델로부터 이러한 많은 변차가 제거되는 경우에도, 여전히 랜덤 데이터 세트를 엄밀하게 기술하지 않는다. 실제 = 예측 선 부근에서의 일반적인 변차가, 각각의 경우에서 제거된 데이터를 고려하면, 도 6A 및 7A에서의 것과 거의 동일하다. 도 8B는 변산도의 50%가 제거된 경우, 모델이 실제 데이터와 밀접하게 매칭되는 예측 결과를 생성할 수 있었음을 보여준다. 도 5에 도시된 성능 기준의 분석에 추가로 이들 유형의 시각적 도표를 분석하는 것이 분석가에 의해 사용되어 모델 개발을 위해 현장에서 실제 데이터 세트의 품질을 평가할 수 있다. 도 5, 6A, 6B, 7A, 7B, 8A, 및 8B가 시각적 도표를 도시하지만, 분석은 다양한 바이어스 기준 값에 대응하는 성능 기준 추세를 기초로 하며, 또 다른 실시예에서, 분석은 바이어스 기준 값에 대응하는 다른 변수, 가령, 분석가에 의해 선택된 다양한 바이어스 기준에 대응하는 모델 계수 추세를 기초로 할 수 있다.
다양한 실시예는 설비에 대해 측정된 타깃 변수에서의 특이치 바이어스를 감소시키기 위한 시스템을 포함한다. 도 9는 이러한 실시예의 예시를 도시한다. 도 9에 도시된 시스템은, 데이터 세트, 가령, 산업 설비에 대한 다양한 성능 측정치를 포함하는 데이터 세트가 프로세싱될 수 있는 컴퓨팅 유닛(1012)을 포함한다. 상기 컴퓨팅 유닛(1012)은 프로세서(1014) 및 저장 서브시스템(1016)을 포함하며, 여기서 컴퓨터 프로그램이 본원에 개시된 동적 특이치 바이어스 제거 방법을 구현한다. 상기 시스템(1010)은 특정 타깃 변수를 측정하고 대응하는 데이터 세트를 제공하기 위한 측정 장치(1020)를 더 포함하는 입력 유닛(1018)을 포함한다. 측정 장치(1020)는 임의의 관심 타깃 변수, 가령, 시간 단위당 산업 공장 설비에서 나오는 부품의 개수, 또는 시간당 정제 설비에 의해 생산되는 정제된 재료의 부피를 측정하도록 구성될 수 있다. 복수의 타깃 변수가 동시에 측정될 수 있다. 도시된 실시예에서, 측정 장치(1020)가 센서(1022)를 포함한다. 해당 분야의 통상의 기술자라면 본 발명의 범위가 산업 설비에서 사용되거나 산업 설비에 의해 생산되는 물질 및/또는 성분의 다양한 물리적 속성을 측정하는 데 사용될 수 있는 다양한 센서, 가령, 화학적 화합물, 가령, 온실 가스 방출물을 검출 및 정량화할 수 있는 센서를 포함함을 알 것이다. 덧붙여, 해당 분야의 통상의 기술자라면 관심 타깃 변수를 측정하는 것이 데이터를 수신, 측정, 누적, 및 프로세싱하는 임의의 수단을 포함함을 알 것이다. 상기 타깃 변수, 데이터 세트, 및 데이터는 모든 종류의 데이터를 포함할 수 있으며, 비-제한적 예를 들면, 산업 공정 데이터, 컴퓨터 시스템 데이터, 금융 데이터, 경제 데이터, 주식, 본드 및 미래 데이터, 인터넷 검색 데이터, 보안 데이터, 음성 및 그 밖의 다른 인간 인식 데이터, 클라우드 데이터, 빅 데이터, 보험 데이터, 및 그 밖의 다른 관심 데이터가 있으며, 본 발명 및 개시내용의 범위 및 사상은 타깃 변수, 데이터 세트 또는 데이터의 유형에 한정되지 않는다. 해당 분야의 통상의 기술자라면, 센서 및 측정 장치가 컴퓨터, 컴퓨터 시스템, 및 프로세서이거나 이들을 포함할 수 있음을 알 것이다. 덧붙여, 시스템(1010)은 프로세싱된 데이터가 출력될 수 있는 출력 유닛(1024)을 포함한다. 상기 출력 장치는 모니터, 프린터 또는 전송 장치(도시되지 않음)를 포함할 수 있다.
하나의 실시예에서, 시스템(1010)은 센서(1022)를 시동시키고, 상기 센서는 특정 화합물, 가령, 이산화탄소를 검출 및 정량화한다. 검출 및 정량화는 연속적으로, 또는 이산 시간 스텝 내에서 수행될 수 있다. 측정이 완료될 때마다, 데이터 세트가 생성되고 저장 서브시스템(1016)에 저장되며, 컴퓨팅 유닛(1012)으로 입력된다. 상기 데이터 세트는 저장 서브시스템(1016)에 의해 저장된 동적 특이치 바이어스 제거 컴퓨터 프로그램에 의해 프로세싱되고, 이로써, 본원에 개시된 방법의 다양한 실시예에 따라 중도절단(censor)된다. 컴퓨터 프로그램이 데이터를 프로세싱하면, 상기 프로세싱된 데이터는 출력 유닛(1024)에 의해 출력된다. 출력 유닛(1024)이 모니터 또는 프린터인 하나의 실시예에서, 결과가 다이어그램으로 시각화될 수 있다. 출력 유닛(1024)이 전송 장치를 포함하는 하나의 실시예에서, 프로세싱된 데이터는 중앙 데이터베이스 또는 제어 센터로 전송되며 여기서 데이터는 추가로 프로세싱된다(도시되지 않음). 따라서 다양한 개시된 실시예에 따르는 시스템이 하나의 회사 내 또는 하나의 기술 분야 내 서로 다른 설비를 특이치 바이어스가 감소되는 자동화된 방식으로 서로 서로 비교하기 위한 강력한 툴을 제공한다.
바람직한 실시예에서, 측정 장치(1020)는 화학적 화합물을 검출 및 정량화하기 위한 하나 이상의 센서를 포함한다. 지구 온난화로 인해, 설비에 의해 방출되는 온실 가스가 점점 더 중요한 타깃 변수가 되고 있다. 많은 양의 온실 가스를 방출하는 설비의 전체 생산성이 우수할 수는 있어도, 적은 양의 온실 가스를 방출하는 설비일수록, 많은 양을 방출하는 설비보다 우수한 순위를 가질 수 있다. 온실 가스의 예로는 이산화탄소(CO2), 오존(O3), 수증기(H2O), 하이드로플루오로카본(HFC), 퍼플루오로카본(PFC), 클로로플루오로카본(CFC), 설퍼 헥사플루오라이드(SF6), 메탄(CH4), 아산화질소(N2O), 일산화탄소(CO), 질소 산화물(NOx), 및 비-메탄 휘발성 유기 화합물(NMVOC)이 있다. 이들 화합물의 자동화된 검출 및 정량화가 온실 가스의 특정 허용 방출과 관련된 산업 표준을 개발하는 데 사용될 수 있다. 그러나 동적 특이치 바이어스 제거를 적용함으로써, 생산 시 이상 환경, 가령, 동작 에러 또는 심지어 사고에 의해 초래될 수 있는 특이치를 제거할 수 있다. 따라서 본원에 개시된 다양한 실시예를 이용하여 하나의 정확하고 유의미한 표준을 개발할 수 있다. 산업 표준이 개발되면, 시스템은 방출량을 표준에 비교하도록 사용될 수 있다.
해당 분야의 통상의 기술자라면 본 발명의 범위에 다양한 개시된 실시예가 금융 상품, 가령, 지분 증권(가령, 보통주) 또는 파생 상품(가령, 선물, 포워드, 옵션, 및 스왑 등)과 관련된 타깃 변수에서 특이치 바이어스를 감소시키기 위해 적용될 수 있음을 더 알 것이다. 예를 들어, 하나의 실시예에서, 시스템(1010)은 금융 상품, 가령, 보통주와 관련된 데이터를 수신하는 입력 유닛(1018)을 포함하고 대응하는 데이터 세트를 제공한다. 타깃 변수는 주식 가격일 수 있다. 덧붙여, 금융 상품을 평가하는 다양한 알려진 방법, 가령, 할인 현금 흐름 분석을 이용해 타깃 변수와 관련된 변수가 결정될 수 있다. 이러한 관련 변수는 관련 배당, 손익, 또는 현금 흐름, 주당 손익, 주기 수익 비(price-to-earnings ratio), 성장율 등을 포함할 수 있다. 타깃 값 및 관련 변수 값의 데이터베이스가 형성되면, 본원에 개시된 동적 특이치 바이어스 제거의 다양한 실시예가 데이터베이스에 적용될 수 있으며, 이에 따라 금융 상품을 평가하기 위한 더 정확한 모델이 도출된다.
본 발명의 바람직한 실시예의 상기의 개시 내용 및 기재는 예시에 불과하고 도시된 시스템 및 방법의 세부사항의 다양한 변화가 본 발명의 범위 내에서 이뤄질 수 있다.

Claims (6)

  1. 설비(facility)에 대해 측정된 타깃 변수(target variable)에서 특이치 바이어스(outlier bias)를 감소시키기 위한 시스템으로서, 상기 시스템은
    데이터 세트를 프로세싱하기 위한 계산 유닛 - 상기 컴퓨팅 유닛은 프로세서 및 저장 서브시스템을 포함함 - ,
    프로세싱되도록 데이터 세트를 입력하기 위한 입력 유닛 - 상기 입력 유닛은 설비에 대해 타깃 변수를 측정하고 대응하는 데이터 세트를 제공하기 위한 측정 장치를 포함함 - ,
    프로세싱된 데이터 세트를 출력하기 위한 출력 유닛,
    저장 서브시스템에 의해 저장된 컴퓨터 프로그램
    을 포함하며, 상기 컴퓨터 프로그램은 명령을 포함하며, 상기 명령은 실행될 때 프로세서로 하여금,
    설비에 대한 타깃 변수를 선택하는 단계,
    상기 타깃 변수의 실제 값의 세트를 선택하는 단계,
    상기 타깃 변수와 관련된 설비에 대한 복수의 변수를 식별하는 단계,
    상기 설비에 대해 데이터 세트를 획득하는 단계 - 상기 데이터 세트는 복수의 변수에 대한 값을 포함함 -
    바이어스 기준(bias criteria)을 선택하는 단계,
    모델 계수의 세트를 선택하는 단계,
    (1) 상기 데이터 세트에 대한 예측 값의 세트를 생성하는 단계,
    (2) 상기 데이터 세트에 대한 오차 세트를 생성하는 단계,
    (3) 오차 세트 및 바이어스 기준을 기초로 오차 임계 값(error threshold value)의 세트를 생성하는 단계,
    (4) 상기 오차 세트 및 오차 임계 값의 세트를 기초로 중도절단된 데이터 세트(censored data set)를 생성하는 단계,
    (5) 새 모델 계수(new model coefficient)의 세트를 생성하는 단계, 및
    (6) 상기 새 모델 계수의 세트를 이용해, 중도절단 수행 종료 기준(censoring performance termination criteria)이 만족되지 않는 한, 단계 (1) 내지 (5)를 반복하는 단계
    를 실행하게 하는 것을 특징으로 하는 특이치 바이어스를 감소시키기 위한 시스템.
  2. 제1항에 있어서, 상기 측정 장치는 하나 이상의 센서를 포함하는 것을 특징으로 하는 특이치 바이어스를 감소시키기 위한 시스템.
  3. 제2항에 있어서, 상기 센서는 상기 설비에 대한 화학적 화합물을 검출 및 정량화하는 것을 특징으로 하는 특이치 바이어스를 감소시키기 위한 시스템.
  4. 금융 상품에 대해 측정된 타깃 변수(target variable)에서 특이치 바이어스(outlier bias)를 감소시키기 위한 시스템으로서, 상기 시스템은
    데이터 세트를 프로세싱하기 위한 컴퓨팅 유닛 - 상기 컴퓨팅 유닛은 프로세서와 저장 서브시스템을 포함함 -
    프로세싱된 데이터 세트를 출력하기 위한 출력 유닛,
    상기 저장 서브시스템에 의해 저장된 컴퓨터 프로그램
    을 포함하며, 상기 컴퓨터 프로그램은 명령을 포함하며, 상기 명령은 실행될 때 프로세서로 하여금,
    상기 금융 상품에 대한 타깃 변수(target variable)를 선택하는 단계,
    상기 타깃 변수의 실제 값의 세트를 선택하는 단계,
    상기 타깃 변수와 관련된 금융 상품에 대한 복수의 변수를 식별하는 단계,
    상기 금융 상품에 대한 데이터 세트를 획득하는 단계 - 상기 데이터 세트는 복수의 변수에 대한 값을 포함함 - ,
    바이어스 기준(bias criteria)을 선택하는 단계,
    모델 계수의 세트를 선택하는 단계,
    (1) 상기 데이터 세트에 대한 예측 값의 세트를 생성하는 단계,
    (2) 상기 데이터 세트에 대한 오차 세트를 생성하는 단계,
    (3) 상기 오차 세트 및 바이어스 기준을 기초로 오차 임계 값의 세트를 생성하는 단계,
    (4) 오차 세트 및 오차 임계 값의 세트를 기초로 중도절단된 데이터 세트(censored data set)를 생성하는 단계,
    (5) 새로운 모델 계수의 세트를 생성하는 단계, 및
    (6) 생기 새로운 모델 계수의 세트를 이용해, 중도절단 수행 종료 기준이 만족되지 않는 한, 단계 (1) 내지 (5)를 반복하는 단계
    를 실행하게 하는 것을 특징으로 하는 특이치 바이어스를 감소시키기 위한 시스템.
  5. 제4항에 있어서, 금융 상품은 보통주(common stock)이며, 상기 타깃 변수는 상기 보통주의 가격인 것을 특징으로 하는 특이치 바이어스를 감소시키기 위한 시스템.
  6. 제5항에 있어서, 타깃 변수와 관련된 금융 상품에 대한 복수의 변수는, 배당(dividend), 손익(earning), 현금 흐름(cash flow), 주당 손익(earnings per share), 주기 수익 비(price-to-earnings ratio), 및 성장률(growth rate) 중 적어도 하나를 포함하는 것을 특징으로 하는 특이치 바이어스를 감소시키기 위한 시스템.
KR1020140019597A 2013-02-20 2014-02-20 동적 특이치 바이어스 감소 시스템 및 방법 KR102052217B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/772,212 2013-02-20
US13/772,212 US9111212B2 (en) 2011-08-19 2013-02-20 Dynamic outlier bias reduction system and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190154058A Division KR102208210B1 (ko) 2013-02-20 2019-11-27 동적 특이치 바이어스 감소 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20140104386A true KR20140104386A (ko) 2014-08-28
KR102052217B1 KR102052217B1 (ko) 2019-12-04

Family

ID=62912351

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140019597A KR102052217B1 (ko) 2013-02-20 2014-02-20 동적 특이치 바이어스 감소 시스템 및 방법
KR1020190154058A KR102208210B1 (ko) 2013-02-20 2019-11-27 동적 특이치 바이어스 감소 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020190154058A KR102208210B1 (ko) 2013-02-20 2019-11-27 동적 특이치 바이어스 감소 시스템 및 방법

Country Status (6)

Country Link
US (1) US10113233B2 (ko)
EP (2) EP3514700A1 (ko)
JP (10) JP6297855B2 (ko)
KR (2) KR102052217B1 (ko)
CN (1) CN104090861B (ko)
CA (1) CA2843276A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791578A (zh) * 2021-08-23 2021-12-14 五邑大学 基于数控加工系统的轨迹滤波方法、装置和电子设备

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090107514A (ko) * 2006-12-26 2009-10-13 후지필름 디마틱스, 인크. 전도성 요소를 구비한 인쇄 시스템
US9069725B2 (en) 2011-08-19 2015-06-30 Hartford Steam Boiler Inspection & Insurance Company Dynamic outlier bias reduction system and method
US10557840B2 (en) 2011-08-19 2020-02-11 Hartford Steam Boiler Inspection And Insurance Company System and method for performing industrial processes across facilities
EP3514700A1 (en) * 2013-02-20 2019-07-24 Hartford Steam Boiler Inspection and Insurance Company Dynamic outlier bias reduction system and method
US9681497B2 (en) * 2013-03-12 2017-06-13 Applied Materials, Inc. Multi zone heating and cooling ESC for plasma process chamber
CN115186844A (zh) 2014-04-11 2022-10-14 哈佛蒸汽锅炉检验和保险公司 基于系统操作和性能数据建模来改进未来的可靠性预测
US10204820B2 (en) * 2014-05-21 2019-02-12 Cost Effective Equipment Llc Multi-size adaptable spin chuck system
JP6272138B2 (ja) * 2014-05-22 2018-01-31 東京エレクトロン株式会社 塗布処理装置
JP6398761B2 (ja) * 2015-02-04 2018-10-03 東京エレクトロン株式会社 基板処理装置
CN105005822A (zh) * 2015-06-26 2015-10-28 华能澜沧江水电股份有限公司 基于最优步长与模型动态选择的特高拱坝响应预测方法
JP6512089B2 (ja) * 2015-12-15 2019-05-15 東京エレクトロン株式会社 基板処理装置及び基板処理装置の調整方法
US20170199511A1 (en) * 2016-01-12 2017-07-13 Globalfoundries Inc. Signal detection metholodogy for fabrication control
KR102329513B1 (ko) * 2016-05-10 2021-11-23 램 리써치 코포레이션 적층된 히터와 히터 전압 입력부들 사이의 연결부들
JP6792368B2 (ja) * 2016-07-25 2020-11-25 株式会社Ｓｃｒｅｅｎホールディングス 熱処理装置、基板処理装置および熱処理方法
WO2018038892A1 (en) * 2016-08-26 2018-03-01 Applied Materials, Inc. Self-healing semiconductor wafer processing
CN109560006B (zh) * 2017-09-26 2023-10-20 天津环鑫科技发展有限公司 一种硅片自动涂源生产线
CN107704714B (zh) * 2017-11-06 2020-11-27 中车株洲电力机车有限公司 有限元仿真应力值和试验应力值的处理方法及系统
TWI798314B (zh) 2017-12-28 2023-04-11 日商東京威力科創股份有限公司 資料處理裝置、資料處理方法及資料處理程式
US11860971B2 (en) * 2018-05-24 2024-01-02 International Business Machines Corporation Anomaly detection
US11636292B2 (en) 2018-09-28 2023-04-25 Hartford Steam Boiler Inspection And Insurance Company Dynamic outlier bias reduction system and method
US11581547B2 (en) * 2019-05-29 2023-02-14 Uchicago Argonne, Llc Electrode ink deposition system for high-throughput polymer electrolyte fuel cell
JP6890632B2 (ja) 2019-06-27 2021-06-18 東京エレクトロン株式会社 データ処理装置、データ処理方法及びプログラム
CN110403582B (zh) * 2019-07-23 2021-12-03 宏人仁医医疗器械设备(东莞)有限公司 一种用于分析脉波波形品质的方法
US11450552B2 (en) 2019-08-01 2022-09-20 Micron Technology, Inc. Methods and apparatus for adjusting surface topography of a substrate support apparatus
KR102634916B1 (ko) 2019-08-29 2024-02-06 주식회사 엘지에너지솔루션 온도 추정 모델 결정 방법 및 장치, 온도 추정 모델이 적용된 배터리 관리 시스템
JP7399269B2 (ja) 2019-09-18 2023-12-15 ハートフォード スチーム ボイラー インスペクション アンド インシュアランス カンパニー 機械学習モデルにおいて動的外れ値偏り低減を実装するように構成されるコンピュータベースシステム、コンピュータコンポーネント及びコンピュータオブジェクト
US11328177B2 (en) 2019-09-18 2022-05-10 Hartford Steam Boiler Inspection And Insurance Company Computer-based systems, computing components and computing objects configured to implement dynamic outlier bias reduction in machine learning models
US11615348B2 (en) 2019-09-18 2023-03-28 Hartford Steam Boiler Inspection And Insurance Company Computer-based systems, computing components and computing objects configured to implement dynamic outlier bias reduction in machine learning models
US11742231B2 (en) * 2019-10-18 2023-08-29 Taiwan Semiconductor Manufacturing Co., Ltd. Movable wafer holder for film deposition chamber having six degrees of freedom
TWI711717B (zh) * 2019-11-06 2020-12-01 錼創顯示科技股份有限公司 加熱裝置及化學氣相沉積系統
CN111162004B (zh) * 2019-12-27 2022-08-19 北京半导体专用设备研究所（中国电子科技集团公司第四十五研究所） 半导体设备内部环境的调整方法、装置和电子设备
CN111446198B (zh) * 2020-03-23 2023-05-16 北京北方华创微电子装备有限公司 静电卡盘及其控制方法
CN111696897B (zh) * 2020-06-12 2023-10-13 北京北方华创微电子装备有限公司 半导体工艺设备
US11243986B1 (en) 2020-07-21 2022-02-08 International Business Machines Corporation Method for proactive trouble-shooting of provisioning workflows for efficient cloud operations
CN112663026B (zh) * 2020-11-25 2022-10-21 北京北方华创微电子装备有限公司 工艺腔室、半导体工艺设备及加热控制方法
KR102321735B1 (ko) * 2020-11-27 2021-11-04 부산대학교 산학협력단 다차원의 부분집합 연관 분석에 기반한 인공지능 학습 데이터셋 공정성을 보장하는 장치 및 이를 이용한 인공지능 학습 데이터셋 공정성을 보장하는 방법
CN112680724A (zh) * 2020-12-21 2021-04-20 苏州雨竹机电有限公司 化学气相沉积装置及其温度控制方法
KR20220147936A (ko) * 2021-04-28 2022-11-04 에스케이가스 주식회사 상업 화학 공정에서 핵심인자를 반영한 공정 변화 예측을 위한 시스템 및 방법
KR20220147932A (ko) * 2021-04-28 2022-11-04 에스케이가스 주식회사 상업 화학 공정에서의 공정 핵심 인자 선별을 위한 시스템 및 방법
CN113399784B (zh) * 2021-07-09 2022-08-12 武汉武重机床有限公司 工件加工控制方法、装置、设备及存储介质
CN117894719A (zh) * 2024-03-14 2024-04-16 合肥晶合集成电路股份有限公司 晶圆加热装置、套刻标记及装置控制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007117233A1 (en) * 2006-04-07 2007-10-18 Hsb Solomon Associates, Llc Emission trading product and method

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4371246A (en) * 1981-02-13 1983-02-01 Rca Corporation Thermal processor
US4589286A (en) * 1984-03-30 1986-05-20 The Babcock & Wilcox Company Fused silica diaphragm module for high temperature pressure transducers
US5155337A (en) 1989-12-21 1992-10-13 North Carolina State University Method and apparatus for controlling rapid thermal processing systems
US5294778A (en) * 1991-09-11 1994-03-15 Lam Research Corporation CVD platen heater system utilizing concentric electric heating elements
US5296385A (en) 1991-12-31 1994-03-22 Texas Instruments Incorporated Conditioning of semiconductor wafers for uniform and repeatable rapid thermal processing
JPH0828333B2 (ja) * 1992-11-30 1996-03-21 株式会社半導体プロセス研究所 半導体装置の製造装置
US5444217A (en) * 1993-01-21 1995-08-22 Moore Epitaxial Inc. Rapid thermal processing apparatus for processing semiconductor wafers
GB9412918D0 (en) * 1994-06-28 1994-08-17 Baxendine Alar R Apparatus for uniformly heating a substrate
US5618461A (en) 1994-11-30 1997-04-08 Micron Technology, Inc. Reflectance method for accurate process calibration in semiconductor wafer heat treatment
US5609720A (en) 1995-09-29 1997-03-11 Lam Research Corporation Thermal control of semiconductor wafer during reactive ion etching
US5861609A (en) 1995-10-02 1999-01-19 Kaltenbrunner; Guenter Method and apparatus for rapid thermal processing
US6069324A (en) * 1995-10-12 2000-05-30 Yazaki Corporation Load deflecting degree computing apparatus and carrying weight computing apparatus for vehicle
JP3166065B2 (ja) * 1996-02-08 2001-05-14 東京エレクトロン株式会社 処理装置及び処理方法
US6198074B1 (en) * 1996-09-06 2001-03-06 Mattson Technology, Inc. System and method for rapid thermal processing with transitional heater
US5846375A (en) 1996-09-26 1998-12-08 Micron Technology, Inc. Area specific temperature control for electrode plates and chucks used in semiconductor processing equipment
US5968587A (en) * 1996-11-13 1999-10-19 Applied Materials, Inc. Systems and methods for controlling the temperature of a vapor deposition apparatus
US5911896A (en) * 1997-06-25 1999-06-15 Brooks Automation, Inc. Substrate heating apparatus with glass-ceramic panels and thin film ribbon heater element
US6108937A (en) * 1998-09-10 2000-08-29 Asm America, Inc. Method of cooling wafers
US6617553B2 (en) 1999-05-19 2003-09-09 Applied Materials, Inc. Multi-zone resistive heater
US6740853B1 (en) 1999-09-29 2004-05-25 Tokyo Electron Limited Multi-zone resistance heater
US6500266B1 (en) * 2000-01-18 2002-12-31 Applied Materials, Inc. Heater temperature uniformity qualification tool
JP2001318745A (ja) * 2000-05-11 2001-11-16 Sony Corp データ処理装置およびデータ処理方法、並びに記録媒体
FR2815395B1 (fr) 2000-10-13 2004-06-18 Joint Industrial Processors For Electronics Dispositif de chauffage rapide et uniforme d'un substrat par rayonnement infrarouge
JP4948701B2 (ja) * 2000-12-28 2012-06-06 東京エレクトロン株式会社 加熱装置、当該加熱装置を有する熱処理装置、及び、熱処理制御方法
US7043461B2 (en) * 2001-01-19 2006-05-09 Genalytics, Inc. Process and system for developing a predictive model
EP1367637A4 (en) 2001-02-16 2006-01-04 Tokyo Electron Ltd TREATMENT DEVICE OF BLADE TYPE
TW559905B (en) * 2001-08-10 2003-11-01 Toshiba Corp Vertical chemical vapor deposition system cross-reference to related applications
US7195693B2 (en) 2002-06-05 2007-03-27 Advanced Thermal Sciences Lateral temperature equalizing system for large area surfaces during processing
JP4042492B2 (ja) * 2002-08-07 2008-02-06 トヨタ自動車株式会社 エンジン制御パラメータの適合方法及び適合システム
US6768084B2 (en) * 2002-09-30 2004-07-27 Axcelis Technologies, Inc. Advanced rapid thermal processing (RTP) using a linearly-moving heating assembly with an axisymmetric and radially-tunable thermal radiation profile
US7347901B2 (en) 2002-11-29 2008-03-25 Tokyo Electron Limited Thermally zoned substrate holder assembly
JP2004259964A (ja) * 2003-02-26 2004-09-16 Renesas Technology Corp 成膜装置およびその成膜装置を用いた半導体装置の製造方法
US8478534B2 (en) * 2003-06-11 2013-07-02 The Research Foundation For The State University Of New York Method for detecting discriminatory data patterns in multiple sets of data and diagnosing disease
US20050125322A1 (en) * 2003-11-21 2005-06-09 General Electric Company System, method and computer product to detect behavioral patterns related to the financial health of a business entity
US20050131794A1 (en) * 2003-12-15 2005-06-16 Lifson Kalman A. Stock portfolio and method
JP4728968B2 (ja) * 2004-02-06 2011-07-20 テスト アドバンテージ， インコーポレイテッド データ解析の方法および装置
JP4719694B2 (ja) * 2004-02-13 2011-07-06 ウオーターズ・テクノロジーズ・コーポレイシヨン 化学物質を追跡し、定量化するためのシステムおよび方法
CA2501003C (en) * 2004-04-23 2009-05-19 F. Hoffmann-La Roche Ag Sample analysis to provide characterization data
WO2005122881A1 (en) * 2004-06-21 2005-12-29 Aorora Technologies Pty Ltd Cardiac monitoring system
DE102004032822A1 (de) * 2004-07-06 2006-03-23 Micro-Epsilon Messtechnik Gmbh & Co Kg Verfahren zur Verarbeitung von Messwerten
US20060069667A1 (en) * 2004-09-30 2006-03-30 Microsoft Corporation Content evaluation
US7645342B2 (en) * 2004-11-15 2010-01-12 Cree, Inc. Restricted radiated heating assembly for high temperature processing
DE102004055449B4 (de) * 2004-11-17 2008-10-23 Steag Hamatech Ag Verfahren und Vorrichtung zum thermischen Behandeln von Substraten
US20070125303A1 (en) * 2005-12-02 2007-06-07 Ward Ruby High-throughput deposition system for oxide thin film growth by reactive coevaportation
JP5183058B2 (ja) 2006-07-20 2013-04-17 アプライド マテリアルズ インコーポレイテッド 急速温度勾配コントロールによる基板処理
US9275887B2 (en) 2006-07-20 2016-03-01 Applied Materials, Inc. Substrate processing with rapid temperature gradient control
US7534627B2 (en) * 2006-08-07 2009-05-19 Sokudo Co., Ltd. Methods and systems for controlling critical dimensions in track lithography tools
CN101616629A (zh) * 2006-08-31 2009-12-30 非线性医药有限公司 用于预测心律失常死亡的自动降噪系统
WO2008081723A1 (ja) * 2006-12-28 2008-07-10 Tokyo Electron Limited 絶縁膜の形成方法および半導体装置の製造方法
JP5116307B2 (ja) * 2007-01-04 2013-01-09 ルネサスエレクトロニクス株式会社 集積回路装置異常検出装置、方法およびプログラム
US8346691B1 (en) * 2007-02-20 2013-01-01 Sas Institute Inc. Computer-implemented semi-supervised learning systems and methods
WO2008126209A1 (ja) * 2007-03-27 2008-10-23 Fujitsu Limited 重回帰分析による予測モデルの作成方法、作成装置、作成プログラム
JP4870604B2 (ja) * 2007-03-29 2012-02-08 株式会社ニューフレアテクノロジー 気相成長装置
US20090017229A1 (en) 2007-07-10 2009-01-15 Varian Semiconductor Equipment Associates, Inc. Processing System Platen having a Variable Thermal Conductivity Profile
US7939450B2 (en) 2007-09-21 2011-05-10 Tokyo Electron Limited Method and apparatus for spacer-optimization (S-O)
US8052419B1 (en) * 2007-11-08 2011-11-08 Novellus Systems, Inc. Closed loop temperature heat up and control utilizing wafer-to-heater pedestal gap modulation
US8040246B2 (en) * 2007-12-04 2011-10-18 Avaya Inc. Systems and methods for facilitating a first response mission at an incident scene
JP5003566B2 (ja) * 2008-04-01 2012-08-15 三菱電機株式会社 ネットワーク性能予測システム、ネットワーク性能予測方法およびプログラム
US20110070370A1 (en) * 2008-05-28 2011-03-24 Aixtron Ag Thermal gradient enhanced chemical vapour deposition (tge-cvd)
US20100181501A1 (en) 2009-01-21 2010-07-22 Pollock John D Apparatus for sub-zero degree c ion implantation
WO2010090948A1 (en) * 2009-02-04 2010-08-12 Mattson Technology, Inc. Electrostatic chuck system and process for radially tuning the temperature profile across the surface of a substrate
US8404572B2 (en) * 2009-02-13 2013-03-26 Taiwan Semiconductor Manufacturing Co., Ltd Multi-zone temperature control for semiconductor wafer
JP2010250674A (ja) * 2009-04-17 2010-11-04 Nec Corp 作業時間予測装置、方法、およびプログラム
US20110185969A1 (en) * 2009-08-21 2011-08-04 Varian Semiconductor Equipment Associates, Inc. Dual heating for precise wafer temperature control
US8311772B2 (en) * 2009-12-21 2012-11-13 Teradata Us, Inc. Outlier processing
US8852347B2 (en) * 2010-06-11 2014-10-07 Tokyo Electron Limited Apparatus for chemical vapor deposition control
US8354618B1 (en) * 2010-06-30 2013-01-15 Wd Media, Inc. Load chamber with dual heaters
JP5592813B2 (ja) * 2011-01-28 2014-09-17 株式会社日立ソリューションズ東日本 生涯需要予測方法、プログラムおよび生涯需要予測装置
KR101810046B1 (ko) * 2012-01-19 2017-12-19 삼성디스플레이 주식회사 기상 증착 장치 및 기상 증착 방법
US9239192B2 (en) * 2013-02-20 2016-01-19 Taiwan Semiconductor Manufacturing Co., Ltd. Substrate rapid thermal heating system and methods
EP3514700A1 (en) * 2013-02-20 2019-07-24 Hartford Steam Boiler Inspection and Insurance Company Dynamic outlier bias reduction system and method
US9349623B2 (en) * 2013-03-14 2016-05-24 Taiwan Semiconductor Manufacturing Company, Ltd. Fine temperature controllable wafer heating system
US20160237569A1 (en) * 2015-02-12 2016-08-18 Kabushiki Kaisha Toshiba Semiconductor manufacturing apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007117233A1 (en) * 2006-04-07 2007-10-18 Hsb Solomon Associates, Llc Emission trading product and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Y. She 외, "Outlier Detection Using Nonconvex Penalize", arXiv:1006.2592v3 [stat.ME], 2011.10.17. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791578A (zh) * 2021-08-23 2021-12-14 五邑大学 基于数控加工系统的轨迹滤波方法、装置和电子设备

Also Published As

Publication number Publication date
JP2023113140A (ja) 2023-08-15
JP2014170532A (ja) 2014-09-18
EP2770442A3 (en) 2014-09-17
JP2018113048A (ja) 2018-07-19
US10113233B2 (en) 2018-10-30
CN104090861B (zh) 2019-06-25
JP6626910B2 (ja) 2019-12-25
CN104090861A (zh) 2014-10-08
US20150211122A1 (en) 2015-07-30
JP6686056B2 (ja) 2020-04-22
KR20190135445A (ko) 2019-12-06
KR102208210B1 (ko) 2021-01-28
JP2018116714A (ja) 2018-07-26
EP3514700A1 (en) 2019-07-24
US20170022611A9 (en) 2017-01-26
JP6636071B2 (ja) 2020-01-29
CA2843276A1 (en) 2014-08-20
JP6978541B2 (ja) 2021-12-08
JP6626911B2 (ja) 2019-12-25
JP2022031709A (ja) 2022-02-22
JP6613329B2 (ja) 2019-11-27
JP2018116713A (ja) 2018-07-26
JP2018139109A (ja) 2018-09-06
JP6527976B2 (ja) 2019-06-12
JP2018116712A (ja) 2018-07-26
JP6297855B2 (ja) 2018-03-20
KR102052217B1 (ko) 2019-12-04
JP2018136945A (ja) 2018-08-30
EP2770442A2 (en) 2014-08-27
JP2020123365A (ja) 2020-08-13
JP7244610B2 (ja) 2023-03-22

Similar Documents

Publication Publication Date Title
KR102208210B1 (ko) 동적 특이치 바이어스 감소 시스템 및 방법
US11334645B2 (en) Dynamic outlier bias reduction system and method
US9111212B2 (en) Dynamic outlier bias reduction system and method
US10557840B2 (en) System and method for performing industrial processes across facilities
US11803612B2 (en) Systems and methods of dynamic outlier bias reduction in facility operating data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant