TW202013186A - 資料處理方法、裝置與系統、以及電腦可讀取記錄媒體 - Google Patents

資料處理方法、裝置與系統、以及電腦可讀取記錄媒體 Download PDF

Info

Publication number
TW202013186A
TW202013186A TW108130724A TW108130724A TW202013186A TW 202013186 A TW202013186 A TW 202013186A TW 108130724 A TW108130724 A TW 108130724A TW 108130724 A TW108130724 A TW 108130724A TW 202013186 A TW202013186 A TW 202013186A
Authority
TW
Taiwan
Prior art keywords
data
evaluation value
processing
unit
unit processing
Prior art date
Application number
TW108130724A
Other languages
English (en)
Other versions
TWI726401B (zh
Inventor
猶原英司
山本麻友美
Original Assignee
日商斯庫林集團股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商斯庫林集團股份有限公司 filed Critical 日商斯庫林集團股份有限公司
Publication of TW202013186A publication Critical patent/TW202013186A/zh
Application granted granted Critical
Publication of TWI726401B publication Critical patent/TWI726401B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0235—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on a comparison with predetermined threshold or range, e.g. "classical methods", carried out during normal operation; threshold adaptation or choice; when or how to compare with the threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Factory Administration (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一種資料處理方法、裝置與系統、以及電腦可讀取記錄媒體，在對多個單位處理資料（各單位處理資料包含多種時間序列資料）進行處理的資料處理方法中，包含：單位處理資料選擇步驟，從多個單位處理資料中選擇兩個以上的單位處理資料；第一評價值計算步驟，算出關於被選擇單位處理資料中所含的各時間序列資料的評價值，所述被選擇單位處理資料是在單位處理資料選擇步驟中所選擇的單位處理資料；以及第一評價值分佈製作步驟，基於在第一評價值計算步驟中所算出的關於各時間序列資料的評價值，針對每種時間序列資料來製作評價值分佈，所述評價值分佈表示評價值的每個值的度數。

Description

資料處理方法、裝置與系統、以及電腦可讀取記錄媒體
本發明關於一種數位資料（digital data）處理，尤其關於一種對時間序列資料進行處理的方法。
做為檢測設備或裝置的異常的方法，已知有下述方法：使用感測器（sensor）等來測定表示設備或裝置的動作狀態的物理量（例如長度、角度、時間、速度、力、壓力、電壓、電流、溫度、流量等），並對將測定結果按照發生順序排列所得的時間序列資料進行分析。當設備或裝置在相同的條件下進行相同的動作時，若無異常，則時間序列資料同樣地變化。因此，通過將同樣地變化的多個時間序列資料相互進行比較以檢測異常的時間序列資料，並對所述異常的時間序列資料進行分析，可確定異常的產生部位或異常的原因。而且，近年來，電腦的資料處理能力顯著提高。因此，即使資料量龐大，也能以實用性的時間得到所需結果的情況多。因此，時間序列資料的分析逐漸變得盛行。
例如，在半導體基板的製造領域中，時間序列資料的分析也逐漸變得盛行。在半導體基板（以下稱作“基板”）的製造工序中，由基板處理裝置執行一系列處理。基板處理裝置包含對基板進行一系列處理中的特定處理的多個處理單元。各處理單元依據預定的流程（稱作“配方（recipe）”）來對基板進行處理。此時，基於各處理單元中的測定結果，得到時間序列資料。通多對所得到的時間序列資料進行分析，能夠確定發生異常的處理單元或異常的原因。此外，“配方”一詞不僅僅用於對基板進行的處理，也用於在基板處理之前進行的前處理、或者用以在處理單元未進行對基板的處理的期間進行處理單元的狀態維持/管理或與處理單元相關的各種測定的處理等。但是，本說明書中，著眼於對基板進行的處理。另外，與通過基板的製造而獲得的時間序列資料的異常度的計算相關的發明在日本專利特開2017-83985號公報中有所公開。
一般而言，在基板的製造工序中，通過配方的執行，獲得關於數量龐大的參數（各種物理量）的時間序列資料。時間序列資料是如下所述的資料，即，在執行配方時，使用感測器等來測定各種物理量（例如，從噴嘴（nozzle）供給的處理流體的流量或溫度、腔室（chamber）內的濕度、腔室的內壓、腔室的排氣壓等），並將測定結果按照時間序列排列所得的資料。而且，將對由攝像機（camera）所拍攝的圖像實施分析所得的資料按照時間序列所得者也成為時間序列資料。並且，各時間序列資料是否異常的判定是通過下述方式來進行，即，將時間序列資料的資料值與閾值進行比較，或者將由所述資料值按照規定的計算規則計算所得的值與閾值進行比較。另外，閾值是針對每個參數而設定。
此外，決定關於各參數的閾值的作業是非常繁瑣的作業，對於數量龐大的參數分別求出理想的閾值是極為困難的。而且，由於所設定的閾值並不一定是理想值，因此異常判定的精度並不良好。即，根據以往的方法，無法精度良好地檢測時間序列資料的異常。
因此，本發明的目的在於提供一種資料處理方法，不需要使用者進行繁瑣的作業，而能夠較以往精度良好地進行使用時間序列資料的異常檢測。
本發明的一方面是一種資料處理方法，將通過單位處理所得到的多種時間序列資料做為單位處理資料，對多個單位處理資料進行處理，所述資料處理方法包括：單位處理資料選擇步驟，從所述多個單位處理資料中選擇兩個以上的單位處理資料；第一評價值計算步驟，算出關於被選擇單位處理資料中所含的各時間序列資料的評價值，所述被選擇單位處理資料是在所述單位處理資料選擇步驟中所選擇的單位處理資料；以及第一評價值分佈製作步驟，基於在所述第一評價值計算步驟中所算出的關於各時間序列資料的評價值，針對每種時間序列資料來製作評價值分佈，所述評價值分佈表示評價值的每個值的度數。
根據此種結構，算出關於由使用者所選擇的單位處理資料中所含的各時間序列資料的評價值。並且，製作表示評價值的分佈的評價值分佈。此處，在新獲得時間序列資料時，能夠使用評價值分佈來進行所述時間序列資料的異常檢測。此時，例如，能夠基於根據評價值分佈的製作來源資料（評價值的資料）而獲得的統計值，來設定用於進行異常判定的閾值。根據以上所述，不需要使用者進行繁瑣的作業，而能夠較以往精度良好地進行使用時間序列資料的異常檢測。
本發明的另一方面是一種資料處理裝置，將通過單位處理所得到的多種時間序列資料做為單位處理資料，對多個單位處理資料進行處理，所述資料處理裝置包括：單位處理資料選擇部，從所述多個單位處理資料中選擇兩個以上的單位處理資料；評價值計算部，算出關於被選擇單位處理資料中所含的各時間序列資料的評價值，所述被選擇單位處理資料是由所述單位處理資料選擇部所選擇的單位處理資料；以及評價值分佈製作部，基於由所述評價值計算部所算出的關於各時間序列資料的評價值，針對每種時間序列資料來製作評價值分佈，所述評價值分佈表示評價值的每個值的度數。
本發明的又一方面是一種資料處理系統，將通過由基板處理裝置所執行的單位處理而得到的多種時間序列資料做為單位處理資料，對多個單位處理資料進行處理，且所述資料處理系統包含多個基板處理裝置，所述資料處理系統包括：單位處理資料選擇部，從所述多個單位處理資料中選擇兩個以上的單位處理資料；評價值計算部，算出關於被選擇單位處理資料中所含的各時間序列資料的評價值，所述被選擇單位處理資料是由所述單位處理資料選擇部所選擇的單位處理資料；以及評價值分佈製作部，基於由所述評價值計算部所算出的關於各時間序列資料的評價值，針對每種時間序列資料來製作評價值分佈，所述評價值分佈表示評價值的每個值的度數。
本發明的進而又一方面是一種電腦可讀取記錄媒體，存儲有資料處理程式，資料處理程式用於使電腦執行單位處理資料選擇步驟、評價值計算步驟及評價值分佈製作步驟，所述電腦將通過單位處理所得到的多種時間序列資料做為單位處理資料，對多個單位處理資料進行處理，所述單位處理資料選擇步驟是從所述多個單位處理資料中選擇兩個以上的單位處理資料，評價值計算步驟是算出關於被選擇單位處理資料中所含的各時間序列資料的評價值，所述被選擇單位處理資料是在所述單位處理資料選擇步驟中所選擇的單位處理資料，所述評價值分佈製作步驟是基於在所述評價值計算步驟中所算出的關於各時間序列資料的評價值，針對每種時間序列資料來製作評價值分佈，所述評價值分佈表示評價值的每個值的度數。
本發明的所述及其他目的、特徵、形態及效果當可參照附圖而根據本發明的下述詳細說明來進一步明確。
以下，參照附圖來說明本發明的一實施方式。
＜1.整體結構＞ 圖1是表示本發明的一實施方式的資料處理系統（基板處理裝置用的資料處理系統）的整體結構的框圖。所述資料處理系統包含資料處理裝置100與基板處理裝置200。資料處理裝置100與基板處理裝置200通過通信線路300而彼此連接。
資料處理裝置100在功能上具有單位處理資料選擇部110、評價值計算部120、評價值分佈製作部130、評價值分佈更新部140、異常度判定部150及資料存儲部160。單位處理資料選擇部110從已蓄存的後述的多個單位處理資料中選擇兩個以上的單位處理資料。評價值計算部120進行評價值的計算，所述評價值用於通過基板處理所得到的時間序列資料的異常度的判定等。例如，評價值計算部120算出關於由單位處理資料選擇部110所選擇的單位處理資料中所含的各時間序列資料的評價值。評價值分佈製作部130基於由評價值計算部120所算出的評價值（關於各時間序列資料的評價值），來製作後述的評價值分佈。評價值分佈更新部140進行評價值分佈的更新。異常度判定部150在已存在評價值分佈的狀況下，基於所述時間序列資料的評價值與評價值分佈，來判定關於通過由基板處理裝置200執行配方而新獲得的時間序列資料的異常度。另外，本實施方式中，做為基板處理的結果，假定評價值的值越小則越佳。
在資料存儲部160中，保持有用於執行本實施方式中的各種處理的資料處理程式161。而且，在資料存儲部160中，包含保存從基板處理裝置200發送的時間序列資料的時間序列資料DB162、保存基準資料的基準資料DB163、及保存評價值分佈資料的評價值分佈資料DB164。關於基準資料及評價值分佈資料的說明將後述。另外，“DB”為“資料庫（database）”的簡稱。
基板處理裝置200包含多個處理單元222。各處理單元222中，測定表示所述處理單元222的動作狀態的多個物理量。由此，獲得多個時間序列資料（更詳細而言，為關於多個參數的時間序列資料）。通過各處理單元222中的處理所獲得的時間序列資料從基板處理裝置200被送往資料處理裝置100，並如上所述那樣保存到時間序列資料DB162中。
圖2是表示基板處理裝置200的概略結構的圖。基板處理裝置200包括定位器（indexer）部210及處理部220。定位器部210及處理部220的控制是由基板處理裝置200內部的控制部（未圖示）來進行。
定位器部210包含：多個基板收容器保持部212，用於載置可收容多片基板的基板收容器（匣盒（cassette））；以及定位器機器人（indexer robot）214，進行基板從基板收容器的搬出以及基板向基板收容器的搬入。處理部220包含：多個處理單元222，使用處理液來進行基板的清洗等處理；以及基板搬送機器人224，進行基板向處理單元222的搬入及基板從處理單元222的搬出。處理單元222的數量例如為十二個。此時，例如，將使三個處理單元222層疊而成的塔式（tower）結構體如圖2所示那樣設於基板搬送機器人224周圍的四處部位。在各處理單元222中，設有進行對基板的處理的空間即腔室，在腔室內對基板供給處理液。另外，各處理單元222包含一個腔室。即，處理單元222與腔室是一一對應的。
在進行對基板的處理時，定位器機器人214從載置於基板收容器保持部212的基板收容器取出處理物件基板，將所述基板經由基板交接部230而交給基板搬送機器人224。基板搬送機器人224將從定位器機器人214接納的基板搬入至物件處理單元222。當對基板的處理結束時，基板搬送機器人224從物件處理單元222取出基板，並將所述基板經由基板交接部230而交給定位器機器人214。定位器機器人214將從基板搬送機器人224接納的基板搬入至對象基板收容器。
在所述資料處理系統中，為了對與各處理單元222中的處理相關的設備異常或由各處理單元222進行的處理的異常等進行檢測，每當執行配方時，獲取時間序列資料。本實施方式中所獲取的時間序列資料是如下所述的資料，即，在執行配方時，使用感測器等來測定各種物理量（例如從噴嘴供給的處理流體的流量或溫度、腔室的濕度、腔室的內壓、腔室的排氣壓等），並將測定結果按照時間序列排列所得的資料。而且，將對由攝像機所拍攝的圖像實施分析所得的資料按照時間序列排列所得者也成為時間序列資料。各種物理量是分別做為對應的參數的值來進行處理。另外，一個參數對應於一種物理量。
圖3是將某一個時間序列資料圖表化而表示的圖。所述時間序列資料是在執行一個配方時，在一個處理單元222內的腔室中通過對一片基板的處理而獲得的、關於某物理量的資料。另外，時間序列資料是包含多個離散值的資料，但在圖3中，將在時間上鄰接的兩個資料值之間以直線相連。此外，在執行一個配方時，針對執行所述配方的每個處理單元222，獲得關於各種物理量的時間序列資料。因此，以下，將在執行一個配方時，在一個處理單元222內的腔室中對一片基板進行的處理稱作“單位處理”，將通過單位處理所獲得的一群時間序列資料稱作“單位處理資料”。在一個單位處理資料中，如圖4示意性地所示，包含關於多個參數的時間序列資料及屬性資料，所述屬性資料包含用於確定相應的單位處理資料的多個專案（例如處理的開始時刻、處理的結束時刻等）的資料等。另外，關於圖4，“參數A”、“參數B”及“參數C”對應於互不相同的種類的物理量。
為了檢測設備或處理的異常，應將通過配方的執行而獲得的單位處理資料，與具備理想的資料值來做為處理結果的單位處理資料進行比較。更詳細而言，應將通過配方的執行而獲得的單位處理資料中所含的多個時間序列資料，分別與具備理想的資料值來做為處理結果的單位處理資料中所含的多個時間序列資料進行比較。因此，本實施方式中，關於各配方，將用於與做為評價物件的單位處理資料進行比較的單位處理資料（包含用於與做為評價物件的單位處理資料中所含的多個時間序列資料分別進行比較的多個時間序列資料的單位處理資料）定為基準資料（做為算出評價值時的基準的資料）。所述基準資料被保存在所述基準資料DB163（參照圖1）中。
此處，參照圖5來說明資料處理裝置100的硬體結構。資料處理裝置100包括中央處理器（CentralProcessingUnit，CPU）11、主記憶體12、輔助記憶裝置13、顯示部14、輸入部15、通信控制部16以及記錄媒體讀取部17。CPU11依照被給予的命令來進行各種運算處理等。主記憶體12暫時保存執行中的程式或資料等。輔助記憶裝置13保存即使電源斷開也應保持的各種程式、各種資料。所述資料存儲部160是通過所述輔助記憶裝置13來實現。顯示部14例如顯示供操作員（operator）進行作業的各種畫面。對於所述顯示部14，例如使用液晶顯示器（display）。輸入部15例如是滑鼠（mouse）或鍵盤（keyboard）等，受理操作員從外部進行的輸入。通信控制部16進行資料收發的控制。記錄媒體讀取部17是記錄有程式等的記錄媒體400的介面（interface）電路。對於記錄媒體400，例如使用唯讀光碟（Compact Disc Read-Only Memory，CD-ROM）或唯讀數位多功能光碟（Digital Versatile Disc Read-Only Memory，DVD-ROM）等非暫時性的記錄媒體。
當資料處理裝置100啟動時，將由輔助記憶裝置13（資料存儲部160）所保持的資料處理程式161（參照圖1）讀取到主記憶體12中，由CPU11來執行讀取到所述主記憶體12中的資料處理程式161。由此，由資料處理裝置100提供進行各種資料處理的功能。另外，資料處理程式161例如是以記錄在CD-ROM或DVD-ROM等記錄媒體400中的形態、或者經由通信線路300來下載（download）的形態而提供。
＜2.基板處理的評價＞ ＜2.1評價值分佈＞ 本實施方式中，為了進行關於各時間序列資料的異常判定，使用評價值分佈，所述評價值分佈表示由評價值計算部120所求出的評價值的每個值的度數。關於所述評價值分佈，參照圖6來進行詳細說明。
評價值分佈是針對每個參數（即，每種時間序列資料）而準備。當著眼于某一個參數時，表示時間序列資料的每個評價值的度數的分佈例如成為圖6的A部所示者。關於圖6的A部，μ是分佈生成源的評價值的平均值，σ是分佈生成源的評價值的標準差。此處，通過對分佈生成源的評價值分別進行標準化，能夠制作圖6的B部所示的分佈（平均值為0且分散/標準差為1的分佈）來做為評價值分佈5。另外，若將標準化前的評價值設為Sold，將標準化後的評價值設為Snew，則標準化是通過下式（1）來進行。
Figure 02_image001
在準備有如上所述的評價值分佈5的狀況下，當通過配方的執行而新生成時間序列資料時，求出關於所述時間序列資料的評價值。並且，針對所述求出的評價值，使用製作評價值分佈5時的平均值μ及標準差σ，來進行基於上式（1）的標準化。基於通過所述標準化而獲得的評價值，來決定關於相應的時間序列資料的異常度。
關於異常度的決定，在本實施方式中，將標準化後的評價值的範圍劃分為四個區（zone）。即，以四個等級（level）來判定各時間序列資料的異常度。具體而言，如圖6的B部所示，若（標準化後的）評價值小於1，則判定異常度為等級1（L1），若評價值為1以上且小於2，則判定異常度為等級2（L2），若評價值為2以上且小於3，則判定異常度為等級3（L3），若評價值為3以上，則判定異常度為等級4（L4）。
此外，關於標準化後的評價值範圍的四個區的劃分是基於標準差來進行。即，區間的閾值是自動決定的。因而，與以往不同，為了進行時間序列資料的異常判定，使用者不需要設定閾值這一繁瑣的作業。
＜2.2整體的處理流程＞ 圖7是表示關於使用時間序列資料的異常檢測的整體處理流程的概略的流程圖。另外，假定在所述處理的開始前已蓄存有一定程度的數量的時間序列資料。
首先，為了使使用時間序列資料的異常檢測（關於各時間序列資料的異常判定）成為可能，進行所述評價值分佈5的製作（步驟S10）。本實施方式中，針對每個參數來製作所有處理單元222共同的評價值分佈5。評價值分佈5的製作的詳細流程將後述。
接下來，由使用者進行設為異常判定物件的處理單元（腔室）及參數的指定（步驟S20）。此時，在資料處理裝置100的顯示部14，例如顯示圖8所示的異常判定物件設定畫面（圖8中，僅示出了實際顯示的畫面的一部分，圖11、圖12、圖13也同樣）500，由用戶指定設為異常判定物件的處理單元及參數。圖8所示的示例中，核取方塊（check box）成為選擇狀態的處理單元以及在清單方塊（list box）內成為選擇狀態的參數被指定為異常判定對象。另外，在步驟S10中，是使用通過所有處理單元222中的處理所獲得的時間序列資料來製作關於所有參數的評價值分佈5，但只有通過在步驟S20中所指定的處理單元中的處理而獲得的時間序列資料中的、關於在步驟S20中所指定的參數的時間序列資料成為實際進行異常判定的對象。
隨後，當由基板處理裝置200執行配方（步驟S30）時，進行關於通過所述配方的執行而獲得的時間序列資料中的、做為異常判定物件的時間序列資料的評分（scoring）（步驟S40）。另外，所謂評分，是指將各時間序列資料與基準資料進行比較，並將由此獲得的結果數值化為評價值的處理。在評分結束後，關於各時間序列資料，使用對應的評價值分佈5來進行異常度的判定（步驟S50）。在所述步驟S50中，首先，對在步驟S40中獲得的評價值實施標準化。評價值的標準化是通過上式（1）來進行，對於上式（1）中的平均值μ及標準差σ，使用在相應的評價值分佈5的製作時所獲得的平均值μ及標準差σ。並且，基於評價值分佈5上的標準化後的評價值的位置來決定異常度。例如，若標準化後的評價值為在圖9中標注有符號51的位置的值，則判定相應的時間序列資料的異常度為“等級2”。
本實施方式中，重複步驟S30～步驟S50的處理，直至任一配方的內容存在變更為止。即，使用相同的評價值分佈5來進行執行某配方時的異常度的判定，直至所述配方的內容存在變更為止。當任一配方的內容存在變更時，進行評價值分佈5的更新（步驟S60）。通過所述步驟60來實現評價值分佈更新步驟。根據本實施方式，這樣進行評價值分佈的更新，因此，例如可考慮最近的傾向來進行使用時間序列資料的異常檢測。另外，關於評價值分佈5的更新的詳細說明將後述。在評價值分佈5的更新後，處理返回步驟S30。
＜3.評價值分佈的製作方法＞ 參照圖10來說明本實施方式中的評價值分佈5的製作（圖7的步驟S10）的詳細流程。首先，由用戶進行成為評價值分佈5的製作源的兩個以上的單位處理資料的選擇（步驟S110）。在步驟S110中，在資料處理裝置100的顯示部14，例如顯示圖11所示的單位處理資料選擇畫面600。在單位處理資料選擇畫面600上，包含開始時間點輸入框61、結束時間點輸入框62、處理單元指定框63、配方指定框64、提取資料顯示區域65及確定按鈕（button）66。開始時間點輸入框61與結束時間點輸入框62是可指定日期時間的清單方塊，處理單元指定框63與配方指定框64是可從多個項目中選擇一個以上的項目的清單方塊。用戶通過開始時間點輸入框61與結束時間點輸入框62來執行期間，通過處理單元指定框63來執行處理單元，通過配方指定框64來執行配方。由此，將與所指定的條件相應的單位處理資料的一覽顯示於提取資料顯示區域65。使用者在選擇了顯示於提取資料顯示區域65的單位處理資料的一部分或全部的狀態下，按下確定按鈕66。由此，確定成為評價值分佈5的製作源的單位處理資料。另外，期間、處理單元及配方未必需要全部指定，只要執行期間、處理單元及配方中的至少任一個即可。
接下來，對於在步驟S110中所選擇的單位處理資料（以下稱作“被選擇單位處理資料”）中所含的各時間序列資料，進行評價值的計算（步驟S111）。本實施方式中，在基準資料DB163中預先保持有基準資料。即，應與被選擇單位處理資料中所含的各時間序列資料進行比較的基準資料被保持在基準資料DB163中。因而，在步驟S111中，將被選擇單位處理資料中所含的各時間序列資料與保持在基準資料DB163（參照圖1）中的基準資料進行比較，算出關於所述各時間序列資料的評價值。
接下來，進行在步驟S111中所算出的評價值的標準化（步驟S112）。如上所述，評價值的標準化是使用上式（1）來進行。此時，評價值分佈5是針對每個參數而製作，因此，上式（1）中的平均值μ及標準差σ是針對每個參數而求出。
最後，針對每個參數（即，每種時間序列資料），基於標準化後的評價值的資料來製作評價值分佈5（步驟S113）。構成所述評價值分佈5的資料是做為評價值分佈資料而保持在所述的評價值分佈資料DB164（參照圖1）中。
另外，本實施方式中，通過步驟S110來實現單位處理資料選擇步驟，通過步驟S111來實現第一評價值計算步驟，通過步驟S112及步驟S113來實現第一評價值分佈製作步驟。
＜4.評價值分佈的更新方法＞ 接下來，對評價值分佈5的更新進行說明。在通過由基板處理裝置200執行配方而獲得的單位處理資料中，包含關於多個參數的時間序列資料。如上所述，本實施方式中，針對每個所述參數來製作評價值分佈5。此外，在基板處理裝置200中，有時會對配方的內容實施變更。若配方的內容存在變更，則在所述變更的前後，通過配方的執行所獲得的時間序列資料的內容將變得不同。此時，若使用在配方變更前製作的評價值分佈5來進行在配方變更後獲得的時間序列資料的異常判定，則有可能得不到正確的結果來做為所述異常判定的結果。因此，本實施方式中，當配方的內容存在變更時，進行評價值分佈5的更新。另外，在配方的內容存在變更之後，由於尚未蓄存基於變更後的內容的時間序列資料，因此優選的是，評價值分佈5的更新是在蓄存有一定程度的基於變更後內容的時間序列資料才進行。
在評價值分佈5的更新時，評價值分佈更新部140將與變更前的配方關聯的參數和與變更後的配方關聯的參數進行比較。並且，評價值分佈更新部140基於已蓄存的評價值（關於相應的參數的時間序列資料的評價值）的資料，來製作與伴隨配方內容的變更而追加的參數對應的評價值分佈5。而且，由使用者來進行內容存在變更的參數的指定，評價值分佈更新部140重新製作與所述指定的參數對應的評價值分佈5。
例如，假定因某配方的內容變更，而與所述配方關聯的參數群產生下述變化。 變更前：參數A、參數B、參數C、參數D 變更後：參數A、參數C、參數D、參數E 另外，假定關於參數A及參數D，時間序列資料的內容無變化，關於參數C，時間序列資料的內容存在變化。
在所述示例的情況下，在評價值分佈5的更新時，在資料處理裝置100的顯示部14顯示例如圖12所示的參數指定畫面700。在參數指定畫面700上，包含與變更後的參數群（參數A、參數C、參數D、參數E）對應的核取方塊。與伴隨配方的內容變更而追加的參數即參數E對應的核取方塊已預先成為選擇狀態（圖12中為陰影狀態）。在此種參數指定畫面700上，關於參數C，由於時間序列資料的內容存在變化，因此如圖13所示，用戶將與參數C對應的核取方塊設為選擇狀態。這樣，由用戶執行了參數後，實際進行評價值分佈5的更新。其結果，如圖14示意性地所示，評價值分佈5得到更新。具體而言，關於伴隨配方內容的變更而刪除的參數即參數B的評價值分佈5被刪除，新製作關於伴隨配方的內容變更而追加的參數即參數E的評價值分佈5，並重新製作關於由用戶所指定的參數即參數C的評價值分佈5。另外，關於參數A及參數D的評價值分佈5維持為配方內容變更前的狀態。
如上所述，僅對關於與配方內容變更相關的參數的評價值分佈5進行更新（製作、重新製作、刪除）。由此，防止評價值分佈5的更新需要巨大的時間。
＜5.效果＞ 根據本實施方式，算出關於由使用者所選擇的單位處理資料中所含的各時間序列資料的評價值。並且，對所述評價值實施統計性的標準化，以製作表示標準化後的評價值的分佈的評價值分佈5。在這樣製作有評價值分佈5的狀況下，當通過配方的執行而新生成時間序列資料時，關於所述時間序列資料，基於評價值分佈5上的評價值（詳細而言，通過評分而獲得的評價值的標準化後的值）的位置來決定異常度。關於此，由於評價值分佈5是基於經標準化的資料而製作的分佈，因此能夠基於標準差來自動決定異常判定時的閾值。即，不需要使用者進行繁瑣的作業，而能夠客觀地設定用於進行異常判定的閾值。而且，通過像這樣客觀地進行閾值的設定，能夠以穩定的精度來進行時間序列資料的異常判定。如上所述，根據本實施方式，不需要使用者進行繁瑣的作業，而能夠較以往精度良好地進行使用時間序列資料的異常檢測。
＜6.變形例＞ 以下，對所述實施方式的變形例進行說明。
＜6.1與評價值分佈的製作相關的變形例＞ 所述實施方式中，在開始評價值分佈5的製作時，已關於各配方而決定了基準資料。但是，根據資料處理系統，也存在如上所述的基準資料尚未決定的情況（case）。因此，做為第一變形例～第三變形例，對未預先決定基準資料的情況下的評價值分佈5的製作方法進行說明。
＜6.1.1第一變形例＞ 參照圖15來說明本變形例中的評價值分佈5的製作（圖7的步驟S10）的詳細流程。首先，由用戶進行做為評價值分佈5的製作源的兩個以上的單位處理資料的選擇（步驟S120）。在步驟S120中，與所述實施方式中的步驟S110（參照圖10）同樣地進行單位處理資料的選擇。即，從通過指定期間、處理單元及配方中的至少任一者而提取的單位處理資料中，選擇兩個以上的單位處理資料。
接下來，將被選擇單位處理資料（在步驟S120中所選擇的單位處理資料）中的一個定為臨時基準資料（步驟S121）。接下來，針對每個參數，求出通過將臨時基準資料與被選擇單位處理資料中的臨時基準資料以外的單位處理資料分別進行比較而獲得的“多個評價值”的平均值（也可為合計值）（步驟S122）。若被選擇單位處理資料中包含關於十個參數的時間序列資料，則在步驟S122中獲得十個平均值的資料。並且，將這十個資料（平均值的資料）的合計做為比較值來處理。重複步驟S121及步驟S122，由此而獲得與被選擇單位處理資料中所含的單位處理資料的數量為相等數量的比較值的資料。若被選擇單位處理資料中包含五十個單位處理資料，則將步驟S121及步驟S122的處理重複五十次，獲得五十個比較值的資料。
在獲得與被選擇單位處理資料中所含的單位處理資料的數量為相等數量的比較值的資料後，決定基準資料（步驟S123）。具體而言，選擇與通過重複步驟S121及步驟S122而獲得的多個比較值中的最小比較值對應的、做為臨時基準資料的單位處理資料，來做為基準資料。換言之，選擇在步驟S122中求出的比較值達到最小時被定為臨時基準資料的單位處理資料，來做為基準資料。
在決定了基準資料後，對於被選擇單位處理資料中所含的各時間序列資料，進行評價值的計算（步驟S124）。在步驟S124中，將被選擇單位處理資料中所含的各時間序列資料與在步驟S123中所選擇的基準資料進行比較，算出關於所述各時間序列資料的評價值。
隨後，與所述實施方式中的步驟S112同樣地進行評價值的標準化（步驟S125），進而，與所述實施方式中的步驟S113同樣地進行評價值分佈5的製作（步驟S126）。
另外，本變形例中，通過步驟S120來實現單位處理資料選擇步驟，通過步驟S121～步驟S123來實現基準資料選擇步驟，通過步驟S124來實現第一評價值計算步驟，通過步驟S125及步驟S126來實現第一評價值分佈製作步驟。而且，通過步驟S121來實現臨時基準資料設定步驟，通過步驟S122來實現比較值計算步驟。
根據本變形例，在未預先決定基準資料的情況下，製作用於時間序列資料的異常判定的評價值分佈5。而且，在所述評價值分佈5的製作時，將所有的被選擇單位處理資料逐次設定為臨時基準資料，由此來決定應實際設定為基準資料的最佳的單位處理資料。在這樣適當地設定了基準資料後製作評價值分佈5，因此使用所述評價值分佈5的異常判定成為高精度。如上所述，根據本變形例，即使在未預先決定基準資料的情況下，也能製作評價值分佈5，以便能夠高精度地進行時間序列資料的異常判定。
＜6.1.2第二變形例＞ 參照圖16來說明本變形例中的評價值分佈5的製作（圖7的步驟S10）的詳細流程。首先，由用戶進行做為評價值分佈5的製作源的兩個以上的單位處理資料的選擇（步驟S130）。在步驟S130中，與所述實施方式中的步驟S110（參照圖10）同樣地進行單位處理資料的選擇。即，從通過指定期間、處理單元及配方中的至少任一者而提取的單位處理資料中，選擇兩個以上的單位處理資料。
接下來，針對每個參數（即，每種時間序列資料），製作中央值資料，所述中央值資料包含被選擇單位處理資料在各時間點的中央值的資料（步驟S131）。關於此，若被選擇單位處理資料的數量為奇數個，則將資料按照降冪或者昇冪排列時成為正中間順位元的資料的值為中央值。例如，若被選擇單位處理資料的數量為五個，則如圖17所示，大小為第三個的值為中央值。另外，圖17中，以粗實線表示中央值資料，以細實線表示做為被選擇單位處理資料的五個資料。而且，若被選擇單位處理資料的數量為偶數個，則將通過資料按照降冪或者昇冪排列時成為正中間順位元的兩個資料的值之和除以2所得的值為中央值。例如，若被選擇單位處理資料的數量為六個，則通過將大小為第三個的值和大小為第四個的值之和除以2所得的值為中央值。並且，將所有時間點的中央值的資料總結為一個的資料為中央值資料。另外，也可取代如上所述的中央值資料，而將各時間點的中心值（通過將最小值與最大值之和除以2所得的值）或者包含平均值資料的代表值資料用於後述的步驟S132中。
接下來，對於被選擇單位處理資料的各個，針對每個參數，通過與中央值資料的比較來求出評價值（步驟S132）。以下，為了方便，將在此步驟S132中求出的評價值稱作“得分”。隨後，基於在步驟S132中獲得的得分資料，來決定基準資料（步驟S133）。具體而言，選擇在步驟S132中針對每個參數（每種時間序列資料）而求出的得分的合計值為最小（最佳）的被選擇單位處理資料，來做為基準資料。若被選擇單位處理資料中包含關於十個參數的時間序列資料，則在步驟S132中關於各個被選擇單位處理資料而獲得十個得分資料。並且，在步驟S133中，針對每個被選擇單位處理資料，求出十個得分資料的合計值，選擇此合計值為最小的被選擇單位處理資料來做為基準資料。
在決定了基準資料後，對於被選擇單位處理資料中所含的各時間序列資料進行評價值的計算（步驟S134）。在步驟S134中，將被選擇單位處理資料中所含的各時間序列資料與在步驟S133中所選擇的基準資料進行比較，算出關於所述各時間序列資料的評價值。
隨後，與所述實施方式中的步驟S112同樣地進行評價值的標準化（步驟S135），進而，與所述實施方式中的步驟S113同樣地進行評價值分佈5的製作（步驟S136）。
另外，本變形例中，通過步驟S130來實現單位處理資料選擇步驟，通過步驟S131～步驟S133來實現基準資料選擇步驟，通過步驟S134來實現第一評價值計算步驟，通過步驟S135及步驟S136來實現第一評價值分佈製作步驟。而且，通過步驟S131來實現中央值資料製作步驟，通過步驟S132來實現得分計算步驟。
根據本變形例，在未預先決定基準資料的情況下，製作用於時間序列資料的異常判定的評價值分佈5。而且，在所述評價值分佈5的製作時，基於通過將各個被選擇單位處理資料與中央值資料進行比較而獲得的得分資料，來決定基準資料。由於利用此種方法來決定基準資料，因此與所述第一變形例相比，處理負荷得以減輕。如上所述，根據本變形例，在未預先決定基準資料的情況下，不需要高負荷的處理，便能夠製作評價值分佈5。
＜6.1.3第三變形例＞ 所述第一變形例及所述第二變形例中，關於各配方，採用某一個單位處理資料中所含的時間序列資料來做為關於所有參數的基準資料。但是，也可針對每個參數，而採用不同的單位處理資料中所含的時間序列資料來做為基準資料。例如，當著眼於與某配方關聯的三個參數（參數A、參數B、參數C）時，如圖18所示，做為關於參數A的基準資料而處理的時間序列資料、做為關於參數B的基準資料而處理的時間序列資料、與做為關於參數C的基準資料而處理的時間序列資料也可為互不相同的單位處理資料中所含的時間序列資料。
因此，關於所述第一變形例中的步驟S123（參照圖15），也可針對每個參數來決定（選擇）基準資料。即，在步驟S123中，也可針對每個參數（每種時間序列資料），選擇在步驟S122中求出的比較值達到最小時被定為臨時基準資料的單位處理資料來做為基準資料。
同樣地，關於所述第二變形例中的步驟S133（參照圖16），也可針對每個參數來決定（選擇）基準資料。即，在步驟S133中，也可針對每個參數（每種時間序列資料），選擇在步驟S132中求出的得分為最小（最佳）的被選擇單位處理資料來做為基準資料。
＜6.2與評價值分佈的更新相關的變形例＞ 接下來，對與評價值分佈5的更新相關的變形例進行說明。
＜6.2.1第四變形例＞ 在所述實施方式中，當配方的內容存在變更時，評價值分佈5得到更新。但是，本發明並不限定於此，也可每當執行評分時更新評價值分佈5。
圖19是表示本變形例中的關於使用時間序列資料的異常檢測的整體處理流程的概略的流程圖。所述實施方式中，重複步驟S30～步驟S50的處理，直至任一配方的內容存在變更為止（參照圖7）。與此相對，本變形例中，在基於評分（步驟S40）的結果來進行異常度的判定（步驟S50）後，必須進行評價值分佈5的更新（步驟S60）。另外，通過步驟S40來實現第三評價值計算步驟，通過步驟S60來實現評價值分佈更新步驟。
此外，為了製作評價值分佈5，必須基於做為製作源的所有單位處理資料來進行平均值及標準差的計算。即，為了每當執行評分時進行評價值分佈5的更新，每當評分時，必須進行平均值及標準差的計算。關於此，假設每當評分時，使用評價值分佈5的製作源的所有單位處理資料來進行平均值及標準差的計算，則用於計算的負荷將變得非常大。因此，當評價值分佈5的製作源的單位處理資料的數量由n個增加至n+1個時，只要使用以下的式（2）～式（4）來逐次地求出平均值及分散（標準差的平方）即可。
Figure 02_image003
此處，μn+1是評價值分佈5的製作源的單位處理資料的數量增加至n+1個的狀態下的評價值的平均值，μn是評價值分佈5的製作源的單位處理資料的數量為n個的狀態下的評價值的平均值，xn+1是所追加的單位處理資料的評價值，σ2n+1是評價值分佈5的製作源的單位處理資料的數量增加至n+1個的狀態下的評價值的分散，σ2n是評價值分佈5的製作源的單位處理資料的數量為n個的狀態下的評價值的分散。
在使用上式（3）來求μn+1時，μn已求出，而且，在使用上式（4）來求σ2n+1時，σ2n已求出。因而，能以相對較低的負荷來求出用於製作更新後的評價值分佈5的平均值及標準差（標準差可根據分散來簡單獲得）。
若評價值分佈5的製作源的單位處理資料的數量少，則關於時間序列資料的異常判定得不到良好的精度。對於此點，根據本變形例，每當執行評分時，評價值分佈5得到更新，因此異常判定的精度逐漸提高。而且，儘管直至平均值或標準差收斂為固定範圍內的值（關於異常判定可獲得充分的精度）為止需要一些時間，但即使在尚未完全得到做為配方執行結果的單位處理資料的狀況下，也可預先進行與評分或評價值分佈5的製作相關的各種設定作業。
＜6.2.2第五變形例＞ 所述實施方式中，是基於使用者任意選擇的單位處理資料來進行評價值分佈5的製作、更新。但是，本發明並不限定於此，也可基於通過所指定的處理單元222中的處理所獲得的單位處理資料來進行評價值分佈5的更新。
圖20是表示本變形例中的評價值分佈5的更新的詳細流程的流程圖。本變形例中，在評價值分佈5的更新時，首先進行評分結果（評價值的資料）的提取（步驟S600）。在步驟S600中，例如基於一個評價值分佈5，來提取關於最近得到的1000個單位處理資料的評分結果。
接下來，基於在步驟S600中提取的評分結果，針對每個處理單元222來算出評價值的偏差（分散或標準差）（步驟S601）。另外，此時，不進行評價值的資料的標準化。此外，當基於在步驟S600中提取的評分結果來製作分佈（評價值的分佈）時，所述分佈例如圖21中示意性地所示，針對每個處理單元而不同。此處，通常認為，輸出結果中包含的異常度高的時間序列資料越多的處理單元222，則基於所述分佈的偏差將越大。因此，如上所述，在步驟S601中，針對每個處理單元222來算出評價值的偏差。並且，進行得到在步驟S601中所算出的偏差中的最小偏差的處理單元222的指定（步驟S602）。
隨後，例如從所述最近得到的1000個單位處理資料中，提取通過在步驟S602中所指定的處理單元222中的處理所獲得的單位處理資料（步驟S603）。接下來，對於在步驟S603中所提取的單位處理資料（以下稱作“被提取單位處理資料”）中所含的各時間序列資料，進行評價值的計算（步驟S604），進而，進行在步驟S604中所算出的評價值的標準化（步驟S605）。另外，在步驟S605中，評價值的標準化也是使用上式（1）來進行。最後，針對每個參數（即，每種時間序列資料），基於標準化後的評價值的資料來製作更新後的評價值分佈5（步驟S606）。
另外，本變形例中，通過步驟S601來實現偏差計算步驟，通過步驟S602來實現處理單元指定步驟，通過步驟S603來實現單位處理資料提取步驟，通過步驟S604來實現第二評價值計算步驟，通過步驟S605及步驟S606來實現第二評價值分佈製作步驟。
根據本變形例，即使在難以選擇成為評價值分佈5的製作源的單位處理資料的情況下，仍可基於每個處理單元222的評分結果，來選擇（指定）被認為可進行穩定處理的處理單元222。並且，基於通過所述選擇的處理單元222中的處理所獲得的單位處理資料，來製作更新後的評價值分佈5。因此，使用所述評價值分佈5的異常判定變得高精度。如上所述，根據本變形例，即使在難以選擇成為評價值分佈5的製作源的單位處理資料的情況下，也可更新評價值分佈5，以便能高精度地進行時間序列資料的異常判定。
另外，所述示例中，步驟S602中的處理單元222的指定是僅考慮評價值的偏差來進行。關於此，例如也考慮下述情況（case）的產生，即：如圖22所示，較之與包含較多異常度相對較低的時間序列資料的處理單元對應的分佈，與包含較多異常度相對較高的時間序列資料的處理單元對應的分佈的偏差小。因此，例如也可在所述步驟S601（參照圖20）中，除了評價值的偏差以外，還算出評價值的平均值，並在步驟S602中考慮評價值的偏差及評價值的平均值這兩者來進行處理單元222的指定。此時，通過步驟S601來實現統計值計算步驟。
此外，在新製作評價值分佈5時，也能夠採用本變形例的方法。即，關於所述實施方式中的步驟S110（參照圖10）的處理，也可利用本變形例中的步驟S601～步驟S603的流程來進行單位處理資料的選擇。由此，即使在難以選擇做為評價值分佈5的製作源的單位處理資料的情況下，也能製作評價值分佈5，以便能夠高精度地進行時間序列資料的異常判定。
＜6.3與資料處理系統的整體結構相關的變形例（第六變形例）＞ 所述實施方式中，資料處理系統包含一個基板處理裝置200和與其對應的一個資料處理裝置100。但是，本發明並不限定於此。例如，也可如圖23所示，資料處理系統包含多個基板處理裝置200和與它們一一對應的多個資料處理裝置100，還可如圖24所示，資料處理系統包含多個基板處理裝置200和一個資料處理裝置100。即，資料處理系統中也可包含多個基板處理裝置200。
而且，在包含多個基板處理裝置200的資料處理系統中，也可針對每個基板處理裝置200而準備關於任意參數的評價值分佈5。即，由資料處理裝置100所製作的各評價值分佈5也可被用作多個基板處理裝置200中的與所述資料處理裝置100對應的基板處理裝置200用的評價值分佈5。此時，也可能夠在資料處理系統內將某基板處理裝置200用的評價值分佈5複製做為其他基板處理裝置200用的評價值分佈5。即，也可輸出（export）任意基板處理裝置200用的評價值分佈5，或者將評價值分佈5做為任意基板處理裝置200用的評價值分佈而輸入（import）。
根據本變形例，能夠在多個基板處理裝置200間共用基於良好資料的評價值分佈5。由此，可實現使用時間序列資料的異常檢測的精度的穩定化。
＜6.4與評價值分佈和處理單元的對應相關的變形例（第七變形例）＞ 所述實施方式中，針對每個參數而製作所有處理單元222共同的評價值分佈5。但是，本發明並不限定於此，也可針對每個處理單元222而製作關於各參數的評價值分佈5。即，也可將由資料處理裝置100所製作的各評價值分佈5用作多個處理單元222中的任一個用的評價值分佈5。此時，也可能夠將處理單元222用的評價值分佈5複製做為其他處理單元222用的評價值分佈5。即，也可輸出任意處理單元222用的評價值分佈5，或者將評價值分佈5做為任意處理單元222用的評價值分佈而輸入。
根據本變形例，能夠在多個處理單元222間共用基於良好資料的評價值分佈5。由此，可實現使用時間序列資料的異常檢測的精度的穩定化。
＜7.其他＞ 以上詳細說明了本發明，但以上的說明在所有方面僅為例示而非限制者。當瞭解的是，可不脫離本發明的範圍而創作出大量的其他變更或變形。
5:評價值分佈 11:CPU 12:主記憶體 13:輔助記憶裝置 14:顯示部 15:輸入部 16:通信控制部 17:記錄媒體讀取部 51:符號 61:開始時間點輸入框 62:結束時間點輸入框 63:處理單元指定框 64:配方指定框 65:提取資料顯示區域 66:確定按鈕 100:資料處理裝置 110:單位處理資料選擇部 120:評價值計算部 130:評價值分佈製作部 140:評價值分佈更新部 150:異常度判定部 160:資料存儲部 161:資料處理程式 162:時間序列資料DB 163:基準資料DB 164:評價值分佈資料DB 200:基板處理裝置 210:定位器部 212:基板收容器保持部 214:定位器機器人 220:處理部 222:處理單元 224:基板搬送機器人 230:基板交接部 300:通信線路 400:記錄媒體 500:異常判定物件設定畫面 600:單位處理資料選擇畫面 700:參數指定畫面 A～E:參數 L1:等級1 L2:等級2 L3:等級3 L4:等級4 S10~S60、S110~S113、S120~S126、S130~S136、S600~S606:步驟
圖1是表示本發明的一實施方式的資料處理系統（基板處理裝置用的資料處理系統）的整體結構的框圖。 圖2是在所述實施方式中表示基板處理裝置的概略結構的圖。 圖3是在所述實施方式中將某一個時間序列資料圖表化而表示的圖。 圖4是在所述實施方式中用於對單位處理資料進行說明的圖。 圖5是在所述實施方式中表示資料處理裝置的硬體（hardware）結構的框圖。 圖6是在所述實施方式中用於對評價值分佈進行說明的圖。 圖7是在所述實施方式中表示關於使用時間序列資料的異常檢測的整體處理流程的概略的流程圖。 圖8是在所述實施方式中表示異常判定物件設定畫面的一例的圖。 圖9是在所述實施方式中用於對異常度的判定進行說明的圖。 圖10是在所述實施方式中表示評價值分佈的製作的詳細流程的流程圖。 圖11是在所述實施方式中表示單位處理資料選擇畫面的一例的圖。 圖12是在所述實施方式中表示參數指定畫面的一例（顯示之後的示例）的圖。 圖13是在所述實施方式中表示參數指定畫面的一例（由使用者指定參數後的示例）的圖。 圖14是在所述實施方式中用於對評價值分佈的更新進行說明的圖。 圖15是在所述實施方式的第一變形例中表示評價值分佈的製作的詳細流程的流程圖。 圖16是在所述實施方式的第二變形例中表示評價值分佈的製作的詳細流程的流程圖。 圖17是在所述實施方式的第二變形例中用於對中央值進行說明的圖。 圖18是在所述實施方式的第三變形例中用於對參數與時間序列資料的關係進行說明的圖。 圖19是在所述實施方式的第四變形例中表示關於使用時間序列資料的異常檢測的整體處理流程的概略的流程圖。 圖20是在所述實施方式的第五變形例中表示評價值分佈的更新的詳細流程的流程圖。 圖21是在所述實施方式的第五變形例中用於對每個處理單元的評價值分佈的製作進行說明的圖。 圖22是在所述實施方式的第五變形例中用於對優選除了偏差以外還考慮評價值的情況進行說明的圖。 圖23是在所述實施方式的第六變形例中表示資料處理系統的結構例（存在多個資料處理裝置的示例）的圖。 圖24是在所述實施方式的第六變形例中表示資料處理系統的結構例（僅存在一個資料處理裝置的示例）的圖。
S110~S113:各步驟

Claims (24)

  1. 一種資料處理方法，將通過單位處理所得到的多種時間序列資料做為單位處理資料，對多個單位處理資料進行處理，所述資料處理方法包括： 單位處理資料選擇步驟，從所述多個單位處理資料中選擇兩個以上的單位處理資料； 第一評價值計算步驟，算出關於被選擇單位處理資料中所含的各時間序列資料的評價值，所述被選擇單位處理資料是在所述單位處理資料選擇步驟中所選擇的單位處理資料；以及 第一評價值分佈製作步驟，基於在所述第一評價值計算步驟中所算出的關於各時間序列資料的評價值，針對每種時間序列資料來製作評價值分佈，所述評價值分佈表示評價值的每個值的度數。
  2. 如申請專利範圍第1項所述的資料處理方法，還包括： 基準資料選擇步驟，從所述多個單位處理資料中，選擇做為計算評價值時的基準的基準資料， 在所述第一評價值計算步驟中，將所述被選擇單位處理資料中所含的各時間序列資料與在所述基準資料選擇步驟中選擇的基準資料進行比較，由此來進行評價值的計算。
  3. 如申請專利範圍第2項所述的資料處理方法，其中 所述基準資料選擇步驟包括： 臨時基準資料設定步驟，將所述被選擇單位處理資料的一個定為臨時基準資料；以及 比較值計算步驟，求出通過將所述臨時基準資料與所述被選擇單位處理資料中的所述臨時基準資料以外的單位處理資料分別進行比較而獲得的評價值的平均值或合計值，來做為比較值， 在所述基準資料選擇步驟中， 重複所述臨時基準資料設定步驟與所述比較值計算步驟，直至所述被選擇單位處理資料全部被逐次定為臨時基準資料為止， 選擇在所述比較值計算步驟中求出的比較值達到最小時被定為臨時基準資料的單位處理資料，來做為所述基準資料。
  4. 如申請專利範圍第3項所述的資料處理方法，其中 在所述基準資料選擇步驟中，針對每種時間序列資料，選擇在所述比較值計算步驟中求出的比較值達到最小時被定為臨時基準資料的單位處理資料，來做為所述基準資料。
  5. 如申請專利範圍第2項所述的資料處理方法，其中 所述基準資料選擇步驟包括： 中央值資料製作步驟，針對每種時間序列資料，製作中央值資料，所述中央值資料包含所述被選擇單位處理資料在各時間點的中央值的資料；以及 得分計算步驟，將所述被選擇單位處理資料分別與所述中央值資料進行比較，由此，針對每種時間序列資料來求出得分，所述得分相當於關於各個所述被選擇單位處理資料的評價值， 在所述基準資料選擇步驟中，選擇針對每種時間序列資料而求出的得分的合計值為最佳的被選擇單位處理資料，來做為所述基準資料。
  6. 如申請專利範圍第2項所述的資料處理方法，其中 所述基準資料選擇步驟包括： 中央值資料製作步驟，針對每種時間序列資料，製作中央值資料，所述中央值資料包含所述被選擇單位處理資料在各時間點的中央值的資料；以及 得分計算步驟，將所述被選擇單位處理資料分別與所述中央值資料進行比較，由此，針對每種時間序列資料來求出得分，所述得分相當於關於各個所述被選擇單位處理資料的評價值， 在所述基準資料選擇步驟中，選擇針對每種時間序列資料而在所述得分計算步驟中求出的得分為最佳的被選擇單位處理資料，來做為所述基準資料。
  7. 如申請專利範圍第2項所述的資料處理方法，其中 所述單位處理是由具有多個處理單元的基板處理裝置針對一片基板而做為一個配方來執行的處理， 所述基準資料選擇步驟中的基準資料的選擇是從通過指定期間、處理單元及配方中的至少任一者而提取的單位處理資料中進行。
  8. 如申請專利範圍第1項所述的資料處理方法，其中 所述單位處理是由具有多個處理單元的基板處理裝置針對一片基板而做為一個配方來執行的處理， 所述單位處理資料選擇步驟中的單位處理資料的選擇是從通過指定期間、處理單元及配方中的至少任一者而提取的單位處理資料中進行。
  9. 如申請專利範圍第1項所述的資料處理方法，其中 在所述第一評價值計算步驟中，將所述被選擇單位處理資料中所含的各時間序列資料與預定的基準資料進行比較，由此來進行評價值的計算。
  10. 如申請專利範圍第1項所述的資料處理方法，其中 所述單位處理是由具有多個處理單元的基板處理裝置針對一片基板而做為一個配方來執行的處理， 所述單位處理資料選擇步驟包括： 偏差計算步驟，基於關於各時間序列資料的評價值，針對每個處理單元來算出評價值的偏差； 處理單元指定步驟，在所述偏差計算步驟中所算出的偏差中得到的最小偏差的處理單元進行指定；以及 單位處理資料提取步驟，提取與在所述處理單元指定步驟中所指定的處理單元對應的單位處理資料，來做為所述兩個以上的單位處理資料。
  11. 如申請專利範圍第1項所述的資料處理方法，其中 在所述第一評價值分佈製作步驟中，進行在所述第一評價值計算步驟中所算出的評價值的標準化，基於標準化後的評價值來製作所述評價值分佈。
  12. 如申請專利範圍第1項所述的資料處理方法，還包括： 評價值分佈更新步驟，更新所述評價值分佈。
  13. 如申請專利範圍第12項所述的資料處理方法，其中 所述單位處理是由具有多個處理單元的基板處理裝置針對一片基板而做為一個配方來執行的處理， 所述評價值分佈更新步驟包括： 偏差計算步驟，基於關於各時間序列資料的評價值，來對每個處理單元算出評價值的偏差； 處理單元指定步驟，在所述偏差計算步驟中算出的偏差中獲得的最小偏差的處理單元進行指定； 單位處理資料提取步驟，從所述多個單位處理資料中，提取與在所述處理單元指定步驟中所指定的處理單元對應的單位處理資料； 第二評價值計算步驟，算出關於被提取單位處理資料中所含的各時間序列資料的評價值，所述被提取單位處理資料是在所述單位處理資料提取步驟中提取的單位處理資料；以及 第二評價值分佈製作步驟，基於在所述第二評價值計算步驟中算出的關於各時間序列資料的評價值，針對每種時間序列資料來製作更新後的評價值分佈。
  14. 如申請專利範圍第12項所述的資料處理方法，其中 所述單位處理是由具有多個處理單元的基板處理裝置針對一片基板而做為一個配方來執行的處理， 所述評價值分佈更新步驟包括： 統計值計算步驟，基於關於各時間序列資料的評價值，針對每個處理單元而算出評價值的平均值及偏差； 處理單元指定步驟，考慮在所述統計值計算步驟中算出的平均值及偏差來指定處理單元； 單位處理資料提取步驟，從所述多個單位處理資料中，提取與在所述處理單元指定步驟中指定的處理單元對應的單位處理資料； 第二評價值計算步驟，算出關於被提取單位處理資料中所含的各時間序列資料的評價值，所述被提取單位處理資料是在所述單位處理資料提取步驟中提取的單位處理資料；以及 第二評價值分佈製作步驟，基於在所述第二評價值計算步驟中算出的關於各時間序列資料的評價值，針對每種時間序列資料來製作更新後的評價值分佈。
  15. 如申請專利範圍第12項所述的資料處理方法，其中 所述多個單位處理資料是通過由基板處理裝置執行配方而獲得的資料， 所述資料處理方法還包括：第三評價值計算步驟，為了判定通過配方的執行而新獲得的單位處理資料中所含的時間序列資料的異常度，算出所述新獲得的單位處理資料中所含的時間序列資料的評價值， 每當執行所述第三評價值計算步驟時，執行所述評價值分佈更新步驟。
  16. 如申請專利範圍第12項所述的資料處理方法，其中 所述多個單位處理資料是通過由基板處理裝置執行配方而獲得的資料， 當配方的內容存在變更時，執行所述評價值分佈更新步驟。
  17. 如申請專利範圍第16項所述的資料處理方法，其中 所述多種時間序列資料是關於多個參數的時間序列資料， 在所述第一評價值分佈製作步驟中，針對每個參數來製作評價值分佈， 在所述評價值分佈更新步驟中，僅與內容存在變更的參數對應的評價值分佈得到更新。
  18. 如申請專利範圍第17項所述的資料處理方法，其中 在所述評價值分佈更新步驟中，與伴隨配方的內容變更而追加的參數對應的評價值分佈是基於已蓄存的評價值的資料來製作。
  19. 如申請專利範圍第17項所述的資料處理方法，其中 在所述評價值分佈更新步驟中，重新製作與從外部指定的參數對應的評價值分佈。
  20. 一種資料處理裝置，將通過單位處理所得到的多種時間序列資料做為單位處理資料，對多個單位處理資料進行處理，所述資料處理裝置包括： 單位處理資料選擇部，從所述多個單位處理資料中選擇兩個以上的單位處理資料； 評價值計算部，算出關於被選擇單位處理資料中所含的各時間序列資料的評價值，所述被選擇單位處理資料是由所述單位處理資料選擇部所選擇的單位處理資料；以及 評價值分佈製作部，基於由所述評價值計算部所算出的關於各時間序列資料的評價值，針對每種時間序列資料來製作評價值分佈，所述評價值分佈表示評價值的每個值的度數。
  21. 如申請專利範圍第20項所述的資料處理裝置，其中 所述單位處理是由具有多個處理單元的基板處理裝置針對一片基板而做為一個配方來執行的處理， 由所述評價值分佈製作部所製作的評價值分佈被用作所述多個處理單元中的任一個用的評價值分佈， 能夠將某處理單元用的評價值分佈複製做為其他處理單元用的評價值分佈。
  22. 一種資料處理系統，將通過由基板處理裝置所執行的單位處理而得到的多種時間序列資料做為單位處理資料，對多個單位處理資料進行處理，且所述資料處理系統包含多個基板處理裝置，所述資料處理系統包括： 單位處理資料選擇部，從所述多個單位處理資料中選擇兩個以上的單位處理資料； 評價值計算部，算出關於被選擇單位處理資料中所含的各時間序列資料的評價值，所述被選擇單位處理資料是由所述單位處理資料選擇部所選擇的單位處理資料；以及 評價值分佈製作部，基於由所述評價值計算部所算出的關於各時間序列資料的評價值，針對每種時間序列資料來製作評價值分佈，所述評價值分佈表示評價值的每個值的度數。
  23. 如申請專利範圍第22項所述的資料處理系統，其中 由所述評價值分佈製作部所製作的評價值分佈被用作所述多個基板處理裝置中的任一個用的評價值分佈， 能夠將某基板處理裝置用的評價值分佈複製做為其他基板處理裝置用的評價值分佈。
  24. 一種電腦可讀取記錄媒體，存儲有資料處理程式，所述資料處理程式用於使電腦執行單位處理資料選擇步驟、評價值計算步驟及評價值分佈製作步驟，所述電腦將通過單位處理所得到的多種時間序列資料做為單位處理資料，對多個單位處理資料進行處理， 所述單位處理資料選擇步驟是從所述多個單位處理資料中選擇兩個以上的單位處理資料， 評價值計算步驟是算出關於被選擇單位處理資料中所含的各時間序列資料的評價值，所述被選擇單位處理資料是在所述單位處理資料選擇步驟中所選擇的單位處理資料， 所述評價值分佈製作步驟是基於在所述評價值計算步驟中所算出的關於各時間序列資料的評價值，針對每種時間序列資料來製作評價值分佈，所述評價值分佈表示評價值的每個值的度數。
TW108130724A 2018-09-20 2019-08-28 資料處理方法、裝置與系統、以及電腦可讀取記錄媒體 TWI726401B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-176257 2018-09-20
JP2018176257A JP7188949B2 (ja) 2018-09-20 2018-09-20 データ処理方法およびデータ処理プログラム

Publications (2)

Publication Number Publication Date
TW202013186A true TW202013186A (zh) 2020-04-01
TWI726401B TWI726401B (zh) 2021-05-01

Family

ID=69856648

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108130724A TWI726401B (zh) 2018-09-20 2019-08-28 資料處理方法、裝置與系統、以及電腦可讀取記錄媒體
TW110111567A TW202137001A (zh) 2018-09-20 2019-08-28 資料處理方法、裝置與系統、以及電腦可讀取記錄媒體

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW110111567A TW202137001A (zh) 2018-09-20 2019-08-28 資料處理方法、裝置與系統、以及電腦可讀取記錄媒體

Country Status (5)

Country Link
US (1) US20200097381A1 (zh)
JP (1) JP7188949B2 (zh)
KR (1) KR102280390B1 (zh)
CN (1) CN110928265B (zh)
TW (2) TWI726401B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7188950B2 (ja) * 2018-09-20 2022-12-13 株式会社Ｓｃｒｅｅｎホールディングス データ処理方法およびデータ処理プログラム
US11392437B1 (en) * 2021-01-26 2022-07-19 Adobe Inc. Cold start and adaptive server monitor
US11775502B2 (en) * 2021-03-12 2023-10-03 Adobe Inc. Facilitating efficient and effective anomaly detection via minimal human interaction

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10163080A (ja) * 1996-11-27 1998-06-19 Matsushita Electron Corp 半導体製造システム
JP3063758B2 (ja) * 1998-05-13 2000-07-12 日本電気株式会社 製造ラインシミュレ―タにおける評価値算出システム及びその算出方法並びにその制御プログラム記録媒体
JP2000252179A (ja) * 1999-03-04 2000-09-14 Hitachi Ltd 半導体製造プロセス安定化支援システム
JP4158384B2 (ja) * 2001-07-19 2008-10-01 株式会社日立製作所 半導体デバイスの製造工程監視方法及びそのシステム
JP4184638B2 (ja) * 2001-08-31 2008-11-19 株式会社東芝 半導体製造装置の寿命診断方法
JP2004186445A (ja) * 2002-12-03 2004-07-02 Omron Corp モデル化装置及びモデル解析方法並びにプロセス異常検出・分類システム及びプロセス異常検出・分類方法並びにモデル化システム及びモデル化方法並びに故障予知システム及びモデル化装置の更新方法
US7885420B2 (en) * 2003-02-21 2011-02-08 Qnx Software Systems Co. Wind noise suppression system
TWI451475B (zh) * 2004-08-19 2014-09-01 尼康股份有限公司 An alignment information display method and a recording medium having a program, an alignment method, an exposure method, a component manufacturing method, a display system, a display device, a measurement device, and a measurement method
JP2006146459A (ja) * 2004-11-18 2006-06-08 Renesas Technology Corp 半導体デバイスの製造方法および製造システム
JP2006332213A (ja) * 2005-05-25 2006-12-07 Matsushita Electric Ind Co Ltd 半導体装置の製造方法
WO2008059598A1 (fr) * 2006-11-17 2008-05-22 Imagineering, Inc. Dispositif d'analyse de réaction, support d'enregistrement et système de mesure
JP4950830B2 (ja) * 2007-10-15 2012-06-13 株式会社東芝 環境影響評価装置
JPWO2011018943A1 (ja) * 2009-08-12 2013-01-17 日本電気株式会社 データ要約システム、データ要約方法および記録媒体
WO2011142026A1 (ja) * 2010-05-14 2011-11-17 株式会社日立製作所 時系列データ管理装置、システム、方法、およびプログラム
JP5503564B2 (ja) * 2011-01-18 2014-05-28 東京エレクトロン株式会社 処理装置の異常判定システム及びその異常判定方法
JP5460662B2 (ja) * 2011-09-07 2014-04-02 株式会社日立ハイテクノロジーズ 領域決定装置、観察装置または検査装置、領域決定方法および領域決定方法を用いた観察方法または検査方法
JP5875430B2 (ja) * 2012-03-27 2016-03-02 株式会社 ゆうちょ銀行 異常検出装置、プログラムおよび異常検出方法
US10241887B2 (en) * 2013-03-29 2019-03-26 Vmware, Inc. Data-agnostic anomaly detection
JP5849167B1 (ja) * 2015-04-09 2016-01-27 株式会社日立パワーソリューションズ 異常検知方法およびその装置
US10474692B2 (en) * 2015-05-18 2019-11-12 Interactive Data Pricing And Reference Data Llc Data conversion and distribution systems
US11200529B2 (en) * 2015-08-06 2021-12-14 Ns Solutions Corporation Information processing apparatus, information processing system, information processing method and non-transitory computer readable recording medium
JP6599727B2 (ja) * 2015-10-26 2019-10-30 株式会社Ｓｃｒｅｅｎホールディングス 時系列データ処理方法、時系列データ処理プログラム、および、時系列データ処理装置
JP6890382B2 (ja) * 2016-05-23 2021-06-18 ルネサスエレクトロニクス株式会社 生産システム
JP6646553B2 (ja) * 2016-09-27 2020-02-14 Kddi株式会社 時系列のイベント群から異常状態を検知するプログラム、装置及び方法
JP6934302B2 (ja) * 2017-01-27 2021-09-15 株式会社Ｓｃｒｅｅｎホールディングス データ処理システム、データ処理方法およびプログラム
US10901400B2 (en) * 2018-05-21 2021-01-26 International Business Machines Corporation Set point optimization in multi-resolution processes

Also Published As

Publication number Publication date
TWI726401B (zh) 2021-05-01
CN110928265A (zh) 2020-03-27
CN110928265B (zh) 2023-04-11
KR102280390B1 (ko) 2021-07-21
JP7188949B2 (ja) 2022-12-13
US20200097381A1 (en) 2020-03-26
KR20200033727A (ko) 2020-03-30
TW202137001A (zh) 2021-10-01
JP2020047846A (ja) 2020-03-26

Similar Documents

Publication Publication Date Title
TWI726401B (zh) 資料處理方法、裝置與系統、以及電腦可讀取記錄媒體
US8494798B2 (en) Automated model building and batch model building for a manufacturing process, process monitoring, and fault detection
CN108369916B (zh) 晶片逐点分析和数据呈现
JP2023052477A (ja) データ処理方法およびデータ処理プログラム
TWI709833B (zh) 資料處理、資料處理裝置以及電腦可讀取記錄媒體
JP5229631B2 (ja) 製造条件調整装置
CN109844664A (zh) 量化并减小总测量不确定度
TW201415385A (zh) 半導體處理控制方法和電腦程式產品
CN107909216B (zh) 一种零件实际生产周期预测方法
TWI742340B (zh) 資料處理方法、資料處理裝置、資料處理系統以及資料處理程式
JP2011054804A (ja) 半導体製造装置の管理方法およびシステム
JP7430271B2 (ja) エラー要因の推定装置及び推定方法
US11762562B2 (en) Performance analysis apparatus and performance analysis method
TWI842961B (zh) 資料處理方法、資料處理裝置以及電腦可讀取記錄媒體
TW200424816A (en) Method for automatic configuration of a processing system
US20130030760A1 (en) Architecture for analysis and prediction of integrated tool-related and material-related data and methods therefor
JP2019140196A (ja) データ処理方法、データ処理装置、データ処理システム、およびデータ処理プログラム
WO2017163342A1 (ja) 計算機システム及びデータの分類方法
TW201832167A (zh) 決定半導體製造系統的不良設備的方法及程式產品
TWI832403B (zh) 用於多維動態部件平均測試之方法、設備及非暫時性電腦可讀媒體
JP2019102574A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2017227997A (ja) 品質管理装置、品質管理方法及び品質管理システム