TW202105106A - 資料處理裝置、方法、及半導體製造裝置 - Google Patents

資料處理裝置、方法、及半導體製造裝置 Download PDF

Info

Publication number
TW202105106A
TW202105106A TW109114119A TW109114119A TW202105106A TW 202105106 A TW202105106 A TW 202105106A TW 109114119 A TW109114119 A TW 109114119A TW 109114119 A TW109114119 A TW 109114119A TW 202105106 A TW202105106 A TW 202105106A
Authority
TW
Taiwan
Prior art keywords
evaluation index
index value
feature quantity
feature
value
Prior art date
Application number
TW109114119A
Other languages
English (en)
Other versions
TWI751540B (zh
Inventor
石黒正貴
Original Assignee
日商日立全球先端科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商日立全球先端科技股份有限公司 filed Critical 日商日立全球先端科技股份有限公司
Publication of TW202105106A publication Critical patent/TW202105106A/zh
Application granted granted Critical
Publication of TWI751540B publication Critical patent/TWI751540B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/22—Arrangements for sorting or merging computer data on continuous record carriers, e.g. tape, drum, disc
    • G06F7/24—Sorting, i.e. extracting data from one or more carriers, rearranging the data in numerical or other ordered sequence, and rerecording the sorted data on the original carrier or on a different carrier or set of carriers sorting methods in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67276—Production flow monitoring, e.g. for increasing throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/18—Manufacturability analysis or optimisation for manufacturability
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Power Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Operations Research (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Complex Calculations (AREA)

Abstract

提供取得模型式作成時之過度學習抑制與計算負載抑制之平衡的資料處理裝置。資料處理裝置具備對電子資料進行記錄的記錄部、及使用電子資料進行運算的運算部；運算部具備用於運算的特徵量選擇部，特徵量選擇部在特徵量選擇中，具備：對特徵量進行順位附加，從上位者進行重新排列的第一步驟(S101)；對應於順位作成複數個僅使用一部分特徵量的資料群的第二步驟(S103)；使用僅使用一部分特徵量的資料群之各個，來計算成為對迴歸或是分類問題之預測性能進行評估的指標值的第三步驟(S104)；依據計算出的預測性能指標將特徵量削除的第四步驟(S105)；針對前述已削除的以外之特徵量，使用預測性能指標對特徵量之順位進行更新的第五步驟(S106)；直至第三步驟中計算的預測性能指標之最佳值不被更新為止重複第二步驟至第五步驟(S102)。

Description

資料處理裝置、方法、及半導體製造裝置
本發明關於資料處理裝置、方法、及半導體製造裝置，尤其是關於基於資料解析的處理結果之預測技術。
近來之製造業中，有效活用從製造裝置獲得的資料來提升生產性的提議受到注目。例如半導體製造裝置中，如專利文獻1中所公開地使用了多元迴歸分析(multiple regression analysis)等的手法之處理結果之預測被廣泛利用於製程控制等。另一方面，製造過程高度化、複雜化的現代製造業中，生產工場整體獲得的資料為巨大量，以及重要的資料與非重要的資料之平衡選擇，成為活用資料的製造裝置運用中必須之課題。例如在半導體製造裝置中，一個製造裝置具備超過數十的資料取得用之感測器並非少見。又，製造過程所必要的時間長的情況下，這麼多資料被儲存，處理資料量成為巨大者。
通常，資料處理中從感測器之測量獲得的時系列信號並非直接使用，大多使用良好表示該信號之特徵的特徵量，或是使用稱為特色之值。時系列信號之平均值、標準偏差值等為特徵量之一。藉由從時系列信號抽出特徵量，可以將資料量壓縮至某一程度，但在該特徵量之抽出階段中抽出盡量多之特徵量為較好。但是，多之情況下，抽出的特徵量之中存在多數解析上無意義者，這樣的無意義的特徵量導致計算時間之增加，作為解析中之雜訊對於解析結果帶來不良影響。再者，在處理結果之預測等之模型式之作成中，隨著使用的特徵量變多，模型式之作成時陷入稱為過度學習之欠缺泛化能力(generalization ability)之狀態的可能性變高。
作為抑制過度學習的模型式之妥當性之評估指標已知有艾凱克資訊量準則(Akaike Information Criteria：AIC)，使用AIC的重要的變數之選擇例如公開於專利文獻2中。又，從抽出的特徵量來選擇解析上可能有意義之特徵量的運算法則被提案者有多數。
例如非專利文獻1中揭示使用稱為Sequential Forward Selection之重複計算的特徵量選擇手法。該方法係稱為包裝篩選法(Wrapper methods)之特徵量選擇手法之中之一。又，非專利文獻2中揭示作成稱為Fisher Criterion的特徵量之重要性之順位(ranking)，對應於該順位來選擇特徵量的手法。該方法係稱為過濾法(filtering methods)之特徵量選擇手法之中之一。另外，非專利文獻3中揭示在稱為Random Forest的迴歸手法之中作成特徵量之重要性之順位，對應於該順位來選擇特徵量的手法。該方法係稱為嵌入法(Embedded method)之特徵量選擇手法之中之一。 先前技術文獻 專利文獻
專利文獻1：特開2009-10370號公報 專利文獻2：特開平7-253966號公報 非專利文獻
非專利文獻1：P. Pudil, J. Novovicova, and J. Kittler, “Floating search methods in feature selection,” Pattern Recognition Letters, vol. 15, pp. 1119-1125, Nov. 1994. 非專利文獻2：Sa Wang, Cheng-Lin Liu, and Lian Zheng, “Feature selection by combining fisher criterion and principal feature analysis,” in Proc. of the Sixth International Conference on Machine Learning and Cybernetics, Hong Kong, China, 2007, pp. 1149-1154. 非專利文獻3：Leo Breiman, “Random Forest,” Machine Learning, vol. 45, pp. 5-32, 2001.
[發明所欲解決之課題]
上述包裝篩選法中重複計算時需要最佳化之評估指標，過濾法、嵌入法中需要特徵量數之最佳化之評估指標。如上述般，該評估指標可以使用AIC。但是，AIC作為擔保模型之泛化能力、抑制過度學習的指標有效，但是藉由使用AIC的評估進行最佳化乃有可能陷入過度學習之情況。又，在這樣的情況下作為有效防止防止過度學習的手法有交叉驗證法(Cross-validation method)，交叉驗證法在計算上需要巨大的時間。
本發明之目的，係為了解決上述課題，提供可以取得模型式作成時之過度學習抑制與計算負載抑制之平衡(trade-off)的資料處理裝置、方法、及半導體製造裝置。 [解決課題的手段]
為了達成上述目的，本發明提供的資料處理裝置，係使用特徵值計算預測模型者，其特徵為具備運算裝置，該運算裝置執行以下步驟：將N設為自然數之情況下，將附加有順位的N個第一特徵量重新排列成為1位至N位之順位的第一步驟；作成N個第一資料群的第二步驟；計算對第一資料群各自之預測性能進行評估的第一評估指標值的第三步驟；依據第一評估指標值將第一特徵量之一部分削除的第四步驟；使用第一評估指標值對第一特徵量之中已削除的特徵量以外之特徵量亦即第二特徵量之順位進行更新的第五步驟；作成與第二特徵量之個數同數之第二資料群的第六步驟；計算對第二資料群各自之預測性能進行評估的第二評估指標值的第七步驟；及在第一評估指標值的最小值與第二評估指標值的最小值相同之情況下使用第二特徵量計算預測模型，在第一評估指標值的最小值與第二評估指標值的最小值不同之情況下，依據第二評估指標值將第二特徵量之一部分削除，並且使用第二評估指標值對第二特徵量之中已削除的特徵量以外之特徵量亦即第三特徵量之順位進行更新的第八步驟；第N編號之第一資料群係具有第一特徵量之1位至N位之特徵量，將M設為第二特徵量之個數之情況下，第M編號之第二資料群係具有第二特徵量之1位至M位之特徵量。
又，為了達成上述目的，本發明提供的半導體製造裝置，係藉由使用特徵值算出的預測模型來預測處理結果者，其特徵為：具備控制裝置，該控制裝置執行以下步驟：將N設為自然數之情況下，將附加有順位的N個第一特徵量重新排列成為1位至N位之順位的第一步驟；作成N個第一資料群的第二步驟；計算對第一資料群各自之預測性能進行評估的第一評估指標值的第三步驟；依據第一評估指標值將第一特徵量之一部分削除的第四步驟；使用第一評估指標值對第一特徵量之中已削除的特徵量以外之特徵量亦即第二特徵量之順位進行更新的第五步驟；作成與第二特徵量之個數同數之第二資料群的第六步驟；計算對第二資料群各自之預測性能進行評估的第二評估指標值的第七步驟；及在第一評估指標值的最小值與第二評估指標值的最小值相同之情況下使用第二特徵量計算預測模型，在第一評估指標值的最小值與第二評估指標值的最小值不同之情況下，依據第二評估指標值將第二特徵量之一部分削除，並且使用第二評估指標值對第二特徵量之中已削除的特徵量以外之特徵量亦即第三特徵量之順位進行更新的第八步驟；第N編號之第一資料群係具有第一特徵量之1位至N位之特徵量，將M設為第二特徵量之個數之情況下，第M編號之第二資料群係具有第二特徵量之1位至M位之特徵量。
另外，為了達成上述目的，本發明提供的資料處理方法，係使用特徵值計算預測模型者，其特徵為具有以下步驟：將N設為自然數之情況下，將附加有順位的N個第一特徵量重新排列成為1位至N位之順位的第一步驟；作成N個第一資料群的第二步驟；計算對第一資料群各自之預測性能進行評估的第一評估指標值的第三步驟；依據第一評估指標值將第一特徵量之一部分削除的第四步驟；使用第一評估指標值對第一特徵量之中已削除的特徵量以外之特徵量亦即第二特徵量之順位進行更新的第五步驟；作成與第二特徵量之個數同數之第二資料群的第六步驟；計算對第二資料群各自之預測性能進行評估的第二評估指標值的第七步驟；及在第一評估指標值的最小值與第二評估指標值的最小值相同之情況下使用第二特徵量計算預測模型，在第一評估指標值的最小值與第二評估指標值的最小值不同之情況下，依據第二評估指標值將第二特徵量之一部分削除，並且使用第二評估指標值對第二特徵量之中已削除的特徵量以外之特徵量亦即第三特徵量之順位進行更新的第八步驟；第N編號之第一資料群係具有第一特徵量之1位至N位之特徵量，將M設為第二特徵量之個數之情況下，第M編號之第二資料群係具有第二特徵量之1位至M位之特徵量。 發明效果
依據本發明之資料處理裝置，可以解決模型式作成時之過度學習抑制與計算負載抑制之平衡。
以下，參照圖面依序說明實施本發明的形態。又，本說明書中，自然數亦即N或M會有以英數小寫亦即n或m標記之情況。 實施例1
實施例1為取得模型式作成時之過度學習抑制與計算負載抑制之平衡的資料處理裝置之實施例。亦即，在使用特徵值計算預測模型的資料處理裝置中，構成為具備運算裝置，該運算裝置執行以下之步驟：將N設為自然數之情況下，將附加有順位的N個第一特徵量重新排列成為1位至N位之順位的第一步驟；作成N個第一資料群的第二步驟；計算對第一資料群各自之預測性能進行評估的第一評估指標值的第三步驟；依據第一評估指標值將第一特徵量之一部分削除的第四步驟；使用第一評估指標值對第一特徵量之中已削除的特徵量以外之特徵量亦即第二特徵量之順位進行更新的第五步驟；作成與第二特徵量之個數同數之第二資料群的第六步驟；計算對第二資料群各自之預測性能進行評估的第二評估指標值的第七步驟；及在第一評估指標值的最小值與第二評估指標值的最小值相同之情況下使用第二特徵量計算預測模型，在第一評估指標值的最小值與第二評估指標值的最小值不同之情況下，依據第二評估指標值將第二特徵量之一部分削除，並且使用第二評估指標值對第二特徵量之中已削除的特徵量以外之特徵量亦即第三特徵量之順位進行更新的第八步驟；第N編號之第一資料群係具有第一特徵量之1位至N位之特徵量，將M設為第二特徵量之個數之情況下，第M編號之第二資料群係具有第二特徵量之1位至M位之特徵量。另外，為資料處理方法、及半導體製造裝置之實施例。
使用圖1至圖5說明實施例1之資料處理裝置、方法。本實施例之資料處理裝置，係具備：省略圖示的對電子資料進行記錄的記錄部；已記錄的電子資料進行運算的運算部。這樣的資料處理裝置可以藉由以Personal Computer(PC)為代表的具備對電子資料進行運算的Central Processing Unit(CPU)、記憶電子資料或各種之處理程式的記憶部、由鍵盤或顯示器構成的輸出入部、及通信介面的通常之電腦來實現，因此資料處理裝置之圖示予以省略。
本實施例之資料處理裝置之運算部內部具備可以藉由處理程式來實現的特徵量選擇部。記錄於記錄部的電子資料存在有成為模型式之說明變數的電子資料、以及成為目的變數的電子資料之二種類。例如製造裝置中之加工結果預測之資料處理的話，成為說明變數的電子資料係和製造裝置之運轉狀態相關的資料，成為目的變數的資料則為加工結果之資料。
本實施例中，更具體言之，作為製造裝置舉出半導體製造裝置之一亦即Chemical Mechanical Polishing (CMP)裝置。此處，成為說明變數的資料係晶圓之旋轉速度或漿料之量等的加工時之加工條件之監控值，或研磨墊之使用時間等與裝置本身之狀態相關的資料。相對地，成為目的變數的資料係基於CMP裝置中之處理的晶圓之研磨量(Removal Rate: RR)。作成的模型式係成為從上述裝置資料來預測RR的迴歸式。
記錄於記錄部的裝置資料，係於運算部運算，完成明顯異常的資料之排除或特徵量之抽出等解析前處理。裝置資料之樣品數增加時，橫軸取特徵量，縱軸取樣品的行列之行會增加。將上述這樣的各別樣品之特徵量並排成的行列稱為特徵量行列。於該特徵量行列中，欲觀察移轉至解析的期待的條件之情況下，將特徵量行列資料及特徵量行列之與各樣品對應的RR之值的資料傳送至特徵量選擇部。此處，移轉至解析的條件可以舉出特徵量行列之樣品數超出期待的值，或特徵量行列中之樣品之儲存期間超出期待的期間等。
使用傳送至特徵量選擇部的特徵量行列及RR之資料，藉由圖1所示流程圖進行特徵量之選擇處理。如上述般，該選擇處理之執行係藉由CPU之規定之程式執行而進行。
圖1之流程圖中，在特徵量選擇部中之第1步驟中，首先，使用過濾法之一即Fisher Criterion來作成特徵量之重要性亦即特徵量順位(S101)。
於特徵量選擇部中之第2步驟中，與第1步驟中作成的順位(i)對應地作成僅使用特徵量之一部分的資料群。以下將該資料群記載為子集(subset)。
於第2步驟中作成與特徵量之數同數子集(S103)。此處，包含於第N編號之子集的特徵量係成為順位為第1編號至第N編號之特徵量。例如全部特徵量數為3個之情況下，於第一個子集僅包含順位一位之特徵量。於第二個子集包含有順位一位與二位之2個特徵量。於第3個子集包含有順位一位與二位與三位之3個特徵量。
於特徵量選擇部中之第3步驟中，係針對第2步驟中作成的全部子集，計算並作成成為對迴歸或是分類問題中之預測性能進行評估的指標值亦即評估指標、也就是模型式評估指標(S104)。本實施例中，作為推測RR的迴歸問題，亦即作為對預測性能進行評估的指標係採用上述AIC。於第3步驟中針對全部之子集計算各別之AIC。
圖2表示橫軸取各子集之編號，縱軸描繪對應的AIC之曲線之一例。本實施例之第4步驟中，係依據第3步驟中計算出的AIC判斷不必要的特徵量並將其削除(S105)。圖2之曲線201中，在子集編號84號中AIC為最小。此意味著順位第1編號至第84編號之特徵量有助於提升預測性能，第85編號以後之特徵量對於預測性能之提升無幫助。因此第4步驟中將與AIC成為最小的子集編號之次一子集編號以後之順位相當的特徵量削除。亦即，本實施例中順位85位以後之特徵量備削除。
於本實施例之特徵量選擇部之第5步驟中，係針對第4步驟中殘留的特徵量中，以AIC作為準則來更新順位(S106)。新的順位係藉由以下之式1所示重要性差距(significance gap, SG)來決定(S107)。
Figure 02_image001
其中，AIC(n)為與第n編號之子集相關之AIC之值。關於SG(1)，因為無法計算，因此設定為任何比SG(n)小的值。
第5步驟中之SG之意義如以下說明。第n編號之子集成為在第n-1編號之子集加上順位第n編號之特徵量者。因此。SG(n)表示藉由在第n-1編號之子集加上第n編號之特徵量所致的預測性能之提升之程度。因此該值越小則第n編號之特徵量所致的預測性能之提升越大，判斷第n編號之特徵量為重要。第5步驟中，依據SG小的順序來更新特徵量之重要性順位。
第5步驟結束後，本實施例中重複進行上述第2步驟至第5步驟(S102)。圖3係表示藉由重複進行而在各自重複之第3步驟中獲得的各子集中之AIC之值的曲線。藉由重複使選擇的特徵量減少，AIC之最小值亦變小，亦即，可以理解預測性能提升。
上述第2步驟至第5步驟之重複進行，係直至在第m編號之重複中第3步驟中獲得的AIC之最小值相等於在第m-1編號之重複中第3步驟中獲得的AIC之最小值為止。重複之結束後，AIC最低的子集係成為由所選擇的特徵量形成之子集。
使用藉由上述順序選擇的特徵量子集來作成在運算部中對RR進行推測的迴歸模型。該迴歸模型與特徵量子集之資訊備保存於記錄部。如上述般，供作為作成模型的裝置資料與RR資料之雙方可以在期待的期間取得，或是取得期待的量，通常將設定特徵量選擇來作成模型的步驟稱為訓練(training)步驟。
相對地，將僅取得裝置資料，從資料進行RR之預測的運用步驟稱為測試(testing)步驟。測試步驟中，係將新保存於記錄部的資料傳送至運算部，實施和訓練步驟同樣之特徵量抽出等的解析前處理。之後，選擇與保存於記錄部的最佳特徵量子集同樣之項目之特徵量，使用保存於記錄部的RR推測迴歸模型進行RR之推測。
為了進行本實施例的過度學習抑制效果、計算時間抑制效果、集RR預測性能之確認，使用已經知道RR的資料進行了驗證解析。上述驗證係使用交叉驗證法進行。
圖4係表示將既存的特徵量選擇手法使用於迴歸問題中之特徵量選擇之情況下成為所選擇的特徵量之數、RR預測性能指標的預測誤差指標及特徵量選擇需要的時間之表格401。又，此時，供作為包裝篩選法中之特徵量選擇用的性能評估指標係使用了AIC。又，供作為過濾法及包裝篩選法中決定最佳的特徵量數的指標亦使用了AIC。最終的預測性能係使用了交叉驗證法中計算出的mean squared error (MSE)。
如圖4所示，包裝篩選法之Sequential forward selection或嵌入法之LASSO中表示預測性能的MSE雖是優良的值，但是需要1000秒等級之較長的計算時間。關於其他的方法，則MSE之值成為極端不佳的值，可以理解陷入過度學習。
圖5係將本實施例之特徵量選擇部中之特徵量選擇手法使用於同樣之迴歸問題中之特徵量選擇的情況下所選擇的特徵量之數、成為RR預測性能指標的預測誤差指標及特徵量選擇需要的時間之表格501。如表格501所示確認了，在與習知手法之過濾法及一部分之嵌入法同一程度之短時間內，抑制過度學習，且可以獲得和習知手法之sequential forward selection或LASSO中獲得的性能幾乎同等的性能。
因此，藉由本實施例之資料處理裝置，可以取得模型式作成時之過度學習抑制與計算負載抑制之平衡。
藉由本發明獲得的基於模型式的加工結果之推測值可以供作為各種利用。例如存在藉由本發明中之模型式與取得資料所獲得的加工結果之推測值與期待的加工值的偏差大於某一管理值之情況下，發出警告的系統亦可。又，存在與該警告對應地對製造裝置之加工進行控制的控制系統亦可。前述之控制可以是停止製造裝置之製造過程的控制亦可。又，亦可以是自動的變更製造裝置之加工條件的控制。
以上，依據實施例1具體說明本發明，但本發明不限定於實施例1之構成，在不脫離其要旨之範圍內可以進行各種變更。例如實施例1中，設為CMP裝置之例，但與來自CMP裝置之資料無關，而為其他資料亦可。其中，關於半導體製造裝置通常使用的感測器非常多，運用方法亦大多複雜，因此有鑑於抽出的特徵量變多，或成為目的變數的加工結果之資料難以即時獲得，而適合作為本發明之適用對象。例如來自電漿蝕刻裝置之資料適合作為本發明處理的資料。
例如這樣的對被處理體執行規定之處理的半導體製造裝置，其構成為包含：對半導體製造裝置之狀態進行監控的感測器、對基於感測器之輸出的半導體製造裝置之狀態的電子資料進行記錄的記錄部、及使用與半導體製造裝置之狀態相關之電子資料進行運算的運算部，運算部具備用於運算的特徵量選擇部，特徵量選擇部在特徵量選擇中具備：對特徵量進行順位附加，從上位者重新排列的第一步驟；依據順位作成複數個僅使用一部分特徵量的資料群的第二步驟；使用僅使用一部分特徵量的資料群之各個，針對成為評估迴歸或是分類問題之預測性能的指標之值進行計算的第三步驟；依據計算出的預測性能指標將特徵量削除的第四步驟；及針對已削除的特徵量以外之特徵量，使用預測性能指標對特徵量之順位進行更新的第五步驟；直至第三步驟中計算的預測性能指標之最佳的值不被更新為止重複第二步驟至第五步驟。
換言之，在藉由使用特徵值算出的預測模型來預測處理結果的半導體製造裝置中，該半導體製造裝置具備控制裝置，該控制裝置執行以下步驟：將N設為自然數之情況下，將附加有順位的N個第一特徵量重新排列成為1位至N位之順位的第一步驟；作成N個第一資料群的第二步驟；計算對第一資料群各自之預測性能進行評估的第一評估指標值的第三步驟；依據第一評估指標值將第一特徵量之一部分削除的第四步驟；使用第一評估指標值對第一特徵量之中已削除的特徵量以外之特徵量亦即第二特徵量之順位進行更新的第五步驟；作成與第二特徵量之個數同數之第二資料群的第六步驟；計算對第二資料群各自之預測性能進行評估的第二評估指標值的第七步驟；及在第一評估指標值的最小值與第二評估指標值的最小值相同之情況下使用第二特徵量計算預測模型，在第一評估指標值的最小值與第二評估指標值的最小值不同之情況下，依據第二評估指標值將第二特徵量之一部分削除，並且使用第二評估指標值對第二特徵量之中已削除的特徵量以外之特徵量亦即第三特徵量之順位進行更新的第八步驟；第N編號之第一資料群係具有第一特徵量之1位至N位之特徵量，將M設為第二特徵量之個數之情況下，第M編號之第二資料群係具有第二特徵量之1位至M位之特徵量。
又，本發明中之訓練處理中之記錄部、運算部、測試處理中之記錄部、運算部分別存在於單一之硬體內亦可，分散配置於複數個硬體亦可。
又，成為本發明之資料來源的製造裝置可以是一台或複數台。可以將作成的一個模型式適用於複數台製造裝置之資料處理，或作成複數個模型式分別適用於不同的製造裝置之資料處理亦可。
另外，運算部中之特徵量選擇部可以獨立為硬體可。又，作為運算部整體之硬體內之程式之一部分存在，或作為硬體獨立亦可。
又，另外，實施例1中，在第1步驟係藉由既存的過濾法作成順位，但順位之作成方法可以是既存的過濾法以外的方法。
另外，實施例1中，第3步驟中，作為評估預測性能的指標係採用AIC，但該指標可以是AIC以外之指標。
201:曲線 401,501:表格
[圖1] 表示實施例1的特徵量選擇部中之資料處理動作之流程圖的圖。 [圖2] 表示實施例1的藉由習知手法的特徵量選擇中之AIC與特徵量數之關係的曲線圖。 [圖3] 表示在實施例1的特徵量選擇部中之特徵量選擇中，重複步驟之中AIC與特徵量數之關係變化之模式的曲線圖。 [圖4] 表示將實施例1的藉由習知手法之特徵量數、RR預測性能、計算需要時間予以彙整的圖表。 [圖5] 表示將實施例1的使用特徵量選擇部中之特徵量選擇之情況下之特徵量數、RR預測性能、計算時間彙整的表的圖。

Claims (10)

  1. 一種資料處理裝置，係使用特徵值計算預測模型者，其特徵為具備運算裝置，該運算裝置執行以下之步驟： 將N設為自然數之情況下，將附加有順位的N個第一特徵量重新排列成為1位至N位之順位的第一步驟； 作成N個第一資料群的第二步驟； 計算對第一資料群各自之預測性能進行評估的第一評估指標值的第三步驟； 依據第一評估指標值將第一特徵量之一部分削除的第四步驟； 使用第一評估指標值對第一特徵量之中已削除的特徵量以外之特徵量亦即第二特徵量之順位進行更新的第五步驟； 作成與第二特徵量之個數同數之第二資料群的第六步驟； 計算對第二資料群各自之預測性能進行評估的第二評估指標值的第七步驟；及 在第一評估指標值的最小值與第二評估指標值的最小值相同之情況下使用第二特徵量計算預測模型，在第一評估指標值的最小值與第二評估指標值的最小值不同之情況下，依據前述第二評估指標值將前述第二特徵量之一部分削除，並且使用第二評估指標值對第二特徵量之中已削除的特徵量以外之特徵量亦即第三特徵量之順位進行更新的第八步驟； 第N編號之第一資料群係具有第一特徵量之1位至N位之特徵量， 將M設為第二特徵量之個數之情況下，第M編號之第二資料群係具有第二特徵量之1位至M位之特徵量。
  2. 如請求項1之資料處理裝置，其中， 前述第一評估指標值係使用AIC算出的值。
  3. 如請求項1之資料處理裝置，其中， 前述第五步驟，係使用從前述第N編號之前述第一資料群所對應的前述第一評估指標值減去第(N-1)編號之前述第一資料群所對應的前述第一評估指標值之值，對前述第二對特徵量之順位進行更新。
  4. 一種半導體製造裝置，係藉由使用特徵值算出的預測模型來預測處理結果者，其特徵為：具備控制裝置，該控制裝置執行以下之步驟： 將N設為自然數之情況下，將附加有順位的N個第一特徵量重新排列成為1位至N位之順位的第一步驟； 作成N個第一資料群的第二步驟； 計算對第一資料群各自之預測性能進行評估的第一評估指標值的第三步驟； 依據第一評估指標值將第一特徵量之一部分削除的第四步驟； 使用第一評估指標值對第一特徵量之中已削除的特徵量以外之特徵量亦即第二特徵量之順位進行更新的第五步驟； 作成與第二特徵量之個數同數之第二資料群的第六步驟； 計算對第二資料群各自之預測性能進行評估的第二評估指標值的第七步驟；及 在第一評估指標值的最小值與第二評估指標值的最小值相同之情況下使用第二特徵量計算預測模型，在第一評估指標值的最小值與第二評估指標值的最小值不同之情況下，依據前述第二評估指標值將前述第二特徵量之一部分削除，並且使用第二評估指標值對第二特徵量之中已削除的特徵量以外之特徵量亦即第三特徵量之順位進行更新的第八步驟； 第N編號之第一資料群係具有第一特徵量之1位至N位之特徵量， 將M設為第二特徵量之個數之情況下，第M編號之第二資料群係具有第二特徵量之1位至M位之特徵量。
  5. 如請求項4之半導體製造裝置，其中， 前述第一評估指標值係使用AIC算出的值。
  6. 如請求項4之半導體製造裝置，其中， 前述第五步驟，係使用從前述第N編號之前述第一資料群所對應的前述第一評估指標值減去第(N-1)編號之前述第一資料群所對應的前述第一評估指標值之值，對前述第二特徵量之順位進行更新。
  7. 如請求項4至6之任一之半導體製造裝置，其中， 前述預測模型係預測電漿處理裝置之電漿處理結果。
  8. 一種資料處理方法，係使用特徵值計算預測模型者，其特徵為具有以下之步驟： 將N設為自然數之情況下，將附加有順位的N個第一特徵量重新排列成為1位至N位之順位的第一步驟； 作成N個第一資料群的第二步驟； 計算對第一資料群各自之預測性能進行評估的第一評估指標值的第三步驟； 依據前述第一評估指標值將前述第一特徵量之一部分削除的第四步驟； 使用第一評估指標值對第一特徵量之中已削除的特徵量以外之特徵量亦即第二特徵量之順位進行更新的第五步驟； 作成與第二特徵量之個數同數之第二資料群的第六步驟； 計算對第二資料群各自之預測性能進行評估的第二評估指標值的第七步驟；及 在第一評估指標值的最小值與第二評估指標值的最小值相同之情況下使用第二特徵量計算預測模型，在第一評估指標值的最小值與第二評估指標值的最小值不同之情況下，依據前述第二評估指標值將前述第二特徵量之一部分削除，並且使用第二評估指標值對第二特徵量之中已削除的特徵量以外之特徵量亦即第三特徵量之順位進行更新的第八步驟； 第N編號之第一資料群係具有第一特徵量之1位至N位之特徵量， 將M設為第二特徵量之個數之情況下，第M編號之第二資料群係具有第二特徵量之1位至M位之特徵量。
  9. 如請求項8之資料處理方法，其中， 前述第一評估指標值係使用AIC算出的值。
  10. 如請求項8之資料處理方法，其中， 前述第五步驟，係使用從前述第N編號之前述第一資料群所對應的前述第一評估指標值減去第(N-1)編號之前述第一資料群所對應的前述第一評估指標值之值，對前述第二特徵量之順位進行更新。
TW109114119A 2019-07-26 2020-04-28 資料處理裝置、方法、及半導體製造裝置 TWI751540B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP2019/029408 2019-07-26
PCT/JP2019/029408 WO2020115943A1 (ja) 2019-07-26 2019-07-26 データ処理装置、方法、及び半導体製造装置

Publications (2)

Publication Number Publication Date
TW202105106A true TW202105106A (zh) 2021-02-01
TWI751540B TWI751540B (zh) 2022-01-01

Family

ID=70974163

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109114119A TWI751540B (zh) 2019-07-26 2020-04-28 資料處理裝置、方法、及半導體製造裝置

Country Status (6)

Country Link
US (1) US11531848B2 (zh)
JP (1) JP6990768B2 (zh)
KR (1) KR102315074B1 (zh)
CN (1) CN112654982A (zh)
TW (1) TWI751540B (zh)
WO (1) WO2020115943A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07253966A (ja) * 1994-01-28 1995-10-03 Mitsubishi Electric Corp 交互作用分析モデル式作成装置及び交互作用分析モデル式作成方法及びデータ解析装置
JP4254892B1 (ja) * 2007-11-01 2009-04-15 オムロン株式会社 特徴量候補作成装置および特徴量候補作成方法
JP4591794B2 (ja) * 2008-04-22 2010-12-01 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4836994B2 (ja) 2008-06-11 2011-12-14 株式会社日立製作所 半導体処理装置
US8630890B2 (en) * 2008-12-03 2014-01-14 At&T Intellectual Property I, L.P. Product migration analysis using data mining by applying a time-series mathematical model
WO2016181474A1 (ja) * 2015-05-11 2016-11-17 株式会社東芝 パターン認識装置、パターン認識方法およびプログラム
KR102189311B1 (ko) * 2018-08-21 2020-12-09 두산중공업 주식회사 학습된 모델을 이용한 해석 장치 및 이를 위한 방법
US10826932B2 (en) * 2018-08-22 2020-11-03 General Electric Company Situation awareness and dynamic ensemble forecasting of abnormal behavior in cyber-physical system
CN109460825A (zh) * 2018-10-24 2019-03-12 阿里巴巴集团控股有限公司 用于构建机器学习模型的特征选取方法、装置以及设备
CN109508558B (zh) * 2018-10-31 2022-11-18 创新先进技术有限公司 一种数据有效性的验证方法、装置和设备

Also Published As

Publication number Publication date
KR102315074B1 (ko) 2021-10-21
KR20210013540A (ko) 2021-02-04
US11531848B2 (en) 2022-12-20
JP6990768B2 (ja) 2022-01-12
CN112654982A (zh) 2021-04-13
US20210027108A1 (en) 2021-01-28
WO2020115943A1 (ja) 2020-06-11
JPWO2020115943A1 (ja) 2021-02-15
TWI751540B (zh) 2022-01-01

Similar Documents

Publication Publication Date Title
JP6545728B2 (ja) 異常検知装置、異常検知方法、および異常検知プログラム
WO2024021246A1 (zh) 基于持续学习的跨设备增量轴承故障诊断方法
KR20180072562A (ko) 인공 뉴럴 네트워크 클래스-기반 프루닝
US8560279B2 (en) Method of determining the influence of a variable in a phenomenon
CN110609524A (zh) 一种工业设备剩余寿命预测模型及其构建方法和应用
US20150012250A1 (en) Clustering based continuous performance prediction and monitoring for semiconductor manufacturing processes using nonparametric bayesian models
JP2012226511A (ja) 歩留まり予測システムおよび歩留まり予測プログラム
CN109240276B (zh) 基于故障敏感主元选择的多块pca故障监测方法
CN112000081B (zh) 基于多块信息提取和马氏距离的故障监测方法及系统
KR20210017651A (ko) 반도체 제조 공정에서 고장 검출 및 불량 원인 진단을 위한 방법
CN111767162B (zh) 一种面向不同型号硬盘的故障预测方法及电子装置
Kim et al. Fault detection prediction using a deep belief network-based multi-classifier in the semiconductor manufacturing process
JP5889759B2 (ja) 欠損値予測装置、欠損値予測方法、欠損値予測プログラム
CN117033912A (zh) 一种设备故障预测方法、装置、可读存储介质及电子设备
TW202105106A (zh) 資料處理裝置、方法、及半導體製造裝置
CN110874601B (zh) 识别设备运行状态的方法、状态识别模型训练方法及装置
US20230214668A1 (en) Hyperparameter adjustment device, non-transitory recording medium in which hyperparameter adjustment program is recorded, and hyperparameter adjustment program
KR102486463B1 (ko) 열화에 따른 시계열 데이터를 이용한 실시간 이상 감지 방법 및 그를 위한 장치
KR20230075150A (ko) 시스템 건전성을 관리하기 위한 방법 및 장치
JP7127477B2 (ja) 学習方法、装置及びプログラム、並びに設備の異常診断方法
TWI472939B (zh) 良率損失估算方法及相關電腦可讀媒體
JP7154468B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2008299486A (ja) データ削除装置並びにデータ削除のための方法およびプログラム
Hu Supervised learning methods in sort yield modeling
Salahshoor Estimating Remaining Useful Life of Turbofan Engine Using Data-Level Fusion and Feature-Level Fusion