TW202334771A - 與值無關的情況的識別和匹配 - Google Patents
與值無關的情況的識別和匹配 Download PDFInfo
- Publication number
- TW202334771A TW202334771A TW111140410A TW111140410A TW202334771A TW 202334771 A TW202334771 A TW 202334771A TW 111140410 A TW111140410 A TW 111140410A TW 111140410 A TW111140410 A TW 111140410A TW 202334771 A TW202334771 A TW 202334771A
- Authority
- TW
- Taiwan
- Prior art keywords
- fingerprint
- data
- tracking
- feature
- tracking data
- Prior art date
Links
- 238000004519 manufacturing process Methods 0.000 claims abstract description 190
- 230000009471 action Effects 0.000 claims abstract description 140
- 238000000034 method Methods 0.000 claims abstract description 137
- 238000012545 processing Methods 0.000 claims description 152
- 238000010801 machine learning Methods 0.000 claims description 100
- 230000008569 process Effects 0.000 claims description 47
- 238000012549 training Methods 0.000 claims description 24
- 238000003860 storage Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 16
- 238000012423 maintenance Methods 0.000 claims description 12
- 230000003449 preventive effect Effects 0.000 claims description 8
- 230000010355 oscillation Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 239000000758 substrate Substances 0.000 description 93
- 238000012795 verification Methods 0.000 description 32
- 238000000605 extraction Methods 0.000 description 28
- 238000004458 analytical method Methods 0.000 description 23
- 238000012360 testing method Methods 0.000 description 22
- 230000013016 learning Effects 0.000 description 17
- 238000010200 validation analysis Methods 0.000 description 17
- 238000004454 trace mineral analysis Methods 0.000 description 15
- 238000013500 data storage Methods 0.000 description 14
- 239000000463 material Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000013179 statistical model Methods 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 9
- 238000007405 data analysis Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000002950 deficient Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000002688 persistence Effects 0.000 description 6
- 238000003070 Statistical process control Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000002085 persistent effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000000151 deposition Methods 0.000 description 4
- 230000008021 deposition Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 235000012431 wafers Nutrition 0.000 description 4
- 238000005234 chemical deposition Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000005240 physical vapour deposition Methods 0.000 description 3
- 238000004886 process control Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010998 test method Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- -1 process kit rings Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012993 chemical processing Methods 0.000 description 1
- 238000005229 chemical vapour deposition Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000002826 coolant Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011867 re-evaluation Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/4097—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using design data to control NC machines, e.g. CAD/CAM
- G05B19/4099—Surface or curve machining, making 3D objects, e.g. desktop manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32187—Correlation between controlling parameters for influence on quality parameters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32188—Teaching relation between controlling parameters and quality parameters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32193—Ann, neural base quality management
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32194—Quality prediction
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45031—Manufacturing semiconductor wafers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Manufacturing & Machinery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Automation & Control Theory (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- General Factory Administration (AREA)
- Collating Specific Patterns (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一種方法包括以下步驟:接收要用於產生指紋的一個或多個指紋尺寸(fingerprint dimension)。該方法進一步包括以下步驟:接收與製造過程相關聯的跟蹤資料。該方法進一步包括以下步驟:將該一個或多個指紋尺寸應用於該跟蹤資料,以產生至少一個特徵。該方法進一步包括以下步驟:基於該至少一個特徵,產生該指紋。該方法進一步包括以下步驟:基於該指紋,導致與一個或多個製造過程相關聯的改正動作的執行。
Description
本揭示內容涉及情況識別和匹配,特別是與值無關的情況的識別和匹配。
產品可以藉由使用製造設備執行一個或多個製造過程來生產。例如,半導體製造設備可以用來經由半導體製造過程來生產基板。生產的產品要有特定的性質,適合於目標應用。感測器資料的監測往往與基板製造過程相關聯。
以下是本揭示內容的簡化概要,以提供對本揭示內容的一些態樣的基本理解。這個概要並不是對本揭示內容的廣泛概述。它並不旨在識別本揭示內容的關鍵或重要元素,也不旨在劃定本揭示內容的特定實施例的任何範圍或請求項的任何範圍。它的唯一目的是以簡化的形式呈現本揭示內容的一些概念以作為後面呈現的更詳細描述的前奏。
在本揭示內容的一個態樣中,一種方法包括以下步驟:接收要用於產生指紋的一個或多個指紋尺寸(fingerprint dimension)。該方法進一步包括以下步驟:接收與製造過程相關聯的跟蹤資料。該方法進一步包括以下步驟:將該一個或多個指紋尺寸應用於該跟蹤資料,以產生至少一個特徵。該方法進一步包括以下步驟:基於該至少一個特徵,產生該指紋。該方法進一步包括以下步驟:基於該指紋,導致與一個或多個製造過程相關聯的改正動作的執行。
在本揭示內容的另一個態樣中,一種非暫時性機器可讀取儲存媒體儲存了指令,該等指令當被執行時使處理設備執行操作。該等操作包括以下步驟:接收要用於產生指紋的一個或多個指紋尺寸(fingerprint dimension)。該等操作進一步包括以下步驟:接收與製造過程相關聯的跟蹤資料。該等操作進一步包括以下步驟:將該一個或多個指紋尺寸應用於該跟蹤資料,以產生至少一個特徵。該等操作進一步包括以下步驟:基於該至少一個特徵,產生指紋。該等操作進一步包括以下步驟:基於該指紋,導致與一個或多個製造過程相關聯的改正動作的執行。
在本揭示內容的另一個態樣中,一種系統包括記憶體和與該記憶體耦合的處理設備。該處理設備用於:接收要用於產生指紋的一個或多個指紋尺寸(fingerprint dimension)。該處理設備進一步用於:接收與製造過程相關聯的跟蹤資料。該處理設備進一步用於:將該一個或多個指紋尺寸應用於該跟蹤資料,以產生至少一個特徵。該處理設備進一步用於:基於該至少一個特徵,產生該指紋。該處理設備進一步用於:基於該指紋,導致與一個或多個製造過程相關聯的改正動作的執行。
本文描述的技術涉及與值無關(例如,資料不可知)的情況的識別、證實、驗證和匹配(例如,用於執行改正動作的指紋產生)。製造設備用於處理產品。本揭示內容的各個態樣涉及改進製造過程,並且可以應用於各式各樣的製造應用。作為一個說明性的例子,將討論用於處理基板(如晶圓、半導體)的基板製造設備,但例子的範圍不應被解釋為將揭示內容限制在請求項的範圍之外。所處理的基板的性質要滿足特定功能性的目標性質。要選擇製造參數,試圖生產出滿足目標性質的基板。有許多製造參數(如硬體參數、製程參數等)有助於形成基板的所得性質。在製造期間,感測器提供感測器資料(例如,溫度、壓力等)。
傳統上,使用者試圖決定感測器資料的趨勢與成品基板的性質之間的關聯。例如,使用者可以決定,一個閾值溫度通常會導致成品的特定異常或基板處理設備的問題。感測器資料和與基板處理設備相關聯的異常之間的關聯可能不方便或不可能決定或傳輸到其他基板處理設備。例如,對商業秘密資訊安全性的憂慮會使保存這些關聯變得不方便或被禁止。對於其他基板處理設備,要重複這一過程,試圖決定感測器資料與異常之間的關聯。這種重複浪費了時間、能源和材料。在一些例子中,其他基板處理設備的使用者未能決定關聯,或可能決定錯誤的關聯。這導致了產品效能不足,也導致了材料、能源和時間的浪費。
本揭示內容的方法和設備解決了傳統解決方案的這些缺陷中的至少一些。在一些實施例中,處理設備接收與生產基板相關聯的跟蹤資料(例如從感測器接收)。感測器資料可以表明基板處理設備(例如,在基板製造過程期間)的條件(例如,溫度、壓力、流量、電壓等)。處理設備決定與跟蹤資料相關聯的至少一個特徵(例如,從跟蹤資料抽取特徵)。特徵可能是跟蹤資料中的特殊形狀,如斜坡或尖峰。特徵可以包括跟蹤資料的起始位置(例如,特徵發生的時間)、起始值、高度等。特徵可以包括與目標跟蹤資料的偏差,例如跟蹤資料中與來自多個跟蹤資料集合的資料點的平均值相差超過閾值量(例如,與平均值相差閾值數量的標準差,該閾值數量是為特定設施、應用等調整的)的資料點。許多其他類型的特徵都是可能的。處理設備基於特徵產生指紋(fingerprint)。指紋中包括的特徵可以被驗證為屬於特定的指紋尺寸(fingerprint dimension)。指紋尺寸包括用於處理資料並被設計為符合某些標準的模式(pattern)。這些標準可能與保護與跟蹤資料相關聯的商業秘密、遮蔽跟蹤資料的測得資料值等有關。指紋尺寸可以應用於與製造過程相關聯的跟蹤資料(例如,可以將用於從跟蹤資料抽取資訊的模式應用於跟蹤資料),以產生特徵。指紋可以包括符合許多不同指紋尺寸的特徵。在一些實施例中,包括在指紋中的指紋尺寸可以為跟蹤資料定制(例如,跟蹤資料的來源、與跟蹤資料相關聯的過程、在跟蹤資料捕捉的條件下處理的產品等)。指紋是與資料不可知的(data agnostic)(例如,與值無關,不表明跟蹤資料的資料值)。處理設備基於指紋,經由基板處理設備導致與基板生產相關聯的改正動作的執行。在一些實施例中,將特徵包括在指紋中、將指紋尺寸作為指紋的可能部分來包括等,可以被驗證以決定有助於形成分析性解決方案的能力(例如,預測改進製造設備效能的改正動作的能力)。在一些實施例中,改正動作是針對與跟蹤資料相關聯的同一基板處理設備(例如,與基板處理設備耦合的感測器提供跟蹤資料)。在一些實施例中,改正動作是針對不同於與跟蹤資料相關聯的基板處理設備的一個或多個基板處理設備集合。在一些實施例中,為了基於指紋導致改正動作的執行,處理設備將指紋儲存在指紋資料庫中。
與傳統方法相比,本揭示內容的各個態樣提供了技術優勢。與傳統的人工將感測器資料與異常關聯起來的解決方案相比,基於跟蹤資料的特徵來決定指紋,可以使改正動作的執行能夠使基板更好地生產。決定資料不可知的指紋,使指紋能夠在各設施之間共用,減少傳統解決方案的重複。這使得本揭示內容能夠使用更少的能源、時間和材料來改進基板的生產。以這種方式,與改正動作相關聯的指紋可以被分享或公開,而沒有分享商業秘密、違反智慧財產權(IP)保密標準或分享私人資料值的危險。任何對具有資料不可知的指紋的指紋資料庫有貢獻的實體都可以選擇有多少資訊和哪些類型的資訊可以被儲存和存取。在將指紋儲存到指紋資料庫之前,驗證指紋是否符合指定的指紋尺寸,或者在將指紋儲存在資料庫中時表明指紋符合哪些尺寸,可以保證指紋的不可知等級,這可以用於維持保密等級,例如商業秘密等。然後,將基於特徵(如跟蹤資料模式)的指紋與改正動作聯繫起來的知識可以被安全地保存和傳輸,從而節省了傳統解決方案重新學習這種關聯所使用的時間、能源和材料。
本揭示內容的一些實施例是就基板處理來描述的。在一些實施例中,本揭示內容適用於其他類型的製造過程。許多製造過程可以從本揭示內容的各個態樣受益。
本揭示內容的各態樣實現了一種方法,該方法包括以下步驟:接收要用於產生指紋的一個或多個指紋尺寸。該方法進一步包括以下步驟:接收與製造過程相關聯的跟蹤資料。該方法進一步包括以下步驟:將該一個或多個指紋尺寸應用於該跟蹤資料,以產生至少一個特徵。該方法進一步包括以下步驟:基於該至少一個特徵,產生該指紋。該方法進一步包括以下步驟:基於該指紋,導致與一個或多個製造過程相關聯的改正動作的執行。
本揭示內容的各態樣實現了一種儲存指令的非暫時性電腦可讀取儲存媒體,該等指令當被執行時,導致處理設備執行包括以下步驟的操作:接收要用於產生指紋的一個或多個指紋尺寸(fingerprint dimension)。該等操作進一步包括以下步驟:接收與製造過程相關聯的跟蹤資料。該等操作進一步包括以下步驟:將該一個或多個指紋尺寸應用於該跟蹤資料,以產生至少一個特徵。該等操作進一步包括以下步驟:基於該至少一個特徵,產生該指紋。該等操作進一步包括以下步驟:基於該指紋,導致與一個或多個製造過程相關聯的改正動作的執行。
本揭示內容的各態樣實現了一種包括記憶體和處理設備的系統。該處理設備被配置為:接收要用於產生指紋的一個或多個指紋尺寸(fingerprint dimension)。該處理設備被進一步配置為:接收與製造過程相關聯的跟蹤資料。該處理設備被進一步配置為:將該一個或多個指紋尺寸應用於該跟蹤資料,以產生至少一個特徵。該處理設備被進一步配置為:基於該至少一個特徵,產生該指紋。該處理設備被進一步配置為:基於該指紋,導致與一個或多個製造過程相關聯的改正動作的執行。
圖1是依據某些實施例,說明示例性系統100(示例性系統架構)的方塊圖。系統100包括客戶端設備120、製造設備124(例如基板處理設備)、感測器126、計量設備128、預測伺服器112、資料儲存器140和指紋資料庫160。預測伺服器112可以是預測系統110的一部分。預測系統110可以進一步包括伺服器機器170和180。
在一些實施例中,製造設備124(例如集群工具)是基板處理系統(例如整合處理系統)的一部分。製造設備124包括以下項目中的一者或多者:控制器、外殼系統(例如基板載體、前開式晶圓傳送盒(front opening unified pod;FOUP)、autoteach FOUP、製程套件外殼系統、基板外殼系統、輸送盒(cassette)等)、側儲存盒(side storage pod;SSP)、對準器設備(例如對準器腔室)、工廠介面(例如設備前端模組(EFEM))、裝載閘(load lock)、傳輸腔室、一個或多個處理腔室、機器手臂(其例如設置在傳輸腔室中,設置在前端介面中,等等),等等。安裝到工廠介面的外殼系統、SSP和裝載閘和設置在工廠介面中的機器手臂用於在外殼系統、SSP、裝載閘和工廠介面之間傳輸內容物(例如基板、製程套件環、載體、驗證晶圓等)。對準器設備設置在工廠介面中,以使內容物對準。安裝到傳輸腔室的裝載閘和處理腔室和設置在傳輸腔室中的機器手臂用於在裝載閘、處理腔室和傳輸腔室之間傳輸內容物(例如基板、製程套件環、載體、驗證晶圓等)。在一些實施例中,製造設備124包括基板處理系統的部件。在一些實施例中,製造設備124用於生產一種或多種產品(例如,基板、半導體、晶圓等)。在一些實施例中,製造設備124用於生產用於基板處理系統的一個或多個部件。在一些實施例中,製造設備124用於生產和/或包括黏合的金屬板結構(例如,要在基板處理系統的處理腔室中使用的蓮蓬頭)。
感測器126可以與製造設備124耦合。感測器126可以提供與製造設備124相關聯(例如與製造設備124生產對應的產品(例如基板)相關聯)的感測器資料。感測器資料可以被儲存為是時間函數的測量值(例如跟蹤資料142)。跟蹤資料142可以包括歷史跟蹤資料144和當前跟蹤資料146。跟蹤資料142可以用於設備健康狀態和/或產品健康狀態(例如產品品質)。製造設備124可以按照配方生產產品或在一段時間內執行作業。在一些實施例中,跟蹤資料142可以包括以下項目中的一者或多者的值:溫度(例如加熱器溫度)、間隔(SP)、壓力、高頻射頻(HFRF)、靜電卡盤(ESC)的電壓、電流、流量、功率、電壓等。跟蹤資料142可以與製造參數156相關聯或表明這些製造參數,例如硬體參數,例如製造設備124的設定或部件(例如尺寸、類型等),或製造設備124的製程參數。替代性或附加性地,可以將與一些硬體參數相關聯的資料儲存為製造參數156。製造參數156可以指示對製造設備的輸入設定(例如加熱器功率、氣體流量等)。跟蹤資料142和/或製造參數156可以在製造設備124正在執行製造過程時提供(例如處理產品時的設備讀數)。每個產品(例如每個基板)的跟蹤資料142可能是不同的。
計量設備128可以用於測量諸如基板之類的成品的性質。計量資料可以與諸如設備維護、產率之類的其他效能度量一起被包括在效能資料150中。效能資料150可以包括歷史效能資料152和當前效能資料154。
在一些實施例中,跟蹤資料142、效能資料150或製造參數156可以被處理(例如由客戶端設備120和/或預測伺服器112處理)。跟蹤資料142的處理可以包括產生特徵166。在一些實施例中,特徵166是跟蹤資料142或效能資料150中的模式(例如斜率、寬度、高度、峰值等),或來自跟蹤資料142或效能資料150的值的組合(例如根據電壓和電流導出的功率等)。跟蹤資料142可以包括特徵166,並且特徵166可以由預測部件114和/或客戶端設備120用於產生指紋162、執行訊號處理和/或獲得預測資料168,以用於執行改正動作。
跟蹤資料142的每個實例(例如集合)可以與產品(例如基板)、製造設備124集合、由製造設備124所生產的基板類型等對應。效能資料150或製造參數156的每個實例可以同樣與產品、製造設備集合、由製造設備所生產的基板類型等對應。資料儲存器140可以進一步儲存關聯不同資料類型集合的資訊,例如表明跟蹤資料集、感測器資料、計量資料集和製造參數集全都與同一產品、製造設備、基板類型等相關聯的資訊。
在一些實施例中,預測系統110可以使用監督式機器學習來產生預測資料168(例如監督式資料集,預測資料168包括計量資料等)。在一些實施例中,預測系統110可以使用半監督式學習來產生預測資料168(例如半監督式資料集,預測資料168是預測百分比等)。在一些實施例中,預測系統110可以使用無監督式機器學習(例如無監督式資料集、分群、基於效能資料150的分群等)來產生預測資料168。在一些實施例中,預測系統110可以使用模型來產生預測資料168,該模型是機器學習模型、統計模型等中的一者或多者。
客戶端設備120、製造設備124、感測器126、計量設備128、預測伺服器112、資料儲存器140、伺服器機器170和伺服器機器180可以經由網路130彼此耦合,以產生預測資料168,執行改正動作。
在一些實施例中,網路130是公用網路,它向客戶端設備120提供對預測伺服器112、資料儲存器140和其他可公用的計算設備的存取。在一些實施例中,網路130是私用網路,它向客戶端設備120提供對製造設備124、感測器126、計量設備128、資料儲存器140和其他可私用的計算設備的存取。網路130可以包括一個或多個廣域網路(WAN)、區域網路(LAN)、有線網路(例如乙太網路)、無線網路(例如802.11網路或Wi-Fi網路)、蜂巢式網路(例如長期演進(LTE)網路)、路由器、集線器、交換機、伺服器電腦、雲端計算網路和/或上述項目的組合。
客戶端設備120可以包括計算設備,例如個人電腦(PC)、膝上型電腦、行動電話、智慧型手機、平板電腦、隨身型易網機電腦、網路連接的電視(「智慧型TV」)、網路連接的媒體播放器(例如藍光播放器)、機上盒、過頂(OTT)串流設備、營運商盒子(operator box)等。客戶端設備120可以包括改正動作部件122。改正動作部件122可以接收與製造設備124相關聯的指示的使用者輸入(例如經由客戶端設備120顯示的圖形使用者介面(GUI)接收)。在一些實施例中,改正動作部件122向預測系統110傳輸指示,從預測系統110接收輸出(例如預測資料168),基於輸出來決定改正動作,並導致改正動作被實施。在一些實施例中,改正動作部件122獲得與製造設備124相關聯的跟蹤資料142(例如當前跟蹤資料146)(例如從資料儲存器140等獲得),並向預測系統110提供與製造設備124相關聯的跟蹤資料142(例如當前跟蹤資料146)。在一些實施例中,改正動作部件122在資料儲存器140中儲存跟蹤資料142,預測伺服器112從資料儲存器140擷取跟蹤資料142。在一些實施例中,預測伺服器112可以在資料儲存器140中儲存經訓練的機器學習模型190的輸出(例如預測資料168),客戶端設備120可以從資料儲存器140擷取輸出。在一些實施例中,改正動作部件122從預測系統110接收對改正動作的指示,並導致改正動作被實施。每個客戶端設備120包括作業系統,該作業系統允許使用者進行產生、觀看或編輯資料(例如與製造設備124相關聯的指示、與製造設備124相關聯的改正動作等)的操作中的一者或多者。
在一些實施例中,改正動作部件122藉由將指紋162儲存在指紋資料庫160中,導致改正動作的執行。在一些實施例中,指紋162包括跟蹤資料142的特徵166、上下文資料(例如,配方操作、相關聯的製造部件)和/或邏輯(例如,預防性維護、預測效能等)中的一者或多者。客戶端設備120的改正動作部件122可以促進指紋162的產生,其方法例如是向預測系統110提供跟蹤資料142,以及將特徵166與從預測系統110收到的預測資料168相關聯。在一些實施例中,在將指紋162儲存在指紋資料庫160中之前,改正動作部件122可以驗證指紋162是否符合保密標準。在一些實施例中,保密標準定義指紋162是資料不可知的,表明不能根據指紋162推斷出資料值(例如,感測器讀數)。在一些實施例中,保密標準要求指紋162是智慧財產權(IP)不可知的,表明與跟蹤資料142相關聯的實體認為是保密的資訊都不能根據指紋162推斷出來。在一些實施例中,指紋尺寸被開發為篩選出可能從不符合資料不可知或IP不可知標準的跟蹤資料抽取出來的資料,或用於驗證所開發的指紋確實符合資料不可知或IP不可知標準。在一些實施例中,指紋可以包括與符合這些標準的一個或多個尺寸對應的資料。
改正動作部件122也可以驗證指紋162是至少一個改正動作的預測器。在一些實施例中,指紋資料庫160可以儲存開發的指紋尺寸。指紋資料庫160還可以儲存表明各種指紋尺寸所實現的IP不可知等級的資料。
在一些實施例中,指紋可以藉由應用一個或多個指紋尺寸(例如,用於處理跟蹤資料以產生特徵的模式或指令)來產生,這些指紋尺寸已經過驗證和證實以用於跟蹤資料。在一些實施例中,指紋尺寸包括與跟蹤資料的變化(例如,跟蹤資料中某種形狀的開始,跟蹤資料與跟同一製造操作相關聯的先前跟蹤資料之間的差異,等等)有關的相應指令集。將指紋尺寸應用於跟蹤資料可以包括對跟蹤資料執行指令。在一些實施例中,指紋尺寸可以包括識別跟蹤資料的一部分(例如,跟蹤資料值發生變化的一部分,意外值的一部分等)的指令。在一些實施例中,跟蹤資料的特徵可以依據與指紋尺寸相關聯的指令來抽取。在一些實施例中,特徵可以與跟蹤資料的一部分相關聯,在該部分中偵測到了跟蹤資料的變化(例如跟蹤資料中的形狀、隨時間的漂移等)。可以就圖6-7找到對指紋資料的驗證和證實的更詳細描述。
在一些實施例中,歷史性質資料152與產品(其例如是使用與歷史跟蹤資料144和儲存的製造參數156相關聯的製造參數來生產的)的歷史性質資料對應,預測資料168與預測的性質資料(例如要生產的產品或已經在由當前跟蹤資料146和/或製造參數156所記錄的條件下生產的產品的預測性質資料)相關聯。在一些實施例中,預測資料168是要生產的產品或已經依據作為當前跟蹤資料146和/或製造參數156記錄的條件來生產的產品的預測計量資料(例如虛擬計量資料)。在一些實施例中,預測資料168是對異常(例如異常的產品、異常的部件、異常的製造設備124、異常的能源使用量等)和異常的一個或多個原因的指示。在一些實施例中,預測資料168是對製造設備124、感測器126、計量設備128等的某個部件隨時間的變化或漂移的指示。在一些實施例中,預測資料168是對製造設備124、感測器126、計量設備128等的部件的壽命結束的指示。
執行導致有缺陷的產品的製造過程可能在時間、能源、產品、部件、製造設備124、識別缺陷和丟棄有缺陷的產品的成本等方面都會造成損失。藉由基於跟蹤資料142(例如正用於或要用於製各產品的製造參數)的特徵166來產生指紋162(例如預測資料168)和基於指紋162來導致改正動作的執行,系統100可以具有避免生產、識別和丟棄有缺陷產品的成本的技術優勢。
成功地將跟蹤資料142中的模式(例如,特徵166)和效能資料150的各個態樣關聯起來可能是一個昂貴的過程。上述與生產和丟棄有缺陷的產品相關聯的問題,由於需要花費時間、能源、材料、人員等來尋找和改正次優效能的原因而變得更加惡化。這些問題可以藉由儲存表明跟蹤資料142的特徵166(特徵可以符合開發的指紋尺寸)的指紋162和與那些特徵166相關聯的改正動作來緩解。
執行導致製造設備124的部件出現故障的製造過程可能會造成停機時間、產品損壞、設備損壞、快遞訂購更換部件等方面的損失。藉由基於跟蹤資料142(例如正用於或要用於製造產品的製造參數)的特徵166產生指紋162(其例如包括預測資料168)和基於指紋162來導致改正動作(例如部件的預測的操作性維護,例如更換、處理、清潔等)的執行,系統100可以具有避免意外部件故障、計劃外停機時間、生產力損失、意外設備故障、產品報廢等情況中的一者或多者的成本的技術優勢。監測部件(例如製造設備124、感測器126、計量設備128等)隨時間變化的效能可以提供對劣化部件的指示。
製造參數對於生產產品而言可能是次優的,這可能造成資源(如能源、冷卻劑、氣體等)消耗增加、生產產品的時間量增加、部件故障增加、有缺陷的產品的數量增加等代價高昂的結果。藉由基於跟蹤資料142的特徵166來產生指紋162(例如預測資料168)和基於指紋162來導致更新製造參數的改正動作(例如設定最佳的製造參數)的執行,系統100可以具有使用最佳的製造參數(例如硬體參數、製程參數、最佳設計)以避免次優製造參數的昂貴結果的技術優勢。
改正動作可以與以下項目中的一者或多者相關聯:計算製程控制(CPC)、統計製程控制(SPC)(例如對電子部件進行SPC以決定控制的製程,進行SPC以預測部件的有用壽命,進行SPC以與3-西格馬(sigma)的圖表進行比較等)、高級製程控制(APC)、基於模型的製程控制、預防性操作維護、設計最佳化、為當前或未來的製造過程更新製造參數或更新製造配方、反饋控制、機器學習修改等。
在一些實施例中,改正動作包括提供警報(例如如果預測資料168表明預測到異常,例如產品、部件或製造設備124的異常,則提供停止或不執行製造過程的警報)。在一些實施例中,改正動作包括排定預防性維護。在一些實施例中,改正動作包括排定改正性維護。在一些實施例中,改正動作包括更新製程配方以生產後續的基板。在一些實施例中,改正動作可以是根據正在進行的基板處理製程來決定的,並且可以包括更新當前製程。在一些實施例中,改正動作包括改正與製造設備124(例如,基板處理設備)相關聯的腔室漂移。在一些實施例中,改正動作包括改正與製造設備124(例如,基板處理設備)相關聯的感測器漂移。在一些實施例中,改正動作包括提供反饋控制(例如響應於預測資料168表明預測到異常而修改製造參數)。在一些實施例中,改正動作包括提供機器學習(例如基於預測資料168來修改一個或多個製造參數)。在一些實施例中,改正動作的執行包括導致對一個或多個製造參數的更新。在一些實施例中,一個或多個改正動作要與基板處理設備的部件聯合執行。
製造參數可以包括硬體參數(例如更換部件、使用某些部件、更換處理晶片、更新韌體等)和/或製程參數(例如溫度、壓力、流量、速率、電流、電壓、氣體流量、提升速度等)。在一些實施例中,改正動作包括導致預防性操作維護(例如對製造設備124的部件進行更換、處理、清潔等)。在一些實施例中,改正動作包括導致設計最佳化(例如為最佳化的產品更新製造參數、製造過程、製造設備124等)。在一些實施例中,改正動作包括更新配方(例如製造設備124要處於閒置模式、睡眠模式、暖機模式等)。
預測伺服器112、伺服器機器170和伺服器機器180可以各自包括一個或多個計算設備,例如機架式伺服器、路由器電腦、伺服器電腦、個人電腦、大型電腦、膝上型電腦、平板電腦、桌上型電腦、圖形處理單元(GPU)、加速器特定應用積體電路(ASIC)(例如張量處理單元(TPU))等。
預測伺服器112可以包括預測部件114。在一些實施例中,預測部件114可以接收當前跟蹤資料146和/或製造參數156(例如從客戶端設備120接收、從資料儲存器140擷取),並基於當前資料來產生用於執行與製造設備124相關聯的改正動作的輸出(例如預測資料168)。在一些實施例中,預測部件114可以使用一個或多個經訓練的模型190基於當前資料來決定用於執行改正動作的輸出。
在一些實施例中,模型190可以用於產生資料不可知的(或IP不可知的)指紋。模型190可以是單一模型,也可以是許多模型。這些模型可以依序應用,多個模型可以同時使用,可以基於某種度量來選擇適當的模型,可以使用這些方法的組合,等等。模型190(或包括在模型190中的模型)可以是機器學習模型,包括監督式、無監督式或半監督式的機器學習模型。模型190可以不是機器學習模型,例如統計模型、相關模型等。
在一些實施例中,跟蹤資料142被供應給一個或多個模型190。模型190可以用於從跟蹤資料142抽取特徵166。可能有幾個可供選擇以執行特徵抽取的模型。例如,一種類型的特徵抽取對某些配方、配方操作、基板類型、製造設備等的分析可能比另一種類型的特徵抽取更好。如果有可用的主題專家(subject matter expert;SME),那麼特徵抽取可以由SME指導。特徵抽取可以包括描述跟蹤資料142中的形狀和模式。特徵166可以包括與跟蹤資料有關的統料資料,例如對某些模式的發生進行計數,或測量模式如何隨時間(例如從配方操作到後來的配方操作,或從基板製造過程到後來的基板製造過程)變化。為執行特徵抽取而選擇的模型可以被選擇為符合資料不可知標準、IP不可知標準和/或其他標準,這些標準可能因應用而異。
在一些實施例中,對抽取的特徵166進行進一步分析。模型190可以用於將改正動作和/或預測資料168與特徵166關聯起來。特徵166作為輸入提供給經訓練的模型190。模型190提供與輸入特徵166相關聯的改正動作和/或預測資料作為輸出。模型190可以包括機器學習。模型190可以是監督式機器學習模型、無監督式機器學習模型或半監督式機器學習模型。模型190可以是一個不是機器學習模型的模型,如統計模型。模型190可以使用從以前的跟蹤資料和效能資料的實例收集到的資料,以產生表明與特徵166相關聯的改正動作的資料。
基於一個或多個特徵166產生指紋162使與跟蹤資料142中的模式相關聯的改正動作和/或預測資料能夠被維護,而且是以保護資料隱私的方式維護。特徵166、上下文資料和效能資料150都可以被定制,以符合維護資料隱私的標準。
在一些實施例中,輸入模型190的資料可以包括來自單個感測器126的跟蹤資料142。在其他實施例中,輸入模型190的資料可以包括來自許多感測器126的跟蹤資料142,這些跟蹤資料表明不同性質的值。資料輸入可以包括製造參數156。從跟蹤資料142抽取的特徵166、抽取特徵166的方法、與特徵相關聯的改正動作和/或預測資料168以及關聯改正動作和/或預測資料168的方法都可以針對作為輸入提供的資料進行調整。
在一些實施例中,預測部件114接收當前跟蹤資料146和/或製造參數156,執行訊號處理以將當前資料分解成各個當前資料集,提供當前資料集作為對模型190的輸入,並且從模型190獲得表明預測資料168的輸出。在一些實施例中,預測資料168表明效能資料150(例如計量資料、產率等)。在一些實施例中,預測資料168表明改正動作。
在一些實施例中,模型190將跟蹤資料142和表明與跟蹤資料142相關聯的配方、製造設備部件等的資料作為輸入,並產生資料不可知的指紋作為輸出。模型190可以是單一模型,也可以包括許多模型。模型190可以基於輸入資料來決定執行哪些製程,或者使用者可以表明哪些分析適合輸入資料,或者這些情況的組合。
資料儲存器140和/或指紋資料庫160可以是記憶體(例如隨機存取記憶體)、驅動器(例如硬碟機、快閃碟)、資料庫系統,或能夠儲存資料的另一種類型的部件或設備。資料儲存器140和/或指紋資料庫160可以包括可以跨越多個計算設備(例如多個伺服器電腦)的多個儲存部件(例如多個驅動器或多個資料庫)。資料儲存器140可以儲存跟蹤資料142、製造參數156、效能資料150、製造參數156、預測資料168和特徵166。指紋資料庫160和/或資料儲存器140可以儲存指紋162。跟蹤資料142可以包括歷史跟蹤資料144和當前跟蹤資料146。跟蹤資料可以包括製造過程的持續時間內的感測器資料時間跡線,資料與實體感測器的關聯,預處理的資料(例如平均數和複合資料),以及表明感測器效能隨時間(即許多製造過程)的變化的資料。製造參數156和效能資料150可以包含類似的特徵。歷史跟蹤資料144、製造參數156和歷史效能資料152可以是歷史資料(例如至少有一部分用於訓練模型190)。當前跟蹤資料146可以是當前資料(例如在歷史資料之後,至少有一部分要被輸入到模型190中),預測資料168要為該當前資料產生(例如用於執行改正動作)。特徵166(例如特徵資料)是模型190從跟蹤資料142抽取的與跟蹤資料的特徵有關的資料。特徵166(例如特徵資料)可以儲存在資料儲存器140中,以包括在資料不可知的指紋162中。
指紋資料庫160可以是記憶體、驅動器、資料庫系統,或者能夠儲存資料並且與資料儲存器140相異或作為該資料儲存器的一部分的另一種類型的部件或設備。指紋資料庫160也可以跨越多個設備,包括資料儲存器140中所包括的一個或多個設備。
在一些實施例中,預測系統110進一步包括伺服器機器170和伺服器機器180。伺服器機器170包括資料集產生器172,它能夠產生資料集(例如資料輸入集合和目標輸出集合)以訓練、驗證和/或測試一個或多個模型,例如機器學習模型。模型190可以包括一個或多個機器學習模型,也可以是其他類型的模型,如統計模型。納入機器學習的模型可以使用輸入資料進行訓練,在某些情況下也可以使用目標輸出資料進行訓練。不納入機器學習的模型也可以被訓練。在一些實施例中,資料集產生器172可以將歷史資料(例如儲存在資料儲存器140中的歷史跟蹤資料144、製造參數156或歷史效能資料152)劃分成訓練集(例如百分之六十的歷史資料)、驗證集(例如百分之二十的歷史資料)和測試集(例如百分之二十的歷史資料)。在一些實施例中,預測系統110(例如經由預測部件114)產生多個元素集合。例如,第一元素集合可以與感測器資料的第一類型集合(其例如來自第一感測器集合、來自第一感測器集合的第一值組合、來自第一感測器集合的值中的第一模式)對應,該第一類型集合與資料集(例如訓練集、驗證集和測試集)中的每一者對應,並且第二元素集合可以與感測器資料的第二類型集合(其例如來自與第一感測器集合不同的第二感測器集合、與第一組合不同的第二值組合、與第一模式不同的第二模式)對應,該第二類型集合與資料集中的每一者對應。
伺服器機器180包括訓練引擎182、驗證引擎184、選擇引擎185和/或測試引擎186。引擎(例如訓練引擎182、驗證引擎184、選擇引擎185和測試引擎186)可以指硬體(例如電路系統、專用邏輯、可程式化邏輯、微代碼、處理設備等)、軟體(例如運行於處理設備、通用電腦系統或專用機器上的指令)、韌體、微代碼,或上述項目的組合。訓練引擎182可以能夠使用與來自資料集產生器172的訓練集相關聯的一個或多個元素集合,來訓練機器學習模型190或包括在模型190中的各種機器學習模型。訓練引擎182可以產生多個經訓練的機器學習模型190,其中每個經訓練的機器學習模型190與訓練集中相異的元素集合(例如來自相異的感測器集合的感測器資料)對應。例如,第一經訓練的機器學習模型可以使用所有元素(例如X1-X5)來訓練,第二經訓練的機器學習模型可以使用第一元素子集(例如X1、X2、X4)來訓練,第三經訓練的機器學習模型可以使用第二元素子集(例如X1、X3、X4和X5)來訓練,該第二元素子集可以與該第一元素子集部分重疊。資料集產生器172可以接收經訓練的機器學習模型(例如被訓練為執行跟蹤資料處理的第一操作的模型)的輸出,將該資料收集成訓練資料集、驗證資料集和測試資料集,並使用這些資料集來訓練第二機器學習模型(例如要被訓練為執行跟蹤資料處理的第二操作的模型)。
驗證引擎184可以能夠使用來自資料集產生器172的驗證集的對應元素集合來驗證經訓練的機器學習模型190。例如,使用訓練集的第一元素集合來訓練的第一經訓練的機器學習模型190可以使用驗證集的第一元素集合來驗證。驗證引擎184可以基於驗證集的對應元素集合來決定經訓練的機器學習模型190中的每一者的準確度。驗證引擎184可以丟棄準確度不滿足閾值準確度的經訓練的機器學習模型190。在一些實施例中,選擇引擎185可以能夠選擇準確度滿足閾值準確度的一個或多個經訓練的機器學習模型190。在一些實施例中,選擇引擎185可以能夠選擇具有經訓練的機器學習模型190中最高的準確度的經訓練的機器學習模型190。在一些實施例中,驗證引擎184和選擇引擎185可以對包括在模型190中的每個機器學習模型重複這一過程。
測試引擎186可以能夠使用來自資料集產生器172的測試集的對應元素集合來測試包括在模型190中的經訓練的機器學習模型。例如,使用訓練集的第一元素集合來訓練的第一經訓練的機器學習模型190可以使用測試集的第一元素集合來測試。測試引擎186可以基於測試集來決定模型190中所包括的具有所有經訓練的機器學習模型中最高的準確度的經訓練的機器學習模型。測試引擎186可以對包括在模型190中的每一個機器學習模型重複這一過程。
模型190可以指由訓練引擎182使用訓練集所創建的模型工件,該訓練集包括資料輸入和對應的目標輸出(相應的訓練輸入的正確答案)。可以找出資料集中將資料輸入映射到目標輸出(正確答案)的模式,並且向機器學習模型提供捕捉這些模式的映射。機器學習模型可以使用支援向量機(SVM)、放射狀基底函數(RBF)、聚類、監督式機器學習、半監督式機器學習、非監督式機器學習、k最近鄰域演算法(k-NN)、線性迴歸、隨機森林、神經網路(例如人工神經網路)等中的一者或多者。模型190可以產生與跟蹤資料相關聯的資料不可知的指紋,並且可以將該指紋儲存在指紋資料庫160中。
預測部件114可以向模型190提供當前跟蹤資料146,並且可以對輸入運行經訓練的機器學習模型190以獲得一個或多個輸出。預測部件114可以能夠根據模型190的輸出決定(例如抽取)預測資料168,並且可以根據輸出決定(例如抽取)置信度資料,該置信度資料表明預測資料168是對與使用或要使用製造設備124在當前跟蹤資料146和/或製造參數156下生產的產品的輸入資料相關聯的製程的準確預測器的置信度位準。預測部件114或改正動作部件122可以使用置信度資料來決定是否基於預測資料168引起與製造設備124相關聯的改正動作。
置信度資料可以包括或表明預測資料168是對與輸入資料的至少一部分相關聯的產品的準確預測的置信度位準。在一個例子中,置信度位準是0與1之間的實數(包括0和1),其中0表明對預測資料168是對依據輸入資料來處理的產品的準確預測沒有信心,1表明對預測資料168準確地預測了依據輸入資料來處理的產品的性質有絕對的信心。響應於針對預定的實例數量(例如實例百分比、實例頻率、發生頻率、實例總數等)表明置信度位準低於閾值位準的置信度資料,預測部件114可以導致模型190被再訓練(例如基於當前跟蹤資料146、製造參數156、當前效能資料154等來再訓練)。
為了說明而不是限制的目的,本揭示內容的各個態樣描述了使用歷史資料(例如,歷史跟蹤資料144和歷史效能資料152)來訓練一個或多個機器學習模型190,並將當前資料(例如,當前跟蹤資料146)輸入到該一個或多個經訓練的機器學習模型190中,以決定預測資料168。在其他的實施例中,使用試探(heuristic)模型或基於規則的模型來決定預測資料168(例如在不使用經訓練的機器學習模型的情況下)。預測部件114可以監測歷史跟蹤資料144、製造參數156和歷史效能資料152。
在一些實施例中,客戶端設備120、預測伺服器112、伺服器機器170和伺服器機器180的功能可以由較少數量的機器提供。例如,在一些實施例中,伺服器機器170和180可以被整合成單個機器,而在一些其他的實施例中,伺服器機器170、伺服器機器180和預測伺服器112可以被整合成單個機器。在一些實施例中,客戶端設備120和預測伺服器112可以被整合成單個機器。
一般而言,在一個實施例中被描述為由客戶端設備120、預測伺服器112、伺服器機器170和伺服器機器180所執行的功能也可以視情況在其他的實施例中在預測伺服器112上執行。此外,歸因於特定部件的功能性還可以由一起操作的不同部件或多個部件所執行。例如,在一些實施例中,預測伺服器112可以基於預測資料168來決定改正動作。在另一個例子中,客戶端設備120可以基於來自經訓練的機器學習模型的輸出來決定預測資料168。
此外,特定部件的功能還可以由一起操作的不同部件或多個部件所執行。預測伺服器112、伺服器機器170或伺服器機器180中的一者或多者可以作為藉由適當的應用程式設計介面(API)提供給其他系統或設備的服務被存取。
在實施例中,「使用者」可以被表示為單個個人。然而,本揭示內容的其他實施例包含是由複數個使用者和/或自動來源所控制的實體的「使用者」。例如,聯合作為管理員群組的個人使用者集合可以被視為「使用者」。
本揭示內容的實施例可以應用於資料品質評估、特徵增強、模型評估、虛擬計量(VM)、預測性維護(PdM)、極限最佳化等。
圖2A-B是依據某些實施例,與產生指紋相關聯的方法200A-B的流程圖。在一些實施例中,方法200A-B是藉由處理邏輯來執行的,該處理邏輯包括硬體(例如電路系統、專用邏輯、可程式化邏輯、微代碼、處理設備等)、軟體(例如運行於處理設備、通用電腦系統或專用機器上的指令)、韌體、微代碼,或上述項目的組合。在一些實施例中,方法200A-B至少部分地由預測系統110執行。在一些實施例中,方法200A-B至少部分地由預測系統110(例如預測伺服器112、預測部件114)、客戶端設備120(例如改正動作部件)、製造設備124和/或計量設備128中的一者或多者所執行。在一些實施例中,非暫時性儲存媒體儲存指令,該等指令當由處理設備(例如預測系統110、伺服器機器180、預測伺服器112等的處理設備)執行時,使該處理設備執行方法200A-B中的一者或多者。
為便於解釋,方法200A-B被描繪和描述成一系列的操作。然而,依據本揭示內容的操作可以以各種順序和/或並行地發生,並且與本文未提出和描述的其他操作一起發生。此外,在一些實施例中,不是所有示出的操作都被執行以實施依據所揭露的主題的方法200A-B。此外,本領域中的技術人員將瞭解並理解,方法200A-B可以替代性地經由狀態圖或事件被表示為一系列的相互關聯的狀態。
參考圖2A,在一些實施例中,在方塊201處,處理邏輯接收要用於產生第一指紋的一個或多個指紋尺寸。指紋尺寸的選擇可能是因為它們能有效地遮蔽資料值、保護智慧財產權等。指紋尺寸可以包括對每一個蹤跡、每一個製程、每一個製造設施等的不同尺寸選擇。
在方塊202處,處理邏輯接收與製造過程相關聯的跟蹤資料。跟蹤資料可以是在基板生產過程期間在基板處理腔室中隨著時間的推移而接收的感測器資料。跟蹤資料可以具有一種或多種類型,包括溫度、壓力等。跟蹤資料可以是來自單一感測器、來自同一類型的多個感測器或測量一種或多種性質的多種類型感測器的資料。處理設備也可以接收資料,以為跟蹤資料提供上下文,例如表明哪些製造部件與跟蹤資料相關聯的資料,對配方和配方操作的指示,對基板類型或處理類型的指示,等等。在一些實施例中,由處理邏輯所接收的資料可以包括預處理的跟蹤資料。
在方塊203處,處理邏輯將該一個或多個指紋尺寸應用於跟蹤資料,以產生與跟蹤資料相關聯的至少一個特徵。產生的特徵可能符合一個或多個既定的尺寸。產生符合經開發、證實和驗證的指紋尺寸的特徵可以作為一個篩選過程,以避免抽取/儲存違反資料不可知標準、IP不可知標準等的資料。該至少一個特徵可以是跟蹤資料中的特定形狀,例如振盪週期、尖峰、斜坡或穩定狀態。該特徵可以是描述資料中一個或多個形狀的資料,如斜坡的起始點和高度,尖峰的高度和寬度,或對跟蹤資料中的形狀的其他描述。在一些實施例中,跟蹤資料的資料值可以不存在於特徵資料中。例如,這可以藉由將資料值的範圍過渡到一個任意的尺度來實現。在一些實施例中,跟蹤資料中的形狀也可以不反映在特徵中。該特徵可以包括跟蹤資料中的形狀統料資料,例如藉由計算特定特徵的發生次數或描述特徵的性質分佈(例如,描述一個尖峰具有一定高度的可能性的統料資料)來包括。該特徵可以與資料中的特定形狀無關,但替代性地或附加性地,可以是執行全蹤跡分析(full trace analysis)的結果。全蹤跡分析可能會強調出一系列超出正常範圍的資料點。正常範圍可以被決定為在一個閾值內的範圍。閾值可以與以下項目有關:製造公差、經驗效能資料公差、預測效能資料公差、與同一配方操作的平均值的偏差(例如,與平均值相差超過兩個標準差),或其他可以用於表明正常性的度量。全面跟蹤分析特徵可以包括資料點,或對異常資料的描述,如被強調的資料點的曲線下面積、位置、高度、長度等。特徵可以包括蹤跡或蹤跡群組中形狀的存在或這些形狀之間的參數相關性,例如,當第一特徵存在時,第二特徵存在的可能性,或者當第一特徵由特定的參數所表徵時,第二特徵由(相同或不同的)一個參數所表徵的可能性。跟蹤資料中可能是藉由應用一個或多個指紋尺寸(例如,形狀資料)產生的特徵的模式,可以用於依據其他指紋尺寸(例如,跟蹤資料中形狀發生的統料資料)建立特徵。特徵可以包括隨時間進行的跟蹤資料之間的比較(例如比較來自製造設備的不同生產運行(production run)的跟蹤資料、來自不同經處理的產品的跟蹤資料等)。從跟蹤資料抽取的特徵可以是這些或其他類型的特徵的任何組合。
方塊203的特徵產生可以涉及模組的使用。這可以是經訓練的機器學習模型、統計模型或另一種類型的模型。處理設備可以向至少一個適當的模型供應跟蹤資料。在一些實施例中,該模型由執行方法200A的操作的處理設備所執行。在一些實施例中,該模型由不同的處理設備所執行。該模型可以包含以下項目中的一者或多者:統計模型,如高斯混合模型;神經模型,如神經網路;或為異常特徵抽取、特徵持續性分析、自動劃分等設計的模型。該模型可以藉由資料分析來自動識別特徵。該模型可以被訓練為識別與某些指紋尺寸對應的特徵。
至少一個特徵的決定可以在SME的指導下完成。這些特徵可以是與上面討論的類型相同的類型。該特徵可以是跟蹤資料中的形狀,例如振盪週期、尖峰、斜坡或穩定狀態。該特徵可以包括描述資料中的形狀的資料,如起始點、高度、寬度等。在一些實施例中,跟蹤資料無法從特徵資料抽取出來。在一些實施例中,形狀可能不會被直接反映為特徵,但關於形狀存在的統計資料可以被抽取為特徵。在一些實施例中,特徵可能與資料中的形狀無關,但可能是全面跟蹤分析的結果。全面跟蹤分析會強調出一系列超出正常範圍的資料點。正常範圍可以被決定為在預期值(如預測值或平均值)的閾值內的範圍。閾值的決定可以根據製造公差、效能公差或統計資料(例如,遠離平均值的標準差數),或表明正常性(例如,滿足閾值)的另一種度量。與跟蹤資料相關的特徵可以包括這些或類似分析的任何組合。有SME指導的特徵抽取可以使用上面討論的任何類型的模型。SME可以調整過程或根據跟蹤資料決定特徵(例如,藉由針對已知表明改正動作的特定形狀進行選擇來調整)。
在方塊204處,處理邏輯基於在方塊203處決定的該一個或多個特徵,產生指紋(其例如是資料不可知的、與值無關的、IP不可知的,等等)。指紋可以包括表明例如配方操作、基板類型、處理條件、基板處理設備部件等的上下文資料。指紋可以包括在方塊203處所決定的至少一個特徵。指紋可以被產生為包括符合一個或多個指紋尺寸資料(例如將一個或多個指紋尺寸應用於跟蹤資料以產生一個或多個特徵),這些指紋尺寸被選擇為符合資料不可知標準、IP不可知標準等。在一些實施例中,指紋可以被產生,並且所開發的指紋尺寸被用於確保所產生的指紋滿足保密標準。指紋可以包括表明改正動作的學習和/或與該至少一個特徵相關聯的預測資料。指紋的產生將與圖2B結合更詳細地討論。
在方塊205處,處理邏輯基於指紋導致改正動作的執行。改正動作可以與經由處理設備進行的產品生產相關聯。與關聯於跟蹤資料的處理設備相比,與改正動作相關聯的處理設備可以是相同的處理設備或不同的處理設備。在一些實施例中,指紋和改正動作可以與基板處理設備(例如基板製造腔室)相關聯。改正動作可以包括將指紋儲存在具有資料不可知的指紋的指紋資料庫中。改正動作可以藉由將該指紋與儲存在指紋資料庫中的其他指紋進行比較來選擇。如果指紋的至少一個特徵與儲存在資料庫中的指紋的特徵匹配(例如,如果特徵的值與儲存的指紋的特徵的值的相似程度在閾值之內),那麼可以執行儲存在資料庫中與儲存的指紋相關聯的改正動作。改正動作可以包括排定預防性或改正性維護,排定部件更換,更新配方操作,改正腔室漂移(例如,基板處理設備的某個部件的效能隨時間的變化)或感測器漂移,向使用者發送警報,等等。
將指紋儲存在指紋資料庫中可以是指紋被證實(例如證實指紋符合保密標準,例如是資料不可知和/或IP不可知的,在一些實施例中,包括確保指紋包括符合一系列指紋尺寸的資料)和驗證(例如決定與基於指紋的改正動作的執行相關聯的預測資料滿足閾值效能資料)的響應。維護指紋資料庫可以保存跟蹤資料中的特徵與適當的改正動作(或缺乏改正動作,例如,如果發現一個特徵對製造過程不會有問題)之間的關聯,並使之可用。指紋可以從未來的製造過程產生,並將指紋的特徵與儲存在資料庫中的指紋進行比較。可以將與儲存的指紋相關聯的改正動作應用於與新產生的指紋相關聯的製造設備,如果發現這些指紋的特徵相匹配的話(例如其值的相似程度在閾值之內)。
在一些實施例中,可以比較共享上下文特性的指紋(例如產生的指紋和儲存在指紋資料庫中的指紋是基於來自化學沉積製造操作的壓力感測器跟蹤資料)。
在一些實施例中,指紋資料庫可以按照分層分類來組織。每個指紋類別可以與適用於該類別中的指紋的元資料相關聯。類別可以被連接起來,並在它們之間共用元資料,例如,一個子類別可以繼承父類別的元資料。在一些實施例中,產生的指紋可以與單獨但有關的分層類別中的指紋進行比較,以決定改正動作。指紋的分層類別將與圖5結合更詳細地討論。
圖2B是依據一些實施例,與產生指紋相關聯的方法200B的流程圖。無論有沒有SME的指導,方法200B都可以藉由電腦模型或電腦模型集合(例如圖1的模型190)來執行。
在方塊210處,處理邏輯接收與生產基板相關聯的跟蹤資料,這些基板是由基板處理設備(例如圖1的製造設備124)生產的。方塊210可以包括與結合方塊202描述的操作類似的操作。跟蹤資料可以是在基板生產過程期間在基板處理腔室中隨著時間的推移而截取的感測器資料。跟蹤資料可以具有許多類型,包括溫度、壓力等。跟蹤資料可以是來自單一感測器、來自同一類型的多個感測器或多種類型感測器的資料。處理設備也可以接收資料,以為跟蹤資料提供上下文,例如表明哪些製造部件與跟蹤資料相關聯的資料,對配方和配方操作的指示,對基板類型或處理類型的指示,等等。
在方塊212處,處理邏輯決定SME是否可用。這種決定可以基於使用者輸入的可用人員、智慧財產權方面的顧慮、關於跟蹤資料或上下文資料的資訊等來進行。
如果沒有SME可用,那麼方法200B繼續到方塊214。如果SME可用,那麼流程繼續到方塊216。方塊214的操作可以與結合圖2A的方塊204討論的一些操作類似。在方塊214處,處理邏輯決定與跟蹤資料相關聯的至少一個特徵。這個特徵可能是跟蹤資料中的特定形狀,例如振盪週期、尖峰、斜坡或穩定狀態。該特徵可以是描述資料中的形狀的資料,例如斜坡的起始點和高度,或尖峰的高度和寬度,或其他的形狀定義描述。在一些實施例中,跟蹤資料的資料值可以不存在於特徵資料中。例如,這可以藉由將資料值的範圍過渡到一個任意的尺度來實現。在一些實施例中,跟蹤資料中的形狀也可以不反映在特徵中。該特徵可以包括跟蹤資料中的形狀統料資料,例如藉由計算特定特徵的數量或描述特徵的性質分佈(例如,描述一個尖峰具有一定高度的可能性的統料資料)來包括。該特徵可以與資料中的特定形狀無關,但替代性地或附加性地,可以是執行全蹤跡分析(full trace analysis)的結果。全蹤跡分析可能會強調出一系列超出正常範圍的資料點。正常範圍可以被決定為在一個閾值內的範圍。閾值可以與以下項目有關:製造公差、經驗效能資料公差、預測效能資料公差、與同一配方操作的平均值的偏差(例如,與平均值相差超過兩個標準差),或其他可以用於表明正常性的度量。從跟蹤資料抽取的特徵可以是這些或其他類型的特徵的任何組合。特徵可以符合開發的指紋尺寸(例如指紋尺寸可以應用於跟蹤資料以產生特徵)。
方塊214的特徵抽取可以涉及模組的使用。這可以是經訓練的機器學習模型、統計模型或另一種類型的模型。處理設備可以向至少一個適當的模型供應跟蹤資料。在一些實施例中,該模型由處理設備所執行。在一些實施例中,該模型由不同的處理設備所執行。該模型可以包含以下項目中的一者或多者:統計模型,如高斯混合模型;神經模型,如神經網路;或為異常特徵抽取、特徵持續性分析、自動劃分等設計的模型。該模型可以藉由資料分析來自動識別特徵。
在方塊216處,處理邏輯基於SME的指導,決定與跟蹤資料相關聯的至少一個特徵。這些特徵可以具有許多與方塊214中決定的特徵相同的類型。方塊216可以包括與結合圖2A的方塊204討論的操作類似的操作。該特徵可以是跟蹤資料中的形狀,例如振盪週期、尖峰、斜坡或穩定狀態。該特徵可以包括描述資料中的形狀的資料,如起始點、高度、寬度等。在一些實施例中,跟蹤資料無法從特徵資料抽取出來。在一些實施例中,形狀可能不會被直接反映為特徵,但關於形狀存在的統計資料可以被抽取為特徵。在一些實施例中,特徵可能與資料中的形狀無關,但可能是全面跟蹤分析的結果。全面跟蹤分析會強調出一系列超出正常範圍的資料點。正常範圍可以被決定為在預期值(如預測值或平均值)的閾值內的範圍。閾值的決定可以根據製造公差、效能公差或統計資料(例如,遠離平均值的標準差數),或表明正常性的另一種度量。與跟蹤資料相關的特徵可以包括這些或類似分析的任何組合。
方塊216處的特徵抽取可以涉及模組的使用。以上描述的與沒有SME指導的特徵抽取相關聯的任何模型也可以在SME的指導下利用。該模型可以包含以下項目中的一者或多者:統計模型、神經模型,或為異常特徵抽取、特徵持續性分析、自動劃分等設計的模型。SME可以調整特徵抽取的過程(例如,藉由針對已知表明改正動作的特定形狀進行選擇來調整)。
在一些實施例中,在方塊218處,處理邏輯基於方塊214或216的該至少一個特徵,識別額外的資料(其例如與該至少一個特徵相關聯、與跟蹤資料相關聯,等等)。額外的資料可以表明跟蹤資料的上下文,例如表明製造設備部件、感測器部件、配方操作、處理參數等的資料。在一些實施例中,額外的資料可以是IP不可知的。在一些實施例中,額外的資料可以包括用於進一步處理的跟蹤資料。在一些實施例中,收集與特徵相關聯的資料以提供給方塊220可以由單獨的處理設備執行。
在方塊220處,處理邏輯決定監督式學習是否可用於跟蹤資料。該決定可以基於跟蹤資料、上下文資料、該至少一個特徵、使用者輸入等。
如果監督式學習可用,那麼流程繼續到方塊222。如果監督式學習不可用,那麼流程繼續到方塊224。
在方塊222處,處理邏輯提供該至少一個特徵和任何與特徵相關聯的額外資料(例如包括特徵、特徵的統料資料、增強的跟蹤資料、上下文資料等)作為對監督式機器學習模型的輸入,以接收預測資料(其例如表明改正動作)。該模型可以是經訓練的機器學習模型。該資料可以提供給多個模型以接收多個輸出。該模型可以產生預測資料(其例如表明一個或多個改正動作),該預測資料適用於產生跟蹤資料的製造設備。用於產生預測資料的該一個或多個模型可以包括以下項目中的一者或多者:神經網路、深度學習網路、集群分析、類別分類分析(例如可接受、不可接受)、決策樹、隨機方法(例如隱藏馬可夫模型、遞歸神經網路、長短期記憶等)、統計方法(例如多線性迴歸、部分最小平方、支援向量機等)或另一種模型。
如果監督式學習不可用,那麼執行方塊224。在方塊224處,處理邏輯提供該至少一個特徵和額外的資料作為對無監督式或半監督式學習模型的輸入,並接收預測資料(其例如表明改正動作)。該模型可以是經訓練的機器學習模型、統計模型等。該資料可以提供給多個模型以產生多個輸出。該(該等)模型的輸出表明預測資料(例如表明改正動作)。該改正動作可以與基板處理設備相關聯,該基板處理設備可以是與跟蹤資料相關聯的基板處理設備或不同的基板處理設備。模型可以執行多變量技術或單變量技術。分析可以是統計的,例如主成分分析,或支援向量機。分析可以是神經性的,包括神經網路、深度學習等。分析可以是隨機的,如隱藏馬可夫(hidden Markov)過程。可以使用可以將改正動作與特徵資料相連接的任何其他類型的分析。如果將學習應用於特徵資料的分析結果不令人滿意(例如不滿足閾值),那麼流程可以返回到方塊216。可以對特徵資料的產生進行修正,並實現後續的操作,直到獲得令人滿意的結果。在一些實施例中,可以在這個階段為曾涉及或未曾涉及方塊212處的SME的跟蹤資料納入SME指導。在一些實施例中,監督式學習也可能不令人滿意,並返回給SME進行修正處理(未示出)。
在方塊226處,處理邏輯基於特徵、任何額外資料和/或預測資料(其例如表明改正動作),產生指紋。指紋可以是資料不可知的、IP不可知的、與值無關的,等等。與方塊226結合執行的操作可以與結合圖2A的方塊206描述的操作類似。指紋可以包括表明例如配方操作、基板類型、處理條件、製造設備部件等的上下文資料。指紋可以包括在方塊214和/或216處決定的至少一個特徵。指紋可以包括在方塊222和224處產生的預測資料(其例如表明改正動作)。指紋可以是基於跟蹤資料的一個或多個特徵。方塊218-226的操作可以與圖2A的方塊204-206類似。
在方塊228處,處理邏輯基於指紋導致改正動作的執行。改正動作可以與關聯於跟蹤資料的基板處理設備相關聯。改正動作可以與其他基板處理設備相關聯。改正動作可以包括將指紋儲存在資料不可知的指紋資料庫中。改正動作可以包括排定預防性或改正性維護、排定部件更換、更新配方操作、向使用者發送警報、改正與基板處理設備相關聯的部件的漂移,等等。
將指紋儲存在指紋資料庫中可以是指紋經受證實和驗證過程的響應。證實是一種決定指紋是否符合保密標準的方法。每個可以應用指紋的應用可能有不同的保密標準──不同的製程、操作、設施等可以有不同的度量,決定什麼資訊要保持隱私,什麼資訊可以公開(例如在設施外可用)。與被控制實體(例如跟蹤資料的擁有者)認為可以安全共用的跟蹤資料相關聯的資訊是IP不可知的。在儲存在指紋資料庫中之前包括在指紋中的資訊可以被修改,以確保它是IP不可知的。與指紋相關聯的資訊可以取決於製程、設施、控制實體等以不同方式修改,以保持IP不可知的狀態。還可以決定,指紋是資料不可知的。指紋尺寸可以被開發為使得抽取符合尺寸的特徵可以充當一個篩選過程,以避免儲存違反IP不可知標準的資料。
隨著時間的推移,可以建立起資料不可知和/或IP不可知的指紋的資料庫。改正動作和預測資料可以被維護,其方式是尊重與用於產生指紋的跟蹤資料相關聯的各種保密標準。
圖3A-C說明了依據某些實施例,跟蹤資料300的特徵(例如跟蹤資料中可以作為特徵抽取的形狀)。圖3A描述了示例跟蹤資料300A。用於決定特徵的模型(例如在圖2B的方塊214和216處利用的模型)可以將斜坡302辨識為一種形狀,以貢獻給跟蹤資料300A的特徵資料。特徵抽取模型可以抽取與斜坡302的形狀有關的資料,如起始點304的初始值,斜坡306的高度,以及斜坡308的長度。
圖3B描述了示例跟蹤資料300B。在跟蹤資料300B中可以識別幾個形狀。這些特徵可以經由特徵抽取模型自動偵測,或者可以將SME指導納入特徵抽取。蹤跡300B包括斜坡310、尖峰312和穩定狀態時期314。
在一些實施例中,處理邏輯可以決定表明一段跟蹤資料的形狀屬於哪種類型的特徵的閾值,如果有的話,可以使用SME指導決定。替代性地或附加性地,閾值可以在訓練機器學習模型時選擇。
圖3B所示的每個形狀可以具有定義抽取形狀的類似資訊,與圖3A的跟蹤資料300A的情況一樣,例如初始值、特徵高度、特徵長度等。可以調整特徵抽取模型,以抽取已知具有物理必然性(physical corollary)的形狀。可以調整模型,以抽取已知與改正動作相關的形狀。
如圖3B中由不同模式的區域所示,特徵抽取可以用於決定特定形狀的邊界。用於分析的當前跟蹤資料可以與跟以前生產的基板相關聯的歷史跟蹤資料、來自其他感測器的跟蹤資料、來自其他配方操作的跟蹤資料等進行比較。在一些實施例中,可以建立一個閾值,高於或低於該閾值的資料值可以被識別為異常。在一些實施例中,閾值可能不是單一的值(例如,只有當一個特徵超過一定的持續時間和一定的值時才被識別為異常,該值可能與該持續時間有關)。在一些實施例中,資料中存在的多個形狀或特徵放在一起可能會被識別為異常,而其中單獨的任何一個形狀或特徵可能都沒有被識別為異常。在一些實施例中,一些特徵只有在與其他特徵結合時才會被識別為異常。
在一些實施例中,描述跟蹤資料中的形狀的資料(例如,開始時間、高度等)可能被認為是私人的(例如,商業秘密)。然而,描述一組形狀的統計資料可以被認為是IP不可知的。從許多感測器、許多基板生產程序、許多配方操作等收集資料可以產生描述跟蹤資料中的形狀的統料資料,例如與形狀有關的平均值,與形狀參數有關的值的分箱(binning)(例如兩個斜坡介於高度一與二之間,四個斜坡介於高度二與三之間,等等),或其他統計度量。從基板到基板、製造設備到製造設備、配方操作到配方操作、感測器到感測器等統料資料的變化也提供了可以與改正動作相關聯的資訊。
另一種從跟蹤資料抽取特徵的方法是執行圖3C所示的全跟蹤資料分析(full-trace data analysis)。全跟蹤資料分析可以與基於形狀的特徵抽取結合使用。全蹤跡分析會抽取正常範圍以外的資料點,例如跟蹤資料中的異常。在全跟蹤資料分析中,決定了感測器在配方操作過程中要記錄的目標模式。這可以藉由以下步驟來決定:收集與多個基板處理過程相關聯的感測器資料,並選擇每個時間點相對於平均蹤跡320的一個偏差作為正常運行的邊界(例如,相對於平均值兩個標準差)。全蹤跡分析可以使用許多跟蹤資料集(其例如來自許多製造過程)來建立平均蹤跡320、下限322和上限324。在下限322和上限324所界定的範圍之外的來自測試蹤跡326的資料點系列被包括在全蹤跡分析特徵抽取中。範圍之外的資料點系列的形狀可以在特徵資料中描述。正常範圍之外的資料點可以被標記為異常328。在一些實施例中,抽取特徵可以包括定義具有全蹤跡分析異常的蹤跡區域,即違規段330。與形狀抽取一樣,可以採取一些操作(例如遮蔽時間值或感測器值,將全蹤跡分析資料轉換成統計資料,抽取曲線下的面積或異常資料的其他參數,等等),使得指紋(其例如是要根據跟蹤資料的特徵創建的)是IP不可知的、資料不可知的,等等。全跟蹤資料分析可以由模型來執行。全跟蹤資料分析可以由SME指導。
在全跟蹤資料分析中,一個參數集合可以定義跟蹤資料的異常資料點。這些參數可以包括例如異常資料點的位置、曲線下的面積、持續時間、頻率(如果它在蹤跡中發生多次、從一台特定的製造設備中發生多次,等等)、時間相依性(更可能出現在跟蹤資料的後期或早期)、位移位準,等等。用於執行全跟蹤資料分析的模型可以進一步開發這些參數的機率分佈函數。在SME的指導下,可以對參數進行調整(tune/adjust),可能針對不同類型的跟蹤資料、不同的感測器、不同的製造過程、識別的資料點系列的不同形狀等單獨進行調整。
圖4是描述依據一些實施例,跟蹤資料分析的流程圖。圖4描述了從跟蹤資料產生指紋的方法400,將分析類型與學習類型聯繫起來。在方塊401處,決定使用什麼資料分析方法從跟蹤資料產生指紋。該決定可以由處理設備、使用者或組合(例如,被來自處理設備的資料告知的使用者)作出。在方塊402處,經由半自動形狀抽取分析跟蹤資料,如與圖3A-C結合的詳細討論。在方塊404處,經由與圖3A-C的討論一起詳細討論的全蹤跡分析對跟蹤資料進行分析。在一些實施例中,跟蹤資料可以藉由執行半自動形狀抽取的一個或模型以及執行全蹤跡分析的一個或多個模型來分析。
半自動形狀抽取和全蹤跡分析產生了描述不同類型特徵的資訊。半自動形狀抽取產生表明持續性特徵的資料(方塊406),如從基板製造過程到基板製造過程一致地記錄的特徵,從多個感測器、製造設備的多個部件一致地記錄的特徵,等等。半自動形狀抽取還產生表明間歇性特徵的資料(方塊408)。這些特徵在不同的資料集中的表示可能不一致,無論這些不同的資料集是否關於與不同的基板、不同的感測器、不同的配方操作等相關聯的蹤跡。持續性特徵和間歇性特徵可以是對特徵進行廣泛分類並決定根據這些特徵可以抽取什麼資訊的類別。相同的特徵,如果被包括在關聯特徵參數會產生更一致的預測資料的資料集中,則可以被認為是持續性的,如果被包括在關聯特徵的存在會產生更一致的預測資料的資料集中,則可以被認為是間歇性的(例如處理設備中的洩漏可能會產生一個特徵,該特徵在每一個配方操作中都重複,並且在該處理運行的背景脈絡下可以被認為是持續性的,但與從沒有洩漏的其他製造設備收集的跟蹤資料相比,該特徵可能被認為是間歇性的)。全蹤跡分析會強調出相對於正常感測器讀數的偏差,並產生表明異常特徵的資料(例如超出所選正常閾值的任何跟蹤資料,表示於方塊410處)。在一些實施例中,全蹤跡分析可以產生持續性的特徵或間歇性的特徵(例如,在指紋是從與許多製造運行相關聯的跟蹤資料產生的情況下)。在一些實施例中,半自動形狀抽取可以產生異常特徵的資料。
在方塊412處,可以藉由比較持續性特徵的參數來分析持續性特徵。可以分析描述持續性特徵的形狀的參數的統料資料,可以分析特徵與特徵參數之間的相關性(例如如果尖峰A有一定的高度,尖峰B很可能是幾乎相同的高度),並且可以隨著時間(例如許多製造運行)的推移分析特徵參數,以決定腔室部件、感測器等的變化或漂移。相關性可以被記錄並與產生的指紋一起儲存。
在方塊414處,可以藉由檢查間歇性和異常特徵的存在周圍的條件和參數來分析這些特徵。可以分析時間相依性(例如來自一個感測器的蹤跡中的特徵與來自另一個感測器的蹤跡中的特徵相比是時間匹配的或有延遲),以及發生相依性(例如如果出現一個特徵,那麼另一個特徵可能更可能或更不可能出現),以及上面討論的與特徵相關聯的資料,例如描述形狀的資料、形狀資料的統料資料、相關性等。這種分析可以被記錄並與跟輸入跟蹤資料相關聯的產生的指紋儲存在一起。
圖5是依據一些實施例,用於組織指紋的示例分層結構500。儲存在指紋資料庫(例如圖1的指紋資料庫160)中的指紋可以按分層結構組織。每個指紋都可以屬於一個分層類別。適用於一個指紋類別的資訊可能被推斷為也適用於另一個類別。分層結構500描述了三個類別,一個父類別502,和兩個子類別(子類別504和子類別506)。每個類別對儲存在指紋資料庫中的指紋進行分類,並儲存適用於該類別中的指紋的資訊。每當新的指紋被啟動(產生實例(instanced)),它就會從它所屬的類別繼承元資料(例如,改正動作、預測資料等)。在一些實施例中,實例轉譯程序儲存表明與其他類別(例如,父類別)相關聯的元資料的資料,這些資料也適用於啟動的指紋。當新的指紋在特定的類別中產生實例時,該新指紋可以基於屬於與該新指紋的類別有著經定義的關係的不同分層類別的第二指紋的元資料進行更新。表明類別之間的關係的資料可以儲存在指紋資料庫中。
作為一個例子,類別502可以是處理配方操作的類型,例如沉積。可能有屬於沉積類別的指紋。在一些實施例中,由於智慧財產權方面的顧慮,指紋可能被分類為屬於不太具體的類別。在一些實施例中,如果發現與一個指紋相關聯的預測資料與多個子類別相關,那麼可以將該指紋分類為屬於不太具體的類別。子類別504和子類別506可以分別對應於化學氣相沉積和物理氣相沉積。當指紋被產生實例,並分配給物理氣相沉積類別時,它可以繼承來自物理氣相沉積類別的元資料以及適用於任何沉積配方操作的元資料(例如,可能包括來自父沉積類別的改正動作和/或預測資料的元資料)。
分層結構500描述了單一的父類別502和兩個子類別,但指紋資料庫可以包括互鎖的分類網,其中類別502有自己的父類別,而子類別504和/或子類別506有自己的子類別。此外,更複雜的關係是可能的,比如一個類別從多個父類別繼承學習內容(learnings)(例如,化學沉積操作可以從化學沉積類別、一般沉積類別和化學處理類別繼承學習內容)。
分層組織允許學習內容在稍微不同的配方操作之間進行連接(如果適用的話),並允許學習內容被重複使用,即使是在智慧財產權方面的顧慮限制了關於特定指紋的可用資訊時也是如此。在一些實施例中,分層組織可以強調出富有成效的研究領域。作為一個例子,可能存在一些元資料(如預測資料),如果該元資料能夠應用於屬於特定類別的指紋,將非常有價值。在一些情況下,可以做實驗來確認那些元資料的適用性(例如,一些類型的資料中的模式表明製造系統的某個部件有問題,用已知有錯失的部件執行測試可以連接預測資料)。在一些實施例中,處理器可以搜尋富有成效的研究領域並提醒使用者。
在一些實施例中,可以將分層分類應用於指紋尺寸。在一些實施例中,指紋尺寸的分類可以使指紋尺寸的開發能夠至少具有給定的資訊不可知(例如資料不可知、IP不可知)等級。在一些實施例中,可以開發一個指紋,它是一個既定指紋尺寸類別的一個子類別(例如,使用的資料嚴格少於父類別)。屬於子類別的指紋尺寸可能至少具有(例如,繼承)與父類別一樣的資訊不可知等級。在一些實施例中,分類允許指紋尺寸以分層結構進行管理。在一些例子中,第一指紋尺寸具有特定的資料不可知等級,並且是特定種類(例如層次、類別)的一部分,並且屬於同一種類的第二指紋尺寸要具有相同的資料不可知等級。指紋尺寸可能不會被個別處理和管理。指紋尺寸可以按種類結構(例如層次、類別)進行管理,例如從資訊不可知的角度。在一些實施例中,指紋尺寸成分可以使用分層結構進行管理。例如,一個指紋尺寸可能包括多個成分。可以開發一個新的指紋尺寸,用其他成分取代一個或多個成分(如特徵、統料資料、相關性等)。屬於相關分層類別的成分可以用於保持新開發的指紋尺寸中的資訊不可知等級。
圖6是依據一些實施例,與依據過程600的指紋的證實和驗證相關聯的流程圖。分層組織的指紋資料庫的互連本質(如上面結合圖5的描述)可能會導致錯誤在資料庫中傳播,因為與改正動作和/或預測資料相關聯的資訊被應用於子類別、相關類別等。為了避免錯誤使指紋資料庫錯誤百出(corrupt),所有添加到該資料庫中的資料都可以使用諸如圖6所示的過程之類的過程來進行證實和驗證。在一些實施例中,所有添加到資料庫的指紋都要經受證實和驗證過程。在一些實施例中,添加到資料庫的指紋尺寸要經受證實和驗證,例如特徵參數相關或特徵存在相關,如結合圖4的討論。許多不同的指紋尺寸都是可能的,包括:多變量感測器貢獻分析(例如,識別跟蹤資料中涉及什麼感測器的資訊);形狀統計資料(例如參數(包括形狀起始點、形狀持續時間、形狀曲線下的面積、形狀的高度等)的發生統料資料(包括平均數、中位數、標準差等));特徵持續性(例如,特徵或特徵參數的分佈);特徵存在相關性(例如,一個特徵與蹤跡中任何其他特徵的存在或不存在之間的關係);特徵參數相關性(例如,一個特徵的參數與其他特徵參數之間的關係);形狀公差(例如,形狀的扭曲);分析輸出形狀(例如,當特徵、特徵參數等在某個域上被繪製或表示時,資料空間的各個區域被認為是正常的、有錯失的或未決定的);特徵動態(例如,在一次處理運行期間或在多次運行中,一個特徵隨時間的變化);特徵的時間性行為;與採取改正動作相關聯的預測指紋變化;等等。指紋尺寸還可以包括要對資訊(包括原始資料或經處理的資訊)執行以使得原始環境變得更加模糊的動作,例如對資料進行正規化,使用只在指定的各方之間分享的金鑰來轉譯資料,以及對資訊進行同態加密。在一些實施例中,在一個背景脈絡(例如配方操作、基板類型等)下所使用的指紋尺寸可能不會在另一種背景脈絡下使用。指紋可以包括符合一些指紋尺寸的資料。在將這些或任何其他類型的指紋添加到指紋資料庫之前,可以使指紋尺寸經受證實和驗證。在證實和驗證的討論中,過程和操作可以應用於要添加到資料庫的指紋和指紋尺寸兩者,除非上下文明確指出只有一個是相關的。在一些實施例中,確保特徵符合指定的指紋尺寸可以用於篩選出可能違反資料不可知標準、IP不可知標準等的資料。
證實包括確認指紋(或新的指紋尺寸)符合設計資格。證實可以包括決定指紋是否滿足是資料不可知的、IP不可知的或類似的標準。驗證包括確認指紋是否滿足使用者的需求。驗證可以包括決定該指紋有能力提出改進基板處理設備的效能的改正動作。驗證可以包括決定執行與指紋相關聯的改正動作滿足基板處理設備的改進閾值。
在方塊602處,設想了一個新的指紋或指紋尺寸。這可能是SME研究、統計相關性、機器學習發現的相關性等的結果。在方塊604處,設計指紋。關於什麼資料屬於指紋的資訊被決定。在方塊606處,開發指紋。收集資料的具體路線、使用哪些模型來抽取資料、哪些特徵可能是相關的,等等,都可以在指紋的開發操作中指定。在方塊608和610處,對指紋進行證實和驗證。對證實更詳細的描述可以在下面結合圖7找到。
指紋尺寸的驗證包括一個測試程序集合,用於決定指紋尺寸是否能夠在其將被使用的環境中提供價值。決定一個指紋尺寸是否能提供價值的測試將取決於應用環境。舉例來說,如果特定的指紋尺寸可以決定發生了異常,但卻無法識別特定的改正動作,那麼它可能不滿足要添加到指紋資料庫的價值標準。驗證指紋尺寸的測試可能有一個閾值效能值,相關聯的改正動作必須滿足該閾值效能值才能被證實。與指紋尺寸的使用有關的條件、將學習內容擴展到其他的指紋類別(例如分層分類中的類別)、進一步驗證指紋尺寸的測試程序等,都可以在指紋尺寸被添加到指紋資料庫時與之一起包括。
指紋的驗證包括一個測試程序集合,用於決定指紋是否能夠在其將被使用的環境中提供價值。可以執行測試,以決定指紋在驗證中的有用性(例如,適當的相關聯的改正動作)。所執行的測試可以取決於所提出的指紋所要關聯的應用環境。驗證指紋的測試可以包括閾值效能資料,如果與指紋相關聯的預測效能資料(例如,改正動作)滿足閾值效能資料,則驗證可以發生。
在方塊612處,將經證實和驗證的指紋部署到指紋資料庫。在方塊612-620處,將指紋儲存在指紋資料庫中,並例如受用於與當前跟蹤資料進行比較,以搜尋學習內容。當指紋可在指紋資料庫中使用時,方塊602-610和622不被執行。
在方塊614處,使用指紋,例如用當前跟蹤資料查詢資料庫,其抽取的特徵與該指紋的特徵相對應,並且使用者就基板處理設備採取該指紋建議的改正動作。在方塊616處,對使用指紋的結果進行評估。改正動作可能對基板處理設備產生了預期的結果,也可能沒有。如果有的話,該指紋就會保留在指紋資料庫中,當另一個與該指紋的範圍相匹配的蹤跡被用來查詢資料庫時,就會再次使用該指紋。如果沒有,則對該指紋進行調整。
在方塊618處,決定是否要重建該指紋。這種決定可以利用SME的指導來進行。如果決定該指紋是有用的,但可以調整一些參數以增加其效用,則在方塊620處對該指紋進行調整以改變那些參數。然後指紋被返回到資料庫以再次使用(方塊614)和評估(方塊616)。
如果決定該指紋無法使用,則該指紋將被下線(例如,不再能被存取以在指紋資料庫中提供關於改正動作的指導)。在方塊622處,決定該指紋是否將被重新設計或重新開發(例如是否將不同的資料包括在指紋中,是否將更新的改正動作與該指紋相關聯,或該資料的處理是否將被調整)。然後,重新設計或重新開發的指紋在部署到指紋資料庫中之前要經過證實和驗證。
這是一個示例程序,其他變化也在本揭示內容的範圍內。證實和驗證程序可以防止訛誤(corruption)進入指紋資料庫,一旦指紋被存取並且學習內容被利用,重新評估過程可以使與改進基板處理設備操作的改正動作相關聯的指紋能夠留在指紋資料庫中,以被再次存取。
圖7是依據一些實施例,在部署在指紋資料庫中之前證實指紋尺寸的方法700的流程圖。方法700描述了指紋尺寸的證實;指紋可以經受對應的證實程序。在方塊702處,要對開發的指紋尺寸進行證實。指紋和指紋尺寸的開發已在上文結合圖6得到了更詳細的討論。在方塊704處,處理設備從記憶體設備接收開發的指紋尺寸和與證實指紋有關的文檔(documentation)(方塊706)。所開發的指紋尺寸可以包括以文檔記錄指紋尺寸的資料不可知、IP不可知等的等級的資料。證實指紋尺寸可以包括決定與指紋尺寸相關聯的資訊不可知等級。所開發的指紋尺寸可以包括表明改正動作輸出品質的資料。方塊706的指紋資料庫文檔可以包括與指紋尺寸的資料不可知性、IP不可知性、改正動作輸出品質等相關聯的標準,處理設備將與開發的指紋類型相關聯的以文檔記錄的資料與指紋資料庫文檔進行比較。如果指紋尺寸不滿足指紋資料庫文檔的標準,就不會被證實,結果被記錄下來(例如,為了避免與再次嘗試開發相同的指紋尺寸相關聯的成本),證實過程結束。
如果以文檔記錄的指紋尺寸的品質資料滿足指紋資料庫文檔的品質資料,那麼在方塊708處,處理設備接收開發的指紋尺寸和指紋資料庫測試程序(方塊710)。測試程序由處理設備對指紋尺寸執行,確認指紋尺寸符合資料不可知、IP不可知、品質閾值等的標準。如果指紋尺寸在測試時不滿足標準,就不會被添加到指紋資料庫,結果被記錄下來,證實過程結束。如果指紋尺寸在測試時確實滿足證實標準,那麼指紋尺寸將繼續進行驗證,如上文結合圖6的討論。指紋可以經受類似的驗證操作。在驗證一個指紋時,方塊704的操作可以包括決定該指紋符合可以與跟蹤資料結合使用的一個或多個指紋尺寸(例如已經被決定不會違反與跟蹤資料相關聯的智慧財產權方面的顧慮的指紋尺寸,已經被決定會產生資料不可知的特徵的指紋尺寸,等等)。
本揭示內容可以包括許多機器學習模型,在本文所揭露的方法的不同操作中應用。圖8A-B描述了依據一些實施例,訓練和使用機器學習模型的方法800A-B。出於說明的目的,在圖8A-B中使用了將跟蹤資料作為輸入並產生與跟蹤資料相關聯的特徵作為輸出的機器學習模型來描述使用機器學習模型(例如圖2的方塊206的模型)來工作。其他機器學習模型的使用和訓練方式也與圖8A-B中描述的方法類似。
圖8A描述了依據一些實施例,訓練機器學習模型的方法800A。
不同的模型、模型組合、集體模型等,都在本揭示內容的範圍內。在一些實施例中,一個機器學習模型(或多個機器學習模型)可以被配置為接收跟蹤資料,並產生至少一個特徵(例如與圖2B的方塊214和216相關聯的動作)。在一些實施例中,一個機器學習模型(或多個模型)可以被配置為接收至少一個特徵(和額外的資料),並產生預測資料(例如與圖2B的方塊222和224相關聯的動作)。在一些實施例中,單一模型、模型群組、集體模型等可以接收跟蹤資料作為輸入,並產生預測資料或指紋(例如與圖2B的方塊210-228相關聯的動作)作為輸出。為了簡潔起見,只討論與圖8A-B相關聯的可能的機器學習模型的一個子集。其他模型可以與跟結合圖8A-B所討論的方法類似的方法相關聯,輸入資料和輸出資料視模型的情況進行更新。
在圖8A的方塊802處,處理邏輯接收與生產基板相關聯的歷史跟蹤資料。跟蹤資料可能已經被另一個機器學習模型、不是機器學習模型的模型、SME等預處理過。預處理可以包括將來自感測器的資料分組成元素、特徵資料組合(例如電壓和電流,用於計算功率)、移除異常值、匯總統計(例如平均數、中位數等),等等。
在方塊804處,處理邏輯接收至少一個特徵或指紋(其例如與歷史跟蹤資料相關聯)。收到的資料的類型是對機器學習模型在訓練時要填補的角色的響應。該至少一個特徵可以包括表明形狀的資料、超出正常範圍的資料等,如上所述,例如上文結合圖2B的描述。
在方塊806處,處理邏輯用包括歷史跟蹤資料的資料輸入和包括該目標至少一個特徵或目標指紋的目標輸出,訓練機器學習模型。然後可以使用經訓練的機器學習模型來產生指紋,以用於改正動作的執行。該模型可以被訓練為產生包括符合一個或多個指紋尺寸的資料(例如至少一個特徵)的指紋。可以使用抽取符合許多指紋尺寸的資料的模型,並且指紋尺寸的某個子集可以用於特定的跟蹤資料。
圖8A的流程圖描述了訓練機器學習模型以將跟蹤資料(其可能被預處理過)作為輸入並產生表明特徵或指紋的資料作為輸出的方法,作為本揭示內容範圍內一些類型的機器學習模型的一個例子。可以使用其他的機器學習模型,例如將特徵作為輸入並提供改正動作作為輸出的機器學習模型,接收跟蹤資料作為輸入並提供預測資料作為輸出的機器學習模型,等等。這種機器學習模型可以使用類似的方法、視情況使用不同的資料類型作為訓練輸入和目標輸出來訓練。可以使用一些機器學習模型,這些機器學習模型在訓練期間沒有被提供目標輸出(例如無監督式或半監督式模型)。這些機器學習模型可以使用輸出與目標輸出的相似性以外的度量進行訓練。
圖8B是描述依據一些實施例,使用經訓練的機器學習模型的方法800B的流程圖。正如結合圖8A的討論,適用本揭示內容的機器學習模型不限於圖8B所示的變化。
在方塊810處,處理邏輯接收與生產基板相關聯的跟蹤資料。處理邏輯可以接收跟蹤資料,以及表明跟蹤資料的上下文的資料,例如配方操作、製造設備部件、基板類型等。處理設備可以執行某種預處理,例如將來自感測器的資料組織成元素,等等。
在方塊812處,處理邏輯向經訓練的機器學習模型提供跟蹤資料。經訓練的機器學習模型被配置為產生表明指紋的資料。在一些實施例中,經訓練的機器學習模型提供跟蹤資料的資料不可知的特徵,這些特徵被進一步處理以形成指紋。在一些實施例中,該進一步的處理是由另一個機器學習模型執行的。在一些實施例中,單個機器學習模型可以將跟蹤資料作為輸入並產生指紋作為輸出,其中指紋包括表明上下文的資料和表明與基板處理設備相關聯的至少一個改正動作的資料。
在方塊814處,處理邏輯從經訓練的機器學習模型接收輸出。在一些實施例中,一個處理設備可以用於向經訓練的機器學習模型提供跟蹤資料,而另一個處理設備可以用於從經訓練的機器學習模型接收資料。在一些實施例中,它們可以是相同的處理設備。
在方塊816處,處理邏輯根據從經訓練的機器學習模型接收的輸出,導致改正動作的執行。改正動作可以與經由基板處理設備進行的基板生產相關聯。在一些實施例中,經訓練的機器學習模型的輸出可以包括特徵,要執行進一步的處理以將改正動作與這些特徵關聯起來。在一些實施例中,經訓練的機器學習模型的輸出可以包括表明改正動作的資料。改正動作可以包括向使用者發送警報,排定預防性或改正性維護,更新製程配方以生產後續基板,更新製程配方以改正當前正被處理的基板的處理,改正與基板處理設備或感測器相關聯的腔室漂移,等等。
正如結合圖8A的討論,方法800B被提供為使用與本揭示內容相關聯的一種機器學習模型的一個例子。機器學習模型可以用於本揭示內容的其他部分。機器學習模型可以執行與圖8B所述的功能相異的功能,可以執行包括圖8B所述的功能中的一些或全部的功能,或者可以僅執行圖8B所述的功能的一部分。收容在各種機器(例如圖1的客戶端設備120、伺服器機器、伺服器機器180或預測伺服器112)上的各種處理設備可以實際執行方法800A-B中的一些或全部。
圖9是依據某些實施例,說明電腦系統900的方塊圖。在一些實施例中,電腦系統900可以與其他的電腦系統連接(例如經由網路連接,例如區域網路(LAN)、內部網路、外部網路或網際網路)。電腦系統900可以以客戶端-伺服器環境中的伺服器或客戶端電腦的身份操作,或作為同級間或分散式網路環境中的同級電腦操作。電腦系統900可以由個人電腦(PC)、平板PC、機上盒(STB)、個人數位助理(PDA)、蜂巢式電話、網頁設備(web appliance)、伺服器、網路路由器、交換機或橋接器,或能夠執行指令集(依序執行或以其他方式執行)的任何設備所提供,該等指令指定要由該設備所採取的動作。進一步地,術語「電腦」應包括單獨地或聯合地執行一個或多個指令集以執行本文所述的任何一個或多個方法的電腦的任何集合。
在另一個態樣中,電腦系統900可以包括處理設備902、易失性記憶體904(例如隨機存取記憶體(RAM))、非易失性記憶體906(例如唯讀記憶體(ROM)或可電抹除的可程式化ROM(EEPROM))和資料儲存設備918,上述設備可以經由匯流排908彼此通訊。
處理設備902可以由諸如通用處理器(舉例而言,例如複雜指令集計算(CISC)微處理器、精簡指令集計算(RISC)微處理器、超長指令字(VLIW)微處理器、實施其他類型指令集的微處理器或實施多種類型指令集的組合的微處理器)或特殊處理器(舉例而言,例如特定應用積體電路(ASIC)、現場可程式化邏輯閘陣列(FPGA)、數位訊號處理器(DSP)或網路處理器)之類的一個或多個處理器所提供。
電腦系統900可以進一步包括網路介面設備922(其例如與網路974耦合)。電腦系統900也可以包括視訊顯示單元910(例如LCD)、文數字輸入設備912(例如鍵盤)、游標控制設備914(例如滑鼠)和訊號產生設備920。
在一些實施例中,資料儲存設備918可以包括非暫時性電腦可讀取儲存媒體924(例如非暫時性機器可讀取儲存媒體),其上可以儲存指令926,這些指令對本文所述的任何一個或多個方法或功能進行編碼,包括對圖1的部件(例如預測部件114、模型190等)進行編碼和用於實施本文所述的方法的指令。這些指令當被執行時可以導致處理設備執行本文所述的方法。
指令926也可以在其被電腦系統900執行的期間完全地或部分地駐留在易失性記憶體904和/或處理設備902內,因此易失性記憶體904和處理設備902也可以構成機器可讀取儲存媒體。
雖然在說明性例子中將電腦可讀取儲存媒體924示為單個媒體,但術語「電腦可讀取儲存媒體」也應包括儲存該一個或多個可執行指令集的單個媒體或多個媒體(例如集中式或分散式資料庫和/或相關聯的快取記憶體和伺服器)。術語「電腦可讀取儲存媒體」也應包括能夠對指令集進行儲存或編碼的任何媒體,該指令集用於由電腦執行,使該電腦執行本文所述的任何一個或多個方法。術語「電腦可讀取儲存媒體」應包括但不限於固態記憶體、光學媒體和磁性媒體。
本文所述的方法、部件和特徵可以由離散的硬體部件所實施,也可以整合在諸如ASICS、FPGA、DSP或類似設備之類的其他硬體部件的功能性中。此外,方法、部件和特徵還可以由硬體設備內的韌體模組或功能電路系統所實施。進一步地,方法、部件和特徵可以以硬體設備與電腦程式部件的任何組合或以電腦程式來實施。
除非另有具體陳述,否則諸如「接收」、「執行」、「提供」、「獲得」、「導致」、「存取」、「決定」、「添加」、「使用」、「訓練」、「縮減」、「產生」、「改正」、「排定」、「更新」等術語指的是由電腦系統執行或實施的動作和過程,這些動作和過程將在電腦系統暫存器和記憶體內表示為物理(電子)量的資料操控並變換成在電腦系統記憶體或暫存器或者其他這樣的資訊儲存、傳輸或顯示設備內類似地表示為物理量的其他資料。並且,本文所使用的術語「第一」、「第二」、「第三」、「第四」等是作為區分不同元素的標籤,並且可以不具有依據它們數字標記的順序意義。
本文所述的例子也與一種用於執行本文所述的方法的裝置相關。這個裝置可以被專門建構為用於執行本文所述的方法,或它可以包括選擇性地由儲存在電腦系統中的電腦程式來程式化的通用電腦系統。可以將這種電腦程式儲存在電腦可讀取有形儲存媒體中。
本文所述的方法和說明性例子與任何特定的電腦或其他的裝置沒有固有的關聯性。可以依據本文所述的教示來使用各種通用系統,或者可以證明建構更專門的裝置來執行本文所述的方法和/或該等方法的單獨功能、常式、子常式或操作中的每一者是合宜的。上面的說明中闡述了用於各種這些系統的結構的例子。
以上描述旨在是說明性的,而非限制性的。雖然已經參考具體的說明性例子和實施例來描述本揭示內容,但將認識到,本揭示內容不限於所述的例子和實施例。將參考以下請求項以及這些請求項所賦予的等效物的全部範圍來決定本揭示內容的範圍。
100:系統
110:預測系統
112:預測伺服器
114:預測部件
120:客戶端設備
122:改正動作部件
124:製造設備
126:感測器
128:計量設備
130:網路
140:資料儲存器
142:跟蹤資料
144:歷史跟蹤資料
146:當前跟蹤資料
150:效能資料
152:歷史效能資料
154:當前效能資料
156:製造參數
160:指紋資料庫
162:指紋
166:特徵
168:預測資料
170:伺服器機器
172:資料集產生器
180:伺服器機器
182:訓練引擎
184:驗證引擎
185:選擇引擎
186:測試引擎
190:機器學習模型
201:方塊
202:方塊
203:方塊
204:方塊
205:方塊
210:方塊
212:方塊
214:方塊
216:方塊
218:方塊
220:方塊
222:方塊
224:方塊
226:方塊
228:方塊
302:斜坡
304:起始點
306:斜坡
308:斜坡
310:斜坡
312:尖峰
314:穩定狀態時期
320:平均蹤跡
322:下限
324:上限
326:測試蹤跡
328:異常
330:違規段
400:方法
401:方塊
402:方塊
404:方塊
406:方塊
408:方塊
410:方塊
412:方塊
414:方塊
500:分層結構
502:父類別
504:子類別
506:子類別
600:過程
602:方塊
604:方塊
606:方塊
608:方塊
610:方塊
612:方塊
614:方塊
616:方塊
618:方塊
620:方塊
622:方塊
700:方法
702:方塊
704:方塊
706:方塊
708:方塊
710:方塊
802:方塊
804:方塊
806:方塊
810:方塊
812:方塊
814:方塊
816:方塊
900:電腦系統
902:處理設備
904:易失性記憶體
906:非易失性記憶體
908:匯流排
910:視訊顯示單元
912:文數字輸入設備
914:游標控制設備
918:資料儲存設備
920:訊號產生設備
922:網路介面設備
924:電腦可讀取儲存媒體
926:指令
974:網路
200A:方法
200B:方法
300A:跟蹤資料
300B:跟蹤資料
800A:方法
800B:方法
藉由示例的方式而非限制的方式在附圖的圖式中示出本揭示內容。
圖1是依據某些實施例,說明示例性系統架構的方塊圖。
圖2A-B是依據某些實施例,與產生指紋相關聯的方法的流程圖。
圖3A-C說明了依據某些實施例,跟蹤資料的特徵。
圖4是依據某些實施例,與跟蹤資料的分析相關聯的流程圖。
圖5說明了依據某些實施例,與指紋相關聯的分層結構。
圖6是依據某些實施例,與指紋的證實和驗證相關聯的流程圖。
圖7是依據某些實施例,與驗證指紋相關聯的方法的流程圖。
圖8A-B是依據某些實施例,描述與機器學習模型相關聯的方法的流程圖,該等機器學習模型與指紋相關聯。
圖9是依據某些實施例,說明電腦系統的方塊圖。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記)
無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記)
無
201:方塊
202:方塊
203:方塊
204:方塊
205:方塊
200A:方法
Claims (20)
- 一種方法,包括以下步驟: 接收要用於產生一第一指紋的一個或多個指紋尺寸(fingerprint dimension); 接收與一製造過程相關聯的跟蹤資料; 將該一個或多個指紋尺寸應用於該跟蹤資料,以產生至少一個特徵; 基於該至少一個特徵,產生該第一指紋;以及 基於該第一指紋,導致與一個或多個製造過程相關聯的一改正動作的執行。
- 如請求項1所述的方法,其中該一個或多個指紋尺寸中的每一者包括與跟蹤資料的一變化對應的一相應的指令集,其中該將該一個或多個指紋尺寸應用於該跟蹤資料的步驟包括以下步驟:對該跟蹤資料執行該至少一個相應的指令集,以識別該跟蹤資料的與跟蹤資料的該變化對應的一部分,並且其中該至少一個特徵是基於該跟蹤資料的該部分。
- 如請求項1所述的方法,其中該第一指紋不表明該跟蹤資料的資料值。
- 如請求項1所述的方法,其中該至少一個特徵包括以下項目中的一者或多者:該跟蹤資料中的一振盪週期,該跟蹤資料中的一尖峰,該跟蹤資料中的一斜坡,或與一正常範圍之外的資料點相關聯的資料。
- 如請求項1所述的方法,其中該至少一個特徵包括以下項目中的一者或多者: 該跟蹤資料中的形狀參數統料資料; 該跟蹤資料中的多個特徵的存在之間的關聯資料; 該跟蹤資料中的多個特徵的參數之間的關聯資料;或者 表明該跟蹤資料中的一形狀的扭曲(warping)的資料。
- 如請求項1所述的方法,其中該至少一個特徵包括以下項目中的一者或多者: 描述一區域(region)的一形狀的資料,該區域代表某個域(domain)中所表示的跟蹤資料的特徵; 特徵隨時間的變化; 一特徵與另一個特徵的發生頻率之間的關聯;或者 與一改正動作的執行相關聯的跟蹤資料變化。
- 如請求項1所述的方法,其中該第一指紋表明以下項目中的至少一者: 與該製造過程相關聯的製造設備的一個或多個部件;或者 要與該製造設備的該一個或多個部件相關聯而執行的一個或多個改正動作。
- 如請求項1所述的方法,其中導致該改正動作的執行的步驟包括以下步驟:將該第一指紋儲存在一指紋資料庫中。
- 如請求項1所述的方法,其中歷史跟蹤資料被提供作為訓練輸入以訓練一機器學習模型,其中該將該一個或多個指紋尺寸應用於該跟蹤資料以產生該至少一個特徵的步驟包括以下步驟:向該經訓練的機器學習模型提供該跟蹤資料。
- 如請求項1所述的方法,進一步包括以下步驟: 識別儲存在一指紋資料庫中的複數個指紋; 決定該第一指紋的一第一特徵與該複數個指紋中的一第二指紋的一對應特徵匹配;以及 基於該第二指紋,決定該改正動作。
- 如請求項1所述的方法,其中該一個或多個指紋尺寸被證實(verified)和驗證(validated),其中證實一指紋尺寸的步驟包括以下步驟:決定該指紋尺寸是資料不可知的(data agnostic),並且驗證該指紋尺寸的步驟包括以下步驟:決定該指紋尺寸的效能滿足一閾值。
- 如請求項1所述的方法,其中複數個指紋被儲存在一指紋資料庫中,其中該複數個指紋是基於一分層分類(hierarchical categorization)來組織的,其中該第一指紋要基於一第二指紋的元資料來更新,該第二指紋所屬的分層類別與該第一指紋不同。
- 如請求項1所述的方法,其中該改正動作的該執行包括以下步驟中的一者或多者: 向一使用者提供一警報; 排定預防性維護; 排定改正性維護; 為未來的製造過程更新一製程配方;或者 改正與製造設備的一個或多個部件相關聯的漂移。
- 一種儲存指令的非暫時性電腦可讀取儲存媒體,該等指令當被執行時使一處理設備執行包括以下步驟的操作: 接收要用於產生一指紋的一個或多個指紋尺寸(fingerprint dimension); 接收與一製造過程相關聯的跟蹤資料; 將該一個或多個指紋尺寸應用於該跟蹤資料,以產生至少一個特徵; 基於該至少一個特徵,產生該指紋;以及 基於該指紋,導致與一個或多個製造過程相關聯的一改正動作的執行。
- 如請求項14所述的非暫時性電腦可讀取儲存媒體,其中該指紋表明以下項目中的至少一者: 與該製造過程相關聯的製造設備的一個或多個部件;或者 要與該製造過程的該一個或多個部件相關聯而執行的一個或多個改正動作。
- 如請求項14所述的非暫時性電腦可讀取儲存媒體,其中該一個或多個指紋尺寸被證實(verified)和驗證(validated),其中證實一指紋尺寸的步驟包括以下步驟:決定該指紋尺寸是資料不可知的(data agnostic),並且驗證該指紋尺寸的步驟包括以下步驟:決定該指紋尺寸的效能滿足一閾值。
- 一種系統,包括記憶體和一處理設備,其中該處理設備被配置為: 接收要用於產生一指紋的一個或多個指紋尺寸(fingerprint dimension); 接收與一製造過程相關聯的跟蹤資料; 將該一個或多個指紋尺寸應用於該跟蹤資料,以產生至少一個特徵; 基於該至少一個特徵,產生該指紋;以及 基於該指紋,導致與一個或多個製造過程相關聯的一改正動作的執行。
- 如請求項17所述的系統,其中該指紋表明以下項目中的至少一者: 與該製造過程相關聯的製造設備的一個或多個部件;或者 要與該製造過程的該一個或多個部件相關聯而執行的一個或多個改正動作。
- 如請求項17所述的系統,其中為了導致該改正動作的該執行,該處理設備用於將該指紋儲存在一指紋資料庫中。
- 如請求項17所述的系統,其中該一個或多個指紋尺寸被證實(verified)和驗證(validated),其中證實一指紋尺寸的步驟包括以下步驟:決定該指紋尺寸是資料不可知的(data agnostic),並且驗證該指紋尺寸的步驟包括以下步驟:決定該等指紋尺寸的效能滿足一閾值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/511,450 US11789427B2 (en) | 2021-10-26 | 2021-10-26 | Value-independent situation identification and matching |
US17/511,450 | 2021-10-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202334771A true TW202334771A (zh) | 2023-09-01 |
Family
ID=86057565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111140410A TW202334771A (zh) | 2021-10-26 | 2022-10-25 | 與值無關的情況的識別和匹配 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11789427B2 (zh) |
TW (1) | TW202334771A (zh) |
WO (1) | WO2023076182A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6650955B1 (en) * | 2001-12-18 | 2003-11-18 | Advanced Micro Devices, Inc. | Method and apparatus for determining a sampling plan based on process and equipment fingerprinting |
US9443298B2 (en) | 2012-03-02 | 2016-09-13 | Authentect, Inc. | Digital fingerprinting object authentication and anti-counterfeiting system |
US9946165B2 (en) | 2013-10-02 | 2018-04-17 | Asml Netherlands B.V. | Methods and apparatus for obtaining diagnostic information relating to an industrial process |
US10430719B2 (en) * | 2014-11-25 | 2019-10-01 | Stream Mosaic, Inc. | Process control techniques for semiconductor manufacturing processes |
US11029673B2 (en) * | 2017-06-13 | 2021-06-08 | Pdf Solutions, Inc. | Generating robust machine learning predictions for semiconductor manufacturing processes |
US11218324B2 (en) | 2018-04-05 | 2022-01-04 | Ares Technologies, Inc. | Systems and methods authenticating a digitally signed assertion using verified evaluators |
US11513504B2 (en) | 2019-10-18 | 2022-11-29 | Applied Materials, Inc. | Characterizing and monitoring electrical components of manufacturing equipment |
-
2021
- 2021-10-26 US US17/511,450 patent/US11789427B2/en active Active
-
2022
- 2022-10-24 WO PCT/US2022/047603 patent/WO2023076182A1/en unknown
- 2022-10-25 TW TW111140410A patent/TW202334771A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
US11789427B2 (en) | 2023-10-17 |
WO2023076182A1 (en) | 2023-05-04 |
US20230126028A1 (en) | 2023-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11610076B2 (en) | Automatic and adaptive fault detection and classification limits | |
KR101609017B1 (ko) | 툴 성능 저하 및 미스매치의 검출을 위한 방법 및 시스템 | |
US9424528B2 (en) | Method and apparatus for self-learning and self-improving a semiconductor manufacturing tool | |
KR102131474B1 (ko) | 반도체 제조를 위한 자동 툴 파라미터 영향 식별 | |
KR20110043518A (ko) | 자율적인 적응적 반도체 제조 | |
US10228678B2 (en) | Tool failure analysis using space-distorted similarity | |
KR20170008251A (ko) | 제조 프로세스를 모델링 및/또는 분석하기 위한 시스템 및 방법 | |
US11853042B2 (en) | Part, sensor, and metrology data integration | |
US20230059313A1 (en) | On wafer dimensionality reduction | |
TW202349275A (zh) | 與處理裝備相關聯的合成時間序列資料 | |
TW202334771A (zh) | 與值無關的情況的識別和匹配 | |
TW202343177A (zh) | 用於製造設備的診斷工具與工具之匹配和全跡比較下鑽分析方法 | |
TW202346959A (zh) | 用於製造設備的診斷工具與工具之匹配和比較下鑽分析方法 | |
US20240062097A1 (en) | Equipment parameter management at a manufacturing system using machine learning | |
US20230280736A1 (en) | Comprehensive analysis module for determining processing equipment performance | |
Tilouche et al. | Classification algorithms for virtual metrology | |
US11961030B2 (en) | Diagnostic tool to tool matching methods for manufacturing equipment | |
US20230367302A1 (en) | Holistic analysis of multidimensional sensor data for substrate processing equipment | |
US20230306281A1 (en) | Machine learning model generation and updating for manufacturing equipment | |
US20230316593A1 (en) | Generating synthetic microspy images of manufactured devices | |
US20240054333A1 (en) | Piecewise functional fitting of substrate profiles for process learning | |
US20230376373A1 (en) | Guardbands in substrate processing systems | |
TW202409764A (zh) | 用於基板處理設備的多維感測器資料的整體分析 | |
TW202409758A (zh) | 基板處理系統中的保護帶 | |
CN118020083A (zh) | 使用缺陷模型估计缺陷风险并优化处理配方 |