TW201327397A - 預測模型之建模樣本的篩選方法及其電腦程式產品 - Google Patents

預測模型之建模樣本的篩選方法及其電腦程式產品 Download PDF

Info

Publication number
TW201327397A
TW201327397A TW100147447A TW100147447A TW201327397A TW 201327397 A TW201327397 A TW 201327397A TW 100147447 A TW100147447 A TW 100147447A TW 100147447 A TW100147447 A TW 100147447A TW 201327397 A TW201327397 A TW 201327397A
Authority
TW
Taiwan
Prior art keywords
group
data
sample
sample data
prediction model
Prior art date
Application number
TW100147447A
Other languages
English (en)
Other versions
TWI451336B (zh
Inventor
Fan-Tien Cheng
Wei-Ming Wu
Original Assignee
Univ Nat Cheng Kung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Cheng Kung filed Critical Univ Nat Cheng Kung
Priority to TW100147447A priority Critical patent/TWI451336B/zh
Priority to US13/667,039 priority patent/US8862525B2/en
Priority to CN201210453644.7A priority patent/CN103177180B/zh
Priority to JP2012265665A priority patent/JP5515125B2/ja
Priority to KR1020120143563A priority patent/KR101440304B1/ko
Publication of TW201327397A publication Critical patent/TW201327397A/zh
Application granted granted Critical
Publication of TWI451336B publication Critical patent/TWI451336B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70491—Information management, e.g. software; Active and passive control, e.g. details of controlling exposure processes or exposure tool monitoring processes
    • G03F7/705—Modelling or simulating from physical phenomena up to complete wafer processes or whole workflow in wafer productions
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70605—Workpiece metrology
    • G03F7/70616—Monitoring the printed patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

一種預測模型之建模樣本的篩選方法及其電腦程式產品。當一動態移動視窗(Dynamic Moving Window；DMW)中有加入一筆新樣本資料時，先對視窗內的所有樣本資料進行分群步驟，使得特性相近的樣本資料被歸類於同一群內。然後，檢視各個群集內之樣本資料的數目。若最大群集之樣本資料的數目大於預設門檻，則代表最大群集有過多特性相近樣本資料，故可摒棄此最大群集內之最舊樣本資料。若最大群集之樣本資料的數目小於或等於預設門檻，則代表最大群集中之樣本資料相當獨特，而必須被保留來建立或更新預測模型。

Description

預測模型之建模樣本的篩選方法及其電腦程式產品
本發明是有關於一種預測模型之建模樣本的篩選方法及其電腦程式產品，且特別是有關於一種使用動態移動視窗(Dynamic Moving Window；DMW)的預測模型之建模樣本的篩選方法及其電腦程式產品。
歷史樣本資料常被用於建構首套預測模型。然後，將預測模型應用於後續之實際應用環境中。隨著新樣本資料的取得，習知技術會使用新樣本資料來進行模型更新，以更新或重新訓練預測模型。因此，預測模型之預測精度係與歷史樣本資料和線上模型更新期間所取得之新進樣本資料有密切關係。
以建構虛擬量測模型為例，在生產過程中，製程機台會面臨到定期維護(Preventive Maintenance；PM)機台、機台漂移(Drift)，或為了測試機台特性或校正機台所需進行的實驗設計(Design of Experiments；DOE)等狀況。若能蒐集到上述事件的重要樣本資料，將可使虛擬量測模型所包含的資料特性更加完整，進而提升虛擬量測即時預測產品品質的準確性及穩健性。傳統上，習知技術係採用靜態移動視窗(Static Moving Window；SMW)機制來維持及管理建模樣本資料。所謂「靜態移動視窗」機制係以固定樣本數量之方式，以新進入視窗中的樣本資料取代視窗中最舊的樣本資料來進行更新樣本。如此，當時間的演進，位於視窗前端的樣本資料會逐漸被陸續進入視窗中的樣本資料所取代，使得上述事件的重要樣本資料會因時間一久，而被摒棄於建模樣本之外。因此，當未來再面臨類似之機台偏移狀況時，預測模型(虛擬量測模型)就無法準確地預測出此種偏移狀況。
因此，需要一種預測模型之建模樣本的篩選方法及其電腦程式產品，以獲得並留住重要且足夠的建模樣本資料，來克服上述習知技術的缺點。
因此，本發明之一目的就是在提供一種預測模型之建模樣本的篩選方法及其電腦程式產品，藉以獲得並留住重要且足夠的建模樣本資料，以確保預測模型之預測精度。
根據本發明之一態樣，提供一種預測模型之建模樣本的篩選方法。在此方法中，首先，獲得關於一待預測標的之依時序產生的複數組第一樣本資料，其中第一樣本資料包含：複數組監測資料和複數個目標資料，其中此些目標資料與此些組監測資料係一對一對應並具有因果關係。接著，對第一樣本資料進行一分群步驟，以將第一樣本資料間之相似度高者分為一群，而獲得複數個第一群組。然後，尋找具有最多組第一樣本資料之第一群組，而獲得至少一個第二群組。然後，判斷第二群組的數目是否大於或等於2，而獲得第一判斷結果。當第一判斷結果為是時，尋找具有最舊第一樣本資料之第二群組，而獲得一第三群組，並判斷此第三群組中第一樣本資料的數目是否小於一預設數目(例如：3)，而獲得第二判斷結果。當第一判斷結果為否時，判斷第二群組中第一樣本資料的數目是否小於前述之預設數目(例如：3)，而獲得第三判斷結果。當第二判斷結果或第三判斷結果為是時，保留全部之第一樣本資料，以供一預測模型建模或更新之用，其中預測模型係用以預測待預測標的狀態或行為。當第二判斷結果為否時，棄除第三群組中之最舊的第一樣本資料，並保留其餘之第一樣本資料，以供預測模型建模或更新之用。當第三判斷結果為否時，棄除第二群組中之最舊的第一樣本資料，並保留其餘之第一樣本資料，以供預測模型建模或更新之用。
根據本發明之一實施例，前述之第一樣本資料包含：儲存於一資料庫中之複數組歷史樣本資料；以及一組新搜集到的樣本資料。
根據本發明之一實施例，前述之第一樣本資料係利用一移動視窗來獲得。
根據本發明之一實施例，前述之待預測標的為被一製程機台所處理之一工件，前述之預測模型為一虛擬量測模型。前述之監測資料為複數組製程資料，其係於製程機台處理複數個歷史工件時所產生，而每一組製程資料包含有複數個製程參數。前述之目標資料為複數個量測資料，其係由一量測機台量測歷史工件所獲得，其中量測資料以一對一的方式對應至製程資料。
根據本發明之一實施例，前述之分群步驟係根據一適應性共振理論2(Adaptive Resonance Theory 2；ART2)、一歐氏距離(Euclidean Distance；ED)演算法或一加權歐氏距離(Weighted Euclidean Distance；WED)演算法來進行。
根據本發明之一實施例，前述之分群步驟係針對第一樣本資料之監測資料來進行。
根據本發明之一實施例，前述之分群步驟係針對第一樣本資料之監測資料和目標資料來進行。
根據本發明之又一態樣，提供一種電腦程式產品，當電腦載入此電腦程式產品並執行後，可完成前述之預測模型之建模樣本的篩選方法。
因此，應用本發明之實施例，可有效地獲得並留住重要且足夠的建模樣本資料，以確保預測模型之預測精度。
在此詳細參照本發明之實施例，其例子係與圖式一起說明。儘可能地，圖式中所使用的相同元件符號係指相同或相似組件。
本發明係提供一種建模樣本的篩選方法，用以建立或更新一種預測模型，來預測一待預測標的狀態或行為。本發明所適用之預測模型可為例如於高科技製造業之虛擬量測模型、良率預測模型、預測保養模型、產能預估模型等；醫療照護產業之3D影像技術預測癌症擴散速度模型等；氣象產業之颱風動態與路徑預測模型、雨量預測模型、土石流警戒預測模型等。
本發明主要是提出一種動態移動視窗機制來維持及管理建模樣本。當動態移動視窗中有加入一筆新樣本資料時，將先利用分群技術對視窗內的所有樣本進行分群，使得特性相近的數個樣本被歸類於同一群內。然後，檢視各個群集內之樣本數目。若最大群集之樣本數大於預設門檻，則代表最大群集有許多特性相近的樣本資料，故可摒棄此最大群集內之最舊樣本資料。若最大群集之樣本數小於或等於預設門檻，則代表最大群集中之樣本資料相當獨特，而必須被保留來建立或更新預測模型，以使預測模型可預測出待預測標的之特殊行為。換言之，本發明可即時地吸收待預測標的變異之重要資訊，且不會因時間因素而將重要樣本資料丟棄，未來若面臨過去已發生之待預測標的變異時，預測模型亦能準確地預測產品品質。
請參照第1圖，其繪示依照本發明之一實施例之預測模型之建模樣本的篩選方法的流程圖。如第1圖所示，首先，進行步驟102，以獲得關於複數組第一樣本資料。第一樣本資料為關於一待預測標的之依時序產生的複數組歷史樣本資料，其可儲存於例如一資料庫中。第一樣本資料包含有複數組監測資料、和複數個目標資料，其中目標資料與監測資料係一對一對應並具有因果關係。舉例而言，待預測標的可為被一製程機台所處理之一工件(例如：半導體之晶圓或TFT-LCD廠之玻璃基板)，預測模型可為一虛擬量測模型，其中監測資料為複數組製程資料，其係於製程機台處理複數個歷史工件時所產生，其中每一組製程資料包含有複數個製程參數；該些目標資料為複數個量測資料，其係由一量測機台量測歷史工件所獲得，其中量測資料以一對一的方式對應至製程資料。
然後，進行步驟110，以搜集一組新樣本資料。此組新樣本資料為關於前述之待預測標的之在歷史樣本資料後所產生的樣本資料。接著，進行步驟120，以將搜集到的新樣本資料加入至第一樣本資料。值得一提的是，本實施例亦可先直接處理歷史樣本資料，亦即略過步驟110和120。
接著，進行步驟130，以對第一樣本資料進行分群步驟，以將第一樣本資料間之相似度高者分為一群，而獲得複數個第一群組。在本實施例中，可只針對第一樣本資料中之目標資料來進行分群步驟。然而，由於不同的監測資料(例如：製程資料)可能會產生相同的目標資料(例如：製程資料)。因此，較佳是針對第一樣本資料中之監測資料來進行分群步驟。在又一實施例中，分群步驟係針對第一樣本資料之監測資料和目標資料來進行。本實施例之分群步驟可使用任何分群演算法，例如：適應性共振理論2(Adaptive Resonance Theory 2；ART2)、歐氏距離(Euclidean Distance；ED)演算法、或加權歐氏距離(Weighted Euclidean Distance；WED)演算法，其中加權歐氏距離演算法係本發明的特徵之一，將於後詳述。至於其他分群演算法係習於本技藝之人士所熟知，故不在此贅述。
然後，進行步驟140，以尋找具有最多組第一樣本資料之第一群組，而獲得至少一個第二群組。接著，進行步驟150，以判斷第二群組的數目是否大於或等於2。若步驟150的結果為「是」，代表有兩個以上的第二群組(具有最多組第一樣本資料)，則尋找具有最舊第一樣本資料之第二群組(步驟160)，而獲得一第三群組，再進行步驟170，以判斷第三群組中第一樣本資料的數目是否小於預設數目(例如：3)。若步驟150的結果為「否」，則直接進行步驟170，以判斷第二群組中第一樣本資料的數目是否小於預設數目(例如：3)。若步驟170的結果為「是」，代表此最多組第一樣本資料之第一群組的樣本數太少，即此群組中的所有第一樣本資料均相當獨特，故進行步驟180以保留步驟130中所使用之全部第一樣本資料，來供一預測模型建模或更新之用，其中此預測模型係用以預測待預測標的狀態或行為。若步驟170的結果為「否」，代表此最多組第一樣本資料之第一群組的相似樣本數相當多，故進行步驟190以棄除此群組中之最舊的第一樣本資料，並保留其餘第一樣本資料，來供預測模型建模或更新之用，以節省建模或更新模型的時間。
以下以加權歐氏距離演算法及虛擬量測模型為例子來說明前述之分群步驟130，其中每一組第一樣本資料包含有一組製程資料、和與製程資料相對應之一量測資料，每一組製程資料包含有複數個製程參數。
在分群步驟130中，首先，計算出第j組製程資料X j (j=1,2,...,p)與量測資料間y之加權相關係數W j ，其計算公式如下：
其中r( X j , y )為第j個製程參數X j (j=1,2,...,p)與量測資料間y之相關係數； X j =[x 1 , j ,x 2 , j ,...,x n , j ] T 為包含有n個製程參數之第j組製程資料； y =[y 1 , y 2 ,...,y n ] T 。加權相關係數矩陣W為：
接著，對每一組樣本資料計算出加權歐氏距離WED i (i=1,2,...,n)。在建構WED i 之前，必須先標準化製程資料，其計算公式如下：
其中為第i組製程資料中之第j個標準化製程參數；為第j個製程參數的平均值；第j個製程參數的標準差。
設為第i組標準化製程資料的向量，而此模型組(Model Set)之製程參數係定義為 X M =[x M , 1 ,x M, 2 ,...,x M,p ] T ，其中x M,j 等於 ,j=1,2,…,p，使得標準化後之模型組中的每一個元件(亦記為標準化模型參數Z M,j )均為0。換言之， Z M =[Z M , 1 ,Z M, 2 ,...,Z M,p ] T 中的所有元件均為0。
因此，WED i 表示如下：
WED i =( Z i - Z M ) W IW T ( Z i - Z M ) T 　(6)
其中 I 為單位矩陣。由於 Z M 中的所有元件均為0，故WED i 可被簡化為
WED i = Z i W IW T Z i T 　(7)
在獲得所有樣本資料之WED i 後，先將所有WED i 繪製成直方圖(Histogram)。然後，應用史特基特法則(Sturge’s Rule)對WED i 進行分群。史特基特法則的公式如下：
群組數目=1+log2(n)　(8)
其中n代表樣本資料的數目；最接近公式(8)中之群組數目的整數被採用為C值。最後，以一群組寬度將這些WED i ,i=1,2,...,n平分為C個群組，群組寬度的公式如下：
群組寬度=[max(WED i )-min(WED i )]/C　(9)
其中max(WED i )代表最大之WED i ；min(WED i )代表最小之WED i 。
以下以兩個應用例來說明本案動態移動視窗(DMW)的優點。此兩個應用例係使用一微影工具的實驗資料，此微影工具係實際應用於第五代TFT-LCD廠。請參照第2圖，其繪示用以說明應用例之玻璃基板(待預測標的)之量測位置的示意圖。如第2圖所示，此兩個應用例係量測玻璃基板之量測位置1-8。根據微影工具的特性，分別選擇21個主要製程參數為虛擬量測模型(預測模型)的輸入(用以建模或更新模型)。此些製程資料係以一時段視窗平均的方式，從時間序列追蹤(Time-series-trace)資料中取得。
此兩個應用例所使用之整體相似度指標(Global Similarity Index；GSI)可參考美國專利前案第7,593,912號，其全部內容在此以引用方式併入本案。GSI係評估新進任何一組樣本資料與建模的所有製程資料(歷史樣本資料)間的相似度。若計算出的GSI小，則表示新進之樣本資料類似於建模的樣本資料。反之，若計算出之GSI過大，則表示新進之樣本資料與建模的樣本資料有些不同。
此兩個應用例所使用之整體相似度指標和虛擬量測模型可參考美國專利前案第7,603,328號和美國專利公開案第20090292386號(已獲准，其申請號為12/207,706)，其在此以引用方式併入本案。值得一提的是，美國專利前案第7,593,912號、美國專利前案第7,603,328號和美國專利公開案第20090292386號具有與本案相同的受讓人。
虛擬量測模型的精確度係根據平均絕對值誤差(Mean Absolute Percentage Error；MAPE)來表示，其公式如下：
其中代表虛擬量測模型所推估之預測(虛擬)量測值；y i 代表實際量測值；y代表目標值；q代表目標值樣本數目。當MAPE愈靠近0時，虛擬量測模型的精確度愈高。
應用例1
請參照第3A圖和第3B圖，第3A圖係繪示應用例1之玻璃基板之量測位置2的預測與實際量測值與其相對應之GSI值；第3B圖係繪示應用例1之玻璃基板之量測位置8的預測與實際量測值與其相對應之GSI值，其中SMW代表使用習知之靜態移動視窗來篩選建模樣本之虛擬量測模型的預測結果；DMW-ART2代表使用本發明之使用適應性共振理論2的動態移動視窗，來篩選建模樣本之虛擬量測模型的預測結果；DMW-WED代表使用本發明之使用加權歐氏距離(WED)演算法的動態移動視窗，來篩選建模樣本之虛擬量測模型的預測結果。請亦參照第4A至4C圖，其分別繪示應用例1分別採用習知之靜態移動視窗、本發明之DMW-ART2和DMW-WED後關於主要製程參數(處理時間；ActProcess Time)的篩選樣本結果。
應用例1的目的係用以展示本發明之DMW可保留應永久保留於模型中之黃金樣本的能力。首先，採用12組實驗資料(樣本1至樣本12)，其中樣本3至樣本9係特別被選以調整微影工具上的主要製程參數(ActProcess Time)，來進行關鍵尺寸偏移測試(Spread Test)。此7個偏移測試的樣本為所謂的「黃金樣本」。然後，收集63個額外的歷史樣本。結果是，有75個樣本被用來建構虛擬量測模型，其中12個實驗樣本位於視窗前方，接著是63個歷史樣本。再來是19個樣本，其係一一用來更新虛擬量測模型。最後，再使用12組實驗資料來進行自由測試，以評估分別使用SMW、DMW-ART2和DMW-WED虛擬量測模型的精確度。
表1為分別使用SMW、DMW-ART2和DMW-WED樣本篩選方法之虛擬量測模型對如第2圖所示8個量測位置的預測結果，其中虛擬量測模型分別使用複迴歸(Multi-Regression；MR)演算法和類神經網路
如第3A圖和第3B圖所示，SMW之樣本97至樣本103的GSI高於GSI門檻值，而DMW-ART2與DMW-WED之樣本97至樣本103的GSI低於GSI門檻值。事實上，樣本97至樣本103為如上所述之黃金樣本(樣本3至樣本9)。此現象指出SMW棄除了這些黃金樣本，而DMW-ART2與DMW-WED保留了這些黃金樣本。如表1所示，由於習知之SMW無法保留黃金樣本，但本發明之DMW-ART2與DMW-WED可保留黃金樣本，故採用SMW之虛擬量測模型MAPE與最大誤差(Max Error)大於採用DMW之虛擬量測模型。
再者，如第4A至4C圖所示，在使用19個樣本更新虛擬量測模型後，習知之SMW丟棄所有的黃金樣本；本發明之DMW-ART2保留黃金樣本4至黃樣本金9；本發明之DMW-WED保留所有的黃金樣本3至黃金樣本9。
應用例2
請參照第5A圖和第5B圖，第5A圖係繪示應用例2之玻璃基板之量測位置2的預測與實際量測值與其相對應之GSI值；第5B圖係繪示應用例2之玻璃基板之量測位置6的預測與實際量測值與其相對應之GSI值。請亦參照第6A至6C圖，其分別繪示應用例2分別採用習知之靜態移動視窗、本發明之DMW-ART2和DMW-WED後關於主要製程參數(光照參數)的篩選樣本結果。
應用例2的目的係用以評估使用SMW、DMW-ART2和DMW-WED樣本篩選方法之「雙階段虛擬量測模型」(如美國專利前案第7,603,328號所述)的性能。在本應用例中，搜集並採用75個歷史樣本為雙階段虛擬量測模型的建模樣本；再一一使用接著之56個樣本來測試和更新雙階段虛擬量測模型，對應至此56個樣本之實際量測值(關於關鍵尺寸(Critical Dimension；CD))係用來評估虛擬量測模型的精確度。
表2為分別使用SMW、DMW-ART2和DMW-WED樣本篩選方法之虛擬量測模型對如第2圖所示8個量測位置的預測結果。
如表2所示，採用SMW之虛擬量測模型平均MAPE與平均最大誤差(Max Error)比採用DMW-ART2與DMW-WED之虛擬量測模型差，而採用DMW-WED之虛擬量測模型的精確度略優於採用DMW-ART2之虛擬量測模型的精確度。
如第5A圖和第5B圖所示，SMW之樣本126的GSI高於GSI門檻值(9)，而DMW-ART2與DMW-WED之樣本126的GSI低於GSI門檻值。再者，DMW-ART2之樣本126的GSI略高於DMW-WED之樣本126的GSI，而DMW-ART2之樣本126的預測誤差略高於DMW-WED之樣本126的預測誤差。
如第6A至6C圖所示，SMW之樣本126的光照參數與SMW之其他樣本的光照參數相當不同；DMW-ART2保留與樣本35和樣本36較相似的樣本；DMW-WED保留與樣本30高度相似的樣本。因此，第6A至6C圖所示之現象可支持表2、第5A圖和第5B圖所示之結果。
當起初之視窗大小設定為包含75個樣本(即75組樣本資料)時，在應用例1和2中，DMW-ART2與DMW-WED分群所獲得的群組數目為40個和7個，其中群組數目不應太接近視窗中的樣本數目，否則每一群組內的樣本數目會太少。同一群組中的樣本具有相似的特性，而通常一群組中只要有3個樣本才可支持此群組的特性。因此，第1圖之步驟170所使用之預設數目為3。亦即，當一群組中的樣本數目大於或等於3個時，此群組中的最舊樣本可被棄除，而不會影響此群組的特性；當一群組中的樣本數目小於3個時，則群組中的所有樣本都必須保留，否則無法支持此群組的特性。
上述實施例可利用電腦程式產品來實現，其可包含儲存有多個指令之機器可讀取媒體，這些指令可程式化(programming)電腦來進行上述實施例中的步驟。機器可讀取媒體可為但不限定於軟碟、光碟、唯讀光碟、磁光碟、唯讀記憶體、隨機存取記憶體、可抹除可程式唯讀記憶體(EPROM)、電子可抹除可程式唯讀記憶體(EEPROM)、光卡(optical card)或磁卡、快閃記憶體、或任何適於儲存電子指令的機器可讀取媒體。再者，本發明之實施例也可做為電腦程式產品來下載，其可藉由使用通訊連接(例如網路連線之類的連接)之資料訊號來從遠端電腦轉移本發明之電腦程式產品至請求電腦。
由以上說明可知，應用本發明之實施例，可有效地獲得並留住重要且足夠的建模樣本資料，以確保預測模型之預測精度。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何在此技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
1-8．．．量測位置
102．．．獲得關於複數組第一樣本資料
110．．．搜集一組新樣本資料
120．．．將搜集到的新樣本資料加入至第一樣本資料
130．．．對第一樣本資料進行分群步驟
140．．．尋找具有最多組第一樣本資料之群組
150．．．判斷群組的數目是否大於或等於2
160．．．尋找具有最舊第一樣本資料之群組
170．．．此群組中第一樣本資料數目是否小於預設數目
180．．．保留全部之第一樣本資料
190．．．棄除此群組中之最舊的第一樣本資料，並保留其餘第一樣本資料
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：
第1圖係繪示依照本發明之預測模型之建模樣本的篩選方法的流程圖。
第2圖係繪示用以說明應用例之玻璃基板(待預測標的)之量測位置的示意圖。
第3A圖係繪示應用例1之玻璃基板之量測位置2的預測與實際量測值及與其相對應之GSI值。
第3B圖係繪示應用例1之玻璃基板之量測位置8的預測與實際量測值及與其相對應之GSI值。
第4A至4C圖係分別繪示應用例1分別採用習知之靜態移動視窗、本發明之DMW-ART2和DMW-WED後關於主要製程參數的篩選樣本結果。
第5A圖係繪示應用例2之玻璃基板之量測位置2的預測與實際量測值及與其相對應之GSI值。
第5B圖係繪示應用例2之玻璃基板之量測位置6的預測與實際量測值及與其相對應之GSI值。
第6A至6C圖係分別繪示應用例2分別採用習知之靜態移動視窗、本發明之DMW-ART2和DMW-WED後關於主要製程參數的篩選樣本結果。
102．．．獲得關於複數組第一樣本資料
110．．．搜集一組新搜集到的樣本資料
120．．．將新搜集到的樣本資料加入至第一樣本資料
130．．．對第一樣本資料進行分群步驟
140．．．尋找具有最多組第一樣本資料之群組
150．．．判斷群組的數目是否大於或等於2
160．．．尋找具有最舊第一樣本資料之群組
170．．．此群組中第一樣本資料的數目是否小於預設數目
180．．．保留全部之第一樣本資料
190．．．棄除此群組中之最舊的第一樣本資料，並保留其餘第一樣本資料

Claims (10)

  1. 一種預測模型之建模樣本的篩選方法，包含：獲得關於一待預測標的之依時序產生的複數組第一樣本資料，其中該些組第一樣本資料包含：複數組監測資料；以及複數個目標資料，其中該些目標資料與該些組監測資料係一對一對應並具有因果關係；對該些組第一樣本資料進行一分群步驟，以將該些組第一樣本資料間之相似度高者分為一群，而獲得複數個第一群組；尋找該些第一群組其中具有最多組第一樣本資料之至少一者，而獲得至少一第二群組；判斷該至少一第二群組的數目是否大於或等於2，而獲得一第一判斷結果；當該第一判斷結果為是時，尋找該些第二群組其中具有最舊第一樣本資料之一者，而獲得一第三群組，並判斷該第三群組中第一樣本資料的數目是否小於一預設數目，而獲得一第二判斷結果；當該第一判斷結果為否時，判斷該第二群組中第一樣本資料的數目是否小於該預設數目，而獲得一第三判斷結果；當該第二判斷結果或該第三判斷結果為是時，保留全部之該些組第一樣本資料，以供一預測模型建模或更新之用，其中該預測模型係用以預測該待預測標的狀態或行為；當該第二判斷結果為否時，除該第三群組中之最舊的第一樣本資料，並保留該些組第一樣本資料之其餘者，以供該預測模型建模或更新之用；以及當該第三判斷結果為否時，棄除該第二群組中之最舊的第一樣本資料，並保留該些組第一樣本資料之其餘者，以供該預測模型建模或更新之用。
  2. 如請求項1所述之預測模型之建模樣本的篩選方法，其中該些組第一樣本資料包含：儲存於一資料庫中之複數組歷史樣本資料；以及一組新搜集到的樣本資料。
  3. 如請求項1所述之預測模型之建模樣本的篩選方法，其中該些組第一樣本資料係利用一移動視窗(Moving Window)來獲得。
  4. 如請求項1所述之預測模型之建模樣本的篩選方法，其中該待預測標的為被一製程機台所處理之一工件，該預測模型為一虛擬量測模型，其中該些組監測資料為複數組製程資料，其係於該製程機台處理複數個歷史工件時所產生，其中每一該些組製程資料包含有複數個製程參數；以及該些目標資料為複數個量測資料，其係由一量測機台量測該些歷史工件所獲得，其中該些量測資料以一對一的方式對應至該些組製程資料。
  5. 如請求項1所述之預測模型之建模樣本的篩選方法，其中該分群步驟係根據一適應性共振理論2(Adaptive Resonance Theory 2；ART2)來進行。
  6. 如請求項1所述之預測模型之建模樣本的篩選方法，其中該分群步驟係根據一歐氏距離(Euclidean Distance；ED)演算法來進行。
  7. 如請求項1所述之預測模型之建模樣本的篩選方法，其中該分群步驟係根據一加權歐氏距離(Weighted Euclidean Distance；WED)演算法來進行。
  8. 如請求項1所述之預測模型之建模樣本的篩選方法，其中該分群步驟係針對該些組第一樣本資料之該些組監測資料來進行。
  9. 如請求項1所述之預測模型之建模樣本的篩選方法，其中該分群步驟係針對該些組第一樣本資料之該些組監測資料和該些目標資料來進行。
  10. 一種電腦程式產品，當電腦載入此電腦程式產品並執行後，可完成如請求項1至9中任一項所述之預測模型之建模樣本的篩選方法。
TW100147447A 2011-12-20 2011-12-20 預測模型之建模樣本的篩選方法及其電腦程式產品 TWI451336B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
TW100147447A TWI451336B (zh) 2011-12-20 2011-12-20 預測模型之建模樣本的篩選方法及其電腦程式產品
US13/667,039 US8862525B2 (en) 2011-12-20 2012-11-02 Method for screening samples for building prediction model and computer program product thereof
CN201210453644.7A CN103177180B (zh) 2011-12-20 2012-11-13 预测模型的建模样本的筛选方法
JP2012265665A JP5515125B2 (ja) 2011-12-20 2012-12-04 予測モデルのモデル構築用サンプルのスクリーニング方法及びそのコンピュータプログラム製品
KR1020120143563A KR101440304B1 (ko) 2011-12-20 2012-12-11 예측 모델을 생성하기 위해 샘플들을 선별하는 방법 및 이의 컴퓨터 프로그램 프로덕트

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100147447A TWI451336B (zh) 2011-12-20 2011-12-20 預測模型之建模樣本的篩選方法及其電腦程式產品

Publications (2)

Publication Number Publication Date
TW201327397A true TW201327397A (zh) 2013-07-01
TWI451336B TWI451336B (zh) 2014-09-01

Family

ID=48611206

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100147447A TWI451336B (zh) 2011-12-20 2011-12-20 預測模型之建模樣本的篩選方法及其電腦程式產品

Country Status (5)

Country Link
US (1) US8862525B2 (zh)
JP (1) JP5515125B2 (zh)
KR (1) KR101440304B1 (zh)
CN (1) CN103177180B (zh)
TW (1) TWI451336B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI617816B (zh) * 2013-08-03 2018-03-11 克萊譚克公司 晶圓的可適性電性測試
TWI662472B (zh) * 2017-02-17 2019-06-11 大陸商平安科技（深圳）有限公司 相關變數識別方法和裝置
TWI683284B (zh) * 2014-03-27 2020-01-21 美商克萊譚克公司 保留可重標準化性之製造樣本成型
US11429809B2 (en) 2019-09-24 2022-08-30 Beijing Sensetime Technology Development Co., Ltd Image processing method, image processing device, and storage medium

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI463334B (zh) * 2012-07-20 2014-12-01 Univ Nat Cheng Kung 標的裝置的基底預測保養方法與其電腦程式產品
TWI549007B (zh) * 2013-02-07 2016-09-11 先知科技股份有限公司 製程參數的搜尋與分析方法及其電腦程式產品
CN103793762B (zh) * 2014-01-23 2017-06-16 太原科技大学 一种基于小样本多类型参数的刀具寿命预测方法
CN104110251A (zh) * 2014-06-24 2014-10-22 安徽多杰电气有限公司 一种基于art2的抽油机示功图识别方法
TWI641934B (zh) 2014-08-05 2018-11-21 聯華電子股份有限公司 虛擬量測系統與方法
TWI539298B (zh) 2015-05-27 2016-06-21 國立成功大學 具取樣率決定機制的量測抽樣方法 與其電腦程式產品
TWI628935B (zh) * 2016-01-29 2018-07-01 中華電信股份有限公司 Request traffic grouping method
CN107025596B (zh) * 2016-02-01 2021-07-16 腾讯科技（深圳）有限公司 一种风险评估方法和系统
GB2571651B (en) * 2016-10-21 2022-09-21 Datarobot Inc Systems for predictive data analytics, and related methods and apparatus
TWI625615B (zh) * 2016-11-29 2018-06-01 財團法人工業技術研究院 預測模型建立方法及其相關預測方法與電腦程式產品
CN108268987B (zh) * 2016-12-30 2021-08-06 郑芳田 多样式产品的品质推估方法
CN106844908B (zh) * 2017-01-04 2019-09-10 东南大学 一种基于样本相似度加权的电站设备自适应建模方法
TWI661297B (zh) * 2017-11-30 2019-06-01 財團法人資訊工業策進會 監控系統及監控方法
TWI708197B (zh) 2019-04-26 2020-10-21 國立成功大學 生產機台組件的預測保養方法與其電腦程式產品
CN110163276B (zh) * 2019-05-15 2021-03-26 浙江中烟工业有限责任公司 一种近红外光谱建模样本的筛选方法
TWI695286B (zh) * 2019-05-24 2020-06-01 國立虎尾科技大學 切削動態模擬方法
CN110363229B (zh) * 2019-06-27 2021-07-27 岭南师范学院 一种基于改进RReliefF和mRMR相结合的人体特征参数选择方法
CN113130024A (zh) * 2019-12-31 2021-07-16 华为技术有限公司 医疗事件的预测方法及穿戴设备、计算机可读存储介质
CN113743688B (zh) * 2020-05-27 2023-10-20 富联精密电子(天津)有限公司 质量管控方法、装置、计算机装置及存储介质
TWI742709B (zh) 2020-06-04 2021-10-11 國立成功大學 預測機台加工事件發生的方法與其虛擬量測應用及其電腦程式產品
CN113298305B (zh) * 2021-05-24 2023-04-07 四川大学 基于不同降雨时程特征的双阈值暴雨山洪洪水灾害预警方法
JP7504236B2 (ja) * 2021-06-25 2024-06-21 エルアンドティー テクノロジー サービシズ リミテッド データサンプルをクラスタ化する方法およびシステム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI315054B (en) 2006-05-10 2009-09-21 Nat Cheng Kung Universit Method for evaluating reliance level of a virtual metrology system in product manufacturing
US7962607B1 (en) * 2006-09-08 2011-06-14 Network General Technology Generating an operational definition of baseline for monitoring network traffic data
TWI338916B (en) 2007-06-08 2011-03-11 Univ Nat Cheng Kung Dual-phase virtual metrology method
EP2244213B1 (en) 2007-12-18 2015-10-28 Fujitsu Limited Generating method of two class classification prediction model, program for generating classification prediction model and generating device of two class classification prediction model
TWI349867B (en) * 2008-05-20 2011-10-01 Univ Nat Cheng Kung Server and system and method for automatic virtual metrology
CN101598754B (zh) * 2008-06-05 2011-09-21 郑芳田 自动虚拟计量的系统及方法
US8109669B2 (en) * 2008-11-19 2012-02-07 Applied Materials, Inc. Temperature uniformity measurement during thermal processing
CN101539402B (zh) * 2009-04-29 2011-08-17 陈炳生 实时测量数据的处理方法
KR100997009B1 (ko) 2009-06-09 2010-11-25 한국남동발전 주식회사 산업설비의 공정 여유도에 대한 동적 감시 및 적시 경보 방법
JP2011065504A (ja) 2009-09-18 2011-03-31 Tokyo Univ Of Science ユーザの選好関係についての予測モデルを生成する選好予測サーバ及びその方法
TWI412906B (zh) * 2010-04-13 2013-10-21 Univ Nat Cheng Kung 具有虛擬量測功能的製造執行系統與製造系統

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI617816B (zh) * 2013-08-03 2018-03-11 克萊譚克公司 晶圓的可適性電性測試
TWI683284B (zh) * 2014-03-27 2020-01-21 美商克萊譚克公司 保留可重標準化性之製造樣本成型
TWI662472B (zh) * 2017-02-17 2019-06-11 大陸商平安科技（深圳）有限公司 相關變數識別方法和裝置
US11429809B2 (en) 2019-09-24 2022-08-30 Beijing Sensetime Technology Development Co., Ltd Image processing method, image processing device, and storage medium

Also Published As

Publication number Publication date
KR20130071369A (ko) 2013-06-28
KR101440304B1 (ko) 2014-09-15
CN103177180A (zh) 2013-06-26
CN103177180B (zh) 2016-06-22
JP5515125B2 (ja) 2014-06-11
TWI451336B (zh) 2014-09-01
US8862525B2 (en) 2014-10-14
JP2013131217A (ja) 2013-07-04
US20130159226A1 (en) 2013-06-20

Similar Documents

Publication Publication Date Title
TWI451336B (zh) 預測模型之建模樣本的篩選方法及其電腦程式產品
TWI539298B (zh) 具取樣率決定機制的量測抽樣方法 與其電腦程式產品
TWI549007B (zh) 製程參數的搜尋與分析方法及其電腦程式產品
US10627788B2 (en) Retrieval apparatus and retrieval method for semiconductor device processing
US9829415B2 (en) Metrology sampling method and computer program product thereof
US20130173332A1 (en) Architecture for root cause analysis, prediction, and modeling and methods therefor
US20190064253A1 (en) Semiconductor yield prediction
US10719655B2 (en) Method and system for quickly diagnosing, classifying, and sampling in-line defects based on CAA pre-diagnosis database
CN111566789B (zh) 使用电子显微法的半导体计量及缺陷分类
US20130245806A1 (en) Automated hybrid metrology for semiconductor device fabrication
US10345794B2 (en) Product quality prediction method for mass customization
CN113609790B (zh) 产品虚拟量测方法及系统及装置及介质
JP2012226511A (ja) 歩留まり予測システムおよび歩留まり予測プログラム
US8682058B2 (en) Defect analysis method, apparatus, and recording medium using pattern dependence degree
JP2011054804A (ja) 半導体製造装置の管理方法およびシステム
US20130030760A1 (en) Architecture for analysis and prediction of integrated tool-related and material-related data and methods therefor
US20220237451A1 (en) Semiconductor process prediction method and semiconductor process prediction apparatus for heterogeneous data
CN116384247A (zh) 基于自动机器学习的集成电路沉积膜厚的预测方法及系统