TW202138791A - 誤差因子的推定裝置及推定方法 - Google Patents

誤差因子的推定裝置及推定方法 Download PDF

Info

Publication number
TW202138791A
TW202138791A TW110108273A TW110108273A TW202138791A TW 202138791 A TW202138791 A TW 202138791A TW 110108273 A TW110108273 A TW 110108273A TW 110108273 A TW110108273 A TW 110108273A TW 202138791 A TW202138791 A TW 202138791A
Authority
TW
Taiwan
Prior art keywords
error
model
prediction model
aforementioned
unit
Prior art date
Application number
TW110108273A
Other languages
English (en)
Other versions
TWI783400B (zh
Inventor
吉田泰浩
石川昌義
早川功一
高野正幹
笹嶋二大
Original Assignee
日商日立全球先端科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商日立全球先端科技股份有限公司 filed Critical 日商日立全球先端科技股份有限公司
Publication of TW202138791A publication Critical patent/TW202138791A/zh
Application granted granted Critical
Publication of TWI783400B publication Critical patent/TWI783400B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/008—Reliability or availability analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Detection And Correction Of Errors (AREA)

Abstract

誤差因子的推定裝置係具備：使用由外部被傳送的資料而生成適於機械學習模型的特徵量的特徵量生成部；至少具有1個以上將特徵量作為輸入資料而被使用在判定有無發生誤差的誤差預測模型的模型資料庫；將誤差預測模型的預測結果與實際計測到的真的誤差結果作比較，評估誤差預測模型的性能的模型評估部；由模型資料庫中選定在模型評估部被計算出的評估值成為預先設定的規定值以上的誤差預測模型的模型選定部；及若沒有在模型選定部所選擇的誤差預測模型的相符，係對被計測出的誤差生成新的誤差預測模型的誤差預測模型生成部。藉此，即使無誤差因子的事前註解，亦可對所發生的多種類的誤差推定其因子。

Description

誤差因子的推定裝置及推定方法
本發明係關於誤差因子的推定裝置及推定方法。
半導體計測裝置或半導體檢查裝置係按照被稱為配方(recipe)的設定參數，按在半導體晶圓的表面中被判定為異常的每個檢查點，實施檢查動作或計測動作。配方參數的調整一般係按照計測／檢查對象的屬性或裝置的特性等，工程師藉由人工作業將各項目最適化。因此，例如，若調整不充分的配方的使用、或裝置的特性因經時變化而改變時等，有在檢查動作或計測動作中產生誤差的可能性。如上所示之誤差係形成為因配方的內容而起的誤差而被稱為配方誤差。
發生如上所示之配方誤差時，一般由服務工程師由半導體計測裝置或半導體檢查裝置解析裝置內部資料而特定原因部位。但是，伴隨半導體的微細化／多樣化，發生配方數及配方設定項目的增加、配方作成的複雜化等。因此，特定配方誤差的原因需要時間，造成使裝置的運轉率降低的一個原因。
在專利文獻1中係揭示藉由識別被使用在測定超小型電子機構的所希望尺寸的計測工具中的障礙的方法，使用者可迅速集中在最有問題的配方，使用在任何計測工具均典型存在的誤差記錄(log)來決定根本的原因，且可將該處理自動化等。
在專利文獻2中係揭示以在工件的加工面發生不良時推定其因子的技術而言，使用機械學習裝置，觀測藉由檢查裝置所得之工件的加工面的檢查結果作為狀態變數，取得表示加工面不良的發生因子的標籤資料，將狀態變數與標籤資料建立關連來進行學習的加工不良因子推定裝置。 先前技術文獻 專利文獻
專利文獻1：日本專利第4398441號公報 專利文獻2：日本專利第6530779號公報
(發明所欲解決之問題)
在專利文獻1所記載的方法中，係可使用典型的誤差記錄來自動決定根本的原因。但是，在專利文獻1中，並未記載關於被計測工具所使用的配方之經正規化的數量的誤差具體為什麼樣的誤差等。
專利文獻2所記載的加工不良因子推定裝置的適用範圍係侷限於可將狀態變數與標籤資料建立關連來進行學習時。換言之，必須要有註解(annotation)。
進行半導體檢查裝置等中的配方誤差的因子推定時，誤差以什麼樣的機制發生，係取決於製品／製造製程。此外，誤差的變化多端。因此，難以事前假想誤差因子且網羅使用在學習。
本發明之目的為即使無誤差因子的事前註解，亦可對所發生的多種類的誤差推定其因子。 (解決問題之技術手段)
本發明之誤差因子的推定裝置係具備：使用由外部被傳送的資料而生成適於機械學習模型的特徵量的特徵量生成部；至少具有1個以上將特徵量作為輸入資料而被使用在判定有無發生誤差的誤差預測模型的模型資料庫；將誤差預測模型的預測結果與實際計測到的真的誤差結果作比較，評估誤差預測模型的性能的模型評估部；由模型資料庫中選定在模型評估部被計算出的評估值成為預先設定的規定值以上的誤差預測模型的模型選定部；及若沒有在模型選定部所選擇的誤差預測模型的相符，係對被計測出的誤差生成新的誤差預測模型的誤差預測模型生成部。
本發明之誤差因子的推定方法係包含：使用由外部被傳送的資料而生成適於機械學習模型的特徵量的特徵量生成工程；將被保存在模型資料庫的誤差預測模型的預測結果與實際計測到的真的誤差結果作比較，評估將特徵量作為輸入資料而被使用在判定有無發生誤差的誤差預測模型的性能的模型評估工程；由模型資料庫中選定在模型評估工程被計算出的評估值成為預先設定的規定值以上的誤差預測模型的模型選定工程；及若沒有在模型選定工程所選擇的誤差預測模型的相符，係對被計測出的誤差生成新的誤差預測模型的誤差預測模型生成工程。 (發明之效果)
藉由本發明，即使無誤差因子的事前註解，亦可對所發生的多種類的誤差推定其因子。
在以下說明的實施形態中，「半導體檢查裝置」係包含：計測形成在半導體晶圓的表面的圖案的尺寸的裝置、檢查形成在半導體晶圓的表面的圖案有無缺陷的裝置、或檢查未形成有圖案的裸晶圓有無缺陷的裝置等，且亦包含將該等裝置組合複數個的複合裝置者。
此外，在以下說明的實施形態中，「檢查」係指在計測或檢查的涵義下所使用者，「檢查動作」係指在計測動作或檢查動作的涵義下所使用者，「檢查對象」係指成為計測或檢查的對象的晶圓、或該晶圓中的計測或檢查的對象區域者。
其中，在本說明書中，誤差因子推定裝置係與誤差因子的推定裝置同義，誤差因子推定方法係與誤差因子的推定方法同義。
以下說明誤差因子的推定裝置及推定方法的較宜實施形態。
較宜為前述推定裝置係具備：特徵量生成部、模型資料庫、模型評估部、模型選定部、及誤差預測模型生成部，且另外具備：將輸入資料內的誤差資料按每個誤差因子作分類的資料分類部。
較宜為在前述推定裝置中，誤差預測模型生成部係附上依所分類的每個誤差資料而異的標籤，連同該標籤一起生成誤差預測模型，且將該誤差預測模型傳送至模型資料庫。
較宜為前述推定裝置係另外具備：模型解析部，其係將對在模型選定部被選定出的誤差預測模型中的誤差判定結果的特徵量的貢獻度數值化。
較宜為前述推定裝置係具有針對在模型解析部被計算出的貢獻度的值高者的特徵量，作為誤差因子候補而提示給使用者的構成。
較宜為在前述推定裝置中，具有若在模型選定部選定出複數誤差預測模型，模型評估部係算出模型評估值，按在模型解析部所計算出的每個特徵量的貢獻度係使用模型評估值予以補正，針對由複數誤差預測模型的各個被計算出的補正後的貢獻度的值高者的特徵量，作為誤差因子候補而提示給使用者的構成。
較宜為前述推定裝置係另外具備：若對誤差因子候補，由使用者有修正時，以修正後的誤差因子包含在模型解析部的解析結果的方式生成誤差預測模型的另1個誤差預測模型生成部。
較宜為前述推定裝置係另外具備：保存在特徵量生成部所生成的特徵量及其組合之中至少任一方所對應的誤差因子的關係的誤差因子標籤資料庫；及對在模型解析部經數值化的貢獻度所對應的特徵量，使用誤差因子標籤資料庫內的標籤關係，賦予所對應的誤差因子的誤差因子標籤取得部。
較宜為在前述推定裝置中，誤差預測模型生成部係使用發生作為對象的誤差的動作工程及其之前的動作工程中的輸入資料，生成新的誤差預測模型。
其中，關於推定裝置的構成與推定方法的工程的關係，特徵量生成部係對應特徵量生成工程，模型評估部係對應模型評估工程，模型選定部係對應模型選定工程，誤差預測模型生成部係對應誤差預測模型生成工程。此外，該等工程並非為限定於在1個裝置中所實施者，亦可藉由經分散配置的複數裝置來實施。 實施例1
圖1係示出包含實施例1之誤差因子推定裝置的資訊處理系統之一例者。
在本圖中，半導體檢查裝置1係透過網路101而連接於資料庫2及誤差因子推定裝置3。誤差因子推定裝置3係連接於終端機4(GUI)。誤差因子推定裝置3係推定半導體檢查裝置1所實施的檢查動作中的誤差的因子。
在由半導體檢查裝置1被傳送的資料係包含例如裝置資料、計測配方(以下亦有僅稱為「配方」的情形)、計測結果、及誤差結果。此外，在配方亦可包含計測點數、計測點(Evaluation Point：EP)的座標資訊、對畫像攝像時的攝像條件、攝像序列等。此外，在配方亦可與計測點一併包含用以計測計測點之在準備階段所取得的畫像的座標或攝像條件等。
裝置資料係包含：裝置固有參數、裝置機差補正資料、及觀察條件參數。裝置固有參數係使用在用以使半導體檢查裝置1如規定規格進行動作的補正參數。裝置機差補正資料係使用在用以補正半導體檢查裝置間的機差的參數。觀察條件參數係例如規定電子光學系的加速電壓等掃描型電子顯微鏡(SEM)的觀察條件的參數。
配方係包含晶圓圖、對準參數、定址參數、及測長參數，作為配方參數。晶圓圖係半導體晶圓的表面的座標圖(例如圖案的座標)。對準參數係例如使用在用以補正半導體晶圓的表面的座標系與半導體檢查裝置1內部的座標系之間的偏移的參數。定址參數係例如在形成在半導體晶圓的表面的圖案之中，特定存在於檢查對象區域內的特徵圖案的資訊。測長參數係記述測定長度的條件的參數，例如指定要測定圖案之中哪個部位的長度的參數。
計測結果係包含：測長結果、畫像資料、及動作記錄。測長結果係記述測定出半導體晶圓的表面的圖案的長度的結果者。畫像資料係半導體晶圓的觀察畫像。動作記錄係記述對準、定址及測長的各動作工程中的半導體檢查裝置1的內部狀態的資料。列舉例如各零件的動作電壓、觀察視野的座標等。
誤差結果係表示若發生誤差，在對準、定址及測長的各動作工程的哪個工程所發生的誤差的參數。
該等裝置資料、配方、計測結果、誤差結果等資料係透過網路101而被蓄積在資料庫2。所蓄積的資料係在誤差因子推定裝置3予以解析。解析結果係在終端機4以使用者可讀取的形式予以顯示。
圖2係示出圖1的誤差因子推定裝置的詳細構成者。
在圖2中，誤差因子推定裝置3係具有：連接於外部的資料庫2的特徵量生成部11、輸入資料記錄部5、模型資料庫12(模型DB)、模型評估部13、模型選定部14、模型解析部15、第1誤差預測模型生成部16、及第2誤差預測模型生成部17。其中，第1誤差預測模型生成部16亦僅稱為「誤差預測模型生成部」。此外，第2誤差預測模型生成部17亦僅稱為「另1個誤差預測模型生成部」。
特徵量生成部11係從由資料庫2被傳送的裝置資料、配方、計測結果等原始資料，抽出適於機械學習模型的特徵量，且將該特徵量輸出至輸入資料記錄部5。在此，特徵量的抽出亦可為包含將資料的縮放(scaling)、類別變數的編碼、交互作用特徵量等複數資料加以組合的複合式特徵量作成等者。
在模型資料庫12，係預先記錄至少1個以上將輸入資料記錄部5內的資料作為輸入而被使用在判定各檢查點中有無發生誤差的誤差預測模型。關於該預先記錄的初期的誤差預測模型，亦可轉用在其他半導體製造工廠或製造線所生成的模型，亦可對資料庫2內的任意誤差，根據後述之模型生成順序進行建構。
模型評估部13係對輸入資料記錄部5內之例如配方單位、晶圓單位、檢查點單位等資料，評估模型資料庫12內的誤差預測模型的性能。性能評估係藉由將使用誤差預測模型所判定出的誤差預測結果、與輸入資料記錄部5內的真的誤差結果作比較而得。以性能的評估值而言，係可使用精度、重現率、適合率、F1值、AUC等。在此，F1值係適合率與重現率的調和平均。此外，AUC係Area Under the Curve的簡稱。
模型選定部14係將模型評估部13中評估值高的模型，作為適於判定輸入資料記錄部5所包含的誤差的模型而選定1個以上。以模型的選定方法而言，係對在模型評估部13所使用的評估值預先設定規定值，由成為該規定值以上的評估值的模型之中進行選定。
在模型選定部14中，若不存在已成為所設定的規定值以上的評估值的模型，設為已被輸入不適合於生成完畢的誤差預測模型的新的誤差，在第1誤差預測模型生成部16生成新的誤差預測模型。
模型解析部15係針對在模型選定部14被選定出的誤差預測模型，解析輸入資料記錄部5內的各特徵量對誤差判定貢獻多少程度，藉此抽出表示與誤差為高相關的特徵量。
圖3係示出圖2的第1誤差預測模型生成部16中的新的誤差預測模型的生成順序者。
在步驟S100中，如上所述，若判定出存在已成為所設定的規定值以上的評估值的模型，係移至步驟S101。
在步驟S101中，係選定(抽出)生成誤差預測模型所必要的學習資料。以選定的方法而言，係由資料庫2或輸入資料記錄部5中抽出包含與在誤差預測模型中原無法檢測出的誤差為相同的配方或類似的配方的資料。
接著，在步驟S102中，係修正學習資料之中優先使用哪個特徵量的加權。以修正方法而言，係可活用例如隨機搜尋或貝氏最佳化等既有的參數探索手法。
在步驟S103中，係根據將學習資料作為輸入而在步驟S102中所算出的權重，生成被使用在判定有無發生學習資料中所包含的誤差的學習模型亦即誤差預測模型。該誤差預測模型亦可使用決策樹或Neural Network等任何機械學習演算法來生成。
在步驟S104中，係評估在步驟S103中所生成的誤差預測模型的性能。以評估方法而言，係與模型評估部13(圖2)同樣地，可使用精度、重現率、適合率、F1值、AUC等指標。此外，較宜為若可使用交叉驗證等手法來計算該等評估值即可。
在步驟S105中，係判定在步驟S104中所計算出的評估值是否為預先決定的規定值以上。若未達規定值，返回至步驟S102，再度反覆同樣的處理，若為規定值以上，則設為生成完成新誤差模型而保存在模型資料庫12(圖2)。
其中，以上述之類似的配方的選定方法而言，例如可選定表示形成在半導體晶圓的表面的圖案的登錄資訊的參數或測定倍率的值接近者。若由資料庫2中抽出，在特徵量生成部11以適於機器學習模型的形式生成特徵量。此外，亦可設為指定所抽出的資料的期間。若為過去的資料，有晶圓的製造條件或裝置的狀態產生變化的可能性，因此以由誤差發生時點追溯而指定抽出資料的期間為宜。
此外，學習資料若包含：發生作為對象(預測對象)的誤差的動作工程、與其之前的動作工程中的配方或計測結果即可。半導體檢查裝置1(圖1)中的測定係包含對準、定址(Addressing)、測長等連續的動作工程。
圖4係示出包含半導體檢查裝置中由測定所得的特徵量的值的輸入資料的資料構造之一例的表。
在本圖中係示出相對於各個測定Index的特徵量(Z1 ，Z2 ，…，Zm )的值、動作工程、及有無發生誤差(誤差結果)。
在本圖中，若測定Index為2且動作工程為2時發生誤差。此時，比該動作工程2更為之後的動作工程3以後的特徵量係與誤差發生無關而排除亦可，惟關於之前的動作工程1，係有對誤差造成影響的可能性，因此設為包含在學習資料。
如上所示，若發生以學習完畢的模型無法對應的誤差，係生成新的預測模型作為新的誤差，藉此無須進行事前的註解，即可按每個誤差因子生成誤差預測模型。
接著，說明模型解析部15中對誤差判定的貢獻度的計算方法、與計算結果對使用者的可視化方法。
圖5係示出對誤差預測模型之被輸入的特徵量對誤差判定的貢獻度的計算、與對使用者的可視化方法的模式圖。
在本圖中，輸入資料記錄部5的輸入資料與模型資料庫12(圖2)的誤差預測模型A(210)被輸入至模型解析部15。接著，被輸出貢獻度的計算結果220，可顯示各個特徵量對誤差的貢獻度的圖表230。換言之，特徵量的貢獻度被數值化。在此示出輸入資料記錄部5的輸入資料係具有特徵量(Z1 ，Z2 ，…，Zm )的值及誤差發生結果每逢進行對準、定址、測長的各動作工程即被分配之按每個測定Index作儲存的資料構造之例。
該等特徵量對誤差預測模型中的誤差判定結果的貢獻度係例如若利用以決策樹為基礎的演算法來建構誤差預測模型時，可藉由根據各特徵量分歧出現在模型內的個數或目的函數的改善值等所計算的變數重要度(Feature Importance)、或計算各特徵量的值對模型輸出的感度的SHAP值來評估。在此，SHAP係用以求取各變數(特徵量)對模型的預測結果的貢獻的手法，為Shapley Additive exPlanations的簡稱。
若在圖2的模型選定部14中被選定出的模型為誤差預測模型A，在誤差預測模型A的輸入被輸入例如測定Index為1之行的資料，根據將特徵量Z1 包含的情形與排除的情形的誤差預測模型A的輸出結果的差分，計算對誤差判定的φ貢獻度φ1,1 。藉由對全部特徵量及全部測定Index反覆該計算，可將各特徵量對預測模型的判定結果帶來什麼程度的影響予以數值化。各特徵量中的SHAP值的總和φSUM 係可由值大的特徵量依序顯示在終端機4。換言之，可將在模型解析部15被計算出的貢獻度的值高者的特徵量作為誤差因子候補，且透過終端機4等提示給使用者。
如上所示，藉由解析輸入資料記錄部5中特徵量對誤差預測模型的感度，可將與誤差具高相關的特徵量提示給使用者。
此外，藉由對在模型選定部14被輸入的資料選擇性能佳的模型，即使在資料內混合存在具各種特徵的誤差資料的情形下，亦可避免關連低的特徵量形成為雜訊而被抽出的情形，可提高所被抽出的特徵量的精度。
此外，若在前述模型選定部14選定出2個以上的模型，亦可將該等複數模型的解析結果複合而提示相關高的特徵量。
接著，說明在模型選定部14選擇出誤差預測模型A及誤差預測模型B作為2個模型時的誤差因子候補的提示方法。
圖6係示出本實施例之模型評估部及模型解析部中的處理及顯示例的模式圖。
在本圖中，輸入資料記錄部5的輸入資料與模型資料庫12(圖2)的誤差預測模型A(210)被輸入至模型評估部13a及模型解析部15a。此外，輸入資料記錄部5的輸入資料與模型資料庫12(圖2)的誤差預測模型B(211)被輸入至模型評估部13b及模型解析部15b。接著，可顯示特徵量對誤差的貢獻度的圖表231。
模型評估部13a、13b及模型解析部15a、15b的功能係與圖2相同。此外，在圖6中，為作說明，各示出2個模型評估部13a、13b及模型解析部15a、15b，惟實際上亦可分別在1個模型評估部13a、13b及模型解析部15a、15b依序或並列執行處理。
在本圖中，係對在模型解析部15a、15b被計算出的每個特徵量的SHAP值的總和φSUM ，藉由以在模型評估部13a、13b所得的模型評估值進行補正來計算最終的貢獻度φ’SUM 。最簡言之，例如若在模型評估部13a、13b的模型性評估指標為重現率，藉由在SHAP值φSUM 乘算模型的重現率，可得最終的貢獻度φ’SUM 。將在各誤差預測模型中被計算出的最終貢獻度φ’SUM 依值由大而小的順序排列來顯示，藉此將由複數模型所複合之與誤差具高相關的特徵量，以排序形式透過終端機4提示給使用者。
此外，說明對於該等誤差發生，對貢獻度高的排序上位的特徵量，將特徵量的值與對誤差的貢獻度的關係可視化之例。
圖7係示出本實施例之特徵量的值與參數對誤差發生的貢獻度的關係之一例的圖表。橫軸取特徵量，縱軸取參數對誤差發生的貢獻度。
如本圖所示，藉由將根據對誤差的貢獻度的值的正常區域及危険區域的判定、或實際的誤差發生位置顯示在終端機4的畫面，使用者可評估所被抽出的特徵量的妥當性。
若在圖2中被選定出的誤差因子與實際不同時，使用者係可透過終端機4來指定(修正)正確的誤差因子。若已實施指定，在第2誤差預測模型生成部17生成新的誤差預測模型。
接著，說明第2誤差預測模型生成部17中的模型生成順序。
圖8係示出本實施例之第2誤差預測模型生成順序的流程圖。
在本圖中，若有藉由使用者所為之原因參數的修正(步驟S800)，移至步驟S201。
在步驟S201中，選定(抽出)誤差預測模型的生成所必要的學習資料。選定方法係與圖3的步驟S101不同。在圖8的步驟S201中，係對在誤差預測模型被檢測出的誤差，抽出包含相同配方或類似配方的資料。
本圖中之後的S102至S105的處理係與圖3相同。
接著，在步驟S202中，解析誤差預測模型，將在步驟S201中所抽出的學習資料內的特徵量中對誤差判定的貢獻度數值化。此係與圖2中的模型解析部15相同的處理。
在步驟S203中，在預先決定的順位內的貢獻度高的特徵量中，若未包含由使用者被指定的誤差因子，即由S102反覆同樣的處理，若有包含，則設為生成完成新誤差預測模型而保存在模型資料庫12(步驟S300)。
如上所示，若在機械學習中無法達到正解，可以手動教導正解，藉此將學習模型高度化。 實施例2
圖9係示出實施例2之具備有資料分類部的誤差因子推定裝置的構成圖。
本實施例(本圖)與實施例1的不同係在誤差因子推定裝置3設有將由輸入資料記錄部5被傳送的資料作分類的資料分類部18。其他構成係與圖2相同。
在實施例1中，以相同配方所發生的誤差係在假想為相同因子之下，使用相同配方或類似配方的資料，執行模型評估／模型生成。
相對於此，在本實施例(圖9)中，係在資料分類部18按每個誤差因子將誤差資料作分類，按經分類的每個誤差資料，執行模型評估／模型生成。
接著，說明資料分類部18的構成。
圖10係示出圖9的資料分類部的詳細內容的構成圖。
在圖10中，資料分類部18係具備：誤差預測模型生成部19、模型解析部115、誤差因子聚類部20、資料分割部21、及分割資料記錄部122。
誤差預測模型生成部19係生成被使用在判定有無發生由輸入資料記錄部5被傳送的輸入資料所包含的誤差的學習模型亦即誤差預測模型。在誤差預測模型生成部19中的工程中，係可使用與圖8的步驟S103相同者。
模型解析部115係使用例如SHAP值來計算各特徵量對在誤差預測模型生成部19所生成的模型的判定結果貢獻多少程度。
誤差因子聚類部20係針對在模型解析部115被計算出的SHAP值所代表的各特徵量對誤差的貢獻度，適用無教師學習來作分類。
資料分割部21係分割為經分類的誤差與正常資料。經分割的資料係被保存在分割資料記錄部122。
接著，說明該分類的構想。
圖11係示出使用特徵量的值與參數對誤差發生的貢獻度的關係來將誤差資料作分類的狀態的圖表。橫軸取特徵量，縱軸取參數對誤差發生的貢獻度。
在本圖中，將對應不同誤差因子的分類1、2分割為各自的區域，將在各個中被設為已發生誤差的資料(誤差資料)分離。此係基於在因子不同的誤差中，用以判別其的模型內部的分歧式亦不同之故，表示對誤差判定的貢獻度的SHAP值係被期待其存在範圍依與誤差因子相關連的每個特徵量而異之故。誤差資料係按照該SHAP值來作分離。
對如上所示按每個誤差因子作分離的誤差資料，在圖9的第1誤差預測模型生成部16或第2誤差預測模型生成部17生成誤差預測模型，且在模型解析部15解析模型，藉此即使在輸入資料記錄部5的輸入資料內存在複數以模型資料庫12內的誤差預測模型無法對應的誤差因子的情形下，亦可避免關連低的特徵量形成為雜訊而被抽出的情形，可提高所被抽出的特徵量的精度。在此，使用在資料分類部18被分割的誤差資料而生成誤差預測模型時，可連同與對象的誤差資料為相同的配方或類似的配方亦即正常資料作為學習資料加以使用。
此外，亦可附上依經分類的每個誤差資料而異的標籤，連同該標籤一起生成誤差預測模型而保存在模型資料庫12。該附上標籤係可將不同的索引(index)依序自動分配，亦可由使用者將誤差因子附上標籤。該誤差因子的附上標籤係若以經分割的資料單位實施即可，因此與作為習知手法之對發生誤差1件單位的附上標籤相比較，可大幅刪減處理數。此時，在圖9中不需要模型評估部13，模型選定部14的功能置換成選擇誤差資料的標籤與誤差預測模型的標籤相一致者的動作。 實施例3
在實施例1的誤差因子推定裝置中，當在圖2的模型資料庫12內保存有充分的誤差預測模型的變化時，亦可形成為並未生成新的誤差預測模型，而對所被輸入的誤差資料僅實施誤差因子的推定的運用。
關於該情形下的誤差因子推定裝置的構成，作為實施例3來作說明。
圖12係示出本實施例的誤差因子推定裝置的構成圖。
在本圖中，係由資料庫22，被輸入已發生誤差的測定點中的配方／計測結果、或與其相同的晶圓且相同配方者中的配方／計測結果的資料集，作為誤差資料。
在特徵量生成部11，對該等資料抽出適於機械學習模型的特徵量，且對模型輸入誤差資料記錄部23輸出誤差資料。
之後的處理係與圖2相同，由模型資料庫12內選擇1個以上對於模型輸入誤差資料記錄部23的誤差預測為評估值高的誤差預測模型，將作為該模型的解析結果而對誤差預測為貢獻度大的特徵量，透過終端機4提示給使用者。此時，變得不需要模型選定部14。
如上所示藉由限定在發生誤差因子推定裝置3的功能的誤差的因子推定，成為必要的輸入資料亦可形成為最小限度。
圖13係示出誤差因子推定裝置的變形例的構成圖。
在本圖中，誤差因子推定裝置3係具備：誤差因子標籤取得部24、及誤差因子標籤資料庫25(誤差因子標籤DB)。藉此，可根據在模型解析部15被抽出的特徵量來取得誤差因子候補。
在誤差因子標籤資料庫25係先保存各特徵量或其組合所對應的誤差因子的關係。此時，必須預先進行對特徵量的誤差因子的附上標籤，惟與作為習知手法之對發生誤差1件單位附上標籤相比較，可大幅刪減必要的處理數。
在誤差因子標籤取得部24中，係對在模型解析部15所得的排序上位的特徵量，使用誤差因子標籤資料庫25內的標籤關係，賦予相對應的誤差因子。
將該附上標籤的誤差因子，透過終端機4提示給使用者。此時，亦可將在模型解析部15被計算出的各特徵量的貢獻度的大小，作為相對應的誤差因子的準確度進行換算來顯示。
接著，說明該顯示之例。
圖14係示出本實施例之對使用者的誤差因子候補的顯示例者。
圖中右側的圖表係示出在模型解析部15所計算出的各特徵量的貢獻度的大小。在圖中左側係示出根據在右側圖表所示的資料所換算出的誤差因子的準確度。
如上所示，解析誤差預測模型來計算貢獻於誤差判定的特徵量，各特徵量或其組合所對應的誤差因子被附上標籤，藉此可將與所發生的誤差為相關高的特徵量或相對應的誤差因子候補提示給使用者。
(其他) 本發明係包含各種變形例，並非為限定於前述實施例者。上述實施例係為容易理解地說明本發明而作詳細說明者，並不一定限定於具備所說明的全部構成者。例如，實施例3的圖13所示之誤差因子標籤取得部24及誤差因子標籤資料庫25亦可組合在實施例1的圖2及實施例2的圖9，分別將與特徵量、或特徵量的組合建立連結的誤差因子提示給使用者。
在前述之實施例中，係說明推定半導體檢查裝置的誤差因子之例，惟藉由使針對規定裝置的動作的參數及採用該參數時是否發生誤差的預測模型生成，關於半導體檢查裝置以外的裝置，亦可適用本發明。
此外，在前述之實施例中，係示出關於對誤差預測模型的特徵量的貢獻度，使用SHAP值來數值化之例，惟可適用Feature Importance等其他評估值。
1:半導體檢查裝置 2,22:資料庫 3:誤差因子推定裝置 4:終端機 5:輸入資料記錄部 11:特徵量生成部 12:模型資料庫 13,13a,13b:模型評估部 14:模型選定部 15,15a,15b,115:模型解析部 16:第1誤差預測模型生成部 17:第2誤差預測模型生成部 18:資料分類部 19:誤差預測模型生成部 20:誤差因子聚類部 21:資料分割部 23:模型輸入誤差資料記錄部 24:誤差因子標籤取得部 25:誤差因子標籤資料庫 101:網路 122:分割資料記錄部 210:誤差預測模型A 211:誤差預測模型B 220:計算結果 230,231:圖表
[圖1]係示出包含實施例1之誤差因子推定裝置的資訊處理系統的區塊圖。 [圖2]係示出圖1的誤差因子推定裝置的構成圖。 [圖3]係示出實施例1之第1誤差預測模型生成部中的新的誤差預測模型的生成順序的流程圖。 [圖4]係示出實施例1之輸入資料的資料構造之一例的表。 [圖5]係示出圖2的模型解析部中的處理及顯示例的模式圖。 [圖6]係示出實施例1之模型評估部及模型解析部中的處理及顯示例的模式圖。 [圖7]係示出實施例1之特徵量的值與對該誤差發生的貢獻度的關係之一例的圖表。 [圖8]係示出實施例1之第2誤差預測模型生成順序的流程圖。 [圖9]係示出實施例2之具備有資料分類部的誤差因子推定裝置的構成圖。 [圖10]係示出實施例2之資料分類部的構成圖。 [圖11]係示出使用特徵量的值與對該誤差發生的貢獻度的關係來將誤差資料作分類的狀態的圖表。 [圖12]係示出僅實施實施例3之誤差因子推定的誤差因子推定裝置的構成圖。 [圖13]係示出實施例3之具備有誤差因子標籤取得部及誤差因子標籤資料庫的誤差因子推定裝置的構成圖。 [圖14]係示出實施例3之對使用者的誤差因子候補的圖。
2:資料庫
3:誤差因子推定裝置
4:終端機
5:輸入資料記錄部
11:特徵量生成部
12:模型資料庫
13:模型評估部
14:模型選定部
15:模型解析部
16:第1誤差預測模型生成部
17:第2誤差預測模型生成部

Claims (10)

  1. 一種誤差因子的推定裝置，其係具備： 使用由外部被傳送的資料而生成適於機械學習模型的特徵量的特徵量生成部； 至少具有1個以上將前述特徵量作為輸入資料而被使用在判定有無發生誤差的誤差預測模型的模型資料庫； 將前述誤差預測模型的預測結果與實際計測到的真的誤差結果作比較，評估前述誤差預測模型的性能的模型評估部； 由前述模型資料庫中選定在前述模型評估部被計算出的評估值成為預先設定的規定值以上的前述誤差預測模型的模型選定部；及 若沒有在前述模型選定部所選擇的前述誤差預測模型的相符，係對被計測出的誤差生成新的誤差預測模型的誤差預測模型生成部。
  2. 如請求項1之誤差因子的推定裝置，其中，另外具備：將前述輸入資料內的誤差資料按每個誤差因子作分類的資料分類部。
  3. 如請求項2之誤差因子的推定裝置，其中，前述誤差預測模型生成部係進行按每個經分類的前述誤差資料而異的附上標籤，連同該標籤一起生成前述誤差預測模型，且將該誤差預測模型傳送至前述模型資料庫。
  4. 如請求項1至3中任一項之誤差因子的推定裝置，其中，另外具備：將在前述模型選定部被選定出的前述誤差預測模型中對誤差判定結果的前述特徵量的貢獻度數值化的模型解析部。
  5. 如請求項4之誤差因子的推定裝置，其中，針對在前述模型解析部被計算出的前述貢獻度的值高者的前述特徵量，具有作為誤差因子候補而提示給使用者的構成。
  6. 如請求項4之誤差因子的推定裝置，其中，若在前述模型選定部選定出複數誤差預測模型， 前述模型評估部係算出模型評估值， 在前述模型解析部被計算出的每個前述特徵量的前述貢獻度係使用前述模型評估值予以補正，針對由前述複數誤差預測模型的各個被計算出的補正後的貢獻度的值為高者的前述特徵量，具有作為誤差因子候補而提示給使用者的構成。
  7. 如請求項5或6之誤差因子的推定裝置，其中，另外具備：若對前述誤差因子候補，由前述使用者有修正時，以修正後的誤差因子包含在前述模型解析部的解析結果的方式，生成誤差預測模型的另1個誤差預測模型生成部。
  8. 如請求項4之誤差因子的推定裝置，其中，另外具備： 保存在前述特徵量生成部所生成的前述特徵量及其組合之中至少任一方所對應的誤差因子的關係的誤差因子標籤資料庫；及 對在前述模型解析部被數值化的前述貢獻度所對應的前述特徵量，使用前述誤差因子標籤資料庫內的標籤關係來賦予相對應的誤差因子的誤差因子標籤取得部。
  9. 如請求項1至3中任一項之誤差因子的推定裝置，其中，前述誤差預測模型生成部係使用發生作為對象的誤差的動作工程及其以前的動作工程中的前述輸入資料而生成新的誤差預測模型。
  10. 一種誤差因子的推定方法，其係包含： 使用由外部被傳送的資料而生成適於機械學習模型的特徵量的特徵量生成工程； 將被保存在模型資料庫的誤差預測模型的預測結果與實際計測到的真的誤差結果作比較，評估將前述特徵量作為輸入資料而被使用在判定有無發生誤差的誤差預測模型的性能的模型評估工程； 由前述模型資料庫中選定在前述模型評估工程被計算出的評估值成為預先設定的規定值以上的前述誤差預測模型的模型選定工程；及 若沒有在前述模型選定工程所選擇的前述誤差預測模型的相符，係對被計測出的誤差生成新的誤差預測模型的誤差預測模型生成工程。
TW110108273A 2020-03-31 2021-03-09 誤差因子的推定裝置及推定方法 TWI783400B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP2020/014727 2020-03-31
PCT/JP2020/014727 WO2021199227A1 (ja) 2020-03-31 2020-03-31 エラー要因の推定装置及び推定方法

Publications (2)

Publication Number Publication Date
TW202138791A true TW202138791A (zh) 2021-10-16
TWI783400B TWI783400B (zh) 2022-11-11

Family

ID=77928214

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110108273A TWI783400B (zh) 2020-03-31 2021-03-09 誤差因子的推定裝置及推定方法

Country Status (6)

Country Link
US (1) US20230122653A1 (zh)
JP (1) JP7354421B2 (zh)
KR (1) KR20220135246A (zh)
CN (1) CN115280334A (zh)
TW (1) TWI783400B (zh)
WO (1) WO2021199227A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI800351B (zh) * 2022-04-13 2023-04-21 友達光電股份有限公司 場域環境參數的分析與提示的伺服器、處理系統與方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11899527B2 (en) * 2021-11-30 2024-02-13 Caterpillar Inc. Systems and methods for identifying machine anomaly root cause based on a selected reduced order model and a selected fault model

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7065425B1 (en) 2005-06-22 2006-06-20 Internaitonal Business Machines Corporation Metrology tool error log analysis methodology and system
US11580398B2 (en) * 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
WO2018173121A1 (ja) * 2017-03-21 2018-09-27 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム
JP6530779B2 (ja) * 2017-04-20 2019-06-12 ファナック株式会社 加工不良要因推定装置
US11380594B2 (en) * 2017-11-15 2022-07-05 Kla-Tencor Corporation Automatic optimization of measurement accuracy through advanced machine learning techniques
US10928309B2 (en) * 2018-06-29 2021-02-23 Viavi Solutions Inc. Cross-validation based calibration of a spectroscopic model
JP7430271B2 (ja) * 2020-09-17 2024-02-09 株式会社日立ハイテク エラー要因の推定装置及び推定方法
JP2023181587A (ja) * 2022-06-13 2023-12-25 株式会社日立ハイテク 欠陥検査装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI800351B (zh) * 2022-04-13 2023-04-21 友達光電股份有限公司 場域環境參數的分析與提示的伺服器、處理系統與方法

Also Published As

Publication number Publication date
JPWO2021199227A1 (zh) 2021-10-07
KR20220135246A (ko) 2022-10-06
JP7354421B2 (ja) 2023-10-02
WO2021199227A1 (ja) 2021-10-07
TWI783400B (zh) 2022-11-11
CN115280334A (zh) 2022-11-01
US20230122653A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
US11719650B2 (en) Method for performing smart semiconductor wafer defect calibration
JP5624660B2 (ja) 検査レシピ作成システムおよびその方法
US7113628B1 (en) Defect image classifying method and apparatus and a semiconductor device manufacturing process based on the method and apparatus
KR100414032B1 (ko) 반도체검사장치, 반도체결함해석장치, 반도체설계데이터수정장치, 반도체검사방법, 반도체결함해석방법, 반도체설계데이터수정방법 및 컴퓨터판독가능한 기록매체
CN108475649A (zh) 通过异常值检测的特征选择及自动化工艺窗监测
JP2000057349A (ja) 欠陥の分類方法およびその装置並びに教示用データ作成方法
JP7254921B2 (ja) 半導体試料の欠陥の分類
TWI783400B (zh) 誤差因子的推定裝置及推定方法
JP2001256480A (ja) 画像自動分類方法及び装置
JP2006318263A (ja) 情報分析システム、情報分析方法及びプログラム
TW202044067A (zh) 基於機器學習之半導體樣本中的缺陷分類
CN109285791B (zh) 设计布局为主的快速在线缺陷诊断、分类及取样方法及系统
JP2021190716A (ja) 弱いラベル付けを使用した半導体試料内の欠陥の検出
TW202142833A (zh) 圖像產生系統
JP2011058926A (ja) 画像検査方法及び画像検査装置
TWI801973B (zh) 錯誤因素之推定裝置及推定方法
KR20210100028A (ko) 시편들을 검사하는 방법 및 그의 시스템
JP2011054804A (ja) 半導体製造装置の管理方法およびシステム
JP5566616B2 (ja) 特性解析装置、特性解析方法をコンピュータに実行させるためのプログラム、上記プログラムを記録したコンピュータ読み取り可能な記録媒体
JP6872829B1 (ja) 異物発生原因推定システム及び異物発生原因推定方法
TWI841020B (zh) 誤差因素估計裝置、誤差因素估計方法、及電腦可讀取媒體
WO2024105811A1 (ja) エラー要因解析装置、および、エラー要因解析方法
CN117529803A (zh) 用于主动良率管理的制造指纹
TW202318525A (zh) 誤差因素估計裝置、誤差因素估計方法、及電腦可讀取媒體