TW200537347A - Combining multiple independent sources of information for classification of devices under test - Google Patents

Description

200537347 九、發明說明： 【發明所屬之技術領域】 發明領域 本發明之具體例係針對裝置測試領域，特別係針對使 5 用複數種測試技術評比製造所得裝置之系統及方法。 【先前技術】 發明背景 當例如電子組成元件等單元係使用近代自動化製程製 造時，某個百分比的單元將含有缺陷、遺漏部分、或其它 10類似的不完好。例如製造印刷電路板(PCB)(例如用於行動 電話之印刷電路板）時，某個百分比之PCB成品將遺漏某些 組成元件。為了確保品質，製造商典型係測試製造單元是 否存在有缺陷。例如於PCB製造後，典型對pCB表面作光學 15檢驗。經由比較該等影像與已知標準影像，可檢測得缺陷 匕專光4*檢驗可為彩色影像用來測定表面品質；灰階影 j象用來測定一組件是否存在於PCB上；或甚至表面之三 、隹〜像用來測定焊料接合品質。其它類型之測試，例如導 ^生或X光影像等測試也可使用。選用之測試類型典型係因 ? 製I之單元類型、製程本身之類型、測試環境或其它類 20似考量而異。 时一大部分用來檢測缺陷之測試方法，係經由比較新製造 γ之測π式結果與已知標準測試結果。光學檢驗測試，例 卷/述貝]4 ’比對pCB製品影像與已知「良品」卩⑶影像。 / CB衫像與已知良品PCB影像有可察覺的差異時，檢測 200537347 付缺陷。其它方法係使用類似方法來檢測是否存在有各項 缺陷。例如於製造過程中，功能異常可能造成用來固定晶 片於PCB之¥料接合溢流。此種缺陷經常係使用電連結性 檢測，測試中，新製造單元之電連結性比較已知「良品」 5單元之數值力測里值差異超過—個預設量，則製造單元 被視為有缺陷。 傳統製造技術只使用一項測試技術來檢測是否存在有 缺陷。典型地’選賴項_的原目是考減適合(或最準 確)特定製程、欲製造之單元類型、以及預期之缺陷類型。 10例如若彩色影像對檢測組件之是否存在可得最準確键果， 則使用办色影像。若灰階影像對檢測積體電路(IC)晶片之紋 理碼可獲得最準確結果，則使用灰階影像。若干製造技術 確貫使用多重測試，特別當製造商係測試不同類蜇缺陷 時。但有效利用多重測試困難，原因在於測試並非同等可 15靠，經常產生不一致結果。如此當使用多重測試時，經常 係採用「多數裁決原則」方法來組合測試結果，表系唯有 當一裝置於大部分測試皆不合格時才視為該裝置有缺陷。 【發明内容】 發明概要 20 本發明之具體例使用複數個缺陷檢測測試結果，且以 反映產生該測試準確度之方式，來調整各個測試結果。然 後一製造單元使用調整後結果之數學組合來評比。 若干具體例係經由分析對具有已知缺陷側繪之單元執 行測試結果來預先決定各項測試的準確度。然後此等結果 200537347 用來升〔成加權因數，該加權因數用於對新製造單元所進行 之測4結果。然後各項測試之加權結果係以受試單元所含 缺的或然率觀視。經由數學組合或然率，製造商可有效 使用夕重測試來評比製造單元，即使該等測試具有不同可 5 靠度亦如此。 、根據本發明之單元評比系統包括多種測試技術其可檢 測=陷的存在，但其中至少有-項技術之準確度可被測定 °具體例也包括—處理器’以及使用該技術準確度加權得 10 15 、技術、’果之代碼。然後具體例使用代碼來組合加權 結果，异出該單元之缺陷可能機率。 例可使用根據本發明方法來評比製造所得電子裝 _具體_試多項技術中之各項技術，來測定其檢 2知I缺陷之可能性。於使用各項技術測試新製造裝 ^該具體财職由各項技術所得結果，來補償任何 」：：Γ準確度。然後具體例經由組合調整後之結果，來 异出该裝置之缺陷機率。 M經相當廣義 點 ^ ……、佩文％%承發明之特色及技術優 特色及優之詳細說明。其它本， 主題。：了解r 行本發構想及特定具體财便則作為進 解料相〜H的之其它結構修改或設計基礎。也須了 之發明；二=並未·_如隨附之中請專利範圍陳述 社構及4本發明之特徵包括本發明之组鐵 、，，。構物料料同其它目的錢叫敎_結合附圖 20 200537347 考量將更加明瞭。但明白了解附圖之各圖僅供舉例說明之 用，而非限制本發明之界定範圍。 圖式簡單說明 為求更完整了解本發明，現在前文說明結合附圖做說 5 明，附圖者： 第1圖顯示複數個欲根據本發明具體例測試缺陷之製 造裝置； 第2圖為流程圖，顯示根據本發明之具體例，判定一裝 置是否有缺陷之方法； 0 第3圖為根據本發明之-具體例，訓練系統之方法； 第4圖表示基於表1及表2資料之接收器操作特徵(r〇c) 線圖；以及 第5圖顯示根據本發明之具體例調適之範例電腦系統。 【實施方式】 15 較佳實施例之詳細說明 第1圖顯示根據本發明之具體例，複數個製造裝置接受 缺陷測試。於系、統刚之各個待測裝置(DUT)m為可能含有 缺陷的製造單元。測試⑽，5指定用來檢測謝製造 時預期可能出現之缺陷。適當測試之選擇可依據所製造之 _類型、製造時牽涉之環境因素、可能出現的缺陷類型 、物理限制例如印刷電路板之測試存取點、經濟限制例如 剩試成本、邏輯限制例如產出量要求及/或其它類似考量來 Μ 4發明㈣例並__何特定類型之dut、缺陷 類型或任何測試配置。反而本發明具體例可使用任何類型 20 200537347 製造技術，以及使用任何類型可加權的測試技術來測試任 何類型DUT。於系統100以各項測試102_105測試一DUT 1〇ι 後’測試102-105結果由選擇器1〇2用來分開缺陷DUT 106 與良品DUT 107。DUT 101可為電子組件、印刷電路板、任 5何其它製造項目、可藉多項加權測試測試之食品或玩具。 注意本發明之具體例非僅限於製造品用於品質管控之測試 。本發明方法也可用於結合機場篩檢、醫學篩檢或任何其 它可利用多重不同品質或不同準確度之測試基準之程序。 第2圖為流程圖，顯示根據本發明之一具體例，測定 10 DUT是否有缺陷之方法。方法200利用兩種測試方法，經由 從各項測試結果之加權組合，算出該DUT含有缺陷之機率 來判定各個DUT合格或不合格。但須了解本發明之具體例 非僅限於兩項測試方法，反而適合使用可產生加權結果之 任何測試數目。於步驟201，DUT使用第1號測試方法測試 15 ’於步驟203，產生根據測試1測得DUT是否有缺陷。於步 驟205，步驟203所做測定使用測得之第1號測試方法之準確 度加權。結果為DUT有缺陷之或然率，其為測試1結果與操 作員對第1號測試準確度之信度的組合。 於步驟202，該DUT使用第2號測試方法測試。於步驟 20 204，第二測試結果用來根據測試2判定DUT是否有缺陷。 於步驟206，此項判定藉第2號測試方法之準確度測量值加 權。步驟207經由組合各項測試產生的加權或然率，求出 OUT為缺陷之機率。本發明之一具體例中，步驟203-207可 由選擇器108進行。本發明之另一具體例中，步驟201-206 200537347 可藉測試102及103(舉例）進行。 為了測定「加權」一項測試方法之信度因數，系統需 要「訓練」。第3圖為根據本發明之一具體例，訓練一系統 之過程。於方法300，DUT 350為有已知特徵之標準單元， 5 其於步驟301使用測試X及於步驟302使用測試Y接受測試 。為求清晰，只顯示兩項測試，但本發明之具體例非僅限 於任何特定數目之測試。此外，測量值X與測量值γ無需為 相關，反而可為兩個獨立資訊來源，例如彩色影像及電連 結性，結果獲得獨立DUT測量值。 10 此等測量值於步驟303產生特色集合X，於步驟304產生 特色集合Y。特色集合X及Y典型為於DUT之預定取樣點所 取得之多重測量值集合。因用來訓練一系統之標準DUT具 有已知缺陷側繪，故結果所得之特色集合將顯示測試X及測 試Y如何可檢測操作員已知存在的缺陷。一旦對全部標準 15 DUT測定特色集合X及特色集合γ，步驟3〇5及3〇6比較特色 集合X及Y與各個標準DUT之已知側繪，由此比對，判定各 測ϊ值X及Y檢測得標準DUT之缺陷之準確度。此等結果典 型係以各項測試之信度因數表示。然後步驟307使用X及Y 組合測3：值之信度因數，來決定最終信度z，信度z表示若 20 /則"式x與γ共同使用時，檢測得缺陷之準確度。使用此因數 Z，步驟308獲得假性合袼(缺陷〇171被發現為不具缺陷）及 假性不合格（無缺陷DUT被發現為缺陷）之機率。 為了運算前述範例系統及方法使用之信度，本發明之 具體例可使用任-種適當標準統計模型。此處舉例說明之 200537347 統計模型為高斯模型（Gaussian model)。第3圖步驟3 03找到 的特色集合X以矩陣表示，其中各行表示測量點，而各列表 示測量回合。以下訓練資料矩陣表示對標準品以k個測量點 及η次執行測試X的結果。 5 Xll Xl2 ··· Xlk X21 X22 ··· ^2k t Χηι Xn2 ··· Xnk y 須注意訓練方法另外可於k個測量點對n個試樣執行測 10 試X，而獲得相同結果。 使用此矩陣，平均向量： 厂μΊΊ "=μ2 ，此處|Hj=(Xij+X2j+."+Xnj)/n 15 v y 以及x之協方差矩陣，此處矩陣之第ij分錄為特色i與特 色j間之協方差： r ^21 ··· ^k\^\ Σ= σ12 σ$2… ，此處 20 〇lk 以及 σ kk συ=[(^ΐί·|Ιί)(Χυ~ΙΙ])+(Χ2ΐ-μί)(^-μ])+···+(Χηί-μΐ)(Χη]"μ])]/(η··2) 11 200537347 對典型測試方法而言，矩陣、平均向量、及協方差矩陣 典型對「A」類標準DUT測定，表示不含缺陷之裝置，以及 分開對「B」類標準DUT測定，表示含有已知缺陷之裝置。 Y特色集合表示於第3圖步驟304找出之測試方法Y之 5 特色集合，可以如下矩陣表示：

Yu Y12 - Yik Y21 Y22 ·· Y2k 、Ynl Yn2 ·· Ynk ^ 10 使用此矩陣，平均向量： Γμϊ\ 孓=μ2 ，此處^=(Yij+Y2j+...+Ynj)/n gk v. y 15 以及協方差矩陣： r σ21 ··· CTkT\ Σ= σΐ2 C5 222 ... ，此處 G1 k · · · ^ kk

l J 20 σ^==[(Υΐΐ·|Ιΐ)2+(Υ ΐ]"^)2+···+(Υη]-μ])2]/(η-1) 以及 …+(Χηί-μί)(ΧηΓμ」)]/(η-2) 使用該方法進行前述計算，對各集合X及Υ可求出二或 12 200537347 然率(A及B)。—旦藉此方式「訓練」，如第1圖所示系統及/ 或使用第2圖及第3圖之方法之系統可測定新製造D u τ之缺 陷機率。使用測試方法χ對新製造單元執行測試結果可以^ 維度向ϊ Xnew表示： 5 ΓχΓ

Xnew"^ ...

A 對各測試值向量而言，具體例隨後算出受試〇1；丁含有 缺陷之或然率。於第2圖及第3圖之範财法，計算4個二然 10率：測試X找出缺陷之或然率；測試X未找出缺陷之或然率 ;測試丫找出缺陷之或然率；及測試Y未找出缺陷之或然率 。例如Xnew表示不含缺陷DUT之測試方法X結果之高斯機率 為： r -v 15 G(Xnew)= 7S^exp ⑴ 此處det(Z)表示Σ之行列式， Σ 1表不Σ之逆矩陣， (X-//)1表示（X-//)之轉置矩陣， 2〇 (X-/0為向I減法，以及 {}内部之乘法為矩陣乘法。 使用測試方法Υ之測量值新向量可表示為： 13 200537347 %、

Ynew — ···

Ynew表示不含缺陷DUT之測試方法Y結果之高斯機率 為： G(Ynew)= V(2^det(Z) exp (2) 此處det(z)表示Σ之行列式， ίο Σ_1表示Σ之逆矩陣， (Y-孓）1表示（Υ-Ζ)之轉置矩陣， (Υ-Ζ)為向量減法，以及 {}内部之乘法為矩陣乘法。 對使用方法X及Υ之新DUT之各次測量，對各方法可算 15 出二高斯或然率GA及GB，此處GA(Xnew)為根據X DUT不含 缺陷之或然率，GB(Xnew)為根據X DUT有缺陷之或然率， GA(Ynew)為根據YDUT不含缺陷之或然率，以及GA(Ynew)S 根據YDUT有缺陷之或然率。 或然率當以機率（或信度(C))表示時更有用。為了將高 20 斯或然率GA(Xnew)及GN(Xnew)分別轉成機率CA(Xnew)及 CN(Xnew): (3) CA(Xnew)- 14 200537347 注意此處 CA(Xnew)=l-CB(Xnew) 一旦測定各量測方法信度，具體例可以數學方式組合 結果，產生基於兩項技術測得一DUT有缺陷，例如第3圖步 驟307。一種數學組合方式為眾所周知。眾所周知之拜葉辛 5 投票公式（Bayesian Voting Formula)，述於Jayne, E.T.機率理 論：科學邏輯，劍橋大學印刷所(2003年）。根據該式： CA(X，Y)= _C,(X)C,(7)_ C,(X)C,(7) + (1- C,(X))(1 - C,(F))

10 因此CA(X，Y)表示製造所得DUT含缺陷之機率，且有效 使用有不同準確度之多重測試技術。 表1及表2為使用光學檢驗機由1C元件測得之範例特色 集合。 表1 良品資料 特色1 特色2 特色3 特色4 資料點1 43 39 69 3 資料點2 11 36 79 7 資料點3 24 38 79 5 表2 良品資料 特色1 特色2 特色3 特色4 資料點1 29 37 18 5 資料點2 28 38 19 6 資料點3 30 37 20 6 第4圖表示基於表1及表2之資料之接收器操作特徵 15 200537347 (ROC)線圖。於線圖400，X軸為錯誤呼叫率，定義為錯誤 呼叫次數除以檢驗資料點數目，以及γ軸為靈敏度，定義為 由篩選器找到缺陷之百分比。 第4圖之ROC線圖係經由下列步驟產生： 5 1·對訓練集合之各個元件計算信度值。 2·將臨限值由0調整至丨。對各個數值，比較該元件之 真正類別與經由彳自度值取臨限值判定之類別。 3.錯誤呼叫率為基於取臨限值程序，類別A被稱作類別 B之比率。逃脫率為類別b被稱作類別a之比率。 10 4.R〇c曲線對各臨限值將錯誤啤叫率相對於卜逃脫率 作圖。 當透過電知可執行指令實作時，本發明之具體例之各 元件主要為定義各元件操作之軟體碼。可執行指令或軟體 碼可得自可讀取媒體(例如硬碟機媒體、光學媒體、eprom 15 、EEPR〇M、磁帶媒體、£式媒體、快閃記憶體、ROM、 3己憶體棒等）或透過有通訊媒體(例如網際網路)通訊資料信 號。實際上，可讀取媒體包括任何可儲存或傳送資訊之媒 體。 第5圖顯示根據本發明之具體例之範例電腦系統5〇〇。 2〇換§之，電腌系統500包含範例系統，於該系統的實作本發 明具體例。中央處理單元(CPU)5_W至系統匯流排5〇2 。CPU 5〇1可為任何通用CPU。適當處理器包括(但非限制 性)例如英代爾公司（INTEL)、奔騰(PENTIUM)4處理器。但 只要CPU 501可支援如此處所述之發明操作，則本發明不受 16 200537347 CPU 50丨之架構所限。CPU 5()1可執行根據本發明之具體例 之各項邏輯指令。例如CPU 5〇1可根據前文就第2圖或第3 圖說明之範例操作流程，執行機器層面指令。 電腦系統500也較佳包括隨機存取記憶體5〇3，RAM可 5為SRAM、DRAM、SDRAM等。電腦系統500較佳包括唯讀 記憶體(R〇M)504，其可為PR0M、EpR〇M、EEpR〇M等。 RAM 503及ROM 504可保有使用者的及系統的資料及程式 ，例如可分析前述向量及矩陣之程式。 電腦系統500也較佳包括輸出入(1/〇)配接器5〇5、通訊 10配接器511、使用者介面配接器508及顯示配接器5〇9。"〇 配接裔505、使用者介面配接器5〇8及/或通訊配接器511於 某些具體例中可致能操作者與電腦系統5〇〇之互動，例如允 卉操作者變更使用之標準數值，或預設特定測試使用之量 測點。 15 1/0配接器505較佳係連結儲存裝置506例如硬碟機、光 碟機(CD)、軟碟機、磁帶機等中之一或多者至電腦系統500 。當RAM 503用於使用者資訊資料儲存相關記憶體要求不 足時’可利用儲存裝置。通訊配接器511較佳適合耦合電腦 系統500至網路512。使用者介面配接器5〇8耦合使用者輸入 2〇裝置如鍵盤513、指標裝置507、及麥克風514及/或輸出裝 置如擴音器515至電腦系統5〇〇。顯示配接器509係由CPU 501驅動來控制於顯示裝置510之顯示，顯示裝置510可用來 顯不各項測試結果、及此等結果之數學組合結果。 須了解本發明非僅限於系統500之架構。例如可使用任 17 200537347 一種適當基於處理器之裝置，包括（但非限制性)個人電腦、 膝上型電腦、電腦工作站及多處理器伺服器。此外，本發 明之具體例可於特殊應用積體電路(ASICs)或極大型積體 (VLSI)電路實作。實際上，熟諳技藝人士可利用任何可執 5 行根據本發明具體例之邏輯操作之適當結構。 雖然已經詳細說明本發明及其優點，但須了解可未十李 離如隨附之申凊專利範圍界定之本發明，於此處做出多種 變化、取代及變更。此外，本案範圍絕非意圖限於本案說 明書所述之製程、機器製造、物質組成物、手段、方法及 10 步鱗之特殊具體例。由揭示顯然易知可利用目前既存戋未 來將發展出之製程、機器製造、物質組成物、手段、方法 或步驟發揮實質相同功能或達成於此處所述對應具體例之 實質相同結果。如此隨附之申請專利範圍意圖含括此等製 程、機裔製造、物質組成物、手段、方法或步驟於其範圍。 15【圖式簡單說明】 為求更完整了解本發明，現在前文說明結合附圖做說 明，附圖者： 第1圖顯示複數個欲根據本發明具體例測試缺陷之製 造裝置； 20 第2圖為流程圖，顯示根據本發明之具體例，判定一裝 置是否有缺陷之方法； 第3圖為根據本發明之一具體例，訓練系統之方法； 第4圖表示基於表1及表2資料之接收器操作特徵(R〇c) 線圖；以及 200537347 第5圖顯示根據本發明之具體例調適之範例電腦系統 【主要元件符號說明】 100…系統 101.. .待測裝置(DUT) 102-105···測試 106…缺陷DUT 107···良品DUT 108···選擇器 200、300…方法 201-207、301-308···步驟 350.. .DUT 400…線圖 500.. .電腦系統 501···中央處理單元(CPU) 502.. .系統匯流排 503.. .隨機存取記憶體(RAM) 504…唯讀記憶體(ROM) 505…輸出入(I/O)配接器 506.. .儲存裝置 507.. .指標裝置 508.. .使用者介面配接器 509.. .顯示配接器 511…通訊配接器 512.. .網路 513.. .擴音器 514···麥克風 19

Claims (1)

1. 200537347 十、申請專利範圍： 1. 一種測定一待測裝置是否有缺陷之方法，該方法包含： 加權多項缺陷檢測技術結果，其中該加權係與該項 技術之準確度相關；以及 5 測定該單元有缺陷之機率，其中該測定係經由組合 得自多項技術之結果測定。 2. 如申請專利範圍第1項之方法，進一步包含： 經由比較各該技術於一標準品執行所得結果與該 標準品之期望結果，來測定各該技術之準確度。 10 3.如申請專利範圍第2項之方法，其中該準確度測定係使 用高斯模型。 4.如申請專利範圍第1項之方法，進一步包含： 經由以數學方式組合該項技術結果與該項技術準 確度，來求出各該技術之或然率。 15 5.如申請專利範圍第4項之方法，進一步包含： 經由以數學方式組合該等或然率而求出該單元有 缺陷之機率。 6. 如申請專利範圍第5項之方法，其中該或然率被轉換成 機率，且係使用拜葉辛投票公式（Bayesian Voting 20 Formula)組合。 7. —種評比一單元之系統，該系統包含： 多項測試技術，其中各該技術檢測至少一項特徵的 存在，以及其中各該技術之準確度可被測定；以及 分析手段，經由使用各項技術結果與各該技術準確 20 200537347 度之組合，分析該技術結果，測定至少一項特徵被檢測 得之機率，其中該機率係用來評比該單元。 8. 如申請專利範圍第7項之系統，進一步包含： 至少一標準品，其具有一種已知之特徵側繪，其中 5 該標準品係用來測定各該技術之準確度。 9. 如申請專利範圍第7項之系統，其中該至少一項特徵為 一缺陷。 10. 如申請專利範圍第7項之系統，進一步包含： 至少一標準品，其具有至少一項已知缺陷； 10 至少一標準品，其實質上不含缺陷；以及 其中各該技術之準確度係經由比較於各該標準品 執行各該技術所得結果與各該標準品之預期結果而測 定。 11. 一種電腦可讀取儲存媒體，其儲存電腦可執行碼，該碼 15 包含： 對多項測試個別計算信度因數之碼； 組合得自各該測試結果與該測試信度因數來產生 各該測試之或然率之碼；以及 組合該或然率而測定有關藉該測試測試之單元之 20 判定之碼。 12. 如申請專利範圍第11項之碼，其中該判定係有關該單元 是否有缺陷。 13. 如申請專利範圍第11項之碼，進一步包含： 改變各該或然率成為一機率之碼；以及 21 200537347 使用拜葉辛投票公式組合該機率之碼。 14.如申請專利範圍第11項之碼，進一步包含： 比較各該測試對一標準品產生之結果與該標準品預 期結果之碼，其中該項比較係用於該信度因數之計算。 5 15.如申請專利範圍第11項之碼，其中該判定產生至少一幅 接收器操作特徵線圖。 16. —種評比一單元之方法，該方法包含： 提供多項測試技術來檢測該單元之缺陷； 使用該技術測試至少一個標準品，其中該標準品具 10 有已知之缺陷側繪； 由該標準品測試結果，求出各該技術之一加權因數 ;以及 使用各該技術測試該單元，其中該單元之接受度可 由該單元測試結果與該加權因數的組合判定。 15 17.如申請專利範圍第16項之方法，進一步包含： 經由測試一具有至少一個已知缺陷之標準品來產 生一第一特色集合； 經由測試一實質上不含缺陷之標準品來產生一第 二特色集合； 20 由該第一特色集合及第二特色集合，產生各該技術 準確度之統計測量值。 18. 如申請專利範圍第17項之方法，其中該產生係使用高斯 模型。 19. 如申請專利範圍第16項之方法，其中該至少一項技術為 22 200537347 檢測印刷電路板缺陷之光學技術。 20.如申請專利範圍第16項之方法，其中該至少一項技術為 導電性技術。

   23