TWI785637B - 預測可靠度的輔助預測系統、方法及電腦程式產品 - Google Patents

預測可靠度的輔助預測系統、方法及電腦程式產品 Download PDF

Info

Publication number
TWI785637B
TWI785637B TW110120652A TW110120652A TWI785637B TW I785637 B TWI785637 B TW I785637B TW 110120652 A TW110120652 A TW 110120652A TW 110120652 A TW110120652 A TW 110120652A TW I785637 B TWI785637 B TW I785637B
Authority
TW
Taiwan
Prior art keywords
image
target object
specific operation
prediction system
training
Prior art date
Application number
TW110120652A
Other languages
English (en)
Other versions
TW202248956A (zh
Inventor
杜經寧
陳智
羅友杰
陳南佑
謝凱程
Original Assignee
國立陽明交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立陽明交通大學 filed Critical 國立陽明交通大學
Priority to TW110120652A priority Critical patent/TWI785637B/zh
Priority to US17/472,955 priority patent/US11688054B2/en
Application granted granted Critical
Publication of TWI785637B publication Critical patent/TWI785637B/zh
Publication of TW202248956A publication Critical patent/TW202248956A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Geometry (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)

Abstract

一種輔助預測系統，用以預測目標物件於特定操作後的可靠度，包括：影像校正模組及分析模組。影像校正模組執行影像校正程序，以將目標物件的原始影像轉換為第一校正影像。分析模組藉由人工智慧模型對第一校正影像進行特徵分析，以預測目標物件於特定操作後是否發生缺陷。

Description

預測可靠度的輔助預測系統、方法及電腦程式產品
本發明屬於輔助預測技術領域，預測可靠度破壞的輔助預測技術領域。
電子裝置內部的電子元件(例如積體電路(integrated circuit，IC))在進行特定操作時(例如通電)，有可能會受到電遷移、熱遷移或應力遷移等影響而造成其內部的微結構(例如錫球)造成損壞，因而造成電子裝置故障。
現有技術必須仰賴人力以肉眼觀察微結構是否有被破壞，然而這種方式有可能造成誤判。此外，目前的檢測都必須等到電子元件實際通電後，才能判斷微結構是否受到損壞，因此若有損壞，則電子元件也只能報廢，對於成本控管而言並無幫助。換言之，目前欠缺可於通電前就預測出微結構是否會損壞且具備高準確度的技術。
因此，目前仍需要一種新的輔助預測技術，來解決上述的問題。
根據本發明的一觀點，茲提出一種輔助預測系統，用以預測一目標物件於一特定操作後的可靠度。該輔助預測系統包含影像校正模組及分析模組。影像校正模組用於執行一影像校正程序，以將目標物件的原始影像轉換為第一校正影像；分析模組藉由已訓練完成的人工智慧模型對第一校正影像進行特徵分析，以預測目標物件於特定操作後是否發生缺陷。
根據本發明的另一觀點，是提供一種輔助預測方法，用以預測一目標物件於一特定操作後的可靠度，其中該方法是透過一輔助預測系統來執行，且輔助預測系統包含影像校正模組及分析模組。該方法包含步驟：藉由影像校正模組執行影像校正程序，將目標物件的原始影像轉換為第一校正影像；以及藉由分析模組，透過已訓練完成的人工智慧模型對第一校正影像進行特徵分析，以預測目標物件於特定操作後是否發生缺陷。
根據本發明又另一觀點，是提供一種電腦程式產品，用以預測一目標物件於一特定操作後的可靠度，其中輔助預測系統包含影像校正模組及分析模組。該電腦程式產品包含：一指令，使影像校正模組執行影像校正程序，以將目標物件的原始影像轉換為第一校正影像；以及一指令，使分析模組透過已訓練完成的人工智慧模型對第一校正影像進行特徵分析，以預測目標物件於特定操作後是否發生缺陷。
1:輔助預測系統
12:資料傳輸介面
13:影像校正模組
14:分析模組
20:人工智慧模型
201:輸入端
202:第一卷積層
203:第一池化層
204:第二卷積層
205:第二池化層
206:全連接層
207:輸出端
30:電腦程式產品
40:預測結果
S41~S45:步驟
S51~S58:步驟
S61~S64:步驟
圖1是本發明一實施例的輔助預測系統的系統架構圖；圖2是本發明一實施例的微結構的示意圖； 圖3是本發明一實施例的人工智慧模型的架構圖； 圖4是本發明一實施例的輔助預測預測方法的步驟流程圖； 圖5是本發明一實施例的人工智慧模型的建立方法的步驟流程圖。
圖6是本發明一實施例的影像校正程序的步驟流程圖
以下係藉由特定的具體實施例說明本發明之實施方式。本發明亦可藉由其他不同的具體實施例加以施行或應用，本說明書中的各項細節亦可針對不同觀點與應用，在不悖離本發明之精神下進行各種修飾與變更。
再者，說明書與請求項中所使用的序數例如“第一”、“第二”等之用詞，以修飾說明書與請求項之元件，其本身並不意含及代表該請求元件有任何序數，也不代表某一請求元件與另一請求元件的順序、或是製造方法上的順序，該些序數的使用僅用來使具有某命名的一請求元件得以和另一具有相同命名的請求元件能作出清楚區分。
此外，本發明中關於“當...”或“...時”等描述表示”當下、之前、或之後”等態樣，而不限定為同時發生之情形，在此先行敘明。本發明中關於“設置於...上”等類似描述係表示兩元件的對應位置關係，並不限定兩元件之間是直接接觸或間接接觸，在此先行敘明。再者，本發明記載多個功效(或元件)時，若在多個功效(或元件)之間使用“或”一詞，係表示功效(或元件)可獨立存在，但亦不排除多個功效(或元件)可同時存在的態樣。
考量到特定份量的量測問題及失誤(即量測系統的限制)，文中關於“大約為…”及“實質上為…”等描述可包含記載的數值以及該領域技術人 士能判斷出的可接受偏差範圍。舉例來說，“大約為…”可表示在一或多個標準偏差之內，或在標準數值的±20%、±15%、±10%、±5%、±3%之內。需注意的是，由於處理過程之偏差或處理過程之不穩定，文中關於“相同”、“相等”、“等同於”等描述亦包含了“大約”之涵義。
此外，在本文中，「系統」、「設備」、「裝置」、「模組」、或「單元」等用語，至少可以是指一電子元件或由多個電子元件所組成的一數位電路、一類比電路、或其他更廣義電路，且除了特別指明者之外，它們不必然有位階或層級關係。此外，電腦、終端機或伺服器皆可包括上述元件，或以上述方式來實現。
本發明的保護範圍的效力至少可透過產品所具備的元件或元件的運作機制來進行舉證，但舉證方法亦不限於此。此外，若涉及軟體的執行步驟，至少可透過逆向工程或根據程式碼的指令來進行舉證，但舉證方法亦不限於此。
圖1是本發明一實施例的輔助預測系統1的系統架構圖。
如圖1所示，輔助預測系統1包含一影像校正模組13及一分析模組14。當一目標物件的影像被輸入至輔助預測系統1後，影像校正模組13可對影像至執行一影像校正程序，分析模組14可對校正後的影像進行特徵分析，進而產生一預測結果40。此外，在一實施例中，輔助預測系統1更可包含一資料傳輸介面12，用於接收或傳送資料，例如接收影像。
本發明的輔助預測系統1可用於預測目標物件於一特定操作後的可靠度，例如當可靠度高時，表示目標物件並未產生缺陷，而當可靠度低時， 表示目標物件產生缺陷。換言之，本發明的輔助預測系統1可預測目標物件於特定操作後是否會發生缺陷。
在一實施例中，目標物件可以是電子裝置內部的電子元件的微結構，其中電子元件可例如是晶片、電路板、主動元件、被動元件、扇出型元件或散熱管等，且不限於此，微結構可例如是銲錫微凸塊、接腳、銅-銅接點或金屬焊接點等，且不限於此。在一實施例中，特定操作可以是製程過程中的一程序，例如加熱程序、通電程序、應力施加程序、溫度變化程序或高溫高濕度測試等，且不限於此。在一實施例中，目標物件於特定操作後所發生的缺陷包含頸縮(Necking)狀態、產生孔洞或反應物生成等，且不限於此。由此可知，本發明的輔助預測系統1可以預測電子元件的微結構在經歷特定操作後是否會產生損壞，例如只要將未通電的銲錫微凸塊的影像輸入至輔助預測系統1，輔助預測系統1即可預測出銲錫微凸塊在通電後是否會產生缺陷，且不限於此。
在一實施例中，目標物件的影像可例如是由X光斷層攝影法所拍攝的多個X光斷層影像重建而成的立體影像，但不限於此。圖2是本發明一實施例的微結構(例如銲錫微凸塊)的立體影像的示意圖。如圖2所示，銲錫微凸塊的「立體影像」可包含銲錫微凸塊於多個方向的切面的X光斷層影像。需注意的是，為使本發明的說明更加清楚，目標物件於特定操作前的影像將以「原始影像」稱之，目標物件於特定操作後的影像將以「操作後影像」稱之，原始影像透過影像校正程序轉換後的影像將以「第一校正影像」稱之，操作後影像透過影像校正程序轉換後的影像將以「第二校正影像」稱之。
請再次參考圖1。接著將說明各元件的功用及實施態樣。
首先說明輔助預測系統1。
在一實施例中，輔助預測系統1可以是一影像處理裝置，其可透過任何具有微處理器11的裝置來實現，例如桌上型電腦、筆記型電腦、智慧型行動裝置、伺服器或雲端主機等類似裝置，且不限於此。在一實施例中，輔助預測系統1可具備網路通訊功能，以將資料透過網路進行傳輸，其中網路通訊可以是有線網路或無線網路，因此輔助預測系統1亦可透過網路來取得影像資料。在一實施例中，輔助預測系統1可具備顯示器，因此提示訊息可在顯示器中顯示。在一實施例中，輔助預測系統1可由微處理器11中執行一電腦程式產品30來實現其功能，其中電腦程式產品30可具有複數個指令，該等指令可使處理器執行特殊運作，進而使處理器實現如影像校正模組13、分析模組14或人工智慧模型20的功能。在一實施例中，電腦程式產品30可儲存於一非暫態電腦可讀取媒體(例如記憶體)之中，但不限於此。在一實施例中，電腦程式產品30亦可預先儲存於網路伺服器中，以供使用者下載。本發明不限於此。
接著說明資料傳輸介面12。
在一實施例中，資料傳輸介面12可用於取得輔助預測系統1外部的資料，亦即使用者(例如檢測人員)可透過資料傳輸介面12將目標物件(銲錫微凸塊或其它微結構)的影像輸入至輔助預測系統1中。在一實施例中，資料傳輸介面12可以是一實體連接埠，用於取得外部資料的資料，例如當輔助預測系統1是由電腦實現時，資料傳輸介面12可以是電腦上USB介面、各種傳輸線接頭等，但並非限定。此外，資料傳輸介面12亦可與無線通訊晶片整合，因此能以無線傳輸的方式接收資料。本發明不限於此。
接著說明影像校正模組13。
影像校正模組13可對資料傳輸介面12所取得的影像執行影像校正程序，以將影像的規格校正為分析模組14所適用的規格；因此，經由影像校正程序，原始影像可被轉換成第一校正影像，而操作後影像可被轉換成第二校正影像。此外，在一實施例中，影像校正模組13可以是一功能模組，其可透過一程式碼(例如可以是電腦程式產品30的一部份，但不限於此)來實現，但不限於此；舉例來說，當輔助預測系統1的微處理器11執行該程式碼時，該微處理器11可執行所述的影像校正模組13的各種功能，例如執行影像校正程序。本發明不限於此。
接著說明分析模組14。
當影像校正模組13對影像完成校正後，分析模組14可透過一人工智慧模型20而對校正後的影像進行特徵分析，進而輸出預測結果40，其中預測結果40可表示缺陷是否會發生。在一實施例中，分析模組14可以是一功能模組，其可透過一程式碼(例如可以是電腦程式產品30的一部份，但不限於此)來實現，但不限於此；舉例來說，當輔助預測系統1的微處理器11執行該程式碼時，該微處理器11可執行分析模組14的各種功能，例如藉由已訓練完成的人工智慧模型20對影像進行特徵分析。此外，在一實施例中，分析模組14與人工智慧模型20可整合在一起，但不限於此。
接著說明人工智慧模型20。
人工智慧模型20可經由訓練(例如但不限於機器學習)而產生準確的預測能力。在訓練階段時，人工智慧模型20可視為一訓練用模型，其可透過分析大量影像來進行訓練，其可從大量目標物件的原始影像中找出與發生缺陷關聯度較高的特徵，進而建立出預測路徑，以及將找出的各種特徵設定為預 測路徑中的特徵節點。更詳細地，人工智慧模型20可經由訓練而決定預測路徑中的各特徵節點為何，例如要選擇哪個特徵、特徵節點的特徵所對應的特徵門檻值為何(是否符合此特徵)、特徵節點之間如何連接等。在一實施例中，人工智慧模型20可由程式碼來實現。
此外，在一實施例中，在訓練之前，人工智慧模型20的初步模型(即訓練用模型)可預先被建構出來，例如將基本參數設定好，而輔助預測系統1可透過電腦程式產品30中的指令使人工智慧模型20進行訓練，進而建構出人工智慧模型20的預測路徑。之後，持續進行訓練及驗證，直到人工智慧模型20的分析準確度可達到門檻值，藉此完成訓練。之後，當人工智慧模型20訓練完成後，輔助預測系統1即可實際進行預測。需注意的是，為區分訓練前與訓練後的人工智慧模型20，下文中對於未訓練的人工智慧模型20將以「訓練用模型」來稱之。在一實施例中，訓練用模型需經歷「訓練階段」來進行訓練，並且經歷「測試階段」來測試特徵路徑的準確度。
在一實施例中，人工智慧模型20從影像中找出的特徵，其中特徵可能包含：微結構的外型改變(例如外型扭曲、歪斜等)、微結構內部的改變(例如內部出現孔洞、裂縫等無法從外觀直接看到的變化)、微結構的體積的變化(例如內部不同子結構、材料的總體積變大或變小)及/或微結構的橫截面的變化(例如水平、垂直或是任意平面的斷層影像變化)，且不限於此。
在一實施例中，人工智慧模型20可採用各種機器學習架構，例如卷積神經網路架構、隨機森林架構、支援向量機架構、深度學習架構或遞歸神經網路架構等，且不限於此。為方便說明，本文中將以卷積神經網路架構來舉例。
圖3是本發明一實施例的人工智慧模型20的架構圖，其是以卷積神經網路的架構來舉例，但本發明並不限於此。如圖3所示，本發明的人工智慧模型20的架構可包含一輸入端201、一第一卷積層202、一第一池化層203、一第二卷積層204、一第二池化層205、一全連接層206及一輸出端207。在一實施例中，輸入端201可用於接收人工智慧模型20外部所輸入的影像，第一卷積層202、第一池化層203、第二卷積層204及第二池化層205可用於從影像中取得影像的特徵，全連接層206可用於提供根據各種特徵所建立出的預測路徑，使影像的特徵在通過預測路徑後可產生各種預測結果40的選項的機率(例如「良好(Good)」的機率及「缺陷(Broken)」的機率)，輸出端207則可輸出最有可能的預測結果40。此外，圖3所標示的各卷積層或池化層的尺寸(例如3 x 3 x 3或2x2x2)僅是舉例，並非本發明的限定。
藉此，輔助預測系統1的主要元件的功用及實施態樣已可被理解。
接著將說明輔助預測系統1的基本運作方式，請參考圖4，並以圖1至圖3為輔。
圖4是本發明一實施例的輔助預測方法的基本步驟流程圖，該方法是由圖1的輔助預測系統1執行，其中人工智慧模型20屬於已訓練完成的狀態。此外，為方便說明，圖4是以目標物件為銲錫微凸塊，特定操作為迴焊操作，且缺陷為頸縮狀態的態樣來舉例，但本發明不限於此。
首先步驟S41被執行，輔助預測系統1的資料取得介面20取得一個銲錫微凸塊的原始影像。之後，步驟S42被執行，影像校正模組13對原始影像進行影像校正程序，使原始影像轉換為第一校正影像。之後，步驟S43被執行，分析模組14將第一校正影像輸入至人工智慧模型20。之後，步驟S44被執行，人工 智慧模型20對第一校正影像進行特徵分析，並預測該銲錫微凸塊於迴焊操作後是否會發生缺陷(亦即是否會發生頸縮狀態)。之後，步驟S45被執行，輔助預測系統1將預測結果40輸出。
由此可知，當人工智慧模型20建立完成後，只要將銲錫微凸塊的原始影像(尚未進行迴焊操作)輸入至輔助預測系統1中，輔助預測系統1即可預測出該銲錫微凸塊於迴焊操作是否會發生頸縮狀態。本發明不限於此。
為了使輔助預測系統1能夠執行上述步驟S41至S45，其人工智慧模型20必須先使用大量的訓練用資料進行訓練，進而建立準確度足夠的預測路徑。
接著將詳細說明人工智慧模型20的訓練過程。請參考圖5，並以圖1至圖4為輔。
圖5是本發明一實施例的人工智慧模型20的訓練過程的步驟流程圖，其中該等步驟可由輔助預測系統1的處理器執行電腦程式產品30中的指令而實現，並請同時參考圖1至圖4。
首先，步驟S51被執行，分析模組14將大量的訓練用資料(例如大量銲錫微凸塊的第一校正影像)以及每個訓練用資料所對應的缺陷結果標記(例如實際的缺陷發生情形)輸入至人工智慧模型20的訓練用模型。之後，步驟S52被執行，人工智慧模型20的訓練用模型對該等第一校正影像及相對應的缺陷結果標記進行特徵分析，進而建立出預測路徑。之後，步驟S53被執行，分析模組14將多個驗證用資料(例如另一些尚未用於訓練的銲錫微凸塊的第一校正影像)輸入至人工智慧模型20的訓練用模型。之後步驟S54被執行，人工智慧模型20的訓練用模型輸出預測結果40。之後步驟S55被執行，分析模組14取得該等驗證用 資料的實際缺陷發生情形的資料。之後步驟S56被執行，分析模組14比較該等預測結果40與實際結果，以計算出目前的預測路徑的準確度。之後步驟S57被執行，分析模組14判斷預測路徑的準確度是否達到一門檻值(例如正確率大於或等於90%，但不限於此)。假如有，則步驟S58被執行，人工智慧模型20完成訓練。假如否，則重新執行步驟S51至S57，直至預測路徑的準確度達到門檻值。
在一實施例中，人工智慧模型20的訓練用模型可自動找出影像特徵與「缺陷是否發生」之間可能的關聯性，且將關聯性高的特徵當做預測路徑中的特徵節點。
在一實施例中，訓練用資料的數量可為10,000至1,000,000筆，但不限於此。在一實施例中，驗證用資料的數量可為1,000至10,000筆，其中對照用的資料數量可小於訓練用的數量，但不限於此。
藉此，人工智慧模型20的訓練過程已可被理解。
此外，在人工智慧模型20的訓練過程中，其需要使用大量的訓練用資料的第一校正影像，而在訓練完後的正式使用上，也必須先將待預測影像轉換為第一校正影像。因此，原始影像(或操作後影像)如何轉換為第一校正影像(或第二校正影像)亦是本發明的重點。
接著說明影像進行校正的過程。請參考圖6，並以圖1至圖5為輔。
圖6是本發明一實施例的影像校正程序的步驟流程圖，其中影像校正程序可包含一亮暗對比校正程序、一結構尺寸校正程序及/或一空間或平面扭曲校正程序，且不限於此。
如圖6所示，首先步驟S61被執行，影像校正模組13取得銲錫微凸塊的原始影像(或操作後影像)。之後步驟S62被執行，影像校正模組13對原始影 像(或操作後影像)進行亮暗對比校正程序，以統一每個原始影像(或操作後影像)的亮度級距範圍或對比度級距範圍；換言之，透過亮暗對比校正程序，每個原始影像及操作後影像的亮度級距範圍或對比度級距範圍皆一致。之後步驟S63被執行，影像校正模組13對原始影像(或操作後影像)進行結構尺寸校正程序，以統一每個原始影像(或操作後影像)的尺寸；換言之，透過結構尺寸校正程，每個原始影像及操作後影像之中的微結構的尺寸皆會一致。之後步驟S64被執行，影像校正模組13對原始影像(或操作後影像)進行空間或平面扭曲校正程序，以統一每個原始影像(或操作後影像)於空間或平面上的方位；換言之，透過空間或平面扭曲校正程序，每個原始影像及操作後影像之中的微結構的方位皆會一致。藉此，原始影像可轉換為第一校正影像，而操作後影像可轉換為第二校正影像。
在步驟S62的一實施例中，影像校正模組13可預先儲存一校正用影像，其中校正用影像具有一標準化的亮度級距範圍(或對比度級距範圍)。之後，影像校正模組13可將原始影像或操作後影像的所有像素的亮度級距範圍(或對比度級距範圍)的峰值及谷值進行調整，並調整至與校正用影像的亮度級距範圍或對比度級距範圍一致。藉此，每個第一校正影像及第二校正影像皆可具備相同級距範圍的亮度或對比度。本發明不限於此。
在步驟S63的一實施例中，影像校正模組13可預先儲存一校正用影像，並以校正用影像的一物件的尺寸做為縮放基準。之後影像校正模組13可在原始影像或操作後影像上找出同一個物件，並根據縮放基準來調整原始影像或操作後影像上的該物件的尺寸，進而使原始影像或操作後影像的尺寸與校正用影像的尺寸一致。藉此，每個第一校正影像及第二校正影像之中的微結構皆可具備一致的尺寸。本發明不限於此。
在步驟S64的一實施例中，影像校正模組13可預先儲存一校正用影像，並以校正用影像中的一物件的方位做為方位基準。之後影像校正模組13可在原始影像或操作後影像上找出同一個物件，並根據方位基準來調整該物件的方位，進而使原始影像或操作後影像的方位與校正用影像的方位一致。藉此，每個第一校正影像及第二校正影像之中的微結構皆可具備相同的方位。本發明不限於此。
需注意的是，上述步驟S62~S64的內容僅是舉例而非限定，且步驟S62~S64的順序亦可調換，或者可同步進行。此外，只要可行，本發明亦可依照需求而增加更多步驟或減少步驟。
藉此，影像校正程序已可被理解。
此外，根據第二校正影像實際判斷缺陷是否發生亦是本發明的特色之一。
接著將說明缺陷結果標記的建立方法(亦即如何實際判斷有無缺陷)，此方法可透過一影像分析模組來實現，並藉由比較第一校正影像及第二校正影像來判斷。其中，該影像分析模組可為分析模組14本身，也可以設置於輔助預測系統1之中的另一個分析模組，也可以是設置於輔助預測系統1之外的另一個分析模組。
在一實施例中，該影像分析模組可根據一個銲錫微凸塊的第一校正影像以及第二校正影像於一特定橫切面方向上的錫球面積尺寸的變化情形以及銲錫微凸塊的電阻變化情形來判斷該銲錫微凸塊於迴焊後是否產生缺陷。藉此，影像分析模組可建立每個銲錫微凸塊所對應的缺陷結果標記。本發明不限於此。
藉此可知，透過「影像的校正」、「缺陷的判斷」及「人工智慧模型的訓練」，本發明的輔助預測系統1可產生預測目標物件被施加特定操作後的可靠度，進而解決習知技術的問題。
儘管本發明已透過上述實施例來說明，可理解的是，根據本發明的精神及本發明所主張的申請專利範圍，許多修飾及變化都是可能的。
S41~S45:步驟

Claims (11)

  1. 一種輔助預測系統，用以預測一目標物件於一特定操作後的可靠度，包含：一影像校正模組，用於執行一影像校正程序，以將該目標物件的一原始影像轉換為一第一校正影像，並輸出該目標物件的該第一校正影像；以及一分析模組，取得該第一校正影像，並藉由已訓練完成的一人工智慧模型對該第一校正影像進行一特徵分析，以預測該目標物件於該特定操作後是否發生缺陷，並輸出一預測結果。
  2. 如請求項1所述的輔助預測系統，其中該原始影像定義為該目標物件於該特定操作前的影像。
  3. 如請求項1所述的輔助預測系統，其中該影像校正程序包含一亮暗對比校正程序、一結構尺寸校正程序及/或一空間或平面扭曲校正程序。
  4. 如請求項1所述的輔助預測系統，其中該人工智慧模型是由一訓練用模型經歷複數次訓練而形成，其中每次訓練是讓該訓練用模型使用複數個訓練用的第一校正影像及每個訓練用物件於該特定操作後的一缺陷結果標記來進行分析，進而產生一預測路徑，且該人工智慧模型持續進行訓練直至該預測路徑的準確度達到一門檻值。
  5. 如請求項1所述的輔助預測系統，其中該目標物件為一電子裝置的一微結構，該特定操作包含該電子裝置的一製程過程中的一加熱程序、一通電程序、一應力施加程序或一溫度變化程序，且該目標物件於該特定操作後所發生的缺陷包含頸縮(Necking)狀態。
  6. 一種輔助預測方法，用以預測一目標物件於一特定操作後的可靠度，該方法是透過一輔助預測系統來執行，該輔助預測系統包含一影像校正模組及一分析模組，其中該方法包含步驟：藉由該影像校正模組執行一影像校正程序，將該目標物件的一原始影像轉換為一第一校正影像，並輸出該目標物件的該第一校正影像；以及藉由該分析模組，取得該第一校正影像，並透過已訓練完成的一人工智慧模型對該第一校正影像進行一特徵分析，以預測該目標物件於該特定操作後是否發生缺陷，並輸出一預測結果。
  7. 如請求項6所述的輔助預測方法，其中該原始影像定義為該目標物件於該特定操作前的影像。
  8. 如請求項6所述的輔助預測方法，其中該影像校正程序包含一亮暗對比校正程序、一結構尺寸校正程序及/或一空間或平面扭曲校正程序。
  9. 如請求項6所述的輔助預測方法，其中該人工智慧模型是由一訓練用模型經歷複數次訓練而形成，其中每次訓練是讓該訓練用模型使用複數個訓練用的第一校正影像及每個訓練用物件於該特定操作後的一缺陷結果標記來進行分析，進而產生一預測路徑，且該人工智慧模型持續進行訓練直至該預測路徑的準確度達到一門檻值。
  10. 如請求項6所述的輔助預測方法，其中該目標物件為一電子裝置的一微結構，該特定操作包含該電子裝置的一製程過程中的一加熱程序、一通電程序、一應力施加程序或一溫度變化程序，且該目標物件於該特定操作後所發生的缺陷包含頸縮(Necking)狀態。
  11. 一種電腦程式產品，儲存於一非暫態電腦可讀取媒體之中，用以使一輔助預測系統預測一目標物件於一特定操作後的可靠度，其中該輔助預測系統包含一影像校正模組及一分析模組，其中該電腦程式產品包含： 一指令，使該影像校正模組執行一影像校正程序，以將該目標物件的一原始影像轉換為一第一校正影像，並輸出該目標物件的該第一校正影像；以及一指令，取得該第一校正影像，並使該分析模組透過已訓練完成的一人工智慧模型對該第一校正影像進行一特徵分析，以預測該目標物件於該特定操作後是否發生缺陷，並輸出一預測結果。
TW110120652A 2021-06-07 2021-06-07 預測可靠度的輔助預測系統、方法及電腦程式產品 TWI785637B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110120652A TWI785637B (zh) 2021-06-07 2021-06-07 預測可靠度的輔助預測系統、方法及電腦程式產品
US17/472,955 US11688054B2 (en) 2021-06-07 2021-09-13 Auxiliary prediction system for predicting reliability, and method and computer program product thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110120652A TWI785637B (zh) 2021-06-07 2021-06-07 預測可靠度的輔助預測系統、方法及電腦程式產品

Publications (2)

Publication Number Publication Date
TWI785637B true TWI785637B (zh) 2022-12-01
TW202248956A TW202248956A (zh) 2022-12-16

Family

ID=84285333

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110120652A TWI785637B (zh) 2021-06-07 2021-06-07 預測可靠度的輔助預測系統、方法及電腦程式產品

Country Status (2)

Country Link
US (1) US11688054B2 (zh)
TW (1) TWI785637B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509108A (zh) * 2011-10-14 2012-06-20 桂林电子科技大学 一种焊点缺陷鉴别方法
US20170200524A1 (en) * 2012-09-05 2017-07-13 SVXR, Inc. Devices Processed Using X-Rays
CN111513737A (zh) * 2019-02-01 2020-08-11 三星电子株式会社 X射线图像处理方法和x射线图像处理装置
CN112233110A (zh) * 2020-11-18 2021-01-15 苏州斯玛维科技有限公司 芯片键合线的分割方法及其分割装置
CN112767303A (zh) * 2020-08-12 2021-05-07 腾讯科技（深圳）有限公司 一种图像检测方法、装置、设备及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948292B2 (en) * 2019-07-02 2024-04-02 MakinaRocks Co., Ltd. Systems and methods for detecting flaws on panels using images of the panels
US20220342316A1 (en) * 2019-09-05 2022-10-27 Asml Netherlands B.V. Method for determining defectiveness of pattern based on after development image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509108A (zh) * 2011-10-14 2012-06-20 桂林电子科技大学 一种焊点缺陷鉴别方法
US20170200524A1 (en) * 2012-09-05 2017-07-13 SVXR, Inc. Devices Processed Using X-Rays
CN111513737A (zh) * 2019-02-01 2020-08-11 三星电子株式会社 X射线图像处理方法和x射线图像处理装置
CN112767303A (zh) * 2020-08-12 2021-05-07 腾讯科技（深圳）有限公司 一种图像检测方法、装置、设备及计算机可读存储介质
CN112233110A (zh) * 2020-11-18 2021-01-15 苏州斯玛维科技有限公司 芯片键合线的分割方法及其分割装置

Also Published As

Publication number Publication date
US20220392049A1 (en) 2022-12-08
US11688054B2 (en) 2023-06-27
TW202248956A (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
WO2018072326A1 (zh) 基于图像识别的焊点类型检测和装置
US20140125375A1 (en) Board inspection apparatus system and board inspection method
CN111210468A (zh) 一种图像深度信息获取方法及装置
CN104636254A (zh) 生成测试用例的方法和装置、测试方法和设备
WO2020054443A1 (ja) 学習装置、推論装置及び学習済みモデル
US9292650B2 (en) Identifying layout pattern candidates
CN107807841B (zh) 服务器模拟方法、装置、设备及可读存储介质
CN111401472A (zh) 基于深度卷积神经网络的红外目标分类方法和装置
CN110111364A (zh) 运动检测方法、装置、电子设备及存储介质
TWI785637B (zh) 預測可靠度的輔助預測系統、方法及電腦程式產品
KR102366032B1 (ko) 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법 및 이를 이용한 컴퓨팅 장치
CN112509058B (zh) 外参的计算方法、装置、电子设备和存储介质
CN112102415A (zh) 基于标定球的深度相机外参数标定方法、装置及设备
CN113269710B (zh) 一种基于目标检测的aau施工工艺检测系统
CN110942007B (zh) 手部骨骼参数确定方法、装置、电子设备和存储介质
CN110532186B (zh) 利用验证码进行测试的方法、装置、电子设备和存储介质
CN115393501A (zh) 信息处理方法及装置
US7484190B1 (en) Method to optimize the manufacturing of interconnects in microelectronic packages
CN112233171A (zh) 目标标注质量检验方法、装置、计算机设备和存储介质
CN111666973A (zh) 车辆损伤图片处理方法、装置、计算机设备及存储介质
TWI835537B (zh) 偵測電路及相關的偵測方法
CN105933286B (zh) 一种验证协议的方法及装置
CN113763467B (zh) 图像处理方法、装置、计算设备及介质
CN116433767B (zh) 目标对象检测方法、装置、电子设备以及存储介质
US20220292659A1 (en) Secondary Detection System For Integrating Automated Optical Inspection And Neural Network And Method Thereof