TWI842929B - 根據x射線影像複查預測產品失效的方法、電腦可讀取非暫存性儲存媒體及系統 - Google Patents

根據x射線影像複查預測產品失效的方法、電腦可讀取非暫存性儲存媒體及系統 Download PDF

Info

Publication number
TWI842929B
TWI842929B TW109123433A TW109123433A TWI842929B TW I842929 B TWI842929 B TW I842929B TW 109123433 A TW109123433 A TW 109123433A TW 109123433 A TW109123433 A TW 109123433A TW I842929 B TWI842929 B TW I842929B
Authority
TW
Taiwan
Prior art keywords
samples
sample
ray
ray images
classification algorithm
Prior art date
Application number
TW109123433A
Other languages
English (en)
Other versions
TW202109460A (zh
Inventor
大衛路易 阿德爾
史考特約瑟夫 朱爾
道格拉斯Ａ 克里詩安
Original Assignee
美商布魯克奈米公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商布魯克奈米公司 filed Critical 美商布魯克奈米公司
Publication of TW202109460A publication Critical patent/TW202109460A/zh
Application granted granted Critical
Publication of TWI842929B publication Critical patent/TWI842929B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/043—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using fluoroscopic examination, with visual observation or video transmission of fluoroscopic images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/083—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the radiation being X-rays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18—Investigating the presence of flaws defects or foreign matter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16—Measuring radiation intensity
    • G01T1/20—Measuring radiation intensity with scintillation detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/39—Circuit design at the physical level
    • G06F30/398—Design verification or optimisation, e.g. using design rule check [DRC], layout versus schematics [LVS] or finite element methods [FEM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67288—Monitoring of warpage, curvature, damage, defects or the like
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K1/00—Printed circuits
    • H05K1/02—Details
    • H05K1/11—Printed elements for providing electric connections to or between printed circuits
    • H05K1/115—Via connections; Lands around holes or via connections
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K3/00—Apparatus or processes for manufacturing printed circuits
    • H05K3/40—Forming printed elements for providing electric connections to or between printed circuits
    • H05K3/4038—Through-connections; Vertical interconnect access [VIA] connections
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/03—Investigating materials by wave or particle radiation by transmission
    • G01N2223/04—Investigating materials by wave or particle radiation by transmission and measuring absorption
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/426—Imaging image comparing, unknown with known substance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/50—Detectors
    • G01N2223/505—Detectors scintillation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/646—Specific applications or type of materials flaws, defects
    • G01N2223/6466—Specific applications or type of materials flaws, defects flaws comparing to predetermined standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2115/00—Details relating to the type of the circuit
    • G06F2115/12—Printed circuit boards [PCB] or multi-chip modules [MCM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/18—Manufacturability analysis or optimisation for manufacturability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Manufacturing & Machinery (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Toxicology (AREA)
  • Geometry (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Power Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)

Abstract

提供一種自動化高速X射線檢驗方法。獲取第一樣本的第一組X射線影像，其中第一樣本被標記為不合格。根據第一組X射線影像調整分類演算法，其中分類演算法根據對應X射線影像的分析將多個樣本分類為合格種類或不合格種類。利用經調整的分類演算法分析多個第二樣本的第二組X射線影像，其中第二樣本為多個先前檢驗樣本，且先前檢驗樣本已經在先前分析中被調整前的分類演算法分類為合格種類。從第二組X射線影像辨識出第二樣本至少其中一者，其中被辨識的各個第二樣本被經調整的分類演算法分類為不合格種類。

Description

根據X射線影像複查預測產品失效的方法、電腦可讀取非暫存性儲存媒體及系統
本發明係關於X射線檢驗的技術，特別是關於根據X射線影像複查預測產品失效的方法、電腦可讀取非暫存性儲存媒體及系統。
積體電路可以製造成包括3D(三維)或2.5D結構。使用光學光子或電子來檢驗矽晶片的技術不能用於檢驗3D和2.5D積體電路封裝，因為光子和電子不能充分穿透積體電路、中介層或銅晶粒之間的黏晶接合(Cu-Cu die to die bonding)來提供封裝積體電路的內部視圖。光學檢驗方法也不能對部分封裝的部件進行檢驗或度量，這是製程控制的關鍵需求。由於X射線可以穿透封裝的許多層，X射線檢驗可以提供組裝裝置的內部視圖。
在通過品質管制的測試和檢驗後，包含積體電路或電子元件的產品可用於現場應用。在現場應用一段時間後，某些產品可能會以某種方式出現故障(功能失效)。故障的產品可能會引起涉及大量產品的召回，這對製造商來說成本非常高昂。
本發明所揭露的特定實施態樣描述關於一種系統和方法，其根據從失效元件的失效分析學習之資訊調整X射線檢驗演算法，並且利用調整過的X射線檢驗演算法檢查或複查被檢驗元件的X射線影像以辨識與失效元件類似的不合格(Non-conforming)元件。系統首先可在失效元件的失效分析過程中決定失效元件的至少一失效模式。然後，系統可決定至少一指示性特徵，其有關於失效元件的失效模式。可根據失效元件的原始X射線影像(在它們故障前)、失效元件的新X射線影像(在它們故障後)、從其他檢驗系統(例如光學檢驗系統、電性測試工具)接收到的資訊或專家意見來決定指示性特徵。在這之後，系統可根據失效元件的新知識調整X射線檢驗演算法(例如規則式分類演算法、機器學習模型、電腦視覺演算法、統計分析演算法)。舉例來說，系統可調整規則式分類演算法(用於分類被檢驗元件)中已存在的至少一規則，或是添加至少一新規則到規則式分類演算法中。可根據與失效元件的失效模式有關之指示性特徵決定經調整的規則或新規則。在另一個例子中，系統可利用與失效元件有關聯的X射線影像再次訓練機器學習模型(用於分類被檢驗元件)。然後，系統可利用經調整的X射線檢驗演算法再次分析數個先前被檢驗之元件的原始X射線影像。在根據失效元件進行調整之前，這些元件可被X射線檢驗演算法分類為合格(Conforming)元件。一旦根據失效元件調整過，X射線檢驗演算法可對類似於失效元件之元件(例如具有相同或相似的指示性特徵)予以拒絕，並將這種元件視為不合格元件。系統可利用經調整的X射線檢驗演算法從先前被檢驗之元件中辨識出與失效元件類似的元件子集並將此元件子集視為不合格元件。系統可利用經調整的X射線檢驗演算法檢驗新元件以對類似於失效元件之元件予以拒絕，並將這種元件視為不合格元件。系統可決定和發送回饋/前饋資訊給用於製造新元件的至少一製造工具，以減少生產出不合格元件的機率。系統可決定和發送回饋/前饋資訊給用於檢驗新元件的至少一檢驗工具，以將類似於失效元件之元件(例如具有相同或相似的指示性特徵)辨識為失效元件。
關於本揭露內容公開的實施態樣只是示例，本發明的範圍並不限於它們。特定的實施態樣可以包括上面公開的實施態樣的全部、部分或不包括任何元件、物件、特徵、功能、操作或步驟。針對方法、儲存媒介、系統和電腦程式產品的請求項中，根據本發明的實施例特別公開，其中在任一組請求項(如方法請求項)中提到的任何功能也可以在另一組請求項(如系統請求項)中提出。申請專利範圍中的附屬項或引用記載僅出於形式原因而選擇。然而，任何因刻意引用之前的請求項(特別是多重附屬關係)而產生的標的也可以請求保護，以便本揭露內容公開的請求項及其特徵的任何組合都可以主張，而不需考慮所附屬請求項中選擇的依賴關係。可以主張的標的不僅包含請求項中規定的特徵組合，而且還包括申請專利範圍中任何其他特徵的組合，其中申請專利範圍提到的每個特徵都可以與任一請求項中任何其他特徵組合。此外，揭露內容描述或描繪的任何實施例和特徵可以在單獨的請求項中主張，和/或與揭露內容描述或描繪的任何其他實施例或特徵做任何組合。
以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。
以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者瞭解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。
[自動化高速X射線檢驗系統]
(X射線系統架構)
本發明所揭露的系統和方法是關於系統以及此系統的使用，涉及以X射線照射目標物來進行檢查或檢驗、將X射線轉換成可見光(或波長接近可見光)的光子、形成可見光(或波長接近可見光)的影像並接著將影像轉換成電子形式。首先，將介紹X射線成像系統的各種實施例，然後介紹利用X射線成像系統的方法和系統之各種實施例。
雖然使用本發明的設備可以對多種物體進行檢測，但特別適用於積體電路晶片和封裝元件的檢測，其中一個例子是有多個矽穿孔(TSV)的矽中介層電路板，但本發明也可以用來檢查積體電路(IC)本身、矽中介層電路板、二氧化矽中介層電路板、具有或不具有已安裝IC的印刷電路板、3D(三維)IC封裝結構或組件、2.5D IC封裝結構或組件、多晶片模組(MCM)、系統封裝(System-in-package，SIP)和其他包含微結構的微電子元件或其部分。基於計量、程序控制、檢驗或良率管理的目的，上述物品可作為進料、成品或在其製造的任何階段作為半完成品被檢查。
具有微米級或奈米級結構的非電子元件例如是磁性記錄介質、光子結構和光子晶體、超材料等，這類的電子元件也可以使用本發明的設備進行檢查和檢驗。電容式感測器，如指紋感測器，也可以被檢驗。這種設備特別吸引的特點是，其可以像傳統的計量和檢驗工具那樣對物體內部的特徵進行無破壞性、高解析度的觀察和測量，而這些特徵在其他情況下是無法用電子或光子觀察到的。
一般而言，適於與本發明一起使用的物體包括至少一平坦側，其例子包括：半導體晶片上的電子電路、晶片的部分或晶片上的選定區域；積體電路晶片、晶粒、組裝物、封裝或其部分；微流體裝置；微機電系統，包括加速度計、陀螺儀、磁性感測器及電容感測器等；光子裝置，特別是用平面波導製作的光子裝置；生物組織，包括染色樣本；用於印刷或製造任何上述裝置的模板或光罩；以及太陽能電池、其部件或與太陽能電池有關的部件。其他沒有平坦側的物體也可以使用本發明來觀察和檢驗，但是不規則尺寸的物體的成像品質可能不一致。
在特定實施例中，本發明揭露的X射線檢驗系統可以是高速X射線檢驗系統。於特定實施例中，高速X射線檢驗系統可以具有比傳統X射線系統更高的測量/檢驗速度(例如，比傳統X射線系統快100倍)。高速x射線檢驗系統在檢驗電子元件或裝置時所需要的圖像採集時間例如但不限於是約33毫秒。在特定實施例中，本發明中所描述的X射線檢驗系統可以是自動化X射線檢驗系統。在特定實施例中，自動化X射線檢驗系統可以包括一個或多個電腦指令或控制器，另外還包含儲存在一個或多個電腦媒介中的一個或多個指令。X射線自動檢驗系統的自動測量過程可以由電腦或控制器執行相應的指令來控制。自動化X射線檢驗系統的自動測量過程可不需要操作員的干預，並且可以按照特定的程式自動執行。
在特定實施例中，本發明所揭露的X射線檢驗系統可使用一個以上的人工智慧(AI)模組和/或機器學習模型。在特定實施例中，AI模組可以本身是或是包括由一個或多個計算系統執行的任何合適的方法、過程和/或演算法。在特定實施例中，機器學習模型可以本身是或是包括基於規則式(Rule-based)演算法、隨機森林模型、類神經網路或任何合適的機器學習模型，但本發明並不以此為限。在特定實施例中，本發明所揭露的X射線檢驗系統可以對由另一個系統(例如，鑽孔機、接合工具、組裝工具或任何合適工具)執行的一個或多個製程進行即時測量。在特定實施例中，術語「即時測量」可指由X射線檢驗系統在不降低相關製程進行的速度之情況下，與相關製程(例如鑽孔製程、組裝流程、接合製程或任何合適製程)並行進行的測量。X射線檢驗系統可以執行測量並以相較相關製程還要快或相當的速度向執行此相關製程的系統提供回饋。
在特定實施例中，本發明所揭露的X射線檢驗系統搭配一個或多個其他系統或工具(例如：鑽孔機、接合工具、組裝工具或任何合適的其他工具)進行現場(In-situ)測量和/或產線上(Inline)測量。在具體實施例中，術語「現場量測」可指由與其他系統整合的X射線檢驗系統進行的測量。例如，X射線檢驗系統可以整合到鑽孔機上進行現場測量，以監測鑽孔機的鑽孔製程。現場測量可由一個或多個計算系統自動控制，且計算系統與X射線檢驗系統和鑽孔機相協調。在特定實施例中，術語「產線上測量」可指X射線檢驗系統在同一製程(例如鑽孔製程、組裝流程、接合製程或任何合適製程)中由另一個系統(例如鑽孔機、組裝工具、接合工具或任何合適工具)進行的測量。一個示例是由組裝工具執行的組裝流程中，X射線系統可以在組裝流程的一個或多個步驟期間檢查組裝部件或裝置。部件或裝置可以從組裝工具自動地傳送(例如，透過機械手臂)到X射線檢驗系統，或者可以從組裝工具手動地傳送(例如，透過操作人員)到X射線檢驗系統。X射線檢驗系統可以自動向組裝工具或操作人員提供回饋資訊。
(X射線成像系統)
圖1A繪示根據本發明一實施例的自動化高速X射線檢驗系統。X射線檢驗系統1000A的X射線發射器101發出X射線111。然後，在某些實施例中，利用X射線發射器101與平板140之間的距離以及平板140的孔徑142，將這些X射線調變成準直X射線光束211。準直X射線光束211接著照射一個預備檢查的物件200。X射線通過物件200而照射包含閃爍器310的閃爍器組件300，以及在某些實施例中還照射用於支撐閃爍器的載台350。閃爍器310吸收一部分的X射線並伴隨著射出可見光光子411而釋放一些所吸收的能量。
藉由光學系統400在感光元件500上形成閃爍器射出的可見光光子的放大影像511。感光元件500將放大影像511轉換成電訊號。感光元件500可包含電子感光元件，例如電荷耦合器件(CCD)或其他本技術領域已知的感光元件。電訊號傳遞到電子裝置600的系統，其在某些實施例中可顯示影像結果，且在某些實施例中可儲存影像結果及/或結合電腦系統700對影像結果進行影像處理演算法。
對於任何發射電離輻射(如X射線)的來源，通常較佳做法是在X射線源100周圍提供遮罩998，並且在某些情況下進行合乎法規的操作。這樣的遮罩998可以是一個簡單外殼形狀的鉛金屬片，或是任意數量的X射線吸收材料製作出更複雜之設計，其中X射線吸收材料例如是本技術領域熟知的含鉛玻璃或塑膠。遮罩是為了避免隨機X射線(直接來自發射器101或從其他表面反射)引起不必要的影響，特別是各種電子元件中用來控制系統的寄生訊號。
同樣地，對於某些實施例，也可以在光束路徑周圍增加遮罩999，並且在某些情況下進行合乎法規的操作。額外的遮罩999可以是一個簡單外殼形狀的鉛金屬片，或是任意數量的X射線吸收材料製作出更複雜之設計，其中X射線吸收材料例如是本技術領域熟知的含鉛玻璃或塑膠。額外的遮罩999是為了避免隨機X射線(直接來自發射器101或從其他表面反射)引起不必要的影響，特別是各種電子元件中用來控制系統的寄生訊號。
由於某些感光元件500(例如包括CCD感測器的感光元件500)對X射線曝光特別敏感，在一些實施例中，閃爍器組件300的一部分可以全部或部分地使用諸如含鉛玻璃的材料製造，該材料在傳遞閃爍器所發出之可見光光子411的同時吸收X射線。如果需要另外與X射線隔離，在其他實施例中包含將影像感測器置於X射線束路徑之外的系統設計，這將在以下段落詳述。
圖1B繪示根據本發明一實施例的具有可移動X射線源的X射線檢驗系統，其中X射線源可相對檢驗樣本移動以在不同方向生成X射線影像。作為示例而非限制，X射線檢驗系統1000B可包括安裝件106，其可相對於物件200移動X射線源100的位置，從而改變X射線光束相對於物件的入射角。安裝件106可被設計成允許X射線源100在x-z平面、y-z平面或任何其它軸的組合中擺動。X射線源100也可以沿著z軸移動，使X射線源100更靠近物件200。這可能會使光束更亮而增加訊號強度，換來的不良效應是X射線光束的準直度和解析度降低。透過縮減X射線源的光斑尺寸，可以減少或消除前述的不良效應。
透過安裝件106移動X射線源100的行為可由電腦系統700以多種方式控制。在某些實施例中，安裝件106可以將X射線源100移動到固定位置以允許捕捉影像。在某些實施例中，當影像被收集時，安裝件106可連續移動X射線源100，以允許通過物件200的X射線強度的動態變化作為光照角度的函數記錄下來。在一些實施例中，X射線發射器101可以移動到偏離法線入射角至少10度的位置。在一些實施例中，可以透過使用安裝件106協調X射線源100的運動與使用安裝件250協調物件200的運動來進一步調整X射線光束211相對於物件200的入射角。這種協調可以手動完成，也可以使用電腦系統700完成。在某些實施例中，遮罩998被設計成包圍X射線源100和安裝件106。在其它實施例中，遮罩998可設計成僅包圍X射線源，且安裝件106設計成在移動X射線源100時一併移動遮罩998。在本發明的一些實施例中，可以使用多個X射線源來產生具有不同入射角的影像。X射線源可以位於空間中的固定位置，也可以是可移動的，並且可以按順序操作或同時操作。X射線源可以手動操作，或使用一個或多個電腦系統700控制這些X射線源。
在特定實施例中，本發明所描述的X射線成像系統可以是用於生成電子裝置的X射線影像的自動化高速高解析度X射線成像系統。在具體實施例中，自動化高速X射線檢驗系統可以包括對X射線輻射具有高靈敏度的X射線探測器、具有大動態範圍的大灰階等級(如灰階等級10,000以上)和用於生成高解析度影像的大量像素(如大於2900萬像素)。在特定實施例中，自動化高速X射線檢驗系統可具有低於2微米(µm)的空間解析度、12公釐(mm)×12公釐的視野以及每分鐘大於或等於300平方公釐(mm2 )的流通量或檢驗速度。在特定實施例中，自動化高速X射線檢驗系統可具有每分鐘大於或等於1000平方公釐的流通量或檢驗速度。在特定實施例中，自動化高速X射線檢驗系統可具有每分鐘大於或等於3000平方公釐的流通量或檢驗速度。關於X射線系統的更多細節可以參閱2017年3月27日提交的第15/470726號美國專利申請案，其內容合併在此作為參考。
[總覽]
(要解決的問題)
複雜的電子元件或裝置可被整合至大量(例如數百萬)的終端產品中，如汽車、智慧型手機、平板電腦、電腦、通訊裝置等。儘管這些元件在生產之後通過電性測試且在品質管制檢驗中被辨識為合格元件，但部分的這些元件可能在現場應用使用一段時間後以特定的方式失效。這些失效元件可能引起及大量產品的召回(例如因為電子元件的潛在問題召回汽車)，這是因為已經失效或失效機率高的元件可能有嚴重影響客戶安全性之疑慮。根據產品模型、產品批號或製造年份產品之召回可能涉及數量龐大的產品，這對製造商來說成本很高。
(解決方案總結)
在特定實施例中，自動化高速X射線檢驗系統可在電子元件的製造期間檢驗電子元件，或是在製造之後且在現場應用之前檢驗電子元件。系統可擷取被檢驗元件的X射線影像並且將這些X射線影像儲存在資料庫中一段很長的時間(例如汽車產品儲存20年)。當至少一元件在現場應用使用一段時間後失效，系統可決定(例如在失效分析過程期間)與失效元件之至少一失效模式有關聯的至少一指示性特徵。接著，系統可複查儲存在資料庫中之先前被檢驗之元件的X射線影像，以辨識出具有至少一指示性特徵或與失效元件類似的元件。系統可根據這些複查結果預測每個被複查元件的失效機率。系統可辨識出被預測具有高失效機率的元件子集，並根據所辨識出的元件子集生成召回建議。
(益處和優點)
藉由複查儲存在資料庫的X射線影像並辨識出與失效元件具有相同或類似之指示性特徵的元件子集，特定實施例的系統可允許製造商精確地辨識出需要召回的產品，從而顯著減少召回產品之數量和召回成本。藉由複查儲存在資料庫的X射線影像，系統可精確辨識出有問題的元件並預測其失效機率，從而大大提升終端產品使用者的安全性。此外，透過發送由複查結果決定的回饋資訊或前饋資訊，特定實施例的系統可允許根據從失效產品習得的知識最佳化製程的至少一步驟或製程的下游或上游步驟，以降低未來產品的失效機率。
[元件在現場應用之前的初始X射線檢驗]
(初始X射線檢驗過程)
在特定實施例中，自動化高速X射線檢驗系統可在電子元件(例如電子部件、模組、封裝等)製造之後且在現場應用(例如整合於汽車或電子裝置)之前檢驗這些電子元件，或是在製造期間且在現場應用之前檢驗這些電子元件。在初始X檢驗過程中，X射線檢驗系統可擷取被製造產品的X射線影像且將擷取之影像儲存於資料庫。系統可根據有限數量的X射線影像(例如俯視X射線影像或從多個角度擷取的數張X射線影像)辨識有缺陷之元件或低品質之元件。舉例來說，系統可根據電子封裝的至少一X射線影像決定電子封裝中的感興趣元件(例如焊球、焊料接觸點、焊料連接處、引腳、接合點等)的材料厚度。系統可根據由影像灰階值變化表示的X射線吸收變化來決定材料厚度。系統可利用電腦視覺和計算分析技術，並根據這些X射線影像決定被檢驗樣本的材料厚度分布(例如與感興趣元件有關聯的輪廓或形狀)和其他特徵(例如邊緣、形狀、梯度、趨勢、灰階值等)，以辨識出缺陷樣本。
(檢驗速度和解析度)
在特定實施例中，X射線系統可包括至少一個用於在X檢驗過程生成高解析度X射線影像的高解析度X射線檢測器。舉例來說，X射線檢測器可具有大量像素(例如，12百萬像素以上、29百萬像素以上)、對X射線輻射的高靈敏度以及具有大動態範圍的大灰度級(例如灰度級10,000以上)。在特定實施例中，系統可用至少30fps的幀率生成X射線影像。X射線影像可在等於或小於33毫秒的時間內生成。在特定實施例中，系統可測量空間解低度低於0.5微米(µm)的小尺寸特徵。在特定實施例中，可用至少12公釐×12公釐的視野擷取X射線影像。在特定實施例中，可以每分鐘不低於3000平方公釐的速度檢驗樣本。
(產線上、現場且即時的檢驗)
在特定實施例中，系統可利用利用電腦視覺演算法或/和機器學習模型自動分析擷取到的X射線影像、辨識缺陷樣本以及分類缺陷樣本至不同的種類。電腦視覺演算法和機器學習模型可分析X射線影像，且以匹配X射線影像擷取速度之速度即時提供計量資訊。如此一來，與傳統X射線系統相比，系統執行X射線檢驗的速度可以快很多倍(如100倍以上)。在特定實施例中，高速X射線檢驗能力可允許系統在製程中用於對電子部件進行產線上檢驗。系統可擷取被檢驗樣本的X射線影像、辨識缺陷樣本、評估合格樣本的品質水準，並向製程中使用的其他工具提供回饋或/和前饋資訊。在特定實施例中，X射線檢驗可在被檢驗樣本的製程中即時執行。在特定實施例中，X射線系統可被整合到製造工具(例如，組裝工具、接合工具、放置工具、熱壓接合工具、鑽孔機)以執行現場X射線檢驗。於本揭露中，所使用的術語「合格(Conforming)樣本」或「合格元件」，係指樣本或元件符合或順應(compliant)於產品規格需求，並且被辨識為合格的樣本或元件而能出貨給客戶並使用於現場應用。術語「不合格(N-conforming)樣本」或「不合格元件」，係指樣本或元件不符合或沒有順應於產品規格需求，並且被辨識為失格的樣本或元件而不可出貨給客戶也不可使用於現場應用。
在特定實施例中，X射線檢驗系統可在製造這些樣本的過程中對所有或部分的樣本進行產線上X射線檢驗。術語「產線上檢驗」或「產線上測量」可指X射線檢驗系統在由另一個系統(例如鑽孔機、組裝工具、接合工具或任何合適工具)執行的同一製程(例如鑽孔製程、組裝製程、接合製程或任何合適製程)中進行的檢驗或測量。以一個不限制本發明的例子而言，在用組裝工具進行之組裝過程中，X射線系統可在組裝過程的至少一步驟中檢驗組裝部件、元件或裝置。部件、元件或裝置可從組裝工具被自動傳送(例如透過機械手臂、傳送帶)到X射線檢驗系統，或者可以從組裝工具手動地傳送(例如透過人工操作者)到X射線檢驗系統。X射線檢驗系統可自動向組裝工具或是組裝工具的操作者發送回饋資訊。系統可在元件組裝好之後並在元件放入加熱腔室之前對元件進行檢驗。在由加熱腔室接合後，系統可再次檢驗這些元件組件。系統可辨識接合過程前後的對位變化。系統可測量被檢驗樣本中若干感興趣元件的對位和位置，並將測量結果發送給組裝工具、接合工具或這些工具的操作者。在特定實施例中，系統可警告操作者任何可能影響製造產品之品質的潛在問題。操作者可調整至少一參數(如加熱腔室之溫度、中間持續時間、位置參數、對位參數等)來改進製程，以製造出更高品質的產品。在特定實施例中，系統可自動向組裝工具發送回饋資訊(例如指令或資料)，以使組裝工具自動調整至少一函數或參數，而提昇製程的品質。在特定實施例中，組裝工具可以是接合工具，例如與放置工具相關聯的大量回焊(Mass reflow)裝置、熱壓接合工具等。
在特定實施例中，自動化高速X射線檢驗系統可在製程(例如鑽孔製程、組裝製程、接合製程等)的至少一步驟中對電子部件、元件或裝置執行即時檢驗或即時測量。術語「即時檢驗」或「即時測量」可指X射線系統以並行相關製程(例如鑽孔製程、組裝製程、接合製程或任何合適製程)的方式進行檢驗或測量，而不降低相關製程的速度。舉例來說，在組裝過程中，相對於組裝工具組裝電子部件、元件或裝置之組裝速度，系統可以用高於或等於此組裝速度之速度執行檢驗或測量。系統可擷取組裝部件的X射線影像、使用電腦視覺演算法或/和機器學習模型分析X射線影像、生成與被檢驗部件相關聯的計量資訊以及在組裝過程中即時地提供回饋資訊給組裝工具。
在特定實施例中，自動化高速X射線檢驗系統可對在製程的至少一步驟中使用的至少一其他系統或工具(例如鑽孔機、接合工具、組裝工具、放置工具、大量回焊裝置或任何合適的工具)執行現場檢驗或測量。術語「現場檢驗」或「現場測量」可指由X射線系統執行的檢驗或測量，其中X射線系統對執行製程之其他步驟的其他系統而言是局部的。在特定實施例中，X射線系統可與製程中使用的其他系統或工具(例如鑽孔機、接合工具、組裝工具、放置工具、大量回焊裝置或任何合適的工具或設備)整合在一起。以一個不限制本發明的例子來說，X射線系統可被整合到鑽孔機中進行現場檢驗或測量，以監控鑽孔機的鑽孔過程。現場測量可由至少一電腦系統自動控制，此電腦系統協調整合在一起的X射線檢驗系統和鑽孔機。
在另一個例子中，X射線檢驗系統可整合於接合工具並且執行現場檢驗或測量，以監控接合工具執行的接合製程。現場測量可由至少一電腦系統自動控制，此電腦系統協調整合在一起之X射線檢驗系統和接合工具。系統可連續對接合工具執行現場檢驗或測量，並且持續將檢驗或測量結果饋送至接合工具，以令接合工具調整至少一函數或製程參數(例如溫度、中間持續期間或任何合適的參數)。一旦經調整，接合工具生產出有缺陷部件或偏離規格要求的部件之機率就會降低。生產出來的產品在現場應用時會具有較高之產品品質、較低之缺陷率和較低之失效率。在特定實施例中，系統可被整合到任何合適類型的接合工具，例如利用加熱腔室接合組件的接合工具、利用壓力接合組件的接合工具、用於金屬對金屬接合的接合工具等。在特定實施例中，X射線檢驗系統可辨識出接合工具之加熱腔室中不均勻的溫度分布，並可將此資訊饋送至加熱腔室，以調整加熱腔室之運作參數而得到均勻的溫度分布。
在另一個例子中，系統可被整合到用於組裝電子部件的組裝工具上。組裝工具可包括放置工具和大量回焊裝置。系統可隨著時間的推移連續或週期性地對組裝工具處理的電子部件進行現場檢驗或測量(如測量錯位或錯置)。系統可隨著時間的推移追蹤錯位，並辨識出測量到的錯位有增加的趨勢。系統可根據辨識出的趨勢向組裝工具發送指令來調整相關參數。在組裝工具生產出缺陷部件之前，系統可辨識出至少一偏離參數(例如對準偏離、位置偏離、品質度量偏離)。系統可將測量結果或/和調整指令饋入組裝工具，使組裝工具調整至少一函數或製程參數(如對準、位置、放置地點或任何合適的參數)，以改進組裝過程。一旦經調整，組裝工具生產出缺陷或不可靠部件的機率就會降低。在現場應用時，按調整的製程參數由組裝工具組裝出來的電子部件可具有較好之品質、較低之缺陷率和較低之故障率。
(檢驗參數和缺陷類型)
在特定實施例中，X射線檢驗系統可在電子製程中用於產線上或/及現場檢驗被製造的電子部件或裝置。系統可擷取被檢驗樣本的X射線影像，並且根據擷取到的這些X射線影像生成與這些樣本有關的計量資訊。在特定實施例中，系統生成的計量資訊例如但不限於包含關於焊球或焊點形狀的資訊、關於焊球或焊點的至少一尺寸的資訊、關於至少一焊點缺陷的資訊、關於積體電路與中介層對準的資訊、關於翹曲缺陷的資訊、焊點均勻度度量、焊點外部尺寸、接合點直徑、接觸墊區域的暗度度量、接觸墊區域之暗覆蓋率的均勻度度量、相對接觸墊位置的連續訊號變化、連接焊球和焊料的亮訊號環(Brigtht signal ring)、在接觸墊區域上暗且均勻的小型覆蓋範圍以及與通常定義符合焊料接合點之參數的偏差等等。
在特定實施例中，自動化高速X射線檢驗系統可用於檢驗電子部件、元件、裝置、封裝或任何合適的感興趣樣本。在特定實施例中，X射線檢驗系統可檢驗各種感興趣樣本，例如但不限於是高密度晶片封裝、2.5D高密度晶片封裝、3D高密度晶片封裝、層疊封裝(PoP)、射頻封裝、系統級封裝(SIP)、扇出型晶圓級封裝等。在特定實施例中，X射線檢驗系統可檢驗感興趣樣本以檢測焊點缺陷，例如但不限於包含枕頭缺陷(Head-in-pillow defect)、雪人式缺陷(Snowman defect)、缺失焊料缺陷、低焊料體積缺陷、高焊料體積缺陷、焊料橋接缺陷、局部潤濕缺陷、錯位缺陷、微凸塊缺陷、焊球裂紋、焊球空孔或有缺陷的焊點之直徑。在特定實施例中，可根據X射線檢驗系統測量到的若干參數辨識焊料缺陷，例如但不限於包含焊點外部尺寸的均勻度度量、焊料接合點直徑、接觸墊區域的暗度度量、接觸墊區域之暗覆蓋率的均勻度度量、相對接觸墊位置的連續訊號變化、連接焊球和焊料的亮訊號環、在接觸墊區域上暗且均勻的小型覆蓋範圍、與通常定義良好焊料接合點之參數的偏差等。在特定實施例中，自動化高速X射線檢驗系統可進一步檢測球柵陣列(BGA)中的晶粒翹曲缺陷、未對準光纖、未對準光連接器、翹曲缺陷、缺陷間隙或缺陷接合線長度至少其中一者。
在特定實施例中，系統可根據擷取的X射線影像辨識與被檢驗樣本有關聯的至少一缺陷。這些缺陷可能無法被以可見光為基礎的檢驗方法檢測到。舉例來說，系統可檢驗倒裝晶片或球柵陣列封裝中的焊料接合點，但這些特徵可能被其他元件(例如其他層的元件)阻擋而不能透過以可見光為基礎的檢驗方法檢驗到。在特定實施例中，系統能辨識與被檢驗電子部件、元件、封裝或裝置相關聯的廣泛問題，例如但不限於包含晶粒崩缺或破裂、豎立或立碑元件、元件錯置、元件錯位、元件缺失、焊接潤濕狀態(例如過度潤濕或無潤濕)、焊接處橋接(例如短路)、焊料空孔、焊接點尺寸過大、焊接點尺寸不足、焊球缺失、額外焊料、焊球位置錯誤、表面安裝元件破裂、額外元件、雙重元件、轉動元件、晶粒歪斜、非潤濕銅連接、表面安裝元件的非潤濕焊接、表面安裝元件的的焊接不良、表面安裝元件短路連接、印刷電路板通孔空孔、嵌設元件、晶粒堆疊、晶粒黏接被覆性等。
在特定實施例中，在完成至少一精密結構之配置(例如多個積體電路或積體電路和中介層堆疊的2.5D或3D配置)的接合之前，X射線檢驗系統可審查所述至少一精密結構的配置，以確保元件已經被正確對準。在特定實施例中，X射線檢驗系統可作為接合系統的一個子系統，而不僅可審查與檢驗，還可對準並接合這些多晶片結構。舉例來說，X射線檢驗系統可用於在多個物件接合或連接之前對準這些物件。在特定實施例中，X射線檢驗系統可用於在晶片和中介層之間的對準製程，此對準製程是在個別元件接合或黏合之前。根據X射線檢驗系統生成的X射線影像可以調整對準製程和黏合製程，以提高這些連接的精確度和品質。在特定實施例中，在特定實施例中，X射線檢驗系統可用於在對準晶粒或中介層當中即時回饋對準工具。在特定實施例中，X射線檢驗系統可用於檢驗用於連接裝置或中介層之焊料的形狀和尺寸。這些檢驗可用來控制製程或篩選有缺陷的材料。接合後存在一些焊料圖案可用於檢測不適當的焊料接合點，包括焊料在兩個連接點之間不是連續的且因此不是有效導電體或有效導熱體的接合點。在特定實施例中，可使用多個焊料回焊製程來修復或改進不良焊料連接處，所述不良焊料連接處是根據X射線檢驗系統的檢驗結果而判定為不符合製造或產品規格。
(根據特徵空間分類缺陷)
在特定實施例中，系統可利用規則式演算法(例如利用參考模型)或/及機器學習模型辨識被檢驗樣本中的缺陷，並且將被檢驗樣本分類為不同種類。在特定實施例中，對於感興趣物件，系統可選擇至少一參考物件(例如同一條生產線、同一條檢驗線或同一批產品中的先前部件或周圍部件)，並根據參考物件的X射線影像生成參考模型。這些參考物件可具有與感興趣物件相同的類型，也可具有與感興趣物件相同的元件。系統可比較感興趣物件的X射線影像與參考模型。系統可標記感興趣物件X射線影像與參考模型之間的差異。系統可利用至少一缺陷模型決定感興趣物件是否與至少一缺陷有關聯；如果兩者之間有關聯，缺陷會被分類為對應的缺陷種類。缺陷模型可與數個特徵(例如，藉由對應參數和相關聯的閾值特徵化)有關聯，且這些特徵用以將對應的缺陷類型特徵化。由於參考物件的X射線影像與感興趣物件的X射線影像可具有相同或相似的背景雜訊圖案，系統可藉由比較感興趣物件的X射線影像與參考模型來消除或最小化背景雜訊圖案對於缺陷之辨識和分類方面的影響。系統可根據從特定角度擷取的單一X射線影像或從不同角度擷取的多張X射線影像辨識和分類感興趣物件中的缺陷。
在特定實施例中，系統可利用至少一機器學習模型分析X射線影像並分類被檢驗樣本。機器學習模型可以透過歷史資料(例如，與標籤樣本有關聯的特徵用於監督訓練、與未標籤樣本有關聯的特徵用於無監督訓練(Unsupervised training))進行訓練。一旦經過訓練，機器學習模型可根據從X射線影像中提取的特徵檢驗和分類新樣本。系統可首先從被檢驗樣本的X射線影像中提取出第一組特徵。接著，系統可利用第一機器學習模型(以未標籤樣本進行訓練)並根據第一組特徵將被檢驗樣本分類成內群樣本(Inliers，即合格樣本)以及離群樣本(Outliers，即不合格樣本)。內群樣本可為統計上與合格樣本相似的樣本。離群樣本可為統計上與合格樣本不同的樣本。在特定實施例中，系統可利用第一機器學習模型，並根據從被檢驗樣本X射線影像提取的第一組特徵和合格樣本的對應特徵之間的比較結果，將被檢驗樣本分類為內群樣本及離群樣本。在特定實施例中，系統可利用第二機器學習模型將離群樣本分類為偽陽性或不同缺陷類型。可透過不同缺陷類型的標籤樣本訓練第二機器學習模型，以使第二機器學習模型根據第二組特徵將離群樣本分類為若干子類(例如偽陽性、空孔缺陷、非潤濕缺陷、非接觸斷路缺陷、枕頭缺陷、橋接缺陷、錯位等)，其中根據被檢驗樣本的X射線影像決定所述第二組特徵。偽陽性和不同缺陷類型的分類可以根據從被檢驗樣本X射線影像提取的第二組特徵與偽陽性模型和不同缺陷模型各自特徵之間的比較結果。在特定實施例中，系統可利用至少一統計分析演算法(代替機器學習模型，或除了機器學習模型之外的額外演算法)將被檢驗樣本分類為內群樣本及離群樣本，並將離群樣本分類為偽陽性樣本和不同缺陷類型的樣本。在特定實施例中，第二組特徵可以是與第一組特徵不同的特徵。在特定實施例中，第二組特徵可以與第一組特徵共用一些特徵。
在特定實施例中，透過使用兩個機器學習模型進行內群/離群分類和子類分類，系統可允許這兩個模型中的每一個被再訓練和被更新，且不會對另一個模型的準確度和精確度產生負面影響。舉例來說，系統會定期從第二X射線工具(例如電腦斷層掃描系統)接收到不同缺陷類型的標籤樣本，使用新接收到的標籤樣本再次訓練第二機器學習模型以分類不同的缺陷類型，且不影響第一機器學習模型分類內群/離群樣本。另一個例子中，用於分類內群/離群樣本的第一機器學習模型可以在不影響第二機器學習模型的情況下，由新樣本(例如未標籤樣本)再次訓練。在特定實施例中，系統可使用電腦視覺演算法從X射線影像中提取被檢驗樣本的特徵，並將提取的特徵饋送到機器學習模型中，且機器學習模型基於相應訓練樣本的特徵進行訓練。在特定實施例中，系統可使用獨立的機器學習模型從X射線影像中提取被檢驗樣本的特徵，並將提取的特徵饋送給另一機器學習模型以辨識和分類樣本。在特定實施例中，系統可將被檢驗樣本的X射線影像直接饋送到相同的機器學習模型，機器學習模型可以從X射線影像中提取被檢驗樣品的特徵、辨識或/和分類與被檢驗樣本相關聯的缺陷。
在特定實施例中，系統提取的第一組特徵或/和第二組特徵例如但不限於包括至少一元件尺寸(例如直徑、長度、寬度、高度、厚度)、元件面積、材料分布、輪廓梯度、位置、與其他元件的距離、相對位置或與其他元件的堆疊次序(Stacking order)、橫跨不同方向生成的多張X射線影像之至少一變化(例如直徑變化、長度變化、寬度變化、高度變化、區域差異、形狀變化、位置變化、位移、對齊變化)、至少一特徵(例如相對振幅差異、變化趨勢)、X射線影像中灰階變化率、曲線的曲率、至少一邊緣的梯度、周圍區域的至少一特徵等。在特定實施例中，第一組特徵和第二組特徵可分別包括上述的一個或多個特徵的組合。在特定實施例中，第二組特徵可與第一組特徵不同或有部分不同。在特定實施例中，第二組特徵可以與第一組特徵相同。
圖2A繪示根據第一組特徵將被檢驗樣本分類為內群樣本和離群樣本的示意圖。在特定實施例的流程2000A中，系統可根據第一組的N個特徵決定N維特徵空間。系統可根據特徵化內群樣本的至少一標準在N維特徵空間中決定內群樣本的邊界條件210。舉例來說，內群樣本可根據特徵空間中的對應位置以及與參考點(例如中心點215)或/及邊界條件210的對應距離被特徵化。對於檢驗新樣本，系統可從被檢驗樣本的X射線影像提取對應特徵，將這些提取之特徵與內群樣本的對應特徵比較，並且將被檢驗樣本分類為內群樣本和離群樣本。以一個不限制本發明的例子說明，可藉由兩個特徵(例如特徵X和特徵Y)在特徵空間中特徵化邊界條件210。系統可決定被檢驗樣本在特徵空間中的位置以及被檢驗樣本至邊界條件210的距離，且系統還可分類被檢驗樣本。舉例來說，系統可決定被檢驗樣本219、212是離群樣本，因為它們在這個特徵空間中超出了邊界條件210。另一個例子中，系統可決定被檢驗樣本213、214是內群樣本，因為它們在邊界條件210之內。值得注意的是，圖2A所示的二維特徵空間僅為示例，而本發明並不以此為限；特徵空間可以是在第一組特徵的N個特徵上定義的N維空間。另值得注意的是，圖2A所示的邊界條件僅為示例，而本發明並不以此為限；邊界條件可以基於被檢驗樣本的單一特徵或任意數量特徵之組合。
圖2B繪示根據第二組特徵將被檢驗樣本分類為不同子類的示意圖。在特定實施例的流程2000B中，系統可根據第二組特徵在特徵空間中生成若干離群樣本模型，其中第二組特徵包含M個特徵。可利用表徵離群樣本相似性的至少一標準在特徵空間(例如基於第二組特徵之M個特徵的M維空間)中特徵化離群樣本模型。在特定實施例中，第二組特徵可與第一組特徵不同。在檢驗過程中，系統可從被檢驗樣本的X射線影像中提取相應的特徵，並將提取的特徵與特徵空間中的離群樣本模型進行比較，以將離群樣本分類為不同的子類。以一個不限制本發明的例子來說，如圖2所示，系統可在特徵空間中生成數個離群樣本模型。離群樣本模型例如但不限於包含偽陽性模型224、空孔缺陷模型225、非接觸斷路缺陷模型220、非潤濕缺陷模型229、枕頭缺陷模型226、橋接缺陷模型227、未知離群樣本模型228等。系統可決定離群樣本在特徵空間中的對應位置，並將離群樣本分類為不同的種類。舉例來說，離群樣本221可以被分類為未知離群，因為它雖是離群樣本但在第二組特徵的特徵空間中沒有落在任何子類中。再舉個例子，由於離群樣本222落在非接觸斷路缺陷220模型的邊界條件內，因此可以將其歸類為非接觸斷路缺陷。又再舉一個例子，由於離群樣本223落在偽陽性種類224的邊界條件內，因此可以將其歸類為偽陽性種類。值得注意的是，圖2B所示的離群樣本模型僅用於示例，而本發明並不以此為限。例如，模型可以基於由第二組特徵中任意數量的特徵所描述的特徵空間。
(分類演算法)
在特定實施例中，可利用至少一分類演算法分類被檢驗樣本，其中分類演算法例如但不限於包含規則式分類演算法、電腦視覺演算法、機器學習模型、統計分析的電腦演算法等。在特定實施例中，分類演算法(例如規則式分類演算法或機器學習模型)可被饋入被檢驗樣本的X射線影像已將這些樣本分類為不同種類。在特定實施例中，分類演算法(例如規則式分類演算法或機器學習模型)可被饋入從被檢驗樣本之X射線影像提取的特徵，以根據這些特徵將這些樣本分類為不同種類。在特定實施例中，可利用例如但不限於電腦視覺演算法(例如根據鄰近樣本生成之參考模型)、統計分析演算法、機器學習模型或任何合適的演算法從對應之X射線影像提取被檢驗樣本的第一組或/和第二組特徵。在特定實施例中，可透過與數個權重相關聯的對應機器學習模型將內群/離群樣本模型特徵化。在特定實施例中，內群/離群樣本模型可以是以特徵為基礎的樣本模型(例如與數個特徵、樣本參數和閾值相關聯的向量)。在特定實施例中，系統可根據來自電腦演算法、機器學習模型或/和人工操作者輸入所得到的新知識為具有未知缺陷的離群樣本生成新模型。在特定實施例中，新分類樣本可用於進一步更新現有樣本模型或/和訓練機器學習模型，以隨著時間的推移提高分類精確度和準確度。
(根據特徵空間的品質度量)
在特定實施例中，系統可利用品質度量(例如品質分數)表示被檢驗樣本的量化品質或健全等級。舉例來說，系統可根據樣本在特徵空間的對應位置以及樣本至特徵空間中之參考點(例如中心點或內群樣本的平均點)的距離決定每個被檢驗樣本的品質分數。系統可藉由比較品質分數與預定閾值來決定此樣本是順應樣本或是非順應樣本(Non-compliant sample)。對於順應樣本來說，系統可利用品質分數表示被檢驗樣本的量化品質等級。具有高品質分數的合格樣本可具有較其他一些品質分數較低的合格樣本還要高的品質等級(例如在特徵空間中較靠近參考點或平均點)。以一個不限制本發明的例子來說，如圖2A所示，系統可決定被檢驗樣本219、212、213和214各自相對於內群樣本模型之中心點215的距離D1、D2、D3、D4之數值。儘管樣本213和214都是合格樣本，系統仍可決定樣本213到平均中心點215的距離D3小於樣本214到平均中心點215的距離D4。系統可決定樣本213比樣本214有更好的品質。由於樣本214接近邊界條件210(例如在閾值範圍內)，儘管在檢驗當下它的功能完全，系統仍可決定樣本214長期來看可能相對具有低可靠性。
[儲存於資料庫的初始X射線影像]
在特定實施例中，X射線檢驗系統可將被檢驗樣本的初始檢驗資料(例如X射線影像、提取之特徵、品質度量等)儲存於資料庫。所述初始檢驗資料可按特定產業的規定儲存一段時間。例如，對於汽車工業，系統可儲存初始檢驗資料至少20年。初始檢驗資料可儲存在X射線系統的本地資料庫或儲存在以雲端為基礎的遠端伺服器計算系統中，且系統可基於複查之目的獲得初始檢驗資料。舉例來說，如本發明後續段落將揭露的內容所述，可根據從失效元件之失效分析學習到的資訊取回和重新分析儲存在資料庫的X射線影像，以精確辨識出可能與失效元件具有相同或類似問題的元件子集。
[退回產品的失效分析]
(故障元件的失效分析)
當一些產品在現場應用使用一段時間(例如數個月、數年)之後故障時，故障產品可能被退回製造商以進行失效分析。故障產品可以被拆解而將失效的元件或部件獨立出來。失效元件可被進一步分析(例如使用電性測試、人工檢驗、X射線檢驗、光學檢驗等)以辨識出有關聯的失效模式、根本原因以及與失效模式有關的指示性特徵，而所述失效模式、根本原因及指示性特徵因此能用以辨識具有類似問題的元件。舉例來說，故障之汽車部件可包含具有失效電連接的電子元件。在故障元件被整合於汽車部件並且用於現場應用之前，此故障元件可能通過以品質管制為目的所有測試和檢驗。失效元件可以是在現場應用中由於至少一未辨識的缺陷或/及因子(例如物理磨損、遭到損毀、變形、發熱等)而失效。在特定實施例中，可藉由電性測試工具、光學檢驗工具、X射線檢驗系統或人類專家測試或檢驗失效元件，以辨識與失效元件有關聯的至少一失效模式以及與關聯的失效模式有關並可指出此失效模式的至少一指示性特徵。在特定實施例中，可根據單一失效元件或是具有相同或類似失效模式的多個失效元件決定與失效模式有關並可指出此失效模式的指示性特徵。
(指示性特徵)
在特定實施例中，如先前段落揭露之內容所述，與失效元件有關聯的失效模式可與至少一缺陷類型有關聯。在特定實施例中，有關至少一失效模式的指示性特徵可相同或類似於在初始X射線檢驗中用來分類被檢驗樣本的至少一特徵，並且在初始X射線檢驗中分類被檢驗樣本是為了品質管制。舉例來說，指示性特徵可包含來自第一組特徵的至少一特徵，且所述至少一特徵用以將被檢驗樣本分類為合格樣本及不合格樣本。在另一個例子中，指示性特徵可包含來自第二組特徵的至少一特徵，且所述至少一特徵用以將被不合格樣本分類為不同的缺陷種類，如本發明先前段落揭露的內容所述。又在另一個例子中，指示性特徵可包含選自第一組特徵和第二組特徵的特徵之組合，且所述特徵之組合用以檢驗和分類樣本。在特定實施例中，與失效元件之至少一失效模式有關的指示性特徵可與某些因子有關聯，這些因子例如但不限於是失效元件之至少一次元件或子元件的至少一尺寸(如長度、寬度、高度、厚度)、至少一元件的至少一位置和相對位置(如對位)、元件形狀和尺寸、至少一關聯參數的至少一閾值等。在特定實施例中，失效元件之元件或次元件與指示性特徵有關聯，且例如但不限於包含導電線、焊球、引腳、印刷電路板層、導電通孔(PTV)、基板、次模組或晶片等。
以一個不限制本發明的例子來說，失效元件可具有與低品質焊料接合有關聯的失效電連接。在此元件被製造之後且在此元件使用於現場應用之前，低品質焊料接合可能通過品質管制測試或檢驗。低品質焊料接合可對應相關特徵空間中靠近合格元件之邊界條件(例如到邊界條件的閾值距離內)的位置。在這個例子中，低品質焊料接合在特徵空間中的對應位置可以作為此類低品質焊料接合的指示性特徵。以另一個不限制本發明的例子來說，失效元件可具有在現場應用期間被磨損會被損毀之失效電連接。失效電連接可與現場應用期間與其他部件頻繁物理接觸的特定位置有關聯。系統可將至少一參數(例如材料厚度、元件尺寸)和與失效電連接的特定位置相關之閾值決定為此類失效模式(物理接觸的磨損或損壞造成之失效)的指示性特徵。
以另一個不限制本發明的例子來說，失效元件可在兩個焊球之間具有短路的電性連接。這兩個焊球在相關元件使用於現場應用之前可已經通過品質管制的測試或檢驗，但可能具有小的距離(例如小於閾值距離)。在現場應用期間，元件之物理變形可能導致這兩個焊球彼此接觸而造成短路的電性連接。兩個焊球之間的距離以及相關之閾值可作為這類特定失效模式的指示性特徵。以另一個不限制本發明的例子來說，具有相同失效模式的數個失效元件於製程中可與相同或類似的製程參數(例如接合過程中加熱腔室的溫度範圍、元件放入加熱腔室之前的中間持續時間範圍)有關聯。這些製程參數和相關之閾值範圍可作為與這些失效元件相關的此類失效模式的指示性特徵。
(根據初始X射線影像決定指示性特徵)
在特定實施例中，為了決定失效元件之失效模式的指示性特徵，系統可在元件進行現場應用之前複查失效元件的初始X射線影像，其中初始X射線影像是在初始X射線檢驗時為了品質管控而擷取的(例如在此元件的製程期間或之後)。透過複查失效元件的初始X射線影像，系統可決定與失效元件之失效模式相關的至少一指示性特徵。在特定實施例中，系統可從資料庫獲取並取回失效元件的初始X射線影像，其中失效元件的初始X射線影像是於初始X射線檢驗時所生成(例如在元件製程期間或之後)。系統可從取回之X射線影像提取(例如使用機器學習模型或規則式演算法)一組特徵，並決定此組被提取特徵與失效元件之至少一失效模式之間的相關性。系統可將(例如使用機器學習模型或規則式演算法)與失效元件之失效模式有關的特徵辨識為指示性特徵。指示性特徵可用於辨識與相同或類似失效模式相關聯的其他元件。這些指示性特徵可包含在用於品質管控的初始X射線檢驗時被X射線檢驗演算法忽略的特徵。在特定實施例中，從在初始檢驗生成之初始X射線影像提取的指示性特徵可以是相對第一組特徵和第二組特徵不同的特徵，其中第一組特徵和第二組特徵用於在X射線檢驗過程中對被檢驗樣品進行分類以進行品質管制。在特定實施例中，指示性特徵可包含選自第一組特徵或第二組特徵的至少一特徵，或是選自第一組特徵和第二組特徵的特徵之組合。系統可利用指示性特徵辨識與失效元件相似的其他元件。這些相似的元件與失效元件可具有相同的問題並且可能以相同或類似的模式失效。在特定實施例中，系統可利用機器學習模型決定並選擇與失效元件之至少一失效模式有關的特徵之組合，並且利用選出的特徵作為指示性特徵來辨識具有相同或類似問題的元件。
(根據新X射線影像決定指示性特徵)
在特定實施例中，X射線檢驗系統可用於失效元件的失效分析。系統可在失效分析過程中擷取失效元件的新X射線影像。新擷取的X射線影像可反映出失效元件的失效狀態。新擷取的X射線影像可包含各個失效元件的俯視X射線影像或從不同角度擷取的數張X射線影像。系統可根據新擷取的X射線影像決定失效元件的至少一失效模式(例如斷開的焊料接合處、斷開的引腳)。系統可從新擷取的X射線影像決定(例如使用機器學習模型或規則式演算法)並提取一組特徵，並決定此組被提取之特徵與失效元件之至少一失效模式之間的相關性。與失效元件之失效模式有關的特徵可作為相關之失效模式的指示性特徵。這些指示性特徵可用於辨識具有或被預測為具有與失效元件相同或類似之失效模式的其他元件。在特定實施例中，指示性特徵可包含在用於品質管制之初始X射線檢驗時被X射線檢驗演算法忽略或X射線檢驗演算法不知道的至少一特徵。
(藉由其他檢驗系統或專家輸入決定指示性特徵)
在特定實施例中，X射線檢驗系統可根據從其他檢驗系統(例如光學檢驗系統、電性測試系統)接收到的資訊決定至少一指示性特徵，其中指示性特徵與失效元件之至少一失效模式有關而其他檢驗系統用於失效元件的失效分析。以一個不限制本發明的例子來說，另一個檢驗系統(例如光學檢驗系統、電性測試系統)可用於失效分析過程以辨識與失效元件關聯之至少一失效模式以及與這些失效模式有關之至少一指示性特徵。這些檢驗系統可發送包含指示性特徵和失效模式資訊的失效分析結果給X射線檢驗系統，其中X射線檢驗系統可根據接收到的失效模式和對應之指示性特徵檢驗之後的元件。在特定實施例中，人類專家會執行失效元件的失效分析，且X射線檢驗系統可從人類專家接收與失效元件之至少一失效模式有關的至少一指示性特徵。以一個不限制本發明的例子來說，專家可拆解失效元件並且人工檢驗失效元件(例如用肉眼觀察或使用至少一診斷工具)。專家可人工決定與失效元件關聯之至少一失效模式以及決定有關失效模式的至少一指示性特徵。接著，專家可將包含指示性特徵和失效模式資訊的失效分析結果輸入至X射線檢驗系統。X射線檢驗系統可從專家接收失效分析結果並根據這些失效模式和指示性特徵檢驗之後的元件。
(根據初始X射線影像與新X射線影像之間的差異決定指示性特徵)
在特定實施例中，X射線檢驗系統可分析：(1)失效元件的初始X射線影像，初始X射線影像是在失效元件現場應用之前所擷取；以及(2)失效元件的新X射線影像，新X射線影像是在失效分析期間(元件失效之後)所擷取。由於元件在使用一段時間後可能有如退化的一些變化，因此失效元件的新X射線影像可能會不同於失效元件的初始X射線影像(對應現場應用之前的狀態)。在特定實施例中，系統可根據對應相同元件的初始X射線影像與新X射線影像之間的差異及相似性決定與失效元件之至少一失效模式有關的至少一指示性特徵。以一個不限制本發明的例子來說，藉由在失效分析期間比較初始X射線影像和新X射線影像，系統可決定出與失效元件中的退化或磨損有關聯的至少一特徵。退化或磨損可以是導致元件失效的一種理由。系統可將已決定出的特徵作為用來檢驗具有相同或類似問題之其他元件的指示性特徵使用。以另一個不限制本發明的例子來說，系統可辨識失效元件中的退化或磨損，這種退化或磨損並非是導致元件失效的理由但可能是在元件現場應用較長時間後最終導致失效的理由。系統可根據已辨識之退化或磨損辨識至少一潛在失效模式，並且決定與潛在失效模式有關的至少一指示性特徵。
(根據退化元件決定指示性特徵)
在特定實施例中，系統可檢驗已經於現場應用一段時間而退化、磨損或損毀卻仍能正常運作(而不是失效)的至少一元件。這種退化或磨損目前還不會導致這些元件失效，但是如果這些元件在現場應用更長時間，則這種退化或磨損可能最終導致這些元件失效。系統可擷取這些元件的新X射線影像並且將新X射線影像與各自的初始X射線影像進行比較，其中初始X射線影像是在這些元件現場應用之前所擷取。系統可根據比較結果決定出元件或元件一部分中的退化或磨損，並且決定至少一潛在失效分析模式，此潛在失效分析模式被預測為會在將來發生。接著，系統可決定相關於或指出潛在失效分析模式的指示性特徵，並且利用這些指示性特徵檢驗其他元件，進而辨識出可能具有這些潛在問題的元件。
[調整X射線檢驗演算法以提升缺陷檢測靈敏度]
(調整X射線檢驗演算法的架構)
圖3繪示根據從失效元件之失效分析習得的知識調整X射線檢驗演算法的方塊架構圖。在特定實施例的架構3000中，X射線系統可根據從失效元件之失效分析過程習得的知識調整或修改X射線檢驗演算法302，其中X射線檢驗演算法302可用於特定之製程301。被調整或修改的檢驗演算法例如但不限於包含規則式分類演算法、用於分類被檢驗元件的機器學習模型、用於從X射線影像提取特徵的機器學習模型、用於統計分析的電腦演算法、用於提取特徵的電腦視覺演算法等。系統可於失效分析過程305中分析從現場應用304退回的失效元件306。系統可決定失效元件的失效模式以及與失效模式有關並能表示這些失效模式的指示性特徵。系統可決定調整X射線檢驗演算法所需要的資訊307進而根據資訊307調整或修改X射線檢驗演算法302。接著，系統可利用調整過的X射線檢驗演算法複查儲存於資料庫303的初始X射線影像。系統可辨識召回元件子集308，其包含先前檢驗元件中的不合格元件。
(根據指示性特徵調整/添加規則)
在特定實施例中，X射線檢驗系統可利用從失效元件之失效分析習得的知識調整用於分類被檢驗元件的分類演算法。在特定實施例中，系統可使用規則式演算法將被檢驗元件分類為合格元件以及不同缺陷種類的不合格元件。規則式演算法可根據數個預定規則分類被檢驗元件。在失效元件之失效分析過程中，系統可根據失效元件的初始X射線影像、失效元件的新X射線影像、從其他檢驗系統或專家接收到的分析結果等決定與失效元件之至少一失效模式有關的至少一指示性特徵。在特定實施例中，系統可根據與失效模式有關的指示性特徵調整規則式分類演算法中已存在的至少一規則。在特定實施例中，系統可根據指示性特徵生成至少一新規則用於分類被檢驗元件，並且將此新規則添加到規則式演算法中。含有調整過之規則或新添加之規則的規則式分類演算法可根據從失效元件之失效分析學習到的新知識(例如有關失效模式的指示性特徵)分類被檢驗元件。含有調整過之規則或新添加之規則的規則式分類演算法可將與至少一指示性特徵有關聯的元件分類為不合格元件。在特定實施例中，系統可根據與失效元件的新習得之失效模式有關的指示性特徵創建新的缺陷種類或新的高風險種類，並且當被檢驗元件具有至少一相關特徵或特性時將此被檢驗元件分類為這些新種類。在特定實施例中，系統可進一步根據從失效分析過程學習到的新知識(例如指示性特徵和失效模式)預測不合格元件的失效機率與失效模式。在特定實施例中，系統可生成新演算法(例如更新過的分類演算法或全新的分類演算法)以分類被檢驗元件，其中新演算法是根據從失效元件之失效分析過程學習到的指示性特徵和失效模式所創建出來的。
(再次訓練機器學習模型)
在特定實施例中，系統可利用機器學習模型將被檢驗元件分類為合格元件和不同缺陷種類的不合格元件。機器學習模型可直接根據相應X射線影像，或是根據另一個機器學習模型或電腦視覺演算法提取的數個特徵，來分類被檢驗元件。在特定實施例中，系統可利用從失效元件的失效分析學習到的新知識再次訓練機器學習模型或根據所述新知識分類被檢驗元件之獨立機器學習模型。以一個不限制本發明的例子來說，系統可利用機器學習模型並根據相應X射線影像直接分類被檢驗元件。機器學習模型可被饋入被檢驗元件的X射線影像，並可輸出相應的種類(如合格元件、不同缺陷類型的不合格元件)以檢驗元件。在這種情況下，系統可直接利用大量失效元件的X射線影像對機器學習模型進行再次訓練。機器學習模型可在再次訓練過程中調整其權重值。一旦經過再次訓練，機器學習模型之後可將與失效元件類似(例如具有相同或類似的指示性特徵)的元件分類為不合格元件。
以另一個不限制本發明的例子來說，系統可利用第一機器學習模型(或電腦視覺演算法)從被檢驗元件的X射線影像提取數個特徵。接著，系統可將提取之特徵饋送給第二機器學習模型以根據這些特徵分類被檢驗樣本。在失效元件之失效分析過程中，系統可根據失效元件的初始X射線影像、失效元件的新X射線影像、從其他檢驗系統或專家接收到的分析結果等決定與失效元件之至少一失效模式有關的至少一指示性特徵。系統可利用相應之X射線影像再次訓練第一機器學習模型或調整電腦視覺演算法，以允許第一機器學習模型或電腦視覺演算法從被檢驗元件的X射線影像提取指示性特徵。接著，系統可根據這些指示性特徵(及數個其他特徵)再次訓練第二機器學習模型。第二機器學習模型一旦經過再次訓練就可將具有這些指示性特徵的被檢驗元件分類為不合格元件。
[產品複查以及失效預測]
(複查先前檢驗之元件)
在特定實施例中，在失效元件的失效分析過程中，系統可從資料庫獲取第一組X射線影像，並利用第一組X射線影像學習關於失效元件的新知識(例如失效元件的失效模式和與失效模式有關的指示性特徵)，其中第一組X射線影像被標記為與失效元件有關聯。接著，系統可根據新知識調整至少一分類演算法，並利用調整過的分類演算法對之後的元件進行分類或對先前檢驗之元件進行重新分類。在特定實施例中，在根據從失效元件之失效分析習得的新知識調整分類演算法之後，系統可獲取儲存於資料庫之數個元件的第二組X射線影像，分析這些X射線影像以及利用調整過的分類演算法分類對應元件。儲存於資料庫的X射線影像可包含初始X射線檢驗過程期間為了品質管制目的所擷取的X射線影像。可在製程期間進行對應元件的初始X射線檢驗，或是在製程之後且在現場應用之前進行對應元件的初始X射線檢驗。儲存於資料庫的X射線影像可反映出元件於現場應用失效之前的初始狀態。第二組X射線影像可對應於在初始X射線檢驗期間(分類演算法調整之前)被分類為合格元件的先前檢驗之元件。
在特定實施例中，在複查期間，系統可重新分析儲存於資料庫的X射線影像並利用經調整的分類演算法重新分類先前檢驗之元件。以一個不限制本發明的例子來說，系統可利用經調整的規則式分類演算法並根據與失效元件之失效模式有關的指示性特徵重新分類對應之元件。系統可將與至少一指示性特徵有關聯的元件分類為不合格元件。系統可從先前檢驗之元件中辨識出包含新的被辨識為不合格之元件(如由指示性特徵指出的)之元件子集，並且根據被辨識出的元件子集生成召回建議。以另一個不限制本發明的例子來說，系統可利用重新訓練過的機器學習模型分析儲存於資料庫的X射線影像，並重新分類相應的先前檢驗之元件。重新訓練過的機器學習模型可將與失效元件類似的元件(例如具有與失效元件之失效模式有關且相同或類似的指示性特徵)分類成不合格元件。系統可辨識出包含所有新辨識之不合格元件的元件子集，並且根據辨識出的元件子集生成召回建議。辨識出的元件子集中包含的元件數量可小於先前檢驗之元件之整個群體所包含的元件數量。以另一個不限制本發明的例子來說，系統可利用第一重新訓練機器學習模型從被檢驗元件的X射線影像提取特徵。提取的特徵可包含與失效元件之失效模式有關的指示性特徵。系統可利用第二重新訓練機器學習模型並根據這些提取的特徵分類被檢驗元件。第二重新訓練機器學習模型可將具有至少一指示性特徵的被檢驗元件分類為不合格元件。系統可辨識出包含所有新辨識之不合格元件的元件子集，並且根據辨識出的元件子集生成召回建議。辨識出的元件子集所包含的元件數量可小於先前檢驗之元件之整個群體所包含的元件數量，因此顯著地減少召回成本。
(根據特徵空間決定元件相似性)
在特定實施例中，系統可分析被檢驗樣本的X射線影像以辨識出與失效元件類似的元件，並且根據此元件與失效元件之間所決定出的相似性預測辨識出的元件的失效機率。以一個不限制本發明的例子來說，系統可辨識出具有至少一特徵(例如用來分類元件之第一和第二組特徵中的至少一特徵、至少一新特徵)的可疑元件，其中所述至少一特徵與指示性特徵相似(但可不完全相同)，且所述指示性特徵與失效元件的失效模式有關。系統可將這些特徵與指示性特徵進行比較，並且對各個可疑元件決定出量化的相似性度量以量化可疑元件與失效元件之間的相似程度。當相似性度量超過預定相似性閾值時，系統可將相應的可疑元件辨識為需要被修理或更換(即使它們直到複查的時候都功能完善)之不合格元件。系統可根據對應X射線影像從數個先前檢驗之元件中辨識出這些不合格元件，其中這些先前檢驗之元件在初始X射線檢驗過程中被標記為合格元件。
在特定實施例中，有N個特徵定義出N維空間(參見圖2A、2B)，並且系統可根據N維空間中的對應位置分析被檢驗樣本的X射線影像以辨識出與失效元件類似的元件。接著，系統可根據此元件與失效元件之間決定出的相似性對各個被辨識元件預測失效機率。以一個不限制本發明的例子來說，系統可決定被檢驗元件和失效元件在N維特徵空間中的相應位置。對於每個被檢驗元件來說，系統可決定被檢驗元件在特徵空間中相對於至少一失效元件的距離。接著，對於每個被檢驗元件來說，系統可根據在N維特徵空間中到至少一失效元件的距離決定經量化的相似性度量，以量化被檢驗元件與失效元件之間的相似性。元件在特徵空間中相對於失效元件的距離較短可對應到較高的相似性等級。系統可將相似性度量與預定閾值進行比較。當相似性度量超過預定相似性閾值時，系統可將相應元件辨識為需要被修理或更換(即使它們在複查的時候功能完善)之不合格元件。接著，根據與這些元件有關聯之相似性度量以及相應的失效元件，系統可對各個被辨識為不合格元件預測失效機率、將來的失效時間點以及潛在失效模式。對於相關的元件來說，與失效元件之間有較高的相似性等級可對應到具有較高的失效機率。
在特定實施例中，系統可決定包含N個相似性度量的相似性度量向量。以一個不限制本發明的例子來說，系統可決定出第一特徵向量以及第二特徵向量，其中第一特徵向量包含x個與失效元件有關聯之特徵，且第二特徵向量包含y個與被複查之先前檢驗的元件有關聯之特徵。接著，系統可根據第一特徵向量和第二特徵向量計算包含數個相似性度量的相似性向量。在特定實施例中，可根據第一特徵向量中的特徵與第二特徵向量中的對應特徵之間的相似程度來決定度量向量的各個相似性度量。在特定實施例中，可根據第一特徵向量與第二特徵向量之間的關聯性測量決定相似性度量向量。在特定實施例中，系統可根據相似性度量向量計算整體的相似性分數。整體的相似性分數可指出第一特徵向量與第二特徵向量之間的整體關聯性，這樣的整體關聯性進一步指出先前檢驗之元件與失效元件之間的整體相似性。系統可將整體的相似性分數與預定閾值進行比較，以決定相關的先前檢驗之元件是否足夠相似於失效元件而能被分類為不合格元件。當整體的相似性分數大於或等於預定閾值時，系統可調整分類演算法以將先前檢驗元件拒絕為不合格元件。
(根據製程參數空間的元件相似性)
在特定實施例中，系統可決定失效元件透過一製程製造，所述製程具有特定製程參數之組合，且所述特定製程參數之組合與製程中使用的至少一製造工具有關聯。製造部分的元件之所使用的製程參數與製造失效元件所使用的製程參數處於相同的範圍內，且系統可將這些元件辨識為與失效元件類似的元件。以一個不限制本發明的例子來說，積體電路封裝可於接合製程中在加熱腔室內進行處理，且此加熱腔室具有特定之溫度。加熱腔室的溫度可能會影響製造出來的積體電路封裝的品質。系統可決定失效元件是使用具有特定溫度範圍之加熱腔室所製造的。系統可將以相同溫度範圍製造出的這些元件辨識為不合格元件。如同根據相關於失效元件之失效資訊所決定，系統可預測這些不合格元件與失效元件具有相同的失效模式且可能在將來具有較高的失效機率(例如高於可接受的機率閾值)。
以一個不限制本發明的例子來說，於接合製程期間，積體電路封裝在放入加熱腔室之前可保持在加熱腔室外一段期間。中間持續期間可能會影響製造出來之積體電路封裝的品質。系統可決定失效元件與製程中的特定中間持續期間有關聯。系統可將與相同中間持續期間有關聯的元件辨識為相似於失效元件的元件。系統可將與相同中間持續期間有關聯的這些元件辨識為不合格元件。如同根據相關失效元件之失效資訊所決定，系統可預測這些不合格元件可與失效元件具有相同或類似的失效模式且可能在將來具有較高失效機率(例如高於可接受的機率閾值)。
在特定實施例中，可使用由具有數個製程參數的至少一製造工具於製程期間製造被檢驗元件。在特定實施例中，系統可分析被檢驗元件的X射線影像，以根據由M個製程參數定義的M維製程參數空間辨識出相同或相似於失效元件的元件。在特定實施例中，系統可決定被檢驗元件與失效元件在由M個製程參數定義的M維製程參數空間中的相應位置。系統可決定各個被檢驗元件於M維製程參數空間中到至少一失效元件的距離。接著，系統可根據被檢驗元件在M維製程參數空間中到至少一失效元件的距離，來對各個被檢驗元件決定量化的相似性度量，以量化被檢驗元件與失效元件之間的類似程度。系統可將相似性度量與預定閾值進行比較。當相似性度量超過預定相似性閾值時，系統可將相應元件辨識為需要被修理或更換(即使它們在複查的時候功能完善)之不合格元件。接著，根據這些元件與失效元件之間的相關相似性度量，系統可對各個辨識出的不合格元件預測失效機率、將來的失效時間點以及潛在失效模式。對於相關的元件來說，與失效元件之間有較高的相似性等級可對應到具有較高的失效機率。
(利用經調整的檢驗演算法檢驗新元件)
在特定實施例中，系統可利用經調整的檢驗演算法(例如規則式分類演算法、用來分類被檢驗元件的機器學習模型、用來從X射線影像提取特徵的機器學習模型、用於統計分析的電腦演算法、用來提取特徵的電腦視覺演算法)檢驗製程中製造出的新元件，以拒絕與失效元件相似(例如具有至少一指示性特徵)的元件。可利用經調整的檢驗演算法在品質管制檢驗期間檢驗新元件，其中所述品質管制檢驗進行在製程之後或在製程期間。在特定實施例中，系統可利用經調整的檢驗演算法檢驗從現場應用退回的已使用元件。已使用元件可包含失效元件或是仍功能完善的元件。系統可使用經調整之檢驗演算法辨識出包含失效元件以被預測會會失效的元件之元件子集。
(預測失效機率和失效模式)
在特定實施例中，系統可根據複查結果對各個先前檢驗之元件決定失效機率。可根據先前檢驗之元件與失效元件之間的相似性(例如量化的相似性度量)決定先前檢驗之元件的失效機率。系統可將預測出的先前檢驗元件之失效機率與預定閾值進行比較。當失效機率超出預定閾值時，系統可將相應元件辨識為需要被修理或更換(即使它們在複查的時候功能完善)的有問題元件。透過複查儲存在資料庫的X射線影像，特定實施例的系統可精確地辨識出可能需要需要被修理或更換的產品。如此一來，製造業者能夠召回或修理少量產品(例如只召回數百個被辨識為具有這些問題的產品，而非召回數百萬個同類產品)，同時還能維持相同的安全等級。
在特定實施例中，系統可對被辨識為有問題的元件(例如有較高的失效機率)預測至少一失效模式。以一個不限制本發明的例子來說，有問題的元件可被辨識為類似於(例如相似性度量高於預定閾值)具有特定失效模式之失效元件。系統可預測有問題的元件如果於現場應用較長一段時間則可能會以此特定失效模式失效。在特定實施例中，系統可根據相對於失效元件之相似性度量以及至少一品質度量預測有問題元件的失效時間點，其中所述至少一品質度量以及相似性度量與有問題元件相關聯。以一個不限制本發明的例子來說，根據失效元件的使用壽命，系統可預測有問題的元件如果能於現場應用被持續使用，則它將會在一年內失效。
[用於製程控制的回饋和前饋資訊]
(決定製程中的根本原因)
在特定實施例中，系統可決定出製程中導致缺陷或功能不完全的相應根本原因，這樣的缺陷或功能不全會導致失效元件失效。在特定實施例中，根本原因例如但不限於與製造工具的偏離參數、錯位、鑽孔機對電鍍通孔過度鑽孔或鑽孔深度不足、加熱腔室溫度超出範圍、放入加熱腔室前的中間持續期間超出範圍等。以一個不限制本發明的例子來說，系統可決定出失效元件中導致這些元件於現場應用失效的缺陷或功能不完全。系統可辨識出導致現場應用缺陷或功能不完全的至少一偏離製程參數。偏離製程參數可與用於製程中的至少一製造工具相關聯，其中所述至少一製造工具例如但不限於包含接合工具、加熱腔室、組裝工具、鑽孔機、熱壓接合工具等。在特定實施例中，可根據失效元件的至少一失效模式決定偏離製程參數，且漂移製程參數可與至少一元件參數有關，其中所述至少一元件參數例如但不限於包含個別焊接點位準的焊接點形狀、直徑、Z軸厚度、焊接點尺寸、焊球之間的距離等。系統可根據決定出的根本原因生成回饋或/及前饋資訊並發送回饋或/及前饋資訊給有關聯的製造工具，以調整製程中的相應製程參數。舉例來說，系統可發送回饋資訊給組裝工具，以調整偏離參數並避免此參數在組裝過程中偏離。
在特定實施例中，失效元件中的問題(例如缺陷、導致失效的功能錯誤或不完全)可源自於製程中偏離規格要求的數個參數之交互作用。辨識出的缺陷與造成此缺陷的製造工具參數之間可能沒有明顯的相關性。傳統檢驗技術可能無法決定是哪些變數導致缺陷。在特定實施例中，系統可利用透過歷史資料訓練的機器學習模型辨識出不合格元件之缺陷的根本原因，其中所述不合格元件是在複查過程期間被辨識出來。系統可利用在特定製程條件下製造或處理的樣本群體訓練機器學習模型。在訓練過程期間，機器學習模型可調整權重以特徵化由訓練用樣本群體定義之合格元件的邊界條件。一旦經過訓練，機器學習模型可對被檢驗元件的參數以及製程中的參數改變有高靈敏度。在複查期間，系統可利用經訓練的機器學習模型辨識出製程工具及製程的參數改變和偏離。機器學習模型可決定出有關於製程工具及製程之相應根本原因參數。接著，系統可發送指令或資料給相關聯的製造工具以使製程停止，並調整這些製造工具的相應參數。在特定實施例中，系統可發送指令或資料給製造工具，以在不停止製程之情況下自動調整製造工具的相應參數。
(生成回饋/前饋資訊)
在特定實施例中，系統可決定回饋或/及前饋資訊以調整製程或檢驗過程的至少一步驟。在特定實施例中，可例如但不限於根據失效元件的失效模式、與失效模式有關的指示性特徵、失效元件中之缺陷的根本原因或製造工具或檢驗工具的狀態來決定回饋或/及前饋資訊。在特定實施例中，回饋或/及前饋資訊可包含能讓相應工具調整至少一參數的指令或資料，且所述至少一參數是有關於造成失效元件之缺陷的根本原因。具有經調整之參數的製造工具可有較低機率生產出有相同或類似問題的新元件。具有經調整之參數的檢驗工具能夠辨識出類似失效元件之元件(例如具有相同或類似的指示性特徵)。在特定實施例中，系統可讓至少一額外檢驗步驟加入檢驗過程中。額外檢驗步驟能夠檢測到與失效元件有相同或類似問題的元件。在特定實施例中，系統可讓至少一額外製造步驟加入製程中。額外製造步驟可消除或修正被製造元件中的缺陷。在特定實施例中，X射線檢驗系統可包含至少一計算處理器，其中至少一計算處理器可在X射線機器內或在X射線機器的遠端，且處理提供給這些工具的回饋或/及前饋資訊。在特定實施例中，提供的回饋或/及前饋資訊可利用任何通訊方法進行通訊傳輸，所述通訊方法例如但不限於是區域網路(有線網路或無線網路)、電信網路或中介(Intermediary)電腦等。
(回饋和前饋流程)
圖4繪示根據來自X射線檢驗的回饋和前饋資訊調整製程參數的方塊架構圖。在特定實施例的架構4000中，第一工具410可用於在電子元件的製程期間處理這些電子元件。在特定實施例中，第一工具410例如但不限於是組裝工具、接合工具、放置工具、鑽孔機、熱壓接合工具等。第一工具410可用於在製程之至少一步驟中處理元件412。在特定實施例中，X射線檢驗系統420可檢驗由第一工具410產線上或/及現場處理的元件412。X射線檢驗系統420可以擷取元件412的X射線影像，使用經調整的檢驗演算法(例如電腦視覺演算法或/和機器學習模型)來分析擷取的X射線影像，並生成有關被檢驗之元件412的計量資訊。當X射線檢驗系統420在元件412中檢測到至少一缺陷，或決定元件412的至少一樣本參數偏離規格(如超出預定閾值範圍)時，X射線檢驗系統420可向第一工具410發送回饋資訊414以根據計量資訊對與第一工具410和製程有關聯的至少一製程參數進行調整。在特定實施例中，當第一工具410處理元件412時，X射線檢驗系統420可執行X射線檢驗並將回饋資訊414即時發送到第一工具410。第一工具410在接收到回饋資訊414之後，可調整與製程相關聯的至少一製程參數。具有調整過之參數的第一工具410有較低的機率生產出有缺陷的元件(例如具有與失效元件之失效模式相關的指示性特徵的元件、參數在規格要求定義的預定範圍之外的元件)。
在特定實施例中，X射線檢驗系統420可讓第一工具410利用檢驗和測量結果自動調整製程參數，而不會讓第一工具410停止處理樣本。在特定實施例中，X射線檢驗系統420可讓第一工具410停止生產程序並對至少一製程參數做出必要的改變，以將製程恢復至所需的品質等級。在特定實施例中，X射線檢驗系統420可對第一工具410執行現場測量並提供現場回饋給第一工具410，以調整與製程相關的至少一參數。在特定實施例中，X射線檢驗系統420可在製程中執行產線上檢驗和測量，並提供回饋資訊給第一工具410或第一工具410的操作者，以調整製程參數。藉由利用現場或/及產線上檢驗和回饋，特定實施例的系統可使製程調整會影響產品品質的至少一製程參數，進而減少在製造期間產生的缺陷部件之數量。在特定實施例中，系統可將產品部件的品質控制在更狹窄的規格範圍內，從而降低產品的缺陷率，例如降低至缺陷率僅有十億分之一。
在特定實施例中，X射線檢驗系統420可提供前饋資訊417給第二工具430，其中第二工具430將會在製程的一個或多個後續步驟中處理這些元件。在特定實施例中，第二工具430例如但不限於是組裝工具、接合工具、放置工具、鑽孔機、熱壓接合工具等。在特定實施例中，X射線檢驗系統420可現場或/及產線上檢驗將要在製程後續步驟被第二工具430處理的元件412。X射線檢驗系統420可擷取元件412的X射線影像，利用經調整的檢驗演算法(例如電腦視覺演算法或/及機器學習模型)分析擷取的X射線影像，並且生成關於被檢驗之元件412的計量資訊。當X射線檢驗系統420檢測到元件412的至少一缺陷，或決定元件412的至少一參數已經偏離規格一閾值差異(例如在預定閾值範圍之外)，X射線檢驗系統420可發送前饋資訊417給第二工具430，以使第二工具430根據計量資訊調整與第二工具430和製程相關聯的至少一參數。第二工具430在接收到前饋資訊417之後可調整與製程相關的至少一製程參數。在特定實施例中，第二工具430經過參數調整後可在製程後續步驟中處理後續樣本，並且具有較低的機率生產出有缺陷元件(例如具有與失效元件之失效模式有關的指示性特徵的元件、參數偏離規格要求的元件)。在特定實施例中，於第二工具430在製程後續步驟中處理元件412的同時，X射線檢驗系統420可執行X射線檢驗並即時發送前饋資訊417給第二工具430。
(回饋示例：調整接合製程參數)
在特定實施例中，系統可根據由M個製程參數定義的M維製程參數空間並利用X射線檢驗演算法分類被檢驗元件，其中所述X射線檢驗演算法根據從失效元件習得的新知識調整過，且所述製程參數與這些被檢驗元件的製程有關聯。每個元件種類可對應一個具有特定製程參數的製程(例如，在將樣本放入加熱腔室之前的中間持續期間和接合過程中加熱腔室的溫度)。以一個不限制本發明的例子來說，被檢驗樣本可以是使用接合工具製造或組裝的電子元件或裝置。組裝及對位後的電子產品可放置在加熱腔室內以進行接合。組裝後的元件可放置在不同的多個腔室。電子元件可對接合過程中的溫度範圍有要求，例如在接合過程中需要腔體溫度在400±50度範圍內才能得到合格的接合結果，並且需要在組裝後1小時內放入腔室內。溫度和中間持續期間的變化可能導致產品品質變化(即使溫度和中間持續期間的變化在要求範圍內並且產品通過了電性測試)。在特定實施例中，系統可利用根據新知識(從失效元件學習到)調整過的X射線檢驗演算法來評估被檢測元件的品質，並提供用於調整製程之至少一參數的資訊。
圖5繪示根據製程參數空間將被檢驗樣本分類為不同種類的示意圖。特定實施例的流程5000中，可藉由數個樣本種類的訓練樣本來訓練X射線檢驗演算法，其中各個樣本種類對應製程中不同組的參數值。以一個不限制本發明的例子來說，機器學習模型可被饋入具有已知製程參數之若干訓練樣本的X射線影像。例如，A批量551的樣本可包含在組裝超過1小時(例如2小時)後放入加熱腔室的樣本，且在接合製程中具有450度的標準腔室溫度。B批量552的樣本可包含採用參考製程(Process of reference，POR)之參數製造的樣本，其中所述參考製程在接合過程中之腔室溫度為400度，且在樣本放入加熱腔內之前的中間持續時間為1小時。C批量553的樣本可包含特定的樣本，這種樣本在接合過程中具有較高的腔室溫度(例如所需溫度範圍的上限最高為450度)且在被放入加熱腔室內之前的中間持續時間為1小時。這些樣本(例如A、B、C批量)的製程參數可以是已知的且針對相應的X射線影像被予以標記。系統可從相應之X射線影像中提取(例如利用機器學型模型或電腦視覺演算法)訓練樣本的一組特徵，並且在訓練過程中將提取的特徵饋入到機器學型模型。一旦經過訓練，系統可利用機器學習模型將被檢驗樣本分類為不同之樣本種類，且各個樣本種類對應於一批樣本(對應製程參數的特定組合)。
在特定實施例中，一旦經過訓練，機器學習模型可用於根據相應的X射線影像分類新樣本(例如樣本561、562、563、564)。機器學習模型可從新的樣本(例如樣本561、562、563、564)之X射線影像提取一組特徵，並將這些特徵與每個種類中的已知樣本的特徵進行比較，以分類這些新的樣本。舉例來說，機器學習模型可將樣本561、564的特徵與這三批樣本的特徵進行比較，並決定樣本561、564對每個種類之對應可能性百分比。當樣本561、564滿足B批量的邊界標準(例如可能性百分比在對應的閾值之上)時，機器學習模型可將樣本561、564分類為B批量552的樣本種類。在另一個例子中，機器學習模型可將樣本562、563的特徵分別與C批量553及A批量551的樣本之特徵進行比較，並且決定個別的可能性百分比。機器學習模型可決定樣本562、563分別滿足C批量、A批量之樣本種類的邊界標準(例如個別的可能性百分比在對應閾值之上)。機器學習模型可將樣本562、563分別分類為C批量553和A批量551的樣本種類。
在特定實施例中，機器學習模型可根據與對應樣本種類相關聯的製程決定被檢驗樣本的失效機率。舉例來說，對於被分類為B批量552之樣本種類的樣本561、564而言，系統可決定樣本561、564的製程與參考製程具有相同或相似的參數(例如接合製程採用400度的溫度，及放入加熱腔室之前有1小時的中間持續期間)。機器學習模型可根據藉由參考製程製造之樣本的失效率或缺陷率(例如百萬分之一)決定樣本561、564的失效機率。在另一個例子中，系統可決定樣本562、563的製程與C批量和A批量之製程具有相同或相似的參數。機器學習模型可根據C批量和A批量之樣本的失效率或缺陷率(例如萬分之一)決定樣本562、563的失效機率。由於A、B、C批量的所有樣本(或相似的樣本)可通過電性測試且為功能健全，因此這些樣本可能被包括在終端產品中。特定實施例的系統可預測失效的可能性、使用壽命以及終端產品包含之這些樣本可能的失效模式。
在特定實施例中，系統可根據樣本分類結果決定被檢驗樣本的製程參數。舉例來說，根據被檢驗樣本被分類為B批量552之樣本種類的決定結果，系統可辨識出被檢驗樣本564是參考製程生產的。另一個例子中，根據被檢驗樣本被分類為A批量551之樣本種類的決定結果，系統可辨識出被檢驗樣本563是由中間持續期間較長的製程生產的。又另一個例子中，根據被檢驗樣本562被分類為C批量553之樣本種類的決定結果，系統可辨識出被檢驗樣本562是由腔室溫度較高的製程生產的。系統可將樣本562、563的製程辨識為有問題的(即使它們的製程參數在要求範圍內)，這是因為樣本562、563有較高的缺陷率和失效率。系統可將這些測量結果作為封閉迴圈回饋資訊饋入到製程中，並使至少一製程參數(如中間持續期間、腔室溫度)被調整為能讓未來生產的產品具有更高的品質、更低的缺陷率和更低的失效率。
在特定實施例中，系統可根據失效元件的失效分析結果讓製程參數被調整。系統可利用機器學習模型從相關聯的X射線影像提取與失效元件有關聯的至少一特徵。系統可利用機器學習模型並根據提取的至少一徵將失效元件分類為至少一樣本種類。每個樣本種類可對應具有數個製程參數的製程(例如將被檢驗樣本放入加熱腔室之前的持續期間和加熱腔室在製程中的溫度)。機器學習模型可根據已知種類的先前檢驗樣本進行訓練。系統可利用機器學習模型來決定失效元件與樣本種類之數個先前檢驗樣本之間的量化相似性度量。系統可利用機器學習模型並根據量化相似性度量來預測先前檢驗元件的失效機率。失效機率可以根據與失效元件相關聯的缺陷率或失效率來決定。在特定實施例中，系統可決定數個未被X射線檢驗系統檢驗到之樣本的缺陷率或失效率。這些未被檢驗之樣本與被檢驗樣本可使用相同的製程和製程參數進行生產。
在特定實施例中，系統可發送回饋資訊給接合工具，並讓接合工件調整至少一製程參數(例如被檢驗樣本放入加熱腔室之前的持續期間以及加熱腔室在製程中的溫度)。在特定實施例中，發送至製程的另一工具之回饋(或前饋)資訊例如但不限於包含調整特定參數的指令、被檢驗樣本中的已辨識缺陷、根據X射線影像決定的計量資訊、失效元件的至少一特徵、至少一樣本參數的偏離或趨勢等。舉例來說，系統可將回饋資訊發送到接合工具，使接合工具調整被檢驗樣本放入加熱腔室之前的持續期間以及加熱腔室在製程中的溫度。在特定實施例中，系統可將回饋資訊發送到接合工具的操作員，以透過操作員調整接合工具的至少一製程參數。在特定實施例中，系統可使製造過程停止，並使接合工具自動調整其參數。在特定實施例中，系統可發送指令給接合工具而使接合工具能調整至少一製程參數，且不讓接合工具停止處理後續樣本。
[調整X射線檢驗演算法以減少偽陽性]
(偽陽性及過度拒絕(Over rejection))
在特定實施例中，X射線檢驗系統可利用檢驗演算法(例如機器學習模型、電腦視覺演算法或任何適當的分類演算法)將被檢驗樣本分類為合格樣本和不合格樣本。在一些情況下，X射線檢驗演算法可能不正確地將不合格樣本分類為合格樣本(例如檢測某些缺陷失敗)。這種情況下，如前面段落揭露的內容所述，可根據新資訊(例如從現場應用退回的失效元件)調整X射線檢驗演算法，以提高檢測缺陷的靈敏度。在一些情況下，X射線檢驗系統可能不正確地將合格樣本分類為不合格樣本(例如偽陽性)並且具有一定程度的過度拒絕率。如以下段落揭露的內容所述，可根據新資訊(例如電性測試合格的樣本、經由電性測試被修正成偽陽性之樣本等)調整X射線檢驗演算法以降低過度拒絕率(例如減少假陽性樣本)。
(初始X射線檢驗)
在特定實施例中，X射線檢驗系統可在製程期間或之後檢驗數個被製造的樣本。在初始X射線檢驗過程中，X射線檢驗可能不正確地將一些合格樣本分類並標記為不合格樣本(即偽陽性樣本)。X射線檢驗系統可於資料庫儲存有X射線檢驗資料(例如初始X射線影像或其他相關資料)。這些偽陽性樣本可在後續分析過程被分析(例如利用電性測試分析)，且被正確地辨識及重新標記為合格樣本。系統可從資料庫中獲取這些樣本的初始X射線影像，並利用獲取的X射線影像調整X射線檢驗演算法，以降低過度拒絕率(即減少之後的偽陽性樣本的數量)。在特定實施例中，X射線檢驗系統可在製程期間或製程之後檢驗數個被製造的樣本。在檢驗期間，X射線檢驗可將一些合格樣本正確地分類並標記為合格樣本。X射線檢驗系統可將X射線檢驗資料(例如初始X射線影像或其他相關資料)儲存於資料庫。這些合格樣本可在後續的分析過程中被分析(例如使用電性測試)，並根據電性測試結果確認為合格樣本。系統可從資料庫中獲取這些樣本的初始X射線影像，並利用獲取到的X射線影像調整X射線檢驗演算法，以降低過度拒絕率(即減少偽陽性樣本)。
(訓練樣本以調整X射線檢驗演算法)
在特定實施例中，X射線檢驗系統可獲取至少一第一樣本的第一組X射線影像，且所述第一樣本被標記為合格樣本。在特定實施例中，第一樣本可以是透過電性測試結果確認的合格樣本，或是原本被不正確地標記為不合格樣本但根據電性測試(或任何適當測試)結果被重新標記為合格樣本的偽陽性樣本。在特定實施例中，可藉由X射線檢驗系統在初始X射線檢驗過程中擷取所述至少一第一樣本的第一組X射線影像，且所述初始X射線檢驗過程是在至少一第一樣本的製程期間或之後且在至少一第一樣本被重新標記為合格樣本之前。在特定實施例中，在獲取第一組X射線影像之前，系統可用X射線檢驗系統檢驗所述至少一第一樣本。系統可指出所述至少一第一樣本為不合格樣本。系統可在後續分析過程(例如電性測試或任何適當測試)中將所述至少一第一樣本辨識為合格樣本。系統可響應在後續分析過程中將至少一第一樣本辨識為合格樣本的結果而將至少一第一樣本的第一組X射線影像標記為合格。系統可根據第一組X射線影像調整分類演算法。經調整的分類演算法可用於根據相應之X射線影像的分析將後續樣本分類為合格或不合格的種類，並且可具有較低的過度拒絕率(例如有較低機率產生偽陽性樣本)
(指示性特徵)
在特定實施例中，系統可根據第一組X射線影像決定與被標記為合格之至少一第一樣本有關聯的至少一指示性特徵。在特定實施例中，於至少一第一樣本已被標記為合格之後的後續分析過程中，系統可擷取至少一第一樣本的第三組X射線影像。系統可將所述至少一第一樣本的第三組X射線影像與所述至少一第一樣本的第一組X射線影像進行比較。可根據第三組X射線影像和第一組X射線影像的比較結果決定至少一指示性特徵。在特定實施例中，所述至少一指示性特徵可根據第一組X射線影像和從另一個檢驗系統接收到的資訊來決定，其中所述另一個檢驗系統使用於將至少一第一樣本標記為合格樣本的後續分析過程中。
(調整X射線檢驗演算法)
在特定實施例中，分類演算法可為機器學習模型，並且根據第一組X射線影像調整分類演算法的流程可包含：根據被標記為合格之至少一第一樣本的第一組X射線影像或是根據與至少一第一樣本有關聯的至少一指示性特徵再次訓練機器學習模型。在特定實施例中，分類演算法可為規則式分類演算法，並且根據第一組X射線影像調整分類演算法的流程可包含：根據至少一指示性特徵或是將至少一新規則添加到規則式分類演算法中來調整規則式分類演算法中已存在的至少一規則。可根據至少一指示性特徵生成至少一新規則。在特定實施例中，一旦經過調整，X射線檢驗演算法或樣本分類演算法可有較低之機率將合格樣本錯誤地分類為不合格樣本。
(利用經調整的演演算法複查資料庫中的X射線影像)
在特定實施例中，系統可利用經調整的分類演演算法分析多個第二樣本的第二組X射線影像。在特定實施例中，第二樣本可包含先前經過檢驗並已經在分類演算法被調整之前的先前分析期間(例如初始X射線檢驗過程)被分類演算法分類為不合格的樣本。在特定實施例中，系統可從第二組X射線影像辨識出至少一個第二樣本。各個被辨識出的第二樣本可被經調整的分類演算法分類為合格樣本。在特定實施例中，系統可擷取至少一第三樣本的第三組X射線影像。系統可利用經調整的分類演算法來分析第三組X射線影像。系統可利用經調整的分類演算法將至少一第三樣本分類為合格種類或不合格種類。經調整的演算法可比調整前的分類演算法有更低的過度拒絕率(即偽陽性結果更少)。在特定實施例中，系統可生成召回建議，此召回建議排除已被經調整的分類演算法辨識且分類為合格樣本的至少一第二樣本。
在特定實施例中，系統可決定各個第二樣本相對於被標記為合格的至少一第一樣本的相似性度量。系統可將第二樣本的相似性度量與預定閾值進行比較。可根據與至少一第二樣本有關聯之相似性度量小於預定閾值的決定結果來辨識出至少一第二樣本。在特定實施例中，可根據從第二樣本到被標記為合格之至少一第一樣本的對應距離來決定與各個第二樣本有關聯的相似性度量。所述對應距離可位在由與第二樣本相關聯之N個特徵定義的N維特徵空間內，或是位在由與第二樣本的製程相關聯之M個製程參數定義的M維製程參數空間內。在特定實施例中，系統可決定各個被辨識之第二樣本的失效機率低於預定的閾值機率。可根據相關聯的相似性度量和與被標記為合格之至少一第一樣本有關聯的資訊來決定此機率。
(決定用於可靠性測試的代表樣本)
在特定實施例中，系統可檢驗數個所選元件，其中所選元件用於在可靠性測試中作為元件群體的代表元件。系統可分析所選元件的X射線影像以及元件群體的X射線影像，以決定所選元件是否能夠代表元件群體。以一個不限制本發明的例子來說，系統可決定所選元件和元件群體在N個特徵定義的N維特徵空間中的位置，或是在M個製程參數定義的M維製程參數空間中的位置。系統可根據所選元件在N維特徵空間或M維製程參數空間中相對於元件群體的位置分布來決定所選元件與元件群體之間的相關性。當所選元件的位置相對均勻地分布在對應元件群體的點雲(Point cloud)內時，系統可決定所選元件能代表元件群體。當所選元件的位置不均勻地分布在對應元件群體的點雲內(例如所選元件集中在點雲的一個角落)，系統可決定所選元件無法代表元件群體。當所選元件被決定為無法代表元件群體時，系統可辨識並推薦用於可靠性測試的一些元件。可根據所推薦的元件在N維特徵空間或M維製程參數空間中相對於元件群體的位置分布辨識出所推薦的元件，並且所推薦的元件能代表元件群體。
(示例性方法)
圖6繪示為了召回而複查先前被檢驗元件的X射線影像以辨識不合格樣本的示例性方法。特定實施例的方法6000可始於步驟610。於步驟610，系統可獲取被標記為不合格之至少一不合格樣本的第一組X射線影像。於步驟620中，系統可根據第一組X射線影像調整分類演算法。分類演算法可根據對應之X射線影像的分析將樣本分類為合格種類或不合格種類。於步驟630中，系統可利用經調整的分類演算法分析數個先前檢驗樣本的第二組X射線影像。在調整分類演算法之前的分析過程中，先前檢驗樣本可已經被分類演算法分類為合格樣本。於步驟640中，系統可從第二組X射線影像中辨識出至少一個第二樣本。各個被辨識出的第二樣本可透過經調整的分類演算法被分類為不合格樣本。
在特定實施例中，於獲取第一組X射線影像之前，X射線檢驗系統可檢驗所述至少一第一樣本。系統可指出所述至少一第一樣本為合格樣本。在檢驗第一樣本之後以及在獲取第一組X射線影像之前的後續失效分析過程中，系統可將第一樣本辨識為不合格樣本。系統可響應在後續分析過程中將至少一第一樣本辨識為不合格樣本的結果而將至少一第一樣本的第一組X射線影像標記為不合格。以一個不限制本發明的例子來說，在至少一第一樣本製造出來後並且在出貨或用於現場應用之前的初始檢驗過程期間，系統可藉由生成和分析第一組X射線影像來檢驗第一樣本。X射線檢驗系統可指出第一樣本是合格的(根據當前的分類演算法)。系統可進一步將至少一第一樣本的第一組X射線影像標記為合格的，並將第一組X射線影像儲存於資料庫。在這之後，第一樣本可出貨給客戶並使用於現場應用。在現場應用一段時間後，至少一第一樣本可能在現場應用中失效，並可從現場應用中被退回而用於後續的失效分析。在後續的失效分析期間，系統可以將至少一第一樣本辨識為不合格的，並且將至少一第一樣本的第一組X射線影像標記為不合格的。以另一個不限制本發明的例子來說，在現場應用一段時間之後或是沒有現場應用但存放一段時間之後，至少一第一樣本可能會被退回用於後續的失效分析(或品質分析)。在為了進行複查而獲取第一組X射線影像之前的後續失效分析中，系統可將至少一第一樣本辨識為不合格樣本。響應於在後續失效分析期間將第一樣本辨識為不合格樣本之結果，系統可將至少一第一樣本和第一樣本之第一組X射線影像標記為不合格的。
在特定實施例中，系統可根據第一組X射線影像決定至少一指示性特徵，其中所述至少一指示性特徵與至少一失效模式相關，且所述至少一失效模式與至少一不合格樣本有關聯。至少一不合格樣本可在這些不合格樣本的失效分析過程期間被標記為不合格的。不合格樣本可以是從現場應用被退回的失效樣本。在特定實施例中，分類演算法可以是機器學習模型。根據第一組X射線影像調整分類演算法的流程可包含：根據被標記為不合格之至少一不合格樣本的第一組X射線影像，或是根據與至少一不合格樣本之至少一失效模式有關聯的至少一指示性特徵再次訓練機器學習模型。在特定實施例中，分類演算法可以是規則式分類演算法。根據第一組X射線影像調整分類演算法的流程可包含：根據至少一指示性特徵或是將至少一新規則添加到規則式分類演算法中而調整規則式分類演算法中已存在的至少一規則。可根據與不合格樣本之至少一失效模式有關聯的至少一指示性特徵生成至少一新規則。此處，標記為合格或標記為不合格可分別指對合格或不合格(或是，無缺陷或有缺陷)的樣本或元件做出任何指示。被標記為不合格的樣本參考可指以任何適當方式被指定或被辨識為不合格樣本之樣本。類似地，被標記為合格的樣本參考可指以任何適當方式被指定或被辨識為合格樣本之樣本。
在特定實施例中，可藉由X射線檢驗系統在初始X射線檢驗期間擷取被標記為不合格之至少一不合格元件的第一組X射線影像，其中初始X射線檢驗是在不合格元件製造期間或之後且在不合格元件被標記為不合格之前。在特定實施例中，在不合格元件已經被標記為不合格之後，系統可在失效分析過程中擷取不合格元件的新X射線影像。可根據不合格元件的新X射線影像決定至少一失效模式。系統可將不合格元件的第三組X射線影像與不合格元件的第一組X射線影像進行比較。可根據第三組X射線影像與第一組X射線影像之間的比較結果決定失效模式。在特定實施例中，可根據第一組X射線影像以及另一個檢驗系統接收到的資訊決定失效模式，其中所述另一個檢驗系統使用於被標記為不合格之不合格元件的失效分析過程。
在特定實施例中，系統可對各個先前檢驗樣本決定相對於被標記為不合格之至少一不合格樣本的相似性度量。系統可將各個先前檢驗樣本的相似性度量與預定閾值進行比較。可根據與先前檢驗樣本有關聯之相似性度量小於預定閾值的比較結果辨識出先前檢驗樣本。
在特定實施例中，根據從各個先前檢驗本到被標記為不合格之不合格樣本的對應距離決定與各個先前檢驗本相關聯的相似性度量。所述對應距離可位於N維空間內或是M維製程參數空間內，其中N維空間由與先前檢驗樣本相關聯的N個特徵所定義，且M維製程參數空間由與先前檢驗樣本之製程相關聯的M個製程參數所定義。在特定實施例中，根據相關聯之相似性度量以及與被標記為不合格之不合格樣本相關聯的資訊，系統可預測被辨識之各個先前檢驗樣本的失效機率或是之後的失效時間點。根據與各個先前檢驗樣本相關聯的關聯相似性度量以及與被標記為不合格的不合格樣本相關聯的失效模式，系統可預測被辨識之各個先前檢驗樣本的可能失效模式。在特定實施例中，系統可擷取至少一新樣本的新X射線影像。系統可利用經調整的分類演算法分析新X射線影像，並利用經調整的分類演算法將新樣本分類為合格種類或不合格種類。
在特定實施例中，系統可發送回饋資訊給用於新樣本之製程中的製造工具。可根據與被標記為不合格之不合格樣本有關聯的資訊生成回饋資訊。系統可使製造工具根據回饋資訊調整至少一製程參數。製程參數被調整的製造工具有較低之機率生產出不合格樣本。在特定實施例中，系統可發送前饋資訊給用於新樣本之製程下游步驟的製造工具。可根據與被標記為不合格之不合格樣本有關聯的資訊生成前饋資訊。系統可使製造工具根據前饋資訊調整至少一製程參數。製程參數被調整的製造工具有較低之機率生產出不合格樣本。
在特定實施例中，系統可發送前饋資訊給用於新樣本之製程下游步驟的檢驗工具。可根據與被標記為不合格之不合格樣本有關聯的資訊生成前饋資訊。系統可使檢驗工具根據前饋資訊調整至少一製程參數。製程參數被調整的檢驗工具可將與至少一指示性特徵有關聯的新樣本視為不合格而予以拒絕，其中指示性特徵與不合格樣本的至少一失效模式相關。在特定實施例中，系統可使檢驗工具執行額外檢驗步驟。額外檢驗步驟可辨識出與新樣本有關聯的至少一指示性特徵。在特定實施例中，系統可根據已辨識的先前檢驗樣本生成召回建議，其中已辨識的先前檢驗樣本所包含之樣本數量可少於現場應用中的樣本群體。在特定實施例中，系統可擷取多個所選樣本的第三組X射線影像，且所選樣本被選出而用於樣本群體的可靠性測試。系統可根據第三組X射線影像以及N維特徵空間決定所選樣本與樣本群體之間的相關性度量，且N維特徵空間由與樣本群體有關聯的N個特徵所定義。系統可根據相關性度量決定所選樣本是否能夠代表樣本群體(即對樣本群體而言具有代表性)。
在特定實施例中，X射線檢驗系統可獲取至少一第一樣本的第一組X射線影像，其中第一樣本被標記為合格的。系統可根據第一組X射線影像調整分類演算法，其中分類演算法根據對應X射線影像的分析將樣本分類為合格種類或不合格種類。系統可利用經調整的分類演算法分析多個第二樣本的第二組X射線影像。這些第二樣本為多個先前檢驗樣本，且這些先前檢驗樣本已經在先前分析中被調整前的分類演算法分類為不合格種類。系統可從第二組X射線影像辨識出至少一個第二樣本。被辨識出來的各個第二樣本可被經調整的分類演算法分類為合格種類。
在特定實施例中，在獲取第一組X射線影像之前，系統可用X射線檢驗系統檢驗第一樣本，其中X射線檢驗系統指出第一樣本屬於不合格種類。在檢驗第一樣本之後，系統可於後續分析過程中將第一樣本辨識為合格種類。系統可響應在後續分析過程中將至少一第一樣本辨識為合格樣本的結果而將至少一第一樣本的第一組X射線影像標記為合格。在特定實施例中，系統可根據第一組X射線影像決定與被標記為合格之第一樣本有關聯的至少一指示性特徵。在特定實施例中，分類演算法可為機器學習模型，並且根據第一組X射線影像調整分類演算法的流程可包含：根據被標記為合格之第一樣本的第一組X射線影像或是根據與第一樣本有關聯的指示性特徵再次訓練機器學習模型。在特定實施例中，分類演算法可為規則式分類演算法。根據第一組X射線影像調整分類演算法的流程可包含：根據指示性特徵或是將至少一新規則添加到規則式分類演算法中來調整規則式分類演算法中已存在的至少一規則。可根據至少一指示性特徵生成新規則。在特定實施例中，可透過X射線檢驗系統於初始X射線檢驗過程期間擷取被標記為合格之第一樣本的第一組X射線影像，其中初始X射線檢驗過程是在第一樣本的製程期間或是之後且在第一樣本被標記為合格之前。
在特定實施例中，於第一樣本已經被標記為合格之後，系統可在後續分析期間擷取第一樣本的第三組X射線影像。系統可將第一樣本的第三組X射線影像與第一樣本的第一組X射線影像進行比較，其中指示性特徵是根據第三組X射線影像與第一組X射線影像之間的比較結果所決定。在特定實施例中，可根據第一X射線影像以及從另一個檢驗系統接收到的資訊決定指示性特徵，且所述另一個檢驗系統使用於將第一樣本標記為合格的後續分析過程中。在特定實施例中，系統可對各個第二樣本決定相對於被標記為合格之第一樣本的相似性度量。系統可將各個第二樣本的相似性度量與預定閾值進行比較。可根據與第二樣本有關聯之相似性度量小於預定閾值的比較結果辨識出至少一第二樣本。在特定實施例中，可根據從各個第二樣本到被標記為合格之第一樣本的對應距離決定與各個第二樣本相關聯的相似性度量。所述對應距離可位於N維空間內或是M維製程參數空間內，其中N維空間由與第二樣本相關聯的N個特徵所定義，且M維製程參數空間由與第二樣本之製程相關聯的M個製程參數所定義。在特定實施例中，系統可決定各個被辨識之第二樣本的失效機率低於預定的閾值機率。可根據關聯相似性度量和與被標記為合格之第一樣本有關聯的資訊來決定失效機率。在特定實施例中，系統可擷取至少一第三樣本的第三組X射線影像。系統可利用經調整的分類演算法分析第三組X射線影像。系統可利用經調整的分類演算法將第三樣本分類為合格種類或不合格種類。
儘管本發明揭露之內容描述並說明圖6中的方法之特定步驟以特定順序發生，仍能考量圖6中的方法之任何適當步驟以任何適當的順序發生。此外，雖然本發明揭露之內容描述並說明一種包含圖6中特定步驟的示例性方法，這方法涉及複查先前檢驗樣本的X射線影像以辨識出不合格樣本並將其召回，但仍能考量包含任何適當步驟的適當方法以複查先前檢驗樣本的X射線影像來辨識出不合格樣本並召回，且此適當方法的步驟可包含全部、一部分或不包含圖6中的步驟。另外，雖然本發明揭露之內容描述並說明特定元件、裝置或系統執行圖6中的特定步驟，仍考量任何適當元件、裝置或系統的任何適當組合執行圖6中的任何適當步驟。
[優點：檢驗速度]
本發明的一個明顯優點是可以使用擴增的X射線源，從而增加了用於成像的X射線的可用流通量，這又進一步增加了系統可能的流通量。換句話說，在可移植像素圖格式(PPM)系統獲取單張檢驗影像的時間內，本發明可以獲得超過30萬張相同解析度的影像。
考慮以下與PPM X射線系統的比較，獲得影像的時間取決於X射線的通量：Tacquire = (P# x XP )/Φ，其中P# 是像素數量，XP 是每個像素的x射線數，以及Φ是X射線的通量。來自一點光源的X射線的通量為：通量 = Φ = β x Ω x SA ，其中β是點光源的亮度，Ω是角分布(單位為毫弧度平方，mrad2 )，SA 是點光源面積(SA =πr2 )。X射線系統點光源的光斑尺寸通常使用ASTM標準SE-1165定義(“Standard Test Method for Measurement of Focal Spots of Industrial X-ray Tubes by Pinhole Imaging,” ASTM Committee E-7 on Nondestructive Testing, May 15, 1992)。
一種典型的X射線源亮度β滿足以下條件：β = 108 X射線/秒/平方公釐/毫弧度平方。為了避免自動檢驗中產生視差誤差，PPM X射線系統需以良好的方式實現準直，典型是20毫弧度的發散程度。對於一個點光源滿足下列條件：Ω = (20 mrad)2 = 400 mrad2 ，以及光源光斑直徑d滿足下列條件：d = 2r = 1 µm = 10-3 mm，可以由下列計算得到通量Φ：Φ = β x Ω x SA = 108 x 400 x π x [0.5 x 10-3 ]2 X射線/秒 = 400 x π x 0.25 x 108 x [10-3 ]2 X射線/秒 = 400 x π x 25 X射線/秒 = 31,416 = 3.14 x 104 X射線/秒。
典型的X射線感光元件可具有512 x 512個像素，其需要每個像素1000道X射線來形成影像。因此，PPM系統的影像採集大約需要8350秒，即2.3小時。
另一方面，根據本發明揭露之內容，保持光源亮度但用尺寸較大的光斑照射會顯著增加照射在物體上的X射線通量。例如，假設光源直徑為1公釐(半徑r=0.5公釐)，與物體相距100公釐，並且物體與閃爍器相距100微米，則可以由下列計算得到X射線束的角發散度(angular divergence)：α = 1 mm /100 mm = 10 mrad，因此Ω = 100 mrad2 。光斑面積=π x [0.5]2 = 0.785 mm2 ，故通量Φ變成：Φ = 108 x 100 x 0.785光子數/秒 = 7.85 x 109 光子數/秒；此通量比PPM的構成還要高250,000倍。因此，現在能夠快速地產生同樣的512 x 512影像(每個像素1000道X射線)，例如影像採集時間大約成比例地提高了33毫秒。
作為一個實際問題，流通量的增加可能會從這個數字進一步減少2到10倍。PPM成像系統可搭配量子效率在50%到100%之間的CCD X射線檢測器直接偵測放大子影像(Shadow image)中的X射線。典型的X射線CCD陣列包含陣列像素，其中像素尺寸大約為100微米x100微米。
相較之下，本發明揭露的系統的高解析度直接子影像來自擴增的X射線源，並且不被放大。現有X射線成像檢測器的像素太大而無法解析近距離影像。相反地，本發明揭露包括一個閃爍器能將X射線轉換為光學光子，然後放大光學影像。
為了達到特定的解析度，閃爍器可能有厚度規格。例如，對於1微米的解析度，閃爍器可具有1到10微米之間的指定厚度。對於薄閃爍器而言，一些入射的X射線會穿過閃爍器而不被吸收。因此，這種轉換過程的量子效率可能比PPM系統還要差，只有大約20%的X射線通過閃爍器時會發射出可見光光子。除此之外，顯微鏡可能會失去額外的光子，這取決於光學系統的數值孔徑(NA)和可見光CCD檢測器的量子效率。即使有這些損失，擴增光源的較高通量所提供的好處仍然有顯著的優點。
[優點：成像解析度]
先前技術的PPM系統解析度由X射線源的光斑尺寸決定。舉例來說，假設系統以最佳解析度運作，光斑尺寸1微米的X射線源可產生解析度1微米的影像。實際上，由於小光斑尺寸的X射線源之效率快速衰減，PPM系統很難達到1微米以下的解析度。當X射線源的光斑尺寸減小，必須降低X射線功率以避免熔化X射線目標物。此外，X射線目標物需要較薄以減少目標物光散射現象。如此一來，對於光斑尺寸每減小二倍，來自射線源的通量減少二至四倍。總體而言，隨著解析度提升二倍，流通量將會減少至少八倍。
根據本發明所揭露之內容，閃爍器離要被檢查的物體很近，並且射出的光子與x射線成比例。對於將閃爍器發射的光子傳輸到檢測器的光學系統，假設有發射波長為535奈米的閃爍器以及數值孔徑約為1.75的固體浸入式光學系統(含有折射率為1.84的LuAG光學元件)，將閃爍器產生的光子傳輸到檢測器的光學系統所擁有的繞射極限解析度R可定義如下：
，此繞射極限解析度R比PPM系統的1微米解析度還要小6.5倍。
[優點：上市時間]
解析度小於50微米的無損影像的高採集速度可以改善如前述提到的倒裝晶片互連(FCI)製程等生產製程以縮短上市時間。在之前也提及的針對失效分析的破壞性製程可能耗費數星期收集單一影像，以及耗費數個月獲得部分的統計資料。由於使用本發明揭露的系統可以快速地收集和分析影像，此類產品的開發過程所需時間可以以天為單位計算，通常只占設計並將新產品推向市場所需總時間的一小部分。
另外，由於解析度提升，本發明可用於間距(Pitch)小於50微米的新倒裝晶片互連製程。本發明可用於明顯更小的間距且仍然維持滿足需求的影像解析度和速度。就產品開發週期而言，增加一周到數周的回饋時間對開發新產品所需的時間有明顯的衝擊。
舉一個簡單的例子，也許三到五個週期的設定和資料收集就足以建構一個新裝置的製程。在更複雜的情況下，如高密度交聯器或3D積體電路，可能需要數十或數百次反覆運算。如果不採用本發明，每個週期可能需要耗費幾個星期，而產品的總上市時間可能就會被這些週期嚴重影響。很明確地，在加工過程中確認細小間距(50微米和更小的)接合品質的方法給出顯著的優勢。
本發明揭露的系統和方法所產生的影像和計算允許在接合之後的數秒或數分鐘內立即檢查接合品質。為了開發一種新的半導體產品並使其能被量產，必須建立、調整和測試許多單獨的製程和這些製程的整合。在半導體晶圓中形成矽穿孔的情況下，製造流程通常要求首先形成通孔洞，然後在通孔上的晶圓表面形成面環(Capture pad)。由於面環模糊了對通孔本身的光學檢查，在沒有本發明的情況下，如果不切割矽晶圓並在橫截面上檢查通孔特徵，則可能無法在製造時準確確定通孔和面環之間的對準關係。由於這個對準程序很耗時，而且會破壞矽晶圓和其中所包含的有價值之內容，因此不希望有它的存在。
在使用倒裝晶片互連製程將兩個或多個晶片、基板或甚至數個晶圓接合在一起時，必須嚴格控制對準關係、接合力、接合溫度、加熱速率和冷卻速率等因素。雖然對製造設備和製程的控制可以實現一些必要的控制，但對產品中不可見的特徵的檢驗和測量也可能是必需的。在不使用本發明所公開的設備的情況下，組裝部件必須被橫切以便進行檢驗。考慮到連接接合的細小間距和大量的連接處，這個檢驗程序可能需要幾個星期。通常，只有很小一部分的連接接合會被檢驗。
不能快速檢查接合會明顯增加微調獨立製程步驟以及多個製程步驟整合以創建成品所需的時間。例如考慮一個案例，其中需要反覆25次焊接過程來開發和鑒定產品。在沒有本發明所揭露的裝置的情況下，在各種製程和工具配置下，每次反覆運算可能需要1周時間來構建每組樣品。在製造一組樣品之後，可能需要額外的2周的時間來橫切各個單元並檢驗已經形成的接合之品質和屬性。因此，總時間為25周x(1周製作+2周檢查)= 75.0周。
使用本發明所揭露的裝置，透過消除耗時的橫切需求，可以將2周的檢查縮短到幾分鐘。一連串週期的總時間現在可以計算為：25個週期x(1周製作+ 1小時檢查)= 25.15周，減少了49.85周(約初始上市時間的66%)。隨著電子產品大量消費，如手機年銷量超過1億台，不難看出上市時間縮短50周(近一年)會對市場產生重大影響。設備還可進一步整合到接合工具或通孔填充工具(例如電化學沉積工具)，以即時對接合製程提供回饋。這種設備的使用減少了數周的上市時間，實際上使一種產品可即時進入市場，而不會因太昂貴或上市時機太晚而喪失經濟價值。
[優點：產品良率和成本]
據稱，已經在這些裝置上開始生產商業產品，並且與封裝組件和互連裝置的總體良率在80%的範圍內。這個良率遠低於半導體領域一般能接受的數值，且有相當多的與廢料相關的額外成本。對於被認為具有很高商業價值的特定物件，即使考慮到低產量所付出的相關成本，僅僅80%的封裝組件良率進行生產也是可行的。然而，在其他成本更低、更以消費者為導向的市場領域，定價壓力要大得多，而且只有這種水準的封裝組件產品不太可能具有商業可行性。基於這個理由，產品製造過程必須強力且嚴格控管，以減少因接合製程而產生的報廢產品數量或良率損失。傳統上，封裝組件的良率範圍在98%至99%之間。本領域的技術人員能很快認知到，透過使用低良率的接合技術導致良好晶片被報廢，並且用於生產封裝良率低於80%的低價值晶片，是完全不可接受的。
需要注意的是，在多個晶粒以3D IC或高密度交聯器的形式安裝在一起的情況下，任何晶片上的一個連接失敗都會導致整個MCP或封裝組件的報廢。可能有成千上萬的連接處都必須按照設計的功能正常運行。如果有接合不正確的情況，通常難以對材料進行任何形式的重工(Rework)或回復(Recovery)。舉例來說，以一個成本為10美元的處理器晶片與4個成本為5美元(即20美元)的記憶體晶片安裝在一起為例。晶片的總成本是30美元。晶片組裝和封裝可能會增加另外5美元的成本，總組裝成本為35美元。
藉由本發明的設備所產生的影像和測量結果，可以控制和監控對準流程和檢驗接合，從而使良率能夠迅速提高。對於MCP封裝，在上面的例子中，偵測前兩個晶粒之間的瑕疵將允許封裝組裝者只報廢前兩個晶粒，而不需要損失所有五個晶粒，因此節省報廢成本和提高良率。在良好的控制和監控下，組裝流程的良率通常能超過99.9%。本發明允許封裝組裝者在MCP結構中達到大於或等於90%的良率，其中此MCP結構具有4個以上的晶粒；另外，在最小間距小於100微米的間距處，每個中介層或晶粒層具有超過100個矽穿孔。在最小間距小於100微米之間距處具有超過400個微凸塊的倒裝晶片結構中，也可以實現同樣優異的良率。
這種在成本和良率方面的優異性也可以體現在細小間距中介層和3D晶粒堆疊的其他製程中，例如空孔的孔填充監視器、面環與穿孔的對準、凸塊對晶片或中介層的對準以及接合後完整焊點的品質。它也可用於測量矽裝置或小間距中介層的多晶片組裝中的熔合線(Bondline)，或是矽裝置和其他感興趣材料之間的熔合線，熔合線的厚度對裝置性能是至關重要的。
[備註]
此處，詞語「或」具有包容性和非排他性，除非另有說明或上下文另有說明。因此，此處的詞語「A或B」是指「A、B或兩者」，除非另有明確說明或上下文另有說明。此外，詞語「和/以及/與」是共同且連帶的，除非另有明確說明或上下文另有說明。因此，此處的詞語「A和/以及/與B」是指「A、B共同」或「A、B個別」，除非另有明確說明或上下文另有說明。
本發明的專利保護範圍包括本發明中描述或說明的具有本技術領域具有通常知識的人可能理解的對示例性實施例的所有變更、替換、變化、變更和修改。本發明的專利保護範圍不限於本文描述或說明的示例性實施例。此外，儘管本發明描述和說明了各個實施例包含特定元件、物件、特徵、功能、操作或步驟，這些實施例可能包含任意段落描述或說明的任何元件、物件、特徵、功能、操作或步驟的任何組合或排列，並且這些組合或排列是本技術領域具有通常知識的人能夠理解的。
此外，請求項中對設備或系統或設備與系統的組合適於、配置成、能夠或可操作地執行包括該設備、系統、部件的特定功能，無論此特定功能是否被啟動、接通或解鎖，只要該設備、系統或部件適於、被佈置成、能夠或可操作的。儘管本發發明公開描述或繪示了提供特定優點的特定實施例，但是特定實施例也可以沒有這些優點，或是只有部分優點或全部優點。
1000A、1000B:X射線檢驗系統 100:X射線源 101:發射器 106、250:安裝件 111:X射線 140:平板 142:孔徑 211:X射線光束 200:物件 300:閃爍器組件 310:閃爍器 350:載台 411:可見光光子 400:光學系統 500:感光元件 511:放大影像 600:電子裝置 700:電腦系統 998、999:遮罩 2000A、2000B、4000、5000:流程 210:邊界標準 212、213、214、219:樣本 215:中心點 D1、D2、D3、D4:距離 220:非接觸斷路缺陷模型 221、222、223:離群樣本 224:偽陽性模型 225:空孔缺陷模型 226:枕頭缺陷模型 227:橋接缺陷模型 228:未知離群樣本模型 229:非潤濕缺陷模型 3000:架構 301:製程 302:X射線檢驗演算法 303:資料庫 304:現場應用 305:失效分析過程 306:失效元件 307:資訊 308:召回元件子集 410:第一工具 420:X射線檢驗系統 430:第二工具 412:元件 414:回饋資訊 417:前饋資訊 551:A批量 552:B批量 553:C批量 561、562、563、564:樣本 6000:方法 610、620、630、640:步驟
圖1A繪示根據本發明一實施例的自動化高速X射線檢驗系統。 圖1B繪示根據本發明一實施例的具有可移動X射線源的X射線檢驗系統，其中X射線源可相對檢驗樣本移動以在不同方向生成X射線影像。 圖2A繪示根據第一組特徵將被檢驗樣本分類為內群樣本和離群樣本的示意圖。 圖2B繪示根據第二組特徵將被檢驗樣本分類為不同子類的示意圖。 圖3繪示根據從失效元件之失效分析習得的知識調整X射線檢驗演算法的方塊架構圖。 圖4繪示根據來自X射線檢驗的回饋和前饋資訊調整製程參數的方塊架構圖。 圖5繪示根據製程參數空間將被檢驗樣本分類為不同種類的示意圖。 圖6繪示為了召回而複查先前被檢驗元件的X射線影像以辨識不合格樣本的示例性方法。 備註：圖中所示的物件是為了說明本發明的功能，並不是按實際尺寸比例繪製的。
6000:方法
610、620、630、640:步驟

Claims (35)

  1. 一種由一X射線檢驗系統執行的方法，包含：獲取至少一第一樣本的使用該X射線檢驗系統擷取的一第一組X射線影像，其中該第一組X射線影像根據各該第一樣本於一現場應用的失效而被標記為不合格；根據該第一組X射線影像調整一分類演算法，其中該分類演算法根據對應X射線影像的分析將多個樣本分類為合格種類或不合格種類；在該X射線檢驗系統中利用經調整的該分類演算法分析多個第二樣本的一第二組X射線影像，其中該些第二樣本為多個先前檢驗樣本，且該些先前檢驗樣本已經使用該X射線檢驗系統在先前分析中被調整前的該分類演算法分類為合格種類；以及從該第二組X射線影像辨識出該些第二樣本至少其中一者，其中被辨識的各個該第二樣本被經調整的該分類演算法分類為不合格種類。
  2. 如請求項1所述之方法，在獲取該第一組X射線影像之前更包含：用該X射線檢驗系統對該至少一第一樣本進行檢驗，其中該X射線檢驗系統指出該至少一第一樣本為合格；在檢驗該至少一第一樣本之後，於後續的一失效分析過程中將該至少一第一樣本辨識為不符合；以及響應在該失效分析過程中將該至少一第一樣本辨識為不符合的結果，而將該至少一第一樣本的該第一組X射線影像標記為不符合。
  3. 如請求項1所述之方法，更包含： 根據該第一組X射線影像決定至少一指示性特徵，其中該至少一指示性特徵與至少一失效模式相關，且該至少一失效模式與被標記為不合格的該至少一第一樣本有關聯。
  4. 如請求項3所述之方法，其中該分類演算法為一機器學習模型，且根據該第一組X射線影像調整該分類演算法的步驟包含：根據被標記為不合格之該至少一第一樣本的該第一組X射線影像或是根據與該至少一第一樣本之該至少一失效模式相關的該至少一指示性特徵，來再次訓練該機器學習模型。
  5. 如請求項3所述之方法，其中該分類演算法為一規則式(Rule-based)分類演算法，且根據該第一組X射線影像調整該分類演算法的步驟包含：根據該至少一指示性特徵調整該規則式分類演算法的至少一已存在規則；或添加至少一新規則至該規則式分類演算法，且該至少一新規則是根據該至少一指示性特徵所生成。
  6. 如請求項3所述之方法，其中一初始X射線檢驗過程在該至少一第一樣本的製程期間或之後且在該至少一第一樣本被標記為不合格之前進行，且被標記為不合格之該至少第一樣本的該第一組X射線影像是在該初始X射線檢驗過程期間藉由該X射線檢驗系統所擷取。
  7. 如請求項6所述之方法，更包含：在該至少一第一樣本被標記為不合格之後，於一失效分析過程期間擷取該至少一第一樣本的一第三組X射線影像；以及 根據該至少一第一樣本的該第三組X射線影像決定該至少一失效模式。
  8. 如請求項7所述之方法，更包含：將該至少一第一樣本的該第三組X射線影像與該至少一第一樣本的該第一組X射線影像進行比較；以及根據該第三組X射線影像與該第一組X射線影像之間的比較結果決定該至少一失效模式。
  9. 如請求項3所述之方法，更包含：根據該第一組X射線影像以及從另一檢驗系統接收到的資訊決定該至少一失效模式，其中該另一檢驗系統用於被標記為不合格之該至少一第一樣本的一失效分析過程。
  10. 如請求項1所述之方法，更包含：對各個該第二樣本決定相對於被標記為不合格之該至少一第一樣本的一相似性度量；以及將各個該第二樣本的該相似性度量與一預定閾值進行比較，其中根據與該些第二樣本至少其中一者有關聯之該相似性度量小於該預定閾值的比較結果辨識該些第二樣本該至少其中一者。
  11. 如請求項10所述之方法，其中根據從各個該第二樣本到被標記為不合格的該至少一第一樣本的一對應距離決定與各個該第二樣本相關聯的該相似性度量，各個該第二樣本的該對應距離位於一N維空間內或是一M維製程參數空間內，該N維空間由與該些第二樣本相關聯的N個特徵所定義，該M維製程參數空間由與該些第二樣本之製程相關聯的M個製程參數所定義。
  12. 如請求項10所述之方法，更包含：根據一關聯相似性度量以及與被標記為不合格的該至少一第一樣本相關聯的資訊，來預測被辨識之各個該第二樣本的失效機率或是之後的失效時間；以及根據與各個該第二樣本相關聯的該關聯相似性度量以及與被標記為不合格的該至少一第一樣本相關聯的至少一失效模式，來預測被辨識之各個該第二樣本的一可能失效模式。
  13. 如請求項1所述之方法，更包含：對至少一第三樣本擷取一第三組X射線影像；利用經調整的該分類演算法分析該第三組X射線影像；以及利用經調整的該分類演算法將該至少一第三樣本分類為合格種類或不合格種類。
  14. 如請求項1所述之方法，更包含：發送一回饋資訊給用於新樣本之製程的一製造工具，其中該回饋資訊是根據與被標記為不合格之該至少一第一樣本有關聯的資訊所生成；以及使該製造工具根據該回饋資訊調整至少一製程參數，其中該至少一製程參數被調整的該製造工具有較低的機率生產出不合格樣本。
  15. 如請求項1所述之方法，更包含：發送一前饋資訊給用於新樣本之製程下游步驟的一製造工具，其中該前饋資訊是根據與被標記為不合格之該至少一第一樣本有關聯的資訊所生成；以及 使該製造工具根據該前饋資訊調整至少一製程參數，其中該至少一製程參數被調整的該製造工具有較低的機率生產出不合格樣本。
  16. 如請求項1所述之方法，更包含：發送前饋資訊給用於新樣本之製程下游步驟的一檢驗工具，其中該前饋資訊是根據與被標記為不合格之該至少一第一樣本有關聯的資訊所生成；以及使該檢驗工具根據該前饋資訊調整至少一製程參數，其中該至少一製程參數被調整的該檢驗工具將與至少一指示性特徵有關聯的新樣本視為不合格而予以拒絕，且該至少一指示性特徵與該至少一第一樣本的至少一失效模式相關。
  17. 如請求項16所述之方法，更包含：使該檢驗工具執行一額外檢驗步驟，其中該額外檢驗步驟辨識出與新樣本有關聯的該至少一指示性特徵。
  18. 如請求項1所述之方法，更包含：根據已辨識的該些第二樣本至少其中一者生成召回建議，其中辨識出的該些第二樣本包含的樣本數量少於現場應用中使用的樣本群體的樣本數量。
  19. 如請求項1所述之方法，更包含：擷取多個第三樣本的一第三組X射線影像，該些第三樣本被選出而用於一樣本群體的可靠性測試； 根據該第三組X射線影像以及一N維特徵空間決定該些第三樣本與該樣本群體之間的一相關性度量，且該N維特徵空間由與該樣本群體有關聯的N個特徵所定義；以及決定該些第三樣本是否對該樣本群體具有代表性。
  20. 一個或多個電腦可讀取非暫存性儲存媒體，含有一可操作軟體，該可操作軟體能執行下列步驟：獲取至少一第一樣本的使用一X射線檢驗系統擷取的一第一組X射線影像，其中該第一組X射線影像根據各該第一樣本於一現場應用的失效而被標記為不合格；根據該第一組X射線影像調整一分類演算法，其中該分類演算法根據對應X射線影像的分析將樣本分類為合格種類或不合格種類；在該X射線檢驗系統中利用經調整的該分類演算法分析多個第二樣本的一第二組X射線影像，其中該些第二樣本為多個先前檢驗樣本，且該些先前檢驗樣本已經使用該X射線檢驗系統在先前分析中被調整前的該分類演算法分類為合格種類；以及從該第二組X射線影像辨識該些第二樣本至少其中一者，其中被辨識的各個該第二樣本被經調整的該分類演算法分類為不合格種類。
  21. 一種X射線檢驗系統，包含至少一處理器以及至少一電腦可讀取非暫存性儲存媒體，該至少一電腦可讀取非暫存性儲存媒體耦接於該至少一處理器並包含多個指令，該至少一處理器可執行該些指令以使該系統能夠： 獲取至少一第一樣本的使用該X射線檢驗系統擷取的一第一組X射線影像，其中該第一組X射線影像根據各該第一樣本於一現場應用的失效而被標記為不合格；根據該第一組X射線影像調整一分類演算法，其中該分類演算法根據對應X射線影像的分析將樣本分類為合格種類或不合格種類；在該X射線檢驗系統中利用經調整的該分類演算法分析多個第二樣本的一第二組X射線影像，其中該些第二樣本為多個先前檢驗樣本，且該些先前檢驗樣本已經使用該X射線檢驗系統在先前分析中被調整前的該分類演算法分類為合格種類；以及從該第二組X射線影像辨識該些第二樣本至少其中一者，其中被辨識的各個該些第二樣本被經調整的該分類演算法分類為不合格種類。
  22. 一種由一X射線檢驗系統執行的方法，包含：獲取至少一第一樣本的使用該X射線檢驗系統擷取的一第一組X射線影像，其中該第一組X射線影像根據各該第一樣本於一現場應用的失效而被標記為合格；根據該第一組X射線影像調整一分類演算法，其中該分類演算法根據對應X射線影像的分析將樣本分類為合格種類或不合格種類；在該X射線檢驗系統中利用經調整的該分類演算法分析多個第二樣本的一第二組X射線影像，其中該些第二樣本為多個先前檢驗樣本，且該些先前檢驗樣本已經使用該X射線檢驗系統在先前分析中被調整前的該分類演算法分類為不合格種類；以及 從該第二組X射線影像辨識該些第二樣本至少其中一者，其中被辨識的各個該第二樣本被經調整的該分類演算法分類為合格種類。
  23. 如請求項22所述之方法，在獲取該第一組X射線影像之前更包含：用該X射線檢驗系統對該至少一第一樣本進行檢驗，其中該X射線檢驗系統指出該至少一第一樣本為不合格；在檢驗該至少一第一樣本之後，於一後續分析過程中將該至少一第一樣本辨識為合格；以及響應在該後續分析過程中將該至少一第一樣本辨識為符合的結果，而將該至少一第一樣本的該第一組X射線影像標記為符合。
  24. 如請求項22所述之方法，更包含：根據該第一組X射線影像決定至少一指示性特徵，其中該至少一指示性特徵與被標記為合格的該至少一第一樣本有關聯。
  25. 如請求項24所述之方法，其中該分類演算法為一機器學習模型，且根據該第一組X射線影像調整該分類演算法的步驟包含：根據被標記為合格之該至少一第一樣本的該第一組X射線影像或是與該至少一第一樣本相關聯的該至少一指示性特徵，來再次訓練該機器學習模型。
  26. 如請求項24所述之方法，其中該分類演算法為一規則式(Rule-based)分類演算法，且根據該第一組X射線影像調整該分類演算法包含： 根據該至少一指示性特徵調整該規則式分類演算法的至少一已存在規則；或添加至少一新規則給該規則式分類演算法，且該至少一新規則是根據該至少一指示性特徵所生成。
  27. 如請求項24所述之方法，其中一初始X射線檢驗過程在該至少一第一樣本的製程期間或之後且在該至少一第一樣本被標記為合格之前進行，且被標記為合格之該至少第一樣本的該第一組X射線影像在該初始X射線檢驗過程期間藉由該X射線檢驗系統所擷取。
  28. 如請求項27所述之方法，更包含：在該至少一第一樣本被標記為合格之後，於一後續分析過程中擷取該至少一第一樣本的一第三組X射線影像；以及將該至少一第一樣本的該第三組X射線影像與該至少一第一樣本的該第一組X射線影像進行比較，其中根據該第三組X射線影像與該第一組X射線影像之間的比較結果決定該至少一指示性特徵。
  29. 如請求項24所述之方法，其中根據該第一組X射線影像以及從另一檢驗系統接收到的資訊決定該至少一指示性特徵，其中該另一檢驗系統用於被標記為合格之該至少一第一樣本的一後續分析過程。
  30. 如請求項22所述之方法，更包含：對各個該第二樣本決定相對於被標記為合格之該至少一第一樣本的一相似性度量；以及 將各個該第二樣本的該相似性度量與一預定閾值進行比較，其中根據與該些第二樣本至少其中一者有關聯之該相似性度量小於該預定閾值的比較結果辨識該些第二樣本該至少其中一者。
  31. 如請求項30所述之方法，其中根據從各個該第二樣本到被標記為合格的該至少一第一樣本的一對應距離決定與各個該第二樣本相關聯的該相似性度量，各個該第二樣本的該對應距離位於一N維空間內或是一M維製程參數空間內，該N維空間由與該些第二樣本相關聯的N個特徵所定義，該M維製程參數空間由與該些第二樣本之製程相關聯的M個製程參數所定義。
  32. 如請求項31所述之方法，更包含：決定被辨識之各個該第二樣本的一失效機率低於一預定閾值機率，其中該失效機率是根據一關聯相似性度量以及與被標記為合格的該至少一第一樣本相關聯的資訊所決定。
  33. 如請求項22所述之方法，更包含：對至少一第三樣本擷取一第三組X射線影像；利用經調整的該分類演算法分析該第三組X射線影像；以及利用經調整的該分類演算法將該至少一第三樣本分類為合格種類或不合格種類。
  34. 一個或多個電腦可讀取非暫存性儲存媒體，含有一可操作軟體，該可操作軟體能執行下列步驟： 獲取至少一第一樣本的使用一X射線檢驗系統擷取的一第一組X射線影像，其中該第一組X射線影像根據各該第一樣本於一現場應用的失效而被標記為合格；根據該第一組X射線影像調整一分類演算法，其中該分類演算法根據對應X射線影像的分析將樣本分類為合格種類或不合格種類；在該X射線檢驗系統中利用經調整的該分類演算法分析多個第二樣本的一第二組X射線影像，其中該些第二樣本為多個先前檢驗樣本，且該些先前檢驗樣本已經使用該X射線檢驗系統在先前分析中被調整前的該分類演算法分類為不合格種類；以及從該第二組X射線影像辨識該些第二樣本至少其中一者，其中被辨識的各個該第二樣本被經調整的該分類演算法分類為合格種類。
  35. 一種X射線檢驗系統，包含至少一處理器以及至少一電腦可讀取非暫存性儲存媒體，該至少一電腦可讀取非暫存性儲存媒體耦接於該至少一處理器並包含多個指令，該至少一處理器可執行該些指令以使該系統能夠：獲取至少一第一樣本的使用該X射線檢驗系統擷取的一第一組X射線影像，其中該第一組X射線影像根據各該第一樣本於一現場應用的失效而被標記為合格；根據該第一組X射線影像調整一分類演算法，其中該分類演算法根據對應X射線影像的分析將樣本分類為合格種類或不合格種類；在該X射線檢驗系統中利用經調整的該分類演算法分析多個第二樣本的一第二組X射線影像，其中該些第二樣本為多個先前檢驗樣本，且該些 先前檢驗樣本已經使用該X射線檢驗系統在先前分析中被調整前的該分類演算法分類為不合格種類；以及從該第二組X射線影像辨識該些第二樣本至少其中一者，其中被辨識的各個該第二樣本被經調整的該分類演算法分類為合格種類。
TW109123433A 2019-07-12 2020-07-10 根據x射線影像複查預測產品失效的方法、電腦可讀取非暫存性儲存媒體及系統 TWI842929B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962873752P 2019-07-12 2019-07-12
US62/873,752 2019-07-12
US16/924,706 2020-07-09
US16/924,706 US11615533B2 (en) 2019-07-12 2020-07-09 Methods and systems for product failure prediction based on X-ray image re-examination

Publications (2)

Publication Number Publication Date
TW202109460A TW202109460A (zh) 2021-03-01
TWI842929B true TWI842929B (zh) 2024-05-21

Family

ID=80268079

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109123433A TWI842929B (zh) 2019-07-12 2020-07-10 根據x射線影像複查預測產品失效的方法、電腦可讀取非暫存性儲存媒體及系統

Country Status (5)

Country Link
US (1) US11615533B2 (zh)
KR (1) KR20220033505A (zh)
CN (1) CN114450712A (zh)
TW (1) TWI842929B (zh)
WO (1) WO2021011347A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11521309B2 (en) * 2019-05-30 2022-12-06 Bruker Nano, Inc. Method and apparatus for rapid inspection of subcomponents of manufactured component
US20210096971A1 (en) * 2019-10-01 2021-04-01 Tektronix, Inc. Bus autodetect
US20210233129A1 (en) * 2020-01-27 2021-07-29 Dell Products L. P. Machine learning based intelligent parts catalog
KR20220051750A (ko) * 2020-10-19 2022-04-26 삼성전자주식회사 장치간 물리적 인터페이스의 트레이닝을 위한 장치 및 방법
US12079097B2 (en) * 2020-10-20 2024-09-03 Nvidia Corporation Techniques for testing semiconductor devices
EP4134883B1 (en) * 2021-08-11 2024-04-24 Siemens Aktiengesellschaft Systems and methods for automated x-ray inspection
US11817231B2 (en) * 2021-08-16 2023-11-14 Carl Zeiss Smt Gmbh Detection system for X-ray inspection of an object
US12040103B2 (en) 2021-08-16 2024-07-16 Carl Zeiss Smt Gmbh Imaging optical arrangement to image an object illuminated by X-rays
US11927436B2 (en) * 2021-08-17 2024-03-12 Hewlett Packard Enterprise Development Lp Measurement machine and method for detecting a defect in solder joints
TWI778827B (zh) * 2021-10-15 2022-09-21 和碩聯合科技股份有限公司 電子裝置以及影像辨識方法
CN118525278A (zh) * 2022-01-06 2024-08-20 西门子工业软件有限公司 确定要安装至印刷电路板的电子组件的组装风险
CN114492293B (zh) * 2022-02-10 2022-11-25 深圳市亿道电子科技有限公司 基于altium软件的电路自动拼接系统及方法
US20240255932A1 (en) * 2022-08-03 2024-08-01 Industrial Video Solutions Inc. Systems and methods for monitoring and controlling industrial processes
US20240212356A1 (en) * 2022-08-03 2024-06-27 Industrial Video Solutions Inc. Systems and methods for monitoring and controlling industrial processes
CN115293282B (zh) * 2022-08-18 2023-08-29 昆山润石智能科技有限公司 制程问题分析方法、设备及存储介质
CN116862898B (zh) * 2023-07-27 2024-08-20 小米汽车科技有限公司 零部件的缺陷检测方法、装置、存储介质以及电子设备
CN117746166B (zh) * 2024-02-19 2024-05-28 中国科学院长春光学精密机械与物理研究所 一种硅通孔芯片的缺陷检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8135204B1 (en) * 2007-09-21 2012-03-13 Kla-Tencor Technologies Corp. Computer-implemented methods, carrier media, and systems for creating a defect sample for use in selecting one or more parameters of an inspection recipe
US20170140524A1 (en) * 2015-11-17 2017-05-18 Kla-Tencor Corporation Single image detection
US9996890B1 (en) * 2017-07-14 2018-06-12 Synapse Technology Corporation Detection of items
US20180374022A1 (en) * 2017-06-26 2018-12-27 Midea Group Co., Ltd. Methods and systems for improved quality inspection

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107022A (ja) 2001-09-28 2003-04-09 Hitachi Ltd 欠陥検査装置及び検査方法
JP2010127810A (ja) 2008-11-28 2010-06-10 Omron Corp Ｘ線検査装置およびｘ線検査方法
JP5863547B2 (ja) 2012-04-20 2016-02-16 ヤマハ発動機株式会社 プリント基板の検査装置
US9129715B2 (en) 2012-09-05 2015-09-08 SVXR, Inc. High speed x-ray inspection microscope
KR101437125B1 (ko) 2013-05-03 2014-09-02 (주)시스트 X선을 이용한 회로소자 검사 시스템 및 방법
US10710119B2 (en) 2016-07-18 2020-07-14 UHV Technologies, Inc. Material sorting using a vision system
US10395362B2 (en) 2017-04-07 2019-08-27 Kla-Tencor Corp. Contour based defect detection
US11270430B2 (en) 2017-05-23 2022-03-08 Kla-Tencor Corporation Wafer inspection using difference images
US10895541B2 (en) 2018-01-06 2021-01-19 Kla-Tencor Corporation Systems and methods for combined x-ray reflectometry and photoelectron spectroscopy
US10867877B2 (en) * 2018-03-20 2020-12-15 Kla Corporation Targeted recall of semiconductor devices based on manufacturing data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8135204B1 (en) * 2007-09-21 2012-03-13 Kla-Tencor Technologies Corp. Computer-implemented methods, carrier media, and systems for creating a defect sample for use in selecting one or more parameters of an inspection recipe
US20170140524A1 (en) * 2015-11-17 2017-05-18 Kla-Tencor Corporation Single image detection
US20180374022A1 (en) * 2017-06-26 2018-12-27 Midea Group Co., Ltd. Methods and systems for improved quality inspection
US9996890B1 (en) * 2017-07-14 2018-06-12 Synapse Technology Corporation Detection of items

Also Published As

Publication number Publication date
US20210010954A1 (en) 2021-01-14
KR20220033505A (ko) 2022-03-16
US11615533B2 (en) 2023-03-28
WO2021011347A1 (en) 2021-01-21
CN114450712A (zh) 2022-05-06
TW202109460A (zh) 2021-03-01

Similar Documents

Publication Publication Date Title
TWI842929B (zh) 根據x射線影像複查預測產品失效的方法、電腦可讀取非暫存性儲存媒體及系統
US20210010953A1 (en) Methods and Systems for Defects Detection and Classification Using X-rays
US11430118B2 (en) Methods and systems for process control based on X-ray inspection
TWI840586B (zh) 基於自動校正的印刷電路板設計之方法、系統與非暫態電腦可讀儲存媒體
TWI840585B (zh) 自動化高速x射線檢驗方法、電腦可讀取非暫態儲存媒體及電子系統
US11651492B2 (en) Methods and systems for manufacturing printed circuit board based on x-ray inspection
Lu et al. Detection of micro solder balls using active thermography technology and K-means algorithm
JP2024526005A (ja) 半導体の信頼性不良のｚ－ｐａｔ欠陥によって導かれる統計的異常を検出するシステムおよび方法
TW202248659A (zh) 使用內嵌缺陷部分平均測試用於半導體適應測試之系統及方法
KR20230145420A (ko) 반도체 다이 패키지의 신뢰성을 평가하기 위한 시스템 및 방법
US11815349B2 (en) Methods and systems for inspecting integrated circuits based on X-rays
TWI857099B (zh) 利用x射線檢測缺陷並分類缺陷的方法、電腦可讀取非暫存性儲存媒體及系統
TWI853978B (zh) 基於x射線檢驗之印刷電路板製造系統及方法、電腦可讀取非暫存性儲存媒體及印刷電路板
Jewler High resolution automatic x-ray inspection for continuous monitoring of advanced package assembly
KR20240018412A (ko) 반도체 결함 유도 번인 및 시스템 레벨 테스트들을 위한 시스템들 및 방법들