TW201917598A - 自動光學檢測影像分類方法、系統及含有該方法之電腦可讀取媒體 - Google Patents

自動光學檢測影像分類方法、系統及含有該方法之電腦可讀取媒體 Download PDF

Info

Publication number
TW201917598A
TW201917598A TW106137265A TW106137265A TW201917598A TW 201917598 A TW201917598 A TW 201917598A TW 106137265 A TW106137265 A TW 106137265A TW 106137265 A TW106137265 A TW 106137265A TW 201917598 A TW201917598 A TW 201917598A
Authority
TW
Taiwan
Prior art keywords
samples
classification
optical inspection
sample
automatic optical
Prior art date
Application number
TW106137265A
Other languages
English (en)
Other versions
TWI649659B (zh
Inventor
張耿豪
邱威堯
蔡雅惠
胡竹生
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW106137265A priority Critical patent/TWI649659B/zh
Priority to CN201711131911.8A priority patent/CN109726730B/zh
Priority to US15/846,886 priority patent/US10636133B2/en
Application granted granted Critical
Publication of TWI649659B publication Critical patent/TWI649659B/zh
Publication of TW201917598A publication Critical patent/TW201917598A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

自動光學檢測影像分類方法包括：將一自動光學檢查設備所傳來的複數個樣本的複數個失敗(NG)資訊送入一人工智慧訓練模組內；該人工智慧訓練模組對該些樣本的該些失敗資訊進行離散輸出，以得到對該些樣本的複數個分類資訊；該人工智慧訓練模組將該些樣本的該些分類資訊進行核函數運算，以計算該些樣本的個別相似性距離並進行權重分析；根據對該些樣本的權重分析結果，進行分類結果判定，以判定該些樣本的個別分類結果；以及根據該些樣本的個別分類結果，對該些樣本進行分類。

Description

自動光學檢測影像分類方法、系統及含有該方法之電腦可讀取媒體
本發明是有關於一種自動光學檢測影像分類方法、系統及其電腦可讀取媒體。
自動光學檢查(Automated Optical Inspection，AOI)為高速高精度光學影像檢測系統，運用機器視覺做為檢測技術，可用於取代傳統的人力檢測。在工業製程中，自動光學檢查可取得成品的表面狀態，再以電腦影像處理技術來檢出異物或圖案異常等瑕疵。
然而，傳統AOI設備在進行瑕疵檢測時，漏檢(Leakage，未檢測出瑕疵，將壞樣本誤判為好樣本)或誤殺(Overkill，將好樣本誤判為壞樣本)是可能出現的。對於漏檢或誤殺，傳統上，仰賴人員複判以提高檢出正確率，但這將造成驗收時程冗長。
此外，傳統的AOI檢測技術，待測物(例如，晶圓)需先經過訓練特徵模型、分類模式、瑕疵種類等程序，這些程序無法達到快速換線之需求。
本案一實施例提出一種自動光學檢測影像分類方法，包括：將一自動光學檢查(Automated Optical Inspection，AOI)設備所傳來的複數個樣本的複數個失敗(NG)資訊送入一人工智慧訓練模組內；該人工智慧訓練模組對該些樣本的該些失敗資訊進行離散輸出，以得到對該些樣本的複數個分類資訊；該人工智慧訓練模組將該些樣本的該些分類資訊進行核函數運算，以計算該些樣本的個別相似性距離並進行權重分析；根據對該些樣本的權重分析結果，進行分類結果判定，以判定該些樣本的個別分類結果；以及根據該些樣本的個別分類結果，對該些樣本進行分類。
本案另一實施例提出一種自動光學檢測影像分類系統，一自動光學檢查(Automated Optical Inspection，AOI)設備，對複數個樣本進行自動光學檢查，以得到該些樣本的個別成功資訊或失敗(NG)資訊；以及一人工智慧訓練模組，耦接於該自動光學檢查設備，該人工智慧訓練模組接收由該自動光學檢查設備所傳來的該些樣本的該些失敗資訊，該人工智慧訓練模組對該些樣本的該些失敗資訊進行離散輸出，以得到對該些樣本的複數個分類資訊，該人工智慧訓練模組將該些樣本的該些分類資訊進行核函數運算，以計算該些樣本的個別相似性距離並進行權重分析，根據對該些樣本的權重分析結果，進行分類結果判定，以判定該些樣本的個別分類結果。
本案更一實施例提出一種電腦可讀取記錄媒體，當載入於一自動光學檢測影像分類系統時，該自動光學檢測影像分類系統可執行如上所述之自動光學檢測影像分類方法。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
本說明書的技術用語係參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋係以本說明書之說明或定義為準。本揭露之各個實施例分別具有一或多個技術特徵。在可能實施的前提下，本技術領域具有通常知識者可選擇性地實施任一實施例中部分或全部的技術特徵，或者選擇性地將這些實施例中部分或全部的技術特徵加以組合。
第1圖顯示根據本案實施例之自動光學檢測影像分類系統之功能方塊示意圖。第2圖顯示根據本案實施例之自動光學檢測影像分類方法之流程圖。第3A圖與第3B圖顯示根據本案實施例之核函數(kernel function)進行權重特徵分析的示意圖。第4A圖與第4B圖分別顯示習知技術的分類結果與根據本案實施例的自動光學檢測影像分類系統的分類結果。
在第1圖中，自動光學檢測影像分類系統100包括：自動光學檢查(Automated Optical Inspection，AOI)設備120與人工智慧(Artificial Intelligence，AI)訓練模組150。經過人工智慧訓練模組150的分類結果可送至分類裝置170，進行分類。
自動光學檢查設備120例如包括：AOI影像處理軟體，AOI感測器系統、AOI檢測機台等物件。自動光學檢查設備120的架構在本案實施例中可不特別限定之。
人工智慧訓練模組150可耦接於自動光學檢查設備120，進行瑕疵誤殺複判之功能。
分類裝置170例如用以將分類後之各樣本送至各自的分類區，以進行後續的樣本製程使用、樣本瑕疵修補，或樣本廢棄處理等。分類裝置170例如包括：氣壓缸、輸送帶、懸臂機構、機器手臂、載台等物件之任意組合。分類裝置170的架構在本案實施例中可不特別限定之。
在本案實施例中，自動光學檢查設備120進行光學檢測(步驟210)，其中，光學檢測結果包括：OK(成功)檢出結果與NG(失敗)檢出結果。OK(成功)檢出結果代表該樣本經過檢測後，被認為是好的，但其中仍有可能存在漏檢的可能性。NG(失敗)檢出結果代表該樣本經過檢測後，被認為是失敗的，但其中仍有可能存在誤殺的可能性。
故而，在本案實施例中，判斷是否有已訓練好的人工智慧訓練模組150(步驟215)。如果人工智慧訓練模組150尚未被訓練好(亦即，該人工智慧訓練模組150是初次被訓練)或者是人工智慧訓練模組150需要被人工調整時，則由人工來複判(步驟220)，決定是否存在誤殺瑕疵。
於步驟225中，樣本進入AI訓練模組150，其中，樣本可能是來自AOI設備或者是來自人工複判；如果是來自AOI設備120的樣本，則該樣本是被AOI設備120判為NG的；如果是來自人工複判的樣本，則該樣本是被AOI設備120判為NG的，但人工檢測認為是OK的(亦即是被AOI設備120誤殺的樣本)。在本案實施例中，對被判為NG的樣本的資訊稱為NG資訊。
於步驟230中，AI訓練模組150對該些樣本進行離散輸出，以得到對該些樣本的各分類結果。
在本案實施例中，AI訓練模組150將經過離散輸出後所得的分類結果，進行進一步的核函數運算(kernel function)(步驟235)，對於樣本的分類結果計算相似性度量(Similarity Measurement)或者相似性距離，並根據相似性距離進行權重分析。亦即，根據相似性度量，將相似性較高(亦即，相似性距離較小)的樣本的分類資訊給予較高的權重，將相似性較低(亦即，相似性距離較遠)的樣本的分類資訊給予較低的權重。對於經權重分析的結果可進行正規化。如此一來，使得模糊缺陷的分類結果更顯著。
於步驟240中，根據核函數運算結果，進行分類結果的判定，以判定該些樣本屬於分類1~分類n(n為正整數)之一。步驟240的分類判斷結果可以回授至AI訓練模組150，用以訓練AI訓練模組150，來增加AI訓練模組150的強健性，使分類結果差異化更加明顯(亦即，更容易判讀其分類)。
此外，根據步驟240中的分類判定結果，驅動分類裝置170以進行分類(步驟245)，將各樣本送至各自的分類區，以進行後續的樣本製程使用、樣本瑕疵修補，或樣本廢棄處理等。
現請參考如第3A圖所示，說明本案一實施例如何進行核函數，以得到較佳的分類結果。在第3A圖中分類為n類(n為正整數)。假設經離散輸出後，得到該樣本的分類資訊[X1、X2、…Xn]。
接著，計算樣本310的分類資訊[X1、X2、…Xn]與各理想分類(OK、ng1、…ng(n-1))之間的相似性度量(相似性距離)。在此，例如但不受限於，OK的理想分類資訊是[1.0、0.0、…、0.0、0.0、0.0]，ng1的理想分類資訊是[0.0、1.0、0.0、…、0.0、0.0]，而ng(n-1)的理想分類資訊是[0.0、0.0、0.0、0.0、…、1.0]。
接著，本案實施例可以利用演算法，來計算該樣本的分類資訊與各分類(OK、ng1-ng(n-1))的理想分類資訊之間的相似性度量。例如，可用於進行相似性度量的演算法如下：歐幾里得距離(Euclidean Distance)演算法；曼哈頓距離(Manhattan Distance)演算法；切比雪夫距離(Chebyshev Distance)演算法；明可夫斯基距離(Minkowski Distance)演算法；夾角餘弦(Cosine)演算法；馬氏距離(Mahalanobis Distance)演算法；傑卡德相似係數(Jaccard similarity coefficient)演算法等。
如第3A圖所示，經過相似性度量後，所得到n個相似性距離分別為∆d1=a1；∆d2=a2；…；∆dn=an，其中，∆d1代表該樣本的分類資訊與OK理想分類資訊之間的相似性距離；∆d2代表該樣本的分類資訊與ng1理想分類資訊之間的相似性距離；...；以及，∆dn代表該樣本的分類資訊與ng(n-1)理想分類資訊之間的相似性距離。
接著，進行權重分析，讓相似度較高的分類資訊得到較高的權重。在本案實施例中，權重分析的一例例如如下所示。將所有的相似性距離相加(=a1+…an)，並讓個別相似性距離除以所有的相似性距離總和。得到下列值：a1/()、a2/()、…與an/()。之後，進行下列正規化計算(其用於舉例說明，並非用於限制本案)，為了將各分類的機率值總合成為整數1，利用如後的公式：、…、等來求得該樣本的各權重加強後的分類資訊，其中，w為正規化參數。
也就是說，對於該樣本的該些相似性距離(相似性度量)，給予不同的權重，相似性距離(相似性度量)愈小者，給予愈大的權重；反之，相似性距離(相似性度量)愈大者，給予愈小的權重。
故而，根據該樣本的正規化權重分析結果來判斷該樣本的分類。
茲舉一例做說明，以了解本案實施例如何提高分類判斷的正確性。如第3B圖所示，以樣本310為例做說明，說明本案實施例如何進行核函數，以得到較佳的分類結果。假設經離散輸出後，對樣本310的分類資訊乃是：[0.3、0.3、0.1、0.2、0.1]。
接著，計算樣本310的分類資訊[0.3、0.3、0.1、0.2、0.1]與各理想分類(OK、ng1-ng4)之間的相似性度量(相似性距離)。在此，例如但不受限於，OK的理想分類資訊是[1.0、0.0、0.0、0.0、0.0]，ng1的理想分類資訊是[0.0、1.0、0.0、0.0、0.0]，ng2的理想分類資訊是[0.0、0.0、1.0、0.0、0.0]，ng3的理想分類資訊是[0.0、0.0、0.0、1.0、0.0]，而ng4的理想分類資訊是[0.0、0.0、0.0、0.0、1.0]。
接著，本案實施例可以利用演算法，來計算樣本310的分類資訊與各分類(OK、ng1-ng4)的理想分類資訊之間的相似性度量。
如第3B圖所示，假設在一可能實施例中，經過相似性度量後，所得到5個相似性距離分別為∆d1=10(a1)；∆d2=40(a2)；∆d3=120(a3)；∆d4=100(a4)；∆d5=80(a5)，其中，∆d1(a1)代表樣本310的分類資訊與OK理想分類資訊之間的相似性距離；∆d2(a2)代表樣本310的分類資訊與ng1理想分類資訊之間的相似性距離；∆d3(a3)代表樣本310的分類資訊與ng2理想分類資訊之間的相似性距離；∆d4(a4)代表樣本310的分類資訊與ng3理想分類資訊之間的相似性距離；以及，∆d5(a5)代表樣本310的分類資訊與ng4理想分類資訊之間的相似性距離。
接著，進行權重分析，讓相似度較高的分類資訊得到較高的權重。在本案實施例中，權重分析的一例例如如下所示。將所有的相似性距離相加(=a1+…a5)，並讓個別相似性距離除以所有的相似性距離總和。得到下列值：a1/()=10/350、a2/()=40/350、a3/()=120/350、a4/()=100/350與a5/()=80/350。之後，利用上述公式來進行下列正規化計算(w=n-1=5-1=4)：=()/[w*(a1+…+a5)]=(350-10)/(4*350)=0.2425；=()/[w*(a1+…+a5)]=(350-40)/(4*350)=0.2225；=()/[w*(a1+…+a5)]=(350-120)/(4*350)=0.165；=()/[w*(a1+…+a5]=(350-100)/(4*350)=0.1775；=()/[w*(a1+…+a5]=(350-80)/(4*350)=0.1925。
也就是說，對於樣本310的該些相似性距離(相似性度量)，給予不同的權重，相似性距離(相似性度量)愈小者，給予愈大的權重；反之，相似性距離(相似性度量)愈大者，給予愈小的權重。
故而，由該樣本的正規化權重分析結果可看到，該樣本310應該被判為OK，而且，此判定的誤殺機率大為降低(相較之下，如果用樣本310的離散輸出分類資訊[0.3、0.3、0.1、0.2、0.1]來判斷，可能會誤判為ng1)。
如第4A圖所示，在習知技術中，對於各樣本410-450，經過離散輸出，可以得到該些樣本的分類結果。例如，經過AI訓練模組150進行離散輸出後，樣本410的分類資訊乃是：[0.1、0.0、0.8、0.0、0.1]。故而，將樣本410判定為ng2(第二種失敗類型)是沒有問題的，因為其機率0.8明顯高於其他4種分類的機率。
第4A圖與第4B圖中的五種分類結果(OK、ng1-ng4)乃是用於舉例說明，當知本案並不受限於此。
相似地，樣本420的分類資訊乃是：[0.0、0.0、0.0、0.1、0.9]，故而，將樣本420判定為ng4(第四種失敗類型)是沒有問題的，因為其機率0.9明顯高於其他4種分類的機率。
樣本430的分類資訊乃是：[0.0、0.0、0.0、1.0、0.0]，故而，將樣本430判定為ng3(第三種失敗類型)是沒有問題的，因為其機率1.0明顯高於其他4種分類的機率。
樣本440的分類資訊乃是：[0.5、0.3、0.1、0.1、0.0]，故而，將樣本440判定為OK可能存在誤判潛在性，因為其OK的機率0.5雖高於其他4種分類的機率，但未明顯高於其他4種分類的機率。
樣本450的分類資訊乃是：[0.3、0.3、0.1、0.2、0.1]，故而，將樣本440判定為OK或者是ng1可能存在誤判潛在性，因為樣本440是OK或者是ng1的機率0.3，雖高於其他4種分類的機率，但未明顯高於其他4種分類的機率。
亦即，如果以第4A圖的情況，在習知技術中，可能會將樣本440分類為OK，且將樣本450分類為OK(或者ng1)，但這當中存在著不低的誤判風險，亦即，會被視為模糊缺陷(ambiguous defect)。
但如果經本案實施例的AI訓練模組150，對於誤判風險較高的樣本(如樣本440或450)，進行第3A圖的分類流程的話，則可能可以將樣本440或450的分類結果變成如第5A圖或第5B圖所示。
亦即，如第5A圖所示，樣本440的分類資訊為[0.5、0.3、0.1、0.1、0.0]，經過相似性度量後，所得到5個相似性距離分別為∆d1=-9(a1)；∆d2=1(a2)；∆d3=5(a3)；∆d4=3(a4)；∆d5=5(a5)，其中，∆d1代表樣本440的分類資訊與OK理想分類資訊之間的相似性距離；∆d2代表樣本440的分類資訊與ng1理想分類資訊之間的相似性距離；∆d3代表樣本440的分類資訊與ng2理想分類資訊之間的相似性距離；∆d4代表樣本440的分類資訊與ng3理想分類資訊之間的相似性距離；以及，∆d5代表樣本440的分類資訊與ng4理想分類資訊之間的相似性距離。
接著，進行權重分析，讓相似度較高的分類資訊得到較高的權重。將所有的相似性距離相加(∆d1+…∆d5)，並讓個別相似性距離除以所有的相似性距離總和。得到下列值：∆d1/(∆d1+…∆d5)=-9/5、∆d2/(∆d1+…∆d5)=1/5、∆d3/(∆d1+…∆d5)=5/5、∆d4/(∆d1+…∆d5)=3/5與∆d5/(∆d1+…∆d5)=5/5。之後，進行下列正規化計算(其用於舉例說明，並非用於限制本案)，以得到權重加強後的分類資訊(w=n-1=5-1=4)：=()/[w*(a1+…+a5)]=[(5-(-9)]/(4*5)=0.7；=()/[w*(a1+…+a5)]=(5-1)/(4*5)=0.2；=()/[w*(a1+…+a5)]=(5-5)/(4*5)=0；=()/[w*(a1+…+a5]=(5-3)/(4*5)=0.1；=()/[w*(a1+…+a5]=(5-5)/(4*5)=0。
故而，由該樣本440的正規化權重分析結果可看到，該樣本440應該被判為OK，而且，此判定的誤殺機率大為降低。
相似地，如第5B圖所示，樣本450的分類資訊為[0.3、0.3、0.1、0.2、0.1]，經過相似性度量後，所得到5個相似性距離分別為∆d1=18；∆d2=-42；∆d3=18；∆d4=18；∆d5=18，其中，∆d1代表樣本450的分類資訊與OK理想分類資訊之間的相似性距離；∆d2代表樣本450的分類資訊與ng1理想分類資訊之間的相似性距離；∆d3代表樣本450的分類資訊與ng2理想分類資訊之間的相似性距離；∆d4代表樣本450的分類資訊與ng3理想分類資訊之間的相似性距離；以及，∆d5代表樣本450的分類資訊與ng4理想分類資訊之間的相似性距離。
接著，進行權重分析，讓相似度較高的分類資訊得到較高的權重。將所有的相似性距離相加(∆d1+…∆d5)，並讓個別相似性距離除以所有的相似性距離總和。得到下列值：∆d1/(∆d1+…∆d5)=18/30、∆d2/(∆d1+…∆d5)=-42/30、∆d3/(∆d1+…∆d5)=18/30、∆d4/(∆d1+…∆d5)= 18/30與∆d5/(∆d1+…∆d5)= 18/30。之後，進行下列正規化計算(其用於舉例說明，並非用於限制本案)，以得到權重加強後的分類資訊(w=n-1=5-1=4)：=()/[w*(a1+…+a5)]= (30-18)/(4*30)=0.1；=()/[w*(a1+…+a5)]= [30-(-42)]/(4*30)=0.6；=()/[w*(a1+…+a5)] (30-18)/(4*30)=0.1；=()/[w*(a1+…+a5]= (30-18)/(4*30)=0.1；=()/[w*(a1+…+a5]= (30-18)/(4*30)=0.1。
故而，由該樣本450的正規化權重分析結果可看到，該樣本450應該被判為ng1，而且，此判定的誤殺機率大為降低。
比較第4A圖至第5B圖可看出，在本案實施例中，對於較可能被誤判的樣本，經過核函數運算後，可以使得原本有模糊缺陷的分類資訊，讓其更為顯著。
本案實施例以機器學習(Machine Learning)為基礎，可提升AOI設備檢出率。本案實施例可有效解決傳統AOI設備無法有效檢測瑕疵與無法高品質檢查多樣性產品之缺點。
本案實施例應用以機器學習為基礎的視覺檢測應用，開發具有自我學習、仿人眼檢查式與高通用性等優點之AOI 檢測及自主分類技術。
本案實施例將機器視覺特徵萃取技術結合最大熵卷積神經網絡(Maximum Entropy Convolutional Neural Network，MECNN)技術，可以降低漏檢率並提高誤殺率，再從誤殺的瑕疵中透過特徵權重分析選出正常的樣本，藉此進行遞迴式的深度學習(如第2圖中的步驟240的分類結果可以回授至AI訓練模組150，再次進行對AI訓練模組150的訓練)，來降低誤殺率，達成低漏檢率與低誤殺率，及提升檢出率。
本案實施例中，所提出的深度學習之機器學習系統，可發展出能透過經驗自動改進之AOI檢測演算法，用以優化傳統機器視覺檢測。本案實施例可從少量訓練資料建立出一個模型/函數，讓大量的未訓練待測物可以饋入這個模型/函數，進行遞歸分析或分類來預測結果。
此外，在本案實施例中，在進行遞歸分析或分類時，深度神經網路(DNN，Deep Neural Networks)會對於訓練樣本的尺寸、顏色與位移角度容忍度不佳所造成的正確率低落問題，提出混合式抽樣架構及假警報(false alarm)回饋機制來改善DNN技術。本案實施例可利用固定訓練物之特徵模型，進行比對抽出訓練樣本主體與假警報樣本回饋至DNN進行訓練，用以降低製程變異的非訓練正常樣本。
本案實施例可突破傳統AOI檢測技術之困境，減少AOI檢測機台設備的開發時間，並增加機台之廣泛應用度。
此外，本案實施例的AI訓練模組150可以搭配現有AOI設備或AOI軟體進行運作，也可以獨立運作，增加使用時的彈性。
本案實施例以DNN為基礎，進行遞迴式深度學習機制，可以進行大量新資料之自動訓練與分類。
本案實施例使用權重特徵，來分析深度學習後的離散結果，能對習知AOI設備不易分辨的模糊缺陷(ambiguous defect)進行有效分類，並將新的結果遞迴至AI訓練模組，以增加AI訓練模組的強健性，提升AOI設備的檢出率。
此外，本案實施例更提出於電腦可讀取媒體中，當被自動光學檢測影像分類系統載入時，自動光學檢測影像分類系統可執行如第2圖、第3A圖、第3B圖、第5A圖或第5B圖的自動光學檢測影像分類方法。
綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧自動光學檢測影像分類系統
120‧‧‧自動光學檢查設備
150‧‧‧人工智慧訓練模組
170‧‧‧分類裝置
210-245‧‧‧步驟
310、410-450‧‧‧樣本
第1圖顯示根據本案實施例之自動光學檢測影像分類系統之功能方塊示意圖。 第2圖顯示根據本案實施例之自動光學檢測影像分類方法之流程圖。 第3A圖與第3B圖顯示根據本案實施例之核函數(kernel function)，對樣本進行權重特徵分析的示意圖。 第4A圖與第4B圖分別顯示習知技術的分類結果與根據本案實施例的自動光學檢測影像分類系統的分類結果。 第5A圖與第5B圖分別顯示根據本案實施例之核函數，對樣本進行權重特徵分析的示意圖。

Claims (11)

  1. 一種自動光學檢測影像分類方法，包括： 將一自動光學檢查(Automated Optical Inspection，AOI)設備所傳來的複數個樣本的複數個失敗(NG)資訊送入一人工智慧訓練模組內； 該人工智慧訓練模組對該些樣本的該些失敗資訊進行離散輸出，以得到對該些樣本的複數個分類資訊； 該人工智慧訓練模組將該些樣本的該些分類資訊進行核函數運算，以計算該些樣本的個別相似性距離並進行權重分析； 根據對該些樣本的權重分析結果，進行分類結果判定，以判定該些樣本的個別分類結果；以及 根據該些樣本的個別分類結果，對該些樣本進行分類。
  2. 如申請專利範圍第1項所述之自動光學檢測影像分類方法，其中，計算該些樣本的個別相似性距離之該步驟包括： 計算該些樣本的複數個分類資訊與複數個理想分類之間的複數個相似性距離。
  3. 如申請專利範圍第2項所述之自動光學檢測影像分類方法，其中，進行權重分析之該步驟包括： 對該些樣本的該些相似性距離給予個別權重，其中，如果一第一樣本的一第一相似性距離小於該第一樣本的一第二相似性距離，則該第一樣本的該第一相似性距離的一第一權重高於該第一樣本的該第二相似性距離的一第二權重。
  4. 如申請專利範圍第1項所述之自動光學檢測影像分類方法，其中，該些樣本的該些分類結果回授至該人工智慧訓練模組，用以訓練該人工智慧訓練模組。
  5. 如申請專利範圍第1項所述之自動光學檢測影像分類方法，其中，進行分類之該步驟包括：由一分類裝置進行分類，該分類裝置包括：一氣壓缸、一輸送帶、一懸臂機構、一機器手臂、一載台之任意組合。
  6. 一種自動光學檢測影像分類系統， 一自動光學檢查(Automated Optical Inspection，AOI)設備，對複數個樣本進行自動光學檢查，以得到該些樣本的個別成功資訊或失敗(NG)資訊；以及 一人工智慧訓練模組，耦接於該自動光學檢查設備，該人工智慧訓練模組接收由該自動光學檢查設備所傳來的該些樣本的該些失敗資訊，該人工智慧訓練模組對該些樣本的該些失敗資訊進行離散輸出，以得到對該些樣本的複數個分類資訊，該人工智慧訓練模組將該些樣本的該些分類資訊進行核函數運算，以計算該些樣本的個別相似性距離並進行權重分析，根據對該些樣本的權重分析結果，進行分類結果判定，以判定該些樣本的個別分類結果。
  7. 如申請專利範圍第6項所述之自動光學檢測影像分類系統，其中，該人工智慧訓練模組計算該些樣本的複數個分類資訊與複數個理想分類之間的複數個相似性距離。
  8. 如申請專利範圍第7項所述之自動光學檢測影像分類系統，其中，該人工智慧訓練模組對該些樣本的該些相似性距離給予個別權重，其中，如果一第一樣本的一第一相似性距離小於該第一樣本的一第二相似性距離，則該第一樣本的該第一相似性距離的一第一權重高於該第一樣本的該第二相似性距離的一第二權重。
  9. 如申請專利範圍第6項所述之自動光學檢測影像分類系統，其中，該人工智慧訓練模組所得的該些樣本的該些分類結果係回授至該人工智慧訓練模組，用以訓練該人工智慧訓練模組。
  10. 如申請專利範圍第6項所述之自動光學檢測影像分類系統，其中，該人工智慧訓練模組所得的該些樣本的該些分類結果係由一分類裝置進行分類， 其中，該分類裝置包括：一氣壓缸、一輸送帶、一懸臂機構、一機器手臂、一載台之任意組合。
  11. 一種電腦可讀取記錄媒體，當載入於一自動光學檢測影像分類系統時，該自動光學檢測影像分類系統可執行如申請專利範圍第1-5項其中之任一項所述之自動光學檢測影像分類方法。
TW106137265A 2017-10-27 2017-10-27 自動光學檢測影像分類方法、系統及含有該方法之電腦可讀取媒體 TWI649659B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106137265A TWI649659B (zh) 2017-10-27 2017-10-27 自動光學檢測影像分類方法、系統及含有該方法之電腦可讀取媒體
CN201711131911.8A CN109726730B (zh) 2017-10-27 2017-11-15 自动光学检测图像分类方法、系统及计算机可读介质
US15/846,886 US10636133B2 (en) 2017-10-27 2017-12-19 Automated optical inspection (AOI) image classification method, system and computer-readable media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106137265A TWI649659B (zh) 2017-10-27 2017-10-27 自動光學檢測影像分類方法、系統及含有該方法之電腦可讀取媒體

Publications (2)

Publication Number Publication Date
TWI649659B TWI649659B (zh) 2019-02-01
TW201917598A true TW201917598A (zh) 2019-05-01

Family

ID=66213788

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106137265A TWI649659B (zh) 2017-10-27 2017-10-27 自動光學檢測影像分類方法、系統及含有該方法之電腦可讀取媒體

Country Status (3)

Country Link
US (1) US10636133B2 (zh)
CN (1) CN109726730B (zh)
TW (1) TWI649659B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
CN112304952B (zh) * 2019-07-23 2024-04-02 纬创资通股份有限公司 影像辨识装置、影像辨识方法及其计算机程序产品
CN112763506A (zh) * 2019-10-17 2021-05-07 智泰科技股份有限公司 兼具aoi及ai的瑕疵检测方法及其装置
US11727553B2 (en) 2019-11-12 2023-08-15 Bright Machines, Inc. Vision analysis and validation system for improved inspection in robotic assembly
US11321822B2 (en) 2020-07-30 2022-05-03 International Business Machines Corporation Determining image defects using image comparisons
CN112308138B (zh) * 2020-10-30 2024-04-09 中国平安财产保险股份有限公司 模型采样方法、装置、计算机设备及存储介质
CN115100095B (zh) * 2021-12-29 2023-08-22 苏州真目人工智能科技有限公司 一种基于非监督算法的pcb板检测方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996549B2 (en) * 1998-05-01 2006-02-07 Health Discovery Corporation Computer-aided image analysis
US7046842B2 (en) * 1999-08-17 2006-05-16 National Instruments Corporation System and method for color characterization using fuzzy pixel classification with application in color matching and color match location
CN101536011B (zh) 2005-01-21 2013-01-09 光子动力学公司 自动缺陷修复系统
EP1932116A2 (en) 2005-08-26 2008-06-18 Camtek Ltd. Method and system for automatic defect detection of articles in visual inspection machines
US8131107B2 (en) * 2008-05-12 2012-03-06 General Electric Company Method and system for identifying defects in NDT image data
US8386401B2 (en) * 2008-09-10 2013-02-26 Digital Infuzion, Inc. Machine learning methods and systems for identifying patterns in data using a plurality of learning machines wherein the learning machine that optimizes a performance function is selected
CN101419671B (zh) * 2008-11-10 2011-05-18 北方工业大学 基于模糊支持向量机的人脸性别识别方法
CN101807254B (zh) * 2009-02-13 2012-06-27 烟台海岸带可持续发展研究所 用于图像分类识别的合成核支持向量机的实现方法
CN101539930B (zh) * 2009-04-21 2011-06-15 武汉大学 一种相关反馈图像检索方法
CN101692224B (zh) * 2009-07-08 2011-08-17 南京师范大学 融合空间关系语义的高分辨率遥感图像检索方法
ES2837552T3 (es) 2010-03-13 2021-06-30 Univ Carnegie Mellon Método para reconocer y clasificar una planta de raíz desnuda
BR112013008307A2 (pt) * 2010-10-19 2019-09-24 3M Innovative Properties Co plotagem contínua de severidade de não-uniformidade para detecção de variabilidade em materiais à base de manta
TWI408037B (zh) 2010-12-03 2013-09-11 Ind Tech Res Inst 機械手臂的定位方法及校正方法
CN102739952B (zh) 2011-03-29 2015-06-03 财团法人工业技术研究院 多视角取像方法及其应用系统
CN102208038B (zh) * 2011-06-27 2012-12-26 清华大学 基于视觉词典的图像分类方法
CN102314614B (zh) * 2011-10-24 2013-06-05 北京大学 一种基于类共享多核学习的图像语义分类方法
CN103164713B (zh) * 2011-12-12 2016-04-06 阿里巴巴集团控股有限公司 图像分类方法和装置
CN103294716B (zh) * 2012-02-29 2016-08-10 佳能株式会社 用于分类器的在线半监督学习方法和装置及处理设备
US9607233B2 (en) 2012-04-20 2017-03-28 Applied Materials Israel Ltd. Classifier readiness and maintenance in automatic defect classification
US9310316B2 (en) 2012-09-11 2016-04-12 Kla-Tencor Corp. Selecting parameters for defect detection methods
CN102999762B (zh) * 2012-10-25 2016-01-20 西安电子科技大学 基于Freeman分解和谱聚类的极化SAR图像分类方法
JP6041203B2 (ja) * 2012-11-02 2016-12-07 公立大学法人大阪市立大学 画像検索装置、画像検索方法及び画像検索プログラム
CN103177265B (zh) * 2013-03-25 2016-09-14 中山大学 基于核函数与稀疏编码的高清图像分类方法
CN103345645B (zh) * 2013-06-27 2016-09-28 复旦大学 面向网购平台的商品图像类别预测方法
TWI480508B (zh) 2013-09-16 2015-04-11 Ind Tech Res Inst 物體位置資訊的量測方法及裝置
TWI525317B (zh) 2013-10-08 2016-03-11 國立清華大學 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法
US9349105B2 (en) * 2013-12-18 2016-05-24 International Business Machines Corporation Machine learning with incomplete data sets
TWI493153B (zh) 2014-04-08 2015-07-21 Ind Tech Res Inst 非接觸式物件空間資訊量測裝置與方法及取像路徑的計算方法
US9645097B2 (en) 2014-06-20 2017-05-09 Kla-Tencor Corporation In-line wafer edge inspection, wafer pre-alignment, and wafer cleaning
CN104318242A (zh) * 2014-10-08 2015-01-28 中国人民解放军空军工程大学 一种高效的svm主动半监督学习算法
CN105718937B (zh) * 2014-12-03 2019-04-05 财团法人资讯工业策进会 多类别对象分类方法及系统
US10650508B2 (en) 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
TWI517101B (zh) 2014-12-09 2016-01-11 財團法人工業技術研究院 三維掃描器校正系統及其校正方法
CN104670896A (zh) * 2015-02-05 2015-06-03 孙平 双线平行输送自动上下pcb板的aoi工位
CN105184298B (zh) * 2015-08-27 2018-10-19 重庆大学 一种快速局部约束低秩编码的图像分类方法
US10176588B2 (en) 2015-09-14 2019-01-08 Sightline Innovation Inc. System and method for specular surface inspection
CN105608690B (zh) * 2015-12-05 2018-06-08 陕西师范大学 一种基于图论和半监督学习相结合的图像分割方法
US10360477B2 (en) * 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
US10395356B2 (en) 2016-05-25 2019-08-27 Kla-Tencor Corp. Generating simulated images from input images for semiconductor applications
CN107527318B (zh) 2017-07-17 2021-06-04 复旦大学 一种基于生成对抗式网络模型的发型更换方法

Also Published As

Publication number Publication date
TWI649659B (zh) 2019-02-01
CN109726730A (zh) 2019-05-07
US20190130555A1 (en) 2019-05-02
CN109726730B (zh) 2022-10-25
US10636133B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
TWI649659B (zh) 自動光學檢測影像分類方法、系統及含有該方法之電腦可讀取媒體
CN109977808B (zh) 一种晶圆表面缺陷模式检测与分析方法
Pan et al. A new image recognition and classification method combining transfer learning algorithm and mobilenet model for welding defects
TWI683262B (zh) 工業影像檢測方法、系統與電腦可讀取記錄媒體
CN110648305A (zh) 工业图像检测方法、系统与计算机可读记录介质
CN111652853A (zh) 一种基于深度卷积神经网络的磁粉探伤检测方法
TW202125330A (zh) 物件的瑕疵判斷方法及裝置
CN113077450A (zh) 基于深度卷积神经网络的樱桃分级检测方法及系统
CN114580934A (zh) 基于无监督异常检测的食品检测数据风险的早预警方法
Saleh et al. Tire defect detection model using machine learning
CN116777836A (zh) 一种基于多模态数据驱动的注塑工艺产品品质检测方法
Kamal et al. Gear classification for defect detection in vision inspection system using deep convolutional neural networks
CN112465784A (zh) 一种地铁夹钳外观异常检测的方法
CN117689646A (zh) 一种正负样本融合的高精度缺陷检测方法、系统及介质
CN106169079B (zh) 一种基于计算机视觉的压力容器数量识别方法
Chang et al. An improved faster r-cnn algorithm for gesture recognition in human-robot interaction
Peng et al. Contamination classification for pellet quality inspection using deep learning
Mansano et al. Inspection of metallic surfaces using local binary patterns
CN114757916A (zh) 基于特征提取和bp网络的工业ct图像缺陷分类方法
Aydin et al. A vision based inspection system using gaussian mixture model based interactive segmentation
Oz et al. A nested autoencoder approach to automated defect inspection on textured surfaces
Cao et al. Tube defect detection algorithm under noisy environment using feature vector and neural networks
Cateni et al. Fuzzy inference systems applied to image classification in the industrial field
Ghansiyal et al. Anomaly detection towards zero defect manufacturing using generative adversarial networks
Lin et al. Vision-based Robotic Arm in Defect Detection and Object Classification Applications.