TW201514472A - 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法 - Google Patents

整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法 Download PDF

Info

Publication number
TW201514472A
TW201514472A TW102136422A TW102136422A TW201514472A TW 201514472 A TW201514472 A TW 201514472A TW 102136422 A TW102136422 A TW 102136422A TW 102136422 A TW102136422 A TW 102136422A TW 201514472 A TW201514472 A TW 201514472A
Authority
TW
Taiwan
Prior art keywords
defect
image
classification
defects
feature
Prior art date
Application number
TW102136422A
Other languages
English (en)
Other versions
TWI525317B (zh
Inventor
Kuo-Hao Chang
Chen-Fu Chien
Ying-Jen Chen
Original Assignee
Nat Univ Tsing Hua
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nat Univ Tsing Hua filed Critical Nat Univ Tsing Hua
Priority to TW102136422A priority Critical patent/TWI525317B/zh
Publication of TW201514472A publication Critical patent/TW201514472A/zh
Application granted granted Critical
Publication of TWI525317B publication Critical patent/TWI525317B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00496Recognising patterns in signals and combinations thereof
    • G06K9/00536Classification; Matching
    • G06K9/00543Classification; Matching by matching peak patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Abstract

一種整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法,係一自動化缺陷偵測與分類系統,透過缺陷偵測、特徵萃取與相似度衡量、及缺陷分類等三個階段,針對AOI偵測後之灰階缺陷影像依照使用者定義進行自動化地分析及分類,主要係針對有效區做分類。首先利用影像分析之概念進行缺陷偵測,於擷取出其缺陷後,再萃取出與缺陷相關之各式不同之特徵值,透過特徵值相似度比對以區隔使用者定義之缺陷樣型,最後以CART建構分類規則,將缺陷影像自動分類,並且透過前述特徵值相似度比對區分CART無法有效分類之其他類,分類完後及時回饋缺陷樣型之資訊以排除製程缺陷來降低缺陷率;藉此,不僅減低用人眼辨識之依賴性,更可以有效提升缺陷影像分類之效能與效率,包含提高一致性與正確性以及結果之可靠性,進而達到良率提升之效果。

Description

整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法
本發明係有關於一種整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法,尤指涉及一種自動化缺陷偵測與分類系統,特別係指透過缺陷偵測、特徵萃取與相似度衡量、及缺陷分類等三個階段,針對AOI偵測後之灰階缺陷影像依照使用者定義進行自動化地分析及分類者。
彩色濾光片為現在許多消費性電子產品中之重要零組件,包含液晶顯示器、智慧型手機與平板電腦上之相機鏡頭等。彩色濾光片製造商在出貨檢驗(Out-going Quality Control, OQC)階段會進行一連串之抽樣檢測以確保出貨品質,而自動光學檢測(Automated Optical Inspection, AOI)係其中一種檢測晶粒上表面瑕疵之機器視覺技術,其檢測結果會以灰階影像呈現。
缺陷樣型係一重要之資訊,可以讓領域專家判斷造成缺陷之可能原因。隨著產業之分工,責任之釐清係目前公司面臨之一大難題。目前分類之方法係由人為判斷,然其缺失包括:其一,人眼會累,長久下來容易造成誤判之情形;其二,缺陷分類之準則與依據往往只內隱在少數之領域專家心中,且人為判斷也容易因為經驗與分類習慣不同造成判斷不一致。並且,由於以往彩色濾光片之分類大多都是針對彩色影像,而公司提供之影像為灰階影像,缺陷之顏色與背景相當接近,因此也增加分析之困難度。故,ㄧ般習用者係無法符合使用者於實際使用時之所需。
本發明之主要目的係在於,克服習知技藝所遭遇之上述問題並提供一種透過缺陷偵測、特徵萃取與相似度衡量、及缺陷分類等三個階段,針對AOI偵測後之灰階缺陷影像依照使用者定義進行自動化地分析及分類之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法。
本發明之次要目的係在於,提供一種分類完後可及時回饋缺陷樣型之資訊以排除製程缺陷來降低缺陷率之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法。
本發明之另一目的係在於,提供一種不僅減低用人眼辨識之依賴性,更可以有效提升缺陷影像分類之效能與效率,包含提高一致性與正確性以及結果之可靠性,進而達到良率提升之效果之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法。
為達以上之目的,本發明係一種整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法,其至少包含下列步驟:
(A)缺陷偵測:對每張缺陷影像利用兩階段參數調整法偵測缺陷之輪廓,進行影像中之缺陷位置、形狀及大小之辨識,俾以定義出各式缺陷樣型,其中,該缺陷樣型包括亮白色缺陷(MC)、灰白色塊狀微小缺陷(MQ)、灰黑色塊狀微小缺陷(MN)、灰黑色條狀缺陷(MR)、黑點光暈缺陷(MT)、泡泡狀大型缺陷(WN)、假警訊(False Alarm, FA)、以及其他類(Other, OT);
(B)特徵萃取與相似度衡量:萃取上述各式缺陷樣型之缺陷特徵,該缺陷特徵包含顏色特徵、形狀特徵與統計特徵之特徵值,利用該缺陷特徵進行相似度比對,判斷特徵值是否符合缺陷樣型之特徵,以區隔上述定義之缺陷樣型;以及
(C)缺陷分類:利用分類與迴歸樹(Classification And Regression Tree, CART)演算法結合萃取出之特徵值以吉尼指標(Gini Index)建構分類規則,將缺陷影像自動分類,所得分類結果並與特徵相似度進行比較,判斷分類結果與特徵相似度比對是否一致,並區分CART演算法無法有效分類者為其他類。
於本發明上述實施例中,該步驟(A)兩階段參數調整法為坎尼(Canny)邊緣偵測演算法,其參數設定包含高斯濾波器之標準差(σ)及雙門檻值(TLOW 、THIGH ),其中參數TLOW 為第一階段設定之門檻值,用以偵測出較為明顯以及大範圍之缺陷樣型(MC、MT、WN),而參數THIGH 為第二階段設定之門檻值,用以偵測出微小之缺陷樣型(MQ、MN、MR),以及分辨假警訊(FA)之影像;並且,若第二階段未能偵測出正確之缺陷樣型,即缺陷面積佔其周圍矩形面積小於0.001時,表示其可能為一多重缺陷(multi-defect)之影像,則將其分類至其他類(OT)。
於本發明上述實施例中,該Canny邊緣偵測演算法係將值高於THIGH 判斷為強之邊緣,而低於TLOW 則將之去除,介於THIGH 與TLOW 兩者中間則判斷為弱之邊緣,並以強之邊緣為偵測後最終之邊緣,再從其附近搜尋弱之邊緣,進而將其連結起來,成為最終缺陷之輪廓。
於本發明上述實施例中,該步驟(B)顏色特徵係包含缺陷樣型灰階像素最大值、缺陷樣型灰階像素最小值、及缺陷樣型灰階像素全距,用以取其灰階像素之最大值、最小值及全距作為分類特徵。
於本發明上述實施例中,該步驟(B)形狀特徵係包含缺陷面積、缺陷其周圍矩形面積、及缺陷佔其周圍矩形面積比例,用以區別為條狀缺陷或塊狀缺陷之特徵。
於本發明上述實施例中,該步驟(B)統計特徵係包含影像強化後之灰階像素最大值、影像強化後之像素平均值、影像強化後之像素變異數、及影像強化後之像素偏態係數,係使用強化公式將原始灰階影像進行強化後再計算像素之最大值、平均值、變異數以及偏態係數之統計量作為特徵,經由拉大缺陷影像之像素範圍以突顯影像中之缺陷之像素值,該強化公式為:

其中,該係為在影像中任一組座標之灰階值;以及該分別為影像中灰階之最大值與最小值。
於本發明上述實施例中,該平均值、變異數以及偏態係數之統計量之計算公式為:
平均值
變異數
偏態係數

其中,該為強化後之每一點像素值;以及該為總像素個數。
於本發明上述實施例中,該步驟(B)利用該缺陷特徵進行相似度比對,係以特徵值為基礎之相似度分類模式,其步驟包含:
(b1)收集一組訓練資料以萃取多項特徵,並以標準差係數為基礎,由小排到大選出每一缺陷樣型之前t名特徵值,該標準差係數之計算公式為:
標準差係數
(b2)將待分類影像逐一使用每一缺陷樣型之前t名特徵值進行相似度計算,取其特徵值之平均值,以各特徵值標準差係數最小為主,其計算公式為:
相似度
其中,該係為訓練資料中缺陷樣型之第名特徵值之平均值,而該則為待分類影像之第名特徵值;以及
(b3)對每一缺陷樣型定義門檻值,再與上述計算每一缺陷影像與每一缺陷樣型所得之相似度做比較,若相似度小於該門檻值則將之歸為該缺陷樣型,若所有缺陷樣型之相似度均高於門檻值,則歸為其他類進行人工判斷。
於本發明上述實施例中,該步驟(C)係以多項萃取特徵與訓練資料集中之影像資料進行遞迴分割以產生每一缺陷樣型之分類規則,每一次進行分割之準則在於最大化單一缺陷樣型之準確率以及分割節點之正確率,每一分割節點以及分割門檻值均係透過CART演算法自動產生,同時每一缺陷樣型只會對應到一分類規則,建立此分類規則之後,待分類影像便能歸類到其中一類缺陷樣型。
11‧‧‧步驟(A)缺陷偵測
12‧‧‧步驟(B)特徵萃取與相似度衡量
13‧‧‧步驟(C)缺陷分類
s100~s113‧‧‧步驟
第1圖,係本發明之自動化缺陷偵測與分類之流程示意圖。
第2圖,係本發明萃取缺陷樣型之顏色特徵示意圖。
第3圖,係本發明萃取缺陷樣型之形狀特徵示意圖。
第4圖,係本發明缺陷樣型之分類規則示意圖。
第5圖,係本發明之缺陷偵測結果示意圖。
請參閱『第1圖~第4圖』所示,係分別為本發明之自動化缺陷偵測與分類之流程示意圖、本發明萃取缺陷樣型之顏色特徵示意圖、本發明萃取缺陷樣型之形狀特徵示意圖、及本發明缺陷樣型之分類規則示意圖。如圖所示:本發明係一種整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法,係直接處理大小為2352*1722之原始影像,可直接應用於線上之系統,透過三個階段:缺陷偵測、特徵萃取與相似度衡量、及缺陷分類,針對高科技產業中常見之自動光學檢測機台(Automatic Optical Inspection, AOI)所產生之灰階缺陷影像依照使用者定義進行自動化分類,減低用人眼辨識之依賴性,並提升分類之一致性與正確性以及結果之可靠性,進而達到良率提升之效果。本發明所提之自動光學檢測缺陷影像分類方法,其至少包含下列步驟:
(A)缺陷偵測11:對每張缺陷影像利用兩階段參數調整法偵測缺陷之輪廓,進行影像中之缺陷位置、形狀及大小之辨識,俾以定義出各式缺陷樣型,其中,該缺陷樣型包括亮白色缺陷(MC)、灰白色塊狀微小缺陷(MQ)、灰黑色塊狀微小缺陷(MN)、灰黑色條狀缺陷(MR)、黑點光暈缺陷(MT)、泡泡狀大型缺陷(WN)、假警訊(False Alarm, FA)、以及其他類(Other, OT),整理如表1所示;
表1

(B)特徵萃取與相似度衡量12:萃取上述各式缺陷樣型之缺陷特徵,該缺陷特徵包含顏色特徵、形狀特徵與統計特徵之特徵值,利用該缺陷特徵進行相似度比對,判斷特徵值是否符合缺陷樣型之特徵,以區隔上述定義之缺陷樣型;以及
(C)缺陷分類13:利用分類與迴歸樹(Classification And Regression Tree, CART)演算法結合萃取出之特徵值以吉尼指標(Gini Index)建構分類規則,將缺陷影像自動分類,所得分類結果並與特徵相似度進行比較,判斷分類結果與特徵相似度比對是否一致,並區分CART演算法無法有效分類者為其他類。
上述步驟(A)兩階段參數調整法為坎尼(Canny)邊緣偵測演算法,其參數設定包含高斯濾波器之標準差(σ)及雙門檻值(TLOW 、THIGH ),藉由兩階段之調整法以提高缺陷偵測之準確度。該Canny邊緣偵測演算法係將值高於THIGH 判斷為強之邊緣,而低於TLOW 則將之去除,介於THIGH 與TLOW 兩者中間則判斷為弱之邊緣。將其區別後,強之邊緣即為偵測後最終之邊緣,再從其附近搜尋弱之邊緣,進而將其連結起來,成為最終缺陷之輪廓。因此,本發明以參數TLOW 為第一階段設定之門檻值,其值較為寬鬆,用以偵測出較為明顯以及大範圍之缺陷樣型(MC、MT、WN);以參數THIGH 為第二階段設定之門檻值,其值較為嚴格,用以偵測出微小之缺陷樣型(MQ、MN、MR),以及分辨假警訊(FA)之影像。並且,依照偵測失敗之設定準則如下,其中 β代表0.001:
缺陷面積/其周圍矩形面積<β,
若第二階段未能偵測出正確之缺陷樣型,表示其可能為一多重缺陷(multi-defect)之影像,則將其分類至其他類(OT)。
上述步驟(B)係定義以下10項特徵以進行分類,其中該顏色特徵係包含下述1~3項特徵,該形狀特徵係包含下述4~6項特徵,該統計特徵係包含下述7~10項特徵:
1.缺陷樣型灰階像素最大值。
2.缺陷樣型灰階像素最小值。
3.缺陷樣型灰階像素全距(最大值減最小值)。
於其中,鑑於某些特定缺陷樣型之類型,其缺陷之部分會呈現較亮白之狀態,因此取其灰階像素之最大值、最小值及全距作為分類特徵,如第2圖所示。
4.缺陷面積:灰階影像經過Canny邊緣偵測演算法二元切割後,缺陷之像素值為1,因此缺陷面積為整張影像像素值加總。
5.缺陷其周圍矩形面積:能夠包含缺陷之最小長方形面積。
6.缺陷佔其周圍矩形面積比例:能夠包含缺陷之最小長方形面積內,有多少比例為缺陷處。
於其中,上述4~6項特徵可用以區別條狀缺陷或塊狀缺陷,如第3圖所示,圖(a)中矩形內為塊狀缺陷;圖(b)中矩形內為條狀缺陷。
7.影像強化後之灰階像素最大值。
8.影像強化後之像素平均值。
9.影像強化後之像素變異數。
10.影像強化後之像素偏態係數。
於其中,本發明係使用強化公式將原始灰階影像進行強化後再計算像素之最大值、平均值、變異數以及偏態係數等統計量作為特徵,經由拉大缺陷影像之像素範圍以突顯影像中之缺陷之像素值,該強化公式為:

其中,該係為在影像中任一組座標之灰階值,而該則分別為影像中灰階之最大值與最小值。
並且,各統計量之計算公式如下,以代表強化後之每一點像素值,而為總像素個數:
平均值
變異數
偏態係數
本發明係透過雙層分類機制以提高分類之一致性與正確率。第一層分類機制為步驟(B)以特徵值為基礎之相似度分類模式,係利用歐式距離為基礎進行特徵值相似度比對,以區分其他類型之缺陷。其具體步驟包含:
(b1)收集一組訓練資料以萃取上述10項特徵,並以標準差係數為基礎,由小排到大選出每一缺陷樣型之前t名特徵,其中,該標準差係數之計算公式為:
標準差係數
(b2)將待分類影像逐一使用每一缺陷樣型之前t名特徵值進行相似度計算,取其特徵值之平均值,以各特徵值標準差係數最小為主,其計算公式為:
相似度
其中,該係為訓練資料中缺陷樣型之第名特徵值之平均值,而該則為待分類影像之第名特徵值;以及
(b3)對每一缺陷樣型定義門檻值,再與上述計算每一缺陷影像與每一缺陷樣型所得之相似度做比較,若相似度小於該門檻值則將之歸為該缺陷樣型,若所有缺陷樣型之相似度均高於門檻值,則歸為其他類進行人工判斷。
藉此,本發明以訓練資料中之最大之相似度值當作各缺陷樣型之門檻值設定。另外,由於係逐一比對,因此同一影像有可能會被歸類為不同之缺陷樣型。
第二層分類機制為步驟(C)使用資料驅動之CART演算法,以10項萃取特徵與訓練資料集中之影像資料進行遞迴分割以產生每一缺陷樣型之分類規則,每一次進行分割之準則在於最大化單一缺陷樣型之準確率以及分割節點之正確率,如第4圖所示,每一分割節點以及分割門檻值均係透過CART演算法自動產生,同時每一缺陷樣型只會對應到一分類規則,建立此分類規則之後,待分類影像便能易於歸類到其中一類缺陷樣型。
本發明以上述說明之雙層分類機制為基礎決定最後之影像歸類,最終分類之結果會與特徵相似度比對之結果比對,共有下列三種可能情況,其示例如表2所示:
(1)特徵相似度比對結果中無法歸類到任何一類,故歸類至其他類進行人工檢視;
(2)分類樹結果之缺陷樣型不包含於特徵相似度比對結果之缺陷樣型中,故歸類至其他類進行人工檢視;以及
(3)分類樹結果之缺陷樣型包含於特徵相似度比對結果之缺陷樣型中,故歸類至分類樹結果之缺陷樣型。
表2


驗證之指標有整體正確率、樣型檢出率及假警訊率,其計算方式如下,示例如表3所示,以MC、MQ為例:
整體正確率= 
MC樣型檢出率=
MC假警訊率=
表3


如是,藉由上述揭露之流程構成一全新之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法。
當運用時,於一具體實施中,如第1圖所示,在影像擷取步驟s100,針對每張缺陷影像進行影像資料預處理以提升分類成效,包含影像區隔、影像強化等,其中影像周圍有白色區域,係不屬於分析之範圍。在缺陷偵測步驟s101,利用兩階段之Canny邊緣偵測演算法偵測缺陷,其主要係邊緣偵測之一種,偵測缺陷之輪廓,包含進行影像中之缺陷位置、形狀及大小之辨識,以定義出各式缺陷樣型。在缺陷偵測判斷步驟s102,會判斷缺陷是否偵測出來,若判斷結果為否,則表示偵測出來後為全黑影像,係為一假警訊之影像,於是進入假警訊步驟s103;若判斷結果為是,則表示有偵測出微小之缺陷,並且進入判斷缺陷是否偵測正確步驟s104。在該缺陷是否偵測正確步驟s104中,若判斷結果為是,表示有偵測正確,於是進入特徵萃取步驟s105;反之,若判斷結果為否,則表示缺陷面積佔其周圍矩形面積過小(0.001),有可能為多重缺陷,並且進入判斷參數是否調整過步驟s106。該參數是否調整過步驟s106中,若判斷結果為是,將其分類至其他步驟s107;反之,若判斷結果為否,則進入調整參數步驟s108,然後再次回到該缺陷偵測步驟s101重新偵測。而在該特徵萃取步驟s105中,係進行萃取包含顏色特徵、形狀特徵與統計特徵等各式不同之特徵值,並進入特徵相似度比對步驟s109中,利用特徵進行比對後,再進入判斷特徵值是否符合步驟s110。在該特徵值是否符合步驟s110中,若判斷結果為否,則表示該些特徵值不符合既有缺陷樣型之特徵,判斷為其他類,將其分類至該其他步驟s107;若判斷結果為是,則進入缺陷分類步驟s111,利用CART演算法結合萃取出之特徵值以Gini指標建構分類規則。最後,進行特徵相似度與分類結果比較步驟s112,判斷分類結果與特徵相似度比對結果是否一致,若判斷結果為否,則表示不一致,影像判斷為其他類,將其分類至其他步驟;若判斷結果為是,則進入結果步驟s113,表示分類結果與特徵相似度比對結果相符合,完成本案自動化缺陷偵測與分類之流程。
請參閱『第5圖』所示,係本發明之缺陷偵測結果示意圖。如圖所示:為了驗證本方法之效度,係 從新竹科學園區之一家半導體公司取得缺陷影像進行分析。並且將其資料分為兩個資料集,如表4所示,其中一個用來訓練規則,另一個測試其規則是否可行,透過使用真實資料 以驗證本發明所提之方法是否有效。
表4


兩階段參數設定方式如下表5:
表5


如第5圖所示,其為第一階段偵測失敗後到第二階段偵測之結果,就第一階段偵測後結果而言,偵測正確的有MC、MT及WN,而偵測失敗的有MQ、MN及MR,然而透過第二階段偵測後,其偵測正確率即可達100%,示例如表6所示:
表6


在特徵萃取之階段,特徵值主要分為形狀與灰階像素值,像素值之部分可以直接取得,形狀則依賴偵測之結果。如下表7所示,表中為各缺陷樣型之統計量,包含平均值與標準差係數,標準差係數越小者,表示其為具有代表性之特徵值,比較適合當作分類之準則,反之則不適用。
表7


在特徵相似度比對之階段,如下表8所示,採取5個主要之特徵值,選取標準差係數小的優先。當選擇小時,其他類之正確率就會越高,但錯誤率亦會升高。反之,當選擇較大之時,正確率會降低,但既有缺陷樣型可以正確進行分類。於其中,在此之選擇為各缺陷樣型,在訓練階段時最大之值來當作門檻值,以期望既有缺陷樣型能正確進行分類。
表8


在缺陷分類之階段,請同時參閱第4圖,並如下表9所示,可以看出較具代表性之特徵值為:缺陷佔其周圍矩形面積比例、像素最大值、像素最小值、影像強化後之像素最大值、及影像強化後之像素平均值。訓練之結果總體正確率達95%。
表9


利用另外一組資料來驗證規則之正確性。如表10所示,整體正確率達94%。由結果來看,MT正確率最低、WN次之,MC、MQ、MR及MN皆達到90%以上。假警訊偵測之正確率為78%,其主要受到光源及參數設定之影響。
表10


本發明所提整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法,係一自動化缺陷偵測與分類系統,透過三個階段:缺陷偵測、特徵萃取與相似度衡量、及缺陷分類,針對AOI偵測後之灰階缺陷影像依照使用者定義進行自動化地分析及分類,主要係針對有效區(Sensing)做分類,首先利用影像分析之概念(Canny)進行缺陷偵測(邊緣偵測),於擷取出其缺陷後,再萃取出與缺陷相關之各式不同之特徵值,透過特徵值相似度比對以區隔使用者定義之缺陷樣型,最後以分類與迴歸樹(CART)建構分類規則,將缺陷影像自動分類,並且透過前述特徵值相似度比對區分CART無法有效分類之其他類,分類完後及時回饋缺陷樣型之資訊以排除製程缺陷來降低缺陷率;藉此,不僅減低用人眼辨識之依賴性,更可以有效提升缺陷影像分類之效能與效率,包含提高一致性與正確性(整體正確率達94%)以及結果之可靠性,進而達到良率提升之效果。
綜上所述,本發明係一種整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法,可有效改善習用之種種缺點,不僅減低用人眼辨識之依賴性,更可以有效提升缺陷影像分類之效能與效率,包含提高一致性與正確性以及結果之可靠性,以達到良率提升之效果,進而使本發明之産生能更進步、更實用、更符合使用者之所須,確已符合發明專利申請之要件,爰依法提出專利申請。
惟以上所述者,僅為本發明之較佳實施例而已,當不能以此限定本發明實施之範圍;故,凡依本發明申請專利範圍及發明說明書內容所作之簡單的等效變化與修飾,皆應仍屬本發明專利涵蓋之範圍內。

11‧‧‧步驟(A)缺陷偵測
12‧‧‧步驟(B)特徵萃取與相似度衡量
13‧‧‧步驟(C)缺陷分類
s100~s113‧‧‧步驟

Claims (9)

  1. 一種整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法,其至少包含下列步驟:
    (A)缺陷偵測:對每張缺陷影像利用兩階段參數調整法偵測缺陷之輪廓,進行影像中之缺陷位置、形狀及大小之辨識,俾以定義出各式缺陷樣型,其中,該缺陷樣型包括亮白色缺陷(MC)、灰白色塊狀微小缺陷(MQ)、灰黑色塊狀微小缺陷(MN)、灰黑色條狀缺陷(MR)、黑點光暈缺陷(MT)、泡泡狀大型缺陷(WN)、假警訊(False Alarm, FA)、以及其他類(Other, OT);
    (B)特徵萃取與相似度衡量:萃取上述各式缺陷樣型之缺陷特徵,該缺陷特徵包含顏色特徵、形狀特徵與統計特徵之特徵值,利用該缺陷特徵進行相似度比對,判斷特徵值是否符合缺陷樣型之特徵,以區隔上述定義之缺陷樣型;以及
    (C)缺陷分類:利用分類與迴歸樹(Classification And Regression Tree, CART)演算法結合萃取出之特徵值以吉尼指標(Gini Index)建構分類規則,將缺陷影像自動分類,所得分類結果並與特徵相似度進行比較,判斷分類結果與特徵相似度比對是否一致,並區分CART演算法無法有效分類者為其他類。
  2. 依申請專利範圍第1項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法,其中,該步驟(A)兩階段參數調整法為坎尼(Canny)邊緣偵測演算法,其參數設定包含高斯濾波器之標準差(σ)及雙門檻值(TLOW 、THIGH ),其中參數TLOW 為第一階段設定之門檻值,用以偵測出較為明顯以及大範圍之缺陷樣型(MC、MT、WN),而參數THIGH 為第二階段設定之門檻值,用以偵測出微小之缺陷樣型(MQ、MN、MR),以及分辨假警訊(FA)之影像;並且,若第二階段未能偵測出正確之缺陷樣型,即缺陷面積佔其周圍矩形面積小於0.001時,表示其可能為一多重缺陷(multi-defect)之影像,則將其分類至其他類(OT)。
  3. 依申請專利範圍第2項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法,其中,該Canny邊緣偵測演算法係將值高於THIGH 判斷為強之邊緣,而低於TLOW 則將之去除,介於THIGH 與TLOW 兩者中間則判斷為弱之邊緣,並以強之邊緣為偵測後最終之邊緣,再從其附近搜尋弱之邊緣,進而將其連結起來,成為最終缺陷之輪廓。
  4. 依申請專利範圍第1項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法,其中,該步驟(B)顏色特徵係包含缺陷樣型灰階像素最大值、缺陷樣型灰階像素最小值、及缺陷樣型灰階像素全距,用以取其灰階像素之最大值、最小值及全距作為分類特徵。
  5. 依申請專利範圍第1項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法,其中,該步驟(B)形狀特徵係包含缺陷面積、缺陷其周圍矩形面積、及缺陷佔其周圍矩形面積比例,用以區別為條狀缺陷或塊狀缺陷之特徵。
  6. 依申請專利範圍第1項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法,其中,該步驟(B)統計特徵係包含影像強化後之灰階像素最大值、影像強化後之像素平均值、影像強化後之像素變異數、及影像強化後之像素偏態係數,係使用強化公式將原始灰階影像進行強化後再計算像素之最大值、平均值、變異數以及偏態係數之統計量作為特徵,經由拉大缺陷影像之像素範圍以突顯影像中之缺陷之像素值,該強化公式為:

    其中,該係為在影像中任一組座標之灰階值;以及該分別為影像中灰階之最大值與最小值。
  7. 依申請專利範圍第6項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法,其中,該平均值、變異數以及偏態係數之統計量之計算公式為:
    平均值
    變異數
    偏態係數
    其中,該為強化後之每一點像素值;以及該為總像素個數。
  8. 依申請專利範圍第1項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法,其中,該步驟(B)利用該缺陷特徵進行相似度比對,係以特徵值為基礎之相似度分類模式,其步驟包含:
    (b1)收集一組訓練資料以萃取多項特徵,並以標準差係數為基礎,由小排到大選出每一缺陷樣型之前t名特徵值,該標準差係數之計算公式為:
    標準差係數
    相似度
    其中,該係為訓練資料中缺陷樣型之第名特徵值之平均值,而該則為待分類影像之第名特徵值;以及
    (b3)對每一缺陷樣型定義門檻值,再與上述計算每一缺陷影像與每一缺陷樣型所得之相似度做比較,若相似度小於該門檻值則將之歸為該缺陷樣型,若所有缺陷樣型之相似度均高於門檻值,則歸為其他類進行人工判斷。
  9. 依申請專利範圍第1項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法,其中,該步驟(C)係以多項萃取特徵與訓練資料集中之影像資料進行遞迴分割以產生每一缺陷樣型之分類規則,每一次進行分割之準則在於最大化單一缺陷樣型之準確率以及分割節點之正確率,每一分割節點以及分割門檻值均係透過CART演算法自動產生,同時每一缺陷樣型只會對應到一分類規則,建立此分類規則之後,待分類影像便能歸類到其中一類缺陷樣型。
TW102136422A 2013-10-08 2013-10-08 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法 TWI525317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW102136422A TWI525317B (zh) 2013-10-08 2013-10-08 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW102136422A TWI525317B (zh) 2013-10-08 2013-10-08 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法
US14/154,432 US9082009B2 (en) 2013-10-08 2014-01-14 Method of defect image classification through integrating image analysis and data mining

Publications (2)

Publication Number Publication Date
TW201514472A true TW201514472A (zh) 2015-04-16
TWI525317B TWI525317B (zh) 2016-03-11

Family

ID=52777006

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102136422A TWI525317B (zh) 2013-10-08 2013-10-08 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法

Country Status (2)

Country Link
US (1) US9082009B2 (zh)
TW (1) TWI525317B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI603074B (zh) * 2015-07-03 2017-10-21 元智大學 光學薄膜缺陷辨識方法及其系統
TWI693386B (zh) * 2019-05-09 2020-05-11 聯策科技股份有限公司 取像參數最佳化調整系統與方法
CN111337512A (zh) * 2020-05-22 2020-06-26 深圳新视智科技术有限公司 用于aoi缺陷检测的缺陷提取方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150379321A1 (en) 2012-03-01 2015-12-31 Sys-Tech Solutions, Inc. Methods and a system for verifying the authenticity of a mark
AU2013225800B2 (en) 2012-03-01 2015-04-09 Sys-Tech Solutions, Inc. Unique identification information from marked features
US20150169928A1 (en) * 2012-03-01 2015-06-18 Sys-Tech Solutions, Inc. Methods and a system for verifying the identity of a printed item
US9940572B2 (en) 2015-02-17 2018-04-10 Sys-Tech Solutions, Inc. Methods and a computing device for determining whether a mark is genuine
EP3311337A4 (en) 2015-06-16 2018-06-13 SYS-Tech Solutions, Inc. Methods and a computing device for determining whether a mark is genuine
US10436720B2 (en) * 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
CN105931191B (zh) * 2015-12-21 2019-05-03 南京邮电大学 基于凹凸混合正则先验的图像盲去卷积方法
SG11201807829RA (en) 2016-03-14 2018-10-30 Sys Tech Solutions Inc Methods and a computing device for determining whether a mark is genuine
US10769769B2 (en) * 2016-07-01 2020-09-08 Kla-Tencor Corporation Dual mode inspector
US10031087B2 (en) * 2016-09-22 2018-07-24 SSAB Enterprises, LLC Methods and systems for the quantitative measurement of internal defects in as-cast steel products
JP6833027B2 (ja) * 2016-10-17 2021-02-24 ケーエルエー コーポレイション 検査関連アルゴリズムのセットアップに用いられる訓練集合の最適化
US10267748B2 (en) * 2016-10-17 2019-04-23 Kla-Tencor Corp. Optimizing training sets used for setting up inspection-related algorithms
US20200141879A1 (en) * 2017-06-14 2020-05-07 Camtek Ltd. Migdal Haemeq
TWI649659B (zh) 2017-10-27 2019-02-01 財團法人工業技術研究院 自動光學檢測影像分類方法、系統及含有該方法之電腦可讀取媒體
CN108181315B (zh) * 2017-11-25 2021-02-02 天津大学 一种基于图像处理的饼干损伤检测装置及检测方法
US10853937B2 (en) * 2018-02-05 2020-12-01 Nec Corporation Unsupervised image-based anomaly detection using multi-scale context-dependent deep autoencoding gaussian mixture model
TWI714923B (zh) * 2018-12-06 2021-01-01 住華科技股份有限公司 自動光學檢測方法及應用其之自動光學檢測系統
CN110349145A (zh) * 2019-07-09 2019-10-18 京东方科技集团股份有限公司 缺陷检测方法、装置、电子设备以及存储介质
WO2021168733A1 (zh) * 2020-02-27 2021-09-02 京东方科技集团股份有限公司 缺陷图像的缺陷检测方法、装置及计算机可读存储介质
CN113033110A (zh) * 2021-05-27 2021-06-25 深圳市城市交通规划设计研究中心股份有限公司 一种基于交通流模型的重点区域人员应急疏散系统及方法
CN113096130B (zh) * 2021-06-09 2021-09-14 常州微亿智造科技有限公司 物件缺陷的检测方法、装置
CN113285845A (zh) * 2021-07-23 2021-08-20 灵长智能科技(杭州)有限公司 一种改进cart决策树生成的方法、系统和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7308367B2 (en) * 2003-02-03 2007-12-11 Qcept Technologies, Inc. Wafer inspection system
US7107158B2 (en) * 2003-02-03 2006-09-12 Qcept Technologies, Inc. Inspection system and apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI603074B (zh) * 2015-07-03 2017-10-21 元智大學 光學薄膜缺陷辨識方法及其系統
TWI693386B (zh) * 2019-05-09 2020-05-11 聯策科技股份有限公司 取像參數最佳化調整系統與方法
CN111337512A (zh) * 2020-05-22 2020-06-26 深圳新视智科技术有限公司 用于aoi缺陷检测的缺陷提取方法
CN111337512B (zh) * 2020-05-22 2020-09-08 深圳新视智科技术有限公司 用于aoi缺陷检测的缺陷提取方法

Also Published As

Publication number Publication date
US20150098655A1 (en) 2015-04-09
US9082009B2 (en) 2015-07-14
TWI525317B (zh) 2016-03-11

Similar Documents

Publication Publication Date Title
TWI525317B (zh) 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法
CN101915769B (zh) 一种印刷电路板中带电阻元件的自动光学检测方法
CN105389593B (zh) 基于surf特征的图像物体识别方法
CN104487843B (zh) 图像处理装置、程序、图像处理方法、计算机可读介质及图像处理系统
KR102058427B1 (ko) 검사 장치 및 방법
CN106372624A (zh) 人脸识别方法及系统
CN102982534A (zh) 基于弦线切线法的Canny边缘检测双阈值获取方法
CN109344864B (zh) 用于密集物体的图像处理方法及装置
CN112037222B (zh) 一种神经网络模型的自动更新方法及系统
CN110276754B (zh) 一种表面缺陷检测方法、终端设备及存储介质
CN110991657A (zh) 一种基于机器学习的异常样本检测方法
CN111311542A (zh) 一种产品质量检测方法及装置
CN104077594A (zh) 一种图像识别方法和装置
JP2013167596A (ja) 欠陥検査装置、欠陥検査方法及びプログラム
Das et al. Human face detection in color images using HSV color histogram and WLD
Kofler et al. Classifying defects in topography images of silicon wafers
US20130033394A1 (en) Synthetic aperture radar chip level cross-range streak detector
CN103258218A (zh) 蒙版检测框架生成方法、装置、缺陷检测方法及装置
KR101782366B1 (ko) 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법
Sukhia et al. Overlapping white blood cells detection based on watershed transform and circle fitting
CN113344858A (zh) 特征检测方法、装置及计算机存储介质
Batko et al. Fast Contour Tracing Algorithm Based on a Backward Contour Tracing Method
Laaksonen et al. Refining coarse manual segmentations with stable probability regions
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
KR20190114241A (ko) 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법