TWI771908B - 圖像分類標注方法、裝置、電子設備及存儲介質 - Google Patents

圖像分類標注方法、裝置、電子設備及存儲介質 Download PDF

Info

Publication number
TWI771908B
TWI771908B TW110105187A TW110105187A TWI771908B TW I771908 B TWI771908 B TW I771908B TW 110105187 A TW110105187 A TW 110105187A TW 110105187 A TW110105187 A TW 110105187A TW I771908 B TWI771908 B TW I771908B
Authority
TW
Taiwan
Prior art keywords
image
mask
connected domain
tested
defect
Prior art date
Application number
TW110105187A
Other languages
English (en)
Other versions
TW202232436A (zh
Inventor
孫國欽
郭錦斌
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Priority to TW110105187A priority Critical patent/TWI771908B/zh
Application granted granted Critical
Publication of TWI771908B publication Critical patent/TWI771908B/zh
Publication of TW202232436A publication Critical patent/TW202232436A/zh

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本發明提供一種圖像分類標注方法、裝置、電子設備及存儲介質。該方法包括：獲取一待測圖像；並與一參考圖像比對，以生成包括複數連通域之圖像掩膜；對該待測圖像進行瑕疵檢測；當該待測圖像存在至少一瑕疵時，獲取該至少一瑕疵對應之瑕疵座標；根據連通域之中心座標及該瑕疵座標，確定對應之連通域為瑕疵連通域或正常連通域；針對該瑕疵連通域及該正常連通域分別生成第一圖像掩膜及第二圖像掩膜；將該第一圖像掩膜及第二圖像掩膜分別與該待測圖像進行處理，以分別獲得瑕疵元件圖像及正常元件圖像。

Description

圖像分類標注方法、裝置、電子設備及存儲介質
本發明涉及資料標注領域，尤其涉及一種圖像分類標注方法、裝置、電子設備及存儲介質。
印刷電路板(Printed Circuit Board，PCB)之表面貼裝工藝精細且複雜，因此，於生產過程中也容易產生各種缺陷。目前，研究人員嘗試採用神經網路訓練之方法，實現對PCB板之自動瑕疵檢測。然而於神經網路之訓練過程中，需要大量PCB板瑕疵圖像資料作為負樣本，及正常PCB板圖像資料作為正樣本。如此，面對種類繁多之PCB板缺陷資料，若採用人工標注，將浪費大量人力和時間，代價昂貴。
鑒於以上內容，有必要提供一種圖像分類標注方法、裝置、電子設備及存儲介質，以解決上述問題。
一種圖像分類標注方法，所述圖像分類標注方法包括：(a)獲取一待測圖像；(b)將所述待測圖像與一參考圖像比對，以生成對應之圖像掩膜，所述圖像掩膜包括複數連通域；(c)對所述待測圖像進行瑕疵檢測；(d)當所述待測圖像存在至少一瑕疵時，獲取所述至少一瑕疵對應之瑕疵座標； (e)根據連通域之中心座標及所述瑕疵座標，確定對應之連通域為瑕疵連通域或正常連通域；(f)針對所述瑕疵連通域及所述正常連通域分別生成相應之第一圖像掩膜及第二圖像掩膜；(g)將所述第一圖像掩膜及第二圖像掩膜分別與所述待測圖像進行處理，以分別獲得與所述瑕疵連通域對應之瑕疵元件圖像及與所述正常連通域對應之正常元件圖像。
進一步地，步驟(b)包括如下子步驟：步驟S21：分別對所述參考圖像及所述待測圖像進行灰度處理，得到對應之第一圖像及第二圖像；步驟S22：比對所述第一圖像與所述第二圖像，得到第三圖像；步驟S23：對所述第三圖像進行二值化處理，得到第四圖像；步驟S24：對所述第四圖像進行連通域標記，得到所述圖像掩膜，所述圖像掩膜包括複數所述連通域。
進一步地，藉由計算所述第一圖像與所述第二圖像之均方誤差或計算所述第一圖像與所述第二圖像之結構相似性指數，以獲得所述第三圖像。
進一步地，步驟(e)包括如下子步驟：步驟S51：計算複數所述連通域之中心座標，得到複數所述中心座標；步驟S52：計算每一所述瑕疵座標與複數所述中心座標之歐幾里得距離，以得到複數組歐幾里得距離；步驟S53：根據默認規則選取所述瑕疵連通域，並將所述圖像掩膜上之其他連通域記為所述正常連通域。
進一步地，所述中心座標為所述連通域之重心座標。
進一步地，所述默認規則為：分別選取所述複數組歐幾里得距離中之最小值，得到複數最小值，選取與複數所述最小值對應之複數連通域，記為所述瑕疵連通域。
進一步地，步驟(f)包括如下子步驟：步驟S61：將所述圖像掩膜中之正常連通域之像素之像素值設為0，得到所述第一圖像掩膜；步驟S62：重複上述步驟，以將所述圖像掩膜中之瑕疵連通域之像素之像素值設為0，從而得到所述第二圖像掩膜。
進一步地，步驟(g)包括如下子步驟：步驟S71：將所述第一圖像掩膜與所述待測圖像相乘，得到所述瑕疵元件圖像，並於所述瑕疵元件圖像上標注所述瑕疵座標；步驟S72：將所述第二圖像掩膜與所述待測圖像相乘，得到所述正常元件圖像。
進一步地，當步驟(c)之檢測結果為所述待測圖像無瑕疵時，即所述圖像掩膜為所述第二圖像掩膜時，直接執行步驟(g)。
一種圖像分類標注裝置，所述圖像分類標注裝置包括：獲取模組，用以獲取一待測圖像；比較模組，用以將所述待測圖像與一參考圖像比對，以生成對應之圖像掩膜，所述圖像掩膜包括複數連通域；瑕疵檢測模組，用以對所述待測圖像進行瑕疵檢測；座標獲取模組，用以當所述瑕疵檢測模組之檢測結果為所述待測圖像存在至少一瑕疵時，獲取所述至少一瑕疵對應之瑕疵座標；確定模組，用以根據連通域之中心座標及所述瑕疵座標，確定對應之連通域為瑕疵連通域或正常連通域； 掩膜生成模組，用以針對所述瑕疵連通域及所述正常連通域分別生成相應之第一圖像掩膜及第二圖像掩膜；處理模組，用以將所述第一圖像掩膜及第二圖像掩膜分別與所述待測圖像進行處理，以分別獲得與所述瑕疵連通域對應之瑕疵元件圖像及與所述正常連通域對應之正常元件圖像。
一種電子設備，所述電子設備包括：記憶體，存儲至少一個指令；及處理器，執行所述記憶體中存儲之指令以實現所述圖像分類標注方法。
一種存儲介質，所述存儲介質中存儲有至少一個指令，所述至少一個指令被電子設備中之處理器執行以實現所述圖像分類標注方法。
本發明提供之圖像分類標注方法，結合圖像掩膜與瑕疵檢測演算法，可自動得到及標注正常元件圖像與瑕疵元件圖像，有效降低資料標注時之人力成本。
100:圖像分類標注裝置
101:獲取模組
102:比較模組
103:瑕疵檢測模組
104:座標獲取模組
105:確定模組
106:掩膜生成模組
107:處理模組
200:電子設備
201:記憶體
202:處理器
203:電腦程式
1、2:連通域
a、b:中心座標
(1)、(2):歐幾裡得距離
S1~S6、S21~S24、S51~S53、S61~S62、S71~S72:步驟
圖1係本發明圖像分類標注方法其中一實施例之流程圖。
圖2為圖1所示步驟S2之子步驟。
圖3為圖1所示步驟S5之子步驟。
圖4為圖1所示步驟S6之子步驟。
圖5為圖1所示步驟S7之子步驟。
圖6為圖1所示圖像分類標注方法之一應用場景示意圖。
圖7係本發明圖像分類標注裝置其中一實施例之功能模組圖。
圖8係本發明實現圖像分類標注方法其中一實施例之電子設備之結構示意圖。
下面為了能夠更清楚地理解本發明之上述目的、特徵和優點，下面結合附圖和具體實施例對本發明進行詳細描述。需要說明之係，於不衝突之情況下，本申請之實施例及實施例中之特徵可以相互組合。
於下面之描述中闡述了很多具體細節以便於充分理解本發明，所描述之實施例僅係本發明一部分實施例，而非全部之實施例。基於本發明中之實施例，本領域具有通常技藝者於沒有做出創造性勞動前提下所獲得之所有其他實施例，都屬於本發明保護之範圍。
除非另有定義，本文所使用之所有之技術和科學術語與屬於本發明之技術領域之技術人員通常理解之含義相同。本文中於本發明之說明書中所使用之術語係為了描述具體實施例，非旨於於限制本發明。
請參閱圖1，圖1係本發明圖像分類標注方法其中一實施例之流程圖。根據不同之需求，該流程圖中步驟之順序可以改變，某些步驟可以省略。
步驟S1，獲取一待測圖像。
步驟S2，將所述待測圖像與一參考圖像比對，以生成對應之圖像掩膜，所述圖像掩膜包括複數連通域。
其中，於執行步驟S2時，請參閱圖2，步驟S2包括如下子步驟：步驟S21：分別對所述待測圖像及所述參考圖像進行灰度處理，得到對應之第一圖像及第二圖像；步驟S22：比對所述第一圖像與所述第二圖像，得到第三圖像；步驟S23：對所述第三圖像進行二值化處理，得到第四圖像； 步驟S24：對所述第四圖像進行連通域標記，得到所述圖像掩膜，所述圖像掩膜包括複數所述連通域。
可以理解，步驟S21中，所述灰度處理指將所述參考圖像及所述待測圖像由彩色圖像轉化為每一像素僅有一像素值之灰度圖像。
可以理解，於步驟S22中，可藉由計算所述第一圖像與所述第二圖像之均方誤差(mean-square error，MSE)或計算所述第一圖像與所述第二圖像之結構相似性(structural similarity,SSIM)指數，以獲得所述第三圖像。
可以理解，步驟S23進一步包括如下子步驟：獲取一閾值；將所述第三圖像中大於或等於所述閾值之像素之灰度值設定為第一像素值，將所述第三圖像中小於所述閾值之像素之灰度值設定為第二像素值，以得到所述第四圖像。
本發明不對所述閾值進行限制，例如，步驟S23中之閾值可為全域性固定閾值或區域性自適應閾值。本領域具有通常技藝者可藉由選擇不同之二值化演算法而選擇不同之閾值。
可以理解，步驟S24中之連通域指所述第四圖像中具有相同像素值，且位置相鄰之像素點組成之圖像區域。所述連通域標記係指找出所述第四圖像中之各個連通域進行標記，並記錄下每一標記值對應之所有座標值。
可以理解，所述圖像掩膜上之複數所述連通域內之像素之像素值為所述第一像素值。所述圖像掩膜上除複數所述連通域以外之像素之像素值為所述第二像素值。
於一實施例中，步驟S23中之所述第一像素值為1，所述第二像素值為0。
可以理解，步驟S24中之連通域標記演算法有多種，本發明不對所述連通域標記演算法進行限制。例如，所述連通域標記演算法可以係基於行程之連通域標記演算法，也可以係基於輪廓之連通域標記演算法。可以理解，所述連通域標記演算法為現有技術，本發明不再對所述連通域標記演算法之詳細步驟進行贅述。
於一實施例中，所述待測圖像包括已經加裝有電子元件之印刷線路板(Printed Circuit Board Assembly，PCBA)之圖像。所述參考圖像包括還未加裝任何所述電子元件之印刷線路板(Printed Circuit Board，PCB)之圖像。
可以理解，所述掩膜上之每一所述連通域均對應所述電子元件。
可以理解，於執行所述步驟S21前，還可對所述參考圖像及所述待測圖像進行預處理。
於本發明之至少一個實施例中，所述預處理包括：平移、旋轉或縮放所述參考圖像及所述待測圖像，以使所述參考圖像及所述多張待測圖像之方向一致；調整所述參考圖像及所述待測圖像為標準尺寸圖像。
可以理解，所述參考圖像、待測圖像、第一圖像、第二圖像、第三圖像、第四圖像及所述圖像掩膜之尺寸相同。
步驟S3，對所述待測圖像進行瑕疵檢測。
於本發明之至少一個實施例中，可藉由訓練好之神經網路模型對所述待測圖像進行瑕疵檢測。
於本發明中，還可藉由其他方法對所述待測圖像進行瑕疵檢測，例如圖像腐蝕及/或圖像膨脹演算法等，本發明對所述瑕疵檢測方法不進行限制。
步驟S4，當所述待測圖像存在至少一瑕疵時，獲取所述至少一瑕疵對應之瑕疵座標。
步驟S5，根據連通域之中心座標及所述瑕疵座標，確定對應之連通域為瑕疵連通域或正常連通域。
其中，於執行步驟S5時，請參閱圖3，步驟S5包括如下子步驟：步驟S51：計算複數所述連通域之中心座標，得到複數中心座標；步驟S52：計算每一所述瑕疵座標與複數所述中心座標之歐幾里得距離，以得到複數組歐幾里得距離；步驟S53：根據默認規則選取所述瑕疵連通域，並將所述圖像掩膜上之其他連通域記為正常連通域。
於一實施例中，所述中心座標為重心座標。如此，於步驟S51中，可根據如下之重心座標計算公式(1)求取複數所述重心座標。
Figure 110105187-A0305-02-0010-1
公式(1)中，X與Y分別為重心座標之行座標與列座標，S表示連通域，(i,j)表示所述連通域上每一像素之座標，N表示所述連通域之像素個數。
可以理解，歐幾里得距離指於多維空間中兩個點之間之真實距離。於本實施例中，由於所述圖像掩膜與所述待測圖像之尺寸相同，故所述瑕疵座標於所述待測圖像與於所述圖像掩膜上之位置相同。如此，於步驟S52中，所述瑕疵座標與所述中心座標之歐幾里得距離係於圖像掩膜上，所述瑕疵座標與所述中心座標之間之距離。如此，可直接藉由如下之歐幾里得距離計算公式(2)計算所述瑕疵座標與各所述連通域之中心座標之歐幾里得距離。
Figure 110105187-A0305-02-0010-2
公式(2)中，(i 1，j 1)為任一所述連通域之中心座標，(i 2，j 2)為所述瑕疵座標。ρ為所述瑕疵座標與所述中心座標之歐幾里得距離。
步驟S53中，所述默認規則為：分別選取所述複數組歐幾里得距離中之最小值，得到複數最小值；選取與複數所述最小值對應之複數連通域，記為所述瑕疵連通域。
步驟S6，針對所述瑕疵連通域及所述正常連通域分別生成相應之第一圖像掩膜及第二圖像掩膜。其中，請參閱圖4，步驟S6包括如下子步驟：步驟S61：將所述圖像掩膜中之正常連通域之像素之像素值設為0，得到所述第一圖像掩膜；步驟S62：重複上述步驟，以將所述圖像掩膜中之瑕疵連通域之像素之像素值設為0，從而得到所述第二圖像掩膜。
步驟S7，將所述第一圖像掩膜及第二圖像掩膜分別與所述待測圖像進行處理，以分別獲得與所述瑕疵連通域對應之瑕疵元件圖像及與所述正常連通域對應之正常元件圖像。其中，請參閱圖5，步驟S7包括如下子步驟：步驟S71：將所述第一圖像掩膜與所述待測圖像相乘，得到所述瑕疵元件圖像，並於所述瑕疵元件圖像上標注所述瑕疵座標；步驟S72：將所述第二圖像掩膜與所述待測圖像相乘，得到所述正常元件圖像。
可以理解，於其他實施例中，當步驟S3之檢測結果為所述待測圖像無瑕疵時，即所述圖像掩膜為所述第二圖像掩膜時，直接執行步驟S7，以獲得正常元件圖像。
請參閱圖6，於本申請實施例中，以所述待測圖像中設置有兩個電子元件為例，對本案之圖像分類標注方法進行詳細說明。
首先，獲取一待測圖像及對應之一參考圖像，其中，如上所述，所述待測圖像包括兩個電子元件。比對所述待測圖像及所述參考圖像，以生成與所述待測圖像對應之圖像掩膜，所述圖像掩膜包括連通域1及連通域2。
接著，對所述待測圖像進行瑕疵檢測，且檢測結果為所述待測圖像存在一瑕疵(即圖中三角形)。獲取與所述瑕疵對應之瑕疵座標。
然後，按照重心座標公式分別計算得到所述連通域1及所述連通域2之重心座標，分別記為中心座標a及中心座標b。再分別計算所述中心座標a及所述中心座標b與所述瑕疵座標之歐幾里得距離，記為歐幾里得距離(1)及歐幾里得距離(2)。比對所述歐幾里得距離(1)及歐幾里得距離(2)，得到所述歐幾里得距離(1)大於歐幾里得距離(2)，則連通域1為正常連通域，連通域2為與所述瑕疵對應之瑕疵連通域。
接著，將所述圖像掩膜中之正常連通域之像素之像素值設為0，得到第一圖像掩膜；重複這一步驟，以將所述圖像掩膜中之瑕疵連通域之像素之像素值設為0，得到第二圖像掩膜。
然後，將所述第一圖像掩膜與所述待測圖像相乘，得到瑕疵元件圖像，並於所述瑕疵元件圖像上標注所述瑕疵。將所述第二圖像掩膜與所述待測圖像相乘，得到正常元件圖像。
本發明藉由比對參考圖像與對應之待測圖像，得到一包括複數連通域之圖像掩膜。當所述待測圖像存在瑕疵時，找出與所述瑕疵對應之瑕疵連通域，並將所述圖像掩膜上除所述瑕疵連通域以外之連通域標記為正常連通域。將所述圖像掩膜中之正常連通域之像素之像素值設為0，得到第一圖像掩膜；將所述圖像掩膜中之瑕疵連通域之像素之像素值設為0，得到第二圖像掩膜。將所述第一圖像掩膜與所述待測圖像相乘，得到瑕疵元件圖像；將所述第二圖像掩膜與所述待測圖像相乘，得到正常元件圖像。當所述待測圖像無瑕疵時，直接將所述圖像掩膜與所述待測圖像相乘，得到正常元件圖像。本發明提供之圖像分類標注方法，有效降低資料標注時之人力成本。
請參閱圖7，本發明另一實施例還提供一種圖像分類標注裝置100。所述圖像分類標注裝置100包括獲取模組101、比較模組102、瑕疵檢測模組103、座標獲取模組104、確定模組105、掩膜生成模組106及處理模組107。
其中，所述獲取模組101用以獲取一待測圖像。
所述比較模組102用以將所述待測圖像與一參考圖像比對，以生成對應之圖像掩膜，所述圖像掩膜包括複數連通域。
所述瑕疵檢測模組103用以對所述待測圖像進行瑕疵檢測。
所述座標獲取模組104用以當所述瑕疵檢測模組103之檢測結果為所述待測圖像存在至少一瑕疵時，獲取所述至少一瑕疵對應之瑕疵座標。
所述確定模組105用以根據連通域之中心座標及所述瑕疵座標，確定對應之連通域為瑕疵連通域或正常連通域。
所述掩膜生成模組106用以針對所述瑕疵連通域及所述正常連通域分別生成相應之第一圖像掩膜及第二圖像掩膜。
所述處理模組107用以將所述第一圖像掩膜及第二圖像掩膜分別與所述待測圖像進行處理，以分別獲得與所述瑕疵連通域對應之瑕疵元件圖像及與所述正常連通域對應之正常元件圖像。
可以理解，當所述瑕疵檢測模組103之檢測結果為所述待測圖像無瑕疵時，即所述掩膜為所述第二圖像掩膜時，直接利用所述處理模組107將所述掩膜與所述待測圖像進行處理，獲得所述正常元件圖像。
可以理解，所述獲取模組101、比較模組102、瑕疵檢測模組103、座標獲取模組104、確定模組105、掩膜生成模組106及處理模組107用以共同實現上述圖像分類標注方法實施例中之步驟S1至步驟S7，於此不再贅述各所述功能模組之具體實現過程，具體請參閱上述步驟S1至步驟S7。
可以理解，請一併參閱圖8，本發明另一實施例還提供一種電子設備200。所述電子設備200包括記憶體201、處理器202以及存儲於所述記憶體201中並可於所述處理器202上運行之電腦程式203。
所述電子設備200可以為智慧手機、平板電腦、膝上型便捷電腦、嵌入式電腦、桌上型電腦中之任意一種或伺服器等。本領域具有通常技藝者可以理解，所述示意圖僅僅係電子設備200之示例，並不構成對電子設備200之限定，可以包括比圖示更多或更少之部件，或者組合某些部件，或者不同之部件。
所述處理器202用以執行所述電腦程式203時實現上述圖像分類標注方法實施例中之步驟，例如第一實施例中所示之步驟S1-S7。或者，所述處理器202執行所述電腦程式203時實現上述圖像分類標注裝置100實施例中各模組/單元之功能，例如第二實施例中之獲取模組101、比較模組102、瑕疵檢測模組103、座標獲取模組104、確定模組105、掩膜生成模組106及處理模組107。
所述電腦程式203可以被分割成一個或複數模組/單元，所述一個或者複數模組/單元被存儲於所述記憶體201中，並由所述處理器202執行，以完成本發明。所述一個或複數模組/單元可以係能夠完成特定功能之一系列電腦程式指令段，所述指令段用於描述所述電腦程式203於所述電子設備200中之執行過程。例如，所述電腦程式203可以被分割成第二實施例中之獲取模組101、比較模組102、瑕疵檢測模組103、座標獲取模組104、確定模組105、掩膜生成模組106及處理模組107。
所述處理器202可以係中央處理模組(Central Processing Unit，CPU)，還可以係其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式化邏輯閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以 係微處理器或者所述處理器202也可以係任何常規之處理器等，所述處理器202係所述電子設備200之控制中心，利用各種介面和線路連接整個電子設備200之各個部分。
所述記憶體201可用於存儲所述電腦程式203和/或模組/單元.所述處理器202藉由運行或執行存儲於所述記憶體201內之電腦程式和/或模組/單元，以及調用存儲於記憶體201內之資料，實現所述電子設備200之各種功能。所述記憶體201可主要包括存儲程式區和存儲資料區。其中，存儲程式區可存儲作業系統、至少一個功能所需之應用程式(比如聲音播放功能、圖像播放功能等)等。存儲資料區可存儲根據電子設備200之使用所創建之資料(比如視頻資料、音訊資料、電話本等)等。此外，記憶體201可以包括高速隨機存取記憶體，還可以包括非易失性記憶體，例如硬碟、記憶體、插接式硬碟，智慧存儲卡(Smart Media Card，SMC)，安全數位(Secure Digital，SD)卡，快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他易失性固態記憶體件。
於本發明之一實施例中，所述電子設備200為一自動光學檢測(Automated Optical Inspection，AOI)儀器。可以理解，自動光學檢測儀器係一種基於光學原理來對焊接生產中遇到之常見缺陷進行檢測之設備。
所述電子設備200集成之模組/單元如果以軟體功能模組之形式實現並作為獨立之產品銷售或使用時，可以存儲於一個電腦可讀取存儲介質中。基於這樣之理解，本發明實現上述實施例方法中之全部或部分流程，也可以藉由電腦程式來指令相關之硬體來完成，所述之電腦程式可存儲於一存儲介質中，所述電腦程式於被處理器執行時，可實現上述各個方法實施例之步驟。其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、可執行檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦 程式代碼之任何實體或裝置、記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦記憶體、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、電訊號以及軟體分發介質等。需要說明之係，所述電腦可讀介質包含之內容可以根據司法管轄區內立法和專利實踐之要求進行適當之增減，例如於某些司法管轄區，根據立法和專利實踐，電腦可讀介質不包括電載波訊號和電信訊號。
於本發明所提供之幾個實施例中，應該理解到，所揭露之電子設備和方法，可以藉由其它之方式實現。例如，以上所描述之電子設備實施例僅僅係示意性，例如，所述模組之劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外之劃分方式。
另外，於本發明各個實施例中之各功能模組可以集成於相同處理模組中，也可以係各個模組單獨物理存在，也可以兩個或兩個以上模組集成於相同模組中。上述集成之模組既可以採用硬體之形式實現，也可以採用硬體加軟體功能模組之形式實現。
對於本領域具有通常技藝者而言，顯然本發明不限於上述示範性實施例之細節，而且於不背離本發明之精神或基本特徵之情況下，能夠以其他之具體形式實現本發明。因此，無論從哪一點來看，均應將實施例看作係示範性，而且係非限制性，本發明之範圍由所附申請專利範圍而非上述說明限定，因此旨於將落於申請專利範圍之等同要件之含義和範圍內之所有變化涵括於本發明內。不應將申請專利範圍中之任何附圖標記視為限制所涉及之申請專利範圍。此外，顯然“包括”一詞不排除其他模組或步驟，單數不排除複數。電子設備申請專利範圍中陳述之複數模組或電子設備也可以由同一個模組或電子設備藉由軟體或者硬體來實現。第一，第二等詞語用來表示名稱，而並不表示任何特定之順序。
最後應說明，以上實施例僅用以說明本發明之技術方案而非限制，儘管參照較佳實施例對本發明進行了詳細說明，本領域具有通常技藝者應當理解，可以對本發明之技術方案進行修改或等同替換，而不脫離本發明技術方案之精神和範圍。
S1~S7:步驟

Claims (12)

  1. 一種圖像分類標注方法，藉由處理器執行，其改良在於，所述圖像分類標注方法包括：(a)獲取一待測圖像；(b)將所述待測圖像與一參考圖像比對，以生成對應之圖像掩膜，所述圖像掩膜包括複數連通域；(c)對所述待測圖像進行瑕疵檢測；(d)當所述待測圖像存在至少一瑕疵時，獲取所述至少一瑕疵對應之瑕疵座標；(e)根據連通域之中心座標及所述瑕疵座標，確定對應之連通域為瑕疵連通域或正常連通域；(f)針對所述瑕疵連通域及所述正常連通域分別生成相應之第一圖像掩膜及第二圖像掩膜；(g)將所述第一圖像掩膜及第二圖像掩膜分別與所述待測圖像進行處理，以分別獲得與所述瑕疵連通域對應之瑕疵元件圖像及與所述正常連通域對應之正常元件圖像。
  2. 如請求項1所述之圖像分類標注方法，其中，步驟(b)包括如下子步驟：步驟S21：分別對所述參考圖像及所述待測圖像進行灰度處理，得到對應之第一圖像及第二圖像；步驟S22：比對所述第一圖像與所述第二圖像，得到第三圖像；步驟S23：對所述第三圖像進行二值化處理，得到第四圖像；步驟S24：對所述第四圖像進行連通域標記，得到所述圖像掩膜，所述圖像掩膜包括複數所述連通域。
  3. 如請求項2所述之圖像分類標注方法，其中，藉由計算所述第一圖像與所述第二圖像之均方誤差或計算所述第一圖像與所述第二圖像之結構相似性指數，以獲得所述第三圖像。
  4. 如請求項1所述之圖像分類標注方法，其中，步驟(e)包括如下子步驟：步驟S51：計算複數所述連通域之中心座標，得到複數所述中心座標；步驟S52：計算每一所述瑕疵座標與複數所述中心座標之歐幾里得距離，以得到複數組歐幾里得距離；步驟S53：根據默認規則選取所述瑕疵連通域，並將所述圖像掩膜上之其他連通域記為所述正常連通域。
  5. 如請求項4所述之圖像分類標注方法，其中，所述中心座標為所述連通域之重心座標。
  6. 如請求項4所述之圖像分類標注方法，其中，所述默認規則為：分別選取所述複數組歐幾里得距離中之最小值，得到複數最小值，選取與複數所述最小值對應之複數連通域，記為所述瑕疵連通域。
  7. 如請求項1所述之圖像分類標注方法，其中，步驟(f)包括如下子步驟：步驟S61：將所述圖像掩膜中之正常連通域之像素之像素值設為0，得到所述第一圖像掩膜；步驟S62：重複上述步驟，以將所述圖像掩膜中之瑕疵連通域之像素之像素值設為0，從而得到所述第二圖像掩膜。
  8. 如請求項1所述之圖像分類標注方法，其中，步驟(g)包括如下子步驟： 步驟S71：將所述第一圖像掩膜與所述待測圖像相乘，得到所述瑕疵元件圖像，並於所述瑕疵元件圖像上標注所述瑕疵座標；步驟S72：將所述第二圖像掩膜與所述待測圖像相乘，得到所述正常元件圖像。
  9. 如請求項1所述之圖像分類標注方法，其中，當步驟(c)之檢測結果為所述待測圖像無瑕疵時，即所述圖像掩膜為所述第二圖像掩膜時，直接執行步驟(g)。
  10. 一種圖像分類標注裝置，其改良在於，所述圖像分類標注裝置包括：獲取模組，用以獲取一待測圖像；比較模組，用以將所述待測圖像與一參考圖像比對，以生成對應之圖像掩膜，所述圖像掩膜包括複數連通域；瑕疵檢測模組，用以對所述待測圖像進行瑕疵檢測；座標獲取模組，用以當所述瑕疵檢測模組之檢測結果為所述待測圖像存在至少一瑕疵時，獲取所述至少一瑕疵對應之瑕疵座標；確定模組，用以根據連通域之中心座標及所述瑕疵座標，確定對應之連通域為瑕疵連通域或正常連通域；掩膜生成模組，用以針對所述瑕疵連通域及所述正常連通域分別生成相應之第一圖像掩膜及第二圖像掩膜；處理模組，用以將所述第一圖像掩膜及第二圖像掩膜分別與所述待測圖像進行處理，以分別獲得與所述瑕疵連通域對應之瑕疵元件圖像及與所述正常連通域對應之正常元件圖像。
  11. 一種電子設備，其改良在於，所述電子設備包括：記憶體，存儲至少一個指令；及 處理器，執行所述記憶體中存儲之指令以實現如請求項1至9中任意一項所述之圖像分類標注方法。
  12. 一種存儲介質，其改良在於，所述存儲介質中存儲有至少一個指令，所述至少一個指令被電子設備中之處理器執行以實現如請求項1至9中任意一項所述之圖像分類標注方法。
TW110105187A 2021-02-09 2021-02-09 圖像分類標注方法、裝置、電子設備及存儲介質 TWI771908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW110105187A TWI771908B (zh) 2021-02-09 2021-02-09 圖像分類標注方法、裝置、電子設備及存儲介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110105187A TWI771908B (zh) 2021-02-09 2021-02-09 圖像分類標注方法、裝置、電子設備及存儲介質

Publications (2)

Publication Number Publication Date
TWI771908B true TWI771908B (zh) 2022-07-21
TW202232436A TW202232436A (zh) 2022-08-16

Family

ID=83439597

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110105187A TWI771908B (zh) 2021-02-09 2021-02-09 圖像分類標注方法、裝置、電子設備及存儲介質

Country Status (1)

Country Link
TW (1) TWI771908B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796801B2 (en) * 1999-08-26 2010-09-14 Nanogeometry Research Inc. Pattern inspection apparatus and method
TW201925761A (zh) * 2017-11-30 2019-07-01 台灣積體電路製造股份有限公司 缺陷檢查方法
CN112098422A (zh) * 2020-09-19 2020-12-18 深圳市睿阳精视科技有限公司 一种工业视觉检测中的产品缺陷在线分类方法
CN112200797A (zh) * 2020-10-28 2021-01-08 佛山市南海区广工大数控装备协同创新研究院 一种基于pcb噪声标注数据的有效训练方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796801B2 (en) * 1999-08-26 2010-09-14 Nanogeometry Research Inc. Pattern inspection apparatus and method
TW201925761A (zh) * 2017-11-30 2019-07-01 台灣積體電路製造股份有限公司 缺陷檢查方法
CN112098422A (zh) * 2020-09-19 2020-12-18 深圳市睿阳精视科技有限公司 一种工业视觉检测中的产品缺陷在线分类方法
CN112200797A (zh) * 2020-10-28 2021-01-08 佛山市南海区广工大数控装备协同创新研究院 一种基于pcb噪声标注数据的有效训练方法

Also Published As

Publication number Publication date
TW202232436A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
TWI748242B (zh) 掃描晶圓的系統及方法
US8515156B2 (en) Image analysis device and method
CN114240939B (zh) 一种主板元器件外观缺陷检测方法、系统、设备及介质
CN111325717B (zh) 手机缺陷位置识别方法及设备
CN111311556B (zh) 手机缺陷位置识别方法及设备
CN111986159A (zh) 太阳能电池片的电极缺陷检测方法、设备及存储介质
US11315229B2 (en) Method for training defect detector
CN113628179B (zh) 一种pcb表面缺陷实时检测方法、装置及可读介质
CN115937175A (zh) 一种电路板表面缺陷检测方法、系统、设备及存储介质
CN110796078A (zh) 车辆的灯光检测方法、装置、电子设备及可读存储介质
CN115273115A (zh) 一种文档元素标注方法、装置、电子设备和存储介质
CN116468680A (zh) 一种元器件反极缺陷检测方法、系统、设备及存储介质
CN112215266B (zh) 一种基于小样本学习的x光图像违禁物品检测方法
TWI771908B (zh) 圖像分類標注方法、裝置、電子設備及存儲介質
CN116681677A (zh) 一种锂电池缺陷检测方法、装置及系统
CN111709951B (zh) 目标检测网络训练方法及系统及网络及装置及介质
CN114943855A (zh) 图像分类标注方法、装置、电子设备及存储介质
JP2008185395A (ja) 実装基板外観検査方法
CN110135426B (zh) 样本标注方法及计算机存储介质
JP2001099625A (ja) パターン検査装置およびパターン検査方法
CN110874837A (zh) 一种基于局部特征分布的缺陷自动检测方法
CN116993654B (zh) 摄像头模组缺陷检测方法、装置、设备、存储介质及产品
Noroozi et al. Towards Optimal Defect Detection in Assembled Printed Circuit Boards Under Adverse Conditions
TWI775087B (zh) 圖像標識方法、裝置、電腦裝置及存儲介質
CN117611555B (zh) 线路板与Gerber图的对位方法、线路板检测方法及相关设备