TW202219494A - 缺陷檢測方法及檢測裝置 - Google Patents

缺陷檢測方法及檢測裝置 Download PDF

Info

Publication number
TW202219494A
TW202219494A TW109146051A TW109146051A TW202219494A TW 202219494 A TW202219494 A TW 202219494A TW 109146051 A TW109146051 A TW 109146051A TW 109146051 A TW109146051 A TW 109146051A TW 202219494 A TW202219494 A TW 202219494A
Authority
TW
Taiwan
Prior art keywords
defect
detection
template
artificial intelligence
training
Prior art date
Application number
TW109146051A
Other languages
English (en)
Other versions
TWI747686B (zh
Inventor
虞斌
趙麗娜
王桂合
Original Assignee
大陸商艾聚達信息技術(蘇州)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商艾聚達信息技術(蘇州)有限公司 filed Critical 大陸商艾聚達信息技術(蘇州)有限公司
Application granted granted Critical
Publication of TWI747686B publication Critical patent/TWI747686B/zh
Publication of TW202219494A publication Critical patent/TW202219494A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Abstract

本發明關於一種缺陷檢測方法和缺陷檢測裝置,其中該方法包括:第一檢測步驟:於AOI系統設置一缺陷模板並檢測缺陷模板的缺陷類型,得到第一檢測結果,若第一檢測結果準確,則輸出,否則進行第二檢測步驟;第二檢測步驟:將缺陷模板傳輸給AI模型,以檢測缺陷模板的缺陷類型,得到第二檢測結果,並計算AI模型的檢測準確率,若第二檢測結果準確且檢測準確率符合設定閾值,則輸出第二檢測結果並對AI模型進行訓練,若檢測準確率小於設定閾值,進行第三檢測步驟;第三檢測步驟:將缺陷模板傳輸給複檢系統,以將缺陷模板與預設模板進行匹配檢測,得到第三檢測結果,並計算複檢準確率,若複檢準確率符合設定閾值,則輸出第三檢測結果並對AI模型進行訓練

Description

缺陷檢測方法及檢測裝置
本發明關於圖形檢測技術領域,尤其關於一種用於缺陷檢測的檢測方法和檢測裝置。
目前對於缺陷檢測技術,例如芯片缺陷檢測,傳統上包括兩種檢測方式,一種是依靠人工目視檢測,由於人的視角有限(比如無法有效觀察到小型貼片元件之間的脫焊、極性相反等),存在檢測速度慢、準確度不高、檢測效果不好的缺點,因此這種方式使用逐漸越來越少。另外一種方式是通過AOI系統(自動光學檢測,是基於光學原理來對焊接生產中遇到的常見缺陷進行檢測的設備)進行判斷;AOI系統雖然採用光學原理,用光學透鏡代替人眼,並在拍攝過程中進行圖像放大,能夠獲得較為清晰的設備圖像,但AOI系統缺陷在於,判斷檢測點是否故障的方法、都是通過人工基於AOI系統中儲存的標準數位化圖像與實際檢測到的圖像進行對比判別,也就是說同樣需要人為目視對比檢測,因此也存在檢測速度慢,以及漏檢、準確度不高的缺點。
在此基礎上,隨著人工智能技術的發展,人工智能深度學習方法也有應用在了檢測技術中。但當前人工智能在檢測、分類、偵測如果要得到準確的判定都需要長期大量樣本搜集、訓練和反復測試,導致人工智能很難在短期或者快速讓用戶看到成果和效益,人工智能不能處理定量,定位和邏輯關係。此外,目前的人工智能檢測方法大多利用神經網絡的學習方法對芯片缺陷進行檢測,神經網絡通過對隱藏層的訓練以實現檢測目的,但隱藏層的訓練和檢測過程類似一個“黑匣子”,其處理、判定過程不可知,造成檢測結果不可控。
為解決上述問題,本發明提供一種缺陷檢測方法和檢測裝置,利用AOI系統獲取產品圖片的基礎上,用大量的產品缺陷圖片作為圖片數據庫,即時自動建立人工智能模型,不斷提升人工智能模型缺陷檢測的準確率;同時根據期望達到的檢測準確率與人工智能模型的實際檢測準確率,視情況引入一種基於AOI檢測邏輯的自定義檢測方法,使得檢測結果更加可控。
具體地,本發明提供一種缺陷檢測方法,包括: 第一檢測步驟,於AOI系統設置一缺陷模板,所述AOI系統檢測所述缺陷模板的缺陷類型,得到第一檢測結果,若所述第一檢測結果準確,則輸出所述第一檢測結果,否則進行第二檢測步驟; 第二檢測步驟,將所述缺陷模板傳輸給一人工智能模型,所述人工智能模型檢測所述缺陷模板的缺陷類型,得到一第二檢測結果,並計算所述人工智能模型的檢測準確率,若所述第二檢測結果準確且所述檢測準確率符合一設定閾值,則輸出所述第二檢測結果並對所述人工智能模型進行訓練,若所述檢測準確率小於所述設定閾值,進行第三檢測步驟; 第三檢測步驟,將所述缺陷模板傳輸給一複檢系統,所述複檢系統將所述缺陷模板與一預設模板進行匹配檢測,得到第三檢測結果,並計算複檢準確率,若複檢準確率符合所述設定閾值,則輸出所述第三檢測結果並對所述人工智能模型進行訓練。
根據所述檢測方法,其中,所述人工智能模型的訓練步驟包括: 收集產品的缺陷圖片,並將所述缺陷圖片按照產品類別及缺陷類型進行分類; 分別統計每一產品具有各類型缺陷的缺陷圖片的數量,當任一產品具有一類型缺陷的缺陷圖片的數量超過一預設值,則使用一預設方法訓練所述人工智能模型對每一所述缺陷圖片進行檢測; 計算所述人工智能模型的訓練檢測準確率,當所述訓練檢測準確率超過所述預設方法訓練所述人工智能模型的預測準確率,完成針對所述缺陷圖片的人工智能模型訓練。
根據所述檢測方法,其中,所述缺陷圖片的分類步驟包括: 獲取待檢測產品信息,確定所述產品的類別; 根據所述產品信息獲取所述產品的缺陷圖片,確定所述缺陷圖片的缺陷位置和缺陷類型; 將所述缺陷圖片按照所述產品類別和所述缺陷類型存入一圖片收集表。
根據所述檢測方法,其中,所述預設方法包括第一訓練方法、第二訓練方法和第三訓練方法,所述第一訓練方法、第二訓練方法和第三訓練方法分別具有不同的所述預測準確率。
根據所述檢測方法,其中,所述第三檢測步驟還包括: 識別所述缺陷模板,並將所述缺陷模板匹配一所述預設模板; 抽取所述缺陷模板的特徵信息,其中所述特徵信息包括缺陷位置、顏色和符合; 將所述特徵信息與所述預設模板進行逐一比對檢測。
為實現本發明的另一目的,本發明還提供一種缺陷檢測裝置,包括: 接收模組,用於獲取待檢測的缺陷模板; 第一檢測模組,包括一AOI系統,所述AOI系統用於檢測所述缺陷模板的缺陷類型,以獲取第一檢測結果; 第二檢測模組,包括一人工智能模型,所述人工智能模型用於根據已訓練的檢測數據對所述缺陷模板進行缺陷檢測,以獲取第二檢測結果; 第三檢測模組,包括一複檢系統,所述複檢系統將所述缺陷模板與一預設模板進行匹配檢測,以獲取第三檢測結果; 控制模組,用於分別對所述第一檢測結果、第二檢測結果和第三檢測結果進行判斷,其中,若所述第一檢測結果準確,輸出所述第一檢測結果,否則將所述缺陷模板傳輸給所述第二檢測模組; 所述控制模組還用於計算所述人工智能模型的檢測準確率,若所述第二檢測結果準確且所述檢測準確率符合一設定閾值,則輸出所述第二檢測結果並對所述人工智能模型進行訓練,若所述檢測準確率小於所述設定閾值,將所述缺陷模板傳輸給所述第三檢測模組; 所述控制模組還用於計算所述複檢系統的複檢準確率,若複檢準確率符合所述設定閾值,則輸出所述第三檢測結果並對所述人工智能模型進行訓練。
根據所述檢測裝置,其中,所述第二檢測模組還包括一訓練單元,用於對所述人工智能模型進行訓練; 其中,所述訓練單元包括: 缺陷圖片分類子單元,用於收集產品的缺陷圖片,並將所述缺陷圖片按照產品類別及缺陷類型進行分類; 模型訓練子單元,用於分別統計每一產品具有各類型缺陷的缺陷圖片的數量,當任一產品具有一類型缺陷的缺陷圖片的數量超過一預設值,則使用一預設方法訓練所述人工智能模型對每一所述缺陷圖片進行檢測; 計算子單元,用於計算所述人工智能模型的訓練檢測準確率,當所述訓練檢測準確率超過所述預設方法訓練所述人工智能模型的預測準確率,完成針對所述缺陷圖片的人工智能模型訓練。
根據所述檢測裝置,其中,所述缺陷圖片分類子單元進一步包括: 產品識別子單元,用於獲取待檢測產品信息,確定所述產品的類別; 缺陷識別子單元,用於根據所述產品信息獲取所述產品的缺陷圖片,確定所述缺陷圖片的缺陷位置和缺陷類型; 儲存子單元,用於將所述缺陷圖片按照所述產品類別和所述缺陷類型存入一圖片收集表。
根據所述檢測裝置,其中,所述預設方法包括第一訓練方法、第二訓練方法和第三訓練方法,所述第一訓練方法、第二訓練方法和第三訓練方法分別具有不同的所述預測準確率。
根據所述檢測裝置,其中,所述第三檢測模組還包括: 模板匹配單元,用於識別所述缺陷模板,並將所述缺陷模板匹配一所述預設模板; 特徵抽取單元,用於抽取所述缺陷模板的特徵信息,其中所述特徵信息包括缺陷位置、顏色和符合; 檢測單元,用於將所述特徵信息與所述預設模板進行逐一比對檢測。
以下結合附圖和具體實施例對本發明進行詳細描述,但不作為對本發明的限定。
下面結合附圖對本發明的結構原理和工作原理作具體的描述,本部分的描述僅是示範性和解釋性,不應對本發明的保護範圍有任何的限制作用。
請參考圖1,圖1所示為本發明的一實施例的缺陷檢測方法的流程示意圖。本實施例的缺陷檢測方法包括以下步驟。
第一檢測步驟S1,此步驟基於現有的AOI系統而實現,於AOI系統設置一缺陷模板,其中,該缺陷模板為某一待測產品所具有的一類型缺陷的模板或者圖片,在本發明的一些實施例中,缺陷模板可以包括較多數量的產品的缺陷圖片。AOI系統獲取該缺陷模板後,即判別其缺陷類型,進而檢測出其具體的缺陷,以得到第一檢測結果,若第一檢測結果準確即AOI的檢測為可信的,則將第一檢測結果直接進行輸出,否則進行第二檢測步驟S2,也就是說,啟動進行第二檢測步驟S2,係由於第一檢測步驟S1中的AOI檢測不可信(檢測的準確率未達到用戶的需求)。
第二檢測步驟S2,該檢測步驟主要基於一經過訓練的人工智能模型,該人工智能模型例如基於神經網絡實現。具體地,經第一檢測步驟S1檢測確認為不可信後,即將缺陷模板傳輸給人工智能模型,人工智能模型將缺陷模板與經訓練的檢測數據進行比對,以檢測缺陷模板的缺陷類型,得到第二檢測結果,同時計算人工智能模型的檢測準確率,若第二檢測結果準確且檢測準確率符合一設定閾值,即檢測準確率達到或者超過該設定閾值,則輸出所述第二檢測結果並對人工智能模型進行訓練,若檢測準確率小於所述設定閾值,進行啟用第三檢測步驟S3繼續檢測。於本實施例中,通過在人工智能檢測過程中對其進行循環訓練,實現了人工智能模型的自動建立機制,同時通過對人工智能模型不斷的訓練學習,使其進一步提高檢測準確率。
具體來說,本實施例提供了一種人工智能模型的訓練方法,但本發明並不以此為限。請參考圖2,圖2所示為本發明一實施例的人工智能模型的訓練方法流程示意圖,如圖2所示,人工智能模型的訓練方法包括以下步驟。
S21.收集產品的缺陷圖片,並將缺陷圖片按照產品類別及缺陷類型進行分類。本發明對缺陷圖片的收集方法不做限制,在本實施例中,提供一種圖片標注系統,用以獲取圖片並對圖片進行分類儲存。具體地,請參考圖3,圖3所示為本發明的一實施例的缺陷圖片的分類方法流程示意圖。缺陷圖片的缺陷圖片的分類步驟包括: S211.獲取待檢測產品信息,以確定產品的類別。即圖片標注系統通過掃入產品條碼,根據產品條碼確定產品的所屬類別。 S212.根據產品信息獲取產品的缺陷圖片,確定缺陷圖片的缺陷位置和缺陷類型。即圖片標注系統根據產品條碼找到待分類的產品缺陷圖片,並將待分類的產品缺陷圖片坐標顯示在顯示區,如圖4所示。操作人員根據實際缺陷位置點選對應坐標點,然後對應坐標點會彈出缺陷圖片和缺陷代碼選擇框,完成缺陷圖片的標注與分類工作。 S213.將缺陷圖片按照產品類別和缺陷類型存入一圖片收集表,此時操作人員根據實際缺陷選擇缺陷代碼,圖片標注系統將該實際缺陷按照其選擇的缺陷代碼分類儲存到一圖片收集表,該圖片收集表係標示產品種類和缺陷類型的二維表格。當然,本發明並不以此為限,圖片的儲存形式還可以例如是柱狀圖信息和扇形圖信息等其他符合要其的形式。
S22.分別統計每一產品具有各類型缺陷的缺陷圖片的數量,當其中某一產品具有任一類型缺陷的圖片數量超過一預設值,則使用一預設方法訓練人工智能模型對每一缺陷圖片進行檢測。在本實施例中,當圖片標注系統收集儲存到圖片收集表中的某種缺陷類型的缺陷圖片超過500張的時候,則啟動對人工智能模型進行訓練。
S23.計算人工智能模型的訓練檢測準確率,當訓練檢測準確率超過預設方法訓練人工智能模型的預測準確率,完成針對缺陷圖片的人工智能模型訓練。其中,在本實施例中,對人工智能模型的訓練算法可以預設多種,每一訓練算法具有不同的預測準確率,例如包括第一訓練方法、第二訓練方法和第三訓練方法,第一訓練方法、第二訓練方法和第三訓練方法分別具有不同的預測準確率。於實際訓練中,計算該訓練算法下的人工智能模型的實際檢測準確率,並將該實際檢測準確率與該算法具有的預測準確率進行比較,當實際檢測準確率達到或者超過預測準確率,則激活該類型缺陷圖片訓練的人工智能模型。
對於第二檢測步驟S2獲得的檢測準確率,如果尚不能滿足用戶的要求,則進一步進行第三檢測步驟S3。也就是說,於本發明中,第二檢測步驟S2與第三檢測步驟S3係為一種彈性結合方式。第三檢測步驟S3主要基於一種複檢系統,該複檢系統在基於AOI檢測邏輯的基礎上,融合特定的檢測方法。
具體地,當確認上述第二檢測步驟S2獲得的檢測準確率不能滿足要求的情況下,將缺陷模板傳輸給一複檢系統,複檢系統將缺陷模板與一預設模板進行匹配檢測,得到第三檢測結果,並計算複檢準確率,若複檢準確率達到或者超過所述設定閾值,則輸出第三檢測結果並對人工智能模型進行訓練。其中該設定閾值可根據用戶需求進行實際設定。
具體請參考圖5,圖5所示為本發明一實施例的複檢系統的檢測流程示意圖,其包括以下檢測步驟: S31.對缺陷模板進行識別,並將缺陷模板與複檢系統中的一預設模板進行匹配; S32.抽取缺陷模板的特徵信息,其中特徵信息例如包括缺陷位置、顏色和符合; S33.將特徵信息與預設模板進行逐一比對檢測。
為實現本發明的另一目的,基於上述同一發明構思,本發明還提供一種缺陷檢測裝置。請繼續參考圖6,圖6所示為本發明的一是私立的缺陷檢測裝置的方塊圖。如圖6所示,本實施例的缺陷檢測裝置100,具體包括接收模組110、第一檢測模組120、第二檢測模組130、第三檢測模組140以及控制模組150。
其中,接收模組用於獲取待檢測的缺陷模板。第一檢測模組120中包括一AOI系統,AOI系統用於檢測缺陷模板的缺陷類型,以獲取第一檢測結果;第二檢測模組130,包括一人工智能模型,人工智能模型用於根據已訓練的檢測數據對缺陷模板進行缺陷檢測,以獲取第二檢測結果;第三檢測模組140包括一複檢系統,複檢系統將缺陷模板與一預設模板進行匹配檢測,以獲取第三檢測結果;控制模組150用於分別對第一檢測結果、第二檢測結果和第三檢測結果進行判斷,其中,若第一檢測結果準確,輸出所述第一檢測結果,否則將缺陷模板傳輸給所述第二檢測模組130;所述控制模組150還用於計算人工智能模型的檢測準確率,若第二檢測結果準確且檢測準確率符合一設定閾值,則輸出第二檢測結果並對人工智能模型進行訓練,若檢測準確率小於設定閾值,將缺陷模板傳輸給第三檢測模組140;所述控制模組150還用於計算複檢系統的複檢準確率,若複檢準確率符合(即達到或者超過)設定閾值,則輸出第三檢測結果並對人工智能模型進行訓練。
進一步地,第二檢測模組130還包括一訓練單元131,用於對人工智能模型進行訓練。其中,訓練單元131包括如下。
缺陷圖片分類子單元1311,用於收集產品的缺陷圖片,並將缺陷圖片按照產品類別及缺陷類型進行分類;本發明對缺陷圖片的收集方法不做限制,在本實施例中,提供一種圖片標注系統,用以獲取圖片並對圖片進行分類儲存。具體地,缺陷圖片的分類子單元進一步包括: 產品識別子單元A,用於獲取待檢測產品信息,確定產品的類別。即圖片標注系統通過掃入產品條碼,根據產品條碼確定產品的所屬類別。 缺陷識別子單元B,用於根據產品信息獲取產品的缺陷圖片,確定缺陷圖片的缺陷位置和缺陷類型。即圖片標注系統根據產品條碼找到待分類的產品缺陷圖片,並將待分類的產品缺陷圖片坐標顯示在顯示區,如圖4所示。操作人員根據實際缺陷位置點選對應坐標點,然後對應坐標點會彈出缺陷圖片和缺陷代碼選擇框,完成缺陷圖片的標注與分類工作。 儲存子單元C,用於將缺陷圖片按照產品類別和缺陷類型存入一圖片收集表。此時操作人員根據實際缺陷選擇缺陷代碼,圖片標注系統將該實際缺陷按照其選擇的缺陷代碼分類儲存到一圖片收集表,該圖片收集表係標示產品種類和缺陷類型的二維表格。當然,本發明並不以此為限,圖片的儲存形式還可以例如是柱狀圖信息和扇形圖信息等其他符合要其的形式。
模型訓練子單元1312,用於分別統計每一產品具有各類型缺陷的缺陷圖片的數量,當任一產品具有一類型缺陷的缺陷圖片的數量超過一預設值,則使用一預設方法訓練人工智能模型對每一缺陷圖片進行檢測。在本實施例中,當圖片標注系統收集儲存到圖片收集表中的某種缺陷類型的缺陷圖片超過500張的時候,則啟動對人工智能模型進行訓練。
計算子單元1313,用於計算人工智能模型的訓練檢測準確率,當訓練檢測準確率超過預設方法訓練人工智能模型的預測準確率,完成針對所述缺陷圖片的人工智能模型訓練。其中,在本實施例中,對人工智能模型的訓練算法可以預設多種,每一訓練算法具有不同的預測準確率,例如包括第一訓練方法、第二訓練方法和第三訓練方法,第一訓練方法、第二訓練方法和第三訓練方法分別具有不同的預測準確率。於實際訓練中,計算該訓練算法下的人工智能模型的實際檢測準確率,並將該實際檢測準確率與該算法具有的預測準確率進行比較,當實際檢測準確率達到或者超過預測準確率,則激活該類型缺陷圖片訓練的人工智能模型。
對於第二檢測模組130獲得的檢測準確率,如果尚不能滿足用戶的要求,則進一步啟動第三檢測模組140。也就是說,於本發明中,第二檢測模組130與第三檢測模組140係為一種彈性結合方式。第三檢測模組140主要基於一種複檢系統,該複檢系統在基於AOI檢測邏輯的基礎上,融合特定的檢測方法。
具體地,當確認上述第二檢測步驟S2獲得的檢測準確率不能滿足要求的情況下,將缺陷模板傳輸給一複檢系統,複檢系統將缺陷模板與一預設模板進行匹配檢測,得到第三檢測結果,並計算複檢準確率,若複檢準確率符合(即達到或者超過)所述設定閾值,則輸出第三檢測結果並對人工智能模型進行訓練。其中該設定閾值可根據用戶需求進行實際設定。
具體而言,第三檢測模組140還包括:模板匹配單元141、特徵抽取單元142和檢測單元143,其中模板匹配單元141用於識別缺陷模板,並將缺陷模板匹配一所述預設模板;特徵抽取單元142用於抽取缺陷模板的特徵信息,其中特徵信息包括缺陷位置、顏色和符合;檢測單元143用於將特徵信息與預設模板進行逐一比對檢測。
綜上所述,本發明提供一種新的用於各種電子元器件的缺陷檢測方法和裝置,本發明針對人工智能模型的檢測準確率較低的情形,分別增加分值卡控(即設置設定閾值),以及在複檢系統中採取基於AOI 邏輯的自定義檢測方法對產品缺陷進行再次檢測,以人為干涉檢測判定過程,增加檢測結果的可控性。進一步地,本發明為快速可讓用戶看到成果和效益,可以通過設置輸入不同缺陷類型的圖片啟動檢測進程,使檢測效果更加高效。本發明通過圖片標注系統於缺陷檢測過程中收集缺陷圖片,對人工智能模型進行不斷訓練,使人工智能模型能夠自動建立,避免了人工智能在檢測、分類等過程中需要長期大量樣本搜集、訓練和反復測試的情形。另外,本發明的缺陷檢測方法和裝置可並行用於多種待判定對象,提升檢測效率。
當然,本發明還可有其它多種實施例,在不背離本發明精神及其實質的情況下,熟悉本領域的技術人員當可根據本發明作出各種相應的改變和變形,但這些相應的改變和變形都應屬本發明所附的申請專利範圍的保護範圍。
S1~S3,S21~S23,S211~S213,S31~S33:步驟 100:缺陷檢測裝置 110:接收模組 120:第一檢測模組 130:第二檢測模組 131:訓練單元 1311:缺陷圖片分類子單元 A:產品識別子單元 B:缺陷識別子單元 C:儲存子單元 1312:模型訓練子單元 1313:計算子單元 140:第三檢測模組 141:模板匹配單元 142:特徵抽取單元 143:檢測單元 150:控制模組
圖1為本發明的一實施例的缺陷檢測方法的流程示意圖。 圖2為本發明一實施例的人工智能模型的訓練方法流程示意圖。 圖3為本發明的一實施例的缺陷圖片的分類方法流程示意圖。 圖4為本發明的一實施例的圖片標注系統的示意圖。 圖5所示為本發明一實施例的複檢系統的檢測流程示意圖。 圖6所示為本發明的一實施例的缺陷檢測裝置的框架圖。
S1~S3:步驟

Claims (10)

  1. 一種缺陷檢測方法,包括: 第一檢測步驟,於AOI系統設置一缺陷模板,所述AOI系統檢測所述缺陷模板的缺陷類型,得到第一檢測結果,若所述第一檢測結果準確,則輸出所述第一檢測結果,否則進行第二檢測步驟; 第二檢測步驟,將所述缺陷模板傳輸至一人工智能模型,所述人工智能模型檢測所述缺陷模板,得到一第二檢測結果並計算所述人工智能模型的檢測準確率,若所述第二檢測結果準確且所述檢測準確率符合一設定閾值,則輸出所述第二檢測結果並對所述人工智能模型進行訓練,若所述檢測準確率小於所述設定閾值,進行第三檢測步驟; 第三檢測步驟,將所述缺陷模板傳輸至一複檢系統,所述複檢系統將所述缺陷模板與一預設模板進行匹配檢測,得到第三檢測結果並計算複檢準確率,若複檢準確率符合所述設定閾值,則輸出所述第三檢測結果並對所述人工智能模型進行訓練。
  2. 根據請求項1所述的缺陷檢測方法,其中,所述人工智能模型的訓練步驟包括: 收集產品的缺陷圖片,並將所述缺陷圖片按照產品類別及缺陷類型進行分類; 分別統計每一產品具有各類型缺陷的缺陷圖片的數量,當任一產品具有一類型缺陷的缺陷圖片的數量超過一預設值,則使用一預設方法訓練所述人工智能模型對每一所述缺陷圖片逐一進行檢測; 計算所述人工智能模型的訓練檢測準確率,當所述訓練檢測準確率大於或者等於所述預設方法訓練所述人工智能模型的預測準確率,完成針對所述缺陷圖片的人工智能模型訓練。
  3. 根據請求項2所述的缺陷檢測方法,其中,所述缺陷圖片的分類步驟包括: 獲取待檢測產品信息,確定所述產品的類別; 根據所述產品信息獲取所述產品的缺陷圖片,確定所述缺陷圖片的缺陷類型; 將所述缺陷圖片按照所述產品類別和所述缺陷類型進行分類儲存。
  4. 根據請求項2所述的缺陷檢測方法,其中,所述預設方法包括第一訓練方法、第二訓練方法和第三訓練方法,所述第一訓練方法、第二訓練方法和第三訓練方法分別具有不同的所述預測準確率。
  5. 根據請求項1所述的缺陷檢測方法,其中,所述第三檢測步驟還包括: 識別所述缺陷模板,並將所述缺陷模板匹配一所述預設模板; 抽取所述缺陷模板的特徵信息,其中所述特徵信息包括缺陷位置、顏色和符合; 將所述特徵信息與所述預設模板進行逐一比對檢測。
  6. 一種缺陷檢測裝置,包括: 接收模組,用於獲取待檢測的缺陷模板; 第一檢測模組,包括一AOI系統,所述AOI系統用於檢測所述缺陷模板的缺陷類型,以獲取第一檢測結果; 第二檢測模組,包括一人工智能模型,所述人工智能模型用於根據已訓練的檢測數據對所述缺陷模板進行缺陷檢測,以獲取第二檢測結果; 第三檢測模組,包括一複檢系統,所述複檢系統將所述缺陷模板與一預設模板進行匹配檢測,以獲取第三檢測結果; 控制模組,用於分別對所述第一檢測結果、第二檢測結果和第三檢測結果進行判斷,其中,若所述第一檢測結果準確,輸出所述第一檢測結果,否則將所述缺陷模板傳輸給所述第二檢測模組; 所述控制模組還用於計算所述人工智能模型的檢測準確率,若所述第二檢測結果準確且所述檢測準確率符合一設定閾值,則輸出所述第二檢測結果並對所述人工智能模型進行訓練,若所述檢測準確率小於所述設定閾值,將所述缺陷模板傳輸給所述第三檢測模組; 所述控制模組還用於計算所述複檢系統的複檢準確率,若複檢準確率符合所述設定閾值,則輸出所述第三檢測結果並對所述人工智能模型進行訓練。
  7. 根據請求項6所述的缺陷檢測裝置,其中,所述第二檢測模組還包括一訓練單元,用於對所述人工智能模型進行訓練; 其中,所述訓練單元包括: 缺陷圖片分類子單元,用於收集產品的缺陷圖片,並將所述缺陷圖片按照產品類別及缺陷類型進行分類; 模型訓練子單元,用於分別統計每一產品具有各類型缺陷的缺陷圖片的數量,當任一產品具有一類型缺陷的缺陷圖片的數量超過一預設值,則使用一預設方法訓練所述人工智能模型對每一所述缺陷圖片進行檢測; 計算子單元,用於計算所述人工智能模型的訓練檢測準確率,當所述訓練檢測準確率超過所述預設方法訓練所述人工智能模型的預測準確率,完成針對所述缺陷圖片的人工智能模型訓練。
  8. 根據請求項7所述的缺陷檢測裝置,其中,所述缺陷圖片分類子單元進一步包括: 產品識別子單元,用於獲取待檢測產品信息,確定所述產品的類別; 缺陷識別子單元,用於根據所述產品信息獲取所述產品的缺陷圖片,確定所述缺陷圖片的缺陷位置和缺陷類型; 儲存子單元,用於將所述缺陷圖片按照所述產品類別和所述缺陷類型進行分類儲存。
  9. 根據請求項7所述的缺陷檢測裝置,其中,所述預設方法包括第一訓練方法、第二訓練方法和第三訓練方法,所述第一訓練方法、第二訓練方法和第三訓練方法分別具有不同的所述預測準確率。
  10. 根據請求項6所述的缺陷檢測裝置,其中,所述第三檢測模組還包括: 模板匹配單元,用於識別所述缺陷模板,並將所述缺陷模板匹配一所述預設模板; 特徵抽取單元,用於抽取所述缺陷模板的特徵信息,其中所述特徵信息包括缺陷位置、顏色和符合; 檢測單元,用於將所述特徵信息與所述預設模板進行逐一比對檢測。
TW109146051A 2020-11-11 2020-12-24 缺陷檢測方法及檢測裝置 TWI747686B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011253928.2A CN114494103A (zh) 2020-11-11 2020-11-11 缺陷检测方法及检测装置
CN202011253928.2 2020-11-11

Publications (2)

Publication Number Publication Date
TWI747686B TWI747686B (zh) 2021-11-21
TW202219494A true TW202219494A (zh) 2022-05-16

Family

ID=79907546

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109146051A TWI747686B (zh) 2020-11-11 2020-12-24 缺陷檢測方法及檢測裝置

Country Status (2)

Country Link
CN (1) CN114494103A (zh)
TW (1) TWI747686B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116380919B (zh) * 2023-06-02 2023-08-15 深圳市磐锋精密技术有限公司 基于aoi在线技术的柔外观缺陷检测系统及检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105021694B (zh) * 2015-07-02 2017-12-19 清华大学 不完整信号下的漏磁检测缺陷量化与显示方法
CN107909118B (zh) * 2017-12-11 2022-02-22 北京映翰通网络技术股份有限公司 一种基于深度神经网络的配电网工况录波分类方法

Also Published As

Publication number Publication date
TWI747686B (zh) 2021-11-21
CN114494103A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN109584227A (zh) 一种基于深度学习目标检测算法的焊点质量检测方法及其实现系统
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN111401419A (zh) 基于改进RetinaNet的员工着装规范检测方法
CN110378232B (zh) 改进的ssd双网络的考场考生位置快速检测方法
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN111062961A (zh) 一种基于深度学习的隐形眼镜边缘缺陷检测方法
WO2017107533A1 (zh) 一种电子元件样本标注方法及装置
US20220207266A1 (en) Methods, devices, electronic apparatuses and storage media of image processing
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
TWI707137B (zh) 智能產線監測系統及監測方法
CN109685756A (zh) 影像特征自动辨识装置、系统及方法
CN111798408B (zh) 一种内窥镜干扰图像检测与分级系统及方法
CN109997199A (zh) 基于深度学习的结核病检查方法
TW202219494A (zh) 缺陷檢測方法及檢測裝置
CN107607205A (zh) 线束颜色顺序检测系统和方法
CN110687120A (zh) 法兰外观质量检测系统
CN116978834B (zh) 一种用于晶圆生产的智能监测预警系统
CN109102486B (zh) 基于机器学习的表面缺陷检测方法及装置
CN112461846A (zh) 工件缺陷检测方法及装置
CN115359412B (zh) 一种盐酸中和实验评分方法、装置、设备及可读存储介质
CN116342502A (zh) 一种基于深度学习的工业视觉检测方法
CN114913086B (zh) 基于生成对抗网络的人脸图像质量增强方法
CN105973910A (zh) 基于结构纹理特征的灯管质量检测与瑕疵分类方法及系统
CN109975307A (zh) 基于统计投影训练的轴承表面缺陷检测系统及检测方法
CN106446837B (zh) 一种基于运动历史图像的挥手检测方法