TWI755953B - 自動檢測系統及其操作方法 - Google Patents

Abstract

一種自動檢測系統包含機器視覺檢測裝置、連接機器視覺檢測裝置的修復站、人工智慧模組及連接修復站與人工智慧模組的處理平台。機器視覺檢測裝置可取得待測物的圖像，並通過修復站的操作畫面進行顯示，以及人工智慧模組擷取待測物的圖像進行分類推斷，處理平台用於執行將待測物的圖像分類推斷的結果資料自動疊加到修復站的操作畫面上，並攔截操作員通過使用者介面對修復站輸入的人工複判的結果資料，再發送給人工智慧模組以作為後續自動化進行分類模型再訓練學習的資料。

Description

自動檢測系統及其操作方法

本發明係提供一種系統與方法，且特別是有關於一種自動檢測系統及其操作方法。

按，隨著科技進步，使電子零件的尺寸縮小化而精密度則要求日益提高，故為了確保產品的良率提升，在現代化製程中，需要在各個重要站點進行檢測，以利及早抓出具有瑕疵或缺陷的不良品，並減少製程資源的浪費，提升產線的產量及良率，但也讓製程消耗的時間會隨著多站檢測而增加，因此，為了加速檢測的時間，自動視覺檢測與自動光學檢測等自動化檢測技術，便成為製程中不可或缺的角色。

而一般自動化檢測設備為普遍應用在電路板組裝生產線的外觀檢查，並取代以往的人工目檢作業，例如可用來檢測電路板上的零件焊錫、組裝後的品質狀況，其基本的原理是利用影像技術來比對待測物與標準影像是否有過大差異，以判斷待測物是否有符合標準，但傳統的自動化檢測設備常因色差、高度落差等因素，造成誤報率過高，反而增加了事後人力替異常的檢測進行複檢及處理成本的浪費。

然而，隨著現代的工業4.0與智慧製造的興起，並在講究生產效率與品質的智慧工廠中，品質檢測是確保產線良率與產品品質最重 要的程序之一，為了提升檢測作業的準確率，過去多用自動化檢測設備來協助現場端產線人員作業，但是隨著人工智慧技術的應用日漸成為主流，逐漸成熟的人工智慧技術也開始與自動化檢測設備作整合，透過機械學習或深度學習演算法，使自動化檢測設備的瑕疵檢測更精準，以降低自動化檢測設備的誤報率、節省大量人力成本，惟該製造業者所採用的機械學習或深度學習都需要先經過訓練模式，再將訓練結果下載至現場端自動化檢測設備或終端設備應用的推論模式，而在訓練模式的建立，最大的問題就是良好樣本與瑕疵樣本取得的比例相差懸殊，瑕疵樣本的不足，也將導致難以有效訓練能夠辨識瑕疵的模型。

是以，在現今智慧工廠自動化生產的時代，隨著人工智慧技術的應用日漸成為主流，要如何將人工智慧技術導入自動化檢測設備，以進一步降低漏檢率或誤報率，使整體檢測流程縮短、節省大量人力成本和提升產線的產量及良率，同時可收集現場端人工複判的結果作為後續模型訓練的資料，以提升對待測物分類判斷或辨識之精準度，讓檢測的品質更臻完善，則有待從事此行業者重新設計來加以解決。

故，發明人有鑑於上述缺失，乃搜集相關資料，經由多方的評估及考量，並以從事於此行業累積之多年經驗，持續的試作與修改，始設計出此種可收集現場端人工複判的結果以作為後續分類模型再訓練的資料之自動檢測系統及其操作方法的發明專利誕生。

本發明之主要目的乃在於自動檢測系統採用非侵入式設計可在產線不停機的狀態下安裝，並導入產線中已有的機器視覺檢測裝置， 當機器視覺檢測裝置檢測出具有瑕疵的待測物圖像時，可由人工智慧模組以深度學習演算法自動進行瑕疵的分類推斷，並由處理平台將人工智慧模組對待測物的圖像分類推斷的結果，以自動插入或填寫的方式疊加到修復站的操作畫面上進行顯示，以減少人工所需要檢測的項目，讓操作員可專注於複判，並提升作業的品質，當操作員進行複判時，處理平台便會攔截操作員通過輸入單元輸入的人工複判的結果資料，再發送給人工智慧模組作為後續自動化進行分類模型再訓練學習所需的資料，以進一步降低自動檢測系統的誤報率，讓檢測的品質更臻完善。

本發明之次要目的乃在於當操作員判斷圖像AI標記的瑕疵與其標記的不同時，則表示AI分類推斷的結果與實際人工複檢標記的結果不同，處理平台會收集人工複判的結果，作為後續人工智慧模組再訓練學習的資料，以達到後續檢測流程對於相同或類似的誤判樣本不再發生誤判情形，藉此可提升分類判斷或辨識之精準度，同時保留操作員過去的所有操作行為，讓操作員熟悉現有系統增加的新功能，也可透過互動式操作畫面縮短操作員的學習曲線，如此，不僅可使檢測流程縮短、單位產能獲得提升，更重要的是，軟硬體都是外掛在原有的自動光學檢測系統上，可有效輕鬆升級原有的系統與設備，同時減少人工複檢繁複的檢測項目，有效降低人力成本、提升產線的產量及良率。

100:自動檢測系統

101:機器視覺檢測裝置

102:修復站

103:人工智慧模組

104:處理平台

200:待測物

300:操作畫面

301:待測物的圖像畫面

302:待測物放大的圖像畫面

303:視窗

〔第1圖〕係本發明自動檢測系統之架構示意圖。

〔第2圖〕係本發明之步驟流程圖。

〔第3圖〕係本發明攔截操作員輸入複判的結果進行人工智慧訓練並將相同的輸入回傳到修復站之示意圖。

〔第4圖〕係本發明將人工智慧分類推斷的結果疊加到操作畫面上之示意圖。

為達成上述之目的及功效，本發明所採用之技術手段及其構造，茲繪圖就本發明之較佳實施例詳加地說明其構造與功能如下，俾利完全瞭解。

請參閱如第1~4圖所示，係分別為本發明自動檢測系統之架構示意圖、步驟流程圖、攔截操作員輸入複判的結果進行人工智慧訓練並將相同的輸入回傳到修復站之示意圖及將人工智慧分類推斷的結果疊加到操作畫面上之示意圖，由圖中可清楚看出，本發明之自動檢測系統100包含一機器視覺檢測裝置101，用於對機台或輸送帶上運送的待測物200進行取像並檢測出具有瑕疵或缺陷的待測物200；連接該機器視覺檢測裝置101的一修復站102，用於接收該待測物200的圖像並通過一操作畫面300來進行顯示，以輔助一操作員進行人工複檢；連接該機器視覺檢測裝置101的一人工智慧模組103，用於擷取該待測物200的圖像，以自動化進行該待測物200的瑕疵或缺陷的分類推斷；以及連接該修復站102與該人工智慧模組103的一處理平台104，用於接收該人工智慧模組103分類推斷的結果資料，並將其整合疊加於該修復站102的操作畫面300上進行顯示，以輔助該操作員進行人工複判的作業。

本發明另外提供一種自動檢測系統之操作方法，其中該自 動檢測系統100包含上述之機器視覺檢測裝置101、修復站102、人工智慧模組103及處理平台104，該方法包含下列之步驟：

(S101)機器視覺檢測裝置101取得待測物200的圖像，並檢測出具有瑕疵的待測物200。

(S102)人工智慧模組103擷取待測物200的圖像進行分類推斷，並通過處理平台104將分類推斷的結果資料自動疊加到修復站102的操作畫面300上。

(S103)操作員利用操作畫面300進行人工複檢時，操作員通過使用者介面對修復站102輸入的結果資料會被處理平台104攔截發送至人工智慧模組103，以作為該人工智慧模組103後續自動化進行分類模型再訓練學習所需的資料。

(S104)處理平台104將操作員所輸入的結果資料，以相同的輸入回傳到修復站102。

由圖中及上述之實施步驟可清楚得知，本發明使用之機器視覺檢測裝置101係自動光學檢測(Automated Optical Inspection，AOI)或自動視覺檢測(Automated Visual Inspection，AVI)設備，並利用高精度的相機對機台或輸送帶上運送的待測物200進行取像，以機器視覺技術檢測出具有瑕疵或缺陷的待測物200，且該待測物200較佳實施是以印刷電路板組裝(PCBA)為例，以供機器視覺檢測裝置101可用來檢測電路板上的零件焊錫、組裝後的品質狀況，但並不以此為限，亦可應用在印刷電路板(PCB)、晶片載板、平面顯示器(FPD)、半導體、電子元件或其他製程中進行缺件、孔位、線路、外觀檢查與量測等。

在本實施例中，至少一個修復站102可通過修復伺服器(Repair Server)取得多台機器視覺檢測裝置101檢測出待測物200的圖像及瑕疵或缺陷資料(AOI Image and Defects)等，並於人工智慧模組103以在線條碼掃描器(Inline Barcode Scanner)自動掃描待測物200上的標籤產品序號(S/N)或部件編號(P/N)後，可通過顯示介面(如VGA/DV I)之通訊協定來取得待測物200的圖像，再利用非侵入式圖像萃取器(N on-intrusive Image Extractor)進行剪裁圖像(Cropped Image)和光學字元辨識(OCR)相關的影像處理，以提取出待測物200的信息和圖像的特徵資料後，便可藉由AI伺服器(AI Server)之運算平台以深度學習技術來自動化進行瑕疵或缺陷的分類推斷等，並利用資料庫(Database)收集與儲存待測物200的信息和圖像的特徵資料，也可使用機器人流程自動化軟體(RPA)自動到製造執行系統(MES)與企業管理平台(SAP)收集資料與前處理，以提供深度學習所需的資料。

詳細來說，上述之AI伺服器的深度學習運作，主要可分為模型訓練(Training)和推論(Inference)模式，係透過演算法從資料庫中提取出相關可用的資料，如CSV(逗號分隔值，其檔案以純文字形式儲存表格資料)、圖像或文本等，並對提取出的特徵資料進行預處理，以建立用於識別或分類的模型，用於將無標記的資料進行分群(Clustering)，而對於有標記的資料，則可提供模型訓練學習的樣本，找出最佳化的深度學習模型，此一模型經過訓練學習的過程後可作為分類器使用，並將無標記的資料進行識別與分類(Classification)，進而能夠自主的執行分類判斷或預測，以完成推論的模式，惟此部分有關人工智慧模組103所採用的 深度學習包含很多種不同的演算法，並在收集資料、建模、訓練、評估、參數調整、預測等流程均不盡相同，但不論是深度學習或機械學習，都屬於人工智慧的範疇，合予陳明。

而處理平台104可通過手持式掃描器(Handheld Scanner)自動掃描待測物200上所貼附或列印的產品序號(S/N)或部件編號(P/N)標籤等，並將人工智慧模組103對待測物200的圖像分類推斷的結果(AI Inferenced result)資料以自動插入或填寫的方式疊加(Overlay)到修復站102所對應的使用者介面的模擬器(UI Simulator)上，使操作畫面300可顯示出不同分類推斷的結果，以輔助操作員可目視該操作畫面300進行複判作業，便可減少人工所需檢測的項目，使操作員可專注於複判來提升作業品質，而操作員複判的方式，係通過使用者介面的輸入單元包含但不限於滑鼠、鍵盤或觸控螢幕以進行標記待測物200的圖像瑕疵或缺陷是否為真、分類結果是否正確等，並由處理平台104攔截操作員所輸入的驗證操作或手動檢查的結果(Manual Inspection result)後，再將其輸入的結果或人工複判的結果資料發送給人工智慧模組103之AI伺服器，以自動化進行分類模型的再訓練與驗證流程，同時處理平台104可將攔截到人工複判的結果資料，以相同的輸入回傳到修復站102進行處理。

請參閱如第3~4圖所示，本發明適用之自動檢測系統100為採用非侵入式設計，可在產線不停機的狀態下安裝，並導入原有產線中已有的機器視覺檢測裝置101(如自動光學檢測或自動視覺檢測設備)，不但可擴充多台機器視覺檢測裝置101與修復站102接續處理，並由人工智慧模組103以條碼掃描器自動掃描待測物200上的標籤，可自動剪裁取 得待測物200的圖像、提取待測物200的信息和機器視覺檢測裝置101檢測的特徵資料，以進行AI訓練和推論，且可透過處理平台104將其分類推斷的結果資料自動疊加到修復站102的操作畫面300中。

舉例來說，上述之修復站102的操作畫面300包含主機各種的設定、基本操作、檢測條件的設定、選單、資料列表、待測物原始的圖像畫面301、待測物放大的圖像畫面302，以及具有特定的文字、不同的背景顏色或提示色彩並用於代表不同AI分類推斷結果的視窗303等，其中視窗303為處理平台104將人工智慧模組103對待測物200的圖像分類推斷的結果資料自動疊加到操作畫面300中之提示視窗，當操作員目視操作畫面300進行複判時，由於人工智慧模組103會對機器視覺檢測裝置101所檢測出具有瑕疵或缺陷的待測物200進行複檢，不須大量有標記的圖像資料或樣本進行訓練，就可以降低90%以上的誤報率，並將分類推斷的結果疊加到操作畫面300中，讓操作員可依據視窗303顯示出AI分類推斷的結果決定是否要進行人工複檢，包含沒有結果(No Result)、信心十足(Above Confidence)及信心不足(Below Conference)，不但在查看結果上更加容易，並可透過互動式操作畫面300指導操作員接受AI分類推斷的結果、減少人工所需要檢測的項目，當檢測的項目大量減少後，操作員就可以專注於複判，提升作業的品質。

若是視窗303顯示出AI分類推斷的結果為沒有結果或信心不足時，操作員可通過輸入單元(如滑鼠、鍵盤等)在待測物放大的圖像畫面302上進行標記瑕疵或缺陷是否為真，並在操作畫面300中可提供正確選項及錯誤選項給操作員點選，當操作員判斷圖像上AI標記的瑕疵 或缺陷位置與其標記的位置不同時，則表示AI分類推斷的結果與實際人工複檢所標記的結果不同，可能是AI的模型誤判所導致分類錯誤或人工標記錯誤，需要人工再次確認標記的正確性，處理平台104便會自動攔截操作員所輸入的驗證操作或手動檢查的結果，再將其人工複判的結果資料和圖像等發送給人工智慧模組103之AI伺服器，以自動化進行分類模型的再訓練與驗證流程，並持續訓練AI伺服器的深度學習模型，直到人工智慧模組103能夠自主的執行分類判斷或預測後，或是準確率不再提高就停止訓練，以進一步降低自動檢測系統100之漏檢率或誤報率，讓檢測的品質更臻完善。

此種自動檢測系統100之處理平台104可同時收集人工複判的結果，作為後續人工智慧模組103再訓練學習所需的資料，其中再訓練流程是將經由人工複判的結果資料加入AI伺服器之學習樣本資料庫，使分類模型可自動調整各節點的參數或權重，以達到後續檢測流程對於相同或類似的誤判樣本不再發生誤判情形，藉此提升對待測物200進行分類判斷或辨識之精準度，同時保留了操作員過去的所有操作行為，讓操作員可快速熟悉現有系統增加的新功能，也可透過互動式操作畫面300縮短了操作員的學習曲線，如此一來，不僅可使整體之檢測流程縮短、單位產能獲得提升，更重要的是，軟硬體都是外掛在原有的自動光學檢測系統上，可有效輕鬆升級原有的系統與設備，同時減少人工複檢繁複的檢測項目，有效降低人力成本、提升產線的產量及良率。

上述詳細說明為針對本發明一種較佳之可行實施例說明而已，惟該實施例並非用以限定本發明之申請專利範圍，凡其他未脫離本發 明所揭示之技藝精神下所完成之均等變化與修飾變更，均應包含於本發明所涵蓋之專利範圍中。

綜上所述，本發明之自動檢測系統及其操作方法使用時為確實能達到其功效及目的，故本發明誠為一實用性優異之發明，為符合發明專利之申請要件，爰依法提出申請，盼 審委早日賜准本案，以保障發明人之辛苦發明，倘若 鈞局審委有任何稽疑，請不吝來函指示，發明人定當竭力配合，實感德便。

100:自動檢測系統

101:機器視覺檢測裝置

102:修復站

103:人工智慧模組

104:處理平台

200:待測物

Claims (8)

1. 一種自動檢測系統，其包含一機器視覺檢測裝置，用於取得一待測物的圖像並檢測出具有瑕疵的待測物；連接該機器視覺檢測裝置的一修復站，用於接收該待測物的圖像並通過一操作畫面來進行顯示以輔助一操作員進行人工複檢；連接該機器視覺檢測裝置的一人工智慧模組，用於擷取該待測物的圖像以進行分類推斷；以及連接該修復站與該人工智慧模組的一處理平台，用於接收該人工智慧模組分類推斷的結果資料並將其整合於該修復站的操作畫面上，輔助該操作員進行人工複判，其中該處理平台用於執行下列之步驟：

   將該人工智慧模組對該待測物的圖像分類推斷的結果資料自動疊加到該修復站的操作畫面上；

   攔截該操作員通過一使用者介面對該修復站輸入的該人工複判的結果資料；

   將該人工複判的結果資料發送給該人工智慧模組，以作為該人工智慧模組自動化進行分類模型再訓練學習的資料；以及

   該處理平台將該操作員所輸入的結果資料，以相同的輸入回傳到該修復站。
2. 如請求項1所述之自動檢測系統，其中該機器視覺檢測裝置係一自動光學檢測或自動視覺檢測設備。
3. 如請求項1所述之自動檢測系統，其中該人工智慧模組係通過一顯示介面之通訊協定來取得該待測物的圖像，並利用一非侵入式圖像萃取器進行剪裁圖像和光學字元辨識的影像處理，以提取出該待 測物的信息和圖像的特徵資料，再利用深度學習技術自動化進行瑕疵或缺陷的分類推斷。
4. 如請求項3所述之自動檢測系統，其中該人工智慧模組係通過一資料庫收集與儲存該待測物的信息和圖像的特徵資料。
5. 如請求項1所述之自動檢測系統，其中該處理平台係將該分類推斷的結果資料以自動插入或填寫的方式疊加到該使用者介面的一模擬器上，使該操作畫面顯示出不同分類推斷的結果。
6. 如請求項5所述之自動檢測系統，其中該操作畫面包含待測物原始的圖像畫面、待測物放大的圖像畫面，以及用於顯示出該不同分類推斷的結果的視窗。
7. 如請求項5所述之自動檢測系統，其中該操作員係通過該使用者介面的一輸入單元進行標記該待測物的圖像、輸入該操作員的驗證操作或手動檢查的結果。
8. 一種自動檢測系統之操作方法，該自動檢測系統包含一機器視覺檢測裝置、一修復站、一人工智慧模組及一處理平台，該方法包含：

   該機器視覺檢測裝置取得一待測物的圖像，並檢測出具有瑕疵的待測物；

   該人工智慧模組取得該待測物的圖像進行分類推斷，並通過該處理平台將分類推斷的結果資料自動疊加到該修復站的一操作畫面上；

   一操作員利用該操作畫面進行人工複檢時，該操作員通過一使用者介面對該修復站輸入的結果資料會被該處理平台攔截發送至該人工 智慧模組，以作為該人工智慧模組自動化進行分類模型再訓練學習的資料；以及

   該處理平台將該操作員所輸入的結果資料，以相同的輸入回傳到該修復站。

Images