TWM611949U

TWM611949U - 自動化視覺檢測的ai流程管理系統

Info

Publication number: TWM611949U
Application number: TW110201735U
Authority: TW
Inventors: 林威延
Original assignee: 麗臺科技股份有限公司
Priority date: 2021-02-09
Filing date: 2021-02-09
Publication date: 2021-05-11

Abstract

本新型係一種自動化視覺檢測的AI流程管理系統，主要係由一邊緣運算設備透過網路與一AI雲端設備交換資料，並於該AI雲端設備完成訓練、提供報告，供該邊緣運算設備可運用最適合的模型。當該邊緣運算設備、該AI雲端設備執行於一訓練階段時，由該AI雲端設備取得一個以上的影像資訊，根據該影像資訊產生一個以上的標註資訊，並依據該標註資訊產生一訓練模型，以及更新訓練模型並供該邊緣運算設備下載，以令後續啟動一執行階段。本新型利用AI技術能即時重啟訓練階段，並透過該標註資訊即時產生及更新該訓練模型，藉此達到提升視覺檢測效率的目的。

Description

自動化視覺檢測的AI流程管理系統

本新型係關於一種自動化管理系統，尤指一種自動化視覺檢測的AI流程管理系統。

科技日新月異，具有觸控面板、操作面板、顯示面板的電子產品如雨後春筍般地被運用在生活中，但是前述各種面板於出廠前，均需要通過一檢測流程，並且確認沒有問題才能夠安裝在對應的電子產品上，以提供消費者優良的產品。

傳統的自動光學檢測(Automatic Optical Inspection, AOI)常用於對前述各種面板生產完之品質的自動視覺檢查技術，在檢查的過程之中，利用一影像擷取模組自動掃描面板，以查找災難性故障和品質缺陷(如面板刮痕)。由於傳統的自動光學檢測(Automatic Optical Inspection, AOI)是一種非接觸式檢測方法，因此常被用於精密製造過程之中，且在整個精密製造過程的許多階段被使用，過去的AOI演算法，是基於影像處理以及形態學的比對，傳統上的做法需要設定許多的參數與閥值，且光源的改變會造成參數需要改變，需要大量的工程師以人力進行調校，才能讓AOI演算法正確運行，故導致系統維運的成本遽增，非常耗費人力及沒有效率。

近年來人工智慧(Artificial Intelligence, AI)的技術發展在電腦視覺領域已漸趨成熟，也有諸多相關應用，而自動光學檢測(Automatic Optical Inspection, AOI)產業也逐步導入人工智慧(Artificial Intelligence, AI)在軟體系統中，即便如此，設備商仍以銷售獨立設備居多，既有的系統框架還是以單機型態為主，容易與現有技術的人工智慧(Artificial Intelligence, AI)標準流程有衝突。

故現有技術中，傳統的自動光學檢測(Automatic Optical Inspection, AOI)常被用於精密製造過程之中，但需要大量人力進行調校，導致系統維運的成本遽增，非常耗費人力及沒有效率。然而，近年來雖人工智慧(Artificial Intelligence, AI)的技術開始被應用，但是既有的自動光學檢測(Automatic Optical Inspection, AOI)設備難以跟新興的人工智慧(Artificial Intelligence, AI)標準流程整合。因此，現有技術中仍然存在系統維運成本偏高、耗費人力及沒有效率等問題，確實有待進一步提出更佳解決方案的必要。

有鑑於上述現有技術之不足，本新型主要目的在於提供一種自動化視覺檢測的AI流程管理系統，利用人工智慧(Artificial Intelligence, AI)、網路通訊以及自動化即時更新訓練，提供可運用的最適模型，以提升視覺檢測效率。

為達成上述目的所採取之主要技術手段係令前述自動化視覺檢測的AI流程管理系統包括：一邊緣運算設備，係與網路連結；一AI雲端設備，係透過網路與該邊緣運算設備交換資料；其中，基於該AI雲端設備執行於一訓練階段，由該AI雲端設備取得一個以上的影像資訊，並根據該影像資訊產生一個以上的標註資訊，該AI雲端設備依據該標註資訊產生一訓練模型，以及更新訓練模型並供下載至該邊緣運算設備，以令後續該邊緣運算設備啟動一執行階段。

藉由上述構造，該邊緣運算設備透過網路與該AI雲端設備進行資料交換，且當該AI雲端設備執行於該訓練階段時，由該AI雲端設備取得該影像資訊，並根據該影像資訊進行標註以產生相對應的該標註資訊，該AI雲端設備依據該標註資訊自動化產生產生該訓練模型，以及即時地更新訓練模型並供下載至該邊緣運算設備，以令後續該邊緣運算設備啟動該執行階段使用；本新型藉由AI技術能即時重啟訓練階段，並透過該標註資訊即時產生及更新該訓練模型，藉此達到提升視覺檢測效率的目的。

關於本新型自動化視覺檢測的AI流程管理系統之第一較佳實施例，請參考圖1A所示，其包括一邊緣運算設備10以及一AI雲端設備20，該邊緣運算設備10係用以檢測產品品質(如面板之刮痕等)，並將檢測結果以影像進行儲存，且該邊緣運算設備10與該AI雲端設備20分別與網路連結，並進行資料交換，使用者可於該AI雲端設備20直接進行操作，以完成訓練、提供報告，供該邊緣運算設備10可運用最適合的模型。

於本較佳實施例中，當使用者於該AI雲端設備20進行操作，基於該AI雲端設備20執行於一訓練階段，由該AI雲端設備20取得一個以上的影像資訊，並根據該影像資訊產生一個以上的標註資訊；該AI雲端設備20依據該標註資訊產生一訓練模型，以及更新訓練模型並供下載至該邊緣運算設備10；後續，於該訓練階段完成，且該邊緣運算設備10根據該訓練模型產生一更新後訓練模型，該邊緣運算設備10隨時可啟動一執行階段，由該邊緣運算設備10取得一即時影像資訊，並根據該即時影像資訊、該更新後訓練模型產生一辨識結果，儲存並回傳該辨識結果至該AI雲端設備20。透過AI技術能即時重啟訓練階段，並透過該標註資訊即時產生及更新該訓練模型，確實能提升視覺檢測效率。

請參閱圖1B，為提升方便性，於本較佳實施例中使用者係可進一步透過一電子裝置30與網路連結，並藉由該電子裝置30登入該AI雲端設備20進行操作，由於不受距離與空間的限制，使得使用者能夠在遠端操作該AI雲端設備20，進而提升使用的效率以及方便性；於本較佳實施例中，該電子裝置30包括一行動裝置、一桌上型電腦或一筆記型電腦等。於本較佳實施例中，上述的該影像資訊可為多數個、該標註資訊可為多數個，在此僅是舉例而非加以限制。

進一步的，請參閱圖2，於本較佳實施例中該AI雲端設備20包括一AI訓練伺服器21及一雲端運算伺服器22，該雲端運算伺服器22分別與該邊緣運算設備10、該AI訓練伺服器21連結，該AI訓練伺服器21亦與該邊緣運算設備10連結；其中，該邊緣運算設備10已儲存檢測結果，當使用者操作該雲端運算伺服器22並執行該訓練階段，係由該雲端運算伺服器22透過該AI訓練伺服器21取得該影像資訊，並根據該影像資訊產生該標註資訊；該雲端運算伺服器22再將該標註資訊提供給該AI訓練伺服器21進行訓練，以產生該訓練模型；以及由該雲端運算伺服器22更新訓練模型，並更新至該邊緣運算設備10或提供下載。

於本較佳實施例中，該AI雲端設備20的雲端運算伺服器22根據該影像資訊產生該標註資訊的方式，主要係於該雲端運算伺服器22安裝並執行一標註工具程式，並由使用者操作該標註工具程式，當該影像資訊包括一個以上的瑕疵資訊，則使用者透過該標註工具程式針對該具有瑕疵資訊的影像資訊進行標註，以產生該標註資訊，必須強調的是，藉由使用者操作該標註工具程式產生該標註資訊，能優化並提升訓練模型的準確性及效能。進一步的，於本較佳實施例中，該標註資訊包括一物件檢測類型資訊及／或一語意切割類型資訊。

於本較佳實施例中，該AI雲端設備20的雲端運算伺服器22進一步安裝並執行一個以上的排程訓練程式及一效能管理工具程式，並由使用者操作該排程訓練程式，並於該排程訓練程式設定或預設多種訓練模型(如CNN-Based Models, Faster R-CNN, Yolo, Unet, DeepLab, Mask R-CNN等)，以進行排程訓練，並透過該效能管理工具程式紀錄用於訓練與推論的一個以上的效能指標；於本較佳實施例中該效能指標包括一時間資訊、一資源耗費資訊，該資源耗費資訊包括CPU/RAM資源耗費資訊、GPU Core/GPU RAM資源耗費資訊等。於本較佳實施例中，該排程訓練程式、該效能管理工具程式均可執行於一視覺化圖形介面，並透過該視覺化圖形介面的形式呈現，供使用者方面操作、使用。

關於本新型自動化視覺檢測的AI流程管理系統之第二較佳實施例，請參考圖3所示，其主要技術內容與前一較佳實施例大致相同，惟本較佳實施例進一步具有多數的邊緣運算設備10、一儲存裝置40，該等邊緣運算設備10係可分別透過網路與該AI雲端設備20的雲端運算伺服器22連結，將該等邊緣運算設備10取得多數的影像資訊一併發送至該AI雲端設備20的AI訓練伺服器21。於本較佳實施例中，該儲存裝置40係可由一個以上的伺服器構成，該伺服器設有一儲存通訊協定；該儲存裝置40係可設置在該等邊緣運算設備10與該AI雲端設備20的雲端運算伺服器22之間，藉此將該等邊緣運算設備10取得的多數的影像資訊進行收集、匯整，若產線端有多條產線，則多數的邊緣運算設備10取得的影像資訊也會共同儲存於單一儲存設備，藉此提升管理流程效率。

進一步的，如圖3所示，於本較佳實施例中該等邊緣運算設備10分別包括一檢測裝置11及一推論(Inference)裝置12，該推論裝置12與該檢測裝置11連接，且該等邊緣運算設備10的檢測裝置11可分別透過該儲存裝置40將該等影像資訊發送至該AI雲端設備20的AI訓練伺服器21，該等邊緣運算設備10的推論裝置12分別與該AI雲端設備20的雲端運算伺服器22連結；於本較佳實施例中，該推論裝置12係由該AI雲端設備20的雲端運算伺服器22下載該訓練模型，並由該檢測裝置11取得該即時影像資訊，該推論裝置12根據該即時影像資訊、該訓練模型產生該辨識結果，並回傳該辨識結果至該AI雲端設備20的雲端運算伺服器22，藉此可提升運算效能與視覺檢測效率；於本較佳實施例中該辨識結果包括一瑕疵辨識結果。

於本較佳實施例中，該檢測裝置11可由一自動光學檢測(Automatic Optical Inspection, AOI)電腦裝置所構成，該推論裝置12可由一圖形處理器(Graphics Processing Unit, GPU)所構成，且該推論裝置12係安裝設置在該檢測裝置11內；另外，該推論裝置12亦可由一GPU推論電腦裝置所構成，且該推論裝置12係透過近端有線連接該檢測裝置11；透過上述連接方式可降低建置網路之成本。

關於本新型自動化視覺檢測的AI流程管理系統之第三較佳實施例，請參考圖4所示，其主要技術內容與前一較佳實施例大致相同，惟本較佳實施例的邊緣運算設備10A有所不同，於較佳實施例中該邊緣運算設備10A包括多數檢測裝置11A,11B,11C以及一推論(Inference)裝置12A，該等檢測裝置11A、11B、11C係分別與該推論裝置12A連結，該等檢測裝置11A、11B、11C係分別透過該儲存裝置40將該影像資訊發送至該AI雲端設備20的訓練伺服器21，該推論裝置12A由該AI雲端設備20的雲端運算伺服器22下載該訓練模型，並由該等檢測裝置11A,11B,11C取得所有的即時影像資訊，該推論裝置12根據該等即時影像資訊、該訓練模型產生該辨識結果，並回傳該辨識結果至該AI雲端設備20的雲端運算伺服器22；藉由多數檢測裝置11A,11B,11C與該推論裝置12A為多對一的架構，可降低建置該推論裝置12A的成本。

本新型基於前述各較佳實施例的具體內容及其應用方式，進一步歸納出一種自動化視覺檢測的AI流程管理方法，主要係由該AI雲端設備20與網路連結，並於該AI雲端設備20執行該訓練階段，如圖5所示，該方法係由該AI雲端設備20執行以下步驟：取得從該邊緣運算設備10發送之一個以上的影像資訊(S51)，其中該影像資訊包括一個以上的瑕疵資訊；依該影像資訊產生一個以上的標註資訊(S52)；根據該標註資訊產生一訓練模型(S53)；以及更新訓練模型並供下載至該邊緣運算設備10(S54)。

其中，該影像資訊可為多數個、該標註資訊可為多數個，在此僅是舉例而非加以限制；於本較佳實施例中，所述「依該影像資訊產生一個以上的標註資訊(S52)」的步驟，其主要係於該AI雲端設備20的雲端運算伺服器22執行一標註工具程式，並透過該標註工具程式針對該具有瑕疵資訊的影像資訊進行標註，以產生該標註資訊；其中，該標註資訊包括一物件檢測類型資訊及／或一語意切割類型資訊。

進一步的，於本較佳實施例中，所述「根據該標註資訊產生一訓練模型(S53)」的步驟，主要係於該AI雲端設備20的雲端運算伺服器22執行一個以上的排程訓練程式及一效能管理工具程式，該排程訓練程式預設多種訓練模型以進行排程訓練，產生該訓練模型；其中，該效能管理工具程式係紀錄用於訓練與推論的一個以上的效能指標，該效能指標包括一時間資訊、一資源耗費資訊，該資源耗費資訊包括CPU/RAM資源耗費資訊、GPU Core/GPU RAM資源耗費資訊等。

於本較佳實施例中，基於前述該訓練階段完成，且該邊緣運算設備10根據該訓練模型產生一更新後訓練模型，該方法進一步包括由該邊緣運算設備10啟動一執行階段，如圖6所示，該方法係由該邊緣運算設備10執行以下步驟：進行一自動光學檢測(Automatic Optical Inspection, AOI)程序以取得一即時影像資訊(S61)；根據該即時影像資訊、該更新後訓練模型，產生一辨識結果(S62)；儲存並回傳該辨識結果至該AI雲端設備20(S63)。

於本較佳實施例中，該辨識結果包括一瑕疵辨識結果。本新型透過AI技術能即時重啟訓練階段，並透過該標註資訊即時產生及更新該訓練模型，確實能提升視覺檢測效率。

10,10A:邊緣運算設備 11,11A,11B,11C:檢測裝置 12,12A:推論裝置 20:AI雲端設備 21:AI訓練伺服器 22:雲端運算伺服器 30:電子裝置 40:儲存裝置 S51~S54:步驟 S61~S63:步驟

圖1A 係本新型之第一較佳實施例的系統架構方塊圖。圖1B 係本新型之第一較佳實施例的又一系統架構方塊圖。圖2 係本新型之第一較佳實施例的另一系統架構方塊圖。圖3 係本新型之第二較佳實施例的系統架構方塊圖。圖4 係本新型之第三較佳實施例的系統架構方塊圖。圖5 係本新型之較佳實施例的AI流程管理方法之訓練階段流程圖。圖6 係本新型之較佳實施例的AI流程管理方法之執行階段流程圖。

10:邊緣運算設備

20:AI雲端設備

Claims

一種自動化視覺檢測的AI流程管理系統，其包括：一邊緣運算設備，係與網路連結；一AI雲端設備，係透過網路與該邊緣運算設備交換資料；其中，基於該AI雲端設備執行於一訓練階段，由該AI雲端設備取得一個以上的影像資訊，並根據該影像資訊產生一個以上的標註資訊，該AI雲端設備依據該標註資訊產生一訓練模型，以及更新訓練模型並供下載至該邊緣運算設備，以令後續該邊緣運算設備啟動一執行階段。
如請求項1所述之自動化視覺檢測的AI流程管理系統，該AI雲端設備包括一AI訓練伺服器及一雲端運算伺服器，該雲端運算伺服器分別與該邊緣運算設備、該AI訓練伺服器連結，該AI訓練伺服器與該邊緣運算設備連結；其中，由該雲端運算伺服器透過該AI訓練伺服器取得該影像資訊；該雲端運算伺服器將該標註資訊提供給該AI訓練伺服器進行訓練，以產生該訓練模型；由該雲端運算伺服器更新訓練模型。
如請求項1所述之自動化視覺檢測的AI流程管理系統，進一步具有多數的邊緣運算設備，該等邊緣運算設備分別透過網路與該AI雲端設備連結，將該等邊緣運算設備取得多數的影像資訊一併發送至該AI雲端設備。
如請求項1所述之自動化視覺檢測的AI流程管理系統，進一步包括進一步具有多數的邊緣運算設備、一儲存裝置；其中，該等邊緣運算設備分別透過網路與該AI雲端設備連結，將該等邊緣運算設備取得多數的影像資訊一併發送至該AI雲端設備；該儲存裝置設在該等邊緣運算設備與該AI雲端設備之間，該等邊緣運算設備取得的多數的影像資訊進行收集、匯整。
如請求項1所述之自動化視覺檢測的AI流程管理系統，該邊緣運算設備包括一檢測裝置及一推論裝置，該推論裝置與該檢測裝置連接，且該檢測裝置將該影像資訊發送至該AI雲端設備，該推論裝置與該AI雲端設備連結。
如請求項1所述之自動化視覺檢測的AI流程管理系統，該邊緣運算設備包括多數檢測裝置以及一推論裝置，該等檢測裝置係分別與該推論裝置連結，該等檢測裝置分別將該影像資訊發送至該AI雲端設備，該推論裝置由該AI雲端設備下載該訓練模型。
如請求項4所述之自動化視覺檢測的AI流程管理系統，該儲存裝置係由一伺服器構成。
如請求項5所述之自動化視覺檢測的AI流程管理系統，該檢測裝置由一自動光學檢測電腦裝置所構成。
如請求項8所述之自動化視覺檢測的AI流程管理系統，該推論裝置由一圖形處理器所構成，且該推論裝置係安裝設置在該檢測裝置內。
如請求項8所述之自動化視覺檢測的AI流程管理系統，該推論裝置由一GPU推論電腦裝置所構成，且該推論裝置係透過近端有線連接該檢測裝置。
如請求項1所述之自動化視覺檢測的AI流程管理系統，進一步包括一電子裝置，該電子裝置與網路連結，並由該電子裝置登入該AI雲端設備。
如請求項1至11中任一項所述之自動化視覺檢測的AI流程管理系統，基於啟動該執行階段，進一步由該邊緣運算設備取得一即時影像資訊，並根據該即時影像資訊、該更新後訓練模型產生一辨識結果，儲存並回傳該辨識結果至該AI雲端設備。