TW202324195A

TW202324195A - 具有人工智慧辨識功能的智能穿戴檢測系統

Info

Publication number: TW202324195A
Application number: TW111116165A
Authority: TW
Inventors: 陳政隆; 春祿阮; 李佳運; 楊智盛; 姚穎
Original assignee: 所羅門股份有限公司
Priority date: 2021-12-13
Filing date: 2022-04-28
Publication date: 2023-06-16

Abstract

一種智能穿戴檢測系統，包含一頭部穿戴設備與一伺服設備。頭部穿戴設備對一待識別物件進行影像擷取，產生一原始影像信號，該原始影像信號包括分別對應不同取樣時間點的第一訊框到第N訊框的至少之一。伺服設備執行一物件偵測機器學習模型對該原始影像信號進行特徵擷取，產生一第一物件資訊，該第一物件資訊包括一第一物件位置、一第一物件輪廓與一第一物件分類的至少之一，且產生一相關該第一物件資訊的輸出到該頭部穿戴設備。該頭部穿戴設備根據來自該伺服設備的該輸出，產生一相關該輸出的顯示畫面。因此，整合人工智慧辨識技術與影像處理技術，直接透過辨識現場的物件來進行作業，達到完全自動化。

Description

具有人工智慧辨識功能的智能穿戴檢測系統

本發明是有關於一種檢測技術，特別是指一種具有人工智慧辨識功能的智能穿戴檢測系統。

現有的物件檢測技術是操作員在機房現場配戴擴增實境眼鏡(以下簡稱AR)時，會導引操作員進行各項操作，例如產品加工檢核，而當操作員完成每一個作業環節的檢核後，透過人工方式自行手動確認，再繼續進行下一個環節。

現有的物件檢測技術的缺點是：實際上經常發生操作員可能實際上並沒有完成，而逕行手動確認，因此導致作業瑕疵。

因此，本發明的一第一目的，即在提供一種能夠克服現有技術缺點的具有人工智慧辨識功能的智能穿戴檢測系統。

於是，智能穿戴檢測系統，包含一頭部穿戴設備與一伺服設備。

頭部穿戴設備對一待識別物件進行影像擷取，產生一原始影像信號，該原始影像信號包括分別對應不同取樣時間點的第一訊框到第N訊框的至少之一，其中，N為正整數，N≧2。伺服設備電連接該頭部穿戴設備，以接收該原始影像信號，且執行一物件偵測機器學習模型對該原始影像信號進行特徵擷取，產生一第一物件資訊，該第一物件資訊包括一第一物件位置、一第一物件輪廓與一第一物件分類的至少之一，且產生一相關該第一物件資訊的輸出到該頭部穿戴設備。該頭部穿戴設備根據來自該伺服設備的該輸出，產生一相關該輸出的顯示畫面。

本發明的一第二目的，即在提供一種具有人工智慧辨識功能的智能穿戴檢測系統。

智能穿戴檢測系統包含：一頭部穿戴設備與一伺服設備。

頭部穿戴設備對一待識別物件進行影像擷取，產生一原始影像信號。伺服設備具有一資料庫且資料庫儲存一對應該待識別物件的正常特徵值，且電連接該頭部穿戴設備，以接收該原始影像信號，且執行一異常偵測機器學習模型對該原始影像信號進行特徵擷取，產生一物件特徵值。該異常偵測機器學習模型根據該正常特徵值與該物件特徵值執行機器學習，產生一異常資訊，且根據該異常資訊與該原始影像信號產生一結合該原始影像信號與一異常標註影像的輸出。該頭部穿戴設備根據來自該伺服設備的該輸出，產生一相關該輸出的顯示畫面。

本發明的一第三目的，即在提供一種可離線修正影像且具有人工智慧辨識功能的智能穿戴檢測系統。

頭部穿戴設備對一待識別物件進行影像擷取，產生一原始影像信號。伺服設備電連接該頭部穿戴設備，以接收該原始影像信號，且執行一物件偵測機器學習模型對該原始影像信號進行特徵擷取，產生一第一物件資訊，該第一物件資訊包括一第一物件位置、一第一物件輪廓與一第一物件分類的至少之一，該伺服設備根據該第一物件資訊與一預設條件比較，以產生一判斷信號，該判斷信號指示該原始影像信號是正常或異常，其中，該預設條件是儲存在該伺服設備的正常物件資訊，預設條件包括預設種類、預設數目、預設輪廓、正常物件特徵值，該伺服設備計算該判斷信號是否連續指示正常達到一預設值，若否，則接收一修改指令對該原始影像信號進行修改與儲存產生一解鎖觸發。該頭部穿戴設備根據來自該伺服設備的該解鎖觸發，產生一提示解鎖的顯示畫面。

本發明的功效在於：達到將AI辨識技術與影像處理技術的整合，不需要先人工建立3D虛擬場景，而是直接透過辨識現場的物件來進行作業，不僅使現場的場景重要度相對降低了，也達到完全自動化辨識物件。

在本發明被詳細描述前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖1、2，為應用本發明具有人工智慧(以下簡稱AI)辨識功能的智能穿戴檢測系統的一實施例，可即時直播或離線自動化辨識一待識別物件2且包含一頭部穿戴設備3與一伺服設備4。頭部穿戴設備3包括一擴增實境(以下簡稱AR)眼鏡，伺服設備4包括一用以執行AI的雲端伺服器。智能穿戴檢測系統將影像辨識整合於AR中，在進行作業環節確認時，會透過AR眼鏡直接抓取現場需要檢核的點，並且AI進行辨識是否已完成，如果確認都完成，AI才會進行下一個環節，不再由人工執行確認的動作，而是交由AI辨識，以下將進一步說明。

頭部穿戴設備3對一待識別物件2進行影像擷取，產生一原始影像信號，該原始影像信號包括分別對應不同取樣時間點的第一訊框到第N訊框的至少之一，其中，N為正整數，N≧2。伺服設備4電連接該頭部穿戴設備3以接收該原始影像信號(其中，電連接的定義包括無線連接、有線連接、藍芽連線、wifi連線的其中之一)，且執行一物件偵測機器學習模型對該原始影像信號進行特徵擷取，產生一第一物件資訊，該第一物件資訊包括一第一物件位置、一第一物件輪廓與一第一物件分類的至少之一，且產生一相關該第一物件資訊的輸出到該頭部穿戴設備3。該頭部穿戴設備3根據來自該伺服設備4的該輸出，產生一相關該輸出的顯示畫面，且輸出該顯示畫面像到一生物標的眼睛。

如圖3的流程圖所示，當實施例應用於離線物件偵測(object detection offline)時，其中，該伺服設備4接收該原始影像信號的N個訊框，且執行該物件偵測機器學習模型對該N個訊框進行特徵擷取，產生該第一物件資訊，該伺服設備4根據該第一物件資訊與原始影像信號產生一結果影像信號作為該輸出，且將該結果影像信號傳送到該頭部穿戴設備3，該頭部穿戴設備3根據該結果影像信號，產生一相關該結果影像信號的顯示畫面。其中，該伺服設備4所執行的該物件偵測機器學習模型包括一遮罩區域卷積類神經網路(Mask Regional Convolution Neural Network，簡稱MaskRCNN)，主要功能是用來偵測原始影像信號的畫面中的各個物件的物件位置(Object location)、物件形狀輪廓(Object contour)、物件種類(Object class)。

該遮罩區域卷積類神經網路包括一特徵金字塔網路(FPN)、一區域候選網路(Regional Proposal Network，以下簡稱RPN)、一匹配有興趣區域(以下簡稱ROI align)演算法、一邊界框回歸器(以下簡稱Bbox regressor)、與一分類器(以下簡稱Classifier)、遮罩分類器(以下簡稱Mask Classifier)。該特徵金字塔網路用以對該第一訊框進行針對不同尺度特徵擷取，產生一特徵資訊；RPN用以預測該第一訊框的有興趣的區域(以下簡稱ROI)大小跟位置(在此以不同大小的特徵圖(feature map)舉例說明，對RPN輸入圖片大小 512x512，之後會產生多個不同大小的特徵圖 (64x64、128x128、256x256)，針對這些不同大小的特徵圖去尋找ROI)，並將相對於特徵圖(其定義是經過捲積神經網路後產生出來代表圖像上各個特徵的圖片)的ROI擷取下來當作一建議(以下簡稱proposal)，建議的定義是根據ROI大小位置在特徵圖上擷取下來的部分，作為下層的輸入；ROI align為神經網路中用來將預測出的ROI位置在特徵圖上擷取下來所輸出來不同大小的proposal去修正成一樣的大小，才能當作後面的神經網路(包括Bbox regressor、Classifier、Mask Classifier)的輸入；Bbox Regressor用來最後預測該第一訊框的物件方框(Bounding Box)；Classifier用來最後預測該第一訊框的類別種類；Mask Classifier用來最後預測該第一訊框的物件輪廓。本發明離線物件偵測技術可配合安裝於AR眼鏡中的一第一應用程式(簡稱VIEW APP)，讓使用者可以依照AR眼鏡的指示去執行一產線上的標準作業流程(SOP)。

如圖4的流程圖所示，當實施例應用於線上直播物件偵測(object detection live)時，其中，由於現場即時影像辨識(30Hz)，但是AR眼鏡可以接收來自雲端伺服器的資料流量不大(5Hz)，為避免擴增實境眼鏡與雲端伺服器間無法保持同步導致顯示停頓滯留(lag)現象。

參閱圖5，該伺服設備4接收該原始影像信號的該第一訊框，且在t=0sec時，執行該物件偵測機器學習模型對該第一訊框進行特徵擷取，產生該第一物件資訊；在t=0~0.5sec時，該頭部穿戴設備3用以執行一物件追蹤演算法，該物件追蹤演算法根據該第一訊框的該第一物件資訊與其餘訊框進行預測運算，產生一第二物件資訊，該第二物件資訊包括一第二物件方框(Bounding Box)、一第二物件輪廓與一第二物件分類的至少之一，如圖6所示，該第二物件方框的定義是畫面中包住該待識別物件的最小方形，該其餘訊框的定義是第二訊框到第N訊框的至少之一。該頭部穿戴設備3根據該第二物件資訊產生一結果影像信號，再根據該結果影像信號，產生一相關該結果影像信號的顯示畫面。然後，在t=0.5sec時，再由伺服設備4對時間點0.5sec所對應新的訊框進行特徵擷取，然後重覆以上。也就是由伺服設備4負責來執行大量運算，其所執行的物件偵測機器學習模型是屬於深度學習方法，使用神經網路去學習並預測。硬體需求偏高，需要圖形處理器（Graphics Processing Unit，以下簡稱：GPU）運算速度才會夠快符合實際應用需求。需要大量資料先做訓練產生模型去做預測。而由該頭部穿戴設備3負責較少量運算，其使用演算法是偏向傳統機器視覺，沒有神經網路，跟深度學習相比硬體需求偏低，無須GPU運算即可滿足實際需求的速度。這裡使用的物件追蹤演算法無須預先訓練模型，但會需要先用第一張圖像(第一訊框)去定義要追蹤的物件的候選框位置和圖片才能做預測追蹤，也就是該頭部穿戴設備3根據該第一物件資訊追蹤該其餘訊框的一候選框與一候選位置，以產生該第二物件資訊。其中，該頭部穿戴設備3執行的該物件追蹤演算法包括一升壓追蹤器(BOOSTING Tracker)、多示例學習追蹤器(Multiple Instance Learning ，簡稱MIL Tracker)、核相關濾波追蹤器(Kernelized Correlation Filter ，簡稱KCF Tracker)、通道和空間可靠性追蹤器(Channel and Spatial Reliability Tracking ，簡稱CSRT Tracker)的其中之一。

如圖7的流程圖所示，當實施例應用於離線異常偵測(anomaly detection offline)時，其中，伺服設備4具有一資料庫且資料庫儲存一對應該待識別物件的正常特徵值，且電連接該頭部穿戴設備3(電連接的定義是包含有線連線與無線連線)，以接收該原始影像信號，且執行一異常偵測機器學習模型對該原始影像信號進行特徵分析(or 辨識)，產生一物件特徵值。該異常偵測機器學習模型包括一表現型方法演算法(Representation-Based method)。

該異常偵測機器學習模型根據該正常特徵值與該物件特徵值執行機器學習，產生一異常資訊，且根據該異常資訊與該原始影像信號產生一結合該原始影像信號與一異常標註影像的輸出；該頭部穿戴設備根據來自該伺服設備的該輸出，產生一相關該輸出的顯示畫面，且輸出該顯示畫面到一生物標的眼睛。

參閱表一，為上述機器學習模型分別在直播或離線時的應用。

	物件計數	銲接檢測	印刷電路板檢測	標準作業流程
找控制板	辨識OK/NG
直播/離線	直播	直播	離線	直播	離線
AI演算法	物件偵測	物件偵測	異常偵測	物件偵測	物件偵測
目標	計算物件數目	定位每一個焊接路徑	定位PCB上的錯誤元件	定位控制板	檢查控制結果是否正確

表一

其中，如圖8所示，是本實施例應用於計算桌上有多少個物件，使用者穿戴安裝VIEW APP的AR眼鏡，通過AR眼鏡看到桌子上的多個物件，AR眼鏡的屏幕上可以看到三條信息，包括同種類物件數目、每個物件位置、每個物件種類。

如圖9所示，是本實施例應用於定位每一個焊接路徑，使用者穿戴安裝VIEW APP的AR眼鏡，通過AR眼鏡看到焊接工件(workpiece)，AR眼鏡的屏幕上可以看到二條信息，包括每一焊接路徑的位置A~C、每一焊接路徑的名稱。使用者可控制AR眼鏡逐一切換到下一個或任意焊接路徑。

如圖10、11所示，是本實施例應用於定位一印刷電路板(以下簡稱PCB)上的差異，其中，圖10是正常PCB，圖11是異常PCB(圖中的灰線部分是瑕疵物件、虛線框是瑕疵標示)，使用者穿戴安裝VIEW APP的AR眼鏡，通過AR眼鏡看到PCB，擴增實境眼鏡的屏幕上可以看到二條信息，包括PCB上的差異位置及OK或NG，如與正常PCB則顯示OK，反之則顯示NG。

而本實施例應用於標準作業流程時：當直播時，使用者穿戴安裝VIEW APP的AR眼鏡可以檢測到控制面板是在哪裡。如果AR眼鏡距離控制面板足夠近，擴增實境眼鏡將切換到VIEW APP引導使用者執行標準作業流程，VIEW APP的另一個功能將檢測最終結果是否正確。

參閱圖12，為應用本發明具有人工智慧(以下簡稱AI)辨識功能的智能穿戴檢測系統的另一實施例所執行的流程圖，其中，頭部穿戴設備3對一待識別物件進行影像擷取產生一原始影像信號。該伺服設備4還執行一影像機器學習模型對該原始影像信號與一閥值比較以判斷原始影像信號是清楚或模糊。若模糊則回到前一步驟重新進行影像擷取。若清楚，則伺服設備4接收該原始影像信號，且執行一物件偵測機器學習模型對該原始影像信號進行特徵擷取，產生一第一物件資訊，該第一物件資訊包括一第一物件位置、一第一物件輪廓與一第一物件分類的至少之一，該伺服設備4根據該第一物件資訊與一預設條件比較，以產生一判斷信號，該判斷信號指示該原始影像信號是正常或異常，其中，該預設條件是儲存在該伺服設備4的正常物件資訊，預設條件包括預設種類、預設數目、預設輪廓、正常物件特徵值。該伺服設備4計算該判斷信號是否連續指示正常達到一預設值(=15)，若否，則該頭部穿戴設備產生一指示異常的顯示畫面且伺服設備接收一修改指令對該原始影像信號進行修改與儲存(離線修改原始影像後，螢幕會出現按鈕讓使用者去按儲存)產生一解鎖觸發。然後該頭部穿戴設備3根據來自該伺服設備4的該解鎖觸發，產生一提示解鎖的顯示畫面。當連續指示正常達到該預設值時，該頭部穿戴設備3產生一指示正常的顯示畫面，然後該頭部穿戴設備3根據來自該伺服設備4的該解鎖觸發，產生一提示解鎖的顯示畫面。然後，進到下一流程。

綜上所述，上述實施例具有以下功效：一、利用伺服設備4所執行的機器學習模型與頭部穿戴設備3擷取物件的影像，達到將AI辨識技術與影像處理技術的整合，不需要先人工建立虛擬場景，而是直接透過辨識現場的物件來進行作業，不僅使現場的場景重要度相對降低了，也達到完全自動化識別，解決現有技術所遭遇的瓶頸即當環境改變時需重新建模之問題。二、因為AR是現場即時影像辨識(30Hz)，但是AR眼鏡可以接收的資料流量不大(5Hz)，AR眼鏡先用第一張圖像(第一訊框)去定義要追蹤的物件的候選框位置和圖片才執行物件追蹤演算法，達到避免AR眼鏡與伺服設備4之間發生停頓滯留(lag)現象。

惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。

2:待識別物件 3:頭部穿戴設備 4:伺服設備 A:焊接路徑的位置 B:焊接路徑的位置 C:焊接路徑的位置

本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是本發明智能穿戴檢測系統的一實施例的一示意圖；圖2是本發明智能穿戴檢測系統的一實施例的一系統方塊圖；圖3是該實施例應用於離線物件偵測的一流程圖；圖4是該實施例應用於線上直播物件偵測的一流程圖；圖5是該實施例執行物件追蹤演算法的一示意圖；圖6是該實施例應用於偵測物件方框的一示意圖；圖7是該實施例應用於離線異常偵測的一流程圖；圖8是該實施例應用於計算個物件數目的一示意圖；圖9是該實施例應用於定位每一個物件焊接路徑的一示意圖；圖10是一正常印刷電路板的一示意圖；圖11是一異常印刷電路板的一示意圖；及圖12是另一實施例所執行的流程圖。

2:待識別物件

3:頭部穿戴設備

4:伺服設備

Claims

一種具有人工智慧辨識功能的智能穿戴檢測系統，包含：一頭部穿戴設備，對一待識別物件進行影像擷取，產生一原始影像信號，該原始影像信號包括分別對應不同取樣時間點的第一訊框到第N訊框的至少之一，其中，N為正整數，N≧2；及一伺服設備，電連接該頭部穿戴設備，以接收該原始影像信號，且執行一物件偵測機器學習模型對該原始影像信號進行特徵擷取，產生一第一物件資訊，該第一物件資訊包括一第一物件位置、一第一物件輪廓與一第一物件分類的至少之一，且產生一相關該第一物件資訊的輸出到該頭部穿戴設備；該頭部穿戴設備根據來自該伺服設備的該輸出，產生一相關該輸出的顯示畫面。
如請求項1所述的具有人工智慧辨識功能的智能穿戴檢測系統，其中，該伺服設備接收該原始影像信號的到N個訊框，且執行該物件偵測機器學習模型對該N個訊框進行特徵擷取，產生該第一物件資訊，該伺服設備根據該第一物件資訊與原始影像信號產生一結果影像信號作為該輸出，且將該結果影像信號傳送到該頭部穿戴設備，該頭部穿戴設備根據該結果影像信號，產生一相關該結果影像信號的顯示畫面。
如請求項1所述的具有人工智慧辨識功能的智能穿戴檢測系統，其中，該伺服設備接收該原始影像信號的該第一訊框，且執行該物件偵測機器學習模型對該第一訊框進行特徵擷取，產生該第一物件資訊，該頭部穿戴設備用以執行一物件追蹤演算法，該物件追蹤演算法根據該第一訊框的該第一物件資訊與其餘訊框進行預測運算，產生一第二物件資訊，該第二物件資訊包括一第二物件方框、一第二物件輪廓與一第二物件分類的至少之一，該第二物件方框的定義是畫面中包住該待識別物件的最小方形，該其餘訊框的定義是第二訊框到第N訊框的至少之一；該頭部穿戴設備根據該第二物件資訊產生一結果影像信號，再根據該結果影像信號，產生一相關該結果影像信號的顯示畫面。
如請求項3所述的具有人工智慧辨識功能的智能穿戴檢測系統，其中，該頭部穿戴設備根據該第一物件資訊追蹤該其餘訊框的一候選框與一候選位置，以產生該第二物件資訊。
如請求項3所述的具有人工智慧辨識功能的智能穿戴檢測系統，其中，該頭部穿戴設備執行的該物件追蹤演算法包括一升壓追蹤器、多示例學習追蹤器、核相關濾波追蹤器、通道和空間可靠性追蹤器的其中之一。
如請求項1所述的具有人工智慧辨識功能的智能穿戴檢測系統，其中，該伺服設備所執行的該物件偵測機器學習模型包括一遮罩區域卷積類神經網路。
如請求項6所述的具有人工智慧辨識功能的智能穿戴檢測系統，其中，該遮罩區域卷積類神經網路包括一特徵金字塔網絡、一區域候選網路、一匹配有興趣區域演算法、一邊界框回歸器、與一分類器。
一種具有人工智慧辨識功能的智能穿戴檢測系統，包含：一頭部穿戴設備，對一待識別物件進行影像擷取，產生一原始影像信號；及一伺服設備，具有一資料庫且資料庫儲存一對應該待識別物件的正常特徵值，且電連接該頭部穿戴設備，以接收該原始影像信號，且執行一異常偵測機器學習模型對該原始影像信號進行特徵擷取，產生一物件特徵值；該異常偵測機器學習模型根據該正常特徵值與該物件特徵值執行機器學習，產生一異常資訊，且根據該異常資訊與該原始影像信號產生一結合該原始影像信號與一異常標註影像的輸出；該頭部穿戴設備根據來自該伺服設備的該輸出，產生一相關該輸出的顯示畫面。
如請求項8所述的具有人工智慧辨識功能的智能穿戴檢測系統，其中，該待識別物件包括一印刷電路板，該異常資訊是相關於定位該印刷電路板上的至少一錯誤元件。
如請求項8所述的具有人工智慧辨識功能的智能穿戴檢測系統，其中，該異常偵測機器學習模型包括一表現型方法演算法。
一種具有人工智慧辨識功能的智能穿戴檢測系統，包含：一頭部穿戴設備，對一待識別物件進行影像擷取，產生一原始影像信號；及一伺服設備，電連接該頭部穿戴設備，以接收該原始影像信號，且執行一物件偵測機器學習模型對該原始影像信號進行特徵擷取，產生一第一物件資訊，該第一物件資訊包括一第一物件位置、一第一物件輪廓與一第一物件分類的至少之一，該伺服設備根據該第一物件資訊與一預設條件比較，以產生一判斷信號，該判斷信號指示該原始影像信號是正常或異常，其中，該預設條件是儲存在該伺服設備的正常物件資訊，預設條件包括預設種類、預設數目、預設輪廓、正常物件特徵值，該伺服設備計算該判斷信號是否連續指示正常達到一預設值，若否，則接收一修改指令對該原始影像信號進行修改與儲存產生一解鎖觸發；該頭部穿戴設備根據來自該伺服設備的該解鎖觸發，產生一提示解鎖的顯示畫面。
如請求項11所述的具有人工智慧辨識功能的智能穿戴檢測系統，其中，該伺服設備還執行一影像機器學習模型對該原始影像信號與一閥值比較以判斷原始影像信號是清楚或模糊。
如請求項11所述的具有人工智慧辨識功能的智能穿戴檢測系統，其中，當連續指示正常未達到該預設值時，該頭部穿戴設備產生一指示異常的顯示畫面。
如請求項11所述的具有人工智慧辨識功能的智能穿戴檢測系統，其中，當連續指示正常達到該預設值時，該頭部穿戴設備產生一指示正常的顯示畫面。