TWI835472B - 設備異常檢測方法及裝置 - Google Patents
設備異常檢測方法及裝置 Download PDFInfo
- Publication number
- TWI835472B TWI835472B TW111148853A TW111148853A TWI835472B TW I835472 B TWI835472 B TW I835472B TW 111148853 A TW111148853 A TW 111148853A TW 111148853 A TW111148853 A TW 111148853A TW I835472 B TWI835472 B TW I835472B
- Authority
- TW
- Taiwan
- Prior art keywords
- frequency domain
- domain signal
- encoder
- image
- compressed representation
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 199
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000010801 machine learning Methods 0.000 claims abstract description 91
- 238000012549 training Methods 0.000 claims description 59
- 238000000605 extraction Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 33
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000005856 abnormality Effects 0.000 claims description 13
- 230000005236 sound signal Effects 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 238000013450 outlier detection Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 description 21
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000011478 gradient descent method Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
一種設備異常檢測方法及裝置。所述方法預先利用資料擷取裝置擷取設備正常運作時的多個訊號，並用以訓練儲存於儲存裝置中的機器學習模型；利用資料擷取裝置擷取設備當前運作的當前訊號；以及輸入所擷取的當前訊號至經訓練的機器學習模型，以輸出指示設備的當前運作狀態的檢測結果。
Description
本發明是有關於一種設備異常檢測方法及裝置。
目前，人工智慧（Artificial Intelligence，AI）技術已被導入於設備及機械系統以大幅降低產線中因故障停機而導致的不良影響，如產品良率下降、營運損失等。訓練AI模型一般需收集大量之正常及各式異常之資料。然而，機械設備的老化及異常資料通常極難取得，且基於異常種類繁多，難以針對各種異常個別收集到充足的資料，結果造成訓練資料不平衡以及AI模型對於設備異常之預測效能下降。而由於缺乏機械設備異常的訓練資料，機器學習模型將難以訓練來決定機械設備是否發生異常。
本發明提供一種設備異常檢測方法及裝置，可在收集正常資料的情況下，完成機器學習模型的訓練並用以分辨設備異常。
本發明一實施例提供一種設備異常檢測裝置，其包括資料擷取裝置、儲存裝置及處理器。其中，資料擷取裝置用以擷取一設備運作時的訊號。儲存裝置用以儲存一機器學習模型。處理器耦接資料擷取裝置以及儲存裝置，經配置以預先利用資料擷取裝置擷取設備正常運作時的多個訊號，並用以訓練機器學習模型；利用資料擷取裝置擷取設備當前運作的當前訊號；以及輸入所擷取的當前訊號至經訓練的機器學習模型，以輸出指示設備的當前運作狀態的檢測結果。
本發明一實施例提供一種設備異常檢測方法，適用於包括資料擷取裝置、儲存裝置及處理器的電子裝置。所述方法包括下列步驟：預先利用資料擷取裝置擷取設備正常運作時的多個訊號，並用以訓練儲存於儲存裝置中的機器學習模型；利用資料擷取裝置擷取設備當前運作的當前訊號；以及輸入所擷取的當前訊號至經訓練的機器學習模型，以輸出指示設備的當前運作狀態的檢測結果。
本發明一實施例提供一種設備異常檢測裝置，其包括資料擷取裝置、儲存裝置及處理器。其中，資料擷取裝置用以擷取一設備的外觀影像。儲存裝置用以儲存一機器學習模型。處理器耦接資料擷取裝置以及儲存裝置，經配置以預先利用資料擷取裝置擷取設備外觀無損壞時的多張外觀影像，並用以訓練機器學習模型，利用資料擷取裝置擷取設備外觀的當前影像，並將所擷取的當前影像輸入至經訓練的機器學習模型，以輸出指示設備外觀的當前狀態的檢測結果。
本發明一實施例提供一種設備異常檢測方法，適用於包括資料擷取裝置、儲存裝置及處理器的電子裝置。此方法包括下列步驟：預先利用資料擷取裝置擷取設備外觀無損壞時的多張外觀影像，並用以訓練儲存於儲存裝置中的機器學習模型；利用資料擷取裝置擷取設備外觀的當前影像，並將所擷取的當前影像輸入至經訓練的機器學習模型，以輸出指示設備外觀的當前狀態的檢測結果。
基於上述，本發明的設備異常檢測方法及裝置通過感測、收集大量設備運作正常時之資料或外觀未損壞時的影像並用以訓練機器學習模型，使其可自行分辨出設備的功能或外觀異常。若資料擷取裝置用以擷取一設備正常運作時的訊號，而通過結合時域訊號與頻域訊號並用以訓練機器學習模型，可獲得更佳之準確率。若資料擷取裝置用以擷取一設備外觀無損壞的影像，而通過結合影像與影像頻域訊號並用以訓練機器學習模型，可獲得更佳之準確率。經訓練的機器學習模型可儲存在外接裝置中，從而實現邊緣運算和智慧預診斷。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明實施例提出一無須收集異常電機設備資料的機器學習模型，藉由感測、收集大量設備運作正常時之資料以訓練之，使其自行分辨出設備之異常以達成智慧預診斷的目的。該模型可結合訊號之時域（time-domain）及頻域（frequency-domain）特徵，或是結合影像及影像頻域特徵進行綜合預測並獲得更佳之準確率，並可透過外接式的人工智慧（Artificial Intelligence，AI）邊緣運算模組與電機設備連接，以進行資料之判讀及預測。
圖1是根據本發明一實施例所繪示的設備異常檢測裝置的方塊圖。請參照圖1，本實施例的設備異常檢測裝置10例如是具備運算功能的個人電腦、伺服器、工作站或其他裝置，其中包括資料擷取裝置12、儲存裝置14與處理器16，其功能分述如下：
資料擷取裝置12例如是通用序列匯流排（universal serial bus，USB）、RS232、通用非同步連接裝置/傳送器（universal asynchronous receiver/transmitter，UART）、內部整合電路（I2C）、序列周邊介面（serial peripheral interface，SPI）、顯示埠（display port）、雷電埠（thunderbolt）或區域網路（local area network，LAN）介面等有線的連接裝置，或是支援無線保真（wireless fidelity，Wi-Fi）、RFID、藍芽、紅外線、近場通訊（near-field communication，NFC）或裝置對裝置（device-to-device，D2D）等通訊協定的無線連接裝置，在此不設限。資料擷取裝置12可連接本地端或遠端的設備20或設置於設備20上感測器，用以擷取設備20運作時的訊號，例如電壓訊號、電流訊號、聲音訊號或震動訊號，在此不設限。
儲存裝置14例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置或這些裝置的組合，而用以儲存可由處理器16執行的程式。在一些實施例中，儲存裝置14可儲存利用設備運轉資訊所建立的機器學習模型，此機器學習模型例如是卷積神經網路（convolutional neural network，CNN）、遞迴神經網路 （recurrent neural network，RNN）或長短期記憶（long short term memory，LSTM）遞迴神經網路，本發明不對此限制。
處理器16例如是通過匯流排18耦接資料擷取裝置12以及儲存裝置14，以控制效率設備異常檢測裝置10的運轉。在一些實施例中，處理器16例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、場域可程式閘陣列（field programmable gate array，FPGA）、可程式化邏輯控制器（programmable logic controller，PLC）或其他類似裝置或這些裝置的組合，而可載入並執行儲存裝置14中儲存的程式，以執行本發明實施例的設備異常檢測方法。
圖2是根據本發明一實施例所繪示的設備異常檢測方法的流程圖。請同時參照圖1及圖2，本實施例的方法適用於圖1的設備異常檢測裝置10，以下即搭配設備異常檢測裝置10的各項元件說明本發明實施例之設備異常檢測方法的詳細步驟。
在步驟S202中，由設備異常檢測裝置10的處理器16預先利用資料擷取裝置12擷取設備20正常運作時的多個訊號，並用以訓練機器學習模型。以機械手臂為例，處理器16可擷取該機械手臂正常運作時的U相電壓訊號、V相電壓訊號、U相電流訊號及V相電流訊號，但不限於此。在其他實施例中，處理器16還可擷取該機械手臂正常運作時的聲音訊號、震動訊號或其他訊號，在此不設限。
在步驟S204中，由處理器16利用資料擷取裝置12擷取設備20當前運作的當前訊號。所述設備20例如是先前訓練機器學習模型時所擷取訊號的來源設備，或是與該來源設備同類型的設備，在此不設限。也就是說，機器學習模型經訓練後可用以檢測同類型設備的運作狀態。
在步驟S206中，由處理器16將所擷取的當前訊號輸入機器學習模型，以輸出指示設備20的當前運作狀態的檢測結果。其中，本實施例通過收集大量設備20正常運作時的訊號並用以訓練機器學習模型，即使在缺乏設備20異常時訊號的情況下，機器學習模型也能夠自行分辨出設備20之異常，而達成智慧預診斷的目的。
在一些實施例中，上述的機器學習模型是由類神經網路組成之編碼器（encoder）連接一異常檢測模型（outlier detection model，ODM）。所述的異常檢測模型例如是一類支援向量機（One-Class Support Vector Machine，OCSVM）、孤立森林（Isolation Forest）、區域性異常因子（Local Outlier Factor，LOF）等，但不限於此。
處理器16例如是將資料擷取裝置12所擷取的設備20當前運作的當前訊號輸入經訓練的編碼器，而由該編碼器對輸入訊號進行特徵萃取（feature extraction）及降維（dimension reduction），以輸出該訊號的壓縮表述（compressed representation）資料。然後，處理器16將此壓縮表述資料輸入經訓練的異常檢測模型以分辨設備20的當前運作狀態並輸出檢測結果。
舉例來說，圖3是根據本發明一實施例所繪示的設備異常檢測方法的範例。請參照圖3，本實施例的設備異常檢測裝置係在設備當前運作時擷取其U相和V相的電壓訊號31，並將此電壓訊號31輸入經訓練的編碼器32，而由編碼器32對電壓訊號31進行特徵萃取及降維，以輸出該訊號的壓縮表述資料33。然後，設備異常檢測裝置將此壓縮表述資料33輸入經訓練的異常檢測模型34以分辨設備的當前運作狀態並輸出檢測結果35。例如，在分辨設備的當前運作狀態為正常時，輸出邏輯0的檢測結果35，以及在分辨設備的當前運作狀態為異常時，輸出邏輯1的檢測結果35。
上述的編碼器與異常檢測模型皆預先訓練，例如先訓練編碼器，完成後再訓練異常檢測模型。
舉例來說，圖4A及圖4B是根據本發明一實施例所繪示的訓練機器學習模型的範例。本實施例的訓練包括圖4A所示的時域自編碼器（autoencoder）42的訓練以及圖4B所示的異常檢測模型44的訓練。請參照圖4A，本實施例的時域自編碼器42包括時域編碼器42a及時域解碼器42b，而時域自編碼器42的訓練例如是將設備正常運作時所擷取的時域訊號41輸入時域編碼器42a，而由時域編碼器42a對時域訊號41進行特徵萃取及降維，以輸出時域訊號41的壓縮表述資料41a。然後，由時棫解碼器42b對壓縮表述資料41a進行解碼以獲得重建時域訊號41b。本實施例係計算時域訊號41及重建時域訊號41b的損失函數，並用以訓練時域編碼器42a。在一些實施例中，時域編碼器42a和時域解碼器42b中的權重（例如類神經網路隱藏層的權重）例如是採用隨機梯度下降（stochastic gradient descent，SGD）法等可最小化損失函數的方式而優化，在此不設限。
請參照圖4B，待時域編碼器42a訓練完成後，本實施例係將經訓練的時域編碼器42a中的權重固定並連接異常檢測模型44，以訓練異常檢測模型44。詳細而言，本實施例係將設備正常運作時所擷取的時域訊號41輸入經訓練的時域編碼器42a，以輸出經編碼的壓縮表述資料43，然後將此壓縮表述資料43輸入異常檢測模型44並設定異常檢測模型44的輸出為正常運作狀態的檢測結果45（例如，邏輯0），藉此訓練異常檢測模型44。
通過上述方法，本發明實施例使用容易收集的設備正常運作狀態時的時域訊號來訓練機器學習模型，不需收集或使用設備異常的資料，因此可解決資料類別不平衡所造成的機器學習效果不彰的問題。
上述實施例係使用時域訊號對機器學習模型進行訓練，並用以分辨設備的當前運作狀態。而在其他實施例中，本發明亦可使用頻域訊號對機器學習模型訓練，或是同時使用時域及頻域訊號對機器學習模型訓練，並用以分辨設備的當前運作狀態，同樣可達到智慧預診斷的效果。
舉例來說，圖5是根據本發明一實施例所繪示的設備異常檢測方法的範例。請參照圖5，本實施例的設備異常檢測裝置係擷取設備當前運作時的頻域訊號51，此頻域訊號51係以功率頻譜密度（power spectral density，PSD）表示。在一些實施例中，設備異常檢測裝置是在設備當前運作時擷取時域訊號（例如電壓訊號、電流訊號、聲音訊號或震動訊號），之後再對擷取到的時域訊號執行快速傅立葉轉換（fast Fourier transform，FFT），從而獲得頻域訊號51。在其他實施例中，設備異常檢測裝置是在設備當前運作時直接擷取頻域訊號51。本實施例不限制頻域訊號51的取得方式。
設備異常檢測裝置係將當前擷取到的頻域訊號51輸入經訓練的頻域編碼器52，而由頻域編碼器52對頻域訊號51進行特徵萃取及降維，以輸出該訊號的壓縮表述資料53。然後，設備異常檢測裝置將此壓縮表述資料53輸入經訓練的異常檢測模型54以分辨設備的當前運作狀態並輸出檢測結果55。例如，在分辨設備的當前運作狀態為正常時，輸出邏輯0的檢測結果55，以及在分辨設備的當前運作狀態為異常時，輸出邏輯1的檢測結果55。
如同前述圖4A及圖4B的實施例，本實施例的設備異常檢測裝置例如先對自編碼器進行訓練，完成後再訓練異常檢測模型。
舉例來說，圖6A及圖6B是根據本發明一實施例所繪示的訓練機器學習模型的範例。本實施例的訓練包括圖6A所示的頻域自編碼器62的訓練以及圖6B所示的異常檢測模型64的訓練。請參照圖6A，本實施例的頻域自編碼器62包括頻域編碼器62a及頻域解碼器62b，而頻域自編碼器62的訓練例如是將設備正常運作時所擷取的頻域訊號61輸入頻域編碼器62a，而由頻域編碼器62a對頻域訊號61進行特徵萃取及降維，以輸出頻域訊號61的壓縮表述資料61a。然後，由頻域解碼器62b對壓縮表述資料61a進行解碼以獲得重建頻域訊號61b。本實施例係計算頻域訊號61及重建頻域訊號61b的損失函數，並用以訓練頻域編碼器62a。在一些實施例中，頻域編碼器62a和頻域解碼器62b中的權重例如是採用隨機梯度下降法等可最小化損失函數的方式而優化，在此不設限。
請參照圖6B，待頻域編碼器62a訓練完成後，本實施例係將經訓練的頻域編碼器62a中的權重固定並連接異常檢測模型64，以訓練異常檢測模型64。詳細而言，本實施例係將設備正常運作時所擷取的頻域訊號61輸入經訓練的頻域編碼器62a，以輸出經編碼的壓縮表述資料63，然後將此壓縮表述資料63輸入異常檢測模型64並設定異常檢測模型64的輸出為正常運作狀態的檢測結果65（例如，邏輯0），藉此訓練異常檢測模型64。
通過上述方法，本發明實施例使用容易收集的設備正常運作狀態時的頻域訊號來訓練機器學習模型，不需收集或使用設備異常的資料，因此可解決資料類別不平衡所造成的機器學習效果不彰的問題。
另一方面，圖7是根據本發明一實施例所繪示的設備異常檢測方法的範例。請參照圖7，本實施例的設備異常檢測裝置係同時擷取設備當前運作時的時域訊號71a及頻域訊號71b。在一些實施例中，設備異常檢測裝置是對設備當前運作時擷取到的時域訊號71a（例如電壓訊號、電流訊號、聲音訊號或震動訊號）執行快速傅立葉轉換，從而獲得頻域訊號71b。在其他實施例中，設備異常檢測裝置是在設備當前運作時直接擷取頻域訊號71b。本實施例不限制頻域訊號71b的取得方式。
設備異常檢測裝置係將當前擷取到的時域訊號71a輸入經訓練的時域編碼器72a，而由時域編碼器72a對時域訊號71a進行特徵萃取及降維，以輸出時域訊號71a的壓縮表述資料73a。此外，設備異常檢測裝置還將當前擷取到的頻域訊號71b輸入經訓練的頻域編碼器72b，而由頻域編碼器72b對頻域訊號71b進行特徵萃取及降維，以輸出頻域訊號71b的壓縮表述資料73b。然後，設備異常檢測裝置將時域訊號71a的壓縮表述資料73a與頻域訊號71b的壓縮表述資料73b拼接為壓縮表述資料73，而將此壓縮表述資料73輸入經訓練的異常檢測模型74，以分辨設備的當前運作狀態並輸出檢測結果75。例如，在分辨設備的當前運作狀態為正常時，輸出邏輯0的檢測結果75，以及在分辨設備的當前運作狀態為異常時，輸出邏輯1的檢測結果75。
如同前述圖4A和圖6A的實施例，設備異常檢測裝置例如分別對時域自編碼器和頻域自編碼器進行訓練。其中，設備異常檢測裝置是由時域自編碼器中的時域編碼器對設備正常運作時的時域訊號進行特徵萃取與降維，再由時域解碼器重建時域訊號，之後計算時域訊號和重建時域訊號的損失函數，用以訓練時域編碼器。設備異常檢測裝置另由頻域自編碼器中的頻域編碼器對設備正常運作時的頻域訊號進行特徵萃取與降維，再由頻域解碼器重建頻域訊號，之後計算頻域訊號和重建頻域訊號的損失函數，用以訓練頻域編碼器。本實施例訓練時域編碼器和訓練頻域編碼器方式係與前述圖4A訓練時域編碼器42a和圖6A訓練頻域編碼器62a的方式相同或相似，故其詳細內容在此不再贅述。
與前述實施例不同的是，在本實施例中，設備異常檢測裝置會將經訓練的時域編碼器和頻域編碼器中的權重固定並連接異常檢測模型，以訓練異常檢測模型。
圖8是根據本發明一實施例所繪示的訓練機器學習模型的範例。請參照圖8，設備異常檢測裝置係將設備正常運作時所擷取的時域訊號81a和頻域訊號81b分別輸入經訓練的時域編碼器82a和頻域編碼器82b，以輸出經編碼的時域訊號81a的壓縮表述資料83a以及頻域訊號81b的壓縮表述資料83b，然後將時域訊號81a的壓縮表述資料83a與頻域訊號81b的壓縮表述資料83b拼接為壓縮表述資料83，使用此拼接後的壓縮表述資料83輸入異常檢測模型84並設定異常檢測模型84的輸出為正常運作狀態的檢測結果85（例如，邏輯0），藉此訓練異常檢測模型84。
通過上述方法，本發明實施例使用容易收集的設備正常運作狀態時的時域訊號和頻域訊號來訓練機器學習模型，不需收集或使用設備異常的資料，因此可解決資料類別不平衡所造成的機器學習效果不彰的問題。
下表1是根據本發明一實施例所繪示的採用時域訊號訓練的機器學習模型 (以下簡稱為時域模型)、採用頻域訊號訓練的機器學習模型 (以下簡稱為頻域模型) 及同時採用時域訊號與頻域訊號訓練的機器學習模型 (以下簡稱混合模型) 之準確率比較表。在本實施例中，異常檢測模型是採用一類支援向量機（OCSVM）模型，但不限於此。由表1可知，通過本發明實施例的時域模型進行預測，對正常訊號的預測準確率為99.87%，對異常訊號的預測準確率為91.68%；通過本發明實施例的頻域模型進行預測，對正常訊號的預測準確率為93.98%，對異常訊號的預測準確率為100.0%；然而，通過本發明實施例的混合模型進行預測，對正常訊號的預測準確率為99.04%，對異常訊號的預測準確率為100.0%。也就是說，以同時採用時域訊號與頻域訊號訓練的混合模型進行預測，對正常和異常訊號的預測上均可獲得較佳的準確率。
表1
| 模型 | 準確率(正常訊號) | 準確率(異常訊號) |
| 時域模型 | 99.87% | 91.68% |
| 頻域模型 | 93.98% | 100.0% |
| 混合模型 | 99.04% | 100.0% |
在一些實施例中，設備異常檢測裝置10中的資料擷取裝置12例如是包括電荷耦合元件（Charge Coupled Device，CCD）、互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件或其他種類的感光元件的相機，用以擷取所欲檢測的設備的外觀影像。在其他實施例中，資料擷取裝置12例如是用以與相機連接的介面，例如通用序列匯流排（Universal Serial Bus，USB）、RS232、藍芽（Bluetooth，BT）或無線相容認證（Wireless fidelity，Wi-Fi）等有線或無線的傳輸介面，用以接收由相機所擷取的設備的外觀影像。本發明實施例不限制資料擷取裝置12的種類及功能。
設備異常檢測裝置10的處理器16例如是將資料擷取裝置12所擷取的設備當前影像輸入經訓練的編碼器，而由該編碼器對當前影像進行特徵萃取及降維，以輸出該影像的壓縮表述資料。然後，處理器16將此壓縮表述資料輸入經訓練的異常檢測模型以分辨設備20外觀的當前狀態並輸出檢測結果。
舉例來說，圖9是根據本發明一實施例所繪示的設備異常檢測方法的範例。請參照圖9，本實施例的設備異常檢測裝置係用以檢測設備外觀的金屬表面是否損壞，其例如是利用相機擷取設備的外觀影像（例如外觀無損壞影像91a或外觀損壞影像91b），並將該外觀影像輸入經訓練的編碼器92，而由編碼器92對外觀影像進行特徵萃取及降維，以輸出外觀影像的壓縮表述資料93。然後，設備異常檢測裝置將此壓縮表述資料93輸入經訓練的異常檢測模型94以分辨設備外觀的當前狀態並輸出檢測結果95。例如，在分辨設備外觀的當前狀態為正常時，輸出邏輯0的檢測結果95，以及在分辨設備外觀的當前狀態為異常時，輸出邏輯1的檢測結果95。
上述的編碼器與異常檢測模型皆預先訓練，例如先訓練編碼器，完成後再訓練異常檢測模型。
舉例來說，圖10A及圖10B是根據本發明一實施例所繪示的訓練機器學習模型的範例。本實施例的訓練包括圖10A所示的影像自編碼器102的訓練以及圖4B所示的異常檢測模型104的訓練。請參照圖10A，本實施例的影像自編碼器102包括影像編碼器102a及影像解碼器102b，而影像自編碼器102的訓練例如是將設備外觀正常時所擷取的外觀影像101輸入影像編碼器102a，而由影像編碼器102a對外觀影像101進行特徵萃取及降維，以輸出外觀影像101的壓縮表述資料101a。然後，由影像解碼器102b對壓縮表述資料101a進行解碼以獲得重建外觀影像101b。本實施例係計算外觀影像101及重建外觀影像101b的損失函數，並用以訓練影像編碼器102a。在一些實施例中，影像編碼器102a和影像解碼器102b中的權重（例如類神經網路隱藏層的權重）例如是採用隨機梯度下降法等可最小化損失函數的方式而優化，在此不設限。
請參照圖10B，待影像編碼器102a訓練完成後，本實施例係將經訓練的影像編碼器102a中的權重固定並連接異常檢測模型104，以訓練異常檢測模型104。詳細而言，本實施例係將設備外觀正常時所擷取的外觀影像101輸入經訓練的影像編碼器102a，以輸出經編碼的壓縮表述資料103，然後將此壓縮表述資料103輸入異常檢測模型104並設定異常檢測模型104的輸出為外觀狀態正常的檢測結果105（例如，邏輯0），藉此訓練異常檢測模型104。
通過上述方法，本發明實施例使用容易收集的設備外觀正常時的外觀影像來訓練機器學習模型，不需收集或使用設備外觀異常的資料，因此可解決資料類別不平衡所造成的機器學習效果不彰的問題。
上述實施例係使用影像對機器學習模型進行訓練，並用以分辨設備當前的外觀狀態。而在其他實施例中，本發明亦可使用影像頻域訊號對機器學習模型訓練，或是同時使用影像及影像頻域訊號對機器學習模型訓練，並用以分辨設備當前的外觀狀態，同樣可達到智慧預診斷的效果。
舉例來說，圖11是根據本發明一實施例所繪示的設備異常檢測方法的範例。請參照圖11，本實施例的設備異常檢測裝置係用以檢測設備外觀的金屬表面是否損壞，其例如是在設備外觀無損壞時利用相機擷取設備外觀的多張外觀影像111，之後對所擷取到的外觀影像111執行快速傅立葉轉換（FFT），以獲得二維影像頻域訊號111a。
設備異常檢測裝置將轉換後的二維影像頻域訊號111a輸入經訓練的影像頻域編碼器112，而由影像頻域編碼器112對二維影像頻域訊號111a進行特徵萃取及降維，以輸出該訊號的壓縮表述資料113。然後，設備異常檢測裝置將此壓縮表述資料113輸入經訓練的異常檢測模型114以分辨設備當前的外觀狀態並輸出檢測結果115。例如，在分辨設備外觀的當前狀態為正常時，輸出邏輯0的檢測結果115，以及在分辨設備外觀的當前狀態為異常時，輸出邏輯1的檢測結果115。
如同前述圖10A及圖10B的實施例，本實施例的設備異常檢測裝置例如先對自編碼器進行訓練，完成後再訓練異常檢測模型。
舉例來說，圖12A及圖12B是根據本發明一實施例所繪示的訓練機器學習模型的範例。本實施例的訓練包括圖12A所示的影像頻域自編碼器122的訓練以及圖12B所示的異常檢測模型124的訓練。請參照圖12A，本實施例的影像頻域自編碼器122包括影像頻域編碼器122a及影像頻域解碼器122b，而影像頻域自編碼器122的訓練例如是將設備外觀正常時所擷取的外觀影像121經過快速傅立葉轉換（FFT）轉換為二維影像頻域訊號121a後輸入影像頻域編碼器122a，而由影像頻域編碼器122a對二維影像頻域訊號121a進行特徵萃取及降維，以輸出二維影像頻域訊號121a的壓縮表述資料121b。然後，由影像頻域解碼器122b對壓縮表述資料121b進行解碼以獲得重建二維影像頻域訊號121c。本實施例係計算二維影像頻域訊號121a及重建二維影像頻域訊號121c的損失函數，並用以訓練影像頻域編碼器122a。在一些實施例中，影像頻域編碼器122a和影像頻域解碼器122b中的權重例如是採用隨機梯度下降法等可最小化損失函數的方式而優化，在此不設限。
請參照圖12B，待影像頻域編碼器122a訓練完成後，本實施例係將經訓練的影像頻域編碼器122a中的權重固定並連接異常檢測模型124，以訓練異常檢測模型124。詳細而言，本實施例係將設備外觀正常時所擷取的外觀影像121經過快速傅立葉轉換（FFT）轉換為二維影像頻域訊號121a後輸入經訓練的影像頻域編碼器122a，以輸出經編碼的壓縮表述資料123，然後將此壓縮表述資料123輸入異常檢測模型124並設定異常檢測模型124的輸出為外觀狀態正常的檢測結果125（例如，邏輯0），藉此訓練異常檢測模型124。
通過上述方法，本發明實施例使用容易收集的外觀狀態正常時的外觀影像（經轉換為二維影像頻域訊號）來訓練機器學習模型，不需收集或使用設備外觀異常的資料，因此可解決資料類別不平衡所造成的機器學習效果不彰的問題。
另一方面，圖13是根據本發明一實施例所繪示的設備異常檢測方法的範例。請參照圖13，本實施例的設備異常檢測裝置係擷取設備當前的外觀影像131a（包括外觀無損壞的OK影像和外觀損壞的NG影像），並對外觀影像131a執行快速傅立葉轉換（FFT）以轉換為二維影像頻域訊號131b（包括外觀無損壞的OK頻譜訊號和外觀損壞的NG頻譜訊號）。
設備異常檢測裝置係將設備當前的外觀影像131a輸入經訓練的影像編碼器132a，而由影像編碼器132a對外觀影像131a進行特徵萃取及降維，以輸出外觀影像131a的壓縮表述資料133a。此外，設備異常檢測裝置還將二維影像頻域訊號131b輸入經訓練的影像頻域編碼器132b，而由影像頻域編碼器132b對二維影像頻域訊號131b進行特徵萃取及降維，以輸出二維影像頻域訊號131b的壓縮表述資料133b。然後，設備異常檢測裝置將外觀影像131a的壓縮表述資料133a與二維影像頻域訊號131b的壓縮表述資料133b拼接為壓縮表述資料133，而將此壓縮表述資料133輸入經訓練的異常檢測模型134，以分辨設備當前的外觀狀態並輸出檢測結果135。例如，在分辨設備外觀的當前狀態為正常時，輸出邏輯0的檢測結果135，以及在分辨設備當前的外觀狀態為異常時，輸出邏輯1的檢測結果135。
如同前述圖10A和圖12A的實施例，設備異常檢測裝置例如分別對影像自編碼器和影像頻域自編碼器進行訓練。其中，設備異常檢測裝置是由影像自編碼器中的影像編碼器對設備外觀正常時所擷取的外觀影像進行特徵萃取與降維，再由影像解碼器重建外觀影像，之後計算外觀影像和重建外觀影像的損失函數，用以訓練影像編碼器。設備異常檢測裝置另由影像頻域自編碼器中的影像頻域編碼器對設備外觀正常時所擷取的外觀影像經快速傅立葉轉換（FFT）後所得的二維影像頻域訊號進行特徵萃取與降維，再由影像頻域解碼器重建二維影像頻域訊號，之後計算二維影像頻域訊號和重建二維影像頻域訊號的損失函數，用以訓練影像頻域編碼器。本實施例訓練影像編碼器和訓練影像頻域編碼器方式係與前述圖10A訓練影像編碼器102a和圖12A訓練影像頻域編碼器122a的方式相同或相似，故其詳細內容在此不再贅述。
與前述實施例不同的是，在本實施例中，設備異常檢測裝置會將經訓練的影像編碼器和影像頻域編碼器中的權重固定並連接異常檢測模型，以訓練異常檢測模型。
圖14是根據本發明一實施例所繪示的訓練機器學習模型的範例。請參照圖14，設備異常檢測裝置係在設備外觀未損壞時利用相機擷取其外觀影像141a，並對外觀影像141a執行快速傅立葉轉換（FFT）以轉換為二維影像頻域訊號141b，而將外觀影像141a及二維影像頻域訊號141b分別輸入經訓練的影像編碼器142a和影像頻域編碼器142b，以輸出經編碼的外觀影像141a的壓縮表述資料143a以及二維影像頻域訊號141b的壓縮表述資料143b，然後將外觀影像141a的壓縮表述資料143a與二維影像頻域訊號141b的壓縮表述資料143b拼接為壓縮表述資料143，使用此拼接後的壓縮表述資料143輸入異常檢測模型144並設定異常檢測模型144的輸出為外觀狀態為正常的檢測結果145（例如，邏輯0），藉此訓練異常檢測模型144。
通過上述方法，本發明實施例使用設備外觀未損壞時的外觀影像及其轉換後的二維影像頻域訊號來訓練機器學習模型，不需收集或使用設備外觀損壞的資料，因此可解決資料類別不平衡所造成的機器學習效果不彰的問題。
下表2是根據本發明一實施例所繪示的採用影像訓練的機器學習模型（以下簡稱為影像模型）、採用二維影像頻域訊號訓練的機器學習模型（以下簡稱為影像頻域模型）及同時採用影像訊號與二維影像頻域訊號訓練的機器學習模型（以下簡稱混合模型）之準確率比較表。在本實施例中，異常檢測模型是採用一類支援向量機（OCSVM）模型，但不限於此。由表2可知，通過本發明實施例的影像模型進行預測，對外觀正常影像的預測準確率為94.00%，對外觀損壞影像的預測準確率為80.00%；通過本發明實施例的二維影像頻域模型進行預測，對外觀正常影像的預測準確率為89.50%，對外觀損壞影像的預測準確率為100.0%；然而，通過本發明實施例的混合模型進行預測，對外觀正常影像的預測準確率為95.75%，對外觀損壞影像的預測準確率為100.0%。也就是說，以同時採用影像訊號與二維影像頻域訊號訓練的混合模型進行預測，對外觀正常影像和外觀損壞影像的預測上均可獲得較佳的準確率。
表2
| 模型 | 準確率 (外觀正常影像) | 準確率 (外觀損壞影像) |
| 影像模型 | 94.00% | 80.00% |
| 二維影像頻域模型 | 89.50% | 100.0% |
| 混合模型 | 95.75% | 100.0% |
圖15是根據本發明一實施例所繪示的設備異常檢測方法的流程圖。請同時參照圖1及圖15，本實施例的方法適用於圖1的設備異常檢測裝置10，以下即搭配設備異常檢測裝置10的各項元件說明本發明實施例之設備異常檢測方法的詳細步驟。
在步驟S1502中，由設備異常檢測裝置10的處理器16預先利用資料擷取裝置12擷取設備20外觀無損壞時的多張外觀影像，並用以訓練儲存於儲存裝置14中的機器學習模型。在一些實施例中，上述的機器學習模型是由類神經網路組成之編碼器連接一異常檢測模型。所述的異常檢測模型例如是一類支援向量機、孤立森林、區域性異常因子等，但不限於此。
在步驟S1504中，由處理器16利用資料擷取裝置12擷取設備20外觀的當前影像。
在步驟S1506中，由處理器16將所擷取的當前影像輸入機器學習模型，以輸出指示設備20外觀的當前狀態的檢測結果。其中，本實施例通過收集大量設備20外觀未損壞時的外觀影像並用以訓練機器學習模型，即使在缺乏設備20外觀損壞時的影像的情況下，機器學習模型也能夠自行分辨出設備20外觀之異常，而達成智慧預診斷的目的。
綜上所述，本發明實施例的設備異常檢測方法及裝置通過感測、收集大量設備運作正常時之資料或外觀未損壞時的影像並用以訓練機器學習模型，使其可自行分辨出設備功能或外觀的異常，而達成智慧預診斷的目的。本發明實施例的機器學習模型可結合訊號之影像及影像頻域特徵進行綜合預測，可獲得更佳之準確率。而透過將經訓練的機器學習模型儲存在設備異常檢測裝置，並擷取設備的當前外觀影像，即可進行資料判讀及異常預測，而實現邊緣運算和智慧預診斷。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:設備異常檢測裝置
12:資料擷取裝置
14:儲存裝置
16:處理器
18:匯流排
20:設備
31:設備訊號
32、92:編碼器
33、41a、43、53、61a、63、73、73a、73b、83、83a、83b、93、101a、103、113、121b、123、133、133a、133b、143、143a、143b:壓縮表述資料
34、44、54、64、74、84、94、104、114、124、134、144:異常檢測模型
35、45、55、65、75、85、95、105、115、125、135、145:檢測結果
41、71a、81a:時域訊號
41b:重建時域訊號
42:時域自編碼器
42a、72a、82a:時域編碼器
42b:時域解碼器
51、61、71b、81b:頻域訊號
52、62a、72b、82b:頻域編碼器
61b:重建頻域訊號
62:頻域自編碼器
62b:頻域解碼器
91a:外觀正常影像
91b:外觀損壞影像
101、111、121、131a、141a:外觀影像
101b:重建外觀影像
102:影像自編碼器
102a、132a、142a:影像編碼器
102b:影像解碼器
111a、121a、131b、141b:二維影像頻域訊號
112、122a、132b、142b:影像頻域編碼器
121c:重建二維影像頻域訊號
122:影像頻域自編碼器
122b:影像頻域解碼器
S202~S206、S1502~S1506:步驟
圖1是根據本發明一實施例所繪示的設備異常檢測裝置的方塊圖。
圖2是根據本發明一實施例的設備異常檢測方法的流程圖。
圖3是根據本發明一實施例所繪示的設備異常檢測方法的範例。
圖4A及圖4B是根據本發明一實施例所繪示的訓練機器學習模型的範例。
圖5是根據本發明一實施例所繪示的設備異常檢測方法的範例。
圖6A及圖6B是根據本發明一實施例所繪示的訓練機器學習模型的範例。
圖7是根據本發明一實施例所繪示的設備異常檢測方法的範例。
圖8是根據本發明一實施例所繪示的訓練機器學習模型的範例。
圖9是根據本發明一實施例所繪示的設備異常檢測方法的範例。
圖10A及圖10B是根據本發明一實施例所繪示的訓練機器學習模型的範例。
圖11是根據本發明一實施例所繪示的設備異常檢測方法的範例。
圖12A及圖12B是根據本發明一實施例所繪示的訓練機器學習模型的範例。
圖13是根據本發明一實施例所繪示的設備異常檢測方法的範例。
圖14是根據本發明一實施例所繪示的訓練機器學習模型的範例。
圖15是根據本發明一實施例所繪示的設備異常檢測方法的流程圖。
S202~S206:步驟
Claims (28)
- 一種設備異常檢測裝置，包括：資料擷取裝置，擷取一設備運作時的訊號；儲存裝置，儲存一機器學習模型；以及處理器，耦接所述資料擷取裝置以及所述儲存裝置，經配置以：預先利用所述資料擷取裝置擷取所述設備正常運作時的多個訊號，並用以訓練所述機器學習模型，其中所述機器學習模型是由類神經網路組成之編碼器連接一異常檢測模型(outlier detection model，ODM)；利用所述資料擷取裝置擷取所述設備當前運作的當前訊號；以及輸入所擷取的所述當前訊號至所述編碼器進行特徵萃取(feature extraction)及降維(dimension reduction)以輸出壓縮表述(compressed representation)資料，將所述壓縮表述資料輸入所述異常檢測模型以分辨所述設備的當前運作狀態，並輸出指示所述設備的所述當前運作狀態的檢測結果。
- 如請求項1所述的設備異常檢測裝置，其中所述處理器包括：利用所述資料擷取裝置擷取所述設備正常運作時的多個時域(time-domain)訊號；以及 利用所述時域訊號訓練包括所述編碼器及解碼器的一自編碼器(autoencoder)，其中包括：由所述編碼器對所述時域訊號進行特徵萃取及降維以輸出所述時域訊號的壓縮表述資料；由所述解碼器對所述壓縮表述資料進行解碼以獲得重建時域訊號；以及計算所述時域訊號及所述重建時域訊號的一損失函數，並用以訓練所述編碼器。
- 如請求項2所述的設備異常檢測裝置，其中所述處理器更包括：將所述資料擷取裝置擷取的所述時域訊號輸入經訓練的所述編碼器，以輸出所述壓縮表述資料；以及使用所述壓縮表述資料訓練所述異常檢測模型。
- 如請求項1所述的設備異常檢測裝置，其中所述處理器更包括：利用所述資料擷取裝置擷取所述設備正常運作時的多個頻域(frequency-domain)訊號；以及利用所述頻域訊號訓練包括所述編碼器及解碼器的一自編碼器，其中包括：由所述編碼器對所述頻域訊號進行特徵萃取及降維以輸出所述頻域訊號的壓縮表述資料； 由所述解碼器對所述壓縮表述資料進行解碼以獲得重建頻域訊號；以及計算所述頻域訊號及所述重建頻域訊號的一損失函數，並用以訓練所述編碼器。
- 如請求項4所述的設備異常檢測裝置，其中所述處理器更包括：將所述資料擷取裝置擷取的所述頻域訊號輸入經訓練的所述編碼器，以輸出所述壓縮表述資料；以及使用所述壓縮表述資料訓練所述異常檢測模型。
- 如請求項4所述的設備異常檢測裝置，其中所述頻域訊號可由所述處理器對所述資料擷取裝置擷取的時域訊號進行快速傅立葉轉換(Fast Fourier Transform，FFT)得出，亦可直接利用所述資料擷取裝置擷取得到。
- 如請求項1所述的設備異常檢測裝置，其中所述機器學習模型是由類神經網路組成之時域編碼器及頻域編碼器連接一異常檢測模型，所述處理器包括：利用所述資料擷取裝置擷取所述設備正常運作時的多個時域訊號及多個頻域訊號；利用所述時域訊號訓練包括所述時域編碼器及時域解碼器的一時域自編碼器，其中包括由所述時域編碼器對所述時域訊號進行特徵萃取及降維以輸出所述時域訊號的壓縮表述資料，由所述時域解碼器對所述時域訊號的所述壓縮表述資料進行解碼以獲得 重建時域訊號，以及計算所述時域訊號及所述重建時域訊號的一第一損失函數，並用以訓練所述時域編碼器；以及利用所述頻域訊號訓練包括所述頻域編碼器及頻域解碼器的一頻域自編碼器，其中包括由所述頻域編碼器對所述頻域訊號進行特徵萃取及降維以輸出所述頻域訊號的壓縮表述資料，由所述頻域解碼器對所述頻域訊號的所述壓縮表述資料進行解碼以獲得重建頻域訊號，以及計算所述頻域訊號及所述重建頻域訊號的一第二損失函數，並用以訓練所述頻域編碼器。
- 如請求項7所述的設備異常檢測裝置，其中所述處理器更包括：將所述資料擷取裝置擷取的所述時域訊號及所述頻域訊號分別輸入經訓練的所述時域編碼器及所述頻域編碼器，以輸出所述時域訊號及所述頻域訊號的壓縮表述資料；以及拼接所述時域訊號及所述頻域訊號的所述壓縮表述資料，並使用拼接後的所述壓縮表述資料訓練所述異常檢測模型。
- 如請求項1所述的設備異常檢測裝置，其中所述訊號可包括電壓訊號、電流訊號、聲音訊號或震動訊號。
- 一種設備異常檢測方法，適用於包括資料擷取裝置、儲存裝置及處理器的電子裝置，所述方法包括下列步驟：預先利用所述資料擷取裝置擷取一設備正常運作時的多個訊號，並用以訓練儲存於所述儲存裝置中的一機器學習模型，其中所 述機器學習模型是由類神經網路組成之編碼器連接一異常檢測模型；利用所述資料擷取裝置擷取所述設備當前運作的當前訊號；以及輸入所擷取的所述當前訊號至所述編碼器進行特徵萃取及降維以輸出壓縮表述資料，將所述壓縮表述資料輸入所述異常檢測模型以分辨所述設備的當前運作狀態，並輸出指示所述設備的所述當前運作狀態的檢測結果。
- 如請求項10所述的方法，其中預先利用所述資料擷取裝置擷取所述設備正常運作時的多個訊號，並用以訓練儲存於所述儲存裝置中的所述機器學習模型的步驟包括：利用所述資料擷取裝置擷取所述設備正常運作時的多個時域訊號；以及利用所述時域訊號訓練包括所述編碼器及解碼器的一自編碼器，其中包括：由所述編碼器對所述時域訊號進行特徵萃取及降維以輸出所述時域訊號的壓縮表述資料；由所述解碼器對所述壓縮表述資料進行解碼以獲得重建時域訊號；以及計算所述時域訊號及所述重建時域訊號的一損失函數，並用以訓練所述編碼器。
- 如請求項11所述的方法，其中預先利用所述資料擷取裝置擷取所述設備正常運作時的多個訊號，並用以訓練儲存於所述儲存裝置中的所述機器學習模型的步驟更包括：將所述資料擷取裝置擷取的所述時域訊號輸入經訓練的所述編碼器，以輸出所述壓縮表述資料；以及使用所述壓縮表述資料訓練所述異常檢測模型。
- 如請求項10所述的方法，其中預先利用所述資料擷取裝置擷取所述設備正常運作時的多個訊號，並用以訓練儲存於所述儲存裝置中的所述機器學習模型的步驟包括：利用所述資料擷取裝置擷取所述設備正常運作時的多個頻域訊號；以及利用所述頻域訊號訓練包括所述編碼器及解碼器的一自編碼器，其中包括：由所述編碼器對所述頻域訊號進行特徵萃取及降維以輸出所述頻域訊號的壓縮表述資料；由所述解碼器對所述壓縮表述資料進行解碼以獲得重建頻域訊號；以及計算所述頻域訊號及所述重建頻域訊號的一損失函數，並用以訓練所述編碼器。
- 如請求項13所述的方法，其中預先利用所述資料擷取裝置擷取所述設備正常運作時的多個訊號，並用以訓練儲存於所述儲存裝置中的所述機器學習模型的步驟更包括： 將所述資料擷取裝置擷取的所述頻域訊號輸入經訓練的所述編碼器，以輸出所述壓縮表述資料；以及使用所述壓縮表述資料訓練所述異常檢測模型。
- 如請求項13所述的方法，其中所述頻域訊號可對所述資料擷取裝置擷取的時域訊號進行快速傅立葉轉換得出，亦可直接利用所述資料擷取裝置擷取得到。
- 如請求項10所述的方法，其中預先利用所述資料擷取裝置擷取所述設備正常運作時的多個訊號，並用以訓練儲存於所述儲存裝置中的所述機器學習模型的步驟包括：利用所述資料擷取裝置擷取所述設備正常運作時的多個時域訊號及多個頻域訊號；利用所述時域訊號訓練包括所述時域編碼器及時域解碼器的一時域自編碼器，其中包括由所述時域編碼器對所述時域訊號進行特徵萃取及降維以輸出所述時域訊號的壓縮表述資料，由所述時域解碼器對所述時域訊號的所述壓縮表述資料進行解碼以獲得重建時域訊號，以及計算所述時域訊號及所述重建時域訊號的一第一損失函數，並用以訓練所述時域編碼器；以及利用所述頻域訊號訓練包括所述頻域編碼器及頻域解碼器的一頻域自編碼器，其中包括由所述頻域編碼器對所述頻域訊號進行特徵萃取及降維以輸出所述頻域訊號的壓縮表述資料，由所述頻域解碼器對所述頻域訊號的所述壓縮表述資料進行解碼以獲得 重建頻域訊號，以及計算所述頻域訊號及所述重建頻域訊號的一第二損失函數，並用以訓練所述頻域編碼器。
- 如請求項16所述的方法，其中預先利用所述資料擷取裝置擷取所述設備正常運作時的多個訊號，並用以訓練儲存於所述儲存裝置中的所述機器學習模型的步驟更包括：將所述資料擷取裝置擷取的所述時域訊號及所述頻域訊號分別輸入經訓練的所述時域編碼器及所述頻域編碼器，以輸出所述時域訊號及所述頻域訊號的壓縮表述資料；以及拼接所述時域訊號及所述頻域訊號的所述壓縮表述資料，並使用拼接後的所述壓縮表述資料訓練所述異常檢測模型。
- 如請求項10所述的方法，其中所述訊號包括電壓訊號、電流訊號、聲音訊號或震動訊號。
- 一種設備異常檢測裝置，包括：資料擷取裝置，擷取一設備的外觀影像；儲存裝置，儲存一機器學習模型；以及處理器，耦接所述資料擷取裝置以及所述儲存裝置，經配置以：預先利用所述資料擷取裝置擷取所述設備的外觀無損壞時的多張外觀影像，並用以訓練所述機器學習模型，其中所述機器學習模型是由類神經網路組成之編碼器連接一異常檢測模型；利用所述資料擷取裝置擷取所述設備的所述外觀的當前影像；以及 輸入所擷取的所述當前影像至所述編碼器進行特徵萃取及降維以輸出壓縮表述資料，將所述壓縮表述資料輸入所述異常檢測模型以分辨所述設備的所述外觀的當前狀態，並輸出指示所述設備的所述外觀的所述當前狀態的檢測結果。
- 如請求項19所述的設備異常檢測裝置，其中所述處理器包括：利用所述外觀影像訓練包括所述編碼器及解碼器的一自編碼器，其中包括：由所述編碼器對所述外觀影像進行特徵萃取及降維以輸出所述外觀影像的壓縮表述資料；由所述解碼器對所述壓縮表述資料進行解碼以獲得重建外觀影像；以及計算所述外觀影像及所述重建外觀影像的一損失函數，並用以訓練所述編碼器。
- 如請求項19所述的設備異常檢測裝置，其中所述處理器更包括：對所述資料擷取裝置擷取的所述外觀影像進行快速傅立葉轉換，得出所述外觀影像的多個二維影像頻域訊號；以及利用所述二維影像頻域訊號訓練包括所述編碼器及解碼器的一自編碼器，其中包括：由所述編碼器對所述二維影像頻域訊號進行特徵萃取及降維以輸出所述二維影像頻域訊號的壓縮表述資料； 由所述解碼器對所述壓縮表述資料進行解碼以獲得重建二維影像頻域訊號；以及計算所述二維影像頻域訊號及所述重建二維影像頻域訊號的一損失函數，並用以訓練所述編碼器。
- 如請求項19所述的設備異常檢測裝置，其中所述機器學習模型是由類神經網路組成之影像編碼器及影像頻域編碼器連接所述異常檢測模型，所述處理器包括：利用所述外觀影像訓練包括所述影像編碼器及影像解碼器的一影像自編碼器，其中包括由所述影像編碼器對所述外觀影像進行特徵萃取及降維以輸出所述外觀影像的壓縮表述資料，由所述影像解碼器對所述外觀影像的所述壓縮表述資料進行解碼以獲得重建外觀影像，以及計算所述外觀影像及所述重建外觀影像的一第一損失函數，並用以訓練所述影像編碼器；以及利用所述二維影像頻域訊號訓練包括所述影像頻域編碼器及影像頻域解碼器的一影像頻域自編碼器，其中包括由所述影像頻域編碼器對所述二維影像頻域訊號進行特徵萃取及降維以輸出所述二維影像頻域訊號的壓縮表述資料，由所述影像頻域解碼器對所述二維影像頻域訊號的所述壓縮表述資料進行解碼以獲得重建二維影像頻域訊號，以及計算所述二維影像頻域訊號及所述重建二維影像頻域訊號的一第二損失函數，並用以訓練所述影像頻域編碼器。
- 如請求項22所述的設備異常檢測裝置，其中所述處理器更包括：將所述資料擷取裝置擷取的所述外觀影像以及所述外觀影像經所述快速傅立葉轉換後所得到的所述二維影像頻域訊號分別輸入經訓練的所述影像編碼器及所述影像頻域編碼器，以輸出所述外觀影像及所述二維影像頻域訊號的壓縮表述資料；以及拼接所述外觀影像及所述二維影像頻域訊號的所述壓縮表述資料，並使用拼接後的所述壓縮表述資料訓練所述異常檢測模型。
- 一種設備異常檢測方法，適用於包括資料擷取裝置、儲存裝置及處理器的電子裝置，所述方法包括下列步驟：預先利用所述資料擷取裝置擷取所述設備的外觀無損壞時的多張外觀影像，並用以訓練儲存於所述儲存裝置中的一機器學習模型，其中所述機器學習模型是由類神經網路組成之編碼器連接一異常檢測模型；利用所述資料擷取裝置擷取所述設備的所述外觀的當前影像；以及輸入所擷取的所述當前影像至所述編碼器進行特徵萃取及降維以輸出壓縮表述資料，將所述壓縮表述資料輸入所述異常檢測模型以分辨所述設備的所述外觀的當前狀態，並輸出指示所述設備的所述外觀的所述當前狀態的檢測結果。
- 如請求項24所述的方法，其中所述處理器包括： 利用所述外觀影像訓練包括所述編碼器及解碼器的一自編碼器，其中包括：由所述編碼器對所述外觀影像進行特徵萃取及降維以輸出所述外觀影像的壓縮表述資料；由所述解碼器對所述壓縮表述資料進行解碼以獲得重建外觀影像；以及計算所述外觀影像及所述重建外觀影像的一損失函數，並用以訓練所述編碼器。
- 如請求項24所述的方法，更包括由所述處理器：對所述資料擷取裝置擷取的所述外觀影像進行快速傅立葉轉換，得出所述外觀影像的多個二維影像頻域訊號；以及利用所述二維影像頻域訊號訓練包括所述編碼器及解碼器的一自編碼器，其中包括：由所述編碼器對所述二維影像頻域訊號進行特徵萃取及降維以輸出所述二維影像頻域訊號的壓縮表述資料；由所述解碼器對所述壓縮表述資料進行解碼以獲得重建二維影像頻域訊號；以及計算所述二維影像頻域訊號及所述重建二維影像頻域訊號的一損失函數，並用以訓練所述編碼器。
- 如請求項24所述的方法，其中所述機器學習模型是由類神經網路組成之影像編碼器及影像頻域編碼器連接所述異常檢測模型，所述處理器包括： 利用所述外觀影像訓練包括所述影像編碼器及影像解碼器的一影像自編碼器，其中包括由所述影像編碼器對所述外觀影像進行特徵萃取及降維以輸出所述外觀影像的壓縮表述資料，由所述影像解碼器對所述外觀影像的所述壓縮表述資料進行解碼以獲得重建外觀影像，以及計算所述外觀影像及所述重建外觀影像的一第一損失函數，並用以訓練所述影像編碼器；以及利用所述二維影像頻域訊號訓練包括所述影像頻域編碼器及影像頻域解碼器的一影像頻域自編碼器，其中包括由所述影像頻域編碼器對所述二維影像頻域訊號進行特徵萃取及降維以輸出所述二維影像頻域訊號的壓縮表述資料，由所述影像頻域解碼器對所述二維影像頻域訊號的所述壓縮表述資料進行解碼以獲得重建二維影像頻域訊號，以及計算所述二維影像頻域訊號及所述重建二維影像頻域訊號的一第二損失函數，並用以訓練所述影像頻域編碼器。
- 如請求項27所述的方法，其中所述處理器更包括：將所述資料擷取裝置擷取的所述外觀影像以及所述外觀影像經所述快速傅立葉轉換後所得到的所述二維影像頻域訊號分別輸入經訓練的所述影像編碼器及所述影像頻域編碼器，以輸出所述外觀影像及所述二維影像頻域訊號的壓縮表述資料；以及拼接所述外觀影像及所述二維影像頻域訊號的所述壓縮表述資料，並使用拼接後的所述壓縮表述資料訓練所述異常檢測模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/173,093 US20230367306A1 (en) | 2022-05-13 | 2023-02-23 | Method and apparatus for equipment anomaly detection |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202263341426P | 2022-05-13 | 2022-05-13 | |
| US63/341,426 | 2022-05-13 | ||
| TW111122909 | 2022-06-20 | ||
| TW111122909 | 2022-06-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202345025A TW202345025A (zh) | 2023-11-16 |
| TWI835472B true TWI835472B (zh) | 2024-03-11 |
Family
ID=89720338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111148853A TWI835472B (zh) | 2022-05-13 | 2022-12-20 | 設備異常檢測方法及裝置 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI835472B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110060368A (zh) * | 2019-04-22 | 2019-07-26 | 苏州大学 | 基于潜在特征编码的机械异常检测方法 |
| CN110705456A (zh) * | 2019-09-29 | 2020-01-17 | 华南理工大学 | 一种基于迁移学习的微型电机异常检测方法 |
| CN113033490A (zh) * | 2021-04-23 | 2021-06-25 | 山东省计算中心（国家超级计算济南中心） | 基于声音信号的工业设备通用故障检测方法及系统 |
| US20210256991A1 (en) * | 2020-02-11 | 2021-08-19 | Purdue Research Foundation | System and methods for machine anomaly detection based on sound spectrogram images and neural networks |
| CN114066811A (zh) * | 2021-10-13 | 2022-02-18 | 华南理工大学 | 一种工业产品异常检测方法、系统、装置及存储介质 |
| CN114417940A (zh) * | 2022-03-25 | 2022-04-29 | 阿里巴巴（中国）有限公司 | 检测数据中心的设备、获得设备检测模型的方法及装置 |
-
2022
- 2022-12-20 TW TW111148853A patent/TWI835472B/zh active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110060368A (zh) * | 2019-04-22 | 2019-07-26 | 苏州大学 | 基于潜在特征编码的机械异常检测方法 |
| CN110705456A (zh) * | 2019-09-29 | 2020-01-17 | 华南理工大学 | 一种基于迁移学习的微型电机异常检测方法 |
| US20210256991A1 (en) * | 2020-02-11 | 2021-08-19 | Purdue Research Foundation | System and methods for machine anomaly detection based on sound spectrogram images and neural networks |
| CN113033490A (zh) * | 2021-04-23 | 2021-06-25 | 山东省计算中心（国家超级计算济南中心） | 基于声音信号的工业设备通用故障检测方法及系统 |
| CN114066811A (zh) * | 2021-10-13 | 2022-02-18 | 华南理工大学 | 一种工业产品异常检测方法、系统、装置及存储介质 |
| CN114417940A (zh) * | 2022-03-25 | 2022-04-29 | 阿里巴巴（中国）有限公司 | 检测数据中心的设备、获得设备检测模型的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202345025A (zh) | 2023-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021082480A1 (zh) | 一种图像分类的方法及相关装置 | |
| US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
| KR102011227B1 (ko) | 컴퓨터 저장 매체, 컴퓨터 프로그램 제품, 및 풍력 발전기 세트의 장애를 모니터링하기 위한 방법, 및 장치 | |
| US20130297256A1 (en) | Method and System for Predictive and Conditional Fault Detection | |
| CN116933145B (zh) | 工业设备中的部件的故障确定方法及相关设备 | |
| CN113391207A (zh) | 一种电机故障的检测方法、介质及系统 | |
| KR102469871B1 (ko) | 반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치 | |
| CN114120974A (zh) | 一种基于深度学习的风机叶片故障诊断方法 | |
| CN115931319B (zh) | 故障诊断方法、装置、电子设备及存储介质 | |
| CN113551765A (zh) | 设备故障声谱分析诊断方法 | |
| US20230367306A1 (en) | Method and apparatus for equipment anomaly detection | |
| CN113125135A (zh) | 旋转机械的故障诊断方法、存储介质及电子设备 | |
| TWI835472B (zh) | 設備異常檢測方法及裝置 | |
| CN116012681A (zh) | 基于声振信号融合的管道机器人电机故障诊断方法及系统 | |
| CN110119789A (zh) | 一种旋转型机械设备启停判断方法及系统 | |
| CN117218405A (zh) | 一种电池生产设备故障数字诊断方法 | |
| CN113837390A (zh) | 一种模态信息补全方法、装置及设备 | |
| CN116597167A (zh) | 一种永磁同步电机小样本退磁故障诊断方法、存储介质及系统 | |
| CN114564877B (zh) | 一种滚动轴承寿命预测方法、系统、设备及可读存储介质 | |
| CN117113129A (zh) | 设备异常检测方法及装置 | |
| CN115409367A (zh) | 基于物联网的智能电网健康状态评估方法及系统 | |
| CN208768204U (zh) | 便携式图像目标检测装置 | |
| Chen et al. | Split convolutional neural networks for distributed inference on concurrent IoT sensors | |
| CN118332430A (zh) | 基于深度学习理论的机械装备大数据健康状态监测方法 | |
| US20240184658A1 (en) | Deep learning-based analysis system and operating method thereof |