TWI749852B

TWI749852B - 基於機器學習模型解釋之取得振動訊號特徵方法

Info

Publication number: TWI749852B
Application number: TW109138838A
Authority: TW
Inventors: 李慶鴻; 陳翰蕓
Original assignee: 國立陽明交通大學
Priority date: 2020-11-06
Filing date: 2020-11-06
Publication date: 2021-12-11
Also published as: TW202219796A

Abstract

本發明係提供一種基於機器學習模型解釋之取得振動訊號特徵方法，其步驟包含：接收振動訊號；將振動訊號經轉換取得時頻圖；訓練以時頻圖作為輸入之一分類模型；透過梯度加權類別活化映射法（Gradient Class Activation Mapping, Grad-CAM）以尋找關注區域；統計分析所述時頻圖中所述關注區域中特定頻段之頻率分佈，以取得所述特定頻段之統計特徵；藉此，本發明可實現振動訊號分析的模型解釋，並可確實得到訊號的關鍵頻段，藉可用以分析機器之運作情形，如：軸承缺陷之分類、刀具磨耗分類，以精確且快速的查找機器振動之因素，此外，於分析未知訊號時，亦可縮小分析的範圍，提供初步的分析方向者。

Description

基於機器學習模型解釋之取得振動訊號特徵方法

本發明係提供一種基於機器學習模型解釋之取得振動訊號特徵方法，尤指一種可分析振動訊號，並可確實得到其關鍵頻段，藉可用以分析機器之運作情形，並於分析未知訊號時，可縮小分析的範圍，以提供分析方向者。

按，振動訊號之分析，係可進行機械之非破壞性檢測，藉可迅速且精確的得知應進行其保養或修復之部件，是以，對於機械進行完整之振動分析，實為極重要之檢測流程；振動訊號主要包含頻率、相位及振幅，其係可對應機械異常或損壞之來源，其通常可用以檢測出機械平衡、零件鬆動、軸承缺陷、齒輪磨損、轉軸偏心、刀具磨損等情形，而其分析過程中，有效之頻段取得需要透過繁瑣之訊號分析方法才能確定，其將耗費諸多之時間成本進行其分析解算，且須仰賴熟習該機械以及頻譜分析之使用者方得以進行。

有鑑於此，吾等發明人乃潛心進一步研究振動訊號之分析，並著手進行研發及改良，期以一較佳發明以解決上述問題，且在經過不斷試驗及修改後而有本發明之問世。

爰是，本發明之目的係為解決前述問題，為達致以上目的，吾等發明人提供一種基於機器學習模型解釋之取得振動訊號特徵方法，其步驟包含：接收至少一振動訊號；將所述振動訊號經轉換取得至少一時頻圖；訓練以所述時頻圖作為輸入之一分類模型；將經所述分類模型分類之所述時頻圖，分別透過梯度加權類別活化映射法(Gradient Class Activation Mapping,Grad-CAM)以尋找至少一關注區域；以及統計分析所述時頻圖中所述關注區域中特定頻段之頻率分佈，以取得所述特定頻段之統計特徵。

據上所述之基於機器學習模型解釋之取得振動訊號特徵方法，其步驟更包含：將所述統計特徵配合建立一驗證分類模型；以及以所述特定頻段驗證該驗證分類模型，若該驗證分類模型可有效分類者，則定義所述統計特徵為有效；而若該驗證分類模型無法有效分類者，則評估所述統計特徵是否適當，並於不適當時重新分析取得所述統計特徵，而於適當時重新訓練所述分類模型者。

據上所述之基於機器學習模型解釋之取得振動訊號特徵方法，其中，該驗證分類模型為單層類神經網路、適應性類神經模糊推論系統或決策樹者。

據上所述之基於機器學習模型解釋之取得振動訊號特徵方法，其中，所述振動訊號係經短時傅立葉轉換(Short-Time Fourier Transform,STFT)而取得所述時頻圖者。

據上所述之基於機器學習模型解釋之取得振動訊號特徵方法，其中，所述分類模型為卷積類神經網路(Convolutional Neural Network,CNN)者。

是由上述說明及設置，顯見本發明主要具有下列數項優點及功效，茲逐一詳述如下：

1.本發明可實現振動訊號分析的模型解釋，並可確實得到訊號的關鍵頻段，藉可用以分析機器之運作情形，如：軸承缺陷之分類、刀具磨耗分類，以精確且快速的鑑別機器振動之來源及因素；此外，本發明亦可用以分析未知訊號，且其可縮小分析的範圍，提供初步的分析方向，以利查找產生未知訊號之來源及因素者。

S001~S008:步驟

第1圖係本發明之流程圖。

第2a圖係本發明實驗一正常軸承之時頻圖。

第2b圖係本發明實驗一內圈毀損軸承之時頻圖。

第2c圖係本發明實驗一外圈毀損軸承之時頻圖。

第2d圖係本發明實驗一滾珠毀損軸承之時頻圖。

第3圖係本發明實驗一正常軸承之時頻圖與分類模型分類正常軸承之關注區域之頻段比較圖。

第4圖係本發明實驗一內圈毀損軸承之時頻圖與分類模型分類內圈毀損軸承之關注區域之頻段比較圖。

第5圖係本發明實驗一外圈毀損軸承之時頻圖與分類模型分類外圈毀損軸承之關注區域之頻段比較圖。

第6圖係本發明實驗一滾珠毀損軸承之時頻圖與分類模型分類滾珠毀損軸承之關注區域之頻段比較圖。

第7a圖係本發明實驗一正常軸承之平均頻率分佈。

第7b圖係本發明實驗一內圈毀損軸承之平均頻率分佈。

第7c圖係本發明實驗一外圈毀損軸承之平均頻率分佈。

第7d圖係本發明實驗一滾珠毀損軸承之平均頻率分佈。

第8圖係本發明偏度定義示意圖。

第9圖係本發明實驗一驗證分類模型之混淆矩陣。

第10a圖係本發明實驗二未達磨耗標準之刀具之時頻圖。

第10b圖係本發明實驗二已達磨耗標準之刀具之時頻圖。

第11圖係本發明實驗二未達磨耗標準之刀具之時頻圖與分類模型分類未達磨耗標準之刀具之關注區域之頻段比較圖。

第12圖係本發明實驗二已達磨耗標準之刀具之時頻圖與分類模型分類已達磨耗標準之刀具之關注區域之頻段比較圖。

第13a圖係本發明實驗二未達磨耗標準之刀具之平均頻率分佈。

第13b圖係本發明實驗二已達磨耗標準之刀具之平均頻率分佈。

第14圖係本發明實驗二驗證分類模型之混淆矩陣。

關於吾等發明人之技術手段，茲舉數種較佳實施例配合圖式於下文進行詳細說明，俾供鈞上深入了解並認同本發明。

請先參閱第1圖所示，本發明係一種基於機器學習模型解釋之取得振動訊號特徵方法，其步驟包含：S001：接收至少一振動訊號；在一實施例中，所述振動訊號係可擷取自一機械，藉可用以鑑別該機械之運作情形；S002：將所述振動訊號經轉換取得至少一時頻圖；在一具體之實施例中，主要係透過短時傅立葉轉換(Short-Time Fourier Transform,STFT)做為資料前處理，藉以求得所述時頻圖，時頻圖同時具備了時域及頻域的資訊，可以顯示振動訊號於不同時間下之頻率分佈，其中，離散傅立葉轉換可表示為下數學式1所示：

其中，x為長度為N的離散訊號；n為資料點的索引；ω為頻率；X為x經過傅立葉轉換的結果；並可發現X為頻率之函數，並無時間成分。

短時傅立葉轉換係可將一段訊號切割成許多極短時間的訊號片段，再予分析出各訊號片段之頻域，連接起來便可以取得這段訊號在不同時間下的頻域，將這些極短訊號的頻率分佈連接者即為時頻圖；而短時傅立葉轉換的結果可表示為下數學式2所示：

其中，w為離散之窗函數；m為窗函數中離散點的索引；轉換後之結果具備先後的順序，因此短時傅立葉轉換之後的時頻圖保留了時間的資訊，同時具備頻率分佈。

S003：訓練以所述時頻圖作為輸入之一分類模型；在一實施例中所述分類模型為卷積類神經網路(Convolutional Neural Network,CNN)；卷積類神經網路主要之運算包含卷積層(convolutional layer)、池化層(pooling layer)及全連接層(fully-connected layer)，卷積層及池化層的堆疊讓卷積類神經網路可自動提取重要特徵，全連接層則為一般的類神經網路，可做為分類器或預測系統；而於卷積層中，輸入會與卷積層中的濾波器(filter)卷積運算(convolve)，提取出特徵，單一濾波器提取出的特徵圖

可表示為下數學式3所示：

其中，x為輸入之序列；l為濾波器的索引，l=1,2,...,N，N為濾波器的數量； α _l為濾波器內部的矩陣；f為非線性激活函數；*代表卷積運算；b為偏權值(bias)。

而卷積層的輸出可表示為下數學式4所示：

池化層的目標在於保留特徵圖中重要的特徵，因此使用最大值池化運算(Max-pooling operation)，其運算可表示為下數學式5所示：【數學式5】

其中，q及r為列與行的索引；而透過數學式5可知池化之運算係保留設定範圍內的最大值，而池化層的輸出可表示為下數學式6所示：

其中，L _z及W _z為卷積後的特徵圖寬度及寬度；L _P及W _P為池化層中選取範圍的長度及寬度。

透過卷積及池化後的特徵圖會平坦化成一維的序列，輸入到全連接層中進行分類或預測，單一神經元的前傳遞運算可表示為下數學式7所示：

其中h _a為類神經網路的輸入；w _a為h _a對應的權重；b為偏權值；f為神經元的激活函數，如果模型是應用於分類問題，最後一層全連接層通常會使用Softmax函數做為激活函數將輸出映射到0~1的範圍內。

S004：將經所述分類模型分類之至少其一所述時頻圖，分別透過梯度加權類別活化映射法(Gradient Class Activation Mapping,Grad-CAM)以尋找至少一關注區域；梯度加權類別活化映射法提取特徵後之特徵圖，皆會有一對應之權重，而將此些特徵圖加權之後相加，在經過ReLU函數映射保留具有正向影響的特徵後，即可得到模型的關注區域。

其中，特徵提取後的特徵圖比原始圖像還小，因此特徵圖需要經過放大，放大之後的第o張特徵圖F ^o可表示為下數學式8所示：

其中，Z為圖的像素數量；m及n為特徵圖中列及行的索引；

為第n行、第m列的像素值。

梯度加權類別活化映射法為CAM(Class activation mapping，類別活化映射)的改良方法，在CAM中，未經Softmax函數映射之所屬類別分類分數y ^C可表示為下數學式9所示：

其中，

即為F ^o的權重。Grad-CAM最後的關注區域可表示為下數學式10所示：

而為計算其權重，故將數學式9偏微分得到每個像素的權重值，如下數學式11所示：【數學式11】

由於該特徵圖的權重為所有像素權重的平均，因此可得到F ^o的權重

為下數學式12：

最後得到的最終關注區域可表示為下數學式13所示：

而本發明使用梯度加權類別活化映射法取得卷積類神經網路關注區域之優點在於，不會影響到原始模型，因梯度加權類別活化映射法係於分類模型訓練完畢之後應用，故不會影響訓練過程，此外，梯度加權類別活化映射法之計算不受卷積類神經網路分類模型影響，因梯度加權類別活化映射法係利用特徵提取完的特徵圖與最後的分類分數計算最終關注區域，因此不會考慮模型結構。

S005：如前述者，即可統計分析所述時頻圖中所述最終關注區域中特定頻段之頻率分佈，以取得所述特定頻段之統計特徵。

S006：為予驗證統計特徵是否具有可靠度及其是否具有分類的資訊，故在一實施例中，係將所述統計特徵配合建立一驗證分類模型，在一實施例中，該驗證分類模型為單層類神經網路、適應性類神經模糊推論系統或決策樹；而後以所述特定頻段驗證該驗證分類模型，若該驗證分類模型可有效分類者則續行步驟S007，若該驗證分類模型無法有效分類者，則續行步驟S008。

S007：定義所述統計特徵為有效，可說明模型為何關注該頻段，亦代表透過此方法取得之頻段具備分類的重要資訊，可做為進一步分析、分類或診斷的依據及應用。

S008：評估所述統計特徵是否適當，並於不適當時回歸步驟S005以重新分析取得所述統計特徵，而於適當時回歸步驟S003以重新訓練所述分類模型者。

藉由前述，本發明透過下述之實驗一、二予以試驗說明。

[實驗一、軸承缺陷分類]

軸承缺陷係人為使用放電加工切割，分別有正常軸承、內圈毀損、外圈毀損及滾珠毀損，其中也包括了不同的運轉速度，本實驗使用之振動訊號為馬達驅動端的振動訊號，取樣頻率為12kHz，先利用滑動窗(sliding window)將訊號切割成一秒鐘長(12,000點)以增加資料量，再將振動訊號使用STFT得到時頻圖，各軸承狀態之時頻圖如第2a圖至第2d圖所示，接著利用時頻圖做為輸入訓練CNN分類模型，再來利用Grad-CAM取得CNN之關注頻段，如第3圖至第6圖所示，可以發現模型在分類具缺陷的軸承時，關注的頻段約為1000~4000Hz。

取得關注頻段後，接下來透過觀察不同軸承狀態下，該頻段的頻率分佈，如第7a圖至第7d圖所示，可發現頻譜中具有幾個頻叢出現，根據頻叢將頻段分割為1001~2000Hz、2001~3000Hz及3001~4000Hz，為可表示這些頻段之頻率分佈，故挑選的特徵為：1001~2000Hz的平均能量及峰度、2001~3000Hz 和3001~4000Hz的平均能量、峰度及偏度，總共八個統計特徵，其中，峰度(kurtosis)及偏度(skewness)的計算方式如下數學式14及數學式15所示：

此二統計特徵可用以表示頻叢的分佈狀態，其中，峰度可以表示頻叢的集中狀態，如第7b圖所示3000~4000Hz之峰度低於第7c圖3000~4000Hz的峰度；而偏度則為頻叢偏離中間值的程度，如第8圖所示，若頻叢的峰值在中間值的右邊，則偏度為負的，反之則為正偏度。

最後使用統計分析取得關注頻段的特徵並利用簡單之類神經網路建立驗證分類模型進行驗證，其結構表如下表1所示：

而類神經網路之混淆矩陣如第9圖所示，結果顯示所述統計特徵確實具有分類資訊，也驗證本發明之方法可取得適當之分析頻段，提供進一步分析之方向。

[實驗二、刀具磨耗分類]

其實驗機台為慶鴻機電之三軸銑床(HM4030L)，刀具為直徑6mm之兩刃鎢鋼刀，工件為S45C中碳鋼，並使用三軸加速規(CTC AC230)取得振動訊號，取樣頻率為100kHz，最終刀具磨耗量測使用Deryuan RS-500工業相機拍攝，搭配ImageJ及PhotoImpact進行影像處理，磨耗寬度標準為0.4mm。

承前述，經過分析之後使用Y軸訊號做為輸入，先將訊號裁切成一秒鐘長，並利用STFT得到如第10a圖及第10b圖所示分別為未達磨耗標準之刀具及已達磨耗標準之刀具的時頻圖，模型訓練之後準確率為100%，取得關注區域之頻段如第11圖及第12圖所示，其中，未達磨耗標準的刀具中，模型關注的頻段為大於5000Hz，而在已達磨耗標準的刀具中，模型則關注在小於3000Hz之頻段。

於取得關注頻段後，觀察不同刀具狀態的平均頻譜中頻段的頻率分佈，如第13a圖及第13b圖所示，可發現小於3000Hz及大於5000Hz的頻段亦存在頻叢，因此挑選的特徵為0~3000Hz及5001~10000Hz的平均能量、峰度及偏度，總共六個統計特徵；而驗證分類模型同樣採用選擇簡單之類神經網路，其結構如下表2所示：

而驗證分類模型之混淆矩陣如第14圖所示，其結果亦驗證本發明確實可取得適當之分析頻段。

綜上所述，本發明所揭露之技術手段確能有效解決習知等問題，並達致預期之目的與功效，且申請前未見諸於刊物、未曾公開使用且具長遠進步性，誠屬專利法所稱之發明無誤，爰依法提出申請，懇祈鈞上惠予詳審並賜准發明專利，至感德馨。

惟以上所述者，僅為本發明之數種較佳實施例，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明書內容所作之等效變化與修飾，皆應仍屬本發明專利涵蓋之範圍內。

S001~S008:步驟

Claims

一種基於機器學習模型解釋之取得振動訊號特徵方法，其係經由一電腦載入後執行下列步驟，其步驟包含：接收至少一振動訊號；將所述振動訊號經轉換取得至少一時頻圖；訓練以所述時頻圖作為輸入之一分類模型；將經所述分類模型分類之所述時頻圖，分別透過梯度加權類別活化映射法(Gradient Class Activation Mapping,Grad-CAM)以提取所述時頻圖之特徵圖F ^o，並將所述特徵圖依據下式1放大：
其中，Z為圖的像素數量；m及n為特徵圖中列及行的索引；
為第n行、第m列的像素值；將該梯度加權類別活化映射法之分類分數y ^C定義為
；其中，
為所述特徵圖F ^o之權重；界定梯度加權類別活化映射法於所述特徵圖之至少一關注區域
為
；將所述分類分數y ^C進行偏微分以取得所述特徵圖中每一像素之權重值，並將所述權重值之平均值帶入所述關注區域，以求得至少一最終關注區域；以及統計分析所述時頻圖中所述最終關注區域中特定頻段之頻率分佈，以取得所述特定頻段之統計特徵。
如請求項1所述之基於機器學習模型解釋之取得振動訊號特徵方法，該電腦載入後執行之步驟更包含：將所述統計特徵配合建立一驗證分類模型；以及以所述特定頻段驗證該驗證分類模型，若該驗證分類模型可有效分類者，則定義所述統計特徵為有效；而若該驗證分類模型無法有效分類者，則評估所述統計特徵是否適當，並於不適當時重新分析取得所述統計特徵，而於適當時重新訓練所述分類模型者。
如請求項2所述之基於機器學習模型解釋之取得振動訊號特徵方法，其中，該驗證分類模型為單層類神經網路、適應性類神經模糊推論系統或決策樹者。
如請求項1至請求項3中任一項所述之基於機器學習模型解釋之取得振動訊號特徵方法，其中，所述振動訊號係經短時傅立葉轉換(Short-Time Fourier Transform,STFT)而取得所述時頻圖者。
如請求項1至請求項3中任一項所述之基於機器學習模型解釋之取得振動訊號特徵方法，其中，所述分類模型為卷積類神經網路(Convolutional Neural Network,CNN)者。