TWI685330B - 肌肉張力感測方法與系統 - Google Patents

Abstract

本發明提出一種肌肉張力感測方法，包括：透過至少一個感測器在一段時間內取得對應於一肢體運動的感測訊號；將感測訊號轉換為二維影像；以及將二維影像輸入至卷積神經網路以輸出肌肉張力判斷結果。

Description

肌肉張力感測方法與系統

本發明是有關於一種肌肉張力感測方法，且特別是有關於一種使用卷積神經網路的肌肉張力感測方法。

隨著醫療科技進步，疾病治療的成功率提高，使得人均壽命提高，但有些病患治療後並未完全復原，如：腦部或脊髓損傷病患經過治療後，若仍有肢體偏癱症狀，則通常需要配合後續復健過程，期能完全復原，隨著老年化社會的來臨，復健過程中的照護與醫療需求亦隨之增加。在中風偏癱、腦性麻痺、巴金森氏症或脊髓損傷等病患的復健過程中，皆會經歷肌肉張力異常，導致肌肉抽蓄及僵直等臨床症狀，病患復健時須由醫師對肢體施力，並配合相關量表，憑主觀經驗診斷病患的肌肉張力是否異常，不同醫師的診斷結果可能有異，難稱客觀。此外，習知等速肌力測試儀主要供運動員測試用，不但體積龐大且價格昂貴；習知微型肌力感測器僅可用於簡易的肌力測試，無法測量肌肉異常級數，使醫師或復健師無法有效評估病患之狀態並即時進行處置。有鑑於此，有必要改善上述先前技術的缺點，以符合 實際需求，提升其實用性。

本發明的實施例提出一種肌肉張力感測方法，包括：透過至少一個感測器在一段時間內取得對應於一肢體運動的感測訊號；將感測訊號轉換為二維影像；以及將二維影像輸入至卷積神經網路以輸出肌肉張力判斷結果。

在一些實施例中，上述的感測器包括慣性感測器、肌電感測器、壓力感測器或其組合。

在一些實施例中，感測訊號包括加速度訊號與肌電訊號，上述將感測訊號轉換為二維影像的步驟包括：將加速度訊號與肌電訊號的數值排列在同一張二維影像中。

在一些實施例中，將感測訊號轉換為二維影像的步驟是根據以下方程式(1)所執行。

I_i,j=diff(a _1,i ,a _2,j )...(1)

其中I_i,j表示二維影像中第i行第j列的灰階值，a _1,i 表示其中一個加速度訊號在時間點i的數值，a _2,j 表示另一個加速度訊號在時間點j的數值，diff( )是用以計算兩個數值之間的差異函數。

在一些實施例中，上述的差異函數diff( )如以下方程式(2)所示，其中c₁、c₂為參數。

diff(a _1,i ,a _2,j )=c ₁×|a _1,i -a _2,j|+c ₂×|(a _1,i+1-a _1,i-1)-(a _2,j+1-a _2,j-1)|...(2)

以另外一個角度來看，本發明的實施例提出一 種肌肉張力感測系統，包括感測器與計算電路。感測器用以在一段時間內取得對應於一肢體運動的感測訊號。計算電路耦接至感測器，用以將感測訊號轉換為二維影像，並將二維影像輸入至卷積神經網路以輸出肌肉張力判斷結果。

在一些實施例中，計算電路還用以將加速度訊號與肌電訊號的數值排列在同一張二維影像中。

在一些實施例中，計算電路用以根據上述方程式(1)形成二維影像。

在上述的方法與系統中，可以透過卷積神經網路自動地擷取感測資料。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧肌肉張力感測系統

110‧‧‧計算電路

120‧‧‧慣性感測器

130‧‧‧肌電感測器

140‧‧‧壓力感測器

150‧‧‧通訊模組

160‧‧‧顯示器

210、220‧‧‧裝置

301~304‧‧‧感測訊號

320‧‧‧二維影像

410‧‧‧卷積神經網路

420‧‧‧範圍

430‧‧‧全連接層

501~503‧‧‧步驟

[圖1]是根據一實施例繪示肌肉張力感測系統的示意圖。

[圖2A]與[圖2B]是根據一實施例繪示肌肉張力感測系統設置在人肢體上的示意圖。

[圖3]是根據一實施例繪示轉換感測訊號的示意圖。

[圖4]是根據一實施例將二維影像輸入至卷積神經網路的示意圖。

[圖5]是根據一實施例繪示肌肉張力感測方法的流程圖。

關於本文中所使用之『第一』、『第二』、...等，並非特別指次序或順位的意思，其僅為了區別以相同技術用語描述的元件或操作。

在習知技術中，醫護人員可引導患者彎曲受累部分(例如手臂)，並根據彎曲部分的肌肉反應來給予一個級分，請參照以下表一，表一為Ashworth量表或改良式Ashworth量表。

在此實施例中提出了一個肌肉張力感測系統與 方法，用以根據感測器所取得的數據來客觀地輸出肌肉張力判斷結果(例如上述的級分)。

圖1是根據一實施例繪示肌肉張力感測系統的示意圖。請參照圖1，肌肉張力感測系統100包括了計算電路110、慣性感測器120、肌電感測器130、壓力感測器140、通訊模組150、顯示器160。計算電路110可以是中央處理器、微處理器、微控制器、數位信號處理器、影像處理晶片、特殊應用積體電路等。慣性感測器120例如為9軸感測器，其中包括了3軸加速度感測器、陀螺儀以及磁力計，3軸加速度感測器可以感測X、Y、Z三個方向上的加速度，陀螺儀可以感測角速度，而磁力計則可以感測磁場的方向與強度，進而計算出角度。肌電感測器130是用以量測肌電訊號(electromyography，EMG)。壓力感測器140則是用以量測施加在感測器上的壓力。通訊模組150可以是有線傳輸模組或是無線傳輸模組，例如無線保真(wireless fidelity，WiFi)、近場通訊(near field communication，NFC)或藍芽(Bluetooth)模組。顯示器160可以是液晶顯示器、有機發光二極體顯示器或任意合適的顯示器，用以顯示任意合適的資訊，例如所量測到的阻力、或肌肉張力判斷結果等等。

圖2A與圖2B是根據一實施例繪示肌肉張力感測系統設置在人肢體上的示意圖。在圖2A的實施例中，肌肉張力感測系統100包括了兩個裝置210、220，在這兩個裝置210、220之中都設置了慣性感測器120，而肌電感測器130、壓力感測器140、計算電路110等可以設置在任何 一個裝置210、220上。當醫護人員引導患者彎曲手臂時，上述的感測器便會在這段時間內取得對應於此肢體運動的感測訊號。

在圖2B的實施例中，肌肉張力感測系統100只有一個裝置，包括了圖1的所有元件，也就是說只有一組慣性感測器120。本發明並不限制肌肉張力感測系統100包括了幾個裝置，也不限制每個裝置內的元件為何，也不限制每種感測器的數目。此外，在圖2A與圖2B的實施例中肌肉張力感測系統100是設置在手臂上，但在其他實施例中也可以設置在腳或身上任意合適的部位。

在此實施例中，感測器所取得的數值會被輸入至卷積神經網路，然而一般來說卷積神經網路是應用於處理二維的影像，因此必須先把上述一維的感測訊號轉換為二維影像。以下將說明如何將感測訊號轉換為二維影像。

圖3是根據一實施例繪示轉換感測訊號的示意圖。請參照圖1與圖3，計算電路110會透過慣性感測器120、肌電感測器130、壓力感測器140取得多筆感測訊號。假設在一段時間內共有100個取樣點，則n個感測器至少可以取得100*n個感測數值，其中n為正整數。在圖3中共有4組感測訊號301~304，其中感測訊號301是X軸加速度訊號，感測訊號302是Y軸加速度訊號，感測訊號303是Z軸加速度訊號，感測訊號304是肌電訊號，在此相同形狀的符號表示相同類別的訊號，例如所有的三角形都為X軸加速度訊號，以此類推。值得注意的是，每一組感測訊號301~304 都有100個取樣點，因此總共有4*100個感測數值。在一些實施例中，可先對這些感測數值執行一前處理，例如去雜訊、正規化等等，其中去雜訊可使用卡爾曼濾波器，但本發明並不在此限。接下來，先將這400個感測數值依序排列，然後再把這些加速度訊號與肌電訊號的數值排列在同一張二維影像320中，此二維影像320的大小為20*20。在一些實施例中，可以先將感測訊號301從二維影像320的第一列開始排列，之後再排列其餘感測訊號302~304。然而，在其他實施例中也可以先將感測訊號301從二維影像320的第一行開始排列，本發明並不在此限。

圖4是根據一實施例將二維影像輸入至卷積神經網路的示意圖。請參照圖4，接下來，此二維影像320輸入至卷積神經網路410當中(可以是訓練階段或是測試階段)。卷積神經網路410可包括卷積層(convolutional layer)、池化層(pooling layer)、轉換函數與全連接層，其中轉換函數是設置在卷積層中的一個類神經元中，例如為線性整流單元(Rectified linear unit，ReLU)，但在其他實施例中也可採用其他的轉換函數。本領域具有通常知識者當可理解卷積神經網路，在此不再贅述，本發明並不限制卷積神經網路410的深度與池化層的數目。值得注意的是，一個濾波器可涵蓋範圍420，其中包括了多種不同種類的感測訊號。卷積神經網路410的末端是全連接層430，最後輸出一個1*6的向量，此1*6的向量可先經過softmax函數做正規化，而正規化後的數值用以表示肌肉張力判斷結果，例如 是上述表1的級分。在訓練階段時，卷積神經網路的輸出是事先由醫護人員判斷而收集來的向量，如果肌肉張力判斷結果為級分1，則向量為[1,0,0,0,0,0]。另一方面，如果在測試階段輸出的向量為[0.513,0.667,0.602,0.521,0.379,0.187]，其中最大的數值為0.667，表示級分為2。在此實施例中卷積神經網路410的輸出為1*6的向量，但在其他實施例中也可以為長度更長或更短的向量，本發明也不限制向量中每個數值所代表的意義。

在上述實施例中是將加速度訊號與肌電訊號轉換為二維影像320，但在其他實施例中還可加入角速度訊號、方向訊號，或者是加入另一組慣性感測器所取得的感測訊號。換言之，圖1中各個感測器所取得的感測訊號可以做任意的組合以形成二維影像320，本發明並不在此限。

在上述實施例中是將所有的感測訊號設置在同一張二維影像中，但在其他實施例中，也可以根據一或多組感測訊號來形成一個對稱矩陣，藉此將一維的感測訊號轉換為二維影像。舉例來說，以加速度訊號為例，可根據以下方程式(1)來形成二維影像。

I_i,j=diff(a _1,i ,a _2,j )...(1)

其中I_i,j表示二維影像中第i行第j列的灰階值。a _1,i 表示其中一組加速度訊號在時間點i的數值，a _2,j 表示另一組加速度訊號在時間點j的數值。例如，a _1,i 可以是X軸加速度訊號，a _2,j 可以是Y軸加速度訊號。diff( )表示用以計算兩 個數值之間的差異函數，例如為以下方程式(2)。

diff(a _1,i ,a _2,j )=c ₁×|a _1,i -a _2,j |+c ₂×|(a _1,i+1-a _1,i-1)-(a _2,j+1-a _2,j-1)|...(2)

其中c₁、c₂為參數，可經過實驗取得。值得注意的是，方程式(2)中的|a _1,i -a _2,j |是用以表示兩個加速度之間的差，而|(a _1,i+1-a _1,i-1)-(a _2,j+1-a _2,j-1)|是用以表示加速度訊號的斜率之間的差，這更可以表示訊號之間的差異性。舉例來說，a _1,i 可能相同於a _2,j ，但a _1,i 正在上升而a _2,j 正在下降，在此情況下根據方程式(2)計算出的diff(a _1,i ,a _2,j )並不會為0。值得注意的是，上述方程式(2)可以套用在任意兩個加速度訊號之間，因此X、Y、Z軸加速度訊號共可以產生3張二維影像。此外，肌電訊號可以根據以下方程式(3)來產生二維影像。

I_i,j=diff(e _i ,e _j )...(3)

其中e_i、e_j分別表示肌電訊號在時間點i、j的數值。因此在圖3的實施例中共可以產生4張二維影像。或者，換個角度說，所產生的4張二維影像是屬於相同的二維影像但屬於不同的通道(channel)，類似於彩色影像具有紅色、綠色、藍色等三個通道。接下來，可以將此二維影像輸入至卷積神經網路410當中，如此一來，卷積層中的濾波器可以同時處理三組加速度訊號與一組肌電訊號。在一些實施例中，加速度訊號、角速度訊號、方向訊號或其任意的組合都可以套用至上述的方程式(1)或方程式(2)，藉此產生更多張二維影像，本發明並不在此限。一般來說，卷積神經網路可 以自動地決定影像中的特徵，不需要經過專家來決定特徵向量，而在此實施例中是將一維的加速度訊號、角速度訊號、肌電訊號等轉換為二維影像，因此可以套用至卷積神經網路，因而有自動決定特徵的好處。

圖5是根據一實施例繪示肌肉張力感測方法的流程圖。在步驟501中，透過感測器在一段時間內取得對應於一肢體運動的感測訊號。在步驟502中，將感測訊號轉換為二維影像。在步驟503中，將二維影像輸入至卷積神經網路以輸出肌肉張力判斷結果。然而，圖5中各步驟已詳細說明如上，在此便不再贅述。值得注意的是，圖5中各步驟可以實作為多個程式碼或是電路，本發明並不在此限。此外，圖7的方法可以搭配以上實施例使用，也可以單獨使用。換言之，圖4的各步驟之間也可以加入其他的步驟。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

501~503‧‧‧步驟

Claims (4)

1. 一種肌肉張力感測方法，包括：透過至少一感測器在一段時間內取得對應於一肢體運動的至少一感測訊號；將該至少一感測訊號轉換為二維影像；以及將該二維影像輸入至一卷積神經網路以輸出一肌肉張力判斷結果，其中該至少一感測器包括慣性感測器與肌電感測器，該至少一感測訊號包括多個加速度訊號與一肌電訊號，其中將該至少一感測訊號轉換為該二維影像的步驟包括：將該些加速度訊號與該肌電訊號的數值排列在同一張二維影像中。
2. 如申請專利範圍第1項所述之肌肉張力感測方法，其中該至少一感測器還包括壓力感測器。
3. 一種肌肉張力感測系統，包括：至少一感測器，用以在一段時間內取得對應於一肢體運動的至少一感測訊號；以及一計算電路，耦接至該至少一感測器，用以將該至少一感測訊號轉換為二維影像，並將該二維影像輸入至一卷積神經網路以輸出一肌肉張力判斷結果，其中該至少一感測器包括慣性感測器與肌電感測 器，該至少一感測訊號包括多個加速度訊號與一肌電訊號，其中該計算電路還用以將該些加速度訊號與該肌電訊號的數值排列在該二維影像中。
4. 如申請專利範圍第3項所述之肌肉張力感測系統，其中該至少一感測器還包括壓力感測器。

Images