TWI797014B - 桌球姿勢分類方法及桌球互動系統 - Google Patents

Abstract

一種桌球姿勢分類方法，包含原始感測波形蒐集步驟、遞迴搜尋步驟、區域波形決定步驟、訓練步驟及分類器產生步驟。遞迴搜尋步驟包含依據原始感測波形遞迴搜尋並決定複數區域波峰。區域波形決定步驟包含依據所述複數區域波峰分割原始感測波形並決定複數區域波形，區域波峰的數量與區域波形的數量相等，且各區域波形對應一桌球姿勢。訓練步驟包含依據區域波形以一神經網路進行訓練。分類器產生步驟包含於神經網路訓練後產生桌球姿勢分類器。藉此，有助於提升分類準確度。

Description

桌球姿勢分類方法及桌球互動系統

本發明是有關於一種桌球姿勢分類方法及桌球互動系統，且特別是有關於應用神經網路的桌球姿勢分類方法及桌球互動系統。

在目前流行的球類運動中，桌球的尺寸較小，其質量僅約為2.7克，與其他球類運動相比，桌球比賽更加細膩，技術也更加多樣化。此外，人體動作識別(HAR)技術一直是眾多學者和業者關注的研究課題之一，複合傳感的方法通常比使用單一傳感器技術獲得的結果更加準確及穩定，然而使用複合傳感模式的成本可能會比單個傳感器的成本更高且不易架設。因此，當開發桌球揮拍動作的識別或分類技術時，容易遇到成本過高、架設不易、連帶準確度不高的問題。

根據上述，如何開發一種桌球姿勢分類方法及其諸如互動等應用系統，其可有效降低成本、簡化架設及提升準確度，係為市場上關注的議題。

本發明提供一種桌球姿勢分類方法及桌球互動系統，透過桌球姿勢分類方法中的遞迴搜尋步驟、區域波形決定步驟可有效截取出合適的特徵波形，進一步用於神經網路訓練後產生準確的桌球姿勢分類器。

依據本發明一實施方式提供一種桌球姿勢分類方法，包含原始感測波形蒐集步驟、遞迴搜尋步驟、區域波形決定步驟、訓練步驟及分類器產生步驟。原始感測波形蒐集步驟包含致使一桌球拍執行複數桌球動作，所述複數桌球動作對應預設的複數桌球姿勢，桌球拍包含運動感測單元，蒐集運動感測單元所感測之至少一原始感測波形，且原始感測波形為時域波形的原始感測資料組。遞迴搜尋步驟包含依據原始感測波形遞迴搜尋並決定複數區域波峰。區域波形決定步驟包含依據所述複數區域波峰分割原始感測波形並決定複數區域波形，區域波峰的數量與區域波形的數量相等，且各區域波形對應一桌球姿勢。訓練步驟包含依據區域波形以一神經網路進行訓練。分類器產生步驟包含於神經網路訓練後產生桌球姿勢分類器。

在前述桌球姿勢分類方法的實施例中，神經網路可為雙向長短期記憶(Long Short-Term Memory，LSTM)架構。

在前述桌球姿勢分類方法的實施例中，神經網路可不使用嵌入層(Embedding Layer)。

在前述桌球姿勢分類方法的實施例中，運動感測單元可包含三軸加速度計、三軸陀螺儀及三軸磁力計中至少二者，且所述至少一原始感測波形的數量為至少二個。桌球姿勢分類方法可更包含絕對值相加步驟、去除多項式趨勢步驟、低通濾波步驟及正規化步驟。絕對值相加步驟包含將所述複數原始感測波形中對應複數時間點中各者的複數原始感測數值分別的複數絕對值相加，以產生絕對值相加波形，絕對值相加波形為時域波形。去除多項式趨勢步驟包含將絕對值相加波形進行去除多項式趨勢處理，以產生直流信號抑制波形。低通濾波步驟包含將直流信號抑制波形進行低通濾波處理，以產生低通濾波波形。正規化步驟包含將低通濾波波形進行正規化處理，以產生正規化波形。遞迴搜尋步驟可更包含依據正規化波形遞迴搜尋並決定正規化波形中區域波峰。區域波形決定步驟可更包含依據區域波峰將正規化波形分割為區域波形。

在前述桌球姿勢分類方法的實施例中，可更包含原始感測波形分割步驟，其包含依據所述複數區域波形對應之複數時間區段分割各原始感測波形為複數特徵波形。訓練步驟可更包含將特徵波形以神經網路進行訓練。

在前述桌球姿勢分類方法的實施例中，在原始感測波形蒐集步驟中，桌球動作的數量可為預設的。遞迴搜尋步驟可更包含由正規化波形中波形最大值依據由大至小的複數定值線依序搜尋複數交點，當交點的數量等於桌球動作的數量的二倍時，停止搜尋並決定區域波峰，且區域波峰的數量等於桌球動作的數量。

在前述桌球姿勢分類方法的實施例中，區域波形決定步驟可更包含搜尋各區域波峰於二時間方向上分別最鄰近的二波谷，各區域波形係依據對應的所述二波谷而決定。

依據本發明另一實施方式提供一種桌球互動系統，包含控制單元、運動感測單元及互動提供單元。控制單元包含處理器及儲存媒體，處理器通信耦接儲存媒體，儲存媒體包含前述的桌球姿勢分類方法產生的桌球姿勢分類器及桌球互動程序。運動感測單元通信耦接控制單元並用以與使用者的手部連接且隨其運動，運動感測單元用以傳送所感測之至少一運動感測波形至控制單元。互動提供單元通信耦接控制單元，處理器基於桌球互動程序用以致使互動提供單元提供影像、聲音及震動中至少一種的互動形式給使用者。

在前述桌球互動系統的實施例中，可更包含桌球拍，其供運動感測單元設置並供使用者握持。

在前述桌球互動系統的實施例中，互動提供單元可為虛擬實境(VR)顯示器或擴增(AR)實境顯示器。

以下將參照圖式說明本發明之複數個實施例。為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本發明。也就是說，在本發明部分實施例中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之；並且重複之元件將可能使用相同的編號表示之。

此外，本文中之元件/成分/機構/模組之組合非此領域中之一般周知、常規或習知之組合，不能以元件/成分/機構/模組本身是否為習知，來判定其組合關係是否容易被技術領域中之通常知識者輕易完成。

第1A圖繪示本發明第一實施例的桌球姿勢分類方法100的流程圖，第2A圖繪示本發明第二實施例的桌球互動系統200的方塊圖，第2B圖繪示第二實施例的桌球互動系統200的示意圖。請參照第1A圖、第2A圖及第2B圖，並以本發明第二實施例的桌球互動系統200輔助說明第一實施例的桌球姿勢分類方法100，桌球姿勢分類方法100包含原始感測波形蒐集步驟110、遞迴搜尋步驟140、區域波形決定步驟150、訓練步驟170及分類器產生步驟180。

原始感測波形蒐集步驟110包含致使一桌球拍240執行複數桌球動作，所述複數桌球動作對應預設的複數桌球姿勢，桌球拍240包含運動感測單元244。原始感測波形蒐集步驟110包含蒐集運動感測單元244所感測之至少一原始感測波形，且原始感測波形為時域波形的原始感測資料組。具體而言，桌球姿勢可為正手擊球、正手拉球、正手切球、反手擊球、反手拉球及反手切球，但不以此為限。

第1B圖繪示第一實施例的桌球姿勢分類方法100的絕對值相加波形w1的示意圖，第1C圖繪示第一實施例的桌球姿勢分類方法100的直流信號抑制波形w2的示意圖，第1D圖繪示第一實施例的桌球姿勢分類方法100的正規化波形w4的示意圖，第1E圖繪示第一實施例的桌球姿勢分類方法100的區域波峰p4的示意圖，第1F圖繪示第一實施例的桌球姿勢分類方法100的區域波形w5的示意圖。請參照第1A圖至第1F圖，遞迴搜尋步驟140包含依據原始感測波形遞迴搜尋並決定複數區域波峰p4(如第1E圖所示)。區域波形決定步驟150包含依據所述複數區域波峰p4分割原始感測波形並決定複數區域波形w5(如第1F圖所示)，區域波峰p4的數量與區域波形w5的數量相等，且各區域波形w5對應一桌球姿勢。

第1G圖繪示第一實施例的桌球姿勢分類方法100的特徵波形AX、AY、AZ、GX、GY、GZ、RZ的示意圖，第1H圖繪示第一實施例的桌球姿勢分類方法100的神經網路370的架構示意圖。請參照第1A圖、第1F圖至第1H圖及第2A圖，訓練步驟170包含依據區域波形w5以一神經網路370進行訓練，分類器產生步驟180包含於神經網路370訓練後產生桌球姿勢分類器233。藉此，有助於提升分類準確度，且有利於桌球姿勢分類方法100應用於桌球練習或虛擬遊戲等產品。

對桌球姿勢分類方法100詳細而言，請參照第1A圖，在原始感測波形蒐集步驟110中，桌球動作的數量可為預設的。

請參照第1A圖、第2A圖及第2B圖，運動感測單元244可包含三軸加速度計、三軸陀螺儀及三軸磁力計中至少二個三軸感測器，且所述至少一原始感測波形的數量為至少二個。桌球姿勢分類方法100可更包含絕對值相加步驟121、去除多項式趨勢步驟122、低通濾波步驟123及正規化步驟124。

請參照第1A圖及第1B圖，絕對值相加步驟121基於考慮負數的原始感測數值，包含將所述複數原始感測波形中對應複數時間點中各者的複數原始感測數值分別的複數絕對值相加，以產生絕對值相加波形w1(如第1B圖所示)，絕對值相加波形w1為時域波形。舉例而言，一時間點的絕對值相加波形w1可如第1B圖所示並可依據以下式1計算而得，式1中的AX、AY、AZ為三軸加速度計所感測的原始感測波形於一時間點的數值，式1中的GX、GY、GZ為三軸陀螺儀所感測的原始感測波形於同一時間點的數值，請參照式1如下： 數值=|AX|+|AY|+|AZ|+|GX|+|GY|+|GZ|   (式1)。

請參照第1A圖至第1C圖，基於三軸加速度計可能受到地心引力影響及三軸陀螺儀於不同溫度下產生飄移誤差，去除多項式趨勢步驟122包含將絕對值相加波形w1以去趨勢線c2進行去除多項式趨勢(Remove Polynomial Trend)處理，以產生直流信號抑制波形w2(如第1C圖所示)。當直流信號抑制波形w2由時域波形轉換為頻域波形時，0 Hz的信號會受到抑制或降低。低通濾波步驟123包含將直流信號抑制波形w2進行低通濾波處理，以產生低通濾波波形，例如考量揮拍速度，濾除高頻的部分以留下5 Hz至8 Hz的時域的低通濾波波形。

請參照第1A圖及第1D圖，正規化步驟124包含將低通濾波波形進行正規化處理，以產生正規化波形w4(如第1D圖所示)。

請參照第1A圖及第1E圖，遞迴搜尋步驟140可更包含依據原始感測波形導出的正規化波形w4遞迴搜尋，並決定正規化波形w4中區域波峰p4(如第1E圖所示)。具體而言，遞迴搜尋步驟140可更包含由正規化波形w4中波形最大值依據由大至小的複數定值線c41依序搜尋複數交點(例如第1E圖中交點a1、a2)，當交點的數量等於桌球動作的數量的二倍時，建立二值化曲線c42，停止搜尋並決定區域波峰p4，且區域波峰p4的數量等於桌球動作的數量。藉此，有助依據桌球揮拍動作的感測特性於訓練步驟170前執行適當的數據前處理。

請參照第1A圖及第1F圖，區域波形決定步驟150可更包含依據區域波峰p4將原始感測波形導出的正規化波形w4分割為區域波形w5(如第1F圖所示)。藉此，各區域波形w5對應一桌球動作有助於分類訓練。具體而言，區域波形決定步驟150可更包含搜尋各區域波峰p4於二時間方向上分別最鄰近的二波谷b1、b2，各區域波形w5係依據對應的所述二波谷b1、b2而決定，且二波谷b1、b2分別決定二分割線c5，所述二分割線c5之間為時間區段，例如第1F圖中由複數分割線c5共分割出十個區域波形w5，其分別對應十個桌球動作。藉此，有利於有效地將各桌球動作對應的區域波形w5分割出來。

請參照第1A圖、第1F圖及第1G圖，桌球姿勢分類方法100可更包含原始感測波形分割步驟160，其包含依據所述複數區域波形w5對應之複數時間區段分割各原始感測波形為複數特徵波形，例如將一原始感測波形分割為複數特徵波形AX，第1G圖所示包含單一個特徵波形AX。具體而言，特徵波形AX、AY、AZ為三軸加速度計的區域(即單一)原始感測波形，特徵波形GX、GY、GZ為三軸陀螺儀的區域原始感測波形，特徵波形RZ為三軸磁力計之一軸的區域原始感測波形且為參考感測波形，且任一時間區段對應之特徵波形AX、AY、AZ、GX、GY、GZ、RZ為運動感測單元244對單一桌球動作所感測之原始感測波形，例如第1G圖所示可為屬於正手擊球桌球姿勢的桌球動作。

請參照第1A圖、第1G圖及第1H圖，訓練步驟170可更包含將特徵波形AX、AY、AZ、GX、GY、GZ、RZ以神經網路370進行訓練。藉此，有助於提升分類準確度。

再者，神經網路370可為雙向長短期記憶(Long Short-Term Memory，LSTM)架構。藉此，雙向長短期記憶架構是將單向循環神經網路的中間隱藏層分成前隱藏層(Forward)與後隱藏層(Backward)，並且使其傳遞方向互為相反。基於桌球姿勢分類方法100需前序與後序資料共同裁決以輸出結果，使用雙向長短期記憶架構將有利於提升分類準確度。

請參照第1H圖，神經網路370的架構具體上可包含輸入層(Input Layer)371、雙向長短期記憶層(Bi-LSTM Layer)372及全連接層(Dense Layer)373，且可不使用嵌入層(Embedding Layer)。藉此，透過一原始感測波形對應的桌球動作的數量為已知，可不使用嵌入層而降低桌球姿勢分類方法100的計算量。

請參照第2A圖及第2B圖，本發明第二實施例的桌球互動系統200包含控制單元210、運動感測單元244及互動提供單元250。控制單元210包含處理器220及儲存媒體230，處理器220通信耦接儲存媒體230，儲存媒體230包含第一實施例的桌球姿勢分類方法100產生的桌球姿勢分類器233，儲存媒體230更包含桌球互動程序231，且儲存媒體230具體上可為本地或雲端的非暫時性電腦可讀取儲存媒體。運動感測單元244通信耦接(例如透過無線網路無線地通信耦接，亦可有線地通信耦接)控制單元210並用以與使用者的手部連接且隨其運動，運動感測單元244用以傳送所感測之至少一運動感測波形至控制單元210。需一提的是，第二實施例的桌球互動系統200中運動感測單元244可與第一實施例的桌球姿勢分類方法100中用於產生桌球姿勢分類器233的運動感測單元244為相同實體或是不同實體。互動提供單元250通信耦接控制單元210，處理器220基於桌球互動程序231用以致使互動提供單元250提供影像、聲音及震動中至少一種的互動形式給使用者。藉此，桌球互動系統200具有降低成本及簡化架設的優點，且可為桌球練習系統或虛擬遊戲系統，而有利於接近實際的互動體驗。

詳細而言，請參照第2B圖，桌球互動系統200可更包含桌球拍240，其供運動感測單元244設置並供使用者握持。藉此，可同時兼顧分類準確性及使用便利性。

互動提供單元250可為虛擬實境(VR)顯示器或擴增(AR)實境顯示器。藉此，使用者可以透過桌球互動程序231內建的虛擬選手或是網路所連線的虛擬選手來達到互動遊戲或是練習的目的。

關於本發明第二實施例的桌球互動系統200的其他細節，可參照前述第一實施例的桌球姿勢分類方法100的內容，在此不再詳述。

雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明的精神和範圍內，當可作各種的更動與潤飾，因此本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:桌球姿勢分類方法 110:原始感測波形蒐集步驟 121:絕對值相加步驟 122:去除多項式趨勢步驟 123:低通濾波步驟 124:正規化步驟 140:遞迴搜尋步驟 150:區域波形決定步驟 160:原始感測波形分割步驟 170:訓練步驟 180:分類器產生步驟 200:桌球互動系統 210:控制單元 220:處理器 230:儲存媒體 231:桌球互動程序 233:桌球姿勢分類器 240:桌球拍 244:運動感測單元 250:互動提供單元 370:神經網路 371:輸入層 372:雙向長短期記憶層 373:全連接層 AX,AY,AZ,GX,GY,GZ,RZ:特徵波形 a1,a2:交點 b1,b2:波谷 c2:去趨勢線 c41:定值線 c42:二值化曲線 c5:分割線 p4:區域波峰 w1:絕對值相加波形 w2:直流信號抑制波形 w4:正規化波形 w5:區域波形

第1A圖繪示本發明第一實施例的桌球姿勢分類方法的流程圖； 第1B圖繪示第一實施例的桌球姿勢分類方法的絕對值相加波形的示意圖； 第1C圖繪示第一實施例的桌球姿勢分類方法的直流信號抑制波形的示意圖； 第1D圖繪示第一實施例的桌球姿勢分類方法的正規化波形的示意圖； 第1E圖繪示第一實施例的桌球姿勢分類方法的區域波峰的示意圖； 第1F圖繪示第一實施例的桌球姿勢分類方法的區域波形的示意圖； 第1G圖繪示第一實施例的桌球姿勢分類方法的特徵波形的示意圖； 第1H圖繪示第一實施例的桌球姿勢分類方法的神經網路的架構示意圖； 第2A圖繪示本發明第二實施例的桌球互動系統的方塊圖；以及 第2B圖繪示第二實施例的桌球互動系統的示意圖。

100:桌球姿勢分類方法

110:原始感測波形蒐集步驟

121:絕對值相加步驟

122:去除多項式趨勢步驟

123:低通濾波步驟

124:正規化步驟

140:遞迴搜尋步驟

150:區域波形決定步驟

160:原始感測波形分割步驟

170:訓練步驟

180:分類器產生步驟

Claims (10)

1. 一種桌球姿勢分類方法，包含：一原始感測波形蒐集步驟，包含致使一桌球拍執行複數桌球動作，該些桌球動作對應預設的複數桌球姿勢，該桌球拍包含一運動感測單元，蒐集該運動感測單元所感測之至少一原始感測波形，且該原始感測波形為一時域波形的一原始感測資料組；一遞迴搜尋步驟，包含藉由一處理器依據該原始感測波形遞迴搜尋並決定複數區域波峰；一區域波形決定步驟，包含藉由該處理器依據該些區域波峰分割該原始感測波形並決定複數區域波形，該些區域波峰的數量與該些區域波形的數量相等，且各該區域波形對應一該桌球姿勢；一訓練步驟，包含依據該些區域波形以一神經網路進行訓練；以及一分類器產生步驟，包含於該神經網路訓練後產生一桌球姿勢分類器。
2. 如請求項1所述之桌球姿勢分類方法，其中該神經網路為一雙向長短期記憶(Long Short-Term Memory，LSTM)架構。
3. 如請求項2所述之桌球姿勢分類方法，其中該神經網路不使用嵌入層(Embedding Layer)。
4. 如請求項1所述之桌球姿勢分類方法，其中該運動感測單元包含一三軸加速度計、一三軸陀螺儀及一三軸磁力計中至少二者，且該至少一原始感測波形的數量為至少二個；其中，該桌球姿勢分類方法更包含：一絕對值相加步驟，包含藉由該處理器將該些原始感測波形中對應複數時間點中各者的複數原始感測數值分別的複數絕對值相加，以產生一絕對值相加波形，該絕對值相加波形為一時域波形；一去除多項式趨勢步驟，包含藉由該處理器將該絕對值相加波形進行去除多項式趨勢處理，以產生一直流信號抑制波形；一低通濾波步驟，包含藉由該處理器將該直流信號抑制波形進行低通濾波處理，以產生一低通濾波波形；以及一正規化步驟，包含藉由該處理器將該低通濾波波形進行正規化處理，以產生一正規化波形；其中，該遞迴搜尋步驟更包含藉由該處理器依據該正規化波形遞迴搜尋並決定該正規化波形中該些區域波峰；其中，該區域波形決定步驟更包含藉由該處理器依據該些區域波峰將該正規化波形分割為該些區域波形。
5. 如請求項4所述之桌球姿勢分類方法，更包含：一原始感測波形分割步驟，包含藉由該處理器依據該些 區域波形對應之複數時間區段分割各該原始感測波形為複數特徵波形；其中，該訓練步驟更包含將該些特徵波形以該神經網路進行訓練。
6. 如請求項4所述之桌球姿勢分類方法，其中在該原始感測波形蒐集步驟中，該些桌球動作的數量為預設的；其中，該遞迴搜尋步驟更包含藉由該處理器由該正規化波形中一波形最大值依據由大至小的複數定值線依序搜尋複數交點，當該些交點的數量等於該些桌球動作的數量的二倍時，藉由該處理器停止搜尋並決定該些區域波峰，且該些區域波峰的數量等於該些桌球動作的數量。
7. 如請求項6所述之桌球姿勢分類方法，其中該區域波形決定步驟更包含藉由該處理器搜尋各該區域波峰於二時間方向上分別最鄰近的二波谷，各該區域波形係藉由該處理器依據對應的該二波谷而決定。
8. 一種桌球互動系統，包含：一控制單元，包含一處理器及一儲存媒體，該處理器通信耦接該儲存媒體，該儲存媒體包含如請求項1所述的桌球姿勢分類方法產生的該桌球姿勢分類器及一桌球互動程序； 一運動感測單元，通信耦接該控制單元並用以與一使用者的一手部連接且隨其運動，該運動感測單元用以傳送所感測之至少一運動感測波形至該控制單元；以及一互動提供單元，通信耦接該控制單元，該處理器基於該桌球互動程序及該桌球姿勢分類器用以致使該互動提供單元提供一影像、一聲音及一震動中至少一種的互動形式給該使用者。
9. 如請求項8所述之桌球互動系統，更包含：一桌球拍，供該運動感測單元設置並供該使用者握持。
10. 如請求項8所述之桌球互動系統，其中該互動提供單元為一虛擬實境(VR)顯示器或一擴增(AR)實境顯示器。

Images