TW202317234A - 多模感知協同訓練系統及多模感知協同訓練方法 - Google Patents

Abstract

一種多模感知協同訓練系統，包括體態感測器、感測模組、運算模組和顯示模組。體態感測器感測與使用者的訓練動作相關的體態數據和肌電數據。感測模組根據體態數據輸出肢體扭力數據，並根據肌電數據輸出肌群啟動時間數據。運算模組根據骨架座標系統分別將肢體扭力數據和肌群啟動時間數據轉換為力矩-骨架座標系統和肌力特徵值-骨架座標系統，對力矩-骨架座標系統和肌力特徵值-骨架座標系統進行融合演算，根據融合演算的結果對訓練動作計算評估數據，根據評估數據判定訓練動作對應已知運動動作之一。顯示模組顯示評估數據和已知運動動作。

Description

多模感知協同訓練系統及多模感知協同訓練方法

本揭露是有關於一種訓練系統，且特別是有關於一種多模感知協同訓練系統及多模感知協同訓練方法。

目前規律運動的人口愈來愈多，大大小小的健身房幾乎隨處可見。在健身房當中有多種的健身設備，許多使用者到健身房之後，僅僅按照健身器材上的簡單說明便開始使用健身器材，但並沒有經過教練的指導，由於健身器材使用不當導致運動傷害的案例層出不窮。

又或者即便有經過教練的指導，但沒有教練在旁時進行自主訓練時，也可能因為姿勢不正確、使用到的肌群與訓練動作不匹配，或者是訓練動作的肌群出力順序不正確而造成運動傷害。

另外，在運動員進行運動訓練時，教練或旁人僅能由運動員的動作姿態來初步判斷是否存在運動傷害的風險，然而，並沒有辦法量化運動成效成為一個指標，以提供教練與運動員討論改善方式。

本揭露所提供的多模感知協同訓練系統，包括體態感測器、感測模組、運算模組以及顯示模組。體態感測器包括慣性感測器以及肌電感測器，慣性感測器用以感測與使用者的訓練動作相關的多個體態數據，肌電感測器用以感測與使用者的訓練動作相關的多個肌電數據。感測模組用以根據體態數據輸出肢體扭力數據，並根據肌電數據輸出肌群啟動時間數據。運算模組用以根據骨架座標分別將肢體扭力數據和肌群啟動時間數據轉換為力矩-骨架座標和肌力特徵值-骨架座標，對力矩-骨架座標和肌力特徵值-骨架座標進行融合演算，根據融合演算的結果對訓練動作計算評估數據，根據評估數據判定訓練動作對應多個已知運動動作之一者。顯示模組用以顯示評估數據以及已知運動動作。

本揭露所提供的多模感知協同訓練方法，包括：透過體態感測器的慣性感測器感測與使用者的訓練動作相關的多個體態數據，並且透過體態感測器的肌電感測器感測與使用者的訓練動作相關的多個肌電數據；根據體態數據輸出多個肢體扭力數據，並根據肌電數據輸出多個肌群啟動時間數據；根據骨架座標系統將些肢體扭力數據轉換為力矩-骨架座標系統；根據骨架座標系統將肌群啟動時間數據轉換為肌力特徵值-骨架座標系統；對力矩-骨架座標系統和肌力特徵值-骨架座標系統進行融合演算；根據融合演算的結果對訓練動作計算評估數據；根據評估數據判定訓練動作對應多個已知運動動作之一者；以及顯示評估數據以及已知運動動作。

本揭露的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本揭露的一部份，並未揭示所有本揭露的可實施方式。

圖1是依照本揭露的一實施例所繪示的多模感知協同訓練系統1的架構圖。請參考圖1，多模感知協同訓練系統1包括體態感測器10、感測模組20、運算模組30以及顯示模組40。多模感知協同訓練系統1係透過體態感測器10感測與使用者的訓練動作相關的數據，並將感測到的數據進行處理之後，判斷使用者正在進行的訓練動作屬於多模感知協同訓練系統1中已經內建的運動動作中的哪一種，並即時顯示使用者在進行訓練動作時可供使用者參考的數據。多模感知協同訓練系統1的回饋可幫助使用者判斷自己訓練時的姿勢是否正確、主要使用到的肌群是否與訓練動作匹配、訓練動作的肌群出力順序是否正確等。

體態感測器10包括慣性感測器110、肌電感測器120a以及肌電感測器120b。慣性感測器110用以感測與使用者的訓練動作相關的多個體態數據。慣性感測器110可視使用者的訓練動作，設置於使用者的身體或者四肢上。例如，當使用者在跑步時，慣性感測器110可設置於使用者的腰部、腿外側、鞋子上等等位置。而與跑步動作相關的體態數據有步頻、步幅、垂直振幅、身體傾斜角度、雙腳觸地時間、雙腳的移動軌跡等，而這些體態數據均是與跑步時的經濟性相關，並且能夠有效檢視使用者在跑步時的姿勢。實作上，慣性感測器110例如是加速度感測器（G-Sensor）、角速度感測器、陀螺儀（gyro sensor）、步頻感測器等動態感測器，但不限於此。

肌電感測器120a以及肌電感測器120b用以感測與使用者的訓練動作相關的多個肌電數據。肌電感測器120a以及肌電感測器120b可視使用者的訓練動作，貼附或穿戴於使用者的核心肌群或相關肌群的上方，例如左右大腿、左右小腿、左右手臂、兩側後背肌或兩側胸肌等等，以採集肌肉的肌電數據。實作上來說，採集肌電數據的感測器可採用接觸式或非接觸式的肌電感測器，在此不多贅述。

請再參考圖1。感測模組20耦接體態感測器10，用以根據體態數據輸出多個肢體扭力數據，並根據肌電數據輸出多個肌群啟動時間數據。詳細來說，感測模組20根據慣性感測器110所感測到的多個體態數據進行空間座標轉換後，輸出多個肢體扭力數據。另外，感測模組20根據肌電感測器120a以及肌電感測器120b所感測到的多個肌電數據進行動態肌電圖（Electromyography，EMG）處理後，輸出多個肌群啟動時間數據。

運算模組30耦接感測模組20，用以根據骨架座標系統分別將肢體扭力數據和肌群啟動時間數據轉換為力矩-骨架座標和肌力特徵值-骨架座標，對力矩-骨架座標和肌力特徵值-骨架座標進行融合演算，根據融合演算的結果對訓練動作計算評估數據，根據評估數據判定訓練動作對應多個已知運動動作之一者。詳細說明將於後面闡述。實務上來說，運算模組30可以是中央處理器（Central Processing Unit，CPU）、數位訊號處理器（Digital Signal Processing，DSP)、多個微處理器（microprocessor）、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用集成電路（Application Specific Integrated Circuit，ASIC）、場可程式閘陣列電路（Field Programmable Gate Array，FPGA）、任何其他種類的積體電路、狀態機、根據進階精簡指令集機器（Advanced RISC Machine，ARM）的處理器以及類似品，但可不限於此。

顯示模組40耦接運算模組30，用以顯示評估數據以及已知運動動作。於一實施例中，顯示模組40可以文字、圖示、圖表展現評估數據以及已知運動動作。於另一實施例中，顯示模組40可進一步以聲音、影像搭配文字、圖示、圖表展現評估數據以及已知運動動作。實務上來說，顯示模組40可以是顯示器、平板電腦或個人電腦等具有顯示功能的電子裝置，也可以是在跑步機上的顯示裝置，但可不限於此。

圖2是依照本揭露的一實施例所繪示的多模感知協同訓練系統1中運算模組30進行融合演算的示意圖。請同時參考圖1、2，骨架座標系統31輸入至運算模組30中，多個肢體扭力數據以及多個肌群啟動時間數據同步並陸續地輸入至運算模組30。運算模組30根據骨架座標系統31對多個肢體扭力數據進行座標系統轉換301，將多個肢體扭力數據轉換為力-骨架座標系統；之後，運算模組30進行轉換302，將力-骨架座標系統轉換為力矩-骨架座標系統。同時間，運算模組30根據骨架座標系統31對多個肌群啟動時間數據進行座標系統轉換301，將多個肌群啟動時間數據轉換為肌力啟動時間-骨架座標系統；之後，運算模組30進行轉換303，將肌力啟動時間-骨架座標系統轉換為肌力特徵值-骨架座標系統。

接著，運算模組30持續將力矩-骨架座標系統與肌力特徵值-骨架座標系統進行融合演算304，根據融合演算304的結果對使用者的訓練動作計算評估數據，並且將評估數據輸出至顯示模組40。

詳細來說，評估數據是經由運算模組30將多個肢體扭力數據以及多個肌群啟動時間數據進行轉換並融合演算之後，用以量化使用者的運動成效的一種數據。於一實施例中，運算模組30是採用K平均集群（K-Mean Clustering，KMC）對力矩-骨架座標系統和肌力特徵值-骨架座標系統進行融合演算304。

如圖1所示，運算模組30根據評估數據判定使用者的訓練動作對應多個已知運動動作之一者，並且將判定出的已知運動動作輸出至顯示模組40。顯示模組40顯示評估數據以及判定出的已知運動動作，以提供使用者觀察自己執行訓練動作時的姿勢是否正確、主要使用到的肌群是否與訓練動作匹配、訓練動作的肌群出力順序是否正確等。

於一實施例中，使用者可透過本揭露所述的多模感知協同訓練系統1與社群資料進行連結，將評估數據以及已知運動動作上傳至社群網站或訓練網站上。或者使用者可於社群網站或訓練網站上與進行相同已知運動動作的其他使用者針對彼此的評估數據進行互動。或者，使用者可基於自己上傳至社群網站或訓練網站上的評估數據，與遠端的運動教練進行線上討論。

於一實施例中，倘若使用者正在執行的訓練動作與運算模組判定的已知運動動作相同，代表使用者的體態數據和肌電數據符合此已知運動動作應該有的展現，則使用者可以確認自己正在執行的訓練動作姿勢正確、主要使用到的肌群與訓練動作匹配，並且訓練動作的肌群出力順序正確等。

於另一實施例中，倘若使用者正在執行的訓練動作與運算模組判定的已知運動動作不相同，可能代表使用者的體態數據和肌電數據並不完全符合此已知運動動作應該有的展現，則使用者可以進一步確認或調整自己正在執行的訓練動作姿勢、主要使用到的肌群，或者是進一步確認或調整訓練動作的肌群出力順序正確等。或者，使用者也可以進一步確認慣性感測器110、肌電感測器120a以及肌電感測器120b是否設置在正確的位置。

圖3是依照本揭露的一實施例所繪示的多模感知協同訓練系統1的方塊圖。請參考圖3，當使用者執行的訓練動作不需要使用訓練器材時，體態感測器10包括身體慣性感測器110a、肌電感測器120a以及肌電感測器120b。身體慣性感測器110a同前述設置於使用者的身體或者四肢上的慣性感測器110，肌電感測器120a以及肌電感測器120b同前述貼附或穿戴於使用者的核心肌群或相關肌群的上方的肌電感測器，此處不再贅述。

於一實施例中，當使用者執行的訓練動作不需要使用訓練器材時，身體慣性感測器110a會輸出多個體態數據至感測模組20，感測模組20根據身體慣性感測器110a所感測到的多個體態數據進行空間座標轉換21後，輸出多個肢體扭力數據。另外，感測模組20根據肌電感測器120a以及肌電感測器120b所感測到的多個肌電數據進行動態EMG處理22後，輸出多個肌群啟動時間數據。

由於體態感測器10中僅包括身體慣性感測器110a，因此輸入至運算模組30中骨架座標系統為人體骨架座標系統31a。多個肢體扭力數據以及多個肌群啟動時間數據同步並陸續地輸入至運算模組30，運算模組30根據人體骨架座標系統31a將多個肢體扭力數據及多個肌群啟動時間數據進行轉換及融合演算，計算評估數據，並且將評估數據輸出至顯示模組40。

於一實施例中，當僅身體慣性感測器110a設置於使用者的身體時，人體骨架座標系統31a是對應於使用者的骨架，包括人體的骨骼、肌肉等。使用者的骨架可透過攝影裝置32獲取。

圖4是依照本揭露的另一實施例所繪示的多模感知協同訓練系統1的方塊圖。請參考圖4，當使用者執行的訓練動作需要使用訓練器材時，體態感測器10包括身體慣性感測器110a、器材慣性感測器110b、肌電感測器120a以及肌電感測器120b。器材慣性感測器110b可視使用者的訓練動作，設置於使用者執行訓練動作時所使用的訓練器材上，例如球棒、球棍等，用以感測與使用者的訓練動作相關的多個體態數據。而身體慣性感測器110a同前述設置於使用者的身體或者四肢上的慣性感測器110，肌電感測器120a以及肌電感測器120b同前述貼附或穿戴於使用者的核心肌群或相關肌群的上方的肌電感測器，此處不再贅述。

於一實施例中，當使用者執行的訓練動作需要使用訓練器材時，身體慣性感測器110a以及器材慣性感測器110b均會輸出體態數據至感測模組20，感測模組20根據身體慣性感測器110a以及器材慣性感測器110b所感測到的多個體態數據進行空間座標轉換21後，輸出多個肢體扭力數據。另外，感測模組20根據肌電感測器120a以及肌電感測器120b所感測到的多個肌電數據進行動態EMG處理22後，輸出多個肌群啟動時間數據。

由於體態感測器10中同時包括身體慣性感測器110a和器材慣性感測器110b，因此輸入至運算模組30中骨架座標系統為人體/器材骨架座標系統31b。多個肢體扭力數據以及多個肌群啟動時間數據同步並陸續地輸入至運算模組30，運算模組30根據人體/器材骨架座標系統31b將多個肢體扭力數據及多個肌群啟動時間數據進行轉換及融合演算，計算評估數據，並且將評估數據輸出至顯示模組40。

於一實施例中，當身體慣性感測器110 a設置於使用者的身體，且同時器材慣性感測器110b設置於訓練器材時，人體/器材骨架座標系統31b不但對應於使用者的身體骨架，包括人體的骨骼、肌肉等，也對應於訓練器材的器材骨架。使用者的身體骨架以及訓練器材的器材骨架均可透過攝影裝置32獲取。

圖5是依照本揭露的一實施例所繪示的多模感知協同訓練系統1更新訓練數據及錯誤數據的方塊圖。請同時參考圖1、5，體態感測器10包括設置於使用者身上的至少兩個感測器，其中設置於使用者身上的感測器可為慣性感測器、肌電感測器當中之一者或及其組合。如圖5所示，體態感測器10包括感測器151、感測器152、感測器153以及感測器154，其中感測器151、感測器152、感測器153以及感測器154分別可為慣性感測器或者肌電感測器，換言之，感測器151、感測器152、感測器153以及感測器154可均為慣性感測器或者均為肌電感測器，感測器151、感測器152、感測器153以及感測器154也可部分感測器為慣性感測器，其餘感測器為肌電感測器。

請繼續參考圖5。體態感測器10會輸出多個感測數據至感測模組20，其中感測數據與體態感測器10所包含的感測器屬於慣性感測器或者是肌電感測器所輸出的數據相對應。感測模組20根據感測數據輸出多個肢體扭力數據及/或多個肌群啟動時間數據。運算模組30將多個肢體扭力數據及多個肌群啟動時間數據進行轉換及融合演算。

於一實施例中，多模感知協同訓練系統1更包括運動模擬模型模組50、訓練數據資料庫60以及運動模型資料庫70。運動模擬模型模組50耦接運算模組30。訓練數據資料庫60耦接運算模組30以及運動模擬模型模組50，包括對應多種已知運動模型的訓練數據以及錯誤數據，其中錯誤數據用以判斷使用者的訓練動作是否為錯誤動作或者危險動作。運動模型資料庫70耦接運動模擬模型模組50，包括多個已知運動模型。多個已知運動模型是基於四個以上的慣性感測器或者肌電感測器所預先建立的運動模型。實作上，運動模擬模型模組50可以是微處理器(micro-processor)或嵌入式控制器(embedded controller)，訓練數據資料庫60以及運動模型資料庫70可以是記憶體或硬碟等儲存媒體，本揭露並不加以限制。

運算模組30基於使用者使用的體態感測器的數量確定使用者的運動情境，例如跑步、有氧運動、無使用器材的核心肌群訓練等。運算模組30確定使用者的運動情境之後，基於運動情境與運動模擬模型模組50進行運動模型配對，運動模擬模型模組50基於運動情境自運動模型資料庫70中選定已知運動模型當中之一者，目的在找到與使用者正在執行的訓練動作對應的運動模型。

運動模擬模型模組50自運動模型資料庫70中選定與使用者正在執行的訓練動作對應的已知運動模型後，運動模擬模型模組50根據已選定的已知運動模型自訓練數據資料庫60中讀取對應已選定的已知運動模型的訓練數據，並回傳至運算模組30。運算模組30比較評估數據與對應已選定的已知運動模型的訓練數據，以計算出使用者的訓練動作與已選定的已知運動模型的相似度。

當相似度大於或等於相似閾值（例如0.5）時，運算模組30判定使用者的訓練動作符合已選定的已知運動模型，並將評估數據儲存到訓練數據資料庫60以更新對應已選定的已知運動模型的訓練數據，建立AI模型。同時，運算模組30會將評估數據以及已選定的已知運動模型所對應的已知運動動作輸出至顯示模組40，顯示模組40會進一步顯示評估數據以及已知運動動作。

反之，當相似度小於相似閾值（例如0.5）時，運算模組30判定使用者的訓練動作未符合運動模型資料庫70中所包含的所有已知運動模型。此時，運算模組30將評估數據儲存到訓練數據資料庫60以更新錯誤數據。同時，運算模組30會將評估數據以及錯誤運動動作訊息輸出至顯示模組40，顯示模組40會進一步顯示評估數據以及錯誤運動動作訊息。其中，錯誤運動動作訊息用以提醒使用者進一步確認或調整自己正在執行的訓練動作姿勢、主要使用到的肌群，或者是進一步確認或調整訓練動作的肌群出力順序正確等。或者，使用者也可以進一步確認體態感測器10是否設置在正確的位置。

圖6是依照本揭露的一實施例所繪示的多模感知協同訓練系統中運用慣性感測器110（例如加速度感測器）判斷偏移度的示意圖；圖7是依照本揭露的一實施例所繪示的多模感知協同訓練系統中運用慣性感測器110判斷偏移度的方塊圖。請先參考圖6，當慣性感測器110固定於感測載具16上，並且感測載具16是採用綁帶或穿戴的方式設置於使用者的身體、四肢或衣物上時，在運動過程中，慣性感測器110可能會因為使用者的身體晃動或四肢擺動造成偏移。一旦慣性感測器110與使用者的身體或四肢之間產生相對偏移量d時，將會影響到體態數據的準確性。

請同時參考圖6、7。慣性感測器110具有偏移感測單元111。當固定慣性感測器110的感測載具16服貼於使用者的身體或者四肢時，慣性感測器110所量測到的感測數據為加速度A1，偏移感測單元111將加速度A1設定為標準參考值。當固定慣性感測器110的感測載具16的一側與使用者的身體或者四肢之間產生相對偏移量d時，慣性感測器110所量測到的感測數據為加速度A2。一旦加速度A2與加速度A1具有誤差e時，偏移感測單元111感測相應於加速度A2的偏移數據，並輸出至感測模組20。

感測模組20根據體態數據及偏移數據輸出肢體扭力數據至運算模組30，運算模組30比較評估數據與對應已選定的已知運動模型的訓練數據，判斷固定慣性感測器110的感測載具16與使用者的身體之間的相對偏移量d是否超過偏移閾值。當相對偏移量d並未大於偏移閾值時，代表感測載具16的偏移程度尚不至於影響體態數據的準確性，則多模感知協同訓練系統1會持續運作。反之，當相對偏移量d大於偏移閾值時，代表感測載具16的偏移程度已影響體態數據的準確性，運算模組30會輸出異常信號至顯示模組40，顯示模組40顯示感測器設置異常訊息。

當使用者在使用運動器材時，還可於運動器材上設置力學感測器，用以感測使用者在執行訓練動作時的出力狀態，偵測使用者身體左右兩側的出力狀況是否平衡。一旦使用者身體左右兩側的出力狀況不平衡時，本揭露所述的多模感知協同訓練系統可進一步發出警示，以提醒使用者留意身體左右兩側出力處於不平衡的狀況。

圖8A是依照本揭露的一實施例所繪示的多模感知協同訓練系統中運用體態感測器和力學感測器80計算左右平衡度的示意圖。如圖8A所示，使用者在使用圖8A中的訓練器材時，需同時用雙腳推蹬健身器材上的平板。多模感知協同訓練系統更包括力學感測器80，力學感測器80設置於訓練器材上並耦接於感測模組，用以感測與使用者的訓練動作相對應的多個力學數據（例如壓力感測訊號）。當使用者同時用雙腳推蹬健身器材上的平板時，力學感測器80感測與使用者的訓練動作相對應的多個力學數據（例如壓力感測訊號），其中這些力學數據可以是對應於使用者的雙腳同時施加在平板上的總壓力感測訊號，或者是分別對應於使用者左腳的壓力感測訊號和使用者右腳的壓力感測訊號，取決於力學感測器80的設置方式或者是數量。

請繼續參考圖8A。當使用者在使用運動器材時，肌電感測器120a以及肌電感測器120b分別設置於使用者身體的左半邊及右半邊，並且器材慣性感測器110b設置於運動器材上。肌電感測器120a以及肌電感測器120b用以感測與使用者的訓練動作相對應的多個左半邊肌電數據（例如左大腿肌肉訊號）及多個右半邊肌電數據（例如右大腿肌肉訊號），而器材慣性感測器110b用以感測與使用者的訓練動作相關的多個體態數據（例如加速度訊號）。

圖8B是依照本揭露的一實施例所繪示的多模感知協同訓練系統中運用體態感測器和力學感測器80計算左右平衡度的另一示意圖。如圖8B所示，使用者在跑步時，由於跑步的動作是雙腳以交替的方式踏在地面上，即一次只有單隻腳著地，因此雙腿出力的平衡度會影響到跑步的成效，甚至影響跑步時的安全性，因此，需分別針對使用者的雙腿偵測左右平衡度。

肌電感測器120a以及肌電感測器120c分別設置於使用者身體的左大腿及左小腿，肌電感測器120b以及肌電感測器120d分別設置於使用者身體的右大腿及右小腿，並且於使用者的腰部後側上設置身體慣性感測器110a。肌電感測器120a以及肌電感測器120c用以感測與使用者的訓練動作相對應的多個左半邊肌電數據（例如左大小腿肌肉訊號），肌電感測器120b以及肌電感測器120d用以感測與使用者的訓練動作相對應的多個右半邊肌電數據（例如右大小腿肌肉訊號），而身體慣性感測器110a用以感測與使用者的訓練動作相關的多個體態數據（例如步幅、步頻、垂直振幅、身體傾斜角度、雙腳觸地時間、雙腳的移動軌跡等姿態振幅變化）。

如圖8B所示，使用者在使用圖8B中的訓練器材（即跑步機）時，使用者的雙腳是以交替的方式踏在跑步機的履帶上。力學感測器80設置於跑步機的履帶上並耦接於感測模組，用以感測與使用者的訓練動作相對應的多個力學數據（例如壓力感測訊號）。由於使用者在跑步時並不會同時將雙腳踏在跑步機的履帶上，因此，力學感測器80可感測與使用者的訓練動作相對應的多個力學數據（例如踏頻壓力感測訊號），特別是這些力學數據是分別對應於使用者左腳的踏頻壓力感測訊號和使用者右腳的踏頻壓力感測訊號。

圖9是依照本揭露的一實施例所繪示的多模感知協同訓練系統中運用體態感測器和力學感測器80計算左右平衡度的方塊圖。感測模組20根據多個力學數據輸出多個壓力數據，並根據多個體態數據輸出多個肢體扭力數據。同時，感測模組20分別根據多個左半邊肌電數據及多個右半邊肌電數據輸出多個左半邊肌群啟動時間數據及多個右半邊肌群啟動時間數據。運算模組30根據多個壓力數據、多個肢體扭力數據及多個左半邊肌群啟動時間數據計算左半邊出力數值，同時根據多個壓力數據、多個肢體扭力數據及多個右半邊肌群啟動時間數據計算右半邊出力數值。而後，運算模組30對左半邊出力數據及右半邊出力數據進行另一融合演算361，根據另一融合演算361的結果計算對應使用者的訓練動作的左右平衡度。

當該左右平衡度小於或等於平衡度閾值時，運算模組30判定使用者身體的左半邊及右半邊出力平衡，並持續根據另一融合演算的結果計算對應使用者的訓練動作的左右平衡度。反之，當左右平衡度大於平衡度閾值時，運算模組30判定使用者身體的左半邊及右半邊出力不平衡，顯示模組40顯示評估數據以及不平衡訊息，以提醒使用者留意身體左右兩側出力處於不平衡的狀況。

如圖1所示，於一實施例中，多模感知協同訓練系統1更包括生理資訊感測器90，耦接感測模組20，用以感測使用者的多個生理數據，例如使用者在進行訓練動作時的體溫、心率、呼吸、皮膚含水率、汗液等資訊數據，並將該些生理數據傳送至運算模組30。運算模組30可基於該些生理數據監控使用者在進行訓練動作時的生理狀況，判斷是否發出警示訊號提醒使用者停止訓練動作。實作上，生理資訊感測器90可以是接觸式或非接觸式擷取上述生理數值的感測器，本揭露並不加以限制。

圖10是依照本揭露的一實施例所繪示的多模感知協同訓練系統中運用身體慣性感測器110a和肌電感測器120a進行動作辨識的示意圖。請參考圖10，於一實施例中，使用者可運用多模感知協同訓練系統進行動作辨識。將身體慣性感測器110a配置在手套上，並且將肌電感測器120a配置在手腕帶上。

當使用者欲執行擲飛鏢動作時，可將配置了身體慣性感測器110a的手套套在使用者擲飛鏢的手上，並且將配置了肌電感測器120a的手腕帶固定於使用者射飛鏢的手腕上。身體慣性感測器110a用以感測使用者擲飛鏢時與手部的動作相關的多個體態數據。肌電感測器120a用以感測使用者擲飛鏢時相關的多個肌電數據。

另外，攝影裝置32用以獲取使用者擲飛鏢時的姿勢體態影像。當使用者擲飛鏢時，使用者擲飛鏢的手會先舉起、往後伸，而後再往前擲出飛鏢，因此使用者擲飛鏢時的姿勢體態影像包含使用者手部的移動軌跡。另外，當使用者擲飛鏢時，使用者的身體也有可能會運用身體轉動的力量來將飛鏢擲出去，因此使用者擲飛鏢時的姿勢體態影像也包含使用者身體的轉動軌跡。

接下來，請同時參考圖3、10，身體慣性感測器110a會輸出體態數據至感測模組20，感測模組20根據身體慣性感測器110a所感測到的多個體態數據進行空間座標轉換21後，輸出多個肢體扭力數據。另外，感測模組20根據肌電感測器120a所感測到的多個肌電數據進行動態EMG處理22後，輸出多個肌群啟動時間數據。

體態感測器10中同時包括身體慣性感測器110a和肌電感測器120a，因此輸入至運算模組30中骨架座標系統為人體骨架座標系統31a。多個肢體扭力數據以及多個肌群啟動時間數據同步並陸續地輸入至運算模組30，運算模組30根據人體骨架座標系統31a將多個肢體扭力數據及多個肌群啟動時間數據進行轉換及融合演算，計算評估數據，並且將評估數據輸出至顯示模組40。

此外，於一實施例中，運算模組30可將使用者擲飛鏢時的姿勢體態影像輸出至顯示模組40（例如行動裝置），使用者可透過顯示模組40觀看姿勢體態影像，甚至可以透過放慢姿勢體態影像來觀看手部的移動軌跡以及身體的轉動軌跡。運算模組30還可結合人工智慧AI動作分析模組，針對使用者擲飛鏢時的姿勢體態影像執行動作分析，結合評估數據以量化運動成效，提供使用者在手部動作以及身體轉動的調整建議。

圖11是依照本揭露的一實施例所繪示的多模感知協同訓練方法2的流程圖。如圖11所示，多模感知協同訓練方法2包括步驟S310～步驟S380。

於步驟S310中，透過多個體態感測器的至少一慣性感測器感測與使用者的訓練動作相關的多個體態數據，並且透過該些體態感測器的至少一肌電感測器感測與使用者的訓練動作相關的多個肌電數據。於步驟S320中，根據該些體態數據輸出多個肢體扭力數據，並根據該些肌電數據輸出多個肌群啟動時間數據。

於步驟S330中，根據骨架座標系統將該些肢體扭力數據轉換為力矩-骨架座標系統。於步驟S340中，根據骨架座標系統將該些肌群啟動時間數據轉換為肌力特徵值-骨架座標系統。本揭露並不限定步驟S330與步驟S340的執行順序，步驟S330與步驟S340亦可同時進行。於步驟S350中，對力矩-骨架座標系統和肌力特徵值-骨架座標系統進行融合演算。其中，融合演算是採用K平均集群（K-Mean Clustering，KMC）對該力矩-骨架座標系統和該肌力特徵值-骨架座標系統進行的。於步驟S360中，根據融合演算的結果對訓練動作計算評估數據。

於步驟S370中，根據評估數據判定訓練動作對應多個已知運動動作之一者。於步驟S380中，顯示評估數據以及已知運動動作。

圖12是依照本揭露的一實施例所繪示的多模感知協同訓練方法中計算出評估數據的流程圖。如圖12所示，於步驟S321中，根據骨架座標系統對多個肢體扭力數據和多個肌群啟動時間數據進行座標系統轉換。於步驟S330中，根據骨架座標系統將該些肢體扭力數據轉換為力-骨架座標系統，接著於步驟S331中，根據骨架座標系統將力-骨架座標系統轉換為力矩-骨架座標系統。另外，於步驟S340中，根據骨架座標系統將該些肌群啟動時間數據轉換為肌力啟動時間-骨架座標系統，接著於步驟S341中，根據骨架座標系統將肌力啟動時間-骨架座標系統轉換為肌力特徵值-骨架座標系統。需特別說明的是，步驟S330～步驟S331與步驟S340～步驟S341是分開的兩流程，可同時進行或者分開進行。

一旦根據骨架座標系統轉換出肌力啟動時間-骨架座標系統和肌力特徵值-骨架座標系統之後，於步驟S350，對力矩-骨架座標系統和肌力特徵值-骨架座標系統進行融合演算。接著，於步驟S360中，根據融合演算的結果對訓練動作計算評估數據。

於一實施例中，當慣性感測器設置於使用者的身體時，骨架座標系統是對應於使用者的骨架，使用者的該骨架可透過攝影裝置獲取。於一實施例中，當慣性感測器設置於訓練器材上時，骨架座標系統更進一步對應於訓練器材的骨架，訓練器材的骨架可透過攝影裝置獲取。

於一實施例中，多模感知協同訓練方法更包括基於使用者使用的體態感測器的數量確定使用者的運動情境，並且基於運動情境選定多個已知運動模型當中之一者。

於一實施例中，多模感知協同訓練方法更包括比較評估數據與對應已選定的已知運動模型的訓練數據，以計算出使用者的訓練動作與已選定的已知運動模型的相似度。當相似度大於或等於相似閾值時，判定使用者的訓練動作符合已選定的已知運動模型，以評估數據更新對應已選定的已知運動模型的訓練數據，並且顯示評估數據以及已知運動動作。反之，當相似度小於相似閾值時，判定使用者的訓練動作未符合所有已知運動模型的每一者，以評估數據更新為錯誤數據，並且顯示評估數據以及錯誤運動動作訊息。

於一實施例中，慣性感測器具有偏移感測單元，並且慣性感測器設置於使用者的身體，而多模感知協同訓練方法更包括當慣性感測器與使用者的身體之間產生相對偏移量時，感測多個偏移數據，根據多個體態數據及多個偏移數據輸出多個肢體扭力數據。比較評估數據與對應已選定的已知運動模型的訓練數據，判斷慣性感測器與使用者的身體之間的相對偏移量是否超過偏移閾值。其中當相對偏移量大於偏移閾值時，顯示感測器設置異常訊息。

於一實施例中，多模感知協同訓練方法更包括透過分別設置於訓練器材上的力學感測器感測與使用者的該訓練動作相對應的多個力學數據，透過設置於訓練器材上的至少一慣性感測器感測與使用者的訓練動作相對應的多個體態數據，並且透過分別設置於使用者身體的左半邊及右半邊的至少二肌電感測器感測與使用者的訓練動作相對應的多個左半邊肌電數據及多個右半邊肌電數據。根據多個力學數據輸出多個壓力數據，並根據多個體態數據輸出多個肢體扭力數據，分別根據多個左半邊肌電數據及多個右半邊肌電數據輸出多個左半邊肌群啟動時間數據及多個右半邊肌群啟動時間數據。根據多個壓力數據、多個肢體扭力數據及多個左半邊肌群啟動時間數據計算左半邊出力數值，並且根據多個壓力數據、多個肢體扭力數據及多個右半邊肌群啟動時間數據計算右半邊出力數值。對左半邊出力數據及右半邊出力數據進行另一融合演算，並且根據另一融合演算的結果計算對應使用者的訓練動作的左右平衡度。

於一實施例中，當左右平衡度小於或等於平衡度閾值時，判定使用者身體的左半邊及右半邊出力平衡，並持續根據另一融合演算的結果計算對應使用者的訓練動作的該左右平衡度。反之，當左右平衡度大於平衡度閾值時，判定使用者身體的左半邊及右半邊出力不平衡，顯示評估數據以及不平衡訊息。

於一實施例中，多模感知協同訓練方法更包括感測使用者的多個生理數據，例如使用者在進行訓練動作時的體溫、心率、呼吸、皮膚含水率、汗液等資訊數據，基於該些生理數據監控使用者在進行訓練動作時的生理狀況，判斷是否發出警示訊號提醒使用者停止訓練動作。

綜上所述，本揭露所提供的多模感知協同訓練系統及多模感知協同訓練方法可提供健身房的使用者在沒有教練指導的情況下，能夠知道使用健身器材的姿勢是否正確、使用到的肌群與訓練動作是否匹配，或者是訓練動作的肌群出力順序是否正確，避免運動傷害，也能夠量化運動成效成為一個指標，以提供教練與運動員討論改善方式。

1:多模感知協同訓練系統 10:體態感測器 110:慣性感測器 110a:身體慣性感測器 110b:器材慣性感測器 111:偏移感測單元 120a、120b、120c、120d:肌電感測器 151、152、153、154:感測器 16:感測載具 2:多模感知協同訓練方法 20:感測模組 21:空間座標轉換 22:動態EMG處理 30:運算模組 301:座標系統轉換 302、303:轉換 304:融合演算 31:骨架座標系統 31a:人體骨架座標系統 31b:人體/器材骨架座標系統 32:攝影裝置 361:另一融合演算 40:顯示模組 50:運動模擬模型模組 60:訓練數據資料庫 70:運動模型資料庫 80:力學感測器 90:生理資訊感測器 A1、A2:加速度 d:相對偏移量 e:誤差 S310～S380、S321、S330～S331、S340～S341:步驟

圖1是依照本揭露的一實施例所繪示的多模感知協同訓練系統的架構圖。 圖2是依照本揭露的一實施例所繪示的多模感知協同訓練系統中運算模組進行融合演算的示意圖。 圖3是依照本揭露的一實施例所繪示的多模感知協同訓練系統的方塊圖。 圖4是依照本揭露的另一實施例所繪示的多模感知協同訓練系統的方塊圖。 圖5是依照本揭露的一實施例所繪示的多模感知協同訓練系統更新訓練數據及錯誤數據的方塊圖。 圖6是依照本揭露的一實施例所繪示的多模感知協同訓練系統中運用慣性感測器判斷偏移度的示意圖。 圖7是依照本揭露的一實施例所繪示的多模感知協同訓練系統中運用慣性感測器判斷偏移度的方塊圖。 圖8A是依照本揭露的一實施例所繪示的多模感知協同訓練系統中運用體態感測器和力學感測器計算左右平衡度的示意圖。 圖8B是依照本揭露的一實施例所繪示的多模感知協同訓練系統中運用體態感測器和力學感測器計算左右平衡度的另一示意圖。 圖9是依照本揭露的一實施例所繪示的多模感知協同訓練系統中運用體態感測器和力學感測器計算左右平衡度的方塊圖。 圖10是依照本揭露的一實施例所繪示的多模感知協同訓練系統中運用身體慣性感測器和肌電感測器進行動作辨識的示意圖。 圖11是依照本揭露的一實施例所繪示的多模感知協同訓練方法的流程圖。 圖12是依照本揭露的一實施例所繪示的多模感知協同訓練方法中計算出評估數據的流程圖。

1:多模感知協同訓練系統

10:體態感測器

110:慣性感測器

120a、120b:肌電感測器

20:感測模組

30:運算模組

40:顯示模組

50:運動模擬模型模組

60:訓練數據資料庫

70:運動模型資料庫

80:力學感測器

90:生理資訊感測器

Claims (20)

1. 一種多模感知協同訓練系統，包括： 多個體態感測器，包括： 至少一慣性感測器，用以感測與使用者的訓練動作相關的多個體態數據；以及 至少一肌電感測器，用以感測與該使用者的該訓練動作相關的多個肌電數據； 感測模組，耦接該些體態感測器，用以根據該些體態數據輸出多個肢體扭力數據，並根據該些肌電數據輸出多個肌群啟動時間數據； 運算模組，耦接該感測模組，用以執行以下步驟： 根據骨架座標系統將該些肢體扭力數據轉換為力矩-骨架座標系統； 根據該骨架座標系統將該些肌群啟動時間數據轉換為肌力特徵值-骨架座標系統； 對該力矩-骨架座標系統和該肌力特徵值-骨架座標系統進行融合演算； 根據該融合演算的結果對該訓練動作計算評估數據；以及 根據該評估數據判定該訓練動作對應多個已知運動動作之一者；以及 顯示模組，耦接該運算模組，用以顯示該評估數據以及該已知運動動作。
2. 如請求項1所述的多模感知協同訓練系統，其中該運算模組更用以執行以下步驟： 根據該骨架座標系統將該些肢體扭力數據轉換為力-骨架座標系統，再將該力-骨架座標系統轉換為該力矩-骨架座標系統；以及 根據該骨架座標系統將該些肌群啟動時間數據轉換為肌力啟動時間-骨架座標系統，再將該肌力啟動時間-骨架座標系統轉換為該肌力特徵值-骨架座標系統。
3. 如請求項1所述的多模感知協同訓練系統，其中當該至少一慣性感測器設置於該使用者的身體時，該骨架座標系統是對應於該使用者的身體骨架，該使用者的該身體骨架可透過攝影裝置獲取。
4. 如請求項3所述的多模感知協同訓練系統，其中當該至少一慣性感測器設置於訓練器材上時，該骨架座標系統更進一步對應於該訓練器材的器材骨架，該訓練器材的該器材骨架可透過該攝影裝置獲取。
5. 如請求項1所述的多模感知協同訓練系統，更包括： 運動模型資料庫，包括多個已知運動模型；以及 運動模擬模型模組，耦接該運動模型資料庫以及該運算模組； 其中該運算模組基於該使用者使用的該些體態感測器的數量確定該使用者的運動情境； 其中該運算模組基於該運動情境與該運動模擬模型模組進行配對，該運動模擬模型模組基於該運動情境自運動模型資料庫中選定該些已知運動模型當中之一者。
6. 如請求項5所述的多模感知協同訓練系統，更包括： 訓練數據資料庫，耦接該運算模組，該訓練數據資料庫包括對應該些已知運動模型中每一者的訓練數據以及錯誤數據； 其中該運算模組比較該評估數據與對應已選定的該已知運動模型的該訓練數據，以計算出該使用者的該訓練動作與已選定的該已知運動模型的相似度。
7. 如請求項6所述的多模感知協同訓練系統，其中 當該相似度大於或等於一相似閾值時，該運算模組判定該使用者的該訓練動作符合已選定的該已知運動模型，並將該評估數據儲存到該訓練數據資料庫以更新對應已選定的該已知運動模型的該訓練數據，該顯示模組顯示該評估數據以及該已知運動動作； 當該相似度小於一相似閾值時，該運算模組判定該使用者的該訓練動作未符合該些已知運動模型，並將該評估數據儲存到該訓練數據資料庫以更新該錯誤數據，該顯示模組顯示該評估數據以及錯誤運動動作訊息。
8. 如請求項5所述的多模感知協同訓練系統，其中該至少一慣性感測器具有偏移感測單元，並且該至少一慣性感測器設置於該使用者的身體，用以當該至少一慣性感測器與該使用者的該身體之間產生相對偏移量時，感測多個偏移數據，該感測模組根據該些體態數據及該些偏移數據輸出該些肢體扭力數據； 其中該運算模組比較該評估數據與對應該已選定的該已知運動模型的該訓練數據，判斷該至少一慣性感測器與該使用者的該身體之間的該相對偏移量是否超過一偏移閾值； 其中當該相對偏移量大於該偏移閾值時，該顯示模組顯示感測器設置異常訊息。
9. 如請求項1所述的多模感知協同訓練系統，更包括： 力學感測器，耦接該感測模組，設置於訓練器材上，用以感測與該使用者的該訓練動作相對應的多個力學數據； 其中該至少一慣性感測器設置於訓練器材上，用以感測與該使用者的該訓練動作相對應的該些體態數據； 其中該至少一肌電感測器分別設置於該使用者的身體的左半邊及右半邊，用以感測與該使用者的該訓練動作相對應的多個左半邊肌電數據及多個右半邊肌電數據； 其中該感測模組根據該些力學數據輸出多個壓力數據，並根據該些體態數據輸出該些肢體扭力數據； 其中該感測模組分別根據該些左半邊肌電數據及該些右半邊肌電數據輸出多個左半邊肌群啟動時間數據及多個右半邊肌群啟動時間數據； 其中該運算模組更用以執行以下步驟： 根據該些壓力數據、該些肢體扭力數據及該些左半邊肌群啟動時間數據計算左半邊出力數值； 根據該些壓力數據、該些肢體扭力數據及該些右半邊肌群啟動時間數據計算右半邊出力數值； 對該左半邊出力數據及該右半邊出力數據進行另一融合演算；以及 根據該另一融合演算的結果計算對應該使用者的該訓練動作的左右平衡度。
10. 如請求項9所述的多模感知協同訓練系統，其中 當該左右平衡度小於或等於一平衡度閾值時，該運算模組判定該使用者身體的該左半邊及該右半邊出力平衡，並持續根據該另一融合演算的結果計算對應該使用者的該訓練動作的該左右平衡度；以及 當該左右平衡度大於該平衡度閾值時，該運算模組判定該使用者身體的該左半邊及該右半邊出力不平衡，該顯示模組顯示該評估數據以及不平衡訊息。
11. 一種多模感知協同訓練方法，包括： 透過多個體態感測器的至少一慣性感測器感測與使用者的訓練動作相關的多個體態數據，並且透過該些體態感測器的至少一肌電感測器感測與該使用者的該訓練動作相關的多個肌電數據； 根據該些體態數據輸出多個肢體扭力數據，並根據該些肌電數據輸出多個肌群啟動時間數據； 根據骨架座標系統將該些肢體扭力數據轉換為力矩-骨架座標系統； 根據該骨架座標系統將該些肌群啟動時間數據轉換為肌力特徵值-骨架座標系統； 對該力矩-骨架座標系統和該肌力特徵值-骨架座標系統進行融合演算； 根據該融合演算的結果對該訓練動作計算評估數據； 根據該評估數據判定該訓練動作對應多個已知運動動作之一者；以及 顯示該評估數據以及該已知運動動作。
12. 如請求項11所述的多模感知協同訓練方法，更包括： 根據該骨架座標系統將該些肢體扭力數據轉換為力-骨架座標系統，再將該力-骨架座標系統轉換為該力矩-骨架座標系統；以及 根據該骨架座標系統將該些肌群啟動時間數據轉換為肌力啟動時間-骨架座標系統，再將該肌力啟動時間-骨架座標系統轉換為該肌力特徵值-骨架座標系統。
13. 如請求項11所述的多模感知協同訓練方法，其中當該至少一慣性感測器設置於該使用者的身體時，該骨架座標系統是對應於該使用者的身體骨架，該使用者的該身體骨架可透過攝影裝置獲取。
14. 如請求項13所述的多模感知協同訓練方法，其中當該至少一慣性感測器設置於訓練器材上時，該骨架座標系統更進一步對應於該訓練器材的器材骨架，該訓練器材的該器材骨架可透過該攝影裝置獲取。
15. 如請求項11所述的多模感知協同訓練方法，更包括： 基於該使用者使用的該些體態感測器的數量確定該使用者的運動情境； 基於該運動情境選定多個已知運動模型當中之一者。
16. 如請求項15所述的多模感知協同訓練方法，更包括： 比較該評估數據與對應已選定的該已知運動模型的訓練數據，以計算出該使用者的該訓練動作與已選定的該已知運動模型的相似度。
17. 如請求項16所述的多模感知協同訓練方法，其中 當該相似度大於或等於一相似閾值時，判定該使用者的該訓練動作符合已選定的該已知運動模型，以該評估數據更新對應已選定的該已知運動模型的該訓練數據，顯示該評估數據以及該已知運動動作； 當該相似度小於一相似閾值時，判定該使用者的該訓練動作未符合該些已知運動模型，以該評估數據更新為錯誤數據，顯示該評估數據以及錯誤運動動作訊息。
18. 如請求項15所述的多模感知協同訓練方法，其中該至少一慣性感測器具有偏移感測單元，並且該至少一慣性感測器設置於該使用者的身體，所述多模感知協同訓練方法更包括： 當該至少一慣性感測器與該使用者的該身體之間產生相對偏移量時，感測多個偏移數據，根據該些體態數據及該些偏移數據輸出該些肢體扭力數據；以及 比較該評估數據與對應該已選定的該已知運動模型的該訓練數據，判斷該至少一慣性感測器與該使用者的該身體之間的該相對偏移量是否超過一偏移閾值； 其中當該相對偏移量大於該偏移閾值時，顯示感測器設置異常訊息。
19. 如請求項11所述的多模感知協同訓練方法，更包括： 透過分別設置於訓練器材上的力學感測器感測與該使用者的該訓練動作相對應的多個力學數據； 透過設置於該訓練器材上的該至少一慣性感測器感測與該使用者的該訓練動作相對應的該些體態數據； 透過分別設置於該使用者的身體的左半邊及右半邊的該至少一肌電感測器感測與該使用者的該訓練動作相對應的多個左半邊肌電數據及多個右半邊肌電數據； 根據該些力學數據輸出多個壓力數據，並根據該些體態數據輸出該些肢體扭力數據； 分別根據該些左半邊肌電數據及該些右半邊肌電數據輸出多個左半邊肌群啟動時間數據及多個右半邊肌群啟動時間數據； 根據該些壓力數據、該些肢體扭力數據及該些左半邊肌群啟動時間數據計算左半邊出力數值； 根據該些壓力數據、該些肢體扭力數據及該些右半邊肌群啟動時間數據計算右半邊出力數值； 對該左半邊出力數據及該右半邊出力數據進行另一融合演算；以及 根據該另一融合演算的結果計算對應該使用者的該訓練動作的左右平衡度。
20. 如請求項19所述的多模感知協同訓練方法，其中 當該左右平衡度小於或等於一平衡度閾值時，判定該使用者身體的該左半邊及該右半邊出力平衡，並持續根據該另一融合演算的結果計算對應該使用者的該訓練動作的該左右平衡度；以及 當該左右平衡度大於該平衡度閾值時，判定該使用者身體的該左半邊及該右半邊出力不平衡，顯示該評估數據以及不平衡訊息。

Images