TW201411507A - 動作比對方法與動作比對系統 - Google Patents

Abstract

一種動作比對方法與動作比對系統，特別是針對多模態動作串流作比對的功能。此方法包括：根據使用者之影像取得使用者的串流動作及多個節點；提供虛擬教練的串流動作及多個節點；根據一串流節點比對演算法計算使用者的節點的座標與虛擬教練的節點的座標之間的關係數值；根據身體部位、使用者所預先設定的運動種類、以及時間資訊，藉由權重向量取得多個權重；根據權重分別乘上關係數值後的結果產生一個比對結果值；以及將此比對結果值映射至一個相似度。藉此，提高使用者個別身體訓練部位之連續動作遵從性，有效地提升使用者揣摩姿勢正確性。

Description

動作比對方法與動作比對系統

本揭露係有關於一種一種藉由權重向量調整權重及根據串流節點比對演算法進行運算的多模態動作串流比對方法與系統。

市售的體感健身遊戲中，虛擬私人教練課程會因應使用者所輸入的健身訓練部位，編輯個人化的訓練課程。這些訓練課程會根據使用者的動作與虛擬私人教練課程的動作給予使用者一個分數。使用者可以根據此分數知道自己的動作是否正確。但所給予的分數僅針對使用者的特定定點動作，無法給予使用者流暢的使用經驗。此外，因訓練目標設定個人化的需求，使用者期望揣摩且依循虛擬私人教練運動時，可以針對手部、腳部、身體特定部位動作及重心轉移做加強及訓練。另一方面，使用者也可能有針對個人訓練下肢耐力(如，蹲站高低程度與運動時間長短等)的需求，藉以提升心率以達健身之效。

因此，如何提供一個符合使用者需要的連續串流動作比對方法，為此領域技術人員所關心的議題。

為解決上述問題，本揭露的範例實施例提出一種藉由 權重向量調整權重及根據串流節點比對演算法進行運算的多模態動作串流比對方法與系統。藉此以提高使用者個別身體訓練部位之連續動作遵從性，有效地提升使用者揣摩姿勢正確性。

本揭露一範例實施例提出一種動作比對系統，包括使用者動作擷取單元、虛擬教練動作資訊單元、第一演算單元、多維權重篩選器、第二演算單元與映射單元。使用者動作擷取單元是用以根據使用者的多個影像取得使用者的第一串流動作及以及第一串流動作的多個節點。其中第一串流動作的每一個節點包括多個座標，並且第一串流動作的每一個節點屬於一個身體部位。虛擬教練動作資訊單元是用以提供一虛擬教練的第二串流動作及第二串流動作的多個節點。其中第二串流動作的每一個節點包括多個座標，並且第二串流動作的每一個節點屬於上述身體部位的其中之一。第一演算單元是耦接至使用者動作擷取單元與虛擬教練動作資訊單元，用以根據一個串流節點比對演算法計算第一串流動作的節點的座標與第二串流動作的節點的座標之間的多個關係數值。多維權重篩選器是用以根據上述的身體部位、使用者所預先設定的多個運動種類、以及上述影像的時間資訊，藉由權重向量取得多個權重。第二演算單元是耦接至第一演算單元與多維權重篩選器，用以根據上述的權重分別乘上關係數值後的結果產生一個比對結果值。映射單元是耦接至第二演算單元，用以將比對結果值映射至一個相似度。

以另外一個角度來說，本揭露提出一種動作比對方法， 適用於一電子裝置。此動作比對方法包括：根據使用者的多個影像取得使用者的第一串流動作及以及第一串流動作的多個節點，其中第一串流動作的每一個節點包括多個座標，並且第一串流動作的每一個節點屬於一個身體部位；提供一虛擬教練的第二串流動作及第二串流動作的多個節點，其中第二串流動作的每一個節點包括多個座標，並且第二串流動作的每一個節點屬於上述身體部位的其中之一；根據一個串流節點比對演算法計算第一串流動作的節點的座標與第二串流動作的節點的座標之間的多個關係數值；根據身體部位、使用者所預先設定的運動種類、以及上述影像的時間資訊，藉由權重向量取得多個權重；根據上述的權重分別乘上關係數值後的結果產生一個比對結果值；以及，將比對結果值映射至一個相似度。

如上所述，本揭露範例實施例所提出的動作比對方法與動作比對系統，可以用讓使用者在做全身運動時，依照使用者的設定來鍛鍊特定的身體部位。根據比對使用者與虛擬教練的動作所產生的相似度，可讓使用者了解其連續動作之正確性，使運動效益更佳。

圖1是根據一範例實施例繪示虛擬教練引導使用者運動的示意圖。

請參照圖1，動作比對裝置100包括螢幕120與感測器130。感測器130是用以感測使用者140的動作。例如，感測器130包括一個攝影機或是紅外線感測器。當使用者140啟動 了動作比對裝置100以後，螢幕120上會顯示一個虛擬教練132。虛擬教練132會開始示範一或多個動作，藉此讓使用者140學習此動作。螢幕120上還會顯示一個動作資訊，包含了動作的相似度或其他相關資訊(如，動作種類、時間、評分等)，藉此，使用者140可以知道自己的動作是否正確。

圖2是根據一範例實施例繪示動作比對裝置的方塊圖。

請參照圖2，動作比對裝置還包括了一個動作比對系統200，其中包括了使用者動作擷取單元210、虛擬教練動作資訊單元220、第一演算單元230、多維權重篩選器240、第二演算單元250與映射單元260。在此範例實施例中，動作比對系統200中的各單元是被實作為一個電路。

感測器130會擷取使用者140的多個影像，並且把這些影像傳送給使用者動作擷取單元210。使用者動作擷取單元210會根據此影像取得使用者140的一個串流動作(亦稱第一串流動作)及此串流動作上的多個節點，而每個節點是屬於一個身體部位(例如，頭或手)。在一範例實施例中，這些影像包括亮度與景深的資訊，而每一個節點會包括代表三維空間的多個座標。換言之，使用者140的串流動作是在三維空間所做的連續性動作。

虛擬教練動作資訊單元220會提供一個虛擬教練的一個串流動作(亦稱第二串流動作)及此串流動作的多個節點。同樣的，虛擬教練的串流動作的每一個節點是屬於一個身體部分，並且每一個節點會包括多個座標。第一演算單元230會根據一個串流節點比對演算法來計算出使用者的節點的座標與 虛擬教練的節點的座標之間的多個關係數值。這些關係數值用以表示使用者140的動作是否相似於虛擬教練132的動作。

特別的是，多維權重篩選器240會根據這些節點所屬的身體部位、使用者所預先設定的運動種類、以及感測器130所感測的影像的時間資訊來取得多個權重。例如，若使用者想要加強鍛鍊身體下肢的肌肉，下肢的身體部分所對應的權重會較大(相對於上肢的身體部分所對應的權重)。例如，使用者預先設定的運動種類為著重下半身腳部的跳舞，則多維權重篩選器240會從一個資料庫中篩選出對應於跳舞所著重下半身腳部的權重。或者，使用者想要在運動開始的前五分鐘鍛鍊下肢的身體部分，則在前五分鐘內下肢的身體部分所對應的權重會相對的較大。

第二演算單元250會將這些權重分別乘上關係數值，並且根據相乘後的結果產生一個比對結果值。映射單元260是耦接至第二演算單元250，用以將此比對結果值映射至一個相似度。例如，若使用者140的動作越相似於虛擬教練132的動作，則相似度會越高。此相似度會被顯示到螢幕120上，讓使用者140得知自己的動作是否正確。特別的是，對於感測器130所擷取的每一張影像，動作比對系統200都會產生一個相似度並且將此相似度顯示在螢幕120上。藉此，使用者140可以隨時地得知自己的連續動作是否正確。

以下將舉一範例實施例詳細說明動作比對系統200中各單元的操作。

首先，使用者140會對動作比對裝置100輸入一或多個設 定。例如，使用者140會選擇一個運動種類、運動時間、運動強度、或是所要加強的身體部分。接下來，感測器130會持續地取得使用者的串流影像。此串流影像包括多個影像，並且每一個影像對應於不同的時間資訊。在一範例實施例中，時間資訊可表示為第幾秒。或者，時間資訊可用來表示為串流影像中的第幾張影像。

圖3是根據一範例實施例繪示多個身體部分的節點的示意圖。

請參照圖3，使用者動作擷取單元210會根據從感測器130取得的串流影像，取得使用者140的串流動作，並且計算出多個節點。在此範例實施例中，這些節點的數目為15，並且這些節點是分別屬於使用者身上的15個身體部位。這些節點分別為頭節點1201、頸節點1202、軀幹中心節點1203、右肩節點1204、右手軸節點1205、右手節點1206、右髖部節點1207、右膝節點1208、右腳節點1209、左肩節點1210、左手軸節點1211、左手節點1212、左髖部節點1213、左膝節點1214及左腳節點1215。節點1201~1215是位於人體的主要關節上，使用者動作擷取單元210可以從串流影像中判斷使用者的連續移動，並從此連續移動中計算出節點1201~1215。然而，在其他範例實施例中，使用者動作擷取單元210也可以計算出數目更多或更少的節點。或者，使用者動作擷取單元210也可以計算出其他身體部分的節點，本揭露並不在此限。在此範例實施例中，每一個節點包括了x方向上的座標、y方向上的座標以及z方向上的座標。在此，使用者的一個節點的三個座標表示 為(x_u(t),y_u(t),z_u(t))，其中t代表時間資訊。另一方面，在此用向量U來表示使用者在一段時間內所有節點的座標。

另一方面，虛擬教練動作資訊單元220會提供虛擬教練的串流動作，此串流動作的多個節點以及這些節點的座標。例如，動作比對裝置200中包括一個資料庫，其儲存了多種運動種類的串流影像。而每一個串流影像包括了不同時間的多個影像。每張影像包括15個節點，其是分別屬於上述15個身體部位。而虛擬教練的每個節點也包括了x方向上的座標、y方向上的座標以及z方向上的座標。在此，對應於一時間資訊t，虛擬教練上的一個節點的三個座標表示為(x_v(t),x_v(t),z_v(t))，而向量V是用以表示在一段時間內，虛擬教練上所有的節點的座標。

圖4是根據一範例實施例繪示動作比對系統的運作示意圖。

請參照圖4，使用者動作擷取單元210會將向量U傳送給第一演算單元230，並且虛擬教練動作資訊單元220會將向量V傳送給第一演算單元230。對於每一個身體部位以及每一個時間資訊t，第一演算單元230會根據一個串流節點比對演算法算出向量U與向量V之間的關係數值。此串流節點比對演算法可以是動態時間扭曲演算法(dynamic time warping，DTW)、一歐基里德距離(Euclidean distance，ED)演算法或一相關係數(coefficient of correlation，CC)演算法。DTW的基本原理是要比對兩個時間序列之間的相似程度。ED的原理則是計算一空間上兩點的距離，若距離越大則兩點之間越不相似。 CC是用以判斷兩個時間序列之間的關聯程度有多高。然而，此領域通常知識者應該理解這些串流比對演算法的內容，在此並不詳述。

第一演算單元230所採用的串流節點比對演算法可以表示為函數H_n()，其是用以計算第n個身體部位的關係數值。以歐基里德距離演算法與頭節點為例，第一演算單元230會根據時間資訊t，計算使用者中的頭節點的三個座標(x_u(t),y_u(t),z_u(t))與虛擬教練中頭節點的三個座標(x_v(t),x_v(t),z_v(t))之間的歐基里德距離，藉此產生一個關係數值401(表示為H_頭節點(U,V))。類似的，對於其他身體部位，第一演算單元230也會計算出對應的關係數值(例如，關係數值402至415)。

另一方面，多維權重篩選器240會根據使用者所設定之身體部位416、運動種類417、與時間資訊418，藉由權重向量來篩選出多個權重。在此，權重向量包括了身體部位416、運動種類417與時間資訊418這三個維度。舉例來說，一個身體部位416可用整數1~15來表示(例如，用”1”表示頭節點)；而不同的運動種類417也可表示為離散的多個數值(例如用”0”表示太極拳，用”1”表示國標舞)；時間資訊418可以用影片秒數來表示。而身體部位416、運動種類417、與時間資訊418所組成的權重向量可以決定三維矩陣500上的一個位置(如圖5所示)。此三維矩陣500上的一個權重可以用W_mtn來表示，所代表的意義是某一運動種類(m)、某一時間資訊(t)與某一身體部位(n)的權重。其中，m與n為正整數，並且t為實數。在另一範例實施例中，權重向量也可以包括更多維度。例如，權重 向量可包括難易度或者是使用者偏好的維度，本揭露並不在此限。

請參照圖5，若使用者不想考慮運動種類417與時間資訊418，多維權重篩選器240可以只根據身體部位416來取得權重(對應到N軸)。例如：國標舞手部訓練，以針對手部節點所對應的權重相對較大；若是國標舞腳部訓練，以針對腳部節點所對應的權重相對較大。另一方面，若使用者不想考慮時間資訊418，則多維權重篩選器240可以只根據運動種類417與身體部位416來取得權重(對應到M-N平面)。例如：太極拳，以著重手部及下盤重心的節點所對應的權重相對較大；登階，以著重下半身腳部的節點所對應的權重相對較大。若使用者不想考慮運動種類417，則多維權重篩選器240可以只根據身體部位416與時間資訊418來取得權重(對應於N-T平面)。例如，使用者可以設定在運動的前半段強調上半身的運動，上半身節點所對應的權重相對較大；而在運動的後半段強調下半身的運動，下半身節點所對應的權重相對較大。

在此，多維權重篩選器240所產生的權重為實數，並且這些權重的值大於等於0.1並且小於等於2。當權重的值越大，表示相對應的身體部位越重要。然而，若權重的值被設定的太大(超過2)，使用者不準確的動作會被放大，會導致使用者不容易得到高的相似度。然而，在其他範例實施例中，這些權重也可以被設定為其他數值，本揭露並不在此限。

請參照回圖4，多維權重篩選器240會將所取得的權重傳送給第二演算單元250。第二演算單元250會將這些權重分別 乘上關係數值401~415，並將相乘後的結果相加，以取得一個比對結果值。例如，第二演算單元250會根據以下方程式(1)產生比對結果值。

其中Node為所有的身體部位所形成的一個集合。在此範例實施例中，對於使用者的串流動作中的每一個影像及虛擬教練的每一個影像，第二演算單元250都會計算出一個比對結果值。第二演算單元250會將這些比對結果值傳送給映射單元260。

圖6是根據一範例實施例繪示映射單元的操作示意圖。

請參照圖6，映射單元260會接收到多個比對結果值，並且會從這些比對結果值中取得一個最大比對結果值與一個最小比對結果值。在圖6中，最大比對結果值是表示為以下方程式(2)，而最小比對結果值是表示為以下方程式(3)。

映射單元260會根據最小比對結果值與最大比對結果值產生一個相似度定義域。映射單元260也會定義一個相似度值域(例如為0至100)。映射單元260會根據最小比對結果值與最大比對結果值將一個比對結果值從相似度定義域映射至相 似度值域。例如，當第一演算單元230所採用的串流節點比對演算法是DTW或ED時，最大比對結果值會被映射至0，並且最小比對結果值會被映射至100。另一方面，當第一演算單元230所採用的串流節點比對演算法是CC時，最大比對結果值會被映射至100，並且最小比對結果值會被映射至0。當一個比對結果值介於最小比對結果值與最大比對結果值之間時，此比對結果值便會被映射至介於0~100之間的相似度。第二演算單元250可以用線性或非線性的方式來產生0~100之間的相似度，本揭露並不在此限。並且，在其他範例實施例中，映射單元260也可以定義其他的相似度定義域(例如，0~10)，本揭露並不在此限。最後，映射單元260會將產生的相似度傳送至螢幕120。

圖7是根據一範例實施例繪示動作比對方法的流程圖。

請參照圖7，在步驟S702中，根據使用者的多個影像取得使用者的第一串流動作及以及第一串流動作的多個節點，其中第一串流動作的每一個節點包括多個座標，並且第一串流動作的每一個節點屬於一個身體部位。在步驟S704中，提供虛擬教練的第二串流動作及第二串流動作的多個節點，其中第二串流動作的每一個節點包括多個座標，並且第二串流動作的每一個節點屬於上述身體部位的其中之一。在步驟S706中，根據一個串流節點比對演算法計算第一串流動作的節點的座標與第二串流動作的節點的座標之間的多個關係數值。在步驟S708中，根據身體部位、使用者所預先設定的運動種類、以及上述影像的一時間資訊，藉由權重向量取得多個權重。在步 驟S710中，根據這些權重分別乘上關係數值後的結果產生一個比對結果值。在步驟S712中，將比對結果值映射至一個相似度。然而，圖7中各步驟已詳細說明如上，在此便不再贅述。

在一範例實施例中，圖7中各步驟可被實作為多個程式碼。這些程式碼會被儲存在一個電子裝置的一個記憶體中。此電子裝置包括了一個處理器，用以執行這些程式碼。此電子裝置可被實作為電腦、電視、遊戲機、或任何一種嵌入式系統。或者，圖7中各步驟可被實作為一或多個電路。本揭露並不限制用軟體或硬體的方式來實作圖7中的各步驟。

本揭露範例實施例所提出的動作比對系統及動作方法，特別是一種多模態動作串流比對系統及方法，可以根據時間資訊、身體部位以及運動種類，藉由權重向量來選定多個權重，並且這些權重會用來計算一個相似值。藉此，使用者可以依照虛擬教練的指示加強所要鍛鍊的身體部位，提高運動的效果。

雖然本發明以前述之較佳實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

100‧‧‧動作比對裝置

120‧‧‧螢幕

130‧‧‧感測器

132‧‧‧虛擬教練

140‧‧‧使用者

200‧‧‧動作比對系統

210‧‧‧使用者動作擷取單元

220‧‧‧虛擬教練動作資訊單元

230‧‧‧第一演算單元

240‧‧‧多維權重篩選器

250‧‧‧第二演算單元

260‧‧‧映射單元

1201~1215‧‧‧節點

401~415‧‧‧關係數值

416‧‧‧身體部位

417‧‧‧運動種類

418‧‧‧時間資料

500‧‧‧三維矩陣

S702、S704、S706、S708、S710、S712‧‧‧動作比對方法的步驟

圖1是根據一範例實施例繪示虛擬教練引導使用者運動的示意圖。

圖2是根據一範例實施例繪示動作比對裝置的方塊圖。

圖3是根據一範例實施例繪示多個身體部分的節點的示意圖。

圖4是根據一範例實施例繪示動作比對系統的運作示意圖。

圖5是根據一範例實施例繪示一個三維矩陣的示意圖。

圖6是根據一範例實施例繪示映射單元的操作示意圖。

圖7是根據一範例實施例繪示動作比對方法的流程圖。

S702、S704、S706、S708、S710、S712‧‧‧動作比對方法的步驟

Claims (14)

1. 一種動作比對系統，包括：一使用者動作擷取單元，用以根據一使用者的多個影像取得該使用者的一第一串流動作及以及該第一串流動作的多個節點，其中該第一串流動作的每一該些節點包括多個座標，並且該第一串流動作的每一該些節點屬於一身體部位；一虛擬教練動作資訊單元，用以提供一虛擬教練的一第二串流動作及該第二串流動作的多個節點，其中該第二串流動作的每一該些節點包括多個座標，並且該第二串流動作的每一該些節點屬於該些身體部位的其中之一；一第一演算單元，耦接至該使用者動作擷取單元與該虛擬教練動作資訊單元，用以根據一串流節點比對演算法計算該第一串流動作的該些節點的該些座標與該第二串流動作的該些節點的該些座標之間的多個關係數值；一多維權重篩選器，用以根據該些身體部位、該使用者所預先設定的多個運動種類、以及該些影像的多個時間資訊，藉由一權重向量取得多個權重；一第二演算單元，耦接至該第一演算單元與該多維權重篩選器，用以根據該些權重分別乘上該些關係數值後的一結果產生一比對結果值；以及一映射單元，耦接至該第二演算單元，用以將該比對結果值映射至一相似度。
2. 如申請專利範圍第1項所述之動作比對系統，其中該使用者的該些節點的個數為15，並且該虛擬教練的該些節點 的個數為15。
3. 如申請專利範圍第1項所述之動作比對系統，其中該些權重為實數，該些權重的值大於等於0.1並且小於等於2。
4. 如申請專利範圍第2項所述之動作比對系統，其中該第二演算單元產生該比對結果值的操作包括：該第二演算單元根據方程式(1)產生該比對結果值， 其中，U為一向量，其包括該使用者的該些節點的該些座標，V為一向量，其包括該虛擬教練的該些節點的該些座標，W_mtn為對應該些身體部分中第n個身體部位、該些運動種類中的第m個運動種類及該些時間資訊中第t秒的該權重，H_n()為對應於該串流節點比對演算法的一函數並且用以計算對應該第n個身體部位的該關係數值，n與m為正整數，t為實數，並且Node為該些身體部位所形成的一集合。
5. 如申請專利範圍第1項所述之動作比對系統，其中該串流節點比對演算法為一動態時間扭曲演算法、一歐基里德距離演算法或一相關係數演算法。
6. 如申請專利範圍第1項所述之動作比對系統，其中該第二演算單元還用以產生多個第二比對結果值，該映射單元取得該些第二比對結果值中的一最小比對結果值與一最大比對結果值，根據該最小比對結果值與該最大比對結果值將該比對結果值映射至一相似度值域中的該相似度。
7. 如申請專利範圍第6項所述之動作比對系統，其中該 相似度值域的範圍是0至100。
8. 一種動作比對方法，適用於一電子裝置，包括：根據一使用者的多個影像取得該使用者的一第一串流動作及以及該第一串流動作的多個節點，其中該第一串流動作的每一該些節點包括多個座標，並且該第一串流動作的每一該些節點屬於一身體部位；提供一虛擬教練的一第二串流動作及該第二串流動作的多個節點，其中該第二串流動作的每一該些節點包括多個座標，並且該第二串流動作的每一該些節點屬於該些身體部位的其中之一；根據一串流節點比對演算法計算該第一串流動作的該些節點的該些座標與該第二串流動作的該些節點的該些座標之間的多個關係數值；根據該些身體部位、該使用者所預先設定的一運動種類、以及該些影像的多個時間資訊，藉由一權重向量取得多個權重；根據該些權重分別乘上該些關係數值後的一結果產生一比對結果值；以及將該比對結果值映射至一相似度。
9. 如申請專利範圍第8項所述之動作比對方法，其中該使用者的該些節點的個數為15，並且該虛擬教練的該些節點的個數為15。
10. 如申請專利範圍第8項所述之動作比對方法，其中該些權重為實數，該些權重的值大於等於0.1並且小於等於2。
11. 如申請專利範圍第9項所述之動作比對方法，其中產生該比對結果值的步驟包括：根據方程式(1)產生該比對結果值， 其中，U為一向量，其包括該使用者的該些節點的該些座標，V為一向量，其包括該虛擬教練的該些節點的該些座標，W_mtn為對應該些身體部分中第n個身體部位、該些運動種類中的第m個運動種類及該些時間資訊中第t秒的該權重，H_n()為對應於該串流節點比對演算法的一函數並且用以計算對應該第n個身體部位的該關係數值，n與m為正整數，t為實數，並且Node為該些身體部位所形成的一集合。
12. 如申請專利範圍第8項所述之動作比對方法，其中該串流節點比對演算法為一動態時間扭曲演算法、一歐基里德距離演算法或一相關係數演算法。
13. 如申請專利範圍第8項所述之動作比對方法，其中將該比對結果值映射至該相似度的步驟包括：產生多個第二比對結果值；該映射單元取得該些第二比對結果值中的一最小比對結果值與一最大比對結果值，根據該最小比對結果值與該最大比對結果值將該比對結果值映射至一相似度值域中的該相似度。
14. 如申請專利範圍第13項所述之動作比對方法，其中該相似度值域的範圍是0至100。