TWI712985B

TWI712985B - 復健用骨架追蹤系統與方法

Info

Publication number: TWI712985B
Application number: TW107100074A
Authority: TW
Inventors: 胡毓桓; 林啟芳
Original assignee: 元智大學
Priority date: 2018-01-02
Filing date: 2018-01-02
Publication date: 2020-12-11
Also published as: TW201931296A

Abstract

本發明揭露一種復健用骨架追蹤系統與方法，復健用骨架追蹤系統包括體感裝置、穿戴式裝置與主機裝置，復健用骨架追蹤方法包括：分析即時動作畫面以獲得複數組關節點座標；根據一人體動作感測出複數個人體運動資訊，並據以計算出一尤拉角姿態值；將此尤拉角姿態值與複數個參考尤拉角姿態值作比對，以比對出最相近之參考尤拉角姿態值；根據最相近之參考尤拉角姿態值，獲得多組關節點目標座標；以及根據多組關節點目標座標與多組關節點座標的差值，決定採用多組關節點目標座標或多組關節點座標來繪製人體骨架的運動情形。

Description

復健用骨架追蹤系統與方法

本發明乃是關於一種復健用骨架追蹤系統與方法，特別是指一種結合視覺之人體運動追蹤裝置與非視覺之人體運動追蹤裝置的復健用骨架追蹤系統與方法。

目前來說，傳統上用於進行復健治療的人體運動追蹤裝置主要可分為視覺的人體運動追蹤裝置與非視覺的人體運動追蹤裝置。這兩種人體運動追蹤裝置各有其優缺點。一般來說，視覺的人體運動追蹤裝置主要採用攝影裝置來進行人體骨架的追蹤，如：深度攝影機，而非視覺的人體運動追蹤裝置主要採用穿戴式感測器來獲得人體運動資訊。

視覺的人體運動追蹤裝置的優點在於不須將裝置配戴在使用者身上，較具便利性，但其缺點在於，常會因為有障礙物遮蔽而導致關節點的位置座標遺失，使得骨架追蹤的準確性降低。另一方面，非視覺的人體運動追蹤裝置的優點在於能夠透過演算法精確地計算出人體運動資訊，如：運動軌跡、運動速度等，但就無法像視覺的人體運動追蹤裝置進行人體骨架的追蹤並給予使用者視覺上的反饋。

為改善前述缺點，本發明提供了一種復健用骨架追蹤系統與方法。

本發明所提供之復健用骨架追蹤系統能夠繪製人體骨架的運動情形，其包括體感裝置、穿戴式裝置與主機裝置，其中主機裝置連接於體感裝置與穿戴式裝置。體感裝置包括深度攝影機與微控制器，其中微控制器連接於深度攝影機。深度攝影機用以捕捉一即時動作畫面，且微控制器用以處理並分析即時動作畫面以獲得複數組關節點座標。穿戴式裝置包括慣性感測模組與微控制器，其中微控制器連接於慣性感測模組。慣性感測模組用以根據一人體動作感測出複數個人體運動資訊，且微控制器用以根據該些人體運動資訊計算出一尤拉角姿態值。主機裝置包括記憶體與處理器。記憶體用以儲存一預設資料庫，其中預設資料庫包括複數個參考尤拉角姿態值、複數組關節點參考座標以及該些參考尤拉角姿態值與該多組關節點參考座標之間的關係；再者，處理器用以將該尤拉角姿態值與該些參考尤拉角姿態值作比對，並根據該些參考尤拉角姿態值與多組關節點參考座標之間的關係獲得多組關節點目標座標，再根據多組關節點目標座標與多組關節點座標的一差值，決定採用多組關節點目標座標或多組關節點座標來繪製骨架的運動情形。

本發明所提供之復健用骨架追蹤方法由前述之復健用骨架追蹤系統來執行，主要包括：透過體感裝置，捕捉一即時動作畫面，且處理並分析即時動作畫面以獲得複數組關節點座標；透過穿戴式裝置，根據一人體動作感測出複數個人體運動資訊，並根據該些人體運動資訊計算出一尤拉角姿態值；透過主機裝置，將所計算出之尤拉角姿態值與複數個參考尤拉角姿態值作比對，以比對出與所計算出之尤拉角姿態值最相近之參考尤拉角姿態值；透過主機裝置，根據與所計算出之尤拉角姿態值最相近之參考尤拉角姿態值，以及該些參考尤拉角姿態值與多組關節點參考座標之間的關係獲得多組關節點目標座標；以及透過主機裝置，根據多組關節點目標座標與多組關節點座標的差值，決定採用多組關節點目標座標或多組關節點座標來繪製骨架的運動情形。

此種復健用骨架追蹤系統與方法的主要精神在於結合視覺之人體運動追蹤裝置與非視覺之人體運動追蹤裝置，以於使用者的復健過程中對其骨架進行準確的追蹤。

10‧‧‧體感裝置

12‧‧‧慣性感測器

14‧‧‧微控制器

20‧‧‧穿戴式裝置

22‧‧‧深度攝影機

24‧‧‧微控制器

30‧‧‧主機裝置

32‧‧‧記憶體

34‧‧‧處理器

S310、S320、S330、S340、S350、S360‧‧‧步驟

S312、S352、S354、S356、S357、S358‧‧‧步驟

圖1為根據本發明一例示性實施例繪示之復健用骨架追蹤系統的方塊圖；圖2為根據本發明一例示性實施例繪示之關節點座標的示意圖；圖3為根據本發明一例示性實施例繪示之復健用骨架追蹤方法的流程圖；以及圖4為根據本發明另一例示性實施例繪示之復健用骨架追蹤方法的流程圖。

在下文將參看隨附圖式更充分地描述各種例示性實施例，在隨附圖式中展示一些例示性實施例。然而，本發明概念可能以許多不同形式來體現，且不應解釋為限於本文中所闡述之例示性實施例。確切而言，提供此等例示性實施例使得本發明將為詳盡且完整，且將向熟習此項技術者充分傳達本發明概念的範疇。在諸圖式中，類似數字始終指示類似元件。

將理解的是，雖然第一、第二、第三等用語可使用於本文中用來描述各種元件或組件，但這些元件或組件不應被這些用語所限制。這些用語僅用以區分一個元件或組件與另一元件或組件。因此，下述討論之第一元件或組件，在不脫離本發明之教示下，可被稱為第二元件或第二組件。

[復健用骨架追蹤系統的一實施例]

請參照圖1，圖1為根據本發明一例示性實施例繪示之復健用骨架追蹤系統的方塊圖。

於以下的敘述中，將說明本實施例所提供之復健用骨架追蹤系統的架構與其中個裝置的功能。

如圖1所示，本實施例所提供之復健用骨架追蹤系統包括體感裝置10、穿戴式裝置20與主機裝置30，其中主機裝置30連接於體感裝置10與穿戴式裝置20。

體感裝置10包括深度攝影機12與微控制器14，其中微控制器14連接於深度攝影機12。深度攝影機12用以捕捉一即時動作畫面。舉例來說，深度攝影機12可為一Kinect感應器，但本發明於此並不限制。另外，微控制器14用以處理並分析即時動作畫面以獲得複數組關節點座標，於以下敘述將以(x,y,z)來表示關節點座標。請參照圖2，圖2為根據本發明一例示性實施例繪示之關節點座標的示意圖。舉例來說，若使用者所進行的是下肢的復健動作，微控制器14處理並分析即時動作畫面後所獲得之複數組關節點座標即可為髖關節座標(x1,y1,z1)、膝關節座標(x2,y2,z2)、踝關節座標(x3,y3,z3)與足關節座標(x4,y4,z4)，但本發明並不限制微控制器14處理並分析即時動作畫面後將獲得哪些關節點座標。

穿戴式裝置20包括慣性感測模組22與微控制器24，其中微控制器24連接於慣性感測模組22。慣性感測模組22用以根據一人體動作感測出複數個人體運動資訊，且微控制器24用以根據該些人體運動資訊計算出一尤拉角姿態值。於本實施例中，慣性感測模組22包括三軸加速度計、三軸陀螺儀與三軸磁力計。三軸加速度計用以量測人體動作過程中，人體於空間中X軸方向、Y軸方向與Z軸方向的加速度。三軸陀螺儀用以量測人體動作過程中，人體繞空間中X軸、Y軸與Z軸旋轉的角速度值。三軸磁力計用以量測人體動作過程中，人體與空間中水平磁場(即，指向北極的XY磁場)的夾角。

也就是說，慣性感測模組22能夠量測出人體於空間中X軸方向、Y軸方向與Z軸方向的加速度、人體繞空間中X軸、Y軸與Z軸旋轉的角速度值，以及人體與空間中水平磁場的夾角。根據人體於空間中X軸方向、Y軸方向與Z軸方向的加速度、人體繞空間中X軸、Y軸與Z軸旋轉的角速度值，以及人體與空間中水平磁場的夾角，微控制器24便能計算出一尤拉角姿態值。須說明的是，一般而言，尤拉角姿態值係以(Roll,Pitch,Yaw)來表示，於以下敘述中將以(R,P,Y)來表示尤拉角姿態值，而如何根據人體運動資訊計算出尤拉角姿態值應為該發明所屬技術領域中具有通常知識所熟知，故於此便不細述。

主機裝置30包括記憶體12與處理器14。記憶體12用以儲存一預設資料庫(未圖示)。預設資料庫中儲存有複數個參考尤拉角姿態值、複數組關節點參考座標以及該些參考尤拉角姿態值與該多組關節點參考座標之間的關係。處理器14用以將前述計算出的尤拉角姿態值與該些參考尤拉角姿態值作比對，並根據該些參考尤拉角姿態值與多組關節點參考座標之間的關係獲得多組關節點目標座標。接著，處理器14再根據多組關節點目標座標與多組關節點座標之間的差值，決定採用多組關節點目標座標或多組關節點座標來繪製骨架的運動情形。

接著於以下的敘述中，將說明本實施例所提供之復健用骨架追蹤系統執行復健用骨架追蹤方法的流程。

[復健用骨架追蹤方法的一實施例]

請參照圖3，圖3為根據本發明一例示性實施例繪示之復健用骨架追蹤方法的流程圖。另外，本實施例所提供之復健用骨架追蹤方法是由圖1所繪示之復健用骨架追蹤系統來實現，故請同時參照圖1以利瞭解。

如圖3所示，本實施例所提供之復健用骨架追蹤方法包括以下步驟：捕捉一即時動作畫面，且處理並分析即時動作畫面以獲得複數組關節點座標(步驟S310)；根據一人體動作感測出複數個人體運動資訊，並根據該些人體運動資訊計算出一尤拉角姿態值(步驟S320)；將所計算出的尤拉角姿態值與複數個參考尤拉角姿態值作比對，以比對出與所計算出的尤拉角姿態值最相近之參考尤拉角姿態值(步驟S330)；根據與所計算出的尤拉角姿態值最相近之參考尤拉角姿態值，以及該些參考尤拉角姿態值與多組關節點參考座標之間的關係獲得多組關節點目標座標(步驟S340)；根據多組關節點目標座標與多組關節點座標的差值，決定採用多組關節點目標座標或多組關節點座標來繪製骨架的運動情形(步驟S350)；以及繪製骨架的運動情形(步驟S360)。

假設於步驟S310中體感裝置10所獲得的複數組關節點座標分別為(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)與(x4,y4,z4)，且於步驟S320中穿戴式裝置所計算出的尤拉角姿態值為(R1,P1,Y1)。於步驟S330中，主機裝置30會比對出與所計算出的尤拉角姿態值(R1,P1,Y1)最相近之參考尤拉角姿態值。

接著，假設與所計算出的尤拉角姿態值(R1,P1,Y1)最相近之參考尤拉角姿態值為(Ra,Pa,Ya)，則於步驟S340中，主機裝置30即可於預設資料庫中找出與參考尤拉角姿態值(Ra,Pa,Ya)相對應的多組關節點參考座標，這幾組關節點參考座標便會被主機裝置30設定為關節點目標座標。

最後，假設這幾組關節點目標座標分別為(x1’,y1’,z1’)、(x2’,y2’,z2’)、(x3’,y3’,z3’)與(x4’,y4’,z4’)，於步驟S350中，主機裝置30會先分別計算關節點目標座標(x1’,y1’,z1’)、(x2’,y2’,z2’)、(x3’,y3’,z3’)與(x4’,y4’,z4’)和關節點座標(x1,y1,z1)、(x2,y2, z2)、(x3,y3,z3)與(x4,y4,z4)之間的差值，即，座標間距離的差值。值得注意的是，於本實施例中，前述之關節點參考座標是經由使用者或示範者針對特定復健動作執行數次所累積的樣本數據。因此，當此差值大於等於一門檻值時，表示體感裝置12所測得的關節點座標與樣本數據(即，關節點目標座標)差很多。也就是說，可能測量環境中存在干擾，如：物體遮蔽，使得體感裝置12所測得的關節點座標不準確，於是主機裝置30便會選擇採用關節點目標座標(x1’,y1’,z1’)、(x2’,y2’,z2’)、(x3’,y3’,z3’)與(x4’,y4’,z4’)來繪製該骨架的運動情形。另一方面，當此差值小於一門檻值時，表示體感裝置12所測得的關節點座標是合理的，於是主機裝置30便會選擇採用體感裝置12所測得的關節點座標(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)與(x4,y4,z4)來繪製該骨架的運動情形。

於以下的敘述中，將說明複數個參考尤拉角姿態值、多組關節點參考座標，以及該些參考尤拉角姿態值與該多組關節點參考座標之間的關係是如何被取得的。

首先，使用者或示範者須針對特定復健動作正確地執行數次。假設使用者或示範者所執行的是下肢的復健動作，且執行次數為5次，則根據步驟S310與步驟S320，將可測得五個尤拉角姿態值與4x5組關節點座標(即，使用者或示範者每執行一次復健動作便可測得一個尤拉角姿態值與四組關節點座標，分別為髖關節座標、膝關節座標、踝關節座標與足關節座標)。接著，每個尤拉角姿態值與其所對應之四組關節點座標便會由主機裝置30儲存以作為參考尤拉角姿態值與關節點參考座標。

值得注意地是，以前述舉例來說，主機裝置30還會進一步計算出穿戴式裝置20所測得五次復健動作過程中的尤拉角平均初始值(R_start,P_start,Y_start)與尤拉角平均峰值(R_peak,P_peak,Y_peak)。尤拉角平均初始值(R_start,P_start,Y_start)代表的是五次復健動作過程中第一個時間點量測出之尤拉角姿態值的平均值，而尤拉角平均峰值(R_peak,P_peak,Y_peak)代表的是五次復健動作過程中量測出之尤拉角姿態值之最大值的平均值。計算尤拉角平均初始值與尤拉角平均峰值是為了能使主機裝置30在接續的骨架追蹤過程中，能判斷出使用者執行復健動作的次數。

簡單來說，於骨架追蹤過程中，當主機裝置30判斷出穿戴式裝置20所測得的尤拉角姿態值(R,P,Y)大於尤拉角平均初始值(R_start,P_start,Y_start)時，便能判斷出一次復健動作的開始；另外，當主機裝置30判斷出穿戴式裝置20所測得的尤拉角姿態值(R,P,Y)達到尤拉角平均峰值(R_peak,P_peak,Y_peak)時，便能將執行復健動作的次數計數為1。

[復健用骨架追蹤方法的另一實施例]

請參照圖4，圖4為根據本發明另一例示性實施例繪示之復健用骨架追蹤方法的流程圖。

本實施例所提供之復健用骨架追蹤方法也是由圖1所繪示之復健用骨架追蹤系統來實現，故請同時參照圖1以利瞭解。另外，本實施例所提供之復健用骨架追蹤方法與圖3所示之復健用骨架追蹤方法具有類似的步驟與流程，故於以下的敘述中，將僅針對兩者間不同的步驟與流程作說明，而針對兩者間類似或重複的步驟與流程將不細述。

本實施例所提供之復健用骨架追蹤方法與圖3所示之復健用骨架追蹤方法之間的差異之一在於，如圖4所示，在體感裝置10分析即時動作畫面且獲得複數組關節點座標(即，步驟S310)後，會進入步驟S312。假設使用者或示範者所執行的是下肢的復健動作，且於步驟S310中，體感裝置10所獲得的複數組關節點座標分別為如圖2所示之髖關節座標(x1,y1,z1)、膝關節座標(x2,y2,z2)、踝關節座標(x3,y3,z3)與足關節座標(x4,y4,z4)，於步驟S312中，體感裝置10會進一步針對每一組關節點座標，計算出一追蹤狀態係數。

進一步說明，此追蹤狀態係數表示體感裝置10對於該些關節點座標之追蹤狀態。某一組關節點座標的追蹤狀態係數為0時，代表該組關節點座標無意義；當某一組關節點座標的追蹤狀態係數為1時，代表該組關節點座標是經由推算而得；當某一組關節點座標的追蹤狀態係數為2時，代表該組關節點座標是經由追蹤而得。也就是說，當某一組關節點座標的追蹤狀態係數為2時，表示體感裝置10確實有追蹤到該組關節點座標，而當某一組關節點座標的追蹤狀態係數為0或1時，表示該組關節點座標精準地為使用者之關節點之位置的可能性較低，因此於本實施例中，僅有追蹤狀態係數為2的關節點座標有機會精準地代表使用者之關節點的位置。

本實施例所提供之復健用骨架追蹤方法與圖3所示之復健用骨架追蹤方法之間的另一差異在於，如圖4所示，在主機裝置30根據與所計算出的尤拉角姿態值最相近之參考尤拉角姿態值(Ra,Pa,Ya)，並找出與此參考尤拉角姿態值(Ra,Pa,Ya)相對應的多組關節點參考座標，再將這幾組關節點參考座標設定為關節點目標座標(即，步驟S340)後，復健用骨架追蹤系統將接續的執行步驟S352、步驟S354、步驟S356、步驟S357和步驟S358。

於步驟S352中，主機裝置30會判斷每組關節點座標的追蹤狀態係數是否為2。於本實施例中，由於僅有追蹤狀態係數為2的關節點座標有機會精準地代表使用者之關節點的位置，因此當某一組關節點座標的追蹤狀態係數為0或1時，主機裝置30便會判斷此組關節點座標不可採用，故進入步驟S354，選擇採用多組關節點目標座標中的一組來繪製骨架的運動情形。另一方面，當某一組關節點座標的追蹤狀態係數為2時，主機裝置30便會判斷此組關節點座標有機會可採用，故進入步驟S356，以近一步判斷應採用此組關節點座標或多組關節點目標座標中的一組來繪製骨架的運動情形。

假設體感裝置10所獲得的複數組關節點座標分別為如圖2所示之髖關節座標(x1,y1,z1)、膝關節座標(x2,y2,z2)、踝關節座標(x3,y3,z3)與足關節座標(x4,y4,z4)，其追蹤狀態係數分別為2、1、0、2，且其所對應之關節點目標座標分別為髖關節目標座標(x1’,y1’,z1’)、膝關節目標座標(x2’,y2’,z2’)、踝關節目標座標(x3’,y3’,z3’)與足關節目標座標(x4’,y4’,z4’)。於此情形下，主機裝置30便會判斷膝關節座標(x2,y2,z2)與踝關節座標(x3,y3,z3)不可採用，而選擇採用膝關節目標座標(x2’,y2’,z2’)與踝關節目標座標(x3’,y3’,z3’)來繪製骨架的運動情形。然而，主機裝置30也會判斷髖關節座標(x1,y1,z1)與足關節座標(x4,y4,z4)可採用，因此進一步於步驟S354中判斷應採用此二組關節點座標或髖關節目標座標(x1’,y1’,z1’)與足關節目標座標(x4’,y4’,z4’)來繪製骨架的運動情形。

於步驟S356中，主機裝置30會判斷多組關節點目標座標與多組關節點座標的差值是否大於等於一門檻值，此步驟類似於圖3所示之復健用骨架追蹤方法中的步驟S350。

承上例，於步驟S356中，主機裝置30會判斷髖關節座標(x1,y1,z1)與髖關節目標座標(x1’,y1’,z1’)間的差值是否大於等於一門檻值，還會判斷足關節座標(x4,y4,z4)與足關節目標座標(x4’,y4’,z4’)間的差值是否大於等於該門檻值。當髖關節座標與髖關節目標座標間的差值或足關節座標與足關節目標座標間的差值大於等於該門檻值時，表示體感裝置12所測得的髖關節座標或足關節座標與樣本數據(即，髖關節目標座標或足關節目標座標)差很多。也就是說，可能測量環境中存在干擾，如：物體遮蔽，使得體感裝置12所測得的髖關節座標或足關節座標不準確。

於是，當髖關節座標與髖關節目標座標間的差值或足關節座標與足關節目標座標間的差值大於等於該門檻值時時，便會回到步驟S354，主機裝置30會選擇採用髖關節目標座標(x1’,y1’,z1’)或足關節目標座標(x4’,y4’,z4’)來繪製骨架的運動情形。另一方面，當髖關節座標與髖關節目標座標間的差值或足關節座標與足關節目標座標間的差值小於該門檻值時，表示體感裝置12所測得的髖關節座標或足關節座標是合理的，於是便進入步驟S357，主機裝置30會選擇採用髖關節座標(x1,y1,z1)或足關節座標(x4,y4,z4)來繪製骨架的運動情形。

舉例來說，門檻值可為5(即，五個像素)，但本發明於此並不限定。承上例，假設髖關節座標(x1,y1,z1)與髖關節目標座標(x1’,y1’,z1’)間的差值為3，而足關節座標(x4,y4,z4)與足關節目標座標(x4’,y4’,z4’)間的差值為6。於此情形下，主機裝置30會選擇採用髖關節座標(x1,y1,z1)與足關節目標座標(x4’,y4’,z4’)來繪製骨架的運動情形。

本實施例所提供之復健用骨架追蹤方法與圖3所示之復健用骨架追蹤方法之間的又一差異在於，如圖4所示，在進入步驟S360以開始繪製骨架的運動情形之前，若主機裝置30選擇採用的是體感裝置12所測得的關節點座標，會先進入步驟S358，以儲存體感裝置12所測得的關節點座標與其對應之尤拉角姿態值。也就是說，由於此時主機裝置30所採用的關節點座標預設資料庫來說是一筆新數據，因此主機裝置30便會將此關節點座標與其對應之尤拉角姿態值儲存以作為樣本數據。

承上例，由於主機裝置30最終選擇採用髖關節座標(x1,y1,z1)、膝關節目標座標(x2’,y2’,z2’)、踝關節目標座標(x3’,y3’,z3’)與足關節目標座標(x4’,y4’,z4’)來繪製骨架的運動情形，因此於步驟S358中，主機裝置30便會將髖關節座標(x1,y1,z1)與其對應之尤拉角姿態值(R,P,Y)儲存在預設資料庫中以作為樣本數據。

[實施例的可能功效]

根據前述說明，本發明所提供之復健用骨架追蹤系統與方法主要的特色即在於其結合了視覺之人體運動追蹤裝置(即，體感裝置)與非視覺之人體運動追蹤裝置(即，穿戴式裝置)，以於使用者的復健過程中對其骨架進行追蹤。

結合視覺之人體運動追蹤裝置與非視覺之人體運動追蹤裝置以於使用者的復健過程中對其骨架進行追蹤的好處在於，能夠克服障礙物遮蔽而導致關節點之位置座標遺失的情況，同時能夠給予使用者視覺上的反饋。因此，相較於傳統上僅使用視覺之人體運動追蹤裝置或非視覺之人體運動追蹤裝置來進行人體運動追蹤的作法，本發明所提供之復健用骨架追蹤系統與方法兼顧了高準確度與視覺反饋的提供。

最後須說明地是，於前述說明中，儘管已將本發明技術的概念以多個示例性實施例具體地示出與闡述，然而在此項技術之領域中具有通常知識者將理解，在不背離由以下申請專利範圍所界定的本發明技術的概念之範圍的條件下，可對其作出形式及細節上的各種變化。

另外，雖然特定之方法係參照在本文中所描繪之流程圖來進行描述，但是該發明所屬技術領域中具有通常知識者應該容易地理解，本發明所提供之復健用骨架追蹤方法中各步驟的執行順序並不因此而限制。也就是說，於本發明之其他實施例所提供之復健用骨架追蹤方法中，各步驟之執行順序可以改變、某些步驟可以被組合或者某些步驟可以省略。