TWI427558B - 遮蔽骨架之位置估算系統、遮蔽骨架之位置估算方法及遮蔽骨架之重建方法 - Google Patents

遮蔽骨架之位置估算系統、遮蔽骨架之位置估算方法及遮蔽骨架之重建方法 Download PDF

Info

Publication number
TWI427558B
TWI427558B TW099142455A TW99142455A TWI427558B TW I427558 B TWI427558 B TW I427558B TW 099142455 A TW099142455 A TW 099142455A TW 99142455 A TW99142455 A TW 99142455A TW I427558 B TWI427558 B TW I427558B
Authority
TW
Taiwan
Prior art keywords
skeleton
motion
possible range
estimating
shielding
Prior art date
Application number
TW099142455A
Other languages
English (en)
Other versions
TW201225008A (en
Inventor
Ko Shyang Wang
Yao Yang Tsai
Chih Pin Liao
Wen Yang Wang
Po Lung Chen
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW099142455A priority Critical patent/TWI427558B/zh
Priority to US13/039,492 priority patent/US8417003B2/en
Publication of TW201225008A publication Critical patent/TW201225008A/zh
Application granted granted Critical
Publication of TWI427558B publication Critical patent/TWI427558B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

遮蔽骨架之位置估算系統、遮蔽骨架之位置估算方法及遮蔽骨架之重建方法
本發明是有關於一種判斷姿勢之方法，且特別是有關於一種遮蔽骨架之位置估算系統、遮蔽骨架之位置估算方法及遮蔽骨架之重建方法。
骨架遮蔽為肢體姿勢辨識系統中常見的問題。骨架遮蔽進一步可分為使用者自己肢體造成的自體遮蔽與被環境所影響的遮蔽問題。骨架遮蔽造成辨識系統無法建構出正確的人體骨架而進一步判斷其姿勢與關節點受力等資訊。在許多運動姿態如太極拳的指導應用中，使用者需要了解姿態是否正確來修正自己的姿勢，若肢體骨架被遮蔽且系統無法重建，將無法回饋使用者動作的姿態差異量情況。
此外，如果沒有加速計等無線感測器的介入，將沒有辦法擷取到使用者之遮蔽骨架的位置且無法評估出腳部真正的落點。如此一來，即無法估算出使用者膝蓋的受力資訊。有鑑於此，如何能正確地重建遮蔽骨架即為成為急需解決的重要課題。
本發明係有關於一種遮蔽骨架之位置估算系統、遮蔽骨架之位置估算方法及遮蔽骨架之重建方法。
根據本發明，提出一種遮蔽骨架之位置估算方法。遮蔽骨架之位置估算方法包括：根據數張連續運動影像預測人體參考中心點之移動路徑；根據連續運動影像中未遮蔽骨架之運動資訊及移動路徑估算人體運動狀態；根據人體運動狀態計算在維持人體平衡下遮蔽骨架之可能所在範圍；根據遮蔽骨架之歷史運動資訊預測遮蔽骨架之目前動作程度；以及根據目前動作程度及可能所在範圍估算遮蔽骨架之所在位置。
根據本發明，提出一種遮蔽骨架之重建方法。遮蔽骨架之重建方法包括：根據數張連續運動影像預測人體參考中心點之移動路徑；根據連續運動影像中未遮蔽骨架之運動資訊及移動路徑估算人體運動狀態；根據人體運動狀態計算在維持人體平衡下遮蔽骨架之可能所在範圍；根據遮蔽骨架之歷史運動資訊預測遮蔽骨架之目前動作程度；根據目前動作程度及可能所在範圍估算遮蔽骨架之所在位置；以及根據所在位置重建遮蔽骨架。
根據本發明，提出一種遮蔽骨架之位置估算系統。遮蔽骨架之位置估算系統包括記憶單元及運算單元。記憶單元記錄遮蔽骨架之歷史運動資訊。運算單元接收由影像擷取單元傳送之數張連續運動影像，並根據連續運動影像預測人體參考中心點之移動路徑。運算單元根據連續運動影像中未遮蔽骨架之運動資訊及移動路徑估算人體運動狀態，並根據該人體運動狀態計算在維持人體平衡下該遮蔽骨架之可能所在範圍。運算單元根據歷史運動資訊預測遮蔽骨架之目前動作程度，並根據目前動作程度及可能所在範圍估算遮蔽骨架之所在位置。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：
下述實施例提供一種遮蔽骨架之位置估算方法及遮蔽骨架之重建方法。遮蔽骨架之位置估算方法包括：根據數張連續運動影像預測人體參考中心點之移動路徑；根據連續運動影像中未遮蔽骨架之運動資訊及移動路徑估算人體運動狀態；根據人體運動狀態計算在維持人體平衡下遮蔽骨架之可能所在範圍；根據遮蔽骨架之歷史運動資訊預測遮蔽骨架之目前動作程度；以及根據目前動作程度及可能所在範圍估算遮蔽骨架之所在位置。
遮蔽骨架之重建方法包括：根據數張連續運動影像預測人體參考中心點之移動路徑；根據連續運動影像中未遮蔽骨架之運動資訊及移動路徑估算人體運動狀態；根據人體運動狀態計算在維持人體平衡下遮蔽骨架之可能所在範圍；根據遮蔽骨架之歷史運動資訊預測遮蔽骨架之目前動作程度；根據目前動作程度及可能所在範圍估算遮蔽骨架之所在位置；以及根據所在位置重建遮蔽骨架。
請同時參照第1圖、第2圖及第15圖，第1圖繪示係為一種遮蔽骨架之重建方法之流程圖，第2圖繪示係為統計分析圖，第15圖繪示係為位置估算系統之示意圖。。為方便說明起見，下述遮蔽骨架係以一遮蔽腳為例說明，而人體運動狀態係以倒單擺模型描述。然實施方式並不侷限於此，人體運動狀態以能以零力矩點(Zero Moment Point,ZMP)或有限狀態機(Finite State Machine,FSM)描述。遮蔽骨架之位置估算系統5包括記憶單元51及運算單元52。記憶單元51記錄遮蔽骨架之歷史運動資訊。運算單元52接收由影像擷取單元6傳送之數張連續運動影像，並根據連續運動影像預測人體參考中心點之移動路徑。運算單元52根據連續運動影像中未遮蔽骨架之運動資訊及移動路徑估算人體運動狀態，並根據該人體運動狀態計算在維持人體平衡下該遮蔽骨架之可能所在範圍。運算單元52根據歷史運動資訊預測遮蔽骨架之目前動作程度，並根據目前動作程度及可能所在範圍估算遮蔽骨架之所在位置。遮蔽骨架之重建方法係能應用於前述位置估算系統5。遮蔽骨架之重建方法包括如下步驟110、步驟120、步驟130、步驟140、步驟150及步驟160，其中步驟110、步驟120、步驟130、步驟140及步驟150可視為遮蔽骨架之估算方法。
首先如步驟110所示，運算單元52根據數張連續運動影像預測人體參考中心點之移動路徑。接著如步驟120所示，運算單元52根據連續運動影像中未遮蔽骨架之運動資訊及移動路徑估算人體運動狀態。進一步來說，從連續運動影像中分析所有使用者動作能獲得動作者的骨架資訊，骨架資訊可能包含未遮蔽的完整骨架或是受到遮蔽的不完整骨架。其中被遮蔽的骨架下述將以遮蔽骨架稱之。至於動作者的骨架是否被遮蔽則能依據是否有完整的關節數目來進行判斷。
若有完整的關節數目，則表示此使用者肢體未遮蔽，能藉由對骨架資訊進行整體統計以產生歷史運動資訊，歷史運動資訊能做為後續提供目標資料的依據。歷史運動資訊例如為第2圖繪示之統計分析圖11，統計分析圖11包括參考中心點之運動速度曲線11a及動作程度曲線11b。統計分析圖11之橫軸是表示時間，而左邊縱軸是參考中心點的運動速度。對應到右邊縱軸則是動作程度，動作程度例如為腳部步伐的大小。
請同時參照第3圖及第4圖，第3圖繪示係為倒單擺之示意圖，第4圖繪示係為遮蔽骨架所產生的倒單擺模型之示意圖。於第3圖及第4圖係以倒單擺模型描述動作者之人體運動狀態。倒單擺模型例如為第3圖所繪示。倒單擺模型包括無重量竿子210、固定支點220及擺錘質心230。無重量竿子210兩端分別為擺錘質心230和地面上固定的固定支點220。倒單擺模型與地面只有一個固定支點220，而必須至少有三個支點且質心投影在三個支點內才能維持靜態平衡。因此倒單擺模型不可能維持靜態平衡。換句話說，倒單擺模型是一直屬於不穩定的狀況，所以需要一個維持動態平衡的機制。
前述人體參考中心點例如為人體之質心(Center Of Mass,COM)，藉由輸入骨架資訊取得身體狀態後，即能算出倒單擺模型的擺錘質心230所在。而前述固定支點220例如為人體之腳的受力中心(Center Of Pressure,COP)。將前述擺錘質心230與固定支點220之間連線即成為如第4圖繪示之倒單擺模型。
請參照第5圖，第5圖繪示係為人體參考中心點之移動路徑之示意圖。在身體平衡的假設下，為了估算遮蔽骨架之腳板與地面的接觸位置，需先預測未來一段時間內人體參考中心點的狀態與運動軌跡。當以倒單擺模型描述動作者之人體運動狀態時，則人體參考中心點於倒單擺模型中即以擺錘質心230表示。第5圖之擺錘質心230之移動路徑的動量守恆(Conservation of Momentum)方程式如下：
其中τ=mgr sinθ。前述公式1中，ws 表示倒單擺模型的初始角速度，擺錘質心230從角度θs 到角度θe 的重力所產生的力矩後，角速度變為we 。τ為倒單擺在角度θ時，重力所產生的力矩。m表示擺錘質心230的重量。g表示重力加速度。r表示支點220與擺錘質心230之間的距離，也就是單擺的長度。前述擺錘質心230之移動路徑例如係使用Runge-Kutta演算法，以迭代的方式積分出不同時間點的擺錘質心230之位置與速度，移動路徑例如為第5圖繪示。
請同時參照第6圖、第7圖、第8圖及第9圖，第6圖繪示係為人體運動狀態為初始姿態之示意圖，第7圖繪示係為人體運動狀態為目標姿態之示意圖，第8圖繪示係為人體運動狀態由初始姿態改變為目標姿態之示意圖，第9圖繪示係為第8圖之等效示意圖。進一步來說，當人體運動狀態由第6圖繪示之初始狀態切換為第7圖繪示之目標狀態時，擺錘質心230由初始位置改變至目標位置。於第6圖中，擺錘質心230於初始位置具有初始速度VSU 且擺錘質心230與一未遮蔽骨架支點之連線與地面形成初始角度θSU ，於第5圖中未遮蔽骨架支點係以支點220為例說明。擺錘質心230於初始位置時，擺錘質心230的高度即為高度Ly。
於第6圖中，擺錘質心230於目標位置具有目標速度VOC2 且擺錘質心230與遮蔽骨架支點320之連線與地面形成目標角度θOC2 。於第7圖中，當擺錘質心230於初始位置，擺錘質心230與遮蔽骨架支點320之連線與地面形成遮蔽骨架角度θOC1 。前述目標資料例如包括目標速度VOC2 及目標角度θOC2 。換言之，目標速度VOC2 及目標角度θOC2 可根據前述歷史運動資訊而得。除此之外，當目標狀態為站立時，目標速度VOC2 及目標角度θOC2 可根據一預設資料而得。預設資料係假設目標速度VOC2 及目標角度θOC2 等於一預設值。目標速度VOC2 及目標角度θOC2 之預設值例如為0。
請再參照第1圖及第15圖，前述步驟120執行完畢後，接著執行步驟130。如步驟130所示，運算單元52根據人體運動狀態計算在維持人體平衡下遮蔽骨架之可能所在範圍。根據能量守恆定律，人體運動狀態為初始姿態的能量等於身體狀態為目標姿態的能量。第9圖繪示之等效示意圖進一步能以下述能量守恆(Conservation of Energy)方程式表示初始姿態與目標姿態之間的遮蔽骨架動作歷程。
上述公式2中的距離r、角速度ω OC 1 及角速度ω OC 2 能進一步地以下述公式3、公式4及公式5表示。
將上述公式3、公式4及公式5代入公式2能進一步地得到下述公式6。換言之，第9圖繪示之等效示意圖進一步能以下述公式6表示。公式6即為從公式2推導而得的能量守恆(Conservation of Energy)方程式。
公式6中之目標速度VOC2 及目標角度θOC2 皆為已知。綜合前述說明，公式6中僅遮蔽骨架角度θOC1 為未知數。
請同時參照第10圖及第11圖，第10圖繪示係為利用牛頓迭代法(Newton Iteration)產生遮蔽骨架角度之示意圖，第11圖繪示係為產生落地點範圍之示意圖。前述遮蔽骨架角度θOC1 進一步係以數值分析之一最佳逼近法根據初始速度VSU 、初始角度θSU 、目標速度VOC2 及目標角度θOC2 及公式6所表示之能量守恆方程式估算而得。前述最佳逼近法例如係為第10圖繪示之牛頓迭代法(Newton Iteration)。遮蔽骨架角度θOC1 求出後即能根據遮蔽骨架角度θOC1 找出在維持人體平衡下遮蔽骨架之可能所在範圍。遮蔽骨架之可能所在範圍例如為第11圖繪示之落地點範圍10。
請再同時參照第1圖、第2圖及第15圖。前述步驟130執行完畢後接著執行步驟140。如步驟140所示，運算單元52根據遮蔽骨架之歷史運動資訊預測遮蔽骨架之目前動作程度。歷史運動資訊例如為第2圖繪示之統計分析圖11。當遮蔽狀態發生時，透過歷史運動資訊的輔助能進一步地預測出遮蔽骨架之目前動作程度。
請同時參照第1圖、第12圖及第15圖，第12圖繪示係為以逆向運動學解出人體動作之示意圖。前述步驟140執行完畢後，接著如步驟150所示，運算單元52根據目前動作程度及可能所在範圍估算遮蔽骨架之所在位置。跟著如步驟160所示，運算單元52根據所在位置重建遮蔽骨架。進一步來說，於第12圖中，標示1110是根節點(root)，而標示1120是端點(End-effector)。逆向運動學會以這兩點位置做為限制，去解出中間肢段的關節角度。結合逆向動力學解出一組最符合人體自由度限制的自然肢體姿勢，以重建遮蔽骨架。
人體運動狀態除能以倒單擺模型描述外，亦能以零力矩點(Zero Moment Point,ZMP)描述。當一個點受到所有身體支幹以及重力造成的力矩和為零時，稱為零力矩點。當零力矩點在支撐區域內時，不論當時人體動作是動態或靜態，則可保證人體的最終一定會達到(維持)靜態平衡。支撐區域通常指人雙腳及雙腳之間的凸包(Convex hull)。
零力矩點的計算方式為。其中，P點是空間中任意一點，P點為身體收到其他身體肢段i的動量m i (r i -P )×(-+g )。m i 是肢段i的質量，r i 和分別是肢段i的位置與加速度，g是重力加速度。當P點座標y軸限制為零時P有唯一解。
請同時參照第13圖及第14圖，第13圖繪示係為描述人體循環動作之示意圖，第14圖繪示係為有限狀態機平衡模型之示意圖。人體運動狀態除能以倒單擺模型及零力矩點描述外，還能以有限狀態機(Finite State Machine,FSM)描述。有限狀態機是一種描述人體循環動作的一種有效方式。舉例來說，走路或跑步都屬於一種循環動作，因此都能以第13圖繪示表示。故此，有限狀態機能用來處理人體動作在不同階段下的平衡模型。
有限狀態機平衡模型設定如下，每個狀態與參數t e 與d e 下式組成：d b =d 0 +c v v +c d d 。其中v為目前質心速度，d為目前質心到腳之間的投影水平距離，d b 是目標平衡腳落地位置，d 0 是此狀態質心初始位置，c v 與c d 則是常數參數。t e 是狀態停留的時間上限，d e 則是狀態切換距離的上限。
此種方法的特點是人體平衡三個主要變數：質心速度、質心位置與平衡落地位置，三者之間，原本就存在一個非線性的關係。此法使用有限狀態機切割此非線性關係，並用線性關係描述一個狀態內，三者之間的關係。因此可以有效處理一定動作變化的動作平衡。
綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
5．．．位置估算系統
51．．．記憶單元
52．．．運算單元
6．．．影像擷取單元
10．．．落地點範圍
11．．．統計分析圖
11a．．．運動速度曲線
11b．．．動作程度曲線
110、120、130、140、150、160．．．步驟
210．．．無重量竿子
220．．．固定支點
230．．．擺錘質心
320．．．遮蔽骨架支點
1110．．．根節點
1120．．．端點
θs 、θe ．．．角度
θSU ．．．初始角度
θOC2 ．．．目標角度
θOC1 ．．．遮蔽骨架角度
VSU ．．．初始速度
VOC2 ．．．目標速度
g．．．重力加速度
Ly．．．高度
v．．．目前質心速度
d．．．目前質心到腳之間的投影水平距離
第1圖繪示係為一種遮蔽骨架之重建方法之流程圖。
第2圖繪示係為統計分析圖。
第3圖繪示係為倒單擺之示意圖。
第4圖繪示係為遮蔽骨架所產生的倒單擺模型之示意圖。
第5圖繪示係為人體參考中心點之移動路徑之示意圖。
第6圖繪示係為人體運動狀態為初始姿態之示意圖。
第7圖繪示係為人體運動狀態為目標姿態之示意圖。
第8圖繪示係為人體運動狀態由初始姿態改變為目標姿態之示意圖。
第9圖繪示係為第8圖之等效示意圖。
第10圖繪示係為利用牛頓迭代法(Newton Iteration)產生遮蔽骨架角度之示意圖。
第11圖繪示係為產生落地點範圍之示意圖。
第12圖繪示係為以逆向運動學解出人體動作之示意圖。
第13圖繪示係為描述人體循環動作之示意圖。
第14圖繪示係為有限狀態機平衡模型之示意圖。
第15圖繪示係為位置估算系統之示意圖。
110、120、130、140、150、160．．．步驟

Claims (35)

  1. 一種遮蔽骨架之位置估算方法，包括：根據複數張連續運動影像預測一人體參考中心點之一移動路徑；根據該些連續運動影像中未遮蔽骨架之一運動資訊及該移動路徑估算一人體運動狀態；根據該人體運動狀態計算在維持人體平衡下該遮蔽骨架之一可能所在範圍；根據該遮蔽骨架之一歷史運動資訊預測該遮蔽骨架之一目前動作程度；以及根據該目前動作程度及該可能所在範圍估算該遮蔽骨架之一所在位置。
  2. 如申請專利範圍第1項所述之位置估算方法，其中該人體運動狀態係以一倒單擺模型描述。
  3. 如申請專利範圍第1項所述之位置估算方法，其中該人體運動狀態係以一零力矩點(Zero Moment Point,ZMP)描述。
  4. 如申請專利範圍第1項所述之位置估算方法，其中該人體運動狀態係以一有限狀態機(Finite State Machine,FSM)描述。
  5. 如申請專利範圍第1項所述之位置估算方法，其中該可能所在範圍係為該遮蔽骨架之落地點範圍。
  6. 如申請專利範圍第1項所述之位置估算方法，其中該移動路徑係根據一動量守恆(Conservation of Momentum)方程式而得。
  7. 如申請專利範圍第6項所述之位置估算方法，其中該移動路徑係由根據該動量守恆方程式及一朗格庫塔(Runge-Kutta)演算法以迭代的方式積分出該參考中心點於不同時間點的位置及速度。
  8. 如申請專利範圍第1項所述之位置估算方法，其中於計算一可能所在範圍之該步驟中係根據一能量守恆(Conservation of Energy)方程式及數值分析之一最佳逼近法計算該可能所在範圍。
  9. 如申請專利範圍第8項所述之位置估算方法，其中該最佳逼近法係為牛頓迭代法(Newton Iteration)。
  10. 如申請專利範圍第8項所述之位置估算方法，其中於計算一可能所在範圍之該步驟中係根據該能量守恆方程式、該最佳逼近法及該歷史運動資訊計算該可能所在範圍。
  11. 如申請專利範圍第1項所述之位置估算方法，其中於計算一可能所在範圍之該步驟中係根據一能量守恆方程式、一最佳逼近法及一預設資料計算該可能所在範圍。
  12. 如申請專利範圍第1項所述之位置估算方法，更包括：根據該所在位置重建該遮蔽骨架。
  13. 一種遮蔽骨架之重建方法，包括：根據複數張連續運動影像預測一人體參考中心點之一移動路徑；根據該些連續運動影像中未遮蔽骨架之一運動資訊及該移動路徑估算一人體運動狀態；根據該人體運動狀態計算在維持人體平衡下該遮蔽骨架之一可能所在範圍；根據該遮蔽骨架之一歷史運動資訊預測該遮蔽骨架之一目前動作程度；根據該目前動作程度及該可能所在範圍估算該遮蔽骨架之一所在位置；以及根據該所在位置重建該遮蔽骨架。
  14. 如申請專利範圍第13項所述之重建方法，其中該人體運動狀態係以一倒單擺模型描述。
  15. 如申請專利範圍第13項所述之重建方法，其中該人體運動狀態係以一零力矩點(Zero Moment Point,ZMP)描述。
  16. 如申請專利範圍第13項所述之重建方法，其中該人體運動狀態係以一有限狀態機(Finite State Machine,FSM)描述。
  17. 如申請專利範圍第13項所述之重建方法，其中該可能所在範圍係為該遮蔽骨架之落地點範圍。
  18. 如申請專利範圍第13項所述之重建方法，其中該移動路徑係根據一動量守恆(Conservation of Momentum)方程式而得。
  19. 如申請專利範圍第18項所述之重建方法，其中該移動路徑係由根據該動量守恆方程式及一朗格庫塔(Runge-Kutta)演算法以迭代的方式積分出該參考中心點於不同時間點的位置及速度。
  20. 如申請專利範圍第13項所述之重建方法，其中於計算一可能所在範圍之該步驟中係根據一能量守恆(Conservation of Energy)方程式及數值分析之一最佳逼近法計算該可能所在範圍。
  21. 如申請專利範圍第20項所述之重建方法，其中該最佳逼近法係為牛頓迭代法(Newton Iteration)。
  22. 如申請專利範圍第20項所述之重建方法，其中於計算一可能所在範圍之該步驟中係根據該能量守恆方程式、該最佳逼近法及該歷史運動資訊計算該可能所在範圍。
  23. 如申請專利範圍第13項所述之重建方法，其中於計算一可能所在範圍之該步驟中係根據一能量守恆方程式、一最佳逼近法及一預設資料計算該可能所在範圍。
  24. 一種遮蔽骨架之位置估算系統，包括：一記憶單元，用以記錄該遮蔽骨架之一歷史運動資訊；以及一運算單元，用以接收由一影像擷取單元傳送之複數張連續運動影像，並根據該些連續運動影像預測一人體參考中心點之一移動路徑，該運算單元根據該些連續運動影像中未遮蔽骨架之一運動資訊及該移動路徑估算一人體運動狀態，並根據該人體運動狀態計算在維持人體平衡下該遮蔽骨架之一可能所在範圍，該運算單元根據該歷史運動資訊預測該遮蔽骨架之一目前動作程度，並根據該目前動作程度及該可能所在範圍估算該遮蔽骨架之一所在位置。
  25. 如申請專利範圍第24項所述之位置估算系統，其中該人體運動狀態係以一倒單擺模型描述。
  26. 如申請專利範圍第24項所述之位置估算系統，其中該人體運動狀態係以一零力矩點(Zero Moment Point,ZMP)描述。
  27. 如申請專利範圍第24項所述之位置估算系統，其中該人體運動狀態係以一有限狀態機(Finite State Machine,FSM)描述。
  28. 如申請專利範圍第24項所述之位置估算系統，其中該可能所在範圍係為該遮蔽骨架之落地點範圍。
  29. 如申請專利範圍第24項所述之位置估算系統，其中該移動路徑係根據一動量守恆(Conservation of Momentum)方程式而得。
  30. 如申請專利範圍第29項所述之位置估算系統，其中該移動路徑係由根據該動量守恆方程式及一朗格庫塔(Runge-Kutta)演算法以迭代的方式積分出該參考中心點於不同時間點的位置及速度。
  31. 如申請專利範圍第24項所述之位置估算系統，其中該運算單元係根據一能量守恆(Conservation of Energy)方程式及數值分析之一最佳逼近法計算該可能所在範圍。
  32. 如申請專利範圍第31項所述之位置估算系統，其中該最佳逼近法係為牛頓迭代法(Newton Iteration)。
  33. 如申請專利範圍第31項所述之位置估算系統，其中該運算單元係根據該能量守恆方程式、該最佳逼近法及該歷史運動資訊計算該可能所在範圍。
  34. 如申請專利範圍第24項所述之位置估算系統，其中該運算單元係根據一能量守恆方程式、一最佳逼近法及一預設資料計算該可能所在範圍。
  35. 如申請專利範圍第24項所述之位置估算系統，其中該運算單元根據該所在位置重建該遮蔽骨架。
TW099142455A 2010-12-06 2010-12-06 遮蔽骨架之位置估算系統、遮蔽骨架之位置估算方法及遮蔽骨架之重建方法 TWI427558B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW099142455A TWI427558B (zh) 2010-12-06 2010-12-06 遮蔽骨架之位置估算系統、遮蔽骨架之位置估算方法及遮蔽骨架之重建方法
US13/039,492 US8417003B2 (en) 2010-12-06 2011-03-03 System for estimating location of occluded skeleton, method for estimating location of occluded skeleton and method for reconstructing occluded skeleton

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW099142455A TWI427558B (zh) 2010-12-06 2010-12-06 遮蔽骨架之位置估算系統、遮蔽骨架之位置估算方法及遮蔽骨架之重建方法

Publications (2)

Publication Number Publication Date
TW201225008A TW201225008A (en) 2012-06-16
TWI427558B true TWI427558B (zh) 2014-02-21

Family

ID=46161819

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099142455A TWI427558B (zh) 2010-12-06 2010-12-06 遮蔽骨架之位置估算系統、遮蔽骨架之位置估算方法及遮蔽骨架之重建方法

Country Status (2)

Country Link
US (1) US8417003B2 (zh)
TW (1) TWI427558B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
CN105528061A (zh) * 2014-09-30 2016-04-27 财团法人成大研究发展基金会 手势辨识系统
SG10201702332TA (en) * 2016-09-23 2018-04-27 Tata Consultancy Services Ltd Method and system for determining postural balance of a person
WO2018179664A1 (ja) * 2017-03-28 2018-10-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN108764079A (zh) * 2018-05-16 2018-11-06 山东管理学院 一种骨骼追踪系统及其方法
CN113111678B (zh) * 2019-12-25 2024-05-24 华为技术有限公司 一种用户的肢体节点的位置确定方法、装置、介质及系统
CN111489392B (zh) * 2020-03-30 2022-09-09 清华大学 多人环境下单个目标人体运动姿态捕捉方法及系统
CN112731952B (zh) * 2020-12-24 2022-03-01 深圳市优必选科技股份有限公司 一种机器人质心规划方法、装置、可读存储介质及机器人
CN116964593A (zh) * 2021-02-25 2023-10-27 纳米电子成像有限公司 制造环境中的模仿学习
US20230419730A1 (en) * 2022-06-27 2023-12-28 Amazon Technologies, Inc. Motion error detection from partial body view

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6784826B2 (en) * 2001-01-26 2004-08-31 Tera Research Incorporated Body motion tracking system
TW200937350A (en) * 2008-02-22 2009-09-01 Univ Nat Cheng Kung Three-dimensional finger motion analysis system and method
TW200945215A (en) * 2008-04-18 2009-11-01 Univ Nat Taiwan Image tracking system and method thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450736B2 (en) * 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
TW200818056A (en) 2006-10-12 2008-04-16 Nat Univ Tsing Hua Drivable simulation model combining curvature profile and skeleton and method of producing the same
TWI331731B (en) 2006-12-27 2010-10-11 Ind Tech Res Inst Method of utilizing multi-view images to solve occlusion problem for photorealistic model reconstruction
US20090002489A1 (en) 2007-06-29 2009-01-01 Fuji Xerox Co., Ltd. Efficient tracking multiple objects through occlusion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6784826B2 (en) * 2001-01-26 2004-08-31 Tera Research Incorporated Body motion tracking system
TW200937350A (en) * 2008-02-22 2009-09-01 Univ Nat Cheng Kung Three-dimensional finger motion analysis system and method
TW200945215A (en) * 2008-04-18 2009-11-01 Univ Nat Taiwan Image tracking system and method thereof

Also Published As

Publication number Publication date
US20120139925A1 (en) 2012-06-07
TW201225008A (en) 2012-06-16
US8417003B2 (en) 2013-04-09

Similar Documents

Publication Publication Date Title
TWI427558B (zh) 遮蔽骨架之位置估算系統、遮蔽骨架之位置估算方法及遮蔽骨架之重建方法
Yi et al. Physical inertial poser (pip): Physics-aware real-time human motion tracking from sparse inertial sensors
US8467904B2 (en) Reconstruction, retargetting, tracking, and estimation of pose of articulated systems
Ahmadi et al. 3D human gait reconstruction and monitoring using body-worn inertial sensors and kinematic modeling
Aristidou et al. Real-time marker prediction and CoR estimation in optical motion capture
US7859540B2 (en) Reconstruction, retargetting, tracking, and estimation of motion for articulated systems
Zhou et al. Reducing drifts in the inertial measurements of wrist and elbow positions
US20130271458A1 (en) Modeling human-human interactions for monocular 3d pose estimation
Andrews et al. Real-time physics-based motion capture with sparse sensors
CN109284006B (zh) 一种人体运动捕获装置和方法
JPWO2010027015A1 (ja) モーションキャプチャ装置
KR20130110441A (ko) 신체 제스처 인식 방법 및 장치
Xiao et al. Machine learning for placement-insensitive inertial motion capture
US20230067081A1 (en) System and method for real-time creation and execution of a human Digital Twin
Ahmed et al. A visual-inertial approach to human gait estimation
Palani et al. Real-time joint angle estimation using mediapipe framework and inertial sensors
Tao et al. Human modeling and real-time motion reconstruction for micro-sensor motion capture
Jiang et al. EgoPoser: Robust Real-Time Ego-Body Pose Estimation in Large Scenes
Xiang et al. Comparing real-time human motion capture system using inertial sensors with microsoft kinect
Ahmadi et al. Human gait monitoring using body-worn inertial sensors and kinematic modelling
Zhang et al. Ubiquitous human body motion capture using micro-sensors
Ji et al. Motion trajectory of human arms based on the dual quaternion with motion tracker
Pavllo et al. Real-time marker-based finger tracking with neural networks
WO2019152566A1 (en) Systems and methods for subject specific kinematic mapping
JP7464512B2 (ja) 三次元人物姿勢推定装置、方法およびプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees