TWI603294B - 基於影像的動作分析系統與方法 - Google Patents

基於影像的動作分析系統與方法 Download PDF

Info

Publication number
TWI603294B
TWI603294B TW105133603A TW105133603A TWI603294B TW I603294 B TWI603294 B TW I603294B TW 105133603 A TW105133603 A TW 105133603A TW 105133603 A TW105133603 A TW 105133603A TW I603294 B TWI603294 B TW I603294B
Authority
TW
Taiwan
Prior art keywords
joints
pair
subject
image
determining
Prior art date
Application number
TW105133603A
Other languages
English (en)
Other versions
TW201804435A (zh
Inventor
呂東武
盧炫綸
林晟楷
江昊
Original Assignee
岱宇國際股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 岱宇國際股份有限公司 filed Critical 岱宇國際股份有限公司
Application granted granted Critical
Publication of TWI603294B publication Critical patent/TWI603294B/zh
Publication of TW201804435A publication Critical patent/TW201804435A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/0048—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with cantilevered support elements pivoting about an axis
    • A63B22/0056—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with cantilevered support elements pivoting about an axis the pivoting movement being in a vertical plane, e.g. steppers with a horizontal axis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/06—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement
    • A63B22/0605—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement performing a circular movement, e.g. ergometers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/06—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement
    • A63B22/0664—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement performing an elliptic movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/807—Photo cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/02—Testing, calibrating or measuring of equipment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/20—Miscellaneous features of sport apparatus, devices or equipment with means for remote communication, e.g. internet or the like
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Primary Health Care (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)

Description

基於影像的動作分析系統與方法
本發明係有關動作分析（motion analysis），特別是關於一種基於影像以決定及分析主體（subject）的動作的系統與方法。
動作分析是生物力學（biomechanics）的一個重要學科，其相關於各種應用，例如平衡評估、力感測的測量、運動科學訓練、物理治療分析與健身設備操作等。動作分析一般係基於影像來執行，當主體（例如人類）進行特定動作時，系統會對主體擷取系列影像。根據該系列影像，系統決定主體於特定時間的各個身體肢段（segment）的位置。根據該些位置訊息，系統即可決定主體於該時間的動作或/且姿勢（posture）。
目前技術提供許多方法以執行基於影像的動作分析。其中一種動作分析的方法是追蹤主體的標誌器（marker）所發射信號。例如，主體穿戴配備有標誌器的衣服。標誌器可為被動式反射器（例如VICON TM系統），或者為可見光、紅外光的主動式發射器（例如PhaseSpace TM系統）。當主體移動時，系統使用多個相機從不同角度擷取該些標誌器的系列影像。根據該系列影像以及相機與主體的相對位置，系統追蹤該系列影像當中標誌器所反射影像的動作，用以決定主體的動作。
另一種動作分析的方法是投射標誌圖樣（pattern）於主體上，再根據反射圖樣的影像以追蹤主體的動作。例如，微軟（Microsoft）的Kinect TM系統投射紅外光圖樣於主體，再得到主體反射的紅外光圖樣的系列影像。根據反射的紅外光圖樣的系列影像，系統產生主體的深度影像。系統將部分深度影像映射（map）至主體的一或多個身體部位，再追蹤該系列影像當中相應的部分深度影像的動作。根據所追蹤的部分深度影像（及相應的身體部位）的動作，系統即可決定主體的動作。
上述兩種動作分析的方法都具有缺點。對於VICON TM系統而言，主體必須穿戴配備有光發射器的衣服，且需要使用多個相機以追蹤標誌器於三度空間的動作。這些硬體要求限制了VICON TM系統的應用場合。例如，VICON TM系統一般不適用於家庭或有限空間的場合。
另一方面，Kinect TM系統對於硬體的要求較少（例如僅需一紅外光發射器及一深度相機），且適用於有限空間的場合（例如家庭）。然而，Kinect TM系統的動作分析的準確度極為有限，因此不適用於高準確度的動作分析的應用。
本發明實施例提供一種使用主體的影像以決定主體的姿勢相關訊息的方法，該方法包含：接收主體於第一姿勢的第一影像；根據第一影像以決定第一對關節的第一位置；根據第一位置以決定第一對關節相關的第一身體肢段的第一身體肢段長度；接收主體於第二姿勢的第二影像；根據第二影像以決定第二對關節的第二位置；根據第二位置以決定第二對關節相關的第二身體肢段的第二身體肢段長度；根據第一身體肢段長度與第二身體肢段長度的關係以決定第一對關節與第二對關節是否相應至主體的同一對關節；如果第一對關節與第二對關節相應至主體的同一對關節，則根據第二位置以決定主體的姿勢訊息；及提供主體的姿勢訊息的相關指示。
本發明實施例還提供一種使用主體的影像以決定主體的姿勢相關訊息的系統，該系統包含：記憶體，儲存一組指令；及處理硬體，執行該組指令，其包含：接收主體於第一姿勢的第一影像；根據第一影像以決定第一對關節的第一位置；根據第一位置以決定第一對關節相關的第一身體肢段的第一身體肢段長度；接收主體於第二姿勢的第二影像；根據第二影像以決定第二對關節的第二位置；根據第二位置以決定第二對關節相關的第二身體肢段的第二身體肢段長度；根據第一身體肢段長度與第二身體肢段長度的關係以決定第一對關節與第二對關節是否相應至主體的同一對關節；如果第一對關節與第二對關節相應至主體的同一對關節，則根據第二位置以決定主體的姿勢訊息；及提供主體的姿勢訊息的相關指示。
以上的一般描述與底下的細節描述僅作為例示與說明之用，並非用以限縮本發明實施例。
以下揭示本發明實施例，其例示於所附的圖式。所有圖式當中的相同或類似元件則使用相同的元件符號來表示。
以下的說明及所附的圖式構成本說明書的一部份，用以闡述本發明實施例的目的、特徵及特色，操作方法及結構的相關元件的功能，元件的結合及製造的濟濟效用。圖式僅作為例示之用，並非用以限定本發明。說明書及申請專利範圍當中的單數形式也涵蓋了複數情形，除非另有說明。
本發明實施例提供一種使用主體的影像以決定主體的姿勢相關訊息的系統，該系統包含：記憶體，儲存一組指令；及處理硬體，執行該組指令，其包含：接收主體於第一姿勢的第一影像；根據第一影像以決定第一對關節的第一位置；根據第一位置以決定第一對關節相關的第一身體肢段的第一身體肢段長度；接收主體於第二姿勢的第二影像；根據第二影像以決定第二對關節的第二位置；根據第二位置以決定第二對關節相關的第二身體肢段的第二身體肢段長度；根據第一身體肢段長度與第二身體肢段長度的關係以決定第一對關節與第二對關節是否相應至主體的同一對關節；如果第一對關節與第二對關節相應至主體的同一對關節，則根據第二位置以決定主體的姿勢訊息；及提供主體的姿勢訊息的相關指示。
根據本發明實施例，系統可根據主體於第一姿勢的第一影像，以識別至少一身體肢段相關的至少二關節的第一位置及至少一身體肢段的身體肢段長度。系統還可根據主體的第二影像，以識別基於該身體肢段長度的至少二關節的第二位置。系統接著根據該至少二關節的第二位置以決定主體的第二姿勢。於決定身體肢段相關的關節的新位置時，系統至少考量預設身體肢段長度，因而得以改善主體改變姿勢時的關節位置追蹤的準確度，且能改善決定主體新姿勢的準確度。
第一圖例示本發明實施例基於影像的動作分析的系統100。如第一圖所示，系統100包含影像擷取裝置102與動作分析系統104。系統100還可包含顯示器106與輸入裝置108。系統100可用以擷取主體101的一或複數影像，再執行基於主體101的影像的動作分析。
在一些實施例中，影像擷取裝置102包含一或複數相機，用以擷取主體101的一或複數影像。相機可包含紅-綠-藍（RGB）相機、紅外光（IR）相機、深度（time-of-flight, TOF）相機等，用以擷取來自主體101的反射信號（例如可見光、紅外光或其他信號）以產生主體101的影像。如果影像擷取裝置102包含紅外光相機或深度相機，則影像擷取裝置102還包含信號發射裝置（例如紅外光發射器、射頻發射器等），用以投射信號至主體101以產生反射信號。紅外光相機與深度相機可提供主體101的三度位置訊息。此外，主體101可穿戴配備有一或複數信號發射器的衣服，且相機可擷取來至信號發射器的發射信號，形成影像的一部份。
根據影像擷取裝置102所擷取的影像資料，動作分析系統104可決定主體101於特定時間的動作或至少決定其姿勢。於決定姿勢時，動作分析系統104根據影像資料以決定主體101的一或複數身體肢段的位置（例如中間點）及身體肢段的方向。系統根據身體肢段的方向以決定主體101的姿勢。
在一些實施例中，動作分析系統104根據影像資料，首先識別一或複數關節及其位置，據以決定身體肢段的位置。第二A圖至第二D圖例示系統100於進行動作分析時所產生的資料。第二A圖顯示影像202當中主體101的輪廓。影像擷取裝置102擷取主體101於第一姿勢（例如站姿）的影像202。根據影像202（或含有影像202的一組影像），動作分析系統104可識別主體101的一些關節，包含肩關節204、肘關節206、腕關節207、髖關節208、膝關節210與踝關節212。一對關節可相關於身體肢段。例如，肩關節204與肘關節206相關於上臂肢段214，且肩關節204與肘關節206相關於下臂肢段215。
動作分析系統104可使用各種方式，根據影像202以識別關節。例如，動作分析系統104可將影像202的一部份與包含有已知關節影像的資料庫作比較，以決定影像202的該部份是否對應至關節。已知關節影像可包含反射自關節的信號（例如紅外光、可見光等）的特定圖樣所代表的資料。已知關節影像還可包含覆蓋關節的衣服的信號發射器所發射信號的特定圖樣所代表的資料。如果影像擷取裝置102同時擷取紅-綠-藍（RGB）影像與紅外光（或深度（TOF））影像，則動作分析系統104可對準紅-綠-藍（RGB）影像與紅外光影像，並從紅-綠-藍（RGB）影像偵測得到特定特徵以達成關節的識別。
當決定了紅外光影像的一部分包含有關節影像，動作分析系統104接著決定關節的三維位置。例如，動作分析系統104根據關節影像相對於紅外光影像邊界的位置，決定關節於二維平面（例如由互相垂直的x軸與y軸所定義）的座標。再者，如果紅外光影像包含深度影像，動作分析系統104也可根據深度影像所提供的深度訊息，決定三維（例如z軸垂直於x軸與y軸）座標。
當決定了影像202的關節，且決定了關節的三維位置，動作分析系統104可決定被識別的一對關節所定義的一或複數身體肢段。身體肢段的識別可根據一對關節之間的距離，並將該距離與臨界值作比較。臨界值的設定可根據平均肢段長度（例如平均手臂長度、腿肢段長度等），且根據關節的位置。如果距離超過臨界值，動作分析系統104即決定該對關節不相關於同一身體肢段，而是分別相關於不同的身體肢段。如圖所示，動作分析系統104決定肩關節204與髖關節208之距離超過平均手臂肢段長度，因此決定肩關節204與髖關節208不相關於同一身體肢段，而是分別相關於不同的身體肢段。
當識別了關節及相關身體肢段，動作分析系統104還可決定身體肢段的位置與方向。身體肢段的位置可由相關的一對關節的中間點來表示。再者，身體肢段的方向可由該對關節的相對位置所決定的方向向量來表示。例如，假設一對關節的三維座標為(x 1,y 1,z 1)與(x 2,y 2,z 2)，相關於該對關節的身體肢段的中間點的三維座標可由下式決定：
再者，身體肢段的方向可用以下的方向向量來表示： 其中 , , 為單位向量，每一單位向量相關於空間的預設方向。例如，一單位向量互相垂直，且每ㄧ單位向量對應至三維空間的一個維度。例如， 對應至x軸， 對應至y軸，且 對應至z軸。
第二C圖的表格220例示關節位置，每ㄧ位置相關於一關節識別符。例如，對於所示的第一影像，關節A、B、C的三維座標分別為(0.6, 0.6, 0.6), (0.8, 0.8, 0.8), (1.0, 0.9, 0.9)。此外，第二C圖的表格230例示身體肢段長度、位置（中間點）及相關於關節A、B、C的身體肢段的方向。例如，相關於關節A、B的身體肢段A-B的身體肢段長度為0.34，中間點座標為(0.7, 0.7, 0.7)，且方向向量為0.2 +0.2 +0.2 。該些資料可儲存於動作分析系統104所耦接的資料庫（未顯示於第一圖）。
在一些實施例中，表格220與230的資料可由一組第一影像來產生。例如，動作分析系統104接收主體101於第一姿勢的一組第一影像，據以決定關節A、B、C的位置，身體肢段長度、位置，及身體肢段A-B、B-C的方向。動作分析系統104還可決定第一影像的關節位置、身體肢段長度及方向的平均值。
除了擷取主體101於第一姿勢的影像202，影像擷取裝置102還可擷取主體101於第二姿勢的第二影像（或一組第二影像）。第二影像的擷取可早於或晚於第一影像。第二B圖顯示影像242當中主體101於第二姿勢（例如跑姿）的輪廓。動作分析系統104根據影像242（或包含影像242的一組影像）以決定主體101的第二姿勢。藉由識別影像242當中的關節及相關身體肢段的位置，且決定身體肢段的相對方向，即可決定第二姿勢。動作分析系統104根據前述技術（例如比較部分影像242與關節相關影像的資料庫）以識別第二影像的關節，並根據影像資料以決定關節的三維位置。根據上述關節的三維位置，可計算得到相關於該些關節的身體肢段長度及其中間點位置與方向。
第二D圖的表格260例示關節位置，每ㄧ位置相關於一關節識別符。例如，對於所示的第二影像，關節D、E、F的三維座標分別為(0.7, 0.7, 0.7), (0.9, 0.5, 0.5), (1.1, 0.6, 0.6)。此外，第二D圖的表格270例示身體肢段長度、位置（中間點）及相關於關節D、E、F的身體肢段的方向。例如，相關於關節D、E的身體肢段D-E的身體肢段長度為0.34，中間點座標為(0.8, 0.6, 0.6)，且方向向量為0.2 -0.2 -0.2 。該些資料可儲存於動作分析系統104所耦接的資料庫（未顯示於第一圖）。
於決定了第二影像的關節，動作分析系統104將第一影像所決定的主體101的一對關節與第二影像所決定的一對關節予以關連起來。將不同影像的關節予以關連，系統即可追蹤關節影像所顯示的關節動作。
將不同影像（例如影像202與242）所識別的關節予以關連的方法之一係決定影像242的一對關節的距離，再將該距離與影像202所決定的身體肢段長度作比較。由於多張影像所識別的相應關節對係代表同一關節對，且相關於相同的身體肢段，因此代表身體肢段長度的關節對的距離必須相同（或實質相同）於身體肢段長度。在一實施例中，如果兩者相差5%至30%即視為實質相同。然而，此範圍可根據各種考量（例如所需準確度、影像品質、資料妥善度、設計選擇度等）而改變。
舉例而言，動作分析系統104可決定影像242的肩關節244是否相應於影像202的肩關節204，以及影像242的肘關節246是否相應於影像202的肘關節206。動作分析系統104可選擇關節244與關節204（或關節246與關節206），根據該些關節是否位於身體的同一側以決定該些關節是否代表相同關節。動作分析系統104可決定上臂肢段243的長度（例如根據肩關節244與肘關節246之間的距離），並將該距離與影像202的上臂肢段214的長度作比較，以決定差異。動作分析系統104根據差異（例如差值的平方、差值的絕對值等）以決定一個值。如果該值小於臨界差值，動作分析系統104即可決定影像242的肩關節244相應於影像202的肩關節204，且影像242的肘關節246相應於影像202的肘關節206。
在一些實施例中，當決定二對關節是否相應於主體101的同一對關節時，動作分析系統104還可考量其他的關節（及相關的身體肢段長度）。例如，動作分析系統104可決定一組相應關節對，並將第二影像（例如影像242）所決定的身體肢段長度與第一影像（例如影像202）所決定的身體肢段長度的差值予以最小化，如下所示： 其中，SL i代表第二影像所決定的身體肢段長度，SL i*代表第一影像所決定的身體肢段長度，且函數f(SL i)產生SL i和SL i*差值的平方。動作分析系統104使用最佳化演算法，例如序列二次規劃法（sequential quadratic programming, SQP）、牛頓法（Newton method）或其他演算法，以決定第一影像的關節與第二影像的關節之間的映射，用以最小化f(SL i)，且將不同影像所決定的相應身體肢段的差異予以最小化。在一例子中，系統決定一組相應關節對，並將以下的加總函數的輸出值予以最小化：
在一些實施例中，加總函數的每ㄧ項(SL i-SL i*) 2也可予以加權（weight）。
在一些實施例中，於決定影像之間關節的映射時，動作分析系統104也可考量其他因素。例如，對於關節的某一特定映射，動作分析系統104可決定關節相關的身體肢段形成的特定角度。如果該角度超過已知關節結構所決定的臨界角度，動作分析系統104即決定該映射為無效。如圖所示，假設根據特定的關節映射，動作分析系統104決定影像242的上臂肢段243與下臂肢段245形成內角248。如果內角248超過肘關節所允許的最大角度180度，動作分析系統104即決定影像242的上臂肢段243並非真正的上臂肢段，或/且下臂肢段245並非真正的下臂肢段。因此，動作分析系統104可將影像242的上臂肢段243與下臂肢段245的特定映射予以捨棄。動作分析系統104於後續分析時，可選擇不同的映射。
根據不同影像的關節之間的映射關係，動作分析系統104可追蹤身體肢段的動作（或位置改變或/且方向）。例如，參閱第二C圖及第二D圖，動作分析系統104可決定第二D圖的身體肢段D-E相關於第二C圖的身體肢段A-B，且第二D圖的身體肢段E-F相關於第二C圖的身體肢段B-C。因此，動作分析系統104可決定表格270的中間點與方向訊息反映出主體101的左上臂肢段與下臂肢段。
根據本發明實施例，於決定身體肢段相關關節的新位置時，由於系統至少考量預先決定的身體肢段長度，當主體101改變姿勢時，所追蹤的關節位置的準確度以及決定主體101的新姿勢的準確度因而得以改善。如前所述，主體101的動作追蹤可適用於許多的應用當中。該些應用可包含平衡評估、力感測的測量、運動科學訓練、物理治療分析與健身設備操作等。較準確的動作追蹤可改善該些應用的效率，也可增進使用者的體驗。
第三圖例示第一圖的動作分析系統104的系統300。系統300可包含處理硬體310、記憶硬體320及介面硬體330。
處理硬體310可包含一或複數已知處理裝置，例如微處理器、微控制器等，其可程式化以執行一組指令。記憶裝置320可包含一或複數儲存裝置，用以儲存處理硬體310所使用的指令，以執行本發明實施例的相關功能。例如，記憶硬體320可儲存軟體指令（例如應用程式350），其可由處理硬體310來執行以進行操作。本發明實施例不限定於執行專門工作的個別程式或電腦。
介面硬體330可包含輸出入裝置。例如，輸出入裝置可包含輸出裝置，例如顯示器、揚聲器等，而輸入裝置可包含相機、鍵盤等。介面硬體330還可包含網路介面，其可包含各種協定（例如無線區域網路（Wi-Fi）、藍牙（Bluetooth®）、行動電話連接等）的無線連接介面、有線連接（例如乙太網路（Ethernet）等）。介面硬體330的網路介面根據動作分析的結果，使得系統300可控制其他裝置（例如包含相應網路介面的健身設備）的操作。
系統300可執行應用程式350的軟體程式，其包含一或複數軟體模組，用以提供本說明書所述的各種功能。如第三圖所示，應用程式350包含校準模組352、關節位置追蹤模組354及輸出決定模組356。
校準模組352接收主體101於第一姿勢的第一影像（例如第二A圖的影像202或一組第一影像），並藉由比較部分第一影像與已知關節影像，以識別第一影像的一組關節。第一影像可由紅外光相機、深度（TOF）相機等獲得，且可包含深度訊息。當識別了第一影像的關節，校準模組352根據深度訊息與第一影像的關節位置，以決定關節的三維座標。校準模組352還可根據關節位置以決定一組身體肢段，每ㄧ身體肢段相關於一對關節。校準模組352還可決定一組身體肢段的位置（例如身體肢段的中間點），及身體肢段長度。如前所述，第一影像所決定的關節位置與身體肢段長度可作為參考，用以改善關節位置的追蹤改變的準確度，藉此應用程式350可決定身體姿勢。
關節位置追蹤模組354接收第二影像（例如影像242或一組第二影像）並追蹤第二影像的關節動作。關節位置追蹤模組354可識別第二影像的關節（例如藉由比較部分第二影像與已知關節影像，或一組第二影像），並決定第二影像的關節的三維座標。關節位置追蹤模組354可決定第二影像所識別的關節與（校準模組352所識別的）第一影像的關節之間的映射關係，以追蹤關節的動作。
如前所述，於決定映射關係時，決定第一影像的第一對關節相關的第一身體肢段長度，並比較第一身體肢段長度與第二影像的第二對關節相關的第二身體肢段長度，以產生差異。如果差異（或根據差異所產生的值）小於差異臨界值，則第一對關節與第二對關節係代表同一對關節。在一些實施例中，於決定映射時，可根據最佳化演算法，例如序列二次規劃法（SQP）、牛頓法或其他演算法，用以將不同關節對相關的身體肢段長度的差異予以最小化。根據關節的映射，關節位置追蹤模組354還可追蹤關節相關的身體肢段的位置與方向，據以決定主體101的身體姿勢。
輸出決定模組356根據關節位置追蹤模組354所決定的身體肢段位置與方向，以產生額外訊息。可根據特定應用以產生額外訊息。例如，輸出決定模組356可針對至少一部分身體肢段以決定質量中心位置。身體肢段的質量中心位置可根據身體肢段的質量平均分佈與身體肢段的位置來決定。在一實施例中，如果手臂肢段的質量密度為平均分佈，則輸出決定模組356即決定手臂肢段的中間點為手臂肢段的質量中心。藉此，系統即可決定質量中心的位置。
質量中心位置訊息可用於各種的應用。在一實施例中，當具特定姿勢的使用者位於影像擷取裝置（例如第一圖的影像擷取裝置102）前，質量中心位置訊息可用以執行平衡評估。系統可根據影像擷取裝置所擷取的影像，以追蹤該使用者的一或複數身體肢段相關的質量中心位置的改變（及其範圍），以評估該使用者於一段期間維持特定姿勢的能力。根據評估結果，系統即可執行平衡評估。評估還可包含其他因素，例如使用者的年齡、使用者站立的表面狀態（例如為堅固表面或軟質表面）、使用者的身體狀態（例如使用者是否目視地面）。
於另一實施例中，使用者位於影像擷取裝置前維持一組靜態姿勢（例如雙腳站立、單腳站立、前後腳站立），質量中心位置訊息可用以執行平衡錯誤評分系統（balance error scoring system, BESS）以進行震盪評估（concussion assessment）。系統將影像擷取裝置所擷取影像的質量中心位置與一組參考位置作比較，以決定是否有任何偏離及其偏離範圍。偏離可表示頭部受傷對於靜態姿勢保持能力的影響，且系統可根據比較結果以提供平衡錯誤評分系統（BESS）評估。評估還可包含其他因素，例如使用者的年齡、使用者站立的表面狀態（例如為堅固表面或軟質表面）、使用者的身體狀態（例如使用者是否目視地面）。
在另一實施例中，使用者於影像擷取裝置前作動作，質量中心位置訊息可用以執行跌倒風險（fall-risk）評估。例如，根據影像擷取裝置所擷取的影像，追蹤質量中心位置的改變（例如追蹤關節與相關身體肢段的位置改變），系統可決定身體肢段（例如腳、踝、足等）隨時間的系列相對動作。系統比較該系列與特定跌倒風險相關的參考資料。根據比較結果，系統可決定使用者進行該動作時的跌倒風險。評估還可包含其他因素，例如使用者的年齡、使用者站立的表面狀態（例如為堅固表面或軟質表面）、使用者的身體狀態（例如使用者是否目視地面）。
在一實施例中，系統300所提供的身體姿勢結果可與健身設備（例如跑步機）的操作相結合。第四圖顯示本發明實施例當中系統300的應用。第四圖顯示跑步機400，其可結合第一圖的影像擷取裝置102與第三圖的系統300（其作為第一圖的動作分析系統104）。例如，當主體401於跑步機400上跑步時，影像擷取裝置102擷取主體401的複數影像。根據影像資料，校準模組352決定一組關節與身體肢段的位置（其顯示為點與棒），且當主體401於跑步機400上跑步時，關節位置追蹤模組354追蹤該組關節與身體肢段的位置。輸出決定模組356根據關節位置追蹤模組354所決定主體401的姿勢狀態，以決定事件（例如主體401跌落跑步機400）的機率。
除了姿勢狀態，輸出決定模組356更根據身體肢段的位置與方向，以決定主體401的質量中心位置。例如，輸出決定模組356可針對至少部分的身體肢段以決定質量中心位置。根據身體肢段的平均質量分佈與身體肢段位置，可決定身體肢段的質量中心位置。在一實施例中，如果手臂肢段的質量密度為平均分佈，則輸出決定模組356即決定手臂肢段的中間點為手臂肢段的質量中心。
於決定了主體401的至少部分身體肢段的質量中心位置，如果主體401的質量中心位置相對於跑步機400位置與事件有關，則輸出決定模組356即可決定事件的機率。在一實施例中，當主體401於跑步機400上跑步時，主體401可能（因為無法跟上跑步機400）失去平衡而跌落跑步機400。主體401即將失去平衡的偵測可根據主體401的姿勢、主體401相對於跑步機400的總質量中心（或/且使用者部分身體肢段的質量中心位置），其顯示主體401可能（例如向前、向後或向側邊）傾斜而跌落跑步機400。
如果輸出決定模組356根據前述訊息而決定主體401跌落跑步機400的機率超出臨界值，輸出決定模組356即產生指示信號以警告主體401。指示信號可包含閃光或/且警示音，其由跑步機400的輸出單元402所輸出。此外，輸出決定模組356還傳送信號至跑步機400的各元件（例如一或複數馬達，其控制跑步機400的速度或/且傾斜角度），控制跑步機400以降低速度或/且降低傾斜角度，以降低使用者跌落跑步機400的機率。
雖然第四圖提供輸出決定模組356結合跑步機400以增進安全的應用例，然而輸出決定模組356也可根據關節位置追蹤模組354所決定姿勢訊息與其他設備相結合，例如可調整重量的重量訓練設備、橢圓機（elliptical）、健身腳踏車、腳踏車、斜躺（recumbent）腳踏車、物理治療裝置、踏步機（stepper）等。在這些例子中，根據（使用者操作這些設備時的）姿勢訊息與該些設備的操作狀態，輸出決定模組356可決定導致傷害（例如跌落腳踏車、可調重量造成肌肉斷裂等）事件的機率，控制設備使其避免受傷。例如，輸出決定模組356結合舉重機器時，當決定使用者的姿勢狀態會導致傷害時，輸出決定模組356可調整使用者所舉的重量，或增加輔助力。
在一些實施例中，輸出決定模組356還可提供主體401的姿勢相關的指示訊息。該指示可包含通知（notification）、警告等。例如，如前所述，使用者操作可調整重量的重量訓練設備時，當輸出決定模組356決定使用者姿勢符合特定準則（例如過度伸展肌肉而增加肌肉受傷的機率）時，輸出決定模組356即產生警告（例如閃光或警示訊息的語音輸出等）以警告主體。在一些例子中，輸出決定模組356還可產生指示，表示主體的姿勢需要進一步評估，該指示可傳送至評估者（例如訓練師、物理治療師等），讓評估者對主體進行評估。
在一些實施例中，可產生指示以表示主體處於預定姿勢，因此不需作調整或評估。例如，可提供通知給主體，表示目前姿勢為適當的。在一些實施例中，當主體的姿勢為適當時，則不提供任何通知給主體。例如，僅當姿勢為不適當時才會發出閃光，然而當姿勢為適當時則不發出閃光。
在一些實施例中，輸出決定模組356還可產生其他特定應用訊息。例如，輸出決定模組356追蹤使用者姿勢的改變，以決定運動中主體的動作、姿勢、重心、身體肢段的目前或相對角度等是否位於適當範圍內。輸出決定模組356還可決定訓練效率。例如，輸出決定模組356於一段期間追蹤使用者姿勢的改變。根據姿勢的改變以及使用者的重量（或/且使用者所攜帶的額外重量），輸出決定模組356估計使用者於該期間所燃燒熱量，作為訓練效率的指示。此外，當身體肢段（例如手臂肢段）舉重時，輸出決定模組356根據身體肢段的動作方向與速度（例如於預設期間追蹤關節動作的距離與方向），以預測身體肢段的位置與方向。根據該些訊息，輸出決定模組356還可決定使用者於舉重時是否以特定方式運動特定群的肌肉，該決定可用以表示訓練效率。
第五A圖與第五B圖例示本發明實施例的方法500的流程圖。方法500可由系統（例如第三圖的系統300）來執行，其自相機（例如紅外光相機、深度（TOF）相機等）接收影像資料。
首先，於步驟S502，系統接收主體於至少第一姿勢的第一影像（或一組第一影像）。第一影像可包含紅外光影像、深度（TOF）影像等，也可包含訊息使得系統可決定影像中所識別的特徵的三維座標。例如，第一影像可為紅外光深度影像。
系統進入步驟S504，根據第一影像（或該組第一影像）以決定第一對關節相關的第一資料組。第一資料組可包含第一對關節相關的部分第一影像所代表的資料。藉由比較部分第一影像與已知關節影像，因而識別出部分第一影像。
於決定了第一資料組（步驟S504）後，系統進入步驟S506，根據第一資料組以決定第一對關節的第一位置，及第一對關節相關的第一身體肢段的第一身體肢段長度。在一些實施例中，第一影像可為紅外光深度影像，且第一位置表示為三維座標。於步驟S506，系統根據第一位置以決定第一對關節的距離，再根據該距離以決定第一對關節相關的第一身體肢段的第一身體肢段長度。系統還根據第一對關節的第一位置以決定第一身體肢段的位置與方向。在一些實施例中，以第三圖的校準模組352來執行方法500的步驟S502與S506。
系統進入步驟S508，接收主體於第二姿勢的第二影像（或一組第二影像）。系統接著進入步驟S510，根據第二影像（或該組第二影像）以決定第二對關節相關的第二資料組。第二資料組可包含第二對關節相關的部分第二影像所表示的資料。藉由比較部分第二影像與已知關節影像，因而識別出部分第二影像。
於決定了第二資料組後，系統進入步驟S512，根據第二資料組以決定第二對關節的第二位置，且根據第二位置以決定第二對關節相關的第二身體肢段的第二身體肢段長度，此步驟類似於步驟S506，其決定第一對關節的第一位置及第一身體肢段的第一身體肢段長度。
於決定了第二身體肢段長度（步驟S512）後，系統根據第二身體肢段長度以決定第一影像的第一對關節與第二影像的第二對關節是否為主體的同一對關節。為此，系統於步驟S514決定第二身體肢段長度是否符合一或複數第一預設準則。第一預設準則可包含第一身體肢段與第二身體肢段的差異所相關的值（例如差值的平方、差值的絕對值等）小於臨界差值。
如果系統決定第二身體肢段長度未符合步驟S514的該些第一預設準則，系統進入步驟S518，更新第二位置的決定。該更新可包含從第二影像識別出另一對不同關節，決定其位置作為更新後的第二位置。該更新也可包含加入偏移量（offset）以調整步驟S512所決定的第二位置。
於更新了第二位置的決定（步驟S518）後，系統於步驟S520決定更新後的第二位置是否符合一或複數第二預設準則。該決定可包含將第一影像所識別的第一組關節對（其包含第一關節對）映射至第二影像所識別的第二組關節對（其包含第二關節對）。接著，系統決定第一組關節對相關的身體肢段長度與第二組關節對相關的身體肢段長度的差異是否已最小化，用以決定更新後的第二位置是否符合一或複數第二預設準則。
在一些實施例中，步驟S520所作決定可根據最佳化演算法，例如序列二次規劃法（SQP）、牛頓法等，其可為疊代的（iterative）。例如，如果系統決定更新後的第二位置並未將第一影像與第二影像所決定的身體肢段長度的差異予以最小化（因此並未符合一或複數第二預設準則）（步驟S520），則系統回到步驟S518以更新第二位置的決定（例如選擇不同關節對、加入偏移量等）。在一些實施例中，步驟S520的決定可包含其他考量，例如關節結構的最大允許角度。如果根據第二影像的一組關節的第二位置所決定的二身體肢段形成的內角超過關節結構的最大允許角度，系統則捨棄該組第二位置，並回到步驟S518以更新第二位置的決定。
另一方面，如果系統決定更新後的第二位置符合一或複數第二預設準則（步驟S520），則系統進入步驟S522並根據更新後的第二位置以更新第二身體肢段長度。接著，系統回到步驟S514以決定更新後的第二身體肢段是否符合第一預設準則。在一些實施例中，以第三圖的關節位置追蹤模組354來執行方法500的步驟S508至S514。
另一方面，如果系統決定第二身體肢段長度符合一或複數第一預設準則（步驟S514），則系統進入步驟S516，根據第二位置以決定第二身體肢段的位置與方向。接著，系統進入第五B圖的步驟S524，根據身體肢段的位置與方向以決定主體的一或複數身體肢段相關的質量中心位置。系統接著進入步驟S526，根據質量中心位置以決定輸出裝置的輸出。例如，系統可執行以下至少一項：平衡評估、（例如基於平衡錯誤評分系統（BESS）的）震盪評估、跌倒風險評估等。系統還可根據質量中心位置以決定事件（例如使用者跌落跑步機）的機率已超出臨界值，因而根據該決定以產生警告信號或控制信號至跑步機。
軟體開發者可根據本說明書所述方法以產生電腦程式。可使用各種程式撰寫技術以產生程式或程式模組。例如，程式片段或程式模組可使用Java、C、C++、組合語言或其他程式語言來設計。一或複數軟體片段或模組可整合為電腦系統、電腦可讀取媒體或通信軟體，以執行前述的特定功能。
以上所述僅為本發明的實施例，本發明的範圍可包含任何或全部實施例，且可根據本說明書置換等效元件、作等效修改、省略、結合（例如跨多個實施例）、改編或變更。申請專利範圍當中的元件應根據所用文字作廣泛解釋，而非限定於說明書或審查過程所述的例子，該些例子並非唯一的。再者，方法步驟可作修改，例如步驟順序重排或插入、刪除步驟。因此，說明書及例子僅作為例示之用，本發明的範圍應以下述之申請專利範圍及其等效為準。
100‧‧‧系統
101‧‧‧主體
102‧‧‧影像擷取裝置
104‧‧‧動作分析系統
106‧‧‧顯示器
108‧‧‧輸入裝置
202‧‧‧影像
204‧‧‧肩關節
206‧‧‧肘關節
207‧‧‧腕關節
208‧‧‧髖關節
210‧‧‧膝關節
212‧‧‧踝關節
214‧‧‧上臂肢段
215‧‧‧下臂肢段
220‧‧‧表格
230‧‧‧表格
242‧‧‧影像
243‧‧‧上臂肢段
244‧‧‧肩關節
245‧‧‧下臂肢段
246‧‧‧肘關節
247‧‧‧腕關節
248‧‧‧內角
260‧‧‧表格
270‧‧‧表格
300‧‧‧系統
310‧‧‧處理硬體
320‧‧‧記憶硬體
330‧‧‧介面硬體
350‧‧‧應用程式
352‧‧‧校準模組
354‧‧‧關節位置追蹤模組
356‧‧‧輸出決定模組
400‧‧‧跑步機
401‧‧‧主體
402‧‧‧輸出單元
500‧‧‧方法
S502‧‧‧接收主體於第一姿勢的第一影像
S504‧‧‧根據第一影像以決定第一對關節相關的第一資料組
S506‧‧‧根據第一資料組以決定第一對關節的第一位置及第一對關節相關的第一身體肢段的第一身體肢段長度
S508‧‧‧接收主體於第二姿勢的第二影像
S510‧‧‧根據第二影像以決定第二對關節相關的第二資料組
S512‧‧‧根據第二資料組以決定第二對關節的第二位置及第二對關節相關的第二身體肢段的第二身體肢段長度
S514‧‧‧決定第二身體肢段長度是否符合一或複數第一預設準則
S516‧‧‧根據第二位置以決定主體的姿勢或平衡狀態
S518‧‧‧更新第二位置的決定
S520‧‧‧決定更新後的第二身體肢段長度是否符合一或複數第二預設準則
S522‧‧‧更新第二身體肢段長度的決定
S524‧‧‧根據身體肢段的位置與方向以決定主體的一或複數身體肢段相關的質量中心位置
S526‧‧‧根據質量中心位置以決定輸出裝置的輸出
所附圖式構成本說明書的一部分，其與文字說明共同闡述本發明實施例。圖式包含： 第一圖例示本發明實施例基於影像的動作分析的系統。 第二A圖至第二D圖例示本發明實施例第一圖的系統於進行動作分析時所產生的資料。 第三圖的方塊圖例示本發明實施例基於影像的動作分析系統。 第四圖例示本發明實施例基於影像的動作分析系統的應用。 第五A圖與第五B圖例示本發明實施例的方法的流程圖。
100‧‧‧系統
101‧‧‧主體
102‧‧‧影像擷取裝置
104‧‧‧動作分析系統
106‧‧‧顯示器
108‧‧‧輸入裝置

Claims (16)

  1. 一種使用主體的影像以決定主體的姿勢相關訊息的方法，該方法包含：接收主體於第一姿勢的第一影像；根據該第一影像以決定第一對關節的第一位置；根據該第一位置以決定該第一對關節相關的第一身體肢段的第一身體肢段長度；接收該主體於第二姿勢的第二影像；根據該第二影像以決定第二對關節的第二位置；根據該第二位置以決定該第二對關節相關的第二身體肢段的第二身體肢段長度；根據該第一身體肢段長度與該第二身體肢段長度的關係以決定該第一對關節與該第二對關節是否相應至該主體的同一對關節；如果該第一對關節與該第二對關節相應至該主體的同一對關節，則根據該第二位置以決定該主體的姿勢訊息；及提供該主體的姿勢訊息的相關指示；其中決定該第一對關節與該第二對關節是否相應至該主體的同一對關節的步驟包含：根據最佳化演算法以降低該第一身體肢段長度與該第二身體肢段長度之間的差異。
  2. 根據申請專利範圍第1項所述使用主體的影像以決定主體的姿勢相關訊息的方法，其中該最佳化演算法包含至少以下之一：序列二次規劃法及牛頓法。
  3. 根據申請專利範圍第1項所述使用主體的影像以決定主體的姿勢相關訊息的方法，其中決定該第一對關節與該第二對關節是否相應至該主體的同一對關節的步驟包含：根據該第二影像以決定第三對關節，其包含該第二對關節之一關節；決定該第三對關節相關的第三身體肢段；及決定該第二身體肢段與該第三身體肢段之間的角度；其中，如果該角度小於臨界值，則該第一對關節與該第二對關節相應至該主體的同一對關節。
  4. 一種使用主體的影像以決定主體的姿勢相關訊息的方法，該方法包含：接收主體於第一姿勢的第一影像；根據該第一影像以決定第一對關節的第一位置；根據該第一位置以決定該第一對關節相關的第一身體肢段的第一身體肢段長度；接收該主體於第二姿勢的第二影像；根據該第二影像以決定第二對關節的第二位置；根據該第二位置以決定該第二對關節相關的第二身體肢段的第二身體肢段長度； 根據該第一身體肢段長度與該第二身體肢段長度的關係以決定該第一對關節與該第二對關節是否相應至該主體的同一對關節；如果該第一對關節與該第二對關節相應至該主體的同一對關節，則根據該第二位置以決定該主體的姿勢訊息；及提供該主體的姿勢訊息的相關指示；其中該主體的姿勢訊息包含該主體的質量中心的估計位置；其中決定該主體的姿勢訊息的步驟包含：根據該第二影像與該主體的複數身體肢段的肢段密度以決定該主體的估計質量中心。
  5. 一種使用主體的影像以決定主體的姿勢相關訊息的系統，該系統包含：記憶體，儲存一組指令；及處理硬體，執行該組指令，其包含：接收主體於第一姿勢的第一影像；根據該第一影像以決定第一對關節的第一位置；根據該第一位置以決定該第一對關節相關的第一身體肢段的第一身體肢段長度；接收該主體於第二姿勢的第二影像；根據該第二影像以決定第二對關節的第二位置；根據該第二位置以決定該第二對關節相關的第二身體肢段的第二身體肢段長度；根據該第一身體肢段長度與該第二身體肢段長度的關係以決定該第一對關節與該第二對關節是否相應至該主體的同一對關節； 如果該第一對關節與該第二對關節相應至該主體的同一對關節，則根據該第二位置以決定該主體的姿勢訊息；及提供該主體的姿勢訊息的相關指示；其中決定該第一對關節與該第二對關節是否相應至該主體的同一對關節的步驟包含：該處理硬體執行該組指令，根據最佳化演算法以降低該第一身體肢段長度與該第二身體肢段長度之間的差異。
  6. 根據申請專利範圍第5項所述使用主體的影像以決定主體的姿勢相關訊息的系統，其中該最佳化演算法包含至少以下之一：序列二次規劃法及牛頓法。
  7. 根據申請專利範圍第5項所述使用主體的影像以決定主體的姿勢相關訊息的系統，其中決定該第一對關節與該第二對關節是否相應至該主體的同一對關節的步驟包含該處理硬體執行該組指令，其包含：根據該第二影像以決定第三對關節，其包含該第二對關節之一關節；決定該第三對關節相關的第三身體肢段；及決定該第二身體肢段與該第三身體肢段之間的角度；其中，如果該角度小於臨界值，則該第一對關節與該第二對關節相應至該主體的同一對關節。
  8. 根據申請專利範圍第5項所述使用主體的影像以決定主體的姿勢相關訊息的系統，其中該主體的姿勢訊息包含至少以下之一：目前姿勢、目前平衡狀態及預測平衡狀態。
  9. 根據申請專利範圍第5項所述使用主體的影像以決定主體的姿勢相關訊息的系統，其中決定該主體的姿勢訊息的步驟包含：該處理硬體執行該組指令，根據該第二位置以決定該第二身體肢段的位置與方向的至少其中之一。
  10. 根據申請專利範圍第5項所述使用主體的影像以決定主體的姿勢相關訊息的系統，其中該差異包含加權差異。
  11. 根據申請專利範圍第5項所述使用主體的影像以決定主體的姿勢相關訊息的系統，其中該第二影像包含於第二影像組，其包含該主體於不同時間的二或多張個別影像。
  12. 根據申請專利範圍第5項所述使用主體的影像以決定主體的姿勢相關訊息的系統，其中該第一位置與該第二位置的至少其中之一係根據以下來決定：用以識別該主體的身體肢段與關節的至少其中之一的標誌器的位置訊息。
  13. 根據申請專利範圍第5項所述使用主體的影像以決定主體的姿勢相關訊息的系統，其中該主體的姿勢訊息包含至少以下之一：該主體的動作方向及該主體的動作速度。
  14. 根據申請專利範圍第5項所述使用主體的影像以決定主體的姿勢相關訊息的系統，其中該主體的姿勢訊息用以決定訓練效率。
  15. 根據申請專利範圍第5項所述使用主體的影像以決定主體的姿勢相關訊息的系統，當該主體運動時，其中該指示表示至少以下之一是否位於適當範圍內：動作、姿勢、重心、該主體的身體肢段的目前或相對角度、負載、速度、靜態平衡、動態平衡及期間。
  16. 一種使用主體的影像以決定主體的姿勢相關訊息的系統，該系統包含：記憶體，儲存一組指令；及處理硬體，執行該組指令，其包含：接收主體於第一姿勢的第一影像；根據該第一影像以決定第一對關節的第一位置；根據該第一位置以決定該第一對關節相關的第一身體肢段的第一身體肢段長度；接收該主體於第二姿勢的第二影像；根據該第二影像以決定第二對關節的第二位置；根據該第二位置以決定該第二對關節相關的第二身體肢段的第二身體肢段長度；根據該第一身體肢段長度與該第二身體肢段長度的關係以決定該第一對關節與該第二對關節是否相應至該主體的同一對關節； 如果該第一對關節與該第二對關節相應至該主體的同一對關節，則根據該第二位置以決定該主體的姿勢訊息；及提供該主體的姿勢訊息的相關指示；其中該主體的姿勢訊息包含該主體的質量中心的估計位置；其中決定該主體的姿勢訊息的步驟包含該處理硬體執行該組指令，其包含：根據該第二影像與該主體的複數身體肢段的肢段密度以決定該主體的估計質量中心。
TW105133603A 2016-07-18 2016-10-18 基於影像的動作分析系統與方法 TWI603294B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662363804P 2016-07-18 2016-07-18
US62/363,804 2016-07-18
US15/214,375 2016-07-19
US15/214,375 US9870622B1 (en) 2016-07-18 2016-07-19 Systems and methods for analyzing a motion based on images

Publications (2)

Publication Number Publication Date
TWI603294B true TWI603294B (zh) 2017-10-21
TW201804435A TW201804435A (zh) 2018-02-01

Family

ID=57629879

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105133603A TWI603294B (zh) 2016-07-18 2016-10-18 基於影像的動作分析系統與方法

Country Status (4)

Country Link
US (1) US9870622B1 (zh)
CN (2) CN107632698B (zh)
DE (1) DE202016106187U1 (zh)
TW (1) TWI603294B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9870622B1 (en) * 2016-07-18 2018-01-16 Dyaco International, Inc. Systems and methods for analyzing a motion based on images
WO2018087933A1 (ja) * 2016-11-14 2018-05-17 富士通株式会社 情報処理装置、情報処理方法、およびプログラム
JP6922410B2 (ja) * 2017-05-19 2021-08-18 富士通株式会社 姿勢判定プログラム、姿勢判定装置及び姿勢判定方法
US11771958B2 (en) * 2017-07-07 2023-10-03 Rika TAKAGI Instructing process management system for treatment and/or exercise, and program, computer apparatus and method for managing instructing process for treatment and/or exercise
CN108497568A (zh) * 2018-03-18 2018-09-07 江苏特力威信息系统有限公司 一种运动服及基于二维码识别的肢体测量方法及装置
CN108542021A (zh) * 2018-03-18 2018-09-18 江苏特力威信息系统有限公司 一种运动服及基于色条识别的肢体测量方法及装置
CN108537284A (zh) * 2018-04-13 2018-09-14 东莞松山湖国际机器人研究院有限公司 基于计算机视觉深度学习算法的姿态评估打分方法和系统
US10661119B2 (en) * 2018-04-30 2020-05-26 James P. Bradley Autonomous safety system for a treadmill
EP3574828B8 (en) * 2018-05-28 2020-12-30 Kaia Health Software GmbH Monitoring the performance of physical exercises
JP7205201B2 (ja) * 2018-12-05 2023-01-17 富士通株式会社 表示方法、表示プログラムおよび情報処理装置
JP7137150B2 (ja) * 2019-03-14 2022-09-14 オムロン株式会社 動作分析装置、動作分析方法及び動作分析プログラム
CN110782482A (zh) * 2019-10-21 2020-02-11 深圳市网心科技有限公司 运动评估方法、装置、计算机设备及存储介质
CN110825123A (zh) * 2019-10-21 2020-02-21 哈尔滨理工大学 一种基于运动算法的自动跟随载物车的控制系统及方法
US11682237B1 (en) * 2020-09-04 2023-06-20 Amazon Technologies, Inc. System for learning and tracking performance of activities
TWI757178B (zh) * 2021-05-17 2022-03-01 力山工業股份有限公司 具防捲入功能的跑步機
TWI764730B (zh) * 2021-05-25 2022-05-11 力山工業股份有限公司 具安全監控功能的跑步機及跑步機的安全監控方法
CN114334084B (zh) * 2022-03-01 2022-06-24 深圳市海清视讯科技有限公司 健身数据的处理方法、装置、设备和存储介质
CN114849162B (zh) * 2022-04-13 2023-03-24 江苏医药职业学院 一种老年人健身康复用踏步机的监护系统及踏步机

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020130951A1 (en) * 2001-03-15 2002-09-19 Hamamatsu Photonics K.K. Stride length measurement device
TWM352092U (en) * 2007-10-09 2009-03-01 Taipei Nat University Of The Arts Optical recognition device for stretching gesture based on biomechanics
CN103003845A (zh) * 2011-03-02 2013-03-27 松下电器产业株式会社 姿势估计装置、姿势估计系统、及姿势估计方法
TW201316278A (zh) * 2011-10-04 2013-04-16 Ind Tech Res Inst 被遮蔽骨架之重建方法
US20130259391A1 (en) * 2011-01-24 2013-10-03 Panasonic Corporation State-of-posture estimation device and state-of-posture estimation method
CN103623540A (zh) * 2012-08-23 2014-03-12 青岛联合创新技术服务平台有限公司 体感控速跑步机及其控制方法
US20140301605A1 (en) * 2011-12-14 2014-10-09 Panasonic Corporation Posture estimation device and posture estimation method
TW201515635A (zh) * 2013-10-24 2015-05-01 Global Action Inc 用於分析騎乘自行車之膝關節運動軌跡的量測系統及其方法
TWM519534U (zh) * 2015-05-20 2016-04-01 Dong-Can Lai 影像辨識系統於跑步機自動調速裝置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8023726B2 (en) * 2006-11-10 2011-09-20 University Of Maryland Method and system for markerless motion capture using multiple cameras
US8396595B2 (en) * 2007-11-01 2013-03-12 Honda Motor Co., Ltd. Real-time self collision and obstacle avoidance using weighting matrix
US8633890B2 (en) * 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US8213680B2 (en) * 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
EP2579955B1 (en) * 2010-06-11 2020-07-08 Harmonix Music Systems, Inc. Dance game and tutorial
US8448056B2 (en) * 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US9001132B1 (en) * 2010-12-22 2015-04-07 Lucasfilm Entertainment Company Ltd. Constraint scenarios for retargeting actor motion
CN102179048A (zh) * 2011-02-28 2011-09-14 武汉市高德电气有限公司 基于动作分解和行为分析实现实景游戏的方法
US20150130841A1 (en) * 2012-12-19 2015-05-14 Medical Companion Llc Methods and computing devices to measure musculoskeletal movement deficiencies
US9589207B2 (en) * 2013-11-21 2017-03-07 Mo' Motion Ventures Jump shot and athletic activity analysis system
US9870622B1 (en) * 2016-07-18 2018-01-16 Dyaco International, Inc. Systems and methods for analyzing a motion based on images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020130951A1 (en) * 2001-03-15 2002-09-19 Hamamatsu Photonics K.K. Stride length measurement device
TWM352092U (en) * 2007-10-09 2009-03-01 Taipei Nat University Of The Arts Optical recognition device for stretching gesture based on biomechanics
US20130259391A1 (en) * 2011-01-24 2013-10-03 Panasonic Corporation State-of-posture estimation device and state-of-posture estimation method
CN103003845A (zh) * 2011-03-02 2013-03-27 松下电器产业株式会社 姿势估计装置、姿势估计系统、及姿势估计方法
TW201316278A (zh) * 2011-10-04 2013-04-16 Ind Tech Res Inst 被遮蔽骨架之重建方法
US20140301605A1 (en) * 2011-12-14 2014-10-09 Panasonic Corporation Posture estimation device and posture estimation method
CN103623540A (zh) * 2012-08-23 2014-03-12 青岛联合创新技术服务平台有限公司 体感控速跑步机及其控制方法
TW201515635A (zh) * 2013-10-24 2015-05-01 Global Action Inc 用於分析騎乘自行車之膝關節運動軌跡的量測系統及其方法
TWM519534U (zh) * 2015-05-20 2016-04-01 Dong-Can Lai 影像辨識系統於跑步機自動調速裝置

Also Published As

Publication number Publication date
US20180018779A1 (en) 2018-01-18
CN107632698B (zh) 2020-04-28
CN107632698A (zh) 2018-01-26
TW201804435A (zh) 2018-02-01
DE202016106187U1 (de) 2016-12-13
CN206363261U (zh) 2017-07-28
US9870622B1 (en) 2018-01-16

Similar Documents

Publication Publication Date Title
TWI603294B (zh) 基於影像的動作分析系統與方法
JP6973388B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN105688396B (zh) 运动信息显示系统和运动信息显示方法
TWI638280B (zh) 自動配置感測器的方法、電子設備及記錄媒體
JP2017520336A (ja) 人体および物体運動への生体力学フィードバックを送達するための方法およびシステム
WO2018158552A1 (en) System, method and markers for assessing athletic performance
JP6649323B2 (ja) 歩行解析システム及び方法
CN103678859A (zh) 动作比对方法与动作比对系统
US11908145B2 (en) Digital assessment of position of motion trackers on a person
US11460912B2 (en) System and method related to data fusing
US20220057856A1 (en) Method and system for providing real-time virtual feedback
JP2022043264A (ja) 運動評価システム
JP6796197B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11602668B2 (en) System and method for motion analysis
CN113063411A (zh) 外骨骼评价系统及其使用方法
WO2016203285A1 (en) Systems and methods for virtually displaying real movements of objects in a 3d-space
JP2016506769A (ja) 対象の可動域を評価するシステム及び方法
WO2020208922A1 (ja) 下肢筋力推定システム、下肢筋力推定方法、及び、プログラム
JP2021157289A (ja) アニメーション生成装置、アニメーション生成方法及びプログラム
US20220183591A1 (en) Biomechanical modelling of motion measurements
Choi et al. A study on the development of joint tracking-based exercise
TWI737068B (zh) 動作追蹤系統和方法
TW202117588A (zh) 人體部位追蹤方法和人體部位追蹤系統
KR20220065520A (ko) Ｕｗｂ기반의 ｒｔｌｓ기술을 이용한 사용자 동작 자동인식 및 기록 시스템 그리고 그 방법
Chiramba et al. Action Tracer: An Extendable, Low-Cost and Open-Source Motion Tracking Kit Based on 6-Axes Inertial Measurement Units