JP6938542B2 - 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品 - Google Patents
組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品 Download PDFInfo
- Publication number
- JP6938542B2 JP6938542B2 JP2018557124A JP2018557124A JP6938542B2 JP 6938542 B2 JP6938542 B2 JP 6938542B2 JP 2018557124 A JP2018557124 A JP 2018557124A JP 2018557124 A JP2018557124 A JP 2018557124A JP 6938542 B2 JP6938542 B2 JP 6938542B2
- Authority
- JP
- Japan
- Prior art keywords
- joint
- sensor
- embedded device
- external
- calibrated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 75
- 230000033001 locomotion Effects 0.000 claims description 62
- 238000003860 storage Methods 0.000 claims description 24
- 230000000694 effects Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 9
- 230000001052 transient effect Effects 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims description 4
- 241001311547 Patina Species 0.000 claims 1
- 238000004891 communication Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000009471 action Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000005452 bending Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 210000002414 leg Anatomy 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 210000001624 hip Anatomy 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 210000000617 arm Anatomy 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000009958 sewing Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000009207 exercise therapy Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 239000008103 glucose Substances 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000037081 physical activity Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009183 running Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000001132 Osteoporosis Diseases 0.000 description 1
- 208000004210 Pressure Ulcer Diseases 0.000 description 1
- 206010041235 Snoring Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000009187 flying Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000009916 joint effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000000314 lubricant Substances 0.000 description 1
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 235000008935 nutritious Nutrition 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 230000004580 weight loss Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1123—Discriminating type of movement, e.g. walking or running
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4528—Joints
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/10—Athletes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6804—Garments; Clothes
- A61B5/6805—Vests
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/683—Means for maintaining contact with the body
- A61B5/6831—Straps, bands or harnesses
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physiology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Business, Economics & Management (AREA)
- Physical Education & Sports Medicine (AREA)
- General Business, Economics & Management (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rheumatology (AREA)
- Emergency Medicine (AREA)
- Optics & Photonics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Emergency Management (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Toys (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
- Game Rules And Presentations Of Slot Machines (AREA)
- Radar Systems Or Details Thereof (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Description
本PCT特許出願は、米国特許法第119条(e)の定めの下に2016年5月17日に出願された米国仮特許出願第62/337,337号「ACCURATE MULTIJOINT POSE TRACKING BY FUSING EMBEDDED SENSOR INFORMATION WITH EXTERNAL SENSOR INFORMATION」、および米国特許法第111条(a)の定めの下に2016年12月07日に出願された米国実用特許出願第15/371,397号「A METHOD AND PROGRAM PRODUCT FOR MULTI−JOINT TRACKING COMBINING EMBEDDED SENSORS AND AN EXTERNAL SENSOR」についての優先権の利益を主張する。これらの関連する仮および特許出願の内容は、かかる主題が本願と矛盾せずまたはこれを限定しない範囲で全ての目的のために参照することによって本明細書に組み込まれる。
不適用。
不適用。
不適用。
この特許文献の開示の一部には、その著者により著作権保護された内容が含まれる。著作権者は、特許先行技術として引用する目的で、それが特許商標局、特許ファイル、または記録に現れているような特許文献または特許開示のいずれかのものによる複製に異存がないけれども、そうでない場合には全ての著作権を留保する。
本発明の1つ以上の態様は、概して多関節トラッキングに関する。より具体的には、本発明は、組込みセンサと外界センサとを組み合わせる多関節トラッキングに関する。
以下の背景情報は、先行技術の特定の側面についての例(例えば、手法、事実、または通念)を示してもよく、その例は、先行技術の追加の側面に関してさらに読者に教示を与えるのに役に立つことが期待されるけれども、本発明、またはそのいずれかの態様を陳述された、それに包含された、またはそれに基づいて推測されたいずれかにも限定するように解釈されてはならない。
本発明は、本明細書に示す詳細図および説明を参照することによって最高の理解が得られる。
Claims (14)
- 方法であって、
少なくとも1つの組込みデバイスの少なくとも第1の位置を割り当てるステップであって、前記少なくとも1つの組込みデバイスは、少なくとも1つのセンサを備え、運動可能な少なくとも1つの関節と関連し、前記第1の位置は、前記少なくとも1つのセンサによってキャプチャされる、ステップと、
前記少なくとも1つの組込みデバイスの少なくとも第2の位置を割り当てるステップであって、前記第2の位置は、少なくとも1つの外界センサによる前記少なくとも1つの組込みデバイスの観測によってキャプチャされ、前記少なくとも1つの外界センサは、外部基準に対して前記少なくとも1つの関節の動作をトラッキングし、前記少なくとも1つの外界センサは、赤緑青深度(RGBD)センサである、ステップと、
前記少なくとも1つの関節のモデルを使用して、前記少なくとも第1の位置と前記少なくとも第2の位置との間のポーズ対応を確立して前記少なくとも第1の位置における前記少なくとも1つの組込みデバイスと前記少なくとも第2の位置における前記少なくとも1つの組込みデバイスとの間の相対情報を抽出するステップと、
前記少なくとも1つの組込みデバイスの少なくとも1つの校正されたセンサを取得するために、前記少なくとも1つの関節が動くとき、前記少なくとも1つの外界センサによってキャプチャされたポーズの変化、および前記少なくとも1つの組込みデバイスの前記少なくとも1つのセンサによってキャプチャされた前記ポーズの変化をトラッキングすることによって、前記少なくとも1つの組込みデバイスの前記少なくとも1つのセンサを校正するステップと、
前記少なくとも1つの校正されたセンサの各々が前記少なくとも1つの外界センサによって観測されないと判定するステップと、
前記少なくとも1つの校正されたセンサの各々が前記少なくとも1つの外界センサによって観測されないという判定に基づいて、前記少なくとも1つの関節のモデルを使用して、前記少なくとも1つの校正されたセンサと前記少なくとも1つの関節の相対位置をリアルタイムで推測し、それにより前記少なくとも1つの関節の全体位置および動作をトラッキングするステップと、
前記少なくとも1つの関節が動くとき、前記少なくとも1つの校正されたセンサと前記少なくとも1つの関節の相対位置の推測に基づく外部の物体に対する1つ以上の活動、および
前記少なくとも1つの組込みデバイスのアクチュエータを起動させることによって、前記少なくとも1つの関節が動くとき、前記少なくとも1つの校正されたセンサと前記少なくとも1つの関節の相対位置の推測に少なくとも部分的に基づいてユーザにフィードバックを提供すること、
のうちの少なくとも1つを実行するステップと、を備える、方法。 - 前記少なくとも1つの関節の運動中に、前記少なくとも1つのセンサによって報告された複数の第1の位置をキャプチャするステップと、
前記少なくとも1つの関節の運動中に、前記少なくとも1つの外界センサによって報告された複数の第2の位置をキャプチャするステップと、
前記複数の第1の位置、前記複数の第2の位置、および前記モデルから複数の関節ポーズを判定するステップと、
前記複数の関節ポーズを使用して測定基準を算出するステップと、をさらに備える、請求項1に記載の方法。 - 前記複数の第1の位置、前記複数の第2の位置、前記複数の関節ポーズ、および前記測定基準を少なくとも備えるトラッキングされたデータを記憶するステップをさらに備える、請求項2に記載の方法。
- 前記フィードバックに少なくとも部分的に基づいて表示を生成するステップをさらに備える、請求項1に記載の方法。
- 前記少なくとも1つの関節は、ユーザと関連している、請求項1に記載の方法。
- 前記少なくとも1つの関節は、脊椎と関連している、請求項1に記載の方法。
- 方法であって、
組込みデバイスのセンサによってキャプチャされた前記組込みデバイスの第1の位置を割り当てるステップであって、前記組込みデバイスは、少なくとも1つの関節と関連している、ステップと、
外界センサによる観測によってキャプチャされた前記組込みデバイスの第2の位置を割り当てるステップであって、前記外界センサは、外部基準に対して前記少なくとも1つの関節の動作をトラッキングし、前記外界センサは、赤緑青深度(RGBD)センサである、ステップと、
前記第1の位置と前記第2の位置との間のポーズ対応を確立して前記少なくとも第1の位置における前記組込みデバイスと前記少なくとも第2の位置における前記組込みデバイスとの間の相対情報を抽出するステップと、
前記組込みデバイスの校正されたセンサを取得するために、前記少なくとも1つの関節が動くとき、前記外界センサによってキャプチャされたポーズの変化、および前記組込みデバイスの前記センサによってキャプチャされた前記ポーズの変化をトラッキングすることによって、前記組込みデバイスの前記センサを校正するステップと、
前記校正されたセンサの各々が前記外界センサによって観測されないと判定するステップと、
前記校正されたセンサの各々が前記外界センサによって観測されないという判定に基づいて、前記少なくとも1つの関節のモデルを使用して、前記校正されたセンサと前記少なくとも1つの関節の相対位置をリアルタイムで推測し、それにより前記少なくとも1つの関節の全体位置および動作をトラッキングするステップと、
前記少なくとも1つの関節が動くとき、前記校正されたセンサと前記少なくとも1つの関節の相対位置の推測に基づく外部の物体に対する1つ以上の活動、および
前記組込みデバイスのアクチュエータを起動させることによって、前記少なくとも1つの関節が動くとき、前記校正されたセンサと前記少なくとも1つの関節の相対位置の推測に少なくとも部分的に基づいてユーザにフィードバックを提供すること、
のうちの少なくとも1つを実行するステップと、を備える、方法。 - 前記関節の運動中に、複数の第1の位置をキャプチャするステップと、
前記関節の運動中に、複数の第2の位置をキャプチャするステップと、
複数の関節ポーズを判定するステップと、
測定基準を算出するステップと、をさらに備える、請求項7に記載の方法。 - トラッキングされたデータを記憶するステップをさらに備える、請求項7に記載の方法。
- 前記フィードバックに基づいて表示を生成するステップをさらに備える、請求項7に記載の方法。
- 実行可能プログラムが記憶された非一過性コンピュータ可読記憶媒体であって、前記プログラムは、1つ以上のプロセッサに、
少なくとも1つの組込みデバイスの少なくとも第1の位置を割り当てるステップであって、前記少なくとも1つの組込みデバイスは、少なくとも1つのセンサを備え、運動可能な少なくとも1つの関節と関連し、前記第1の位置は、前記少なくとも1つのセンサによってキャプチャされる、ステップと、
前記少なくとも1つの組込みデバイスの少なくとも第2の位置を割り当てるステップであって、前記少なくとも第2の位置は、少なくとも1つの外界センサによる前記少なくとも1つの組込みデバイスの観測によってキャプチャされ、前記少なくとも1つの外界センサは、外部基準に対して前記少なくとも1つの関節の動作をトラッキングし、前記少なくとも1つの外界センサは、赤緑青深度(RGBD)センサである、ステップと、
前記少なくとも1つの関節のモデルを使用して、前記少なくとも第1の位置と前記少なくとも第2の位置との間のポーズ対応を確立して前記少なくとも第1の位置における前記少なくとも1つの組込みデバイスと前記少なくとも第2の位置における前記少なくとも1つの組込みデバイスとの間の相対情報を抽出するステップと、
前記少なくとも1つの組込みデバイスの少なくとも1つの校正されたセンサを取得するために、前記少なくとも1つの関節が動くとき、前記少なくとも1つの外界センサによってキャプチャされたポーズの変化、および前記少なくとも1つの組込みデバイスの前記少なくとも1つのセンサによってキャプチャされた前記ポーズの変化をトラッキングすることによって、前記少なくとも1つの組込みデバイスの前記少なくとも1つのセンサを校正するステップと、
前記少なくとも1つの校正されたセンサの各々が前記少なくとも1つの外界センサによって観測されないと判定するステップと、
前記少なくとも1つの校正されたセンサの各々が前記少なくとも1つの外界センサによって観測されないという判定に基づいて、前記少なくとも1つの関節のモデルを使用して、前記少なくとも1つの校正されたセンサと前記少なくとも1つの関節の相対位置をリアルタイムで推測し、それにより前記少なくとも1つの関節の全体位置および動作をトラッキングするステップと、
前記少なくとも1つの関節が動くとき、前記少なくとも1つの校正されたセンサと前記少なくとも1つの関節の相対位置の推測に基づく外部の物体に対する1つ以上の活動、および
前記少なくとも1つの組込みデバイスのアクチュエータを起動させることによって、前記少なくとも1つの関節が動くとき、前記少なくとも1つの校正されたセンサと前記少なくとも1つの関節の相対位置の推測に少なくとも部分的に基づいてユーザにフィードバックを提供すること、
のうちの少なくとも1つを実行するステップと、を実行することを命令する、非一過性コンピュータ可読記憶媒体。 - 前記少なくとも1つの関節の運動中に、前記少なくとも1つのセンサによって報告された複数の第1の位置をキャプチャするステップと、
前記少なくとも1つの関節の運動中に、前記少なくとも1つの外界センサによって報告された複数の第2の位置をキャプチャするステップと、
前記複数の第1の位置、前記複数の第2の位置、および前記モデルから複数の関節ポーズを判定するステップと、
前記複数の関節ポーズを使用して測定基準を算出するステップと、をさらに備える、請求項11に記載の1つ以上のプロセッサに命令するプログラム。 - 前記複数の第1の位置、前記複数の第2の位置、前記複数の関節ポーズ、および前記測定基準を少なくとも備えるトラッキングされたデータを記憶するステップをさらに備える、請求項12に記載の1つ以上のプロセッサに命令するプログラム。
- 前記フィードバックに少なくとも部分的に基づいて表示を生成するステップをさらに備える、請求項11に記載の1つ以上のプロセッサに命令するプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662337337P | 2016-05-17 | 2016-05-17 | |
US62/337,337 | 2016-05-17 | ||
US15/371,397 US11006856B2 (en) | 2016-05-17 | 2016-12-07 | Method and program product for multi-joint tracking combining embedded sensors and an external sensor |
US15/371,397 | 2016-12-07 | ||
PCT/US2016/068980 WO2017200593A1 (en) | 2016-05-17 | 2016-12-28 | Multi -joint tracking combining embedded sensors and an external |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019526295A JP2019526295A (ja) | 2019-09-19 |
JP6938542B2 true JP6938542B2 (ja) | 2021-09-22 |
Family
ID=60326086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018557124A Active JP6938542B2 (ja) | 2016-05-17 | 2016-12-28 | 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品 |
Country Status (8)
Country | Link |
---|---|
US (1) | US11006856B2 (ja) |
EP (1) | EP3459061B1 (ja) |
JP (1) | JP6938542B2 (ja) |
AU (3) | AU2016407050A1 (ja) |
CA (1) | CA3027366A1 (ja) |
RU (1) | RU2745429C2 (ja) |
SG (1) | SG11201809535YA (ja) |
WO (1) | WO2017200593A1 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180231393A1 (en) * | 2015-06-23 | 2018-08-16 | Ipcomm Llc | Method for Calibrating Local Coordinates and Force Reference of Motion and Ground Reaction Force Analysis System |
US11269480B2 (en) * | 2016-08-23 | 2022-03-08 | Reavire, Inc. | Controlling objects using virtual rays |
EP3710918A4 (en) * | 2017-11-14 | 2021-08-18 | Biointeractive Technologies, Inc. | DEVICE AND METHOD FOR DETECTING, QUANTIFYING AND PROVIDING FEEDBACK TO USER GESTURES |
EP3726468A4 (en) * | 2017-12-14 | 2020-12-16 | Fujitsu Limited | PROGRAM DETECTION PROGRAM, PROCEDURE DETECTION METHOD, AND PROCEDURE DETECTION SYSTEM |
EP3518076B1 (en) * | 2018-01-24 | 2022-09-14 | C.R.F. Società Consortile per Azioni | System and method for ergonomic analysis, in particular of a worker |
JP6923006B2 (ja) * | 2018-01-24 | 2021-08-18 | 富士通株式会社 | 画面生成プログラム、画面生成方法および情報処理装置 |
US20200008734A1 (en) * | 2018-05-07 | 2020-01-09 | Rajneesh Bhandari | Method and system for navigating a user for correcting a vestibular condition |
WO2019236096A1 (en) | 2018-06-08 | 2019-12-12 | Hewlett-Packard Development Company, L.P. | Computing input devices with sensors concealed in articles of clothing |
CN109199417A (zh) * | 2018-09-06 | 2019-01-15 | 中山大学 | 一种用于运动康复治疗的增强现实方法及系统 |
WO2020074596A1 (en) * | 2018-10-09 | 2020-04-16 | Brian Francis Mooney | Coaching, assessing or analysing unseen processes in intermittent high-speed human motions, including golf swings |
IT201800010368A1 (it) * | 2018-11-15 | 2020-05-15 | P2R S R L | Metodo e sistema di abilitazione sportiva e riabilitazione neuromotoria |
CN111382641A (zh) * | 2018-12-29 | 2020-07-07 | 西安思博探声生物科技有限公司 | 体态识别方法和体感游戏动作指导系统 |
WO2020142047A1 (en) * | 2018-12-31 | 2020-07-09 | Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi | System for detecting, analysing and following movement |
US11786147B2 (en) * | 2019-02-25 | 2023-10-17 | Frederick Michael Discenzo | Distributed sensor-actuator system for synchronized movement |
KR101994829B1 (ko) * | 2019-03-08 | 2019-07-01 | 빌리노밸 주식회사 | 당구공의 구동상태정보 입력제어장치 |
GB201906420D0 (en) * | 2019-05-07 | 2019-06-19 | Farley Adam | Virtual augmented and mixed reality systems with physical feedback |
GB2584492B (en) | 2019-06-07 | 2021-08-18 | Prevayl Ltd | Method, garment and system |
GB2586950B (en) * | 2019-06-07 | 2022-12-14 | Prevayl Innovations Ltd | Garment, method and device |
CN110215216B (zh) * | 2019-06-11 | 2020-08-25 | 中国科学院自动化研究所 | 基于骨骼关节点分区域分层次的行为识别方法、系统 |
SE1950879A1 (en) * | 2019-07-10 | 2021-01-11 | Wememove Ab | Torso-mounted accelerometer signal reconstruction |
JP7023004B2 (ja) * | 2019-09-04 | 2022-02-21 | ヨクト株式会社 | 運動解析システム、運動解析プログラム、及び運動解析方法 |
KR20210039875A (ko) * | 2019-10-02 | 2021-04-12 | 주식회사 모아이스 | 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
US11430564B2 (en) * | 2019-11-27 | 2022-08-30 | Shanghai United Imaging Intelligence Co., Ltd. | Personalized patient positioning, verification and treatment |
US10705597B1 (en) * | 2019-12-17 | 2020-07-07 | Liteboxer Technologies, Inc. | Interactive exercise and training system and method |
GB2590985B (en) | 2020-02-10 | 2022-04-13 | Prevayl Innovations Ltd | Electronics arrangement for a wearable article |
US20230236218A1 (en) * | 2022-01-21 | 2023-07-27 | Movella Holdings B.V. | System and methods for motion tracking |
AU2022439107A1 (en) | 2022-02-01 | 2024-09-19 | Landscan Llc | Systems and methods for multispectral landscape mapping |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US60509A (en) * | 1866-12-18 | Impeovement in spieal feiction clutch foe machinery | ||
DE29719250U1 (de) * | 1997-10-30 | 1998-05-07 | Hauptverband der gewerblichen Berufsgenossenschaften eV, 53757 Sankt Augustin | Körperbelastungsmeß- und Analysesystem |
US6692447B1 (en) * | 1999-02-16 | 2004-02-17 | Frederic Picard | Optimizing alignment of an appendicular |
WO2001073689A2 (en) * | 2000-03-27 | 2001-10-04 | Massachusetts General Hospital | Method and system for viewing kinematic and kinetic information |
US20120116258A1 (en) * | 2005-03-24 | 2012-05-10 | Industry-Acadamic Cooperation Foundation, Kyungpook National University | Rehabilitation apparatus using game device |
US8048172B2 (en) * | 2005-09-01 | 2011-11-01 | össur hf | Actuator assembly for prosthetic or orthotic joint |
JP4148281B2 (ja) * | 2006-06-19 | 2008-09-10 | ソニー株式会社 | モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム |
US20080091373A1 (en) * | 2006-07-31 | 2008-04-17 | University Of New Brunswick | Method for calibrating sensor positions in a human movement measurement and analysis system |
EP1970005B1 (en) * | 2007-03-15 | 2012-10-03 | Xsens Holding B.V. | A system and a method for motion tracking using a calibration unit |
JP5283401B2 (ja) * | 2007-03-22 | 2013-09-04 | 国立大学法人 筑波大学 | リハビリテーション支援装置 |
EP2180920A1 (en) | 2007-07-20 | 2010-05-05 | Össur HF | Prosthetic or orthopedic device having feedback |
US8702430B2 (en) | 2007-08-17 | 2014-04-22 | Adidas International Marketing B.V. | Sports electronic training system, and applications thereof |
KR101483713B1 (ko) * | 2008-06-30 | 2015-01-16 | 삼성전자 주식회사 | 모션 캡쳐 장치 및 모션 캡쳐 방법 |
US20100277470A1 (en) * | 2009-05-01 | 2010-11-04 | Microsoft Corporation | Systems And Methods For Applying Model Tracking To Motion Capture |
US8244402B2 (en) * | 2009-09-22 | 2012-08-14 | GM Global Technology Operations LLC | Visual perception system and method for a humanoid robot |
US20130222565A1 (en) * | 2012-02-28 | 2013-08-29 | The Johns Hopkins University | System and Method for Sensor Fusion of Single Range Camera Data and Inertial Measurement for Motion Capture |
US9588582B2 (en) | 2013-09-17 | 2017-03-07 | Medibotics Llc | Motion recognition clothing (TM) with two different sets of tubes spanning a body joint |
US9582072B2 (en) * | 2013-09-17 | 2017-02-28 | Medibotics Llc | Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways |
US9743860B2 (en) * | 2013-11-08 | 2017-08-29 | Applied Invention, Llc | Use of light transmission through tissue to sense joint flexure |
US20160262685A1 (en) * | 2013-11-12 | 2016-09-15 | Highland Instruments, Inc. | Motion analysis systemsand methods of use thereof |
US10099053B2 (en) * | 2014-07-17 | 2018-10-16 | Elwha Llc | Epidermal electronics to monitor repetitive stress injuries and arthritis |
US10959666B2 (en) | 2015-01-12 | 2021-03-30 | Enbiomedic | Wearable hip joint-action detectors |
US10055888B2 (en) * | 2015-04-28 | 2018-08-21 | Microsoft Technology Licensing, Llc | Producing and consuming metadata within multi-dimensional data |
CN104898846A (zh) * | 2015-06-12 | 2015-09-09 | 合肥市徽腾网络科技有限公司 | 一种人体运动快速捕捉方法 |
US10621885B2 (en) * | 2015-12-31 | 2020-04-14 | International Business Machines Corporation | Wearable sensor monitoring and data analysis |
US20170188980A1 (en) * | 2016-01-06 | 2017-07-06 | Empire Technology Development Llc | Wearable sensor based body modeling |
-
2016
- 2016-12-07 US US15/371,397 patent/US11006856B2/en active Active
- 2016-12-28 WO PCT/US2016/068980 patent/WO2017200593A1/en unknown
- 2016-12-28 EP EP16902601.0A patent/EP3459061B1/en active Active
- 2016-12-28 CA CA3027366A patent/CA3027366A1/en active Pending
- 2016-12-28 RU RU2018143017A patent/RU2745429C2/ru active
- 2016-12-28 JP JP2018557124A patent/JP6938542B2/ja active Active
- 2016-12-28 AU AU2016407050A patent/AU2016407050A1/en not_active Abandoned
- 2016-12-28 SG SG11201809535YA patent/SG11201809535YA/en unknown
-
2022
- 2022-04-12 AU AU2022202416A patent/AU2022202416A1/en not_active Abandoned
-
2024
- 2024-02-15 AU AU2024200988A patent/AU2024200988A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
RU2018143017A3 (ja) | 2020-06-17 |
AU2022202416A1 (en) | 2022-05-05 |
SG11201809535YA (en) | 2018-12-28 |
US20170332946A1 (en) | 2017-11-23 |
US11006856B2 (en) | 2021-05-18 |
AU2016407050A1 (en) | 2018-12-20 |
WO2017200593A1 (en) | 2017-11-23 |
RU2745429C2 (ru) | 2021-03-25 |
AU2024200988A1 (en) | 2024-05-09 |
RU2018143017A (ru) | 2020-06-17 |
EP3459061B1 (en) | 2024-08-14 |
EP3459061A4 (en) | 2020-06-10 |
EP3459061A1 (en) | 2019-03-27 |
CA3027366A1 (en) | 2017-11-23 |
JP2019526295A (ja) | 2019-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6938542B2 (ja) | 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品 | |
US20210272376A1 (en) | Virtual or augmented reality rehabilitation | |
Caserman et al. | A survey of full-body motion reconstruction in immersive virtual reality applications | |
US10314536B2 (en) | Method and system for delivering biomechanical feedback to human and object motion | |
Ma et al. | Virtual reality and serious games in healthcare | |
Afyouni et al. | A therapy-driven gamification framework for hand rehabilitation | |
US20210349529A1 (en) | Avatar tracking and rendering in virtual reality | |
AU2017386412A1 (en) | Systems and methods for real-time data quantification, acquisition, analysis, and feedback | |
CN102270276A (zh) | 根据身体移动确定卡路里燃烧 | |
CN113709411B (zh) | 一种mr智能眼镜基于眼动追踪技术的体育辅助训练系统 | |
US20150092980A1 (en) | Tracking program and method | |
KR102556863B1 (ko) | 사용자 맞춤형 운동 훈련 방법 및 시스템 | |
CN109675289A (zh) | 基于vr和动作捕捉的运动评估系统 | |
Rahman et al. | Modeling therapy rehabilitation sessions using non-invasive serious games | |
Tisserand et al. | Preservation and gamification of traditional sports | |
Postolache et al. | Virtual reality and augmented reality technologies for smart physical rehabilitation | |
Brownridge | Real-time motion capture for analysis and presentation within virtual environments | |
Viola et al. | Self Representation and Interaction in Immersive Virtual Reality. | |
Gaber et al. | A comparison of virtual rehabilitation techniques | |
Khaksar | A Framework for Gamification of Human Joint Remote Rehabilitation, Incorporating Non-Invasive Sensors | |
Krukowski et al. | User Interfaces and 3D Environment Scanning for Game-Based Training in Mixed-Reality Spaces | |
NAN | DEVELOPMENT OF A COMPUTER PROGRAM TO ASSIST UPPER LIMB REHABILITATION USING KINECT | |
Bucciero et al. | A biomechanical analysis system of posture | |
Zafer | Research on Current Sectoral Uses of Motion Capture (MoCap) Systems | |
Lu et al. | Configurable augmented virtual reality rehabilitation system for upper limb disability |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201111 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20201112 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20201112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6938542 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |