JP2023516309A - ユーザの意図を体肢または体動または軌跡から決定して、神経筋刺激または人工器管動作の制御に用いるためのシステムおよび方法 - Google Patents
ユーザの意図を体肢または体動または軌跡から決定して、神経筋刺激または人工器管動作の制御に用いるためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2023516309A JP2023516309A JP2022551758A JP2022551758A JP2023516309A JP 2023516309 A JP2023516309 A JP 2023516309A JP 2022551758 A JP2022551758 A JP 2022551758A JP 2022551758 A JP2022551758 A JP 2022551758A JP 2023516309 A JP2023516309 A JP 2023516309A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- processor
- muscle
- trajectory
- sensors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 289
- 230000000638 stimulation Effects 0.000 title claims description 68
- 238000000034 method Methods 0.000 title description 19
- 230000002232 neuromuscular Effects 0.000 title description 14
- 210000003205 muscle Anatomy 0.000 claims abstract description 105
- 230000009471 action Effects 0.000 claims abstract description 37
- 206010033799 Paralysis Diseases 0.000 claims abstract description 35
- 210000003414 extremity Anatomy 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 41
- 238000004422 calculation algorithm Methods 0.000 claims description 39
- 230000006399 behavior Effects 0.000 claims description 37
- 208000020431 spinal cord injury Diseases 0.000 claims description 20
- 210000000707 wrist Anatomy 0.000 claims description 18
- 210000005036 nerve Anatomy 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 13
- 230000008602 contraction Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 11
- 210000000278 spinal cord Anatomy 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 6
- 230000000306 recurrent effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 210000000578 peripheral nerve Anatomy 0.000 claims description 5
- 230000006403 short-term memory Effects 0.000 claims description 5
- 210000001186 vagus nerve Anatomy 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 210000003792 cranial nerve Anatomy 0.000 claims description 3
- 210000003901 trigeminal nerve Anatomy 0.000 claims description 3
- 230000003183 myoelectrical effect Effects 0.000 claims description 2
- 230000001934 delay Effects 0.000 claims 1
- 230000001133 acceleration Effects 0.000 description 23
- 238000010801 machine learning Methods 0.000 description 21
- 210000003811 finger Anatomy 0.000 description 19
- 210000002414 leg Anatomy 0.000 description 18
- 208000006011 Stroke Diseases 0.000 description 17
- 210000000245 forearm Anatomy 0.000 description 17
- 210000001624 hip Anatomy 0.000 description 17
- 238000001514 detection method Methods 0.000 description 12
- 210000004556 brain Anatomy 0.000 description 11
- 210000001513 elbow Anatomy 0.000 description 11
- 210000002683 foot Anatomy 0.000 description 10
- 210000003813 thumb Anatomy 0.000 description 10
- 208000027418 Wounds and injury Diseases 0.000 description 8
- 230000006378 damage Effects 0.000 description 8
- 238000002567 electromyography Methods 0.000 description 8
- 210000004247 hand Anatomy 0.000 description 8
- 208000014674 injury Diseases 0.000 description 8
- 230000037231 joint health Effects 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000000554 physical therapy Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 239000000853 adhesive Substances 0.000 description 6
- 230000001070 adhesive effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000003127 knee Anatomy 0.000 description 6
- 230000004936 stimulating effect Effects 0.000 description 6
- 208000028389 Nerve injury Diseases 0.000 description 5
- 208000002193 Pain Diseases 0.000 description 5
- 230000004913 activation Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 210000003423 ankle Anatomy 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000005021 gait Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000008764 nerve damage Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000001225 therapeutic effect Effects 0.000 description 4
- 206010037714 Quadriplegia Diseases 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 239000000017 hydrogel Substances 0.000 description 3
- 230000037230 mobility Effects 0.000 description 3
- 230000004118 muscle contraction Effects 0.000 description 3
- 230000007383 nerve stimulation Effects 0.000 description 3
- 230000037361 pathway Effects 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- 238000011491 transcranial magnetic stimulation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 3
- 206010001497 Agitation Diseases 0.000 description 2
- 206010034701 Peroneal nerve palsy Diseases 0.000 description 2
- 101100460147 Sarcophaga bullata NEMS gene Proteins 0.000 description 2
- 208000030886 Traumatic Brain injury Diseases 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 210000000078 claw Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000035622 drinking Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000626 neurodegenerative effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003961 neuronal insult Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000003016 quadriplegic effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 210000001032 spinal nerve Anatomy 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 238000002646 transcutaneous electrical nerve stimulation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009529 traumatic brain injury Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 230000002747 voluntary effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 208000000094 Chronic Pain Diseases 0.000 description 1
- 206010019468 Hemiplegia Diseases 0.000 description 1
- 238000000585 Mann–Whitney U test Methods 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 206010033892 Paraplegia Diseases 0.000 description 1
- 208000020339 Spinal injury Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000011540 hip replacement Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 210000001153 interneuron Anatomy 0.000 description 1
- 238000013150 knee replacement Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 210000004705 lumbosacral region Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 230000037023 motor activity Effects 0.000 description 1
- 210000002161 motor neuron Anatomy 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000000118 neural pathway Anatomy 0.000 description 1
- 230000010004 neural pathway Effects 0.000 description 1
- 230000007658 neurological function Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001769 paralizing effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000005019 pattern of movement Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000037152 sensory function Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
- A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36003—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of motor muscles, e.g. for walking assistance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1124—Determining motor skills
- A61B5/1125—Grasping motions of hands
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4851—Prosthesis assessment or monitoring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/04—Electrodes
- A61N1/0404—Electrodes for external use
- A61N1/0408—Use-related aspects
- A61N1/0452—Specially adapted for transcutaneous muscle stimulation [TMS]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
- A61N1/36053—Implantable neurostimulators for stimulating central or peripheral nerve system adapted for vagal stimulation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
- A61N1/3606—Implantable neurostimulators for stimulating central or peripheral nerve system adapted for a particular treatment
- A61N1/36062—Spinal stimulation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
- A61N1/3606—Implantable neurostimulators for stimulating central or peripheral nerve system adapted for a particular treatment
- A61N1/36103—Neuro-rehabilitation; Repair or reorganisation of neural tissue, e.g. after stroke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/09—Rehabilitation or training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36014—External stimulators, e.g. with patch electrodes
- A61N1/3603—Control systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Physical Education & Sports Medicine (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Rehabilitation Therapy (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Transplantation (AREA)
- Computational Linguistics (AREA)
- Prostheses (AREA)
- Electrotherapy Devices (AREA)
Abstract
人物の麻痺のある身体部分(例えば、当該人物の手)の動きを回復させるためのデバイスが、開示される。本デバイスは、当該人物の身体のうち麻痺に罹患していない別の部分(例えば、当該人物の腕または肩)の動きを感知する。当該人物が麻痺の無い身体部分を動かす際に、動きセンサーが動き信号を生成する。プロセッサが、事前規定された軌跡と、特定の行動(例えば、物体の把持のために手を閉じること)とを関連付ける情報を保存する。プロセッサは、上記動き信号を監視し当該動きが上記事前規定された軌跡に対応する場合、上記プロセッサは、筋肉に接続された筋肉刺激装置を通電して、上記麻痺のある手による上記行動の実行(例えば、物体の周囲において手を閉じさせて物体を把持させること)を制御させる。
Description
本開示は、麻痺のある関節または人工器管の随意運動の提供により部分的障害者の支援を行うシステム、装置、アプリケーションおよび方法に関する。この随意運動の提供は、関節またはデバイスを動かしたいという当該人物の意図を当該人物の健常関節の体肢または体動の分析から決定することにより、行われる。より詳細には、本開示が関連するシステム、方法またはデバイスは、神経学的に健常である体肢または他の身体部分の全体的動き(並進および/または回転運動)あるいは軌跡が(麻痺のある外肢または欠損外肢を用いた行動を行おうという)ユーザの意図を決定するのに十分であることを決定し、決定された意図に応答して、神経学的に麻痺のある部分を(当該部分を制御する神経および/または筋肉を介して)または神経ターゲット(神経、脊髄または脳)を刺激することにより、神経成長/再生または接続強化の促進による動きまたは機能の回復あるいは当該行動を行うための人工弁置換術の制御を得る。本開示の一実施形態によるデバイスは、人物の腕の手を伸ばす軌跡を検出し、当該人物が物体を把持しようとしている意図を識別し、神経筋刺激デバイス(NMES)を起動または調整して、当該人物の通常状態では麻痺のある手を(または当該人物のロボット/義手を起動させて)開け閉めを可能にして、当該物体の把持および保持を行わせる。
(関連技術の説明)
米国だけでも、麻痺と共に生活している人々が約540万人いる。麻痺の主な2つの原因として、脳卒中および脊髄損傷がある。米国において、毎年の脊髄損傷の症例数は17,700件を超えている(NSCISC、2019)。これらの損傷の多くは、不完全な四肢麻痺(48%)および完全な四肢麻痺(20%)に繋がり、サバイバーの腕および手の動きに深刻な影響をもたらし、生活の質の低下に繋がる。
米国だけでも、麻痺と共に生活している人々が約540万人いる。麻痺の主な2つの原因として、脳卒中および脊髄損傷がある。米国において、毎年の脊髄損傷の症例数は17,700件を超えている(NSCISC、2019)。これらの損傷の多くは、不完全な四肢麻痺(48%)および完全な四肢麻痺(20%)に繋がり、サバイバーの腕および手の動きに深刻な影響をもたらし、生活の質の低下に繋がる。
四肢麻痺と共に生活している個人にとっての最優先事項は、手の機能である。上肢および手の動きのリハビリまたは誘発のために、多様な侵襲的神経筋電気刺激(NMES)デバイスおよび非侵襲的神経筋電気刺激(NMES)デバイスが、提案されている。これらの公知のシステムの場合、欠陥がある。フリーハンドシステムの場合、スイッチに連結された肩の動きが用いられるが、これらのスイッチは、選択された手の動きのトリガを、埋込電極を介した電気的筋肉刺激を通じて行う。スイッチ作動は、煩わしさを伴い得、筋肉刺激装置の動作のために、ユーザは不自然な動きを行わざるを得ない場合がある。そのような動きをすると、ユーザの障害に注目が集まる原因になり得、ユーザに対する他者の認識に影響を与え得る。また、ユーザが行うことが可能な手の動きのレパートリーも、ユーザの肩の筋肉による作動が可能なスイッチの数によって限定され得る。
他のシステムの場合、外科手術の実行が必要になり得る。例えば、いくつかのシステムの場合、麻痺のある関節または外科的に切断された関節を動かしたいという患者の意図の検出を行う際に、移植された筋電センサーに依存する。皮質脳/コンピュータインターフェース(BCI)が、脳内の運動活動の記録およびデコードによるNMESデバイスの制御のために用いられており、通常において麻痺のある手の随意制御を可能にする。これらのアプローチの場合、電極または他の構造ユーザの体内に移植する必要があり、ユーザにとって医療リスクおよび顕著なコスト増大に繋がり得る。
本開示は、これらの困難に対処する装置および方法に関連する。麻痺と共に生きている患者が望んでいるのは、自身の障害への注目をできるだけ回避しつつ、社会に溶け込むことである。リハビリテーションにより、少なくとも部分的運動性が回復する患者もいるものの、微細な運動制御(例えば、ユーザが手を伸ばして物体(例えば、飲料用グラスまたは食物)を掴むこと)を回復させることは、困難または不可能であり得る。本開示によれば、手を用いた把持の動きが不自由な患者が、タスク(例えば、自分で食事をとること)を(器具(例えば、手に固定された道具)に頼ること無く)行うことを可能にし、日々の活動の実施を可能にする。
脳卒中、脊髄損傷または他の状態に起因した麻痺と共に生きている患者の場合、手および/または脚を動かせなくなり得るが、他の身体部分を動かすことは可能であることが多い。例えば、四肢麻痺患者の損傷レベルのうち最も一般的なレベルであるC5レベルの脊髄損傷の場合、手の動きには大きく障害が残るが、肩の動きおよび肘の屈伸は残っている。同様に、脳卒中後の腕(肩および肘)の全体的な動きは、集中的リハビリテーションを通じて回復可能であることが多いものの、手の動きの回復は未解決のままである。最後に、対麻痺または脳卒中の犠牲者の場合、自身の脚を使うことができないかまたは完全には使うことができないかあるいは下垂足(足首の屈伸ができないこと)が発生し得るものの、腕の動きあるいは胴部または腰部の動きは可能であることがある。
本明細書中に開示されるのは、(ユーザが未だ有している健常関節の動きおよび軌跡の感知および認識により)当該ユーザの麻痺のある関節および/または外部デバイスの随意制御を回復させる方法およびシステムである。本システムは、コンピュータ化されたアルゴリズム(例えば、前記ユーザの特定の体動に適合する機械学習)を用いて、前記麻痺のある関節または補綴物と交換された関節を用いた行動をしたいというユーザの意図を識別する。次に、検出された体動および軌跡を用いて、多様な所望の結果をもたらすことができる。一実施形態によれば、このようなシステムは、手を伸ばして物体を掴みたいという人物の意図を決定し、NMESデバイスを作動させて、前記ユーザの麻痺のある手を開閉させて、当該物体の把持および保持を行わせる。
本開示に含まれるデバイスは、体肢の軌跡(例えば、残存する肩および肘の動きによって制御される手を伸ばすような動き)ならびに他の体動、位置または方向付けを感知および認識して、麻痺のある身体部分の筋肉を電極または電極アレイを介して電気刺激を通じて起動させて、特定の活動(例えば、「鍵を握る」ための手の摘む動きなど)を行わせるかまたは補綴身体部分上のアクチュエータに通電をする。多様な事前規定された軌跡および体肢または体動は、並進型および回転型の動きの組み合わせであり得、保存され得る。各軌跡または動きは、異なる行動と関連付けられる。認識された動きに基づいて、本開示の実施形態によるデバイスは、外部デバイス(例えば、コンピュータまたは電動車椅子)の制御にも用いられ得る。さらに、多数の別個の軌跡が異なる行動により特定可能であるため、前記ユーザにとって利用可能な行動のレパートリーの拡大に繋がる。
本開示にさらに含まれるデバイスは、健常関節(例えば、臀部、腰椎および膝)の周囲の動きを認識して、人物の歩行に関連する動きを特定し、当該人物の歩行と同時に刺激信号を筋肉へ付加する。このようなデバイスは、(神経損傷により当該人物の足、足首または脚の動きが損なわれている)より有効な歩行の動きの回復のために用いられ得る。このようなデバイスは、歩行に必要な筋肉の強化を手術前に(例えば、股関節または膝関節の置換手術の前に)かつ/または手術後にリハビリテーション治療の一環として用いられ得る。
別の実施形態によれば、動きを可能にするための電極または人工器管の通電の代わりにまたは動きを可能にするための電極または人工器管の通電に加えて、本開示によるシステムは、神経損傷部位あるいは神経損傷(例えば、脊髄、脳または末梢神経)へ接続された神経経路に対して電気刺激を送達させる。本開示によるシステムによれば、電極を経皮的または硬膜外に脊髄、神経または脳損傷の部位上または当該部位の近隣に配置した状態で電気刺激を提供すると同時に罹患体肢を動かすことにより、損傷した運動線維、神経またはニューロンの修復が支援され得る。脊髄損傷の場合も、本システムによれば、経皮的または硬膜外に損傷部位上または当該部位の上方または当該部位の近隣に配置した状態で電気刺激を提供することにより、知覚線維、神経またはニューロンの損傷の治癒の支援が可能になり得る。
腕、脚および/または身体上のセンサーにより、多様な2次元および3次元(2D/3D)の動き(地磁界に対する並進加速、回転速度および方向付け)が認識され得る。いくつかの実施形態によれば、このような動きは、自由度の合計が3~9である慣動ユニット(IMU)によって検出される。他の実施形態によれば、動きの視像も認識され得る。子供が線香花火を用いて文字、数字およびパターンを空気中に描くように、デバイスは、軌跡に到達する滑らかな自然な曲線アームと、事前訓練されたパターン(例えば、周知のスクリプト番号および文字)とを認識する。その後、ユーザは、自身が行いたい動きまたは自然な手を伸ばす軌跡を行うことができ、これらの動きが認識されると、これらの動きは、多様な神経筋刺激と、麻痺のある関節の動きを促進させる補綴/ロボットデバイスとの制御に用いられる。アームにおいて、アームの動き軌跡は、残存している肩の動きによって駆動され、複数の手首、手および指の動き(あるいは外部デバイス(例えば、コンピュータ、ステレオ))の刺激またはロボット制御の駆動のために用いられ得る。
残存している運動性を患者が用いて物体を把持することを可能にすることに加えて、本開示の実施形態によるデバイスは、健常の関節および体肢の動きを麻痺のある身体部分の活性化と関連付けるためのフィードバックを患者の中枢神経系へ提供することにより、神経機能を向上させ得る。よって、このようなデバイスを用いて麻痺のある関節において神経筋またはロボットによって駆動される動きを駆動させると、脳卒中、脊髄損傷および他の神経変性状態について支援用途、リハビリ用途および治療用途が得られる。このアプローチは、手、足、脚または他の身体部分の損傷または手術後の一般的理学療法の用途も有する。
さらに、開示の実施形態は、リハビリ用途における体肢/体動軌跡の経時的質の(例えば開示されるような機械学習アルゴリズムを通じた)測定、追跡および認識に用いられ得る。関節の動きのキャプチャ、記録および認識またはグレード付けが行われるため、理学療法士は、患者の進展を監視することができ、問題になっている体動の特定の部分に対処できるように治療を個別調整することができる。機械学習または他の形態の人工知能(例えば、ディープラーニング法)により(多数の匿名の患者からの)集合体データを分析して、全般的パターンおよび(進展または後退と、再調査または修正処置の対象としてフラグ付けされ得る問題点とを示す)計量情報を発見することが可能になる。
一実施形態によれば、開示されるデバイスは、1つ以上の動きセンサーであって、上記センサーは、ヒトの第1の身体部分の動きを示す1つ以上のそれぞれの動き信号を生成する、動きセンサーと、筋肉刺激装置であって、上記筋肉刺激装置は、少なくとも1つの行動を行うために1つ以上の筋肉により第2の身体部分を変位させるための1つ以上の刺激信号を生成する、筋肉刺激装置と、上記1つ以上の動きセンサーおよび上記筋肉刺激装置へ接続されたプロセッサとを含む。上記プロセッサは、データ記憶部を含み、上記データ記憶部は、上記少なくとも1つの行動を行いたいという上記ヒトの意図と関連付けられた少なくとも1つの予期される軌跡を含む。上記プロセッサは、上記1つ以上の信号を上記1つ以上の動きセンサーから受信し、上記第1の身体部分の実際の軌跡を計算し、上記実際の軌跡を上記予期される軌跡と比較し、上記比較に基づいて上記筋肉刺激装置を作動させて、上記少なくとも1つの行動を行うために上記第2の身体部分を変位させる。上記プロセッサは、上記実際の軌跡と上記予期される軌跡との間の差を演算し、上記比較を行い、上記差に基づいて上記筋肉刺激装置を作動させ得る。
一実施形態によれば、上記少なくとも1つの行動は、複数の行動を含み、上記少なくとも1つの予期される軌跡は、複数の予期される軌跡を含む。上記複数の予期される軌跡はそれぞれ、上記複数の行動のうち少なくとも1つと関連付けられる。上記プロセッサは、上記実際の軌跡を上記複数の予期される軌跡と比較して、上記複数の行動のうち第1の行動と関連付けられた第1の軌跡を特定し、プロセッサは、上記第1の行動を行わせるために上記筋肉刺激装置を作動させる。上記デバイスは、上記プロセッサへ接続された入力デバイスを含み得、上記入力デバイスは、フィードバック信号を受信するように適合される。上記フィードバック信号は、上記行動は上記ヒトが意図している行動である旨を示し得る。上記プロセッサは、1組の訓練用の動きに基づいて、上記予期される軌跡を生成し得る。上記少なくとも1つの行動を行うための1つ以上の刺激信号は、刺激信号のパターンを含み得、上記刺激信号のパターンは、上記1組の訓練用の動き時に感知された筋肉変位から決定され得る。上記筋肉変位の感知は、筋電センサー、カメラ、慣動ユニット、屈曲/関節角度センサーおよび力センサーのうち1つ以上を用いて行われ得る。上記プロセッサによる上記比較は、サポートベクターマシン(SVM)アルゴリズム、手書き認識アルゴリズム、動的タイムワーピングアルゴリズム、ディープラーニングアルゴリズム、回帰型神経回路網、浅い神経回路網、重畳型神経回路網、コンバージェント神経回路網または深い神経回路網のうち1つ以上を用いて行われ得る。上記プロセッサは、上記比較を長・短期記憶型の回帰型神経回路網を用いて行い得る。上記1組の訓練用の動きは、第2のヒトによって行われ得る。上記1組の訓練用の動きは、上記ヒトにより上記第1の身体部分の横方向に反対側の身体部分を用いて行われ得る。上記動きセンサーは、上記ヒトの腕上に配置され得、上記筋肉刺激装置は、上記ヒトの手の1本以上の指を動かして把持的動きを可能にするために筋肉を刺激するように適合され得る。上記予期される軌跡は、英数字の形状をとり得る。
一実施形態によれば、上記デバイスは、方向付けセンサーを含む。この方向付けセンサーは、上記プロセッサへ接続され、上記第1の身体部分の方向付けを監視するように適合され得る。上記把持的動きによって付加される力は、上記刺激信号の振幅に依存し得、上記プロセッサは、上記刺激信号の振幅の調節を上記方向付けセンサーの出力に少なくとも部分的に基づいて行い得る。上記プロセッサは、上記方向付けセンサーの出力に応答して、上記把持的動きを鍵把持、円筒型把持または垂直摘持となるように調節し得る。上記デバイスに含まれ得るカメラは、上記プロセッサへ接続され、把持すべき物体の画像をキャプチャするように上記手の近隣に位置決めされる。上記プロセッサは、上記把持的動きの調節を上記画像に部分的に基づいて行い得る。上記プロセッサは、クローズ遅延タイマーを含み得、上記クローズ遅延タイマーによって決定された上記実際の軌跡の終了時において、上記プロセッサは、上記把持的動きを刺激することを所定の期間にわたって遅延させ得る。上記プロセッサは、上記動きセンサーからの把持後信号に応答して、上記手の刺激により把持後の活動を行わせ得る。把持後の活動は、上記手を開いて上記把持を解放することであり得る。把持後信号は、把持された物体の表面を1回以上タップすることであり得る。
別の実施形態によれば、デバイスが開示される。このデバイスは、1つ以上の動きセンサーであって、上記センサーは、ヒトの第1の身体部分の動きを示す1つ以上のそれぞれの動き信号を生成する、センサーと、筋肉刺激装置であって、上記刺激装置は、第1の筋肉の収縮を発生または増加させるように適合された刺激信号を生成し、上記第1の筋肉は、神経学的に損傷を受けた筋肉、麻痺のある筋肉、部分的に麻痺のある筋肉または正常な筋肉である、筋肉刺激装置と、上記センサーおよび上記筋肉刺激装置に接続されたプロセッサとを含む。上記プロセッサは、データ記憶部を含み、上記データ記憶部は、上記筋肉を収縮させたいという上記ヒトの意図と関連付けられた少なくとも1つの予期される軌跡を含む。上記プロセッサは、上記1つ以上の動き信号を上記1つ以上のセンサーから受信し、上記第1の身体部分の実際の軌跡を計算し、上記実際の軌跡を上記予期される軌跡と比較し、上記筋肉を収縮させたいという意図を上記比較に基づいて決定し、上記第1の筋肉を収縮させること、上記第1の筋肉の収縮を支援すること、および第2の筋肉の拮抗収縮を発生させることのうち1つ以上を上記刺激装置に行わせ、上記第2の筋肉の収縮は、上記第1の筋肉の収縮に起因する動きに対抗する。上記デバイスは、神経刺激装置を含み得る。この神経刺激装置は、上記プロセッサへ接続されかつ上記プロセッサによって動作可能であり、上記第1の筋肉を収縮させたいという意図を上記プロセッサが決定したのに応答して、上記神経刺激装置は、神経刺激信号を上記ヒトの神経へ付加し得る。上記ヒトの神経は、迷走神経、三叉神経、脳神経、上記第1の筋肉に繋がる末梢神経および上記ヒトの脊髄のうち1つ以上から選択され得る。上記神経は、上記脊髄であり得、上記神経刺激装置は、上記ヒトの脊髄損傷の上方、上記ヒトの脊髄損傷上または上記ヒトの脊髄損傷の下方に位置決めされた経皮電極を含み得る。
一実施形態において開示されるデバイスは、1つ以上の動きセンサーであって、上記動きセンサーは、ヒトの第1の身体部分の動きを示す1つ以上のそれぞれの動き信号を生成する、動きセンサーと、行動を行わせるために上記補綴外肢の構成を変更するように構成されたアクチュエータを含む補綴外肢と、上記1つ以上の動きセンサーおよび上記アクチュエータへ接続されたプロセッサとを含む。上記プロセッサは、データ記憶部であって、上記データ記憶部は、上記行動を行いたいという上記ヒトの意図と関連付けられた少なくとも1つの予期される軌跡を含む。上記プロセッサは、上記1つ以上の動き信号を上記1つ以上の動きセンサーから受信し、上記第1の身体部分の実際の軌跡を計算し、上記実際の軌跡を上記予期される軌跡と比較し、上記比較に基づいて上記アクチュエータを作動させて、上記行動を行わせるように上記補綴外肢の構成を変更させる。上記補綴外肢は、義手を含み得、上記アクチュエータは、手首アクチュエータおよび指アクチュエータのうち1つ以上を含み得る。
以下の詳細な記載を添付図面と共に参照すれば、付随する利点がより深く理解されるため、本開示のより深い理解と、そのような利点の多くとが容易に得られる。
神経損傷(例えば、脳卒中または脊髄損傷)を受けた患者の中には、自身の身体の一部の動きを制御する能力は失っているが、他の身体部分を動かす能力は保持している場合がある。場合によっては、残存している体肢の動きによって患者が自身の肩および上腕を動かして肘を曲げることは可能である一方、例えば物体を把持するために手の動きを制御する能力は喪失している場合がある。他の場合において、患者が自身の膝および足首を連動させる能力は喪失している一方、腰の動きは残存している場合がある。肢切断患者の場合、当該患者は、外科的に切断された体肢の残存部位の機能全体を保持している場合がある。
本開示の実施形態によるシステムは、空間中の残存している体肢の軌跡および体動を機械学習方法を通じて感知および認識し、特定の行動を行いたいというユーザの意図を識別する。腕、脚および/または身体上のセンサーを用いて、多様な2次元および3次元(2D/3D)の動き(例えば、並進、回転またはこれらの組み合わせ)の認識が可能となる。本システムに含まれる回路は、麻痺のある身体部分の動きを制御する筋肉へNMES信号を送達させるかまたは手/腕または足/脚の制御を回復させるようにロボット/補綴肢を動作させる。
さらなる実施形態によれば、システムは、通常は所望の行動と関連付けられた機能している身体部分の動きの流線状の自然な曲線経路を検出し、当該行動を麻痺のある身体部分に行わせる。例えば、自身の肩および上腕において動きが残存している患者の場合、デバイスは、手を伸ばす軌跡を認識し、当該患者の麻痺のある手を開閉させて、物体を把持させる。本明細書中用いられるように、「軌跡」という用語は、身体部分の全体的動き(例えば、空間中の身体部分の並進および/または回転運動)ならびに関節周囲における身体部分の角度変位(例えば、肘、肩、腰部または膝の屈曲)を意味する。
手を伸ばす範囲の異なる軌跡が検出され得、これに応答して、システムは、当該種類の手を伸ばす範囲に合わせて適切に患者の手を位置決めする。例えば、患者が(手首を中立の「握手」位置に置いた状態で)自身の腕および肩を前方にまたは曲線状経路を描いて動かした場合、本システムは、腕または肩の実際の軌跡と、患者と関連付けられた予期される軌跡とを比較することにより、垂直方向に方向付けられた物体(例えば、卓上上に配置されたガラス瓶または水瓶を把持したい(「円筒型グリップ」))と当該患者が意図している旨を識別する。この識別された意図に応答して、システムは、患者の前腕上のNMES電極を通電させて、適切な筋肉を稼働させて、当該物体を把持できるように手を開かせた後、一定の遅延の後に、システムは、筋肉に刺激を付与することにより、物体周囲を指により握らせて確実に保持させる。あるいは、患者が自身の肩および腕残存している動きを持ち手垂直方向に沿って「虹」状の弧状に手を伸ばした場合、システムは、ユーザが摘持のための手の動きにより上方から物体をつまみ上げること(「垂直摘持」)を意図していると識別する。また、患者は、第3の種類の把持(例えば、物体をつまみ上げるために「爪で摘む」把持)を行いたいという意図を示すために、「栓抜き」状の動きを用いて物体へ手を伸ばそうとし得るデバイスは、手を制御するNMES電極を作動させて患者の親指および指を開かせた後、物体の上部の周囲に集合させる。残存している身体部分の自然な動きを用いて麻痺のある身体部分の制御を行うことによる利点として、患者の行動が健常の人物とより近接にマッチする点がある。これにより、ユーザへの注目が低下しり得、例えば脳卒中患者または最近の脊髄損傷患者における神経可塑性およびリハビリテーションが促進され得る。
この種の残存している動きの検出においては、患者が例えば腕の動きを「C」字型経路に沿って実行する事前決定された軌跡も含まれ得る。子供が空気中の文字、数字およびパターンを線香花火で描くように、デバイスは、パターンを認識する。患者は、自身の健常関節を事前決定された予期される軌跡に沿って動かし、システムは、特定の行動が意図されていることを識別する。これに応答して、システムは、所望の行動の実行のために、NMES電極を作動させて筋肉収縮を発生させる。例えば、患者は、円筒型物体の周囲において手を開閉させる際には、「C」字型の動きを肩および上腕を用いて実行し得る一方、摘む動きにおいて手を閉じる際には、「C」字型の動きを実行し得る。事前プログラムされた予期される軌跡の使用による利点として、符号化することが可能な特定の動きの数が非常に多い点がある。デバイスは、事前訓練されたパターンと、自然な手を伸ばす範囲の軌跡との双方を認識するようにプログラムされ得る。さらに、新規の行動について新規の軌跡を患者の行動レパートリーに追加することが可能である。
一実施形態によれば、デバイスは、意図される行動の実行のために、NMES電極を通電させて、適切な筋肉収縮を刺激する。他の実施形態によれば、デバイスは、麻痺のある関節の動きを促進させる補綴/ロボットデバイスの作動のために、患者の健常の身体部分の動き経路を認識する。腕において、腕の動き軌跡は、残存している肩動きによって駆動され、手首の動き、手の動きおよび指の動きの複数の動きを行うように適合された義手の刺激またはロボット制御の駆動のために用いられ得る。このような義手は、手首アクチュエータおよび指アクチュエータの組み合わせを含む。加えて、外部デバイス(例えば、コンピュータ、ステレオ、電動車椅子など)の制御のために、特定の動きが検出され得る。別個の動き経路の数が極めて多数であるため、デバイスは、(例えば、麻痺のある手の制御のための手を伸ばす動きにおける肩の自然な軌跡を用いて)麻痺のある身体部分を制御することと、事前プログラムされた動き経路、(例えば、「C」字型の経路)を用いてコンピュータなどの外部デバイスを制御することとの双方のために、用いられ得る。
神経筋または麻痺のある関節においてロボットによって駆動される動きの駆動のために本開示の実施形態によるデバイスを用いると、脳卒中、脊髄損傷および神経変性の状態におけるさらなる支援、リハビリおよび治療用途に繋がり得る。患者は、健常の身体関節において残存している動きを用いるため、当該の残存している動きの実行のために用いられる筋系および神経結合が強化される。加えて、デバイスの使用と共に、脳可塑性により、残存している動き(自然な動きおよび事前プログラムされた動き経路の双方)が所望の行動と関連付けられ、これにより、患者の動きが健常の人物のようなより滑らかな動きになる。このアプローチは、手、足または他の身体部分への損傷または手術後において、一般的理学療法における用途も提供する。さらに、本明細書中の本開示は、リハビリ用途における体肢/体動軌跡の経時的質の測定および追跡に用いられ得る。
図1は、本開示の実施形態によるデバイスを備えた患者の手および前腕により「9ホールペグテスト」を実行している様子を示す。このテストは、手の巧緻性の標準測度であり、当該分野において公知である。患者の手首の上部において、ウェアラブルセンサーハウジング10が設けられる。ウェアラブルセンサーハウジング10は、患者の手の動きの経路と、患者の体肢の方向付けとを検出する動きセンサーを含む。以下により詳細に説明するように、センサーを挙げると、3軸加速を検出する慣動ユニット(IMU)、回転速度を検出するジャイロセンサー、地磁界における方向付けを検出する磁気センサーがある。他の実施形態によれば、センサーは、肘、膝または腰などの関節の屈曲を検出する関節角度センサー/屈曲センサーも含み得る。コンピュータ(またはデバイス中に埋設されたマイクロプロセッサ)(図1中図示せず)は、IMUと通信する。コンピュータは、プロセッサ、メモリ、および/出力デバイスを含む。図1に示す実施形態によれば、IMUは、無線周波数Bluetoothリンクを介してコンピュータと通信する。この試験において、NMES電極12は、親指の基本的動きを司る患者の短母指外転筋および短母指屈筋と接触する。
図2は、図1中のシステムの実施形態を示すブロック図である。センサーハウジング10は、センサー16a、16b、…16nを含む。これらは、IMU、関節屈曲/角度センサー、カメラ、ジャイロセンサー、力センサー、ならびに動きおよび方向付けを監視する他のセンサーを含み得る。マイクロコントローラ18は、センサーへ接続されて、センサーからの信号を処理して多様なセンサーからの出力を統合して、軌跡データを提供する(例えば、身体部分方向付け、重力について修正された3軸線加速度、または全体的動き(並進および/または回転)情報)。マイクロコントローラ18からの出力がコンピュータシステム20へ提供されると、以下に述べるように、患者の手の動きの経路を示す信号が提供され、当該動きが分析される。一実施形態によれば、マイクロコントローラ18およびコンピュータ20は、無線周波数送受信器19aおよび19bを含む(例えば、動きデータを無線通信するBluetoothデバイスまたはZigBeeプロトコルデバイス)。他の実施形態によれば、コンピュータ20の機能は、マイクロコントローラ18と統合され得る。このマイクロプロセッサは、ニューラルプロセッサまたはニューラル処理ユニットまたはテンソルプロセッサであってもよく、その場合、消費電力が低い機械学習またはディープラーニングに合わせて最適化されて、ウェアラブルデバイスにとって理想的なものとなる(例を挙げると、Apple(クパティーノ、CA)によるM1プロセッサまたはArm(ケンブリッジ、イギリス)によるCortex-M55がある。コンピュータ20は、局所的に接続されたコンピュータのネットワークおよび/または着用者から遠隔にあるコンピュータシステム(例えば、クラウドコンピューティングシステム)も含み得る。
図1に示す実施形態によれば、センサーハウジング10は、腕時計のように装着される。他の種類のハウジングも用いられ得る。例えば、センサーハウジング10は、患者の前腕または患者の手上に装着されるグローブ上のカフ、スリーブまたはウェアラブル接着パッチ(電極、マイクロプロセッサまたは人工神経回路網またはAIプロセッサ、視覚インジケータ(例えば、LEDを備えたもの)、無線通信、および使い捨て型の導電性接着剤材料)に内蔵され得る。このようなスリーブまたはウェアラブル接着パッチは、患者の肘の屈曲を検出する関節屈曲/角度センサーを採用し得る。麻痺のある体肢または外部デバイスの作動を他の身体部分の残存している動きにより制御する用途においては、デバイスは、(腰部動きを検出するための)ベルトとして着用され得るか、(患者頭部の動きおよび方向付けの検出のための)帽子またはヘッドバンドの一部として着用され得るか、または、患者身体のいずれかの場所において着用される衣服内に内蔵され得る。
コンピュータ20は、NMESドライバー14へ接続される。NMESドライバー14は、電流を生成して、複数のNMES電極12a、12b、12c、…12nへ付加する。これらのNMES電極は、患者の前腕上に配置されるか、または、カフ、スリーブまたは接着パッチ内に設けられる。一実施形態によれば、NMES電極12a、12b、12c、…12nは、図5に示すように患者の前腕上に確実にはめ込まれたスリーブ内に配置される。このスリーブについては、以下に詳述する。電極の配置構成は、前腕の筋肉の解剖学的構造に対応するように選択される。所定位置に配置された後、これらのNMES電極は、患者の筋系に対してマッピングされ得る。
NMESドライバー14によって生成された刺激波形は、選択された複数組の電極へ付加される。波形のパラメータ(例えば、波形(矩形、正弦、三角など)、パルス幅、パルス周波数、電圧およびデューティサイクル)が選択され、NMESドライバーは、コンピュータ20からの制御信号に応答してこれらの信号を付加するように設定される。一実施形態によれば、一連の短いバースト発生として付加され、刺激間は、バースト間期間によって分離される。NMESパラメータは、指の動きおよび親指の動きのより高精度の分離と、疲労低減とのために、皮膚の貫通を向上させるように選択され得る。これらの電極の患者の前腕中の特定の筋肉に対するマッピングは、選択された筋肉が(NMESドライバーからの刺激信号により)起動されて指および親指の屈伸および伸長が起動されるように、行われる。
図1に示す例において、NMES電極は、粘着テープまたは導電接着剤材料またはハイドロゲルを用いて患者の前腕へ付加される。あるいは、電極を(使い捨て型の接着型ハイドロゲルと共に)パッチ状構造にしてもよいし、あるいは、一体化されたセンサーおよびマイクロプロセッサまたはAI処理ユニットを含むカフを以下に述べるように図5に示すように患者の前腕上に着用する形式にしてもよい。電極を患者筋系に対して接続および方向付けるための当業者に公知の他の方法が用いられ得る。図1に示す実施形態において、電極12a、12b、12c、…12nは、親指(短母指外転筋、短母指屈筋および母指対立筋)を制御する親指筋肉のうち1つ以上に対して刺激電流を付加されるように配置され、これがきっかけとなって、多様な有用な親指の動き(例えば、(人差し指先端による)「摘み上げ」)および「鍵」型の把持が行われる。
コンピュータ20に含まれるハードウェアコンポーネントおよびソフトウェアコンポーネントは、センサー16a、16b、…16nからの信号を受信して、ハウジング10の軌跡および方向付けおよびよって患者の体肢の動き経路および方向付けを決定する。これに基づいて、コンピュータ20は、信号をNMESドライバー14へ送信して、(意図される構成を患者の手にとらせるシークエンスに従って)電極12a、12b、12c、…12nを通電する。一実施形態によれば、コンピュータ20は、出力も出力デバイス22(例えば、表示モニターまたは画面)へ提供し、入力を1つ以上の入力デバイス24(例えば、キーボード、コンピュータマウスまたは他のポインティングデバイスおよび/またはマイクロフォン)から受信する。コンピュータからの出力は、記録もされ得、理学療法時における患者の進展の評価の際に医療専門家によって用いられ得る。加えて、以下により詳細に述べるように、この出力は、患者母集団からの類似のデータと共に匿名化および収集され得、意図される行動を行いたいというユーザの意図を示す体動および軌跡の認識の向上を目的とした機械学習システムの訓練のために用いられ得る。
別の実施形態によれば、コンピュータ20、NMESドライバー14、マイクロコントローラ18、およびNMES電極12a、12b、12c、…12nのアレイは、センサーハウジング10と一体化されて、携帯式のウェアラブルシステムを形成する。このようなウェアラブルシステムは、タッチスクリーンまたは((例えば、識別患者の意図の識別向上を目的としたシステムの訓練のために)患者がシステムと対話することが可能な「スマートウォッチ」に類似する)他の入力/出力デバイスを含み得る。コンピュータ20と、システムの他のコンポーネントとの間の接続は、物理的接続(例えば、ケーブル)であり得る。あるいは、コンピュータ20は、信号通信を無線的に無線周波数リンク(例えば、Bluetooth、ZigBee)によってまたは赤外線を介して行い得る。コンピュータ20は、メモリ記憶装置を含み、以下により詳細に述べるような多様なアルゴリズムを行うようにプログラムされる。他の実施形態によれば、コンピュータ20は、センサーハウジング10とも一体化される。このような実施形態により得られる自己内蔵型システムにより、ウェアラブルシステムを任意の有線インターフェースまたは無線インターフェースから独立した様態で用いることが可能になる。
図5は、NMES電極12a、12b、…12nのアレイが装身用パッチ15上に一体化された本開示の実施形態を示す。電気的連結層13(例えば、ハイドロゲル層)が、電極アレイと、着用者の皮膚との間に設けられる。図5に示す実施形態において、電極12a、12b、…12nは、着用者の手を制御する筋系に隣接するパターン状に配置される。一実施形態によれば、他のコンポーネント(例えば、IMUセンサー16a、16b、…16n、マイクロコントローラ18、NMESドライバー14、コンピュータ20および電源を含むセンサーハウジング10)も、装身用パッチ15上に配置される。この実施形態により、ケーブル配線が不要になるため、ユーザが健常関節(本例においては、肩、胴、および上腕または腰部)を自由に動かしてシステムを作動させて、手、下肢または足の麻痺のある関節における意図される行動を刺激させる。ケーブル配線を不要にすることにより、デバイスの連続着用が可能になり、ユーザの日々の活動が支援される。電極アレイ12は、特定の電極または複数組の電極の通電により特定の動き(例えば、下肢または足の上記したような把持的動き)に繋がるように、特定のNMESドライバー12a、12b、…12nを着用者の筋系に対してマッピングするようにプログラムされ得る。このようなマッピングにおいて、着用者の意図に対する筋肉の活性化を微調整するための機械学習技術が用いられ得る。
図1に示す例において、患者の手首上のハウジング10内にある慣性センサー(IMU)16a、16b、…16nは、2D腕軌跡および3D腕軌跡を感知し、信号をコンピュータ20へ送信する。これらの信号は分析され、(データフィッティングおよび/またはコンピュータ20上において実行される機械学習アルゴリズムにより)所望の行動と関連付けられた1つ以上の予期される軌跡と比較される。患者が特定の行動を行おうとしていることを示す軌跡または動きが認識された場合、コンピュータ20は、NMESドライバー14へ送信して、選択された電極12a、12b、12c、…12nを起動させて、前腕内の神経筋刺激パターンを制御して、手の「開閉」を制御する。
これらのIMUは、患者の体肢を監視し、信号を提供する。これらの信号は、分析されて、所望の動きまたはデバイスアクションを示す。これらのIMUは、6軸(加速および回転速度)または9軸(磁界情報の追加)の動きを検出し得る。IMUを含む1つ以上のハウジングが、多様な体肢、身体または頭部位置に配置され得、脚、手、足、腰部、首、頭部または他の任意の身体部分内の患者の体肢セグメントについての方向付けおよび平行移動の情報の提供のために用いられ得る。
図1に示す患者が自身の手を垂直の「虹」の弧を描くように動かすと、患者の手首(または前腕)へ取り付けられたIMUの出力がコンピュータ20によって分析されてこれを予期される軌跡として検出し、当該患者が「鍵把持」型の動きを用いてペグをペグボードから把持しようとしていると識別する。患者の手が垂直弧の軌跡の終端に近づくにつれて、コンピュータ20は、NMESドライバー14に患者の筋肉を刺激させて、手の指を丸めて親指を人差し指から離隔方向に動かして、親指を伸長させて「鍵把持」の形態をペグ上にとる準備をさせる。手が垂直弧軌跡の終端に到達すると、コンピュータ20は、時間遅延のために親指を人差し指の側部から間隔を開けて配置させて、患者に(自身の残存している肩および腕の機能により)手をペグに相対して位置決めさせる。この遅延の終了時において、コンピュータ20は、NEMS電極を短母指外転筋筋肉上において作動させることにより、ペグ上のグリップが閉められる。NEMS信号は活性のままであるため、ペグも確実にグリップされたままである。患者の手首または前腕の他の全体的動き(すなわち、並進運動および/または回転運動)の感知により、他の種類の把持的動きを行おうとしているという患者の意図が決定され得る。例えば、患者は、「栓抜き」状の動きを用いて物体に手を伸ばすことにより、別の種類の把持(例えば、物体を摘み上げるための「爪による把持」)を行いたいという患者の意図を示し得る。
コンピュータ20は、患者が(患者が自身のグリップを解放したいと思っている旨を示す)別の動きまたは軌跡を行うまで、筋肉を活性化させた状態に保持する。一実施形態によれば、患者が自身の手を(残存している肩/肘動きにより)小さな時計回りまたは反時計回りの動きを(テーブルの表面に対して平行な水平面において)描いて動かすと、この動きは、加速度計(例えば、IMUセンサー16a、16b、…16nのうち1つ以上)によって検出される。この動きは、患者がペグを解放したいと思っている旨を示すものとしてコンピュータ20によって解釈される。コンピュータ20によりNMES電流が付加されて、親指を人さし指から離隔方向に移動させて、グリップが開かれ、ペグが解放される。物体の解放が必要である旨を示す他の動きが用いられ得る(例えば、前腕の回内または回外(回転)型の動き)。ユーザは、グリップを解放したいという意図を示す動きまたは体動の任意のパターンを選択し得、これは、パターン認識アルゴリズムおよび/または機械学習アルゴリズムにとって認識可能であるため、「手を開く」神経筋刺激パターンが呼び起こされる。別の実施形態によれば、体動または軌跡の代わりにまたは体動または軌跡に加えて、患者が物体を解放させたいという意図を示す信号は、急激な信号(例えば、物体の表面の1回以上のタッピング)であり、これにより、加速度計署名信号が生成される。タッピング信号が特に有利な場合として、円筒型物体(例えば、水飲み用コップ)が把持される際に行われるタッピングは微弱なもので済むため、当該人物の障害へ注目が集まらない場合がある。ユーザが自身の手を開いて物体を解放させることを望んでいる旨を示すために、水平面における単純な時計回りまたは反時計回りの円形の動きも用いられ得る。
別の実施形態によれば、NMESドライバーへの信号送信の代わりに、コンピュータ20は、患者の外科的に切断された手の代替となるロボット/義手の電動型アクチュエータへ接続される。本実施形態において、ロボットハンドは、腕軌跡の検出に応答して把持行動を行うように、制御される。
一実施形態によれば、軌跡の解釈は、軌跡検出前のシステムの状態に依存する。直前の例において、物体が把持されている状態において、水平面における時計回りの円形の動き/軌跡は、物体を解放させよとのコマンドとして解釈される。システムが異なる初期状態にある場合(例えば、手が「開く」位置にある場合)、時計回りの円形の動きに起因して、(例えば爪による把持を行うための)異なる行動が発生し得る。
本開示の実施形態は、手または腕の動きの検出に限定されない。ヒトの身体は、体肢および胴部を多様なパターンで動かすのと共に、無数の動きを空間内において達成することができる。詳細には、ヒトの腕および脚ならびにさらには臀部および胴部の空間内の回転および軌跡には、膨大な量の情報が含まれる。本明細書中に開示されるのは、多様な所望の結果の達成のための多様な動きをロバストかつ高精度の様態で感知および認識する方法およびデバイスである。(時には体肢(または身体)の回転も伴う)空間内の特定の直線状または曲線状の動きにより、自然な手を伸ばす動きを(残存している肩動きを用いて)記述することが可能である。例えば、このアプローチを用いれば、四肢麻痺患者のユーザは、自身の腕を曲線状経路に沿って物体へと動かすことができ、この軌跡が自動認識された後、神経筋刺激がトリガされて、ユーザの手を物体周囲において開かせ、(短い遅延の後に)閉じらせる。
IMUは、方向付け情報も提供することができ、この情報は、大変有用であり得る。例えば、IMUが手首の後側(手首の前腕側であり、腕時計の面が配置される側)に配置された場合、この手は中立の(握手)位置にあり、この情報は特定の手を伸ばす軌跡と組み合わされて、ユーザが円筒型物体(例えば、水瓶またはグラス)を把持したいと望んでいる旨を示し得る。2D腕軌跡および/または方向付けパターンは、多数の行動(例えば、デバイス制御および多様な手/脚の動きのための筋肉刺激パターン)の駆動のために用いられ得る。さらに、異なる種類の把持の制御のために、多様な軌跡が用いられ得る。上記したように、テーブル上に配置された物体の上方にユーザが手を伸ばそうとする際に描かれる虹のような弧の軌跡により、(物体を上方から摘み上げるための)鈎爪型の開閉による把持のトリガが可能になる。時計回りの栓抜き型の手を伸ばす軌跡は、円筒型把持の制御のために用いられ得、反時計回りの栓抜き型の手を伸ばすパターンが、摘上型の把持のために用いられ得る。
IMUに加えて、他のセンサーが、健常関節の動きの検出のために用いられ得る。一実施形態によれば、さらなる入力を提供するために、屈曲センサーが肘に設けられる。この入力は、特定の軌跡をさらに特定するために用いられ得る。肘の屈曲は、グリップ行動時における把持強度(またはロボット端部エフェクタの閉鎖力)の駆動を目的とする神経筋刺激のための電流振幅の調整のためにも用いられ得る。
本開示の別の実施形態によれば、自然な体動の検出の代わりにまたは自然な体動の検出に加えて、デバイスは、1つ以上の事前規定された軌跡を検出する。線香花火を空気中において動かすのと同様に、認識可能なパターンおよび形状が生成され得る(例えば、文字、数字、栓抜き/螺旋)。センサー16a、16b、…16nは、このようなパターンと関連付けられた動きを検出し、コンピュータ20は、センサーからの信号を分析して、患者が特定の行動に対応するパターンを実行したかを決定する。ユーザは、自身が好む任意のパターンを選択し得、当該パターンを多様な動きまたはデバイスアクション(ホームエレクトロニクス、コンピュータ、モバイルデバイス、ロボットアーム、車いす)へリンク付けし得る。これらの軌跡は、直接的ユーザ制御下においてこれらのデバイスとの対話、これらのデバイスの制御またはこれらのデバイスの駆動を行うために用いられ得る。
本開示の実施形態に従って、デバイスを構築した。センサー16a、16b、…16nは、BoschセンサーTecBNO0559軸IMUからなる。センサーを、マイクロコントローラ18(ここでは、Adafruit(Feather Huzzah32)からの32ビットのARMマイクロコントローラユニット(MCU))へ接続させた。IMUは、内蔵プロセッサおよびアルゴリズムを有するため、方向付けの推定および重力補償の実行がリアルタイムで行われて、線加速度が3本の直交方向において生成される。X軸、Y軸およびZ軸に沿った線加速度を、I2Cインターフェースを介して外部から利用可能とした。IMUをMCU18と相互接続させるように、フレキシブルプリント基板を設計した。MCUからのデータをBluetoothを介して連続的に50Hzでコンピュータ20へストリームさせた。処理をオフラインで行った実施形態については、コンピュータ20においてMATLAB(登録商標)2019aを用いて、動きデータの保存および処理を行った。
他の実施形態において、MCU18は、データ処理をリアルタイムで行って、被験者の前腕上に位置決めされた筋肉刺激装置を作動させる。神経筋刺激の実行は、バッテリー作動の8チャンネルの電圧制御型の刺激装置により行い、刺激パルス周波数を20Hzとした。多様な指の屈伸および伸長の動きの呼び出しのために、これらの刺激チャンネルを、布スリーブ上の個々の電極または複数の電極に対してマッピングする。複数の刺激チャンネルのグループ分けおよび活性化プロファイルの順序付けにより、異なる種類の把持(例えば、円筒型把持および摘上把持)をプログラムした。
図3は、本開示のさらなる実施形態によるデバイスによって記録された動きを示す。本例において、本開示の実施形態によるデバイスを着用している健常の人物が自身の腕を「C」字型の軌跡をたどって動かした。本例において、当該人物は、この動きを3回繰り返した。IMUからの信号により、当該人物の手首の6軸データ(加速および回転速度)を得た。IMUの出力を重力について修正して、反復可能な加速データを得た。この加速データを統合して、動き時における体肢の時間依存型の位置(すなわち、軌跡)を決定する。この軌跡に基づいて、コンピュータ20は、「C」字型の軌跡が発生した旨を決定する。各繰り返しにおいて、「C」字型形状は、右端の列内に表示されるX/Y位置に出現する。
コンピュータ20は、患者が行おうとしている行動の意図を識別するために体肢および体動および軌跡の分析および特定を行うパターン認識アルゴリズムを用い得る。この分析は、信号処理アルゴリズムを含み得る(例えば、患者の体肢の動きの実際の軌跡と、意図される行動に対応することが予期される軌跡とを比較する動的タイムワーピング(DTW))。DTWの場合、ユーザによって異なり得る異なる動き/軌跡速度またはタイミングのプロファイルに対応できるという利点がある。
他の実施形態によれば、機械学習技術の適用によりセンサー出力を分析して、特定の行動を行いたいというユーザの意図を識別し、ユーザが行動を意図していない他の動きを識別する。1つのこのような実施形態によれば、コンピュータ20に含まれる重畳型神経回路網(CNN)または回帰神経回路網(RNN)は、IMUおよび他のセンサーからのデータを分析して、行動を行いたいという患者の意図を信号伝達する体動および軌跡またはカメラデータを特定して、手が接近している物体についてのユーザの意図または情報(手による収容および把持が必要な物体の形状およびサイズ)をさらに識別するためのさらなる文脈情報を提供する。RNNは、長・短期記憶(LSTM)などの技術を実行して、意志-信号伝達の動きを特定する。このような技術の利用により、本システムは、特定の軌跡または体動の特定を反復的かつ信頼性高く行い、患者の筋肉または電動型人工器管を作動させて、意図される行動を行わせる。加えて、センサーデータは記録されるため、本開示の実施形態によるシステムは、患者の意図をより良好に特定するように、連続的に訓練され得る。複数の患者からのデータを適切に匿名化すると、得られたデータは、機械学習アルゴリズムの訓練のために収集および利用され得る。多様な他の機械学習アルゴリズムが、自然な軌跡および事前プログラムされた軌跡の分析および特定のために用いられ得る。これらの例を非限定的に挙げると、サポートベクターマシン(SVM)アルゴリズム、手書き認識アルゴリズム、およびディープラーニングアルゴリズムがある。このような機械学習アルゴリズムは、患者本人が装着しているコンピュータ20上に局所的に実行され得る(例えば、補綴物内に内蔵されるかまたはセンサーハウジング10へ接続される)。局所的処理の代替としてまたは局所的処理に追加して、機械学習アルゴリズムは、ユーザから遠隔位置にあるコンピュータシステム上において(例えば、クラウドコンピューティングネットワーク上において)実行され得る。これにより、さらなるデータの経時的収集と共に、本明細書中に開示されるシステムおよび方法が適合することが可能となる。このようなアルゴリズムは、患者による反復的体動を認識することにより、アルゴリズムによる動き認識が初回検出時において高精度ではない場合を可能にし得る。
図4は、本開示の実施形態によるデバイスによる動き検出の別の例を示す。ここで、健常の人物が、「3」の字型の動きを3回の繰り返しにより実行した。ここでも、IMUは、重力修正された加速データを提供し、コンピュータは、当該人物の体肢の時間依存型の軌跡を計算した。ここでも、右端の列における位置グラフにより示すように、「3」の字型形状が各反復において見受けられた。ユーザが「3」の字型形状および「C」の字型の動きを異なる行動(例えば、「鍵把持」および「円筒型把持」)と関連付けていれば、コンピュータ20は、異なるパターンの神経筋刺激を付加することができ、その結果、手の動きにより、1つの種類の把持またはその他の種類の把持が実行される。
別の実施形態によれば、動きデータの訓練セットを、多様な英数字型の軌跡に合わせて準備した。先ず第1に、IMUから得られた未処理の3軸重力補償された加速度に対してバンドパスフィルタ処理(Butterworth、8次、0.2~6Hz)を施して、訓練用サンプルの特定のためにオフライン処理した。3軸に沿った加速の絶対値を用いて、(閾値を0.95gに設定することにより)動き開始を特定した。次に、この動き開始を用いて、X、YおよびZ軸に沿った経時的加速データを開始に対して-0.1s~0.9sの窓にセグメント化した。各試行において、任意のノイズアーチファクトまたは過度のジャーク(加速の微分値)が無いことまたは1s窓を超えたかについて視認により確認した。このような試行を、さらなる分析から排除した。これらの訓練セットを用いて、動的タイムワーピング(DTW)アルゴリズムおよび長・短期記憶(LSTM)ネットワークアルゴリズムを訓練した。
DTWアルゴリズムは、前回決定されたテンプレート軌跡に対してサンプル軌跡を最適に整列させることにより、これらの2つのサンプル間のユークリッド距離が最小化される。これは、最適なマッチングが得られるまで時間軸を繰り返し拡張または縮小することにより、達成される。多変量データ(例えば、加速)については、アルゴリズムは、依存時間ワーピングを用いて異なる次元に沿った距離を同時に最小化する。本実施形態によれば、アルゴリズムを用いて、試験サンプルと、2D軌跡および3D軌跡と関連付けられた全テンプレートとの間の最適距離を演算した。テンプレートのうち、試験サンプルへの距離の最適度が最低のものを、分類子の出力として選択した。分類子の出力は、テンプレートの質に依存するため、内部最適化ループを用いて、最良のテンプレート軌跡を1組の訓練用軌跡から選択した。このループ内において、各訓練用サンプルのDTWスコアをその他の訓練用サンプルと共に演算した。次に、最小犠牲のDTWスコアの訓練用サンプルを、当該軌跡用のテンプレート(すなわち、予期される軌跡)として選択した。
いくつかの実施形態において、LSTMネットワークが、動きデータの分析のために用いられる。1つのこのような実施形態によれば、LSTMネットワークは、単一の双方向層を、MATLAB(登録商標) R2019bディープラーニングツールボックスを備えた100個以上の隠れユニットと共に含む。ほとんどのパラメータについて、デフォルト値が選択された。LSTMネットワークにより、2Dまたは3Dの加速データが、結果が二値(すなわち、0または1)であった完全接続層に対する入力へ変換される。次に、ソフトマックス層を用いて、複数の出力クラスの確率を決定した。最後に、ネットワーク出力モードを「最後」に設定して、最終時間ステップが経過した場合にのみ決定が生成されるようにする。これにより、LSTM分類子がDTWと同様の挙動を示し、軌跡窓を分類することが可能になる。LSTMネットワークの重量の訓練時において、適応モーメント推定(ADAM)ソルバーを用いて、勾配閾値1およびエポック最大数200と共に用いた。訓練および検証データ全ての長さは1秒であったため、ゼロパディングは使用しなかった。LSTMネットワークの実行のために、MATLAB(登録商標) R2019bディープラーニングツールボックスは、上記したものを除くパラメータのデフォルト値と共に用いた。
一実施形態によれば、未処理の加速信号のフィルタリングおよび処理をリアルタイムで(50HzにてループされるMATLAB(登録商標)スクリプトを用いて)行うことにより、腕軌跡のオンライン分類を行った。このループ内において、加速データを長さ1秒のセグメントに分割し、98%重複させた。DTWベースの分類子を、入来する加速窓を2D軌跡と比較するように実行および設計した。軌跡間の最適な距離が(経験的に決定された)10単位を下回った場合、正の分類が発行され、その後、NMESドライバー14がトリガされて筋肉が刺激され、手の開閉の動きシークエンスの全体が行われる。
一実施形態によれば、センサーデータが機械学習アルゴリズムへ入力されると、このデータは、特定の動きを予期される軌跡として(行動との関連付けのために)特定するように、訓練される。このような訓練は、健常の人物または脳卒中患者内の非罹患側(動きのミラー画像)の利用により達成され得る。脳卒中患者においては、片麻痺(身体の片側の麻痺)は珍しくない。一実施形態によれば、脳卒中ユーザは、デバイスのアルゴリズムの訓練またはその動きのさらなる微調整を行うために、自身の非罹患側を用いる。いずれの場合も、ユーザは、デバイスを着用しているとき、実世界条件下において自然な手を伸ばす軌跡および多様な軌跡を(手を開く行動および異なる把持行動を検出するさらなるセンサーと共に)行う。このようなさらなるセンサーを挙げると、手による把持行動(開く、閉じる、鍵把持、円筒型グリップ)の決定のために関連筋肉上に配置されたEMG(筋電)センサーがある。このEMG信号の振幅は、筋肉収縮の強度(例えば、持続期間および経時的変化)を示し、このデータにより、所望の動きが動き/軌跡の認識アルゴリズムを通じて認識された際に、把持行動を含む行うための刺激信号のパターンの送達のためにNMESドライバー14から付加された電気刺激振幅およびそのタイミングを直接通知することが可能になる。手を開く行動および異なる把持行動を検出するデバイスは、このような行動の画像を記録するカメラ、IMUあるいは(システムによる刺激信号のパターンの決定の訓練に用いられる)健常の手へ取り付けられた関節角度/屈曲センサーまたは力センサーも含み得る。
さらなるセンサーは、カメラならびに屈曲/関節角度センサーおよび力センサーも含み得る。このカメラは、画像分析に連結され、手を伸ばす軌跡および/または把持的動きをキャプチャするように位置決めされる。キャプチャされた軌跡および把持データは、事前訓練された軌跡または動きのパターンのデータベースを(特定の手の行動との関連付けのために)構築するために用いられる。このデータは、機械学習アルゴリズム(例えば、ディープラーニング神経回路網)の訓練のために用いられる。デバイスを訓練(または部分的に訓練)した後に、デバイスを麻痺のある人物に対してフィットさせる。このような訓練を挙げると、入力デバイス24を介したコンピュータへの入力の使用がある。例えば、特定の軌跡を(円筒型把持を示す)「S」字型経路として認識するようにシステムをある人物が訓練している場合、当該人物は、当該動きと同時に(「円筒型把持」、「開く」および「閉じた」などの)言葉を聞き取れる状態で発声し得る。コンピュータ20は、マイクロフォンを入力としてかつ公知の音声認識技術を用いて、音声入力を読み出し、センサーデータをタグ付けする。このタグ付きデータは、機械学習アルゴリズムのための訓練セットデータの一部となる。あるいは、アルゴリズムの訓練に用いられる動きのタグ付けをキーボード上のキーストロークを用いて行ってもよいし、あるいは、(関連付けられた手の動きと「自然な」把持的動きを関連付けるためにIMUからの動きデータを記録しつつ)多様なタスク(例えば、テーブル上の物体の把持、ボード中へのペグの挿入)を行っているユーザの視像をキャプチャするカメラをコンピュータ20に備えてもよい。
別の実施形態において、手首(バンド、スリーブ/パッチまたは衣類の一部として)手首に配置されたカメラが物体接近時において物体を認識することにより、刺激パターンに影響を及ぼして、手を開く形式の種類を変化させる(例えば、全部の指または親指-人差し指の摘上伸筋のみを起動)。物体の手に対する相対位置が低速化/停止した場合、屈筋が自動的に起動されて、把持を開始する。電池式のマイクロプロセッサ(例えば、セルフォン技術)を用いた小型の携帯式のデバイスを用いたリアルタイムの物体認識技術が、当該分野において周知である。これらの技術をAIおよび機械学習方法(例えば、サポートベクターマシン、重畳型神経回路網、ならびに静的および動的な画像分類のための長・短期記憶(LSTM)回帰神経回路網)と組み合わせると、(物体の把持を正しくかつ信頼性良く行えるように患者の手を位置決めする方法をシステムに通知するための)視覚的キューが可能になる(例えば、把持されている物体の種類)。
2D動きおよび3D動き(例えば、空気中における栓抜きのような動き)を鑑みると、多様な軌跡がコンピュータによって特定され得、多様な行動と関連付けられ得る。これらの軌跡は、動きの回復のための神経筋刺激の駆動のためだけでなく、補綴/ロボットデバイスまたは運動性デバイス(例えば、車いす)の駆動にも用いられ得る。
選択された事前規定された軌跡に対応する動き軌跡の検出のために、本開示によるシステムを用いて調査を行った。この調査において、四肢麻痺のある参加者2人に参加してもらった。参加者1は、6年前に受傷した32歳の男性であり、C4/C5ASIA(American Spinal Injury Association)のB損傷を持っていた。参加者1は、10回のセッションに参加し、そのうち7回のセッションを用いて、2Dおよび3Dの腕の動きの軌跡を記録した。残りの3回のセッション時においては、把持意図をオンラインで(リアルタイムで)デコードして、これを用いてテキスタイルベースの電極12a、12b、…12nがスリーブ内に収容されたカスタム型の神経筋刺激装置を駆動した。その結果、参加者が機能的動きを行うこと(例えば、グラノーラバーを食べること)が可能となった。参加者2は、10年前に受傷した28歳の男性であり、C4/C5 ASIA Aの損傷を持っていた。参加者2は3回のセッションに参加し、内訳は2回の訓練および1回のオンライン試験セッションとした。
参加者に、最初は手をテーブル上に置いた状態で座ってもらった。無線センサーモジュールを参加者の腕の手首にマジックテープ(登録商標)を用いて取り付けた。このセンサーモジュールは、上記実施形態に開示のように、動きセンサー16a、16b、…16nおよびMCU18を含むものとした。双方の参加者の障害は両側に及んでいたが、各参加者において残存している動きが可能であったため、少なくとも1本の腕により手を伸ばすことができ、本調査においてこれを最終的に利用した。
本調査時において、異なる2Dおよび3Dの動き軌跡と関連付けられた口頭キューが、参加者に対してランダムに呼び出された。参加者に対し、手を伸ばす範囲の軌跡を行う際、テーブルの縁部または角部から動きを開始し、その後中央に動かし、その際に用いる平滑な動きの長さは2秒までにしてくださいと指示した。3つの異なる3Dの手を伸ばす範囲の軌跡:横方向弧、垂直弧(例えば、テーブル上に載置されたペンまたはマーカーに手を伸ばすこと)、と、栓抜き型の動きとについて訓練した。さらに、周知の英文字およびギリシャ文字:S、ε(イプシロンまたはE)、γ(ガンマ)およびMに対応する4つの2D軌跡を(水平面において実行して)訓練した。参加者の疲労を最小限にするために、実験を18~20個の試行ブロックにおいて実行し、ブロック間に十分な休憩を付与した。S軌跡およびε軌跡は簡単に覚えられ、疲労の原因にならないため、参加者に対し、先ずS軌跡およびε軌跡のみを行うよう依頼した。次に、参加者が自身の腕を動かすことに慣れてもらってから、さらなる2D軌跡および3D軌跡を調査に追加した。よって、最終データセット中において、2D軌跡(特にSおよびε)のパーセンテージの方が、残りの軌跡よりも高くなった。
参加者1については、7つの動き軌跡にわたって250個を超える訓練用サンプルを記録し、参加者2については、5つの動き軌跡から96個のサンプルを記録した。ノイズを含むセンサーデータを含む試行または不正確なラベルを視覚的に特定し、訓練セットから除去した。DTWベースの分類子およびLSTMベースの分類子の評価のために、5重の層化クロス検証スキームを選択した。図7は、2人の参加者についての平均±標準偏差(SD)分類の精度を示す。棒グラフにより、DTWおよびLSTMの2つの方法を用いて分類精度(平均±SD)の比較を行う。オフライン(2D&3D)およびオンライン(2Dのみ)の腕軌跡双方を用いて、性能評価を行った。統計的有意性の閾値は、p<0.05に設定した。
オフラインシナリオにおいて、DTWベースの分類子およびLSTMベースの分類子双方は、2D軌跡については良好に機能し、精度はそれぞれ94±5%および98±3%を達成した。しかし、オフラインの3D軌跡については、LSTMの方がDTWよりも成績が良く、LSTMの精度は99±3%である一方、DTWは83±16%であった。両側ウィルコクソン順位和検定を用いて、LSTMベースの分類精度は、双方の場合においてDTWよりも有意に高かった(p<0.05)。図7において、DTWベースの分類子の2D軌跡についてのオンライン性能も示す。オンライン分類時において、2つの軌跡(例えば、Sv/sε)間または単一の軌跡と残りの軌跡(例えば、Mv/残り時間(秒))との間を比較したところ、精度79±5%を達成した。各分類子の性能をタイプIおよびIIのエラーについてさらに評価するために、累積混同行列の計算を、各参加者の各重からの混同行列の加算により行った。その結果得られた混同行列を双方の分類子および双方のタイプの軌跡について図8に示す。
DTWベースの分類子の場合、タイプIのエラーは、2D軌跡においてよりも3D軌跡においてより頻発した。タイプIのエラーのパーセンテージについては、栓抜き軌跡が最も高く(37.8%)、その次に垂直弧の軌跡(14%)、εの軌跡(10.2%)およびMの軌跡(10%)の順序であった。タイプIIのエラーの場合、DTWベースの分類子は、垂直弧の軌跡(14.5%)、側方弧の軌跡(13.8%)およびS字型軌跡(8.33%)を残りのクラスと比較して誤分類した。LSTMベースの分類子の場合、タイプIおよびIIのエラーは極めて少数であり、ほとんど全ての軌跡において0~3%の範囲であるが、M軌跡だけは、タイプIのエラー率が40%であった。推測すると、M軌跡については訓練のための試行を10回しか行わなかったため、LSTM分類子がこの軌跡をサンプル数がより多数である他のクラスから区別するには、このサンプルセットは数が少なすぎたからと思われる。
さらなる例として、本開示の実施形態によるシステムの試験を、麻痺のある人物で肩および腕の動きは残存しているが手の動きは残存していない人によって行った。図6に示すように、本デバイスは、当該人物の腕および肩の自然な手を伸ばす動きを認識し、1つのカップ内に立てかけられているペンの把持のために当該人物の親指内転筋および外転筋を刺激した。当該人物は、残存している腕および肩の動きを用いてペンを持ち上げ、このペンを第2のカップへ移動させることができ、その間、デバイスは、継続的に患者の筋肉を起動させて、グリップを保持させていた。
別の例として、本開示の実施形態によるシステムの試験において、健常の人物を用い、EMG信号を用いたLSTMネットワークの訓練に基づいて、手を伸ばして把持する動き時における筋肉活性化を予測した。対象者に対し、EMGセンサーを薬指の屈筋および伸筋上に装着し、IMU16aを手首に装着した。EMGおよびIMUからの信号を、回路基板(Arduino(登録商標)Nano33BLE)上に実装されたマイクロコントローラ18により事前処理した。回路基板からのデータを、上記実施形態に記載のように、LSTMネットワークを実行するコンピュータ20へ無線通信した。対象者が手を伸ばす動きおよび把持的動きを繰り返し行っている間、IMUおよびEMGからのデータをLSTMネットワークへ提供した。LSTMの訓練後、LSTMは、屈筋および伸筋の筋肉活動のタイミングおよび振幅の予測を対象者の手首の軌跡に基づいて行うことができた。
他の実施形態によれば、本開示によるデバイスは、下肢の動きを可能にするために用いられ得る。1つのこのような実施形態において、IMUは、患者の臀部に固定される。2Dおよび3Dの臀部の動きの検出を、IMUからのデータの分析によって行う。ここでも、アルゴリズムの訓練の達成は、健常の人物に対する装着物として、IMU、体肢の位置および動きを観測するカメラ、脚関節における屈曲/関節角度センサーおよび/または麻痺のある人物にいて刺激すべき筋肉上のEMGセンサーを装着することによって可能となる。臀部の動きの利用により、NMESを用いた筋肉の作動が可能になる(例えば、当該人物の歩行を修正するか、あるいは、当該筋肉が虚弱であるか、麻痺があるか、または下垂足を有する場合に歩行を促進させること)。通常の歩行時において、左尻/上半身が空間内において2Dの「C」字型形の曲線状軌跡を横断した後、右足が持ち上がる。一実施形態によれば、この証拠となる署名軌跡が認識され、歩進シークエンス支援のために、右脚における筋肉刺激パターンのトリガに用いられる。NMES電極は、対象となる関節を作動させる任意の筋肉上に配置され得る。例えば、本開示によるデバイスが、膝手術後のリハビリテーション促進のために用いられる場合、アクチュエータを四頭筋、膝窩腱、ふくらはぎおよび足の伸筋上に配置すれば、筋肉刺激により、着用者の歩行の向上が支援され得る。刺激と、当該人物の自身の腕使用とを組み合わせることにより、歩行器または平行棒にかかる自身の体重を部分的に支持して、臀部/上半身の動きが支援され得る。次に、右尻の軌跡が検出され、左脚の筋肉の刺激に用いられる。
本開示の実施形態によるシステムは、グローブ、靴および力センサーを含む他の衣料と一体化され得る。このようなセンサーは、着用者の手と把持された物体との間の接触および圧力を検出するか、または、歩進時における足の配置を監視する。このような衣料は、肘、手首、膝、足首または他の関節における屈曲/角度センサーも含み得、これにより、システムへの軌跡、方向付け、動き情報および/または(健常身体のユーザにおける機械学習アルゴリズム訓練時における)意図に関連するデータが提供される。
本開示の別の実施形態によれば、患者の体肢の軌跡、方向付けおよび位置のついての情報は、システムによって収集され、記録される。このような情報は、理学療法時における身体部分の軌跡および/または関節の動き(または動き範囲)の追跡に用いられる。本開示によるシステムによれば、進展の追跡と、脳卒中または脊髄損傷の患者のリハビリにおける動き(例えば、空間内の腕の全体的動き)の特徴付けのための低コストな方法が医療専門家に提供される。このようなシステムは、より廉価であり、高価なロボットシステムまたはテーブルのサイズのデバイスに依存して体肢位置および動きを監視する現行の方法よりも嵩高ではない。加えて、機械学習アルゴリズムは、患者の動きを健常のボランティアおよび多様な回復段階またはグレードの他の患者の動きと比較することができるか、または、患者の動きを分類することができる。この情報により、専門家が治療を最適化し、患者へより良いフィードバックを提供し、回復時において患者の進展を示すことが可能になり得る。
ユーザ特有の(カスタム型の)軌跡の訓練時において、音声認識、脳/コンピュータインターフェース(BCI)-非侵襲的または侵襲的(EEG)、タッチパッド、および/または健常の手/脚の動きを用いて、訓練の開始あるいは所望の行動または(訓練された軌跡が関連付けられる)手または足の動きの選択が行われ得る。さらに、事前訓練された軌跡プロファイルをデバイス/システム中に保存しておくことにより、訓練を不要にすることができる。例えば、ユーザにとって既知である文字、数字およびパターンが利用可能であり得、ユーザ特有の訓練無しに自動認識され得る。
別の実施形態によれば、認識された軌跡に応答して行動を行わせるための筋肉の刺激の代替または追加として、本システムは、患者の神経系のいずれかの場所に治療刺激も付加し得る。さらなる実施形態によれば、多様な用途(例えば、動き/感覚の回復および慢性疼痛)のために、電極12a、12b、12c…12nのうち1つ以上が、患者の末梢神経または患者の中枢神経系(CNS)への刺激電流の付加に適合される。神経刺激は、移植された経皮刺激デバイスを通じた疼痛治療にも有効であることが周知である。特定の種類の動き(腕を上げることまたは腰から前屈みになること)は疼痛の原因になり得ることも、周知である。本開示のいくつかの実施形態によれば、疼痛の原因になり得る身体部分の並進および/または回転運動により、検出された動きに起因する疼痛の低減のための刺激がトリガされる。
本開示の実施形態によれば、動き/軌跡の認識により多様な種類の刺激装置をトリガすると、多くの利点が得られ得る。例えば、迷走神経刺激は、上肢リハビリテーションの有効性を向上させることが判明している。一実施形態によれば、本システムは、脳卒中、SCI、外傷性脳損傷、MSなどの動きのリハビリテーション時において、迷走神経刺激のトリガを頸部的に(頸部)または耳的に(耳)行う。このような治療刺激は、他の神経へ付加され得る(例えば、三叉神経および他の脳神経または対象筋肉に繋がる末梢神経)。本開示によるシステムは、多様な形態の脳刺激のトリガ、制御および/または調整にも用いられ得(例えば、TMS(経頭蓋磁気刺激)およびtDCS(経皮直流刺激)、tACS(経皮交流刺激)、TENS(経皮電気神経刺激)、または脊髄刺激(脊髄へ下方におよび脳へ上方に合図を送信する))、これにより、神経可塑性、脳卒中または外傷性脳損傷後の回復および/または疼痛低減が促進される。
脊髄損傷に起因して、脊髄損傷患者内の脳からの信号は、筋肉に到達する前に遮断または減衰される場合がある。損傷を受けた脊髄経路またはその近隣に刺激が発生すると、当該経路における興奮性に繋がり、脊髄損傷患者の動きおよびリハビリテーションが促進され得る。脊髄刺激の付加のための公知のシステムの制御は、(患者の体動によってではなく)制御パッドまたはデバイスを通じて手動で行われることが多い。本開示の実施形態によれば、1つ以上の電極12a、12b、12c、…12nは、硬膜外に位置決めされるか、または、好適には患者の脊髄上に経皮的に位置決めされる。本システムは、理学療法時における患者が描く特定の軌跡を感知し、NMES刺激の付加により麻痺のある体肢の所望の動きを筋肉により実行させることに加えて、本システムは、経皮脊髄刺激をトリガさせて、脊髄損傷に起因して低下している神経信号を(介在ニューロンの興奮性上昇によって)上昇させる。同様に、1つ以上の電極12a、12b、12c、…12nは、脊髄損傷部位の上方、脊髄損傷部位上または脊髄損傷部位の下方に位置決めされ得、これにより、当該脊髄損傷ならびに/あるいは当該損傷の上方および/または下方の経路へ刺激が付加されて、当該損傷に起因して障害を受けたニューロンの修復および/またはニューロン接続の強化が支援され得る。患者の随意の動きをこのような刺激と組み合わせることにより、患者は、自身の刺激パターンを制御することが可能になり、神経可塑性および動きの促進ならびに/あるいは感覚機能の回復とのさらなる促進が可能になる。
脳卒中を罹患した患者の場合、脳または脳幹における損傷部位またはその近隣への電気刺激または経頭蓋磁気刺激の付与により、ニューロン損傷の修復が支援され得る。本開示のさらなる実施形態によれば、頭皮または頭皮上の磁気コイル上に、1つ以上の電極が位置決めされる。動き軌跡の検出に応答して、刺激信号が、(患者の麻痺のある体肢または外肢を動かすためのNMES信号の代替としてまたは好適には追加として)これらの電極またはコイルへ付加される。このような脳刺激を、麻痺のある体肢または外肢を動かしたいという患者の意図と組み合わせると、脳卒中に起因して損傷した運動ニューロン機能の一部の修復が支援され得る。
本開示によるシステムは、相対的に廉価であり携帯式であり、治療家または他の専門家による支援無しに患者が単独で制御することが可能であるため、患者は、デバイス(例えば、ウェアラブルスリーブ(単数または複数)、パッチ(単数または複数))を装着したまま自宅にいることが可能となり、リハビリテーションに利用することが可能な週あたりの時間数の増加に繋がる。
図9は、本開示の別の実施形態を示す。切断を受けた人の腕に、義手100を取り付ける。この義手100は、センサーハウジング10を含む。センサーハウジング10は、着用者の腕の加速、速度、位置および回転を検出するための上記したようなセンサー16a、16b、…16nを含み得る。上記実施形態において記載されたMCU18およびコンピュータ20の機能を統合したコントローラ21は、センサーアレイへ接続され、着用者が健常の関節(例えば、肩、胴および上腕)を用いて実行した動き軌跡を示す信号を受信する。上記した実施形態と同様に、コントローラ21は、意図される手の活性化に対応する動きを実行したかを決定する。コントローラ21は、アクチュエータ112a、112b、…112nへ接続される。これらのアクチュエータは、補綴物100の指の動きを駆動する。上記実施形態と同様に、1つ以上の事前決定された軌跡が、手の特定の動きと関連付けられる。例えば、着用者が自身の上腕、肩および胴を動かして補綴物を「虹の弧」を描いた場合、上記したように、これは、摘上把持を行いたいという意図を示し得、アクチュエータ112a、112b、…112nが通電されて、この意図される把持的動きの実行のために指が動かされる。
図9に示す実施形態は、義手100についてのものである。本開示は、手の補綴物に限定されない。他の種類の補綴物が、本開示によるデバイスによって制御可能である。例えば、着用者の脚の歩行の動きを感知し、アクチュエータを作動させて、足を着用者の歩行と同期した様態で方向付ける足補綴物が提供され得る。
別の実施形態によれば、本開示によるシステムは、運動的における能動的抵抗の提供のために、通常は健常である人物の訓練または理学療法を支援し得る。スポーツ訓練または理学療法の目的のために、多様な体肢の動き/軌跡認識を用いて、麻痺の無い筋肉を刺激する。例えば、人物の前腕の回転速度および線加速度の検出を、前腕上にスリーブ、パッチまたは他のアタッチメントの一部として取り付けられたセンサーからのIMUおよび/またはジャイロデータを用いて行う。この動きは、主に二頭筋によって行われる。検出された動きに応答して、システムは、三頭筋を含む拮抗筋をトリガさせて、(前腕の回転速度の測定に比例する)能動的抵抗を二頭筋に提供する。一実施形態によれば、比例定数は、設定可能なパラメータであるため、ユーザによる抵抗の変更が可能になる。
本開示の例示的実施形態について、上記に記載および例示してきたが、これらは本開示の例示であり、限定的なものとみなされるべきではないことが理解されるべきである。追加、欠落、代替および他の変更が、本開示の意図または範囲から逸脱すること無く可能である。よって、本開示は、上記の記載によって限定されるものとみなされるべきではない。
Claims (26)
- デバイスであって、
1つ以上の動きセンサーであって、前記センサーは、ヒトの第1の身体部分の動きを示す1つ以上のそれぞれの動き信号を生成する、センサーと、
筋肉刺激装置であって、前記筋肉刺激装置は、少なくとも1つの行動を行うために1つ以上の筋肉により第2の身体部分を変位させるための1つ以上の刺激信号を生成する、筋肉刺激装置と、
前記1つ以上の動きセンサーおよび前記筋肉刺激装置へ接続されたプロセッサであって、前記プロセッサはデータ記憶部を含み、前記データ記憶部は、前記少なくとも1つの行動を行いたいという前記ヒトの意図と関連付けられた少なくとも1つの予期される軌跡を含み、前記プロセッサは、
前記1つ以上の信号を前記1つ以上の動きセンサーから受信し、
前記第1の身体部分の実際の軌跡を計算し、
前記実際の軌跡を前記予期される軌跡と比較し、前記比較に基づいて、
前記少なくとも1つの行動を行うために、前記筋肉刺激装置を作動させて、前記第2の身体部分を変位させる、
プロセッサと、
を含む、デバイス。 - 前記プロセッサは、前記実際の軌跡と、前記予期される軌跡との間の差を演算し、前記差に基づいて前記筋肉刺激装置を作動させる、請求項1に記載のデバイス。
- 前記少なくとも1つの行動は、複数の行動を含み、前記少なくとも1つの予期される軌跡は、複数の予期される軌跡を含み、前記複数の予期される軌跡はそれぞれ、前記複数の行動のうち少なくとも1つと関連付けられ、前記プロセッサは、前記実際の軌跡を前記複数の予期される軌跡と比較して、前記複数の行動のうち第1の行動と関連付けられた第1の軌跡を特定し、前記プロセッサは、前記第1の行動の実行のために、前記筋肉刺激装置を作動させる、請求項1に記載のデバイス。
- 前記プロセッサへ接続された入力デバイスをさらに含み、前記入力デバイスは、フィードバック信号を受信するように適合され、前記フィードバック信号は、前記行動が前記ヒトの意図する行動であったことを示す、請求項1に記載のデバイス。
- 前記プロセッサは、前記予期される軌跡を1組の訓練用の動きに基づいて生成する、請求項1に記載のデバイス。
- 前記少なくとも1つの行動の実行のための前記1つ以上の刺激信号は、刺激信号のパターンを含み、前記刺激信号のパターンは、前記1組の訓練用の動き時において感知された筋肉変位から決定される、請求項5に記載のデバイス。
- 前記筋肉変位の感知は、筋電センサー、カメラ、慣動ユニット、屈曲/関節角度センサーおよび力センサーのうち1つ以上を用いて行われる、請求項6に記載のデバイス。
- 前記プロセッサによって行われる前記比較において、サポートベクターマシン(SVM)アルゴリズム、手書き認識アルゴリズム、動的タイムワーピングアルゴリズム、ディープラーニングアルゴリズム、回帰型神経回路網、浅い神経回路網、重畳型神経回路網、コンバージェント神経回路網または深い神経回路網のうち1つ以上が用いられる、請求項1に記載のデバイス。
- 前記プロセッサは、前記比較を長・短期記憶タイプ回帰型神経回路網を用いて行う、請求項7に記載のデバイス。
- 前記1組の訓練用の動きは、第2のヒトによって行われる、請求項5に記載のデバイス。
- 前記1組の訓練用の動きは、前記第1の身体部分の横方向に反対側の身体部分を用いて前記ヒトが行う、請求項5に記載のデバイス。
- 前記動きセンサーは、前記ヒトの腕上に配置され、前記筋肉刺激装置は、把持的動きの実行のために、前記ヒトの手の1本以上の指を動かすための筋肉を刺激するように適合される、請求項1に記載のデバイス。
- 前記予期される軌跡は、英数字形状をとる、請求項1に記載のデバイス。
- 方向付けセンサーをさらに含み、前記方向付けセンサーは、前記プロセッサへ接続され、前記第1の身体部分の方向付けを監視するように適合され、前記把持的動きによって付加される力は、前記刺激信号の振幅に依存し、前記プロセッサは、前記方向付けセンサーの出力に少なくとも部分的に基づいて前記刺激信号の振幅を調節する、請求項12に記載のデバイス。
- 前記プロセッサは、前記方向付けセンサーの出力に応答して、前記把持的動きを鍵把持、円筒型把持または垂直摘持となるように調節する、請求項14に記載のデバイス。
- カメラをさらに含み、前記カメラは、前記プロセッサへ接続され、把持すべき物体の画像をキャプチャするように前記手の近隣に位置決めされ、前記プロセッサは、前記画像に部分的に基づいて前記把持的動きを調節する、請求項12に記載のデバイス。
- 前記プロセッサは、クローズ遅延タイマーをさらに含み、前記プロセッサは、前記クローズ遅延タイマーによって決定された前記実際の軌跡の終了時において、前記把持的動きの刺激を所定の期間にわたって遅延させる、請求項12に記載のデバイス。
- 前記プロセッサは、前記動きセンサーからの把持後信号に応答して、把持後の活動の実行のために前記手の刺激を発生させる、請求項12に記載のデバイス。
- 前記把持後の活動は、前記把持を解放させるために前記手を開かせることである、請求項18に記載のデバイス。
- 前記把持後信号は、把持された物体の表面を1回以上タップすることである、請求項18に記載のデバイス。
- デバイスであって、
1つ以上の動きセンサーであって、前記センサーは、ヒトの第1の身体部分の動きを示す1つ以上のそれぞれの動き信号を生成する、1つ以上の動きセンサーと、
筋肉刺激装置であって、前記刺激装置は、第1の筋肉の収縮を発生または増加させるように適合された刺激信号を生成し、前記第1の筋肉は、神経学的に損傷を受けた筋肉、麻痺のある筋肉、部分的に麻痺のある筋肉、または正常な筋肉である、筋肉刺激装置と、
前記センサーおよび前記筋肉刺激装置に接続されたプロセッサであって、前記プロセッサは、データ記憶部を含み、前記データ記憶部は、前記第1の筋肉を収縮させたいという前記ヒトの意図と関連付けられた少なくとも1つの予期される軌跡を含み、前記プロセッサは、
前記1つ以上の動き信号を前記1つ以上のセンサーから受信し、
前記第1の身体部分の実際の軌跡を計算し、
前記実際の軌跡を前記予期される軌跡と比較し、
前記比較に基づいて、前記第1の筋肉を収縮させたいという意図を決定し、
前記刺激装置に以下のうち1つ以上を行わせる、
前記第1の筋肉の収縮を発生させること、
前記第1の筋肉の収縮を支援すること、および
第2の筋肉の拮抗収縮を発生させることであって、前記第2の筋肉の収縮は、前記第1の筋肉の収縮に起因する動きに対抗すること、
プロセッサと、
を含む、デバイス。 - 神経刺激装置をさらに含み、前記神経刺激装置は、前記プロセッサへ接続されかつ前記プロセッサによって作動可能であり、前記第1の筋肉を収縮させたいという意図を前記プロセッサが決定するのに応答して、前記神経刺激装置は、神経刺激信号を前記ヒトの神経へ付加する、請求項21に記載のデバイス。
- 前記ヒトの神経は、迷走神経、三叉神経、脳神経、前記第1の筋肉に繋がる末梢神経、および前記ヒトの脊髄のうち1つ以上から選択される、請求項22に記載のデバイス。
- 前記神経は、前記脊髄であり、前記神経刺激装置は、前記ヒトの脊髄損傷の上方、前記ヒトの脊髄損傷上または前記ヒトの脊髄損傷の下方に位置決めされた経皮電極を含む、請求項23に記載のデバイス。
- デバイスであって、
1つ以上の動きセンサーであって、前記動きセンサーは、ヒトの第1の身体部分の動きを示す1つ以上のそれぞれの動き信号を生成する、1つ以上の動きセンサーと、
行動を行わせるために補綴外肢の構成を変更するように構成されたアクチュエータを含む前記補綴外肢と、
前記1つ以上の動きセンサーおよび前記アクチュエータへ接続されたプロセッサであって、前記プロセッサは、データ記憶部を含み、前記データ記憶部は、前記行動を行いたいという前記ヒトの意図と関連付けられた少なくとも1つの予期される軌跡を含み、前記プロセッサは、
前記1つ以上の動き信号を前記1つ以上の動きセンサーから受信し、
前記第1の身体部分の実際の軌跡を計算し、
前記実際の軌跡を前記予期される軌跡と比較し、前記比較に基づいて、
前記行動が行われるように、前記アクチュエータを作動させて、前記補綴外肢の構成を変化させる、
プロセッサと、
を含む、デバイス。 - 前記補綴外肢は、義手を含み、前記アクチュエータは、手首アクチュエータおよび指アクチュエータのうち1つ以上を含む、請求項25に記載のデバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062985951P | 2020-03-06 | 2020-03-06 | |
US62/985,951 | 2020-03-06 | ||
PCT/US2021/021232 WO2021178914A1 (en) | 2020-03-06 | 2021-03-05 | System and method for determining user intention from limb or body motion or trajectory to control neuromuscular stimuation or prosthetic device operation |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023516309A true JP2023516309A (ja) | 2023-04-19 |
Family
ID=77555319
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022551758A Pending JP2023516309A (ja) | 2020-03-06 | 2021-03-05 | ユーザの意図を体肢または体動または軌跡から決定して、神経筋刺激または人工器管動作の制御に用いるためのシステムおよび方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20210275807A1 (ja) |
EP (1) | EP4114505A4 (ja) |
JP (1) | JP2023516309A (ja) |
CN (1) | CN115279453A (ja) |
AU (1) | AU2021231896A1 (ja) |
CA (1) | CA3170484A1 (ja) |
WO (1) | WO2021178914A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210287785A1 (en) * | 2020-03-16 | 2021-09-16 | Vanderbilt University | Automatic Sensing for Clinical Decision Support |
CN113995956B (zh) * | 2021-11-30 | 2022-09-13 | 天津大学 | 基于肌电预期姿势调整的卒中电刺激训练意图识别装置 |
WO2023196578A1 (en) * | 2022-04-07 | 2023-10-12 | Neuvotion, Inc. | Addressable serial electrode arrays for neurostimulation and/or recording applications and wearable patch system with on-board motion sensing and magnetically attached disposable for rehabilitation and physical therapy applications |
CN114821812B (zh) * | 2022-06-24 | 2022-09-13 | 西南石油大学 | 一种基于深度学习的花样滑冰选手骨骼点动作识别方法 |
WO2024080957A1 (en) * | 2022-10-12 | 2024-04-18 | Atilim Universitesi | A system for physiotherapy monitoring and a related method thereof |
US11972100B1 (en) * | 2023-02-14 | 2024-04-30 | Motorola Mobility Llc | User interface adjustments for ergonomic device grip |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1257318B1 (en) * | 2000-02-17 | 2006-12-20 | Neurodan A/S | Implantable system for neural sensing and nerve stimulation |
US7260436B2 (en) * | 2001-10-16 | 2007-08-21 | Case Western Reserve University | Implantable networked neural system |
EP1850907A4 (en) * | 2005-02-09 | 2009-09-02 | Univ Southern California | METHOD AND SYSTEM FOR PRACTICING THE ADAPTIVE CONTROL OF STATE MOVEMENTS |
US8249714B1 (en) * | 2005-07-08 | 2012-08-21 | Customkynetics, Inc. | Lower extremity exercise device with stimulation and related methods |
US8165685B1 (en) * | 2005-09-29 | 2012-04-24 | Case Western Reserve University | System and method for therapeutic neuromuscular electrical stimulation |
EP3912674A1 (en) * | 2013-01-21 | 2021-11-24 | Cala Health, Inc. | Devices for controlling tremor |
EP3302688B1 (en) * | 2015-06-02 | 2020-11-04 | Battelle Memorial Institute | Systems for neural bridging of the nervous system |
DE17163191T1 (de) * | 2017-03-28 | 2019-05-16 | Ecole Polytechnique Federale De Lausanne (Epfl) Epfl-Tto | Neurostimulationssystem zur stimulierung des zentralnervensystems (zns) und zur stimulierung des peripheren nervensystems (pns) |
CN111937008A (zh) * | 2017-11-13 | 2020-11-13 | 生物医疗有限公司 | 神经接口 |
US20190247650A1 (en) * | 2018-02-14 | 2019-08-15 | Bao Tran | Systems and methods for augmenting human muscle controls |
GB2574596A (en) * | 2018-06-08 | 2019-12-18 | Epic Inventing Inc | Prosthetic device |
-
2021
- 2021-03-05 EP EP21763882.4A patent/EP4114505A4/en active Pending
- 2021-03-05 AU AU2021231896A patent/AU2021231896A1/en active Pending
- 2021-03-05 US US17/194,094 patent/US20210275807A1/en active Pending
- 2021-03-05 JP JP2022551758A patent/JP2023516309A/ja active Pending
- 2021-03-05 CA CA3170484A patent/CA3170484A1/en active Pending
- 2021-03-05 WO PCT/US2021/021232 patent/WO2021178914A1/en unknown
- 2021-03-05 CN CN202180019008.0A patent/CN115279453A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN115279453A (zh) | 2022-11-01 |
EP4114505A4 (en) | 2024-05-22 |
WO2021178914A8 (en) | 2023-04-27 |
CA3170484A1 (en) | 2021-09-10 |
AU2021231896A1 (en) | 2022-09-22 |
WO2021178914A1 (en) | 2021-09-10 |
EP4114505A1 (en) | 2023-01-11 |
US20210275807A1 (en) | 2021-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210275807A1 (en) | System and method for determining user intention from limb or body motion or trajectory to control neuromuscular stimuation or prosthetic device operation | |
Chen et al. | A review of lower extremity assistive robotic exoskeletons in rehabilitation therapy | |
US8165685B1 (en) | System and method for therapeutic neuromuscular electrical stimulation | |
US8112155B2 (en) | Neuromuscular stimulation | |
Schauer | Sensing motion and muscle activity for feedback control of functional electrical stimulation: Ten years of experience in Berlin | |
JP7141205B2 (ja) | 能動閉ループ医療システム | |
US20060167564A1 (en) | Limb and digit movement system | |
WO2005105203A1 (en) | Neuromuscular stimulation | |
US20190060099A1 (en) | Wearable and functional hand orthotic | |
Schill et al. | OrthoJacket: an active FES-hybrid orthosis for the paralysed upper extremity | |
WO2018039183A1 (en) | Systems and methods for functional restoration and rehabilitation of posture, gait and movement | |
US20220054830A1 (en) | Closed loop computer-brain interface device | |
Senanayake et al. | Emerging robotics devices for therapeutic rehabilitation of the lower extremity | |
Giuffrida et al. | Upper-extremity stroke therapy task discrimination using motion sensors and electromyography | |
JPH0328225B2 (ja) | ||
US20190091472A1 (en) | Non-invasive eye-tracking control of neuromuscular stimulation system | |
Cikajlo et al. | Development of a gait re-education system in incomplete spinal cord injury | |
Wiesener et al. | Inertial-Sensor-Controlled Functional Electrical Stimulation for Swimming in Paraplegics: Enabling a Novel Hybrid Exercise Modality | |
Marquez-Chin et al. | Brain–Computer Interfaces: Neurorehabilitation of Voluntary Movement after Stroke and Spinal Cord Injury | |
Mathew et al. | Surface electromyogram based techniques for upper and lower extremity rehabilitation therapy-A comprehensive review | |
WO2017070282A1 (en) | Controlling and identifying optimal nerve/muscle monitoring sites and training a prosthetic or orthotic device | |
Ambrosini et al. | Sensors for motor neuroprosthetics: current applications and future directions | |
Fonseca | Neuroprostheses control interfaces based on body motion in persons with spinal cord injury | |
Devidas | Enhancing Neurorehabilitation through Closed-Loop Control of Robotic Exoskeletons and Brain-Computer Interfaces | |
Alaoui | Developing a Human-Machine Control Interface for the Detection of Motion Intentions in a Self-Balanced Lower-Limb Exoskeleton |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240304 |