JP2023524640A - 電気信号検出システム - Google Patents

電気信号検出システム Download PDF

Info

Publication number
JP2023524640A
JP2023524640A JP2022563008A JP2022563008A JP2023524640A JP 2023524640 A JP2023524640 A JP 2023524640A JP 2022563008 A JP2022563008 A JP 2022563008A JP 2022563008 A JP2022563008 A JP 2022563008A JP 2023524640 A JP2023524640 A JP 2023524640A
Authority
JP
Japan
Prior art keywords
motion
electrical signals
sensors
human body
intent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022563008A
Other languages
English (en)
Inventor
ジョージ，ジェイコブ・アンソニー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UNIVERSITY OF UTHA RESEARCHFOUNDATION
Original Assignee
UNIVERSITY OF UTHA RESEARCHFOUNDATION
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UNIVERSITY OF UTHA RESEARCHFOUNDATION filed Critical UNIVERSITY OF UTHA RESEARCHFOUNDATION
Publication of JP2023524640A publication Critical patent/JP2023524640A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/251—Means for maintaining electrode contact with the body
    • A61B5/256—Wearable electrodes, e.g. having straps or bands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/397—Analysis of electromyograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/684—Indicating the position of the sensor on the body
    • A61B5/6842—Indicating the position of the sensor on the body by marking the skin
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2/72—Bioelectric control, e.g. myoelectric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04—Arrangements of multiple sensors of the same type
    • A61B2562/046—Arrangements of multiple sensors of the same type in a matrix array
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2002/704—Operating or control means electrical computer-controlled, e.g. robotic control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Cardiology (AREA)
  • Transplantation (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Epidemiology (AREA)

Abstract

ユーザが電子デバイスを直観的に制御することができるようにするために人工知能（ＡＩ）モデルをトレーニングする方法が、電気信号を検知するために人体上の複数の特定の位置に複数のセンサを配置することを含む。方法は、複数のセンサのそれぞれからの電気信号の第１のセットを連続的方式で記録することも含む。これと同時に、第１の一連の身体の動きに関連付けられた動作意図の第１のセットも連続的方式で記録される。ＡＩ回帰モデルが、電気信号の第１のセットを動作意図の第１のセットに対応付けるようにニューラルネットワークを使用してトレーニングされる。複数のセンサから電気信号の第２のセットを連続的方式で受信するのに応答して、ＡＩ回帰モデルが動作意図を予測し、それによって電子デバイスにアクションを行わせる。

Description

米国政府の権利
[0001]本発明は、米国国立科学財団により授与された認可番号１５３３６４９、１９０１２３６および１７４７５０５、米国国防総省国防高等研究事業局により授与された認可番号Ｎ６６００－１５－Ｃ－４０１７、および米国国立衛生研究所により授与された認可番号ＯＤ０２９５７１に基づき、米国政府助成によりなされた。米国政府は本発明に一定の権利を有する。
関連出願の相互参照
[0002]本出願は、２０２０年４月１７日出願の「ＳＹＳＴＥＭ ＦＯＲ ＭＹＯＥＬＥＣＴＲＩＣ ＤＥＴＥＴＣＴＩＯＮ（筋電気検出システム）」という名称の米国仮特許出願第６３／０１１，７１３号、および、２０２１年４月１４出願の「ＳＹＳＴＥＭ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＥＬＥＣＴＲＩＣ ＳＩＧＮＡＬＳ（電気信号検出システム）」という名称の米国実用出願第１７／２３０，４４６号の利益を主張する。上記出願のそれぞれの内容全体が、参照により本明細書に組み込まれる。
[0003]コンピュータおよびコンピューティングシステムは、現代の生活のほとんどあらゆる面に影響を与えてきた。コンピュータは、業務、リクレーション、健康管理、輸送、娯楽、家庭経営などに全般的に関わっている。具体的には、コンピュータは、ヒューマン－マシン・インタラクションの分野で大きな関心と進歩をもたらしてきた。たとえば、人間のユーザによって制御可能な人工装具の分野に多くの研究開発が注ぎ込まれてきた。これらの制御は、多くの異なる形態をとることができるが、人間のユーザからの信号を処理し、人工装具内のモータに指令を伝達するために、コンピュータ介在手段に依存することが多い。人間のユーザと人工装具との間にこのようなコンピュータ介在手段を適正に実装し、使用することは現在進行中の開発分野である。
[0004]本願において特許請求される主題は、欠点を解消する実施形態または上記の環境などの環境においてのみ動作する実施形態には限定されない。むしろ、本背景技術は、本明細書に記載のいくつかの実施形態が実施され得る技術分野の一実施例を例示するために示しているに過ぎない。
[0005]開示の実施形態は、ユーザが神経筋の動きを使用して電子デバイスを直観的に制御することができるようにするために人工知能（ＡＩ）モデルをトレーニングする方法を含む。この方法は、人体からの電気信号（表面筋電図信号および／またはｓＥＭＧ信号とも呼ぶ）の検知のために人体の複数の特定の部分に複数のセンサを配置することを含む。方法は、複数のセンサのそれぞれの電気信号の第１のセットを連続的方式で記録することと、一連の身体の動きに関連付けられた動作意図の第１のセットを連続的方式で記録することも含む。さらに、方法は、機械学習ニューラルネットワークを使用してＡＩ回帰モデルを生成することを含む。ＡＩ回帰モデルは、電気信号の第１のセットを動作意図の第１のセットと連続的に対応付ける。方法は、複数のセンサによって連続的方式で発生された電気信号の第２のセットに基づいて、動作意図を予測することと、動作意図に基づいて電子デバイスにアクションを行わせることとをさらに含む。
[0006]開示の実施形態は、１つまたは複数のプロセッサと、１つまたは複数のコンピュータ可読媒体とを含む、コンピューティングシステムも含む。１つまたは複数のコンピュータ可読媒体は、実行可能命令が１つまたは複数のプロセッサによって実行されると、コンピュータ実行可能命令がコンピューティングシステムを様々なアクションを行うように構成するようになされたコンピュータ実行可能命令を記憶する。まず、コンピューティングシステムは、人体の神経筋の動きを検知するために人体上の複数の特定の位置に配置された複数のセンサによって連続的方式で発生される電気信号の第１のセットを受信するように構成される。コンピューティングシステムは、第１の一連の身体の動きに関連付けられた動作意図の第１のセットを連続的方式で受信するようにも構成される。コンピューティングシステムは、ニューラルネットワークを使用して人工知能（ＡＩ）モデルをトレーニングするようにさらに構成される。ＡＩ回帰モデルは、電気信号の第１のセットを動作意図の第１のセットに連続的に対応付けるようにトレーニングされる。複数のセンサによって連続的方式で発生された電気信号の第２のセットの受信に応答して、ＡＩ回帰モデルが、動作意図を予測し、それによって人工装具に予測された動作意図に関連付けられたアクションを行わせるように構成される。
[0007]開示の実施形態は、電子デバイス（たとえば人工装具）に接続されたスリーブも含む。スリーブは、人体の神経筋の動きの検知に応答して、電気信号を連続的方式で発生するように人体の複数の所定位置に配置されるように構成された、複数のセンサを含む。ｓＥＭＧスリーブは、人体の１つまたは複数のマーカをスリーブの１つまたは複数のマーカと位置合わせするように構成された位置合わせ標識も含む。また、スリーブは、１つまたは複数のプロセッサと、人工知能（ＡＩ）モデルおよびコンピュータ実行可能命令が記憶された１つまたは複数のコンピュータ可読媒体と通信する。ＡＩ回帰モデルは、複数のセンサによって発生された電気信号を１つまたは複数の動作意図に連続的に対応付けるように構成される。コンピュータ実行可能命令は、１つまたは複数のプロセッサによって実行されると、コンピュータ実行可能命令がスリーブを、人体からの電気信号のセットを連続的方式で発生するように構成するようになされる。スリーブは、電気信号のセットに応答して動作意図を予測し、予測された動作意図に基づいて電子デバイスにアクションを行わせるために、ＡＩ回帰モデルを使用するようにさらに構成される。
[0008]「発明の概要」は、以下の「発明を実施するための形態」でさらに説明する概念の抜粋を簡略化された形で概説するために示されている。「発明の概要」は、特許請求される主題の重要な特徴または基本的特徴を特定することを意図しておらず、また、特許請求される主題の範囲を判断する支援として使用されることも意図していない。
[0009]さらなる特徴および利点は、以下の説明に記載され、一部はこの説明から明らかになり、または本明細書の教示の実践によってわかる場合がある。本発明の特徴および利点は、添付の特許請求の範囲で具体的に示されている手段および組合せを用いて実現され、得ることができる。本発明の特徴は、以下の説明および添付の特許請求の範囲からよりよく明らかになり、または、以下に記載されているように本発明を実践することによってわかるであろう。
[0010]上記およびその他の利点および特徴を得ることができるように説明するために、上記で概説した主題のより具体的な説明を、添付図面に図示されている特定の実施形態を参照しながら示す。これらの図は典型的な実施形態のみを図示しており、したがって範囲を限定するものとみなされるべきではないと了解した上で、実施形態について添付図面を用いてさらに具体的かつ詳細に記載し、説明する。
[0011]図１Ａは、本発明の実施形態による、電極の配置とｓＥＭＧスリーブとを示す図である。図１Ｂは、本発明の実施形態による、電極の配置とｓＥＭＧスリーブとを示す図である。 [0012]機械学習ニューラルネットワークにより筋電信号と動作意図を使用してＡＩをトレーニングするためのシステムの一実施例を示す図である。 [0013]電子デバイスを直観的に制御するための動作意図を予測するためにＡＩモデルを使用するシステムの一実施例を示す図である。 [0014]図４Ａは、複数のセンサによって発生された筋電信号に対応するヒートマップを示す図である。 [0015]図４Ｂは、ユーザの動作意図を予測するためにＡＩモデルをトレーニングするように構成された深層ニューラルネットワークの一例を示す図である。 [0016]ユーザがｓＥＭＧスリーブをユーザの右腕に装着し、ユーザの前に仮想の手が表示され、赤外線カメラがユーザの左手および／または右手の動きをキャプチャするように構成される、トレーニングセッションを示す図である。 [0017]ｓＥＭＧスリーブのアーキテクチャの一例を示す図である。 [0018]肢切断者が人工装具を直観的に制御することができるようにするためにＡＩ回帰モデルをトレーニングする方法の一例を示すフローチャートである。
[0019]人体からの検出電気活動を使用して電子デバイスを制御するために、多くのヒューマン－デバイス・インターフェースが使用される。この電気活動には、心電図（ＥＣＧ）、筋電インパルス、神経信号、および／または、動作意図に関連付けられた任意の電気的アーチファクト（たとえば筋肉および／または腱の動きに関連付けられた電気ノイズ）が含まれることがある（ただしこれらには限定されない）。これらのヒューマン－デバイス・インターフェースを使用して、人体によって発生された電気信号の検出により、ユーザは、キーボード、光スイッチ、電気機械デバイスおよびその他のデバイスなどの物（ソフトウェア、ハードウェアおよび／またはその組合せを含む）を制御することができる。ヒューマン－デバイス・インターフェースを介したデバイスの制御の別の例は、肢切断者用の人工補装具である。本明細書では人工装具デバイスの例を使用する場合があるが、これと同一または類似の技術が任意の電子デバイスに適用可能であることはわかるであろう。
[0020]電子デバイス（ロボット人工装具を含むがこれには限定されない）は、人間のユーザから制御を受け取り、電子デバイス内のロボットコンポーネントを人間のユーザが望むように機能させるために、様々な異なる方式を使用することができる。電子デバイスを制御するための１つの方式は、ユーザの身体に関連する電気活動の追跡を含む。電気活動は、腱、靱帯、骨、皮膚、器官および／または筋肉の動きに関連付けられ、その電気活動を電子デバイスに対する指令に変換する、神経筋の動き、神経信号、電気信号および／またはノイズ（ただしこれらには限定されない）に関連付けられ得る。既存の技術は、肢切断者が電子デバイスを制御することができるようにするが、人間のユーザの意図を結果としてもたらされる電子デバイスのアクションに正しく対応付けることに関連する重要な課題がある。
[0021]本明細書に記載の原理は、（これには限定されないが）肢切断者などのユーザが、人工装具（これには限定されない）などの電子デバイスを直観的に制御することを可能にするように構成された人工知能（ＡＩ）回帰モデルをトレーニングすることに関する。たとえば人工装具の場合、身体肢が切断された後、ほとんどの前腕切断者は神経回路と、失った肢を制御する筋肉組織の大部分とをまだ保持している。残っている肢にまだ存在している筋肉組織の動きを測定し、記録することができる。神経筋の動きに関連付けられた記録データは、様々な動作意図に対応付けることができる。このような神経筋の動きと動作意図との対は次に、肢切断者が電子デバイスを直観的に制御することができるようにするように構成されたＡＩ回帰モデルをトレーニングするために使用することができる。
[0022]電子デバイス（たとえば義肢、外部把持デバイス、ユーザインターフェースの制御など）を使用する場合、トレーニングデータセットの質が実行時パフォーマンスに関係することがある。しかし、特に手が切断されている場合に手のキネティマティクスを正確に標識化するのは難しい。少なくとも１つの実施形態では、システムは、肢切断者を含む個人が電子デバイス（たとえば人工装具）を直観的に制御するのを支援するための改良されたＡＩモデルを生成するために、模倣トレーニングおよび／またはミラートレーニングを使用することができる。
[0023]従来の方法は一般に、ユーザの身体にとって適切なセンサの位置を追跡しない。ユーザが特定の人工装具を使用するたびに、センサとユーザの身体の現在位置に基づいて新たなモデルがトレーニングされる。ユーザの時間は限られており、記録用電極の配置が毎日変わるため、運動意図に同期したｓＥＭＧの大量のデータセットを収集するのは特に困難である。したがって、そのような既存の方法は、限定されたトレーニングデータに基づいてモデルを生成し、モデルの正確度が時間の経過とともに改良されることは不可能である。
[0024]本明細書に記載の原理は、トレーニングデータを複数の別々のセッションにより得ることができるように、および、より多くのトレーニングデータが得られるにつれてトレーニングされたモデルが向上し続けるように、複数のセンサを人体の複数の特定の場所に配置することによって上記の問題を解決する。
[0025]実施形態によっては、複数のセンサは、筋肉および／または腱からの筋電信号を検出するように構成された小型で低コストの表面筋電図（ｓＥＭＧ）センサアレイである。実施形態によっては、ｓＥＭＧアレイは、残っている肢に装着されるように構成されたスリーブ上に形成された電極アレイを含む。また、電極アレイは、１つまたは複数のマイクロプロセッサに接続され、１つまたは複数のマイクロプロセッサは、ｓＥＭＧスリーブのユーザが義肢を直観的に制御することができるように、義肢に接続される。マイクロプロセッサは、筋肉および／または腱の電気パターンを測定し、それらのパターンを使用して義肢に運動入力を供給する。デバイスは、ジェスチャー制御の産業用および家庭用用途でも使用可能である。処理されたｓＥＭＧ（たとえば３００ｍｓ窓にわたる補正されたデータ）を、ＢｌｕｅｔｏｏｔｈまたはＷｉＦｉなどの無線技術を使用してスマートフォンにリアルタイムで送信することもできる。
[0026]実施形態によっては、ｓＥＭＧスリーブは、トレーニング済みモデルを絶えず改良するために、異なるトレーニングセッションで追加のトレーニングデータが収集可能なように、人体の１つまたは複数のマーカをｓＥＭＧスリーブの１つまたは複数のマーカに位置合わせするように構成された位置合わせ標識も含む。たとえば、実施形態によっては、表面筋電図（ｓＥＭＧ）スリーブを残っている肢に配置するために鳩目が使用される。実施形態によっては、ｓＥＭＧスリーブの配置／再配置をしやすくするために、１つまたは複数のＵＶタトゥーおよび／または生物学的マーキングが使用される。
[0027]図１Ａ～１Ｂに、本発明の実施形態によるｓＥＭＧスリーブ１００Ｂの一例を示す。図１Ａおよび図１Ｂを参照すると、ｓＥＭＧスリーブ１００Ｂの図示されている実施形態は、電極１１０のアレイが取り付けられたネオプレン布１００Ａからなる。図１Ｂに示すように、ネオプレン布１００Ａは、電極１１０とワイヤ１２０が取り付けられた後で中空の円筒形状に縫われている。ネオプレンは着脱時に伸縮可能であるが、ユーザの前腕上で一貫した配置を維持するのに十分な構造的完全性を示す。実施形態によっては、電極１１０は、安価なドライ電極として機能する真鍮被覆マリンスナップである。
[0028]実施形態によっては、外在屈筋および外在伸筋を記録するために、スリーブ１００Ｂの全外周と全長にわたって３２個の電極が埋め込まれる。尺骨に沿って配置されるスリーブの近位端１０４Ａに２つの追加の電極１１０－１、１１０－２が埋め込まれ、電気的基準および接地として機能する。実施形態によっては、ワイヤ切断を抑制するために、高強度熱収縮を有する可撓性ワイヤ１２０の区画に各電極１１０がはんだ付けされる。実施形態によっては、電極１１０は圧縮工具を使用してネオプレン布１００Ａに埋め込まれ、布の伸張時のひずみを軽減するために、各電極付近にワイヤ１２０のループが形成される。実施形態によっては、ワイヤ１２０はネオプレン布１００Ａに縫い付けられ、３８ピンＳＡＭＴＥＣコネクタにはんだ付けされる。
[0029]また、図１Ｂに示すように、実施形態によっては、鳩目１３０が、生物学的皮膚マーキング（たとえば、そばかす、ほくろ、傷および／またはＵＶタトゥー）と位置合わせされるように、１つまたは複数の鳩目１３０が、１人の無損傷の個人に固有のネオプレンに挿入される。実施形態によっては、生物学的および／または皮膚マーキングとの鳩目１３０の位置合わせをしやすくするために超音波イメージングデバイスが使用されてもよい。実施形態によっては、ワイヤを電気的に分離し、増幅およびフィルタリングのためのフロントエンドデバイスを収容するために、ルーズカバー（ライクラ（Ｌｙｃｒａ）（Ｒ）製であってもよい）がさらに含まれてもよい。この安価なスリーブは、サブセンチメートルの精度および十分な信号対雑音比で迅速に着用することができる。
[0030]少なくとも１つの実施形態では、スリーブに３２個のｓＥＭＧ単極電極１１０（電極、センサおよび／または神経筋センサとも呼ぶ）が実装され、複数（たとえば３２個）の単極ｓＥＭＧ電極１１０によって生成された検知データがプロセッサ（たとえばＭｉｃｒｏ２＋Ｓｔｉｍ Ｆｒｏｎｔ－Ｅｎｄｓおよび／またはＧｒａｐｅｖｉｎｅ Ｎｅｕｒａｌ Ｉｎｔｅｒｆａｃｅ Ｐｒｏｃｅｓｓｏｒ）を使用して所定周波数（たとえば１ｋＨｚ）でサンプリングされる。所定の時間間隔で電極によって発生された筋電信号の平滑化平均絶対値（ＭＡＶ）が所定周波数で計算される。たとえば、３２個のシングルエンド電極（または５２８個の可能な差動ペア）の３００ｍｓ平滑化ＭＡＶが３０Ｈｚで計算される。実施形態によっては、信号対雑音比（ＳＮＲ）が、動いている時の平均３００ｍｓ平滑化ＭＡＶを静止時の平均３００ｍｓ平滑化ＭＡＶで割った値として定義される。
[0031]また、本明細書に記載の原理は、手のキネマティクスを連続的方式で標識化する。したがって、ＡＩ分類モデルをトレーニングするために離散変数を使用する従来のモデルトレーニングとは異なり、本明細書に記載の原理は、ユーザの運動意図とユーザの神経筋の動きとの連続的対応付けを与えるＡＩ回帰モデルをトレーニングするために連続変数を使用し、これらの変数は電子デバイスに対するより大きくより正確な制御をユーザに与える。
[0032]ＡＩ回帰モデルは、教師あり学習パラダイムの下で検出された神経筋の動き（たとえば表面ｓＥＭＧ）から運動意図を解読するようにトレーニングされ得る。このような教師あり学習パラダイムは、神経筋の動き（電極によって測定された筋電信号を含む）と標識化キネマティクス（動作意図に対応する）とに関連付けられたデータを含むデータセットを必要とする。
[0033]図２に、１つまたは複数の神経筋センサ２１０と１つまたは複数の動作意図識別器２２０とを含むシステム２００の一例を示す。実施形態によっては、１つまたは複数の神経筋センサ２１０は、図１Ａおよび図１Ｂの電極１１０に対応する。神経筋センサ２１０は、人体（たとえば肢切断者の残っている腕）からの筋電力信号のセット２１２（筋電力信号の第１のセットとも呼ぶ）を連続的方式で検知するように構成される。筋電力信号のセット２１２は、人体の神経筋の動きのセットに対応する。
[0034]動作意図識別器２２０は、神経筋センサ２１０が筋電力信号のセット２１２を検知する間に、動作意図のセット２２２（動作意図の第１のセットとも呼ぶ）を連続的方式で検出または識別するように構成される。実施形態によっては、動作意図は人体の意図された動作に関連付けられたキネマティクスデータを含む。実施形態によっては、動作意図識別器２２０は、ユーザが仮想の手の動作を模倣しようと試みるとき（模倣トレーニングとも呼ぶ）にユーザの前に表示された仮想の手の動作に基づいて、動作意図を識別するように構成される。実施形態によっては、動作意図識別器２２０は、ユーザが切断された手を使用して切断されていない手の動作をミラーリングしようと試みている（ミラートレーニングとも呼ぶ）間のユーザの切断されていない手の動作をキャプチャするように構成された赤外線カメラであってもよい。
[0035]模倣トレーニング中、参加者に人工装具（または仮想人工装具）の一連の動作が示され、参加者が、残っている肢にまだ存在している外在筋肉の使用により、肢切断者の場合を含む、その一連の動作を模倣しようと試みる。たとえば、参加者が切断された手を有する場合、切断された手に関連付けられた筋肉は参加者の腕の筋肉である。実施形態によっては、残っている腕にまだ存在している外在手筋肉からの表面筋電図（ｓＥＭＧ）信号が記録される。仮想人工装具の動作が動作意図として識別される。ｓＥＭＧ信号および仮想人工装具の動作はトレーニングデータとして使用され、神経筋の動きによるｓＥＭＧ信号が人工装具によって行われる動作に対応付けられる。
[0036]１本の切断肢と１本の切断されていない肢とを有する参加者についてミラートレーニングが使用されてもよい。ミラートレーニング中、参加者は、切断された肢に関連付けられた筋肉を使用して、切断されていない肢の一連の動作をミラーリングする。切断肢の神経筋の動きが測定され、記録され、切断されていない肢の動作意図も記録される。切断肢の神経筋の動きに関連付けられたデータと、切断されていない肢の動作意図に関連付けられたデータとが互いに対応付けられる。
[0037]実施形態によっては、動作意図に関連付けられたデータが、切断されていない肢の動作に基づいて直接測定される。このような直接測定される動作は、イメージングセンサ（たとえば赤外線カメラ）および／またはウェアラブルデバイス（たとえばグローブ）によって生成され、記録されてもよい。実施形態によっては、動作意図に関連付けられたデータは、切断されていない肢の動作に間接的に関連付けられたデータである。たとえば、間接的動作意図は、切断されていない肢がタイプしていたキーボードの出力であってもよい。別の例として、間接的動作意図は、切断されていない肢が操作していたゲームスティックおよび／またはスイッチ（たとえば光スイッチ）の出力であってもよい。
[0038]上記に代えて、または上記に加えて、模倣トレーニングとミラートレーニングの組合せが行われてもよい。組合せトレーニングでは、切断されていない肢が人工装具または仮想人工装具によって行われる一連の動作の模倣を試み、切断された肢が切断されていない肢のその一連の動作のミラーリングを試みる。
[0039]実施形態によっては、仮想人工装具の動作または切断されていない肢の動作が、複数の関節に関連付けられた関節角度に変換される。仮想人工葬具または切断されていない関節の任意の数の関節角度および／または任意の数の関節が計算されてもよい。計算され、記録される関節角度の数が多いほど、高い精度で手の動きが予測され得る。
[0040]たとえば、実施形態によっては、義手または切断されていない手の複数の関節の８つの関節角度が計算され、Ｄ１の外転／内転、Ｄ１～Ｄ５の屈曲／伸展、手首の屈曲／伸展、および手首の回内／回外によって表されてもよい。実施形態によっては、模倣トレーニングが実装される場合、仮想人工装具の一連の動作がプログラムされ、プログラムされた一連の動作に基づいて関節角度が得られる。実施形態によっては、ミラートレーニングまたは組合せトレーニングが実装される場合、切断されていない手の画像をキャプチャするために赤外線イメージングデバイスが使用される。キャプチャされた画像は次に複数の関節の関節角度に変換される。
[0041]これと同時に、（たとえば図１Ａ～図１Ｂに示すような）特注ネオプレンスリーブに埋め込まれた複数（たとえば３２個）のシングルエンド表面電極からｓＥＭＧが記録されている。ｓＥＭＧ記録はプロセッサを使用して１ｋＨｚでサンプリングされ、フィルタリングされている。次にｓＥＭＧ記録からｓＥＭＧ特徴が抽出される。実施形態によっては、ｓＥＭＧ特徴は、所定周波数で計算された所定数のチャネルにおける所定の時間間隔の平滑化平均絶対値を含む。たとえば、所定時間間隔は３００ｍｓであってもよく、所定チャネル数は、３２のシングルエンドチャネルと４９６の計算差動ペアチャネルとを含む５２８チャネルを含んでもよく、所定周波数は３０Ｈｚであってもよい。
[0042]実施形態によっては、参加者は、切断されていない手と切断された手とによって同時に仮想の手の動きを模倣するように指示される。仮想の手の動きを仮想キネマティクスと呼ぶ。切断された手の意図された動きを真のキネマティクスと呼ぶ。切断されていない手の動きを対側キネマティクスと呼ぶ。
[0043]実施形態によっては、これらの手の動きは、仮想義手の各自由度（ＤＯＦ）の個別化された動きと、２つの組合せの動きと含む。実施形態によっては、仮想義手のＤＯＦは、Ｄ１～Ｄ５の屈曲／伸展、手首の屈曲／伸展、手首の回内／回外、親指の外転／内転）と、２つの組合せの動き（Ｄ１～Ｄ５の同時屈曲、Ｄ１～Ｄ５の同時伸展）を含む（ただしこれらには限定されない）。
[0044]実施形態によっては、各ユーザが、各動きの複数（たとえば１０）回の試行を連続して次々に行い、各個別動きの総持続期間は約１．５秒（静止手位置からの０．７秒の逸脱と、最大逸脱の位置における０．１秒のホールド時間と、その後の元の静止手位置に戻るさらなる０．７秒の逸脱とからなる）である。静止手姿勢を評価するために１回目の試行の開始前の所定間隔（たとえば１秒）と静止期間（たとえば３０秒）がある。
[0045]仮想の手の事前プログラムされた動きは、内在的な手の動きに付随する変動と身体力学的結合を無視して完全に一貫しており、分離された動きである。
[0046]データ収集プロセス全体を通じた静止手位置における身体力学的結合の量およびドリフトが、対側キネマティクスを使用して定量化される。また、切断されていない手の静止手位置ドリフトは、データ収集プロセス全体を通しての手の静止位置の変化であると定義される。ドリフトは各試行間間隔において、データ収集前の所定期間（たとえば３０秒）に記録された静止位置に対するその試行間間隔における現在静止位置として定量化される。
[0047]身体力学的結合は目標ＤＯＦだけ動かそうと試みるときの非目標ＤＯＦの意図しない動きであると推定され、運用上定義される。たとえば、仮想の手が、他のＤＯＦが動かないように完全に分離されたＤ４伸展を行うとする。しかし、参加者が分離されたＤ４伸展を行おうとしたときに、Ｄ３および／またはＤ５にもそれに付随した動きがあることが多い。身体力学的結合は、非目標ＤＯＦの静止位置からのピーク逸脱として定量化され、ここで静止位置は直前の試行間間隔における平均値として定義される。
[0048]参加者は、事前プログラムされた動きの模倣を試みるときに仮想の手の精度を再現することができないものと想定される。対側キネマティクスと仮想キネマティクスとの動きの大きさおよびタイミングの相違が定量化される。実施形態によっては、対側キネマティクスをキャプチャするために赤外線モーションキャプチャデバイスが使用される。身体力学的結合と静止手位置の一時的変化とに起因する対側キネマティクスの逸脱が定量化される。
[0049]また、動きの大きさは、静止手位置からの最大逸脱と定義される。たとえば、仮想の手が、各試行が厳密に同じ逸脱を有するようにＤ４伸展の１０回の試行を行うとする。しかし、参加者がＤ４伸展を行おうと試みる場合、最大逸脱に変動があることが多い。各試行について、大きさの誤差は、（模倣トレーニングとミラートレーニングとの組合せにおける）仮想キネマティクスを基準にした対側キネマティクスの最大逸脱の差である。
[0050]模倣トレーニングの場合の参加者の反応時間に起因する複雑さを回避するために、実施形態によっては、相互相関を最大化することによって決定される時間のずれだけキネマティクス位置をシフトさせることによって、キネマティクスがｓＥＭＧと位置合わせされる。実施形態によっては、この位置合わせは、トレーニング中のすべての試行にわたって一様に行われる。
[0051]図２に戻って参照すると、神経筋センサ２１０によって検出された筋電信号のセット２１２と動作意図識別器２２０によって検出された動作意図のセット２２２とが、コンピュータ可読ストレージに一時的または永続的に記憶されてもよい。記憶された筋電力信号のセット２１２と動作意図のセット２２２とは、次に、ＡＩ回帰モデルをトレーニングするために機械学習ニューラルネットワーク（ニューラルネットワークとも呼ぶ）２３０によって処理される。ＡＩ回帰モデルは、筋電信号のセット２１２を動作意図のセットに連続的に対応付けるように構成される。
[0052]図３に、図２のニューラルネットワーク２３０によってトレーニングされるＡＩモデル３３０を実装するシステム３００の一例を示す。ＡＩモデル３３０が十分にトレーニングされると、ＡＩモデル３３０は１つまたは複数の神経筋センサ３１０によって検出された筋電信号３１２に基づいて動作意図３４０を予測するように構成される。１つまたは複数の神経筋センサ３１０は、図２の１つまたは複数の神経筋センサ２１０に対応する。予測された動作意図３４０は次に、予測された動作意図３４０に対応する特定のアクションを行うように電子デバイス３５０をトリガするために使用することができる。
[0053]本明細書に記載の原理はさらに、さらなるトレーニングが行われるにつれてＡＩモデル３３０が向上し続けるように、別々のセッションでＡＩモデル３３０のトレーニングが行われることができるようにする。図２に戻って参照すると、第２のトレーニングセッションにおいて、筋電信号の第２のセット２１２が神経筋センサ２１０によって検出され、動作意図の第２のセット２２２が動作意図識別器２２０によって識別、または検出される。筋電信号の第２のセット２１２と動作意図の第２のセット２２２とに基づいて、ニューラルネットワーク２３０が、筋電信号の第２のセット２１２の動作意図の第２のセット２２２への連続的対応付けを考慮に入れて、事前にトレーニングされたＡＩモデル３３０を更新する。
[0054]上記の例は切断された手を有するユーザ用のＡＩモデルのトレーニングに関するが、本明細書に記載の原理は、人工装具および／または肢切断者の実装形態には限定されない。本明細書に記載の原理は、任意のユーザを、電子デバイス（たとえば仮想キーボード）を使用するようにトレーニングするためにも実装可能である。たとえば、ユーザがキーボードでタイプしてもよい。キーボード出力が動作意図として使用されてもよい。トレーニング済みモデルが、ユーザの神経筋の動きを検出し、ユーザの神経筋の動きに基づいて実際のキーボードなしに対応するキー入力を生成する、仮想キーボードとして使用されてもよい。
[0055]ＡＩ回帰モデルをトレーニングするために、様々な異なるニューラルネットワークを使用することができる。実施形態によっては、ＡＩ回帰モデルは修正カルマンフィルタ（ＭＫＦ）を含む。実施形態によっては、記録されたｓＥＭＧデータがヒートマップに変換され、ｓＥＭＧデータに対応するヒートマップに基づいてＭＫＦモデルをトレーニングするために１つまたは複数の深層または浅いニューラルネットワークが使用される。
[0056]図４Ａに、複数の電極によって生成された記録ｓＥＭＧデータのセットに基づいて生成されたヒートマップ４００Ａの一例を示す。複数の電極（たとえば３２個の電極）は、図１Ａ～図１Ｂに示す複数の電極１１０に対応する。ヒートマップ４００Ａのｘ軸は経過時間を表す。ヒートマップ４００Ａのｙ軸は複数の電極を表す。ヒートマップ４００Ａの異なる色は、複数の電極によって発生された検知筋電信号の異なる値を表す。ヒートマップ４００Ａは、次に、ニューラルネットワーク（たとえば深層ニューラルネットワーク）にＡＩモデルをトレーニングするためのトレーニングデータとして入力される。
[0057]図４Ｂに、ＡＩモデルをトレーニングするために実装可能な深層ニューラルネットワーク４００Ｂを示す。深層ニューラルネットワーク４００Ｂは、複合非線形アクティベーションパターンを可能にする、電極にわたり、時間にわたる複数の畳み込み層を含む。
[0058]実施形態によっては、ニューラルネットワーク４００Ｂは、深層７４層残差ニューラルネットワークである。各時点における入力４１０Ｂは、図１Ａおよび図１Ｂの電極によって生成可能であって、図４のヒートマップ４００Ａに対応する、最後の３２個の時間サンプルにわたる３２個のシングルエンド電極記録からのＭＡＶを含む。ネットワーク４００Ｂは、９個の残差接続された畳み込みユニット４４０Ｂを含み、そのそれぞれが３×３畳み込み層４４２Ｂ、４５２Ｂと、それに続くバッチ正規化４４４Ｂ、４５４Ｂと、それに続く正規化線形ユニット４４６Ｂ、４５６Ｂとからなる２つの反復を含む。キネマティック予測を平滑化するために、任意によるカルマンフィルタ４６０Ｂが深層ニューラルネットワーク４００Ｂの終端に配置されてもよい。実施形態によっては、ニューラルネットワーク４００Ｂの出力は６ＤＯＦの仮想義手のキネマティック予測である。
[0059]実施形態によっては、ＡＩ回帰モデルは各動きの試行の同じランダムな５０％を使用してトレーニングされる。試行の残りの５０％は、（１）トレーニングデータを再現する能力（すなわち仮想キネマティックまたは対側キネマティクス）と、（２）ｓＥＭＧデータを再現する能力の、２つの条件下でのＡＩモデルのパフォーマンス（二乗平均平方根誤差、ＲＭＳＥ）を評価するために使用される。２番目の測定基準の向上は、より器用で直観的な人工装具制御をもたらす。最初の測定基準と２番目の測定基準とが整合すれば、トレーニングされたモデルのパフォーマンスのオフラインでの向上がオンラインでの向上につながる可能性があることを示すことになる。
[0060]実施形態によっては、ＡＩモデルはトレーニングデータの９７％によりトレーニングされ、残りの３％は過学習を回避するための検証のために使用される。検証データの二乗平方根誤差（ＲＭＳＥ）が過学習を回避するまで増加すると、トレーニングは自動的に終了する。実施形態によっては、ネットワーク４００Ｂは、０．００１の初期学習率で運動量解法とともに確率勾配下降法を使用してトレーニングされる。
[0061]実施形態によっては、人間のユーザが、仮想義手を能動的に制御し、物体を目標場所に移動しようと試みたリアルタイム仮想手マッチングタスクを完結させる。パフォーマンスが、７秒の理論上の最大値（すなわち反応時間がない場合、最大７秒）から目標場所を中心として１０％誤差の窓内の平均最長連続ホールド存続期間（すなわちホールド存続期間）として評価される。
[0062]図５に、仮想人工装具（たとえば仮想手）５１０がユーザに示されるトレーニングセッションの一例を示す。ユーザの右腕５２０が、ユーザの神経筋の動きを検知するように構成されたｓＥＭＧスリーブ５２２を装着している。ｓＥＭＧスリーブ５２２は、図１ＢのＥＭＧスリーブ１００Ｂに対応する。模倣トレーニング時、ｓＥＭＧスリーブ５２２がユーザの右腕５２０の神経筋の動きに対応する筋電信号を発生し、記録する間に、ユーザの右腕５２０が仮想人工装具５１０の動作の模倣を試みる。実施形態によっては、仮想人工装具５１０の動作が動作意図として記録される。
[0063]実施形態によっては、ミラートレーニングが行われる。ミラートレーニング時、ユーザの左手５３０が様々な動作を行い、ユーザの右腕５２０が左手５３０の動作のミラーリングを試みる。左手５３０の動作は、赤外線カメラ５４０によって検出され、記録され、これが動作意図として使用される。
[0064]実施形態によっては、模倣トレーニングとミラートレーニングとの組合せが行われる。組合せトレーニング時、ユーザの左手５３０が仮想人工装具５１０の動作の模倣を試み、ユーザの右腕５２０がユーザの左手５３０の動作のミラーリングを試みる。
[0065]注目すべきことは、図５においてユーザは非肢切断者である。したがって、ユーザの右手の動きも赤外線カメラ５４０によって動作意図として記録されてもよい。ユーザが肢切断者だとすれば、ユーザの右手の動作は得られないことになり、動作意図は別の供給源（たとえば仮想の手、または左手）から取得される必要がある。
[0066]（模倣トレーニングまたミラートレーニングにより得られた）動作意図と（ｓＥＭＧスリーブ５２２によって測定され、記録された）筋電信号は、次に、筋電信号を動作意図に連続的に対応付けるＡＩモデルをトレーニングするためにニューラルネットワーク（たとえば図４Ｂのニューラルネットワーク４００Ｂ）によって処理される。
[0067]図６に、ｓＥＭＧスリーブ６００のアーキテクチャの一例を示す。ｓＥＭＧスリーブ６００は、図１Ｂのスリーブ１００Ｂに対応する。図のように、ｓＥＭＧスリーブ６００は、１つまたは複数の電極６１０（図１Ａおよび図１Ｂの電極１１０に対応する）を含む。１つまたは複数の電極６１０は、ユーザの神経筋の動きの検知に応答して筋電信号を発生するように構成されている。筋電信号に基づいて、ｓＥＭＧスリーブ６００がｓＥＭＧスリーブ６００に接続されている電子デバイス６８０を制御するように構成されている。
[0068]実施形態によっては、ｓＥＭＧスリーブ６００は、１つまたは複数のプロセッサおよび／または回路を取り付けることができるプリント回路基板（ＰＣＢ）６２０をさらに含む。実施形態によっては、ｓＥＭＧスリーブ６００は、電極６４０によって発生されたアナログ電気信号をデジタルデータに変換するように構成されたアナログ－デジタルデータ変換器６３０を含む。実施形態によっては、ｓＥＭＧスリーブ６００は、デジタルデータのサンプリング、集約および／または変換を含む、変換されたデジタルデータのさらなる処理を行うように構成されたデジタルシグナルプロセッサ（ＤＳＰ）６４０も含む。省略記号６６０は、ｓＥＭＧスリーブ６００に埋め込まれた追加のプロセッサおよび／またはコンポーネントがあり得ることを表している。
[0069]実施形態によっては、ｓＥＭＧスリーブ６００は、コンピューティングシステム６７０（たとえばユーザのモバイルデバイスまたはパーソナルコンピュータ）と通信するように構成された通信インターフェース６５０も含む。実施形態によっては、通信インターフェース６５０は、ＢｌｕｅｔｏｏｔｈインターフェースまたはＷｉＦｉインターフェース（ただしこれらには限定されない）などの無線通信インターフェースである。
[0070]実施形態によっては、ｓＥＭＧスリーブ６００は、検知データをコンピューティングシステム６７０に送信するように構成され、コンピューティングシステム６７０は、受信した検知データに基づいてＡＩ回帰モデルをトレーニングするように構成されたニューラルネットワーク（たとえば深層ニューラルネットワーク４００Ｂ）を実装するように構成される。トレーニングされたＡＩ回帰モデルは次に、ｓＥＭＧスリーブ６００に接続された電子デバイス６８０（たとえば人工装具）を制御するためにｓＥＭＧスリーブ６００に返送される。
[0071]ただし、図の実施形態は例示と説明のために示しており、本発明を図の形態に限定しないことはわかるであろう。たとえば、実施形態によっては、ｓＥＭＧスリーブ６００に埋め込まれたプロセッサ（アナログ－デジタルデータ変換器６３０およびＤＳＰ６４０を含むがこれらには限定されない）は、単独で機械学習トレーニングのセッションを行うのに十分に高機能であってもよい。これに代えて、またはこれに加えて、ｓＥＭＧスリーブ６００は、ユーザのモバイルアプリケーションと通信し、それによって模倣トレーニング時にモバイルアプリケーションに仮想人工装具をユーザに対して示させるように構成されてもよい。
[0072]次に以下の説明で、行うことができるいくつかの方法および方法行為について述べる。方法行為については特定の順序で説明し、または特定の順序で行われるようにフローチャートに示す場合があるが、明記されていない限り特定の順序付けは必要がないか、またはある行為が、その行為が行われる前に別の行為が完了することに依存するため、必要な場合がある。
[0073]図７に、ユーザが電子デバイスを直観的に制御することができるようにするためにＡＩ回帰モデルをトレーニングする方法７００の一例のフローチャートを示す。方法７００は、人体からの電気信号を検出するために人体上の複数の特定の位置に複数のセンサを配置すること（行為７１０）を含む。方法７００は、複数のセンサのそれぞれからの電気信号の第１のセットを連続的方式で記録すること（行為７２０）も含む。方法７００は、身体の一連の動きに関連付けられた動作意図の第１のセットを連続的方式で記録すること（行為７３０）も含む。
[0074]方法７００は、機械学習ニューラルネットワークを使用してＡＩモデルをトレーニングすること（行為７４０）も含む。ＡＩモデルは、電気信号の第１のセットを動作意図の第１のセットに連続的に対応付ける。方法は、複数のセンサから連続的方式で電気信号の第２のセットを受信すること（行為７５０）に応答して、ＡＩモデルに基づいて動作意図を予測すること（行為７６０）と、電子デバイスに、予測された動作意図に基づいてアクションを行わせること（行為７７０）とをさらに含む。
[0075]ＡＩモデルのトレーニングは、１つまたは複数のプロセッサと、コンピュータメモリなどのコンピュータ可読媒体とを含むコンピュータシステムによって実施されてもよい。具体的には、コンピュータメモリは、１つまたは複数のプロセッサによって実行されると、実施形態において記載されている行為などの様々な機能が実行されるようにするコンピュータ実行可能命令を記憶することができる。ネットワーク接続を介して他のコンピューティングシステムと相互接続可能なコンピューティングシステムの能力によって、コンピューティングシステム機能を強化することができる。ネットワーク接続は、有線または無線Ｅｔｈｅｒｎｅｔを介した接続、セルラ接続、またはさらにシリアル、パラレル、ＵＳＢまたはその他の接続を介したコンピュータ間接続を含み得るが、これらには限定されない。接続は、コンピューティングシステムが他のコンピューティングシステムにおけるサービスにアクセスすること、および他のコンピューティングシステムからアプリケーションデータを迅速に効率的に受信することを可能にする。
[0076]コンピューティングシステムの相互接続は、いわゆる「クラウド」コンピューティングシステムなどの分散コンピューティングシステムを容易にした。本説明では、「クラウドコンピューティング」は、低減された管理労力またはサービスプロバイダとのやり取りでプロビジョニングおよび解放が可能な、構成可能コンピューティングリソース（たとえばネットワーク、サーバ、ストレージ、アプリケーション、サービスなど）の共有プールへのユビキタスで便利なオンデマンドネットワークアクセスを可能にするための、システムまたはリソースとすることができる。クラウドモデルは、様々な特徴（たとえばオンデマンドセルフサービス、広いネットワークアクセス、リソースプール、迅速な伸縮性、従量制サービスなど）、サービスモデル（たとえばソフトウェア・アズ・ア・サービス（「ＳａａＳ」）、プラットフォーム・アズ・ア・サービス（「ＰａａＳ」）、インフラストラクチャ・アズ・ア・サービス（「ＩａａＳ」）およびデプロイメントモデル（たとえば、プライベートクラウド、コミュニティクラウド、パブリッククラウド、ハイブリッドクラウドなど）からなることができる。
[0077]クラウドおよびリモートベースのサービスアプリケーションが普及している。このようなアプリケーションは、クラウドなどのパブリックおよびプライベートリモートシステム上でホストされ、通常は、クライアントとの間で通信するためのウェブベースのサービスのセットを提供する。
[0078]多くのコンピュータはコンピュータとの直接ユーザ対話によって使用されることが意図されている。したがって、コンピュータはユーザ対話を容易にするための入力ハードウェアおよびソフトウェアユーザインターフェースを有する。たとえば、現在の汎用コンピュータは、ユーザがコンピュータにデータを入力することができるようにするために、キーボード、マウス、タッチパッド、カメラなどを含む場合がある。さらに、様々なソフトウェアユーザインターフェースが利用可能な場合がある。
[0079]ソフトウェアユーザインターフェースの例には、グラフィカルユーザインターフェース、テキストコマンドライン方式のユーザインターフェース、ファンクションキーまたはホットキーユーザインターフェースなどがある。
[0080]開示の実施形態は、以下で詳述するように、コンピュータハードウェアを含む、専用または汎用コンピュータを含むかまたは使用してもよい。開示の実施形態は、コンピュータ実行可能命令および／またはデータ構造を搬送または記憶するための物理またはその他のコンピュータ可読媒体も含む。このようなコンピュータ可読媒体は、汎用または専用コンピュータシステムによってアクセス可能な任意の適切な媒体とすることができる。コンピュータ実行可能命令を記憶するコンピュータ可読媒体は、物理記憶媒体である。コンピュータ実行可能命令を搬送するコンピュータ可読媒体は、伝送媒体である。したがって、例として、限定ではなく、本発明の実施形態は、物理コンピュータ可読記憶媒体と伝送コンピュータ可読媒体の、少なくとも２種類の明確に異なるコンピュータ可読媒体を含み得る。
[0081]物理コンピュータ可読媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭまたはその他の光ディスクストレージ（ＣＤ、ＤＶＤなど）、磁気ディスクストレージまたはその他の磁気ストレージデバイス、あるいはコンピュータ実行可能命令またはデータ構造の形態の所望のプログラムコード手段を記憶するために使用することができ、汎用または専用コンピュータによるアクセスが可能な、任意のその他の媒体が含まれる。
[0082]「ネットワーク」は、コンピュータシステムおよび／またはモジュールおよび／またはその他の電子デバイスの間の電子データの移送を可能にする１つまたは複数のデータリンクと定義される。ネットワークまたは他の通信接続（有線、無線または有線と無線の組合せ）を介してコンピュータに情報が伝送または供給される場合、コンピュータはその接続を適正に伝送媒体とみなす。伝送媒体は、プログラムコードをコンピュータ実行可能命令またはデータ構造の形態で搬送するために使用可能で、汎用または専用コンピュータによるアクセスが可能な、ネットワークおよび／またはデータリンクを含み得る。上記の組合せもコンピュータ可読媒体の範囲に含まれる。
[0083]また、コンピュータ実行可能命令またはデータ構造の形態のプログラムコード手段が、様々なコンピュータシステムコンポーネントに到達すると、伝送コンピュータ可読媒体から物理コンピュータ可読記憶媒体に（またはその逆に）自動的に転送可能である。たとえば、ネットワークまたはデータリンクを介して受信されたコンピュータ実行可能命令またはデータ構造を、ネットワークインターフェースモジュール（たとえば「ＮＩＣ」）内のＲＡＭにバッファリングすることができ、その後、最終的にコンピュータシステムＲＡＭに、および／または、コンピュータシステムにおける揮発性の低いコンピュータ可読物理記憶媒体に転送可能である。したがって、コンピュータ可読物理記憶媒体は、伝送媒体も（または主として伝送媒体を）使用するコンピュータシステムコンポーネントに組み込まれることができる。
[0084]コンピュータ実行可能命令は、たとえば、汎用コンピュータ、専用コンピュータまたは専用処理デバイスに特定の機能または機能のグループを実行させる、命令およびデータを含む。コンピュータ実行可能命令は、たとえば、２進数、アセンブリ言語などの中間形式命令、またはさらにソースコードであってもよい。主題について構造的特徴および／または方法行為に特有の表現で説明したが、添付の特許請求の範囲で定義されている主題は必ずしも記載されている特徴または行為には限定されないことを理解されたい。むしろ、記載の特徴および行為は、請求項を実装する例の形態として開示している。
[0085]当業者は、本発明が、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メッセージプロセッサ、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラマブル消費者電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯電話、ＰＤＡ、ページャ、ルータ、スイッチなどを含む、多くの種類のコンピュータシステム構成を有するネットワークコンピューティング環境で実施可能であることがわかるであろう。本発明は、ネットワークを介して（有線データリンク、無線データリンクによって、または有線データリンクと無線データリンクの組合せによって）リンクされたローカルとリモートのコンピュータシステムの両方がタスクを行う、分散システム環境においても実施可能である。分散システム環境では、プログラムモジュールがローカルとリモートの両方のメモリストレージデバイスに配置されてもよい。
[0086]上記に代えて、または上記に加えて、本明細書に記載の機能は少なくとも部分的に１つまたは複数のハードウェアロジックコンポーネントによって行うことができる。たとえば、制限的ではないが、使用可能なハードウェアロジックコンポーネントの種類の例には、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定プログラム向け集積回路（ＡＳＩＣ）、特定プログラム向け標準品（ＡＳＳＰ）、システム・オン・チップ・システム（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などがある。
[0087]本発明は、本発明の思想または特性から逸脱することなく他の特定の形態で具現化することもできる。記載されている実施形態は、あらゆる点で例示に過ぎず、制限的ではないものとみなされるべきである。したがって、本発明の範囲は、以上の説明ではなく添付の特許請求の範囲によって示される。特許請求の範囲と均等の意味および範囲内に含まれるあらゆる変更が、特許請求の範囲に包含されるものとする。

Claims (20)

  1. ユーザが神経筋の動きを使用して電子デバイスを直観的に制御することができるようにするためのＡＩ回帰モデルのトレーニング方法であって、
    人体からの電気信号を検知するために複数のセンサを前記人体の複数の特定の位置に配置するステップと、
    前記複数のセンサのそれぞれによって検知された電気信号の第１のセットを連続的方式で記録するステップと、
    第１の一連の身体の動きに対応する動作意図の第１のセットを連続的方式で記録するステップと、
    電気信号の前記第１のセットを動作意図の前記第１のセットに連続して対応付ける人工知能（ＡＩ）回帰モデルを、機械学習ニューラルネットワークを使用してトレーニングするステップと、
    前記複数のセンサから電気信号の第２のセットを連続的方式で受信するステップと、
    前記ＡＩ回帰モデルに基づいて、電気信号の前記第２のセットに応答して動作意図を予測するステップと、
    前記電子デバイスに、予測された前記動作意図に基づいてアクションを行わせるステップと、
    を含む方法。
  2. 前記複数のセンサが複数の表面筋電図（ｓＥＭＧ）電極を含み、
    前記電気信号が前記複数のｓＥＭＧ電極によって発生された筋電信号を含む、
    請求項１に記載の方法。
  3. 前記電気信号が、（１）筋電信号、（２）神経信号、（３）腱の動きに関連付けられた電気ノイズ、または（４）動作意図に関連付けられた電気的アーチファクトのうちの少なくとも１つを含む、請求項１に記載の方法。
  4. 前記複数のセンサのそれぞれからの電気信号の第３のセットを連続的方式で記録するステップと、
    第２の一連の身体の動きに関連付けられた動作意図の第２のセットを前記連続的方式で記録するステップと、
    電気信号の前記第３のセットと動作意図の前記第２のセットとの連続的な対応付けを考慮に入れるように前記ＡＩ回帰モデルを更新するステップと、
    をさらに含む請求項１に記載の方法。
  5. 前記ニューラルネットワークが深層ニューラルネットワークと修正カルマンフィルタ（ＭＫＦ）とを含む、請求項１に記載の方法。
  6. 前記人体上の１つまたは複数の生物学的マーキングまたはＵＶタトゥーを識別するステップをさらに含み、
    前記複数のセンサの配置が、識別された前記１つまたは複数の生物学的マーキングまたはＵＶタトゥーに基づく、
    請求項１に記載の方法。
  7. 前記人体の１つまたは複数のマーカを前記複数のセンサと位置合わせするように構成された位置合わせ標識をさらに含む、請求項６に記載の方法。
  8. 前記位置合わせ標識が、前記複数のセンサに結合され、前記人体の１つまたは複数のマーキングと位置合わせされるように構成された１つまたは複数のカスタム配置された鳩目を含む、請求項７に記載の方法。
  9. １つまたは複数の生物学的マーキングまたはＵＶタトゥーを識別する前記ステップが、超音波イメージングデバイスを使用して１つまたは複数のマーキングを識別するステップを含む、請求項６に記載の方法。
  10. 動作意図の各セットが複数の関節角度に変換される、請求項１に記載の方法。
  11. 動作意図の各セットが仮想の手によって行われた動作のセットに基づき、
    電気信号の第１のセットを記録する前記ステップが、前記人体が前記仮想の手によって行われる動作の前記セットを模倣しているときに行われる、
    請求項１に記載の方法。
  12. 動作意図の各セットが、切断されていない肢によって行われる動作のセットに基づき、
    電気信号の第１のセットを記録する前記ステップが、切断された肢が前記切断されていない肢によって行われる動作の前記セットをミラーリングしているときに行われる、
    請求項１に記載の方法。
  13. 切断されていない肢によって行われる動作の前記セットが、イメージングデバイスによって記録される、請求項１２に記載の方法。
  14. 前記切断されていない肢によって行われる動作の前記セットが、静止した手の位置からの前記切断されていない肢の逸脱に基づいて位置合わせされる、請求項１３に記載の方法。
  15. 動作意図の各セットが、前記切断されていない肢によって操作される前記電子デバイスの出力に基づいて生成される、請求項１２に記載の方法。
  16. 前記電子デバイスが、（１）人工装具、（２）キーボード、（３）ゲームスティック、または（４）スイッチのうちの１つである、請求項１５に記載の方法。
  17. コンピューティングシステムであって、
    １つまたは複数のプロセッサと、
    コンピュータ実行可能命令が記憶された１つまたは複数のコンピュータ可読媒体とを含み、前記コンピュータ実行可能命令は、１つまたは複数のプロセッサによって実行されると前記コンピューティングシステムを、
    人体からの電気信号を検知するために前記人体上の複数の特定の位置に配置された複数のセンサによって発生される電気信号の第１のセットを連続的方式で受信し、
    第１の一連の身体の動きに関連付けられた動作意図の第１のセットを連続的方式で受信し、
    機械学習ニューラルネットワークを使用して人工知能（ＡＩ）回帰モデルをトレーニングするように構成するようになされ、
    前記ＡＩ回帰モデルが電気信号の前記第１のセットを動作意図の前記第１のセットに連続的に対応付け、
    前記複数のセンサによって発生された電気信号の第２のセットを連続的方式で受信するのに応答して、前記ＡＩ回帰モデルが動作意図を予測するように構成され、それによって電子デバイスに予測された前記動作意図に関連付けられたアクションを行わせる、
    コンピューティングシステム。
  18. 前記複数のセンサによって発生された電気信号の第３のセットを連続的方式で受信し、
    第２の一連の身体の動きに関連付けられた動作意図の第２のセットを連続的方式で受信し、
    電気信号の前記第３のセットの動作意図の前記第２のセットへの連続的な対応付けを考慮に入れて前記ＡＩ回帰モデルを更新するようにさらに構成される、
    請求項１７に記載のコンピューティングシステム。
  19. 前記電気信号が、（１）筋電信号、（２）神経信号、（３）腱の動きに関連付けられた電気ノイズ、または（４）動作意図に関連付けられた電気的アーチファクトのうちの少なくとも１つを含む、請求項１７に記載のコンピューティングシステム。
  20. 電子デバイスに接続されたスリーブであって、
    人体の神経筋の動きの検知に応答して電気信号を連続的方式で発生するために、前記人体の複数の所定位置に配置されるように構成された複数のセンサと、
    前記人体の１つまたは複数のマーカを前記スリーブの１つまたは複数のマーカに位置合わせするように構成された位置合わせ標識とを含み、
    前記スリーブが１つまたは複数のプロセッサおよび、人工知能（ＡＩ）回帰モデルとコンピュータ実行可能命令とが記憶された１つまたは複数のコンピュータ可読媒体と通信し、前記ＡＩ回帰モデルが、前記複数のセンサによって発生された前記電気信号を１つまたは複数の動作意図に連続的方式で対応付けるように構成され、前記コンピュータ実行可能命令は、前記１つまたは複数のプロセッサによって実行されると前記コンピュータ実行可能命令が前記スリーブを、
    前記人体からの電気信号のセットを連続的方式で検知し、
    電気信号の前記セットに応答して動作意図を予測するために前記ＡＩ回帰モデルを使用し、
    前記電子デバイスに予測された前記動作意図に基づいてアクションを行わせるように構成するようになされた、
    スリーブ。
JP2022563008A 2020-04-17 2021-04-16 電気信号検出システム Pending JP2023524640A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063011713P 2020-04-17 2020-04-17
US63/011,713 2020-04-17
US17/230,446 2021-04-14
US17/230,446 US20210326704A1 (en) 2020-04-17 2021-04-14 System for detecting electric signals
PCT/US2021/070400 WO2021212143A1 (en) 2020-04-17 2021-04-16 System for detecting electric signals

Publications (1)

Publication Number Publication Date
JP2023524640A true JP2023524640A (ja) 2023-06-13

Family

ID=78082517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022563008A Pending JP2023524640A (ja) 2020-04-17 2021-04-16 電気信号検出システム

Country Status (9)

Country Link
US (1) US20210326704A1 (ja)
EP (1) EP4118585A4 (ja)
JP (1) JP2023524640A (ja)
KR (1) KR20230006828A (ja)
CN (1) CN115803755A (ja)
AU (1) AU2021255824A1 (ja)
CA (1) CA3175212A1 (ja)
IL (1) IL297202A (ja)
WO (1) WO2021212143A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7542581B2 (ja) 2022-08-26 2024-08-30 ソフトバンク株式会社 システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4498480A (en) * 1983-07-01 1985-02-12 Mortensen John L Adjustable probe belt assembly
EP1970005B1 (en) * 2007-03-15 2012-10-03 Xsens Holding B.V. A system and a method for motion tracking using a calibration unit
KR20120046539A (ko) * 2010-11-02 2012-05-10 삼성메디슨 주식회사 바디 마크를 제공하는 초음파 시스템 및 방법
EP3609402A4 (en) * 2017-04-14 2020-12-16 Rehabilitation Institute Of Chicago D/B/A Shirley PROSTHETIC VIRTUAL REALITY LEARNING INTERFACE AND RELATED PROCESSES

Also Published As

Publication number Publication date
CN115803755A (zh) 2023-03-14
US20210326704A1 (en) 2021-10-21
EP4118585A4 (en) 2024-03-13
IL297202A (en) 2022-12-01
EP4118585A1 (en) 2023-01-18
WO2021212143A1 (en) 2021-10-21
KR20230006828A (ko) 2023-01-11
AU2021255824A1 (en) 2022-11-10
CA3175212A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
Visconti et al. Technical features and functionalities of Myo armband: An overview on related literature and advanced applications of myoelectric armbands mainly focused on arm prostheses
Resnik et al. The DEKA Arm: Its features, functionality, and evolution during the Veterans Affairs Study to optimize the DEKA Arm
Huang et al. An analysis of EMG electrode configuration for targeted muscle reinnervation based neural machine interface
Pilarski et al. Adaptive artificial limbs: a real-time approach to prediction and anticipation
Yang et al. An EMG-based deep learning approach for multi-DOF wrist movement decoding
Antuvan et al. Embedded human control of robots using myoelectric interfaces
Saikia et al. Recent advancements in prosthetic hand technology
Scheme et al. Improving myoelectric pattern recognition positional robustness using advanced training protocols
Das et al. A review on the advancements in the field of upper limb prosthesis
US11596339B2 (en) Determining intended user movement to control an external device
George et al. Inexpensive surface electromyography sleeve with consistent electrode placement enables dexterous and stable prosthetic control through deep learning
Tyler Restoring the human touch: Prosthetics imbued with haptics give their wearers fine motor control and a sense of connection
Smith et al. Real-time myoelectric decoding of individual finger movements for a virtual target task
JP2023524640A (ja) 電気信号検出システム
Cole et al. Muscle synergies for predicting non-isometric complex hand function for commanding FES neuroprosthetic hand systems
D'Accolti et al. Online classification of transient EMG patterns for the control of the wrist and hand in a transradial prosthesis
Jiang et al. A novel hybrid closed-loop control approach for dexterous prosthetic hand based on myoelectric control and electrical stimulation
TWI718762B (zh) 智慧型穿戴系統及其運作方法
Pan et al. A reliable multi-user EMG interface based on a generic-musculoskeletal model against loading weight changes
US20230086004A1 (en) Artificial Intelligence Enabled Neuroprosthetic Hand
Zbinden et al. Deep learning for enhanced prosthetic control: Real-time motor intent decoding for simultaneous control of artificial limbs
Phillips et al. Endpoint control for a powered shoulder prosthesis
Barron et al. Control of transhumeral prostheses based on electromyography pattern recognition: from amputees to deep learning
Alves Maia de Souza et al. Upper limb muscle activation: an EMG analysis using Myo® armband
Osborn et al. Monitoring at-home prosthesis control improvements through real-time data logging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240327