KR20230006828A - 전기 신호 감지 시스템 - Google Patents

전기 신호 감지 시스템 Download PDF

Info

Publication number
KR20230006828A
KR20230006828A KR1020227038921A KR20227038921A KR20230006828A KR 20230006828 A KR20230006828 A KR 20230006828A KR 1020227038921 A KR1020227038921 A KR 1020227038921A KR 20227038921 A KR20227038921 A KR 20227038921A KR 20230006828 A KR20230006828 A KR 20230006828A
Authority
KR
South Korea
Prior art keywords
motion
electrical signals
sensors
intent
human body
Prior art date
Application number
KR1020227038921A
Other languages
English (en)
Inventor
제이콥 앤서니 조지
Original Assignee
유니버시티 오브 유타 리서치 파운데이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니버시티 오브 유타 리서치 파운데이션 filed Critical 유니버시티 오브 유타 리서치 파운데이션
Publication of KR20230006828A publication Critical patent/KR20230006828A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/251—Means for maintaining electrode contact with the body
    • A61B5/256—Wearable electrodes, e.g. having straps or bands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/397—Analysis of electromyograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/684—Indicating the position of the sensor on the body
    • A61B5/6842—Indicating the position of the sensor on the body by marking the skin
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2/72—Bioelectric control, e.g. myoelectric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04—Arrangements of multiple sensors of the same type
    • A61B2562/046—Arrangements of multiple sensors of the same type in a matrix array
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2002/704—Operating or control means electrical computer-controlled, e.g. robotic control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Transplantation (AREA)
  • Primary Health Care (AREA)
  • Vascular Medicine (AREA)
  • Psychiatry (AREA)
  • Epidemiology (AREA)
  • Cardiology (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)

Abstract

사용자가 전자 장치를 직관적으로 제어할 수 있도록 하는 인공 지능(AI) 모델을 훈련시키는 방법은 전기 신호를 감지하기 위해 인체의 복수의 특정 위치에 복수의 센서를 위치시키는 단계를 포함한다. 방법은 또한 연속적인 방식으로 복수의 센서 각각으로부터 제1 전기 신호 세트를 기록하는 단계를 포함한다. 동시에 제1 신체 움직임 시퀀스와 관련된 제1 모션 의도 세트도 연속 방식으로 기록된다. AI 회귀 모델은 제1 전기 신호 세트를 제1 모션 의도 세트에 매핑하기 위해 신경망을 사용하여 훈련된다. 연속적인 방식으로 복수의 센서로부터 제2 전기 신호 세트를 수신하는 것에 응답하여, AI 회귀 모델은 전자 장치가 동작을 수행하도록 하는 모션 의도를 예측한다.

Description

전기 신호 감지 시스템
본 발명은 미국국립과학재단(National Science Foundation)에서 과제(grant) Nos. 1533649, 1901236 및 1747505, 국방부/DARPA에서 과제 No. N6600-15-C-4017 및 . 국립 보건원(National Institutes of Health)에서 과제 No. OD029571에 따른 정부 지원으로 이루어졌다. 정부는 발명에 대한 특정 권리를 가지고 있다.
본 출원은 "SYSTEM FOR MYOELECTRIC DETECTION"이라는 명칭으로 2020년 4월 17일에 출원된 미국 가출원 제63/011,713호, “SYSTEM FOR DETECTING ELECTRIC SIGNALS.”이라는 명칭으로 출원된 미국 출원(Utility Application) No. 17/230,446호 “SYSTEM FOR DETECTING ELECTRIC SIGNALS.” 상기 출원의 우선권(benefit)을 주장한다. 위의 각 출원의 전체 내용은 그 전체가 참고로 포함된다.
컴퓨터 및 컴퓨팅 시스템(computing systems)은 현대 생활의 거의 모든 측면에 영향을 미쳤다. 컴퓨터는 일반적으로 작업, 레크리에이션, 건강 관리, 운송, 엔터테인먼트, 가사 관리 등에 관여한다. 특히 컴퓨터는 인간-기계 상호 작용(human-to-machine interactions) 분야에서 상당한 관심과 발전을 제공했다. 예를 들어, 사용자가 제어할 수 있는 의지 보철물(prosthetics) 분야에 상당한 양의 연구와 개발이 투자되었다. 이러한 제어는 다양한 형태를 취할 수 있지만 종종 인간 사용자의 신호를 처리하고 의지 보철물 내의 모터에 명령을 전달하기 위해 컴퓨터 중개자(computer intermediary)에 의존한다. 인간 사용자와 의지 보철물 사이에 이러한 컴퓨터 중개자를 적절하게 구현하고 사용하는 것은 연속적인 개발의 영역이다.
여기에 청구된 주제는 임의의 단점을 해결하거나 위에서 설명된 것과 같은 환경에서만 작동하는 실시예로 제한되지 않는다. 오히려, 이 배경은 여기에 설명된 일부 실시예가 실시될 수 있는 하나의 예시적인 기술 영역을 설명하기 위해 제공된다.
본 발명의 실시예는 사용자가 신경근 운동을 이용하여 전자 장치를 직관적으로 제어할 수 있도록 하는 인공 지능(AI) 모델을 훈련시키는 방법을 포함한다. 상기 방법은 인체로부터 전기 신호(표면 근전도 신호 및/또는 sEMG 신호라고도 함)를 감지하기 위해 인체의 복수의 특정 위치에 복수의 센서를 배치하는 단계를 포함한다. 상기 방법은 또한 연속적인 방식으로 복수의 센서 각각에 대한 제1 전기 신호의 세트를 기록하는 단계 및 연속적인 방식으로 신체 움직임의 시퀀스와 연관된 제1 모션 의도(motion intents) 세트를 기록하는 단계를 포함한다. 또한, 상기 방법은 기계 학습 신경망을 사용하여 AI 회귀 모델을 생성하는 단계를 포함한다. AI 회귀 모델은 제1 전기 신호 세트를 제1 모션 의도 세트와 연속적으로 매핑한다. 방법은 연속적인 방식으로 복수의 센서에 의해 생성된 제2 전기 신호 세트에 기초하여 모션 의도를 예측하는 단계; 및 모션 의도에 기초하여, 전자 장치가 액션을 수행하게 하는 단계를 포함한다.
또한, 본 발명의 실시예는 하나 이상의 프로세서 및 하나 이상의 컴퓨터 판독가능 매체(computer-readable media)를 포함하는 컴퓨팅 시스템을 포함한다. 하나 이상의 컴퓨터-판독가능 매체는, 하나 이상의 프로세서에 의해 실행될 때, 컴퓨터-실행가능 명령(computer-executable instructions)이 다양한 동작을 수행하게 컴퓨팅 시스템을 설정(configure)하도록 구성된 컴퓨터-실행가능 명령을 저장한다. 먼저, 컴퓨팅 시스템은 인체의 신경근 운동을 감지하기 위해 인체상의 복수의 특정 위치에 위치한 복수의 센서에 의해 연속적으로 생성된 제1 전기 신호 세트를 수신하도록 구성된다. 컴퓨팅 시스템은 또한 연속적인 방식으로 신체 움직임의 제1 시퀀스와 연관된 제1 모션 의도 세트를 수신하도록 구성된다. 컴퓨팅 시스템은 신경망을 사용하여 인공 지능(AI) 모델을 훈련하도록 추가로 구성된다. AI 회귀 모델은 제1 전기 신호 세트를 제1 모션 의도 세트에 연속적으로 매핑하도록 훈련된다. 연속적인 방식으로 복수의 센서에 의해 생성된 제2 전기 신호 세트를 수신하는 것에 응답하여, AI 회귀 모델은 모션 의도를 예측하도록 구성되어, 의지 보철물이 예측된 모션 의도와 연관된 동작을 수행하게 한다.
또한, 본 발명의 실시예는 전자 장치(예를 들어, 의지 보철물)에 연결된 슬리브를 포함한다. 슬리브(sleeve)는 인체의 소정의 복수의 위치에 위치하여 인체의 신경근 운동을 감지하여 전기적 신호를 연속적으로 발생시키는 복수의 센서를 포함한다. sEMG 슬리브는 또한 인체의 하나 이상의 마커를 슬리브의 하나 이상의 마커와 정렬하도록 구성된 정렬 표시기(alignment indicator)를 포함한다. 또한, 슬리브는 하나 이상의 프로세서 및 인공 지능(AI) 모델 및 컴퓨터 실행 가능 명령어가 저장된 하나 이상의 컴퓨터 판독 가능 매체와 통신한다. AI 회귀 모델은 복수의 센서에 의해 생성된 전기 신호를 하나 이상의 모션 의도에 연속적인 방식으로 매핑하도록 구성된다. 컴퓨터 실행 가능 명령어는 하나 이상의 프로세서에 의해 실행될 때 슬리브가 인체로부터 일련의 전기 신호를 연속적인 방식으로 생성하게 설정되도록 구성된다. 슬리브는 AI 회귀 모델을 사용하여 전기 신호 세트에 응답하여 모션 의도를 예측하고 전자 장치가 예측된 모션 의도에 기초하여 동작을 수행하게 하도록 추가로 구성된다.
이 요약은 아래의 상세한 설명에서 추가로 설명되는 단순화된 형태로 개념의 선택을 소개하기 위해 제공된다. 이 요약은 청구된 주제의 주요 기능 또는 필수 기능을 식별하기 위한 것이 아니며 청구된 주제의 범위를 결정하는 데 도움이 되도록 사용되지도 않는다.
추가적인 특징 및 이점은 다음의 설명에서 설명될 것이며, 부분적으로는 설명으로부터 명백할 것이며, 또는 이하에 기제된 발명의 실행에 의해 학습될 수 있다. 본 발명의 특징 및 이점은 첨부된 청구범위에서 특히 지적된 도구(instruments) 및 조합(combinations)에 의해 실현되고 획득될 수 있다. 본 발명의 특징은 하기 설명 및 첨부된 특허청구범위로부터 보다 완전하게 명확해질 것이며, 이하에서 설명되는 바와 같이 본 발명의 실시에 의해 학습될 수 있다.
상기 언급된 다른 이점 및 특징이 획득될 수 있는 방식을 설명하기 위해, 위에서 간략하게 설명된 주제에 대한 보다 구체적인 설명이 첨부된 도면에 예시된 특정 실시예를 참조하여 제공될 것이다. 이들 도면은 단지 전형적인 실시예를 도시하고 따라서 범위를 제한하는 것으로 간주되지 않는다는 것을 이해하고, 실시예는 첨부 도면의 사용을 통해 추가적인 구체적이고 상세하게 설명되고 설명될 것이다:
도 1a. - 1b.는 본 발명의 실시예에 따른 전극 레이아웃 및 sEMG 슬리브를 도시한다;
도 2.는 기계 학습 신경망(machine learning neural network)을 통해 근전기 신호 (myoelectric signals)및 모션 의도를 사용하여 AI 모델을 훈련하기 위한 시스템의 예를 도시한다.
도 3.은 전자 장치를 직관적으로 제어하기 위한 모션 의도를 예측하기 위해 AI 모델을 사용하기 위한 시스템의 예를 도시한다;
도 4a.는 다중 센서에 의해 생성된 근전기 신호에 대응하는 히트맵을 도시한다;
도 4b.는 사용자의 모션 의도를 예측하기 위해 AI 모델을 훈련하도록 구성된 심층 신경망(deep neural network , DNN)의 예를 도시한다;
도 5.는 사용자가 사용자의 오른손에 sEMG 슬리브를 착용하고 가상 손이 사용자 앞에 표시되고 적외선 카메라가 사용자의 왼손 및/또는 오른손의 움직임을 캡처하도록 구성된 훈련 세션을 도시한다;
도 6.은 sEMG 슬리브의 아키텍처(architecture : 컴퓨터시스템의 구성) 의 예를 도시한다;
도 7.은 절단 환자가 의지 보철물을 직관적으로 제어할 수 있도록 AI 회귀 모델을 훈련시키는 방법의 일 예의 흐름도를 도시한다.
많은 휴먼-디바이스 인터페이스(human-device interfaces)는 인체로부터 감지된 전기적 활동을 사용하여 전자 장치를 제어하는 *?*데 사용된다. 이 전기 활동에는 심전도(ECG, electrocardiogram), 근전기 자극(myoelectric impulses), 신경 신호 및/또는 모션 의도와 관련된 모든 전기 인공물(예: 근육 및/또는 힘줄의 움직임과 관련된 전기 노이즈)이 포함될 수 있다(이에 국한되지 않음). 이러한 휴먼-디바이스 인터페이스를 사용하여 사용자는 인간에 의해 생성된 전기 신호의 감지를 통해 키보드, 전등 스위치, 전기-기계 장치 및 기타 장치와 같은 사물(소프트웨어, 하드웨어 및/또는 이들의 조합 포함)을 제어할 수 있다. 휴먼-디바이스 인터페이스를 통해 디바이스를 제어하는 *?*또 다른 예는 절단 환자용 의지 보철 장치일 수 있다. 의지 보철 장치의 예가 여기에서 사용될 수 있지만, 이와 동일하거나 유사한 기술이 임의의 전자 장치에 적용될 수 있음을 알 수 있다.
전자 장치(로봇 의지 보철물을 포함하지만 이에 제한되지 않음)는 다양한 상이한 방식을 사용하여 인간 사용자로부터 제어를 수신하고 전자 장치 내의 로봇 구성요소가 인간 사용자가 원하는 대로 기능하게 할 수 있다. 전자 장치를 제어하는 *?*한 가지 방식은 사용자의 신체와 관련된 전기 활동을 추적하는 것이다. 전기 활동은 신경근 운동, 신경 신호, 전기 신호 및/또는 힘줄의 움직임과 관련된 노이즈, 인대, 뼈, 피부, 기관 및/또는 근육의 움직임과 관련될 수 있으며(이에 국한되지 않음) 전기 활동을 전자 장치에 대한 명령으로 번역할 수 있다. 기존 기술을 사용하면 절단 환자가 전자 장치를 제어할 수 있지만 인간 사용자의 의도를 전자 장치의 결과 동작에 적절하게 매핑하는 것과 관련된 중요한 문제가 있다.
여기에 설명된 원리는 절단 환자(이에 국한되지 않음)와 같은 사용자가 인공 지능(이에 국한되지 않음)과 같은 전자 장치를 직관적으로 제어할 수 있도록 구성된 인공 지능(AI) 회귀 모델을 훈련하는 것과 관련된다. 예를 들어, 의지 보철물의 경우, 물리적 사지가 절단된 후, 대부분의 경직 절단 환자는 손실된 사지를 제어하는 *?*많은 근육 및 신경 회로를 여전히 보유한다. 절단단(residual lim)에 여전히 존재하는 근육 조직의 움직임을 측정하고 기록할 수 있다. 신경근 운동과 관련된 기록된 데이터는 다양한 모션 의도에 매핑될 수 있다. 그런 다음 이러한 신경근 운동 및 모션 의도 쌍을 사용하여 절단 환자가 전자 장치를 직관적으로 제어할 수 있도록 구성된 AI 회귀 모델을 훈련할 수 있다.
전자 장치(예: 의지 보철 사지(prosthetic limb), 외부 파지 장치(external gripping device), 사용자 인터페이스 제어 등)를 사용할 때 훈련 데이터 세트의 품질은 런타임 성능과 관련될 수 있다. 그러나 특히 손이 절단된 경우 손 운동학에 정확하게 레이블을 지정하기가 어렵다. 적어도 하나의 실시예에서, 시스템은 절단된 사람을 포함하는 개인이 전자 장치(예를 들어, 의지 보철물)를 직관적으로 제어하도록 돕기 위해 개선된 AI 모델을 생성하기 위해 모방된 훈련 및/또는 미러링된 훈련을 활용할 수 있다.
기존의 방법은 일반적으로 사용자의 신체에 대한 센서의 관련 위치를 추적하지 않는다. 사용자가 특정 의지 보철물을 사용할 때마다 센서의 현재 위치와 사용자의 신체를 기반으로 새로운 모델이 학습된다. 모션 의도(motion intent)에 동기화된 sEMG의 대규모 데이터 세트를 수집하는 것은 사용자 시간이 제한되어 있고, 기록 전극의 배치가 매일 변경되기 때문에 특히 어렵다. 따라서 이러한 기존 방법은 제한된 훈련 데이터를 기반으로 모델을 생성하고 시간이 지남에 따라 모델의 정확도를 향상시킬 수 없다.
여기에 설명된 원리는 훈련 데이터가 다중 개별 세션을 통해 얻어질 수 있도록 인체의 복수의 특정 위치에 복수의 센서를 배치함으로써 전술한 문제를 해결하고 훈련된 모델은 더 많은 훈련 데이터를 얻을수록 계속 개선된다.
일부 실시예에서, 복수의 센서는 근육 및/또는 힘줄로부터의 근전기 신호를 검출하도록 구성된 소형의 저비용 표면 근전도(sEMG, low-cost surface electromyography) 센서 어레이(array)이다. 일부 실시예에서, sEMG 어레이는 절단단에 의해 착용되도록 구성된 슬리브 상에 형성된 전극 어레이를 포함한다. 또한, 전극 어레이는 하나 이상의 마이크로프로세서(microprocessors)에 연결되고, 하나 이상의 마이크로프로세서는 의지 보철 사지에 연결되어 sEMG 슬리브 사용자가 의지 보철 사지를 직관적으로 제어할 수 있다. 마이크로컨트롤러(microcontroller)는 근육 및/또는 힘줄의 전기적 패턴을 측정하고 이러한 패턴을 사용하여 의지 보철 사지에 모터 입력을 제공한다. 이 장치는 제스처로 제어(gesture-controlled)되는 산업 및 가정 애플리케이션에도 사용할 수 있다. 처리된 sEMG(예: 300-ms window 이상에서 수정된 데이터)는 Bluetooth 또는 WiFi와 같은 무선 기술을 사용하여 실시간으로 스마트폰으로 전송할 수도 있다.
일부 실시예에서, sEMG 슬리브는 또한 인체의 하나 이상의 마커를 sEMG 슬리브의 하나 이상의 마커와 정렬하도록 구성된 정렬 표시기를 포함하여, 추가적인 훈련 데이터가 연속적으로 훈련된 모델을 개선한다. 예를 들어, 일부 실시예에서 그로밋(grommets)은 표면 근전도(sEMG) 슬리브를 절단단에 위치시키는 데 사용된다. 일부 실시예에서, 하나 이상의 UV 표지 및/또는 생물학적 표지가 sEMG 슬리브의 위치 지정/재위치 지정을 돕는 데 사용된다.
도 1a. 내지 도 1b. 는 본 발명의 실시예에 따른 sEMG 슬리브 100B의 예를 도시한다. 도 1a. 및 도1b. 를 참조하면, sEMG 슬리브 100B의 도시된 실시예는 전극 110 어레이가 부착된 네오프렌 직물 100A 로 구성된다. 도 1b.에 도시된 바와 같이, 네오프렌 직물 100A 은 전극 110 과 와이어 120 가 부착된 후 속이 빈 원통형으로 봉제된다. 네오프렌은 입거나 벗는 동안 늘어날 수 있지만 사용자의 팔뚝에 일관된 배치를 유지하기에 충분한 구조적 무결성을 제공한다. 일부 실시예에서, 전극 110 은 황동 코팅된 해양 스냅(marine snap)이며 저렴한 건식 전극으로서 작용한다.
일부 실시 예.에서, 32개의 전극이 슬리브 100B 의 전체 둘레 및 길이에 걸쳐 매립되어 외인성 굴곡근(extrinsic flexors)및 신근(extensors)을 기록한다. 2개의 추가 전극 110-1, 110-2 은 척골을 따라 배치되고 전기적 기준 및 접지 역할을 하도록 슬리브의 근위 단부 104A 에 매립된다. 일부 실시예에서, 각각의 전극 110 은 와이어 파손을 감소시키기 위해 고강도 열 수축으로 가요성 와이어 120 의 세그먼트(segment, 분절체)에 납땜된다. 일부 실시예에서, 전극 110 은 압착 도구(crimping tool)를 사용하여 네오프렌 직물 100A 내로 매립되고, 직물이 신장될 때 변형을 완화하기 위해 와이어 120 의 루프(loops)가 각 전극 근처에 형성된다. 일부 실시예에서, 와이어 120 는 네오프렌 패브릭 100A 상에 스티칭(stitched)되고 38-핀 SAMTEC 커넥터에 납땜된다.
또한, 도 1b.에 도시된 바와 같이, 일부 실시예에서, 하나 이상의 그로밋 130 이 하나의 온전한 개체에 고유한 네오프렌에 삽입되어, 그로밋 130 이 생물학적 피부 표지(예를 들어, 주근깨, 점, 흉터 및/또는 UV 표지)와 일치한다. 일부 실시예에서 초음파 이미징 장치는 그로밋 130 을 생물학적 및/또는 피부 표지를 정렬하는 것을 돕기 위해 사용될 수 있습니다. 일부 실시예에서, 느슨한 커버(Lycra®로 만들어질 수 있음)는 증폭 및 필터링하기 위해 전기적 절연 와이어 및 하우스 프론트 엔드(front-end)장치를 추가로 포함될 수 있다. 저렴한 슬리브는 센티미터 미만의 정밀도와 적절한 신호 대 잡음비(signal-to-noise)로 신속하게 착용할 수 있다.
적어도 하나의 실시예에서, 32개의 단극 sEMG 전극 110 (전극, 센서, 및/또는 신경근 센서로도 지칭됨)이 슬리브에 구현되고, 다중(예를 들어, 32) 단극 sEMG 전극 110 에 의해 생성된 감지 데이터는 프로세서를 사용하여 미리 결정된 주파수(예를 들어, 1kHz)에서 샘플링된다. (예: Micro2+Stim Front-Ends 및/또는 Grapevine Grapevine Neural Interface Processor). 소정의 시간 간격으로 전극에 의해 생성된 근전기 신호에 대한 평탄화(smoothed)된 평균 절대 편차(MAV)은 소정의 주파수에서 계산된다. 예를 들어, 32개의 단일 종단(single-ended) 전극(또는 528개의 가능한 차동 쌍)에 대한 300-ms 평탄화된 MAV는 30 Hz에서 계산된다. 일부 실시예에서, 신호 대 잡음비(SNR, signal-to-noise ratio)는 움직임 동안의 평균 300-ms 평탄화된 MAV를 휴식 동안의 평균 300-ms 평탄화된 MAV로 나눈 것으로 정의된다.
또한, 여기에 설명된 원리는 연속적인 방식으로 손 운동학을 레이블한다. 따라서 이산 변수를 사용하여 AI 분류기 모델을 훈련하는 기존 모델 훈련과 달리 여기에 설명된 원리는 연속 변수를 사용하여 사용자의 모션 의도와 사용자의 신경근 운동 사이의 연속 매핑을 제공하는 AI 회귀 모델을 훈련하여 사용자에게 전자 장치에 대한 더 크고 더 정확한 제어를 제공한다.
AI 회귀 모델은 지도 학습(supervised-learning) 패러다임 하에 검출된 신경근 운동(예를 들어, 표면 sEMG)으로부터 모션의도(motion intent)를 디코딩하도록 훈련될 수 있다. 이러한 지도 학습 패러다임에는 신경근 운동(전극에 의해 측정된 근전기 신호 포함) 및 라벨링된 운동학(모션 의도에 해당)과 관련된 데이터를 포함하는 데이터세트가 포함된다.
도 .2는 하나 이상의 신경근 센서(들) 210 및 하나 이상의 모션 의도 식별자(들) 220를 포함하는 시스템 200 의 예를 도시한다. 일부 실시예에서, 하나 이상의 신경근 센서(들) 210 는 도 1a.및 도 1b. 의 전극 110 에 해당된다. 신경근 센서(들) 210 는 연속적인 방식으로 인체(예를 들어, 절단 환자의 팔)로부터 근전기 신호 212 의 세트(제1 근전기 신호 세트라고도 함)를 감지하도록 구성된다. 근전기 신호 212 의 세트는 인체의 신경근 운동의 세트에 대응한다.
모션 의도 식별자(들) 220 는 신경근 센서(들) 210 가 근전기 신호 세트 212 를 감지하는 동안 연속적인 방식으로 모션 의도 222 의 세트(제1 모션 의도 세트라고도 함)를 검출하거나 식별하도록 구성된다. 일부 실시예에서, 모션 의도는 인체의 의도된 모션과 관련된 운동학 데이터를 포함한다. 일부 실시예에서, 모션 의도 식별자(들) 220 는 사용자가 가상 *?*손의 모션을 모방하려고 할 때 사용자 앞에 디스플레이된 가상 손의 모션에 기초하여 모션 의도를 식별하도록 구성될 수 있다(모방 훈련이라고도 함). 일부 실시예에서, 모션 의도 식별자(들) 220 는 사용자가 절단되지 않은 손의 모션을 미러링하기 위해 절단된 손을 사용하려고 시도하는 동안 사용자의 절단되지 않은 손의 모션을 캡처하도록 구성된 적외선 카메라일 수 있다(미러 트레이닝이라고도 함).
모방 훈련 동안, 참가자는 의지 보철물(또는 가상 의지 보철물)의 일련의 동작을 보여주고 참가자는 포함하여 동작 순서를 모방하려고 시도하며, 절단된 사람의 경우 절단단에 여전히 존재하는 외인성 근육의 사용을 포함한다. 예를 들어, 참가자가 절단된 손을 가지고 있는 경우 절단된 손과 관련된 근육은 팔 근육이다. 일부 실시예에서, 표면 근전도(sEMG) 신호는 잔존 팔에 여전히 존재하는 외인성 손 근육으로부터 기록된다. 가상 의지 보철물의 모션은 모션 의도로 식별된다. sEMG 신호와 가상 보철물의 움직임은 훈련 데이터로 사용되며, 신경근 움직임이 있는 sEMG 신호는 보철물이 수행하는 움직임에 매핑된다.
미러 트레이닝(Mirror training)은 한쪽 사지가 절단되고 한쪽 사지가 절단되지 않은 참가자를 위해 사용될 수 있다. 미러 트레이닝 동안 참가자는 절단된 사지와 관련된 근육을 사용하여 절단되지 않은 사지의 일련의 동작을 미러링한다. 절단된 사지의 신경근 운동을 측정 및 기록하고 절단되지 않은 사지의 모션 의도도 기록한다. 절단된 사지의 신경근 운동과 관련된 데이터와 절단되지 않은 사지의 운동 의도와 관련된 데이터는 서로 매핑된다.
일부 실시예에서, 모션 의도와 연관된 데이터는 절단되지 않은 사지의 모션에 기초하여 직접 측정된다. 이러한 직접 측정된 움직임은 이미징 센서(예: 적외선 카메라) 및/또는 웨어러블 장치(예: 장갑)에 의해 생성 및 기록될 수 있다. 일부 실시예에서, 모션 의도와 연관된 데이터는 절단되지 않은 사지의 모션과 간접적으로 연관된 데이터이다. 예를 들어, 간접 모션 의도는 절단되지 않은 사지가 타이핑하는 키보드의 출력일 수 있다. 다른 예로서, 간접 모션 의도는 절단되지 않은 사지가 작동하고 있던 게임 스틱 및/또는 스위치(예를 들어, 전등 스위치)의 출력일 수 있다.
대안적으로, 또는 추가로, 모방된 훈련 및 미러 트레이닝의 조합이 수행될 수 있다. 결합된 훈련에서 절단되지 않은 사지는 의지 보철 또는 가상 의지 보철 장치에 의해 수행되는 일련의 동작을 모방하려고 시도하고 절단된 사지는 절단되지 않은 사지의 동작 시퀀스를 미러링하려고 시도한다.
일부 실시예에서, 가상 의지 보철물의 움직임 또는 절단되지 않은 사지의 움직임은 복수의 관절과 관련된 관절 각도로 변환된다. 가상 의지 보철물 또는 절단되지 않은 관절의 임의의 수의 관절 각도 및/또는 임의의 수의 관절이 계산될 수 있다. 계산 및 기록되는 관절 각도의 수가 많을수록 손 움직임의 정밀도가 더 높을 것으로 예측할 수 있다.
예를 들어, 일부 실시예에서, 의지 보철물 또는 절단되지 않은 손에서 다중 관절의 8개의 관절 각도가 D1 외전/내전, D1-D5 굴곡/신전, 손목 굴곡/신전 및 손목의 회내전/회외전으로 계산되고 나타내진다. 일부 실시예에서, 모방 훈련이 구현될 때, 가상 의지 보철물의 모션 시퀀스가 *?*프로그래밍되고, 프로그래밍된 모션 시퀀스에 기초하여 관절 각도가 획득된다. 일부 실시예에서, 미러 트레이닝 또는 통합 훈련(combined training)이 구현될 때, 적외선 이미징 장치는 절단되지 않은 손의 이미지를 캡처하는 데 사용된다. 캡처된 이미지는 그런 다음 복수의 관절의 관절 각도로 변환된다.
동시에, sEMG는 주문형 네오프렌 슬리브(예를 들어, 도 1a.-1b.에 도시된 바와 같음)에 내장된 다중(예를 들어, 32개) 단일 말단 표면 전극으로부터 기록된다. sEMG 기록은 1kHz에서 샘플링되었고 프로세서를 사용하여 필터링된다. 그런 다음 sEMG 기록에서 sEMG 기능을 추출한다. 일부 실시예에서, sEMG 특징은 미리 결정된 주파수에서 계산된 미리 결정된 수의 채널에 대한 미리 결정된 시간 간격 평탄 평균 절대값을 포함한다. 예를 들어, 미리 결정된 시간 간격은 300ms일 수 있고, 미리 결정된 채널 수는 32개의 단일 종단 채널과 496개의 계산된 차동 쌍을 포함하는 528개의 채널을 포함할 수 있으며, 미리 결정된 주파수는 30Hz일 수 있다.
일부 실시예에서, 참가자는 절단되지 않은 손 및 절단된 손으로 가상 손의 움직임을 동시에 모방하도록 지시받는다. 가상 손의 움직임을 가상 운동학(Virtual Kinematics)이라고 한다. 절단된 손의 의도된 움직임을 실제 운동학(True Kinematics)이라고 한다. 절단되지 않은 손의 움직임을 대측 운동학(Contralateral Kinematics)이라고 한다.
일부 실시예에서, 이러한 손 움직임은 가상 의지 보철물의 각 자유도(DOF, degree of freedom)의 개별적인 움직임뿐만 아니라 2개의 조합 움직임을 포함한다. 일부 실시예에서, 가상 인공 손의 DOF는 D1-D5의 굴곡/신전, 손목 굴곡/신전; 손목의 회내전/회외전; 엄지 외전/내전) 뿐만 아니라 두 가지 조합 운동(D1-D5의 동시 굴곡, D1-D5의 동시 확장)을 포함한다(이에 제한되지 않는다).
일부 실시예에서, 각 사용자는 각 움직임의 다중(예: 10) 시도를 차례로 차례로 수행하고, 각 개별 움직임의 총 지속 시간은 약 1.5초이다 (쉬는 손 위치에서 0.7초 편차, 최대 편차 위치에서 0.1초 유지, 원래 쉬고 있는 손 위치로 다시 0.7초 편차로 구성됨). 쉬는 손의 자세를 평가하기 위한 제1 시도가 시작되기 전에 미리 결정된 시도 간 간격(예: 1초)과 휴식 기간(예: 30초)이 있다.
가상 손의 사전 프로그래밍된 움직임은 내인성 손 움직임과 관련된 가변성 및 생체역학적 결합을 무시하면서 완벽하게 일관되고 분리된다.
데이터 수집 프로세스 전체에 걸쳐 쉬고 있는 손 위치에서 생체역학적 커플링(biomechanical coupling)및 드리프트(drift)의 양은 대측 운동학 대측 운동학(Contralateral Kinematics)을 사용하여 정량화된다. 또한 절단되지 않은 손의 휴식-손-위치 드리프트(resting-hand-position drift)는 전체 데이터 수집 프로세스에 걸쳐 손의 휴식 위치의 변화로 정의된다. 드리프트는 데이터 수집 전 미리 결정된 기간(예: 30초) 동안 기록된 휴식 위치에 대한 해당 시도 간격의 현재 휴식 위치로 각 시도 간격에서 정량화된다.
생체역학적 결합은 목표 DOF(target DOF) 를 이동하려고 할 때 비목표 DOF(non-target DOF)의 의도하지 않은 이동으로 추정되고 작동적으로 정의된다. 예를 들어, 가상 손은 다른 DOF가 움직이지 않도록 완벽하게 격리된 D4 확장을 수행한다. 그러나 참가자들이 고립된 D4 확장을 시도할 때 종종 D3 및/또는 D5에 관련된 움직임이 있다. 생체역학적 커플링은 비표적 DOF의 휴지 위치로부터의 피크 편차로 정량화되며, 여기서 휴지 위치는 이전 시도 간격 동안의 평균값으로 정의된다.
참가자가 미리 프로그래밍된 움직임을 모방하려고 시도할 때 가상 손의 정밀도를 재현할 수 없다고 가정한다. 대측 운동학과 Virtual Kinematics 사이의 움직임의 크기와 타이밍의 차이가 정량화된다. 일부 실시예에서, 대측 운동학을 캡처하기 위해 적외선 모션 캡처 장치가 사용된다. 생체 역학 커플링 및 쉬는 손 위치의 시간적 변화로 인한 대측 운동학의 편차가 정량화된다.
또한, 움직임의 크기는 쉬고 있는 손 위치로부터의 최대 편차로 정의된다. 예를 들어, 가상 손은 각 시도가 정확히 동일한 최대 편차를 갖도록 10번의 D4 확장 시도를 수행한다. 그러나 참가자들이 D4 확장을 시도했을 때 최대 편차에 편차가 있는 경우가 많다. 각 시행에 대해 크기 오류는 Virtual Kinematics (모방 훈련 및 미러링 트레이닝의 조합)에 대한 반대측 운동학의 최대 편차의 차이이다.
모의 훈련만을 위한 참가자의 반응 시간으로 인한 합병증을 피하기 위해, 일부 실시예에서, 운동학은 교차 상관을 최대화함으로써 결정되는 지연만큼 운동학적 위치를 이동함으로써 sEMG와 정렬된다. 일부 실시예에서, 이 정렬은 훈련 동안 모든 시도에 걸쳐 균일하게 수행된다.
도 2.를 다시 참조하면, 신경근 센서(들) 210 에 의해 검출된 근전기 신호 212 의 세트 및 모션 의도 식별자(들) 220 에 의해 검출된 모션 의도 222 의 세트는 컴퓨터가 읽을 수 있는 저장소에 일시적으로 또는 영구적으로 저장될 수 있다
저장된 근전 신호 세트 212 및 모션 의도 세트 222 는 그 다음 AI 회귀 모델을 훈련하기 위해 기계 학습 신경망 230 (신경망으로도 지칭됨)에 의해 처리된다. AI 회귀 모델은 일련의 근전기 신호 212 를 일련의 모션 의도 222 에 연속적으로 매핑하도록 구성된다.
도 3.은 도 2.의 신경망 230 에 의해 훈련되는 AI 모델 330 을 구현하는 시스템 300 의 예를 도시한다. AI 모델 330 이 충분히 훈련되면, AI 모델 330 은 하나 이상의 신경근 센서(들) 310 에 의해 검출된 근전기 신호 312 에 기초하여 모션 의도 340 를 예측하도록 구성된다. 하나 이상의 신경근 센서(들) 310 는 도 2.의 하나 이상의 신경근 센서(들) 210 에 대응한다. 예측된 모션 의도 340 는 그 다음 예측된 모션 의도 340 에 대응하는 특정 동작을 수행하도록 전자 장치 350 를 트리거하는 데 사용된다.
여기에 설명된 원리는 AI 모델 330 의 훈련이 별도의 세션에서 수행되도록 허용하여 더 많은 훈련이 수행됨에 따라 AI 모델 330 이 계속 개선된다. 다시 도 2.를 참조하면, 제2 훈련 세션에서 제2 근전기 신호 세트 212 는 신경근 센서(들) 210 에 의해 검출되고, 제2 모션 의도 세트 222 는 모션 의도 식별자(들) 220 에 의해 식별되거나 검출된다. 제2 근전기 신호 세트212 및 제2 모션 의도 세트222 에 기초하여, 신경망 230 은 제2 근전기 신호 세트 212 를 제2 모션 의도 세트222 에 연속적으로 매핑하는 것을 고려하여 이전에 훈련된 AI 모델 330 을 업데이트한다.
위에서 설명된 예가 절단된 손을 가진 사용자를 위한 AI 모델을 훈련하는 것과 관련되어 있지만, 여기에 설명된 원리는 의지 보철물 및/또는 절단된 사람의 구현으로 제한되지 않는다. 여기에 설명된 원리는 또한 전자 장치(예를 들어, 가상 키보드)를 사용하도록 임의의 사용자를 훈련시키기 위해 구현될 수 있다. 예를 들어, 사용자가 키보드에서 입력할 수 있다. 키보드 출력은 모션 의도로 사용될 수 있다. 훈련된 모델은 사용자의 신경근 움직임을 감지하고 사용자의 신경근 움직임을 기반으로 실제 키보드 없이 해당 키 입력을 생성하는 가상 키보드로 사용될 수 있다.
AI 회귀 모델을 훈련하기 위해 다양한 상이한 신경망이 사용될 수 있다. 일부 실시예에서, AI 회귀 모델은 수정된 칼만 필터(MKF, modified Kalman filter)를 포함한다. 일부 실시예에서, 기록된 sEMG 데이터는 히트맵으로 변환되고, sEMG 데이터에 대응하는 히트맵에 기초하여 MKF 모델을 훈련하기 위해 하나 이상의 딥 또는 얕은 신경망이 사용된다.
도 4a.는 복수의 전극에 의해 생성된 기록된 sEMG 데이터 세트에 기초하여 생성된 히트맵(heatmap) 400A 의 예를 도시한다. 복수의 전극(예를 들어, 32개의 전극)은 도 1a .내지 도 1b.에 도시된 복수의 전극 110 에 대응한다. 히트맵 400A 의 x축은 통과하는 시간을 나타낸다. 히트맵(400A)의 y축은 복수의 전극을 나타낸다. 히트맵 400A 의 상이한 색상은 복수의 전극에 의해 생성된 감지된 근전기 신호의 상이한 값을 나타낸다. 히트맵 400A 은 그 다음 AI 모델을 훈련하기 위한 훈련 데이터로서 신경망(예를 들어, 심층 신경망(deep neural network))에 입력된다.
도 4b.는 AI 모델을 훈련하기 위해 구현될 수 있는 심층 신경망 400B 을 예시한다. 심층 신경망 400B 은 복잡한 비선형 활성화 패턴을 허용하는 시간에 걸쳐 전극과 시간에 걸쳐 여러 층의 합성곱(convolution)을 포함합니다.
일부 실시예에서, 신경망 400B 은 깊은 74층의 잔차 신경망(residual neural network)이다. 각 시점의 입력 410B 은 지난 32개의 시간 샘플에 대한 32개의 단일 종단 전극 기록으로부터의 MAV를 포함하며, 이는 도 1a. 및 1b. 의 전극 110 에 의해 생성될 수 있고 도 4a. 의 히트맵 400A 에 해당한다. 네트워크 400B 는 9개의 잔류 연결된 합성곱 유닛 440B 을 포함하며, 이들 각각은 3x3 합성곱 신경망(convolutional layer) 442B, 452B 에 이어 배치 정규화(batch normalization, BN) 444B, 454B 에 이어 정류 선형 유닛(rectified linear unit, ReLU) 446B, 456B 의 2회 반복을 포함한다. 선택적 칼만 필터(Kalman filter) 460B 는 운동학적 예측을 평탄화하기 위해 심층 신경망 400B 의 끝에 배치될 수 있다. 일부 실시예에서, 신경망 400B 의 출력은 6-DOF 가상 의수에 대한 운동학적 예측이다.
일부 실시예에서, AI 회귀 모델은 각 움직임에 대한 동일한 무작위 50% 시도를 사용하여 훈련된다. 나머지 50%의 시도는 두 가지 조건에서 AI 회귀 모델의 성능(평균 제곱근 편차, root-mean-square error , RMSE)을 평가하는 데 사용된다: (1) 훈련 데이터를 재생성하는 능력(즉, Virtual Kinematics 또는 대측 운동학), 및 (2) sEMG 데이터를 재생성하는 능력. 제2 메트릭(metric)의 개선은 궁극적으로 더 민첩하고 직관적인 의지 보철물 제어를 가능하게 한다. 제1 메트릭과 제2 메트릭 간의 정렬은 훈련된 모델 성능(trained-model performance)의 오프라인 개선이 온라인 개선으로 이어질 가능성이 있음을 나타낸다.
일부 실시예에서, AI 모델은 훈련 데이터의 97%로 훈련되고, 나머지 3%는 과적합(overfitting)을 피하기 위한 검증에 사용된다. 과적합을 피하기 위해 검증 데이터의 평균 제곱근 편차(RMSE)가 증가하면 훈련이 자동으로 종료된다. 일부 실시예에서, 네트워크 400B 는 0.001의 초기 학습률을 갖는 모멘텀 솔버(Momentum solver)가 있는 확률적 경사하강법(Gradient Descent)을 사용하여 훈련된다.
일부 실시예에서, 인간 사용자는 가상 의지 보철물를 능동적으로 제어하고 대상을 목표 위치로 이동시키려고 시도하는 실시간 가상 손 매칭 작업을 완료한다. 성능은 이론상 최대 7초(즉, 반응 시간이 없는 경우 최대 7초) 중 목표 위치 주변의 10% 오류 창 내에서 평균 가장 긴 연속 유지 지속 시간(즉, 유지 지속 시간)으로 평가된다.
도 5.는 가상 의지 보철물(예를 들어, 가상 손) 510 이 사용자에게 보여지는 동안 훈련 세션의 예를 도시한다. 사용자의 오른팔 520 은 사용자의 신경근 운동을 감지하도록 구성된 sEMG 슬리브 522 를 착용하고 있다. sEMG 슬리브 522 는 도 1b.의 EMG 슬리브 100B 에 대응한다. 모방 훈련 동안, 사용자의 오른팔 520 은 가상 의지 보철물 510 의 움직임을 모방하려고 시도하는 반면, sEMG 슬리브 522 는 사용자의 오른팔 520 의 신경근 움직임에 대응하는 근전기 신호를 생성 및 기록한다. 일부 실시예에서, 가상 의지 보철물 510 은 모션 의도로 기록된다.
일부 실시예에서, 미러링된 트레이닝이 수행된다. 미러링 훈련 동안 사용자의 왼손 530 은 다양한 동작을 수행하고 사용자의 오른팔 520 은 왼손 530 의 동작을 미러링하려고 한다. 왼손 530 의 동작은 적외선 카메라 540 에 의해 감지되고 기록되며, 이는 모션 의도로 사용된다.
일부 실시예에서, 모방 트레이닝 및 미러링 트레이닝의 조합이 수행된다. 조합 훈련 동안 사용자의 왼손 530 은 가상 의지 보철물 510 의 동작을 모방하려고 시도하고 사용자의 오른팔 520 은 사용자의 왼손 530 의 동작을 미러링하려고 시도한다.
특히, 도 5.에서 사용자는 절단되지 않은 사람이다. 따라서, 사용자의 오른손 움직임도 적외선 카메라 540 에 의해 모션 의도로 기록될 수 있다. 사용자가 절단 환자라면 사용자의 오른손 움직임을 사용할 수 없으며 모션 의도는 다른 소스(예: 가상 손 또는 왼손)에서 가져와야 한다.
모션 의도(모방된 훈련 또는 미러링된 훈련을 통해 획득됨) 및 근전기 신호(sEMG 슬리브 522 에 의해 측정 및 기록됨)는 다음으로 신경망(예: 도 4b. 의 신경망 400B )에 의해 처리된다. 근전기 신호를 모션 의도에 연속적으로 매핑하는 AI 모델을 훈련한다.
도 6.은 sEMG 슬리브 600 의 아키텍처의 예를 도시한다. sEMG 슬리브 600 는 도 1B. 의 슬리브 100B 에 대응한다. 도시된 바와 같이, sEMG 슬리브 600 는 하나 이상의 전극 610 (도 1a. 및 1b. 의 전극 110 에 대응함)을 포함한다. 하나 이상의 전극 610 은 사용자의 신경근 운동을 감지하는 것에 응답하여 근전기 신호를 생성하도록 구성된다. 근전기 신호에 기초하여, sEMG 슬리브 600는 이에 연결된 전자 장치 680 를 제어하도록 구성된다.
일부 실시예에서, sEMG 슬리브 600 는 하나 이상의 프로세서 및/또는 회로가 부착될 수 있는 인쇄 회로 기판(PCB, printed circuit board) 620 을 더 포함한다. 일부 실시예에서, sEMG 슬리브 600 는 전극 640 에 의해 생성된 아날로그 전기 신호를 디지털 데이터로 변환하도록 구성된 아날로그-디지털(analog-to-digital)데이터 변환기 630 를 포함한다. 일부 실시예에서, sEMG 슬리브 600 는 또한 디지털 데이터의 샘플링, 집계 및/또는 변환을 포함하여 변환된 디지털 데이터를 추가로 처리하도록 구성된 디지털 신호 프로세서(DSP, digital signal processor) 640 를 포함한다. 줄임표 660 는 sEMG 슬리브 600 에 내장된 추가 프로세서 및/또는 구성요소가 있을 수 있음을 나타낸다.
일부 실시예에서, sEMG 슬리브 600 는 또한 컴퓨팅 시스템 670 (예를 들어, 사용자의 모바일 장치 또는 개인용 컴퓨터)과 통신하도록 구성된 통신 인터페이스(interface) 650 를 포함한다. 일부 실시예에서, 통신 인터페이스 650 는 블루투스 인터페이스 또는 WiFi 인터페이스와 같은(이에 국한되지 않음) 무선 통신 인터페이스이다.
일부 실시예에서, sEMG 슬리브 600 는 감지 데이터를 컴퓨팅 시스템 670 에 전송하도록 구성되고, 컴퓨팅 시스템 670 은 수신된 감지 데이터에 기초하여 AI 회귀 모델을 훈련하도록 구성된 신경망(예를 들어, 심층 신경망 400B )을 구현하도록 구성된다. 학습된 AI 회귀 모델은 연결된 전자 장치 680 (예: 의지 보철물)를 제어하기 위해 sEMG 슬리브 600 로 다시 전송된다.
그러나, 도시된 실시예는 예시 및 설명을 위해 제공되고 본 발명을 도시된 형태로 제한하지 않는다는 것을 이해할 것이다. 예를 들어, 일부 실시예에서, sEMG 슬리브 600 에 내장된 프로세서(아날로그-디지털 데이터 변환기 630 및 DSP 640 를 포함하지만 이에 제한되지 않음)는 자체적으로 기계 학습 교육 세션을 수행하기에 충분히 강력할 수 있다. . 대안적으로 또는 추가로, sEMG 슬리브 600 는 사용자의 모바일 앱과 통신하도록 구성되어 모바일 앱이 모의 훈련 동안 사용자에게 가상 의지 보철물을 보여주게 할 수 있다.
다음 논의는 이제 수행될 수 있는 다수의 방법 및 방법 행위를 언급한다. 방법 행위가 특정 순서로 논의되거나 흐름도에서 특정 순서로 발생하는 것으로 설명될 수 있지만, 구체적으로 언급되지 않는 한 특정 순서가 필요하지 않거나 행위가 수행되기 전에 완료되는 다른 행위에 의존하기 때문에 필요하지 않다.
도 7.은 사용자가 전자 장치를 직관적으로 제어할 수 있도록 하기 위해 AI 회귀 모델을 훈련하기 위한 방법 700 의 예의 흐름도를 도시한다. 방법 700 은 인체로부터의 전기 신호를 감지하기 위해 인체 상의 복수의 특정 위치에 복수의 센서를 위치시키는 단계를 포함한다(행위 710). 방법 700 은 또한 연속적인 방식으로 복수의 센서 각각으로부터 제1 전기 신호 세트를 기록하는 단계(행위 720)를 포함한다. 방법 700 은 또한 연속적인 방식으로 신체 움직임의 시퀀스와 연관된 제1 모션 의도 세트를 기록하는 단계(행위 730)를 포함한다.
방법 700 은 또한 기계 학습 신경망을 사용하여 AI 모델을 훈련하는 단계(행위 740)를 포함한다. AI 모델은 제1 전기 신호 세트를 제1 모션 의도 세트에 연속적으로 매핑한다. 방법은 복수의 센서로부터 연속적인 방식으로 제2 전기 신호 세트를 수신하는 것에 응답하여(행위 750), AI 모델에 기초하여 모션 의도를 예측하고(행위 760), 및 전자 장치가 예측된 모션 의도에 기초하여 동작을 수행하게 하는 단계(행위 770)를 포함한다.
AI 모델의 훈련은 하나 이상의 프로세서 및 컴퓨터 메모리와 같은 컴퓨터 판독가능 매체를 포함하는 컴퓨터 시스템에 의해 실행될 수 있다. 특히, 컴퓨터 메모리는 하나 이상의 프로세서에 의해 실행될 때 실시예에서 인용된 행위와 같은 다양한 기능이 수행되도록 하는 컴퓨터 실행 가능 명령을 저장할 수 있다. 컴퓨팅 시스템 기능은 네트워크 연결을 통해 다른 컴퓨팅 시스템에 상호 연결되는 컴퓨팅 시스템의 기능으로 향상될 수 있다. 네트워크 연결에는 유선 또는 무선 이더넷(Ethernet), 셀룰러 연결 또는 직렬, 병렬, USB 또는 기타 연결을 통한 컴퓨터 대 컴퓨터 연결을 통한 연결이 포함될 수 있지만 이에 국한되지 않는다. 연결을 통해 컴퓨팅 시스템은 다른 컴퓨팅 시스템의 서비스에 액세스하고 다른 컴퓨팅 시스템에서 애플리케이션 데이터를 빠르고 효율적으로 수신할 수 있다.
컴퓨팅 시스템의 상호접속은 소위 "클라우드" 컴퓨팅 시스템과 같은 분산 컴퓨팅 시스템을 용이하게 한다. 이 설명에서 "클라우드 컴퓨팅"은 관리 노력이나 서비스 제공업체의 상호 작용을 줄여 프로비저닝 및 해제할 수 있는 구성 가능한 컴퓨팅 리소스(예: 네트워크, 서버, 스토리지, 애플리케이션, 서비스 등)의 공유 풀에 대한 유비쿼터스의 편리한 주문형 네트워크 액세스를 가능하게 하는 시스템 또는 리소스일 수 있다. 클라우드 모델은 다양한 특성(예: 주문형 셀프 서비스, 광범위한 네트워크 액세스, 리소스 풀링, 빠른 탄력성, 측정된 서비스 등), 서비스 모델(예: 서비스로서의 소프트웨어("SaaS") , 서비스로서의 플랫폼("PaaS"), 서비스로서의 인프라("IaaS") 및 배포 모델(예: 프라이빗 클라우드, 커뮤니티 클라우드, 퍼블릭 클라우드, 하이브리드 클라우드 등)로 구성될 수 있다.
클라우드 및 원격 기반 서비스 애플리케이션이 널리 퍼져 있다. 이러한 애플리케이션은 클라우드와 같은 공개 및 비공개 원격 시스템에서 호스팅되며 일반적으로 클라이언트와 주고받기 위한 웹 기반 서비스 세트를 제공한다.
많은 컴퓨터는 컴퓨터와의 직접적인 사용자 상호작용에 의해 사용되도록 의도된다. 이와 같이 컴퓨터에는 사용자 상호 작용을 용이하게 하는 입력 하드웨어 및 소프트웨어 사용자 인터페이스가 있다. 예를 들어, 현대의 범용 컴퓨터에는 사용자가 컴퓨터에 데이터를 입력할 수 있도록 키보드, 마우스, 터치패드, 카메라 등이 포함될 수 있다. 또한 다양한 소프트웨어 사용자 인터페이스를 사용할 수 있다.
소프트웨어 사용자 인터페이스의 예는 그래픽 사용자 인터페이스, 텍스트 명령줄 기반 사용자 인터페이스, 기능 키 또는 핫 키(hot key)사용자 인터페이스 등을 포함한다.
개시된 실시예는 아래에서 더 상세히 논의되는 바와 같이 컴퓨터 하드웨어를 포함하는 특수 목적 또는 범용 컴퓨터를 포함하거나 이용할 수 있다. 개시된 실시예는 또한 컴퓨터 실행가능 명령어 및/또는 데이터 구조를 운반하거나 저장하기 위한 물리적 및 기타 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독 가능 매체는 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스될 수 있는 모든 사용 가능한 매체일 수 있다. 컴퓨터 실행 가능 명령어를 저장하는 컴퓨터 판독 가능 매체는 물리적 저장 매체이다. 컴퓨터 실행 가능 명령을 포함하는 컴퓨터 판독 가능 매체는 전송 매체이다. 따라서, 제한이 아닌 예로서, 본 발명의 실시예는 물리적 컴퓨터 판독가능 저장 매체 및 전송 컴퓨터 판독가능 매체의 적어도 2개의 명백하게 상이한 종류의 컴퓨터 판독가능 매체를 포함할 수 있다.
물리적 컴퓨터 판독 가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 기타 광 디스크 저장 장치(예: CD, DVD 등), 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 범용 또는 특수 목적 컴퓨터에서 액세스할 수 있는 컴퓨터 실행 명령 또는 데이터 구조의 형태로 원하는 프로그램 코드 수단을 저장하는 데 사용된다.
"네트워크"는 컴퓨터 시스템 및/또는 모듈 및/또는 기타 전자 장치 간의 전자 데이터 전송을 가능하게 하는 하나 이상의 데이터 링크로 정의된다. 정보가 네트워크나 다른 통신 연결(유선, 무선 또는 유선과 무선의 조합)을 통해 컴퓨터로 전송되거나 제공될 때 컴퓨터는 해당 연결을 전송 매체로 적절하게 본다. 전송 매체는 컴퓨터 실행 가능 명령 또는 데이터 구조의 형태로 프로그램 코드를 전달하는 데 사용될 수 있고 범용 또는 특수 목적 컴퓨터에 의해 액세스될 수 있는 네트워크 및/또는 데이터 링크를 포함할 수 있다. 위의 조합도 컴퓨터 판독 가능 매체의 범위에 포함된다.
또한, 다양한 컴퓨터 시스템 구성요소에 도달하면, 컴퓨터 실행 가능 명령어 또는 데이터 구조 형태의 프로그램 코드 수단이 전송 컴퓨터 판독 가능 매체에서 물리적 컴퓨터 판독 가능 저장 매체로(또는 그 반대로) 자동으로 전송될 수 있다. 예를 들어, 네트워크 또는 데이터 링크를 통해 수신된 컴퓨터 실행 가능 명령 또는 데이터 구조는 네트워크 인터페이스 모듈(예: "NIC", network interface module) 내의 RAM에 버퍼링된 다음 결국 컴퓨터 시스템 RAM 및/또는 컴퓨터 시스템에서 덜 휘발성인 컴퓨터 판독 가능 물리적 저장 매체로 전송된다. 따라서, 컴퓨터 판독가능 물리적 저장 매체는 또한(또는 심지어 주로) 전송 매체를 이용하는 컴퓨터 시스템 구성요소에 포함될 수 있다.
컴퓨터 실행 가능 명령은 예를 들어 범용 컴퓨터, 특수 목적 컴퓨터 또는 특수 목적 처리 장치로 하여금 특정 기능 또는 기능 그룹을 수행하게 하는 명령 및 데이터를 포함한다. 컴퓨터 실행 가능 명령어는 예를 들어 바이너리, 어셈블리 언어와 같은 중간 형식 명령어 또는 소스 코드일 수 있다. 주제가 구조적 특징 및/또는 방법론적 행위에 특정한 언어로 설명되었지만, 첨부된 청구범위에 정의된 주제가 반드시 위에서 설명된 설명된 특징 또는 행위로 제한되지 않는다는 것을 이해해야 한다. 오히려, 설명된 특징 및 행위는 청구범위를 구현하는 예시적인 형태로 개시된다.
본 발명이 개인용 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 메시지 프로세서, 휴대용 장치, 다중 프로세서를 포함하는 많은 유형의 컴퓨터 시스템 구성을 갖는 네트워크 컴퓨팅 환경에서 실행될 수 있음을 이해할 것이다. 시스템, 마이크로프로세서 기반 또는 프로그램 가능한 소비자 전자제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 이동 전화, PDA, 호출기, 라우터, 스위치 등. 본 발명은 또한 네트워크를 통해 연결된(하드와이어 데이터 링크, 무선 데이터 링크, 또는 하드와이어 및 무선 데이터 링크의 조합에 의해) 로컬 및 원격 컴퓨터 시스템이 모두 작업을 수행하는 분산 시스템 환경에서 실행될 수 있다. 분산 시스템 환경에서 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 모두에 위치할 수 있다.
대안적으로 또는 추가로, 여기에 설명된 기능은 하나 이상의 하드웨어 논리 구성요소에 의해 적어도 부분적으로 수행될 수 있다. 예를 들어, 제한 없이 사용할 수 있는 예시적인 유형의 하드웨어 로직 구성요소에는 FPGA(Field-programmable Gate Arrays), ASIC(Program-specific Integrated Circuits), ASSP(Program-specific Standard Products), SOCs (System-on-a-chip systems), CPLDs (Complex Programmable Logic Devices) 가 포함된다
본 발명은 그 사상 또는 특징을 일탈하지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 설명된 실시예는 모든 면에서 단지 예시적인 것으로 간주되어야 하며 제한적인 것은 아니다. 따라서, 본 발명의 범위는 전술한 설명보다는 첨부된 청구범위에 의해 표시된다. 청구 범위의 동등성의 의미 및 범위 내에서 발생하는 모든 변경은 해당 범위 내에 포함되어야 한다.

Claims (20)

  1. 인체로부터의 전기 신호를 감지하기 위해 인체의 복수의 특정 위치에 복수의 센서를 위치시키는 단계;
    복수의 센서 각각에 의해 감지된 제1 전기 신호 세트를 연속적인 방식으로 기록하는 단계;
    신체 움직임의 제1 시퀀스에 대응하는 제1 모션 의도 세트를 연속적인 방식으로 기록하는 단계;
    기계 학습 신경망을 사용하여 제1 전기 신호 세트를 제1 모션 의도 세트에 연속적으로 매핑하는 인공 지능(AI) 회귀 모델을 훈련하는 단계연속적;
    복수의 센서로부터 연속적인 방식으로 제2 전기 신호 세트를 수신하는 단계;
    AI 회귀 모델에 기초하여, 제2 전기 신호 세트에 응답하여 모션 의도를 예측하는 단계; 및
    전자 장치예측된 모션 의도에 기초하여 전자 장치가 액션을 수행하게 하는 단계;를 포함하는, 사용자가 신경근 운동을 이용하여 전자 장치를 직관적으로 제어할 수 있도록 하는 AI 회귀 모델 훈련 방법.
  2. 제1항에 있어서,
    상기 복수의 센서는 복수의 표면 근전도(sEMG) 전극을 포함하고; 및
    상기 전기 신호는 복수의 sEMG 전극에 의해 생성된 근전기 신호를 포함하는 것을 특징으로 하는, 방법.
  3. 제1항에 있어서,
    상기 전기 신호는 (1) 근전기 신호, (2) 신경 신호, (3) 힘줄의 움직임과 관련된 전기 노이즈, 또는 (4) 모션 의도와 관련된 전기 인공물 중 적어도 하나를 포함하는 것을 특징으로 하는, 방법.
  4. 제1항에 있어서,
    복수의 센서 각각으로부터 연속적인 방식으로 제3 전기 신호 세트를 기록하는 단계;
    신체 움직임의 제2 시퀀스와 연관된 제2 모션 의도 세트를 연속적인 방식으로 기록하는 단계; 및
    제3 전기 신호 세트와 제2 모션 의도 세트의 연속적인 매핑을 고려하여 AI 회귀 모델을 업데이트하는 단계;를 더 포함하는 것을 특징으로 하는, 방법.
  5. 제1항에 있어서,
    상기 신경망은 심층 신경망 및 MKF(Modified Kalman) 필터를 포함하는 것을 특징으로 하는, 방법.
  6. 제1항에 있어서,
    인체 상의 하나 이상의 생물학적 표시 또는 UV 표지을 식별하는 단계를 더 포함하고,
    상기 복수의 센서의 위치는 식별된 하나 이상의 생물학적 표시 또는 UV 표지에 기초하는 것을 특징으로 하는, 방법.
  7. 제6항에 있어서,
    인체의 하나 이상의 마커를 복수의 센서와 정렬하도록 구성된 정렬 표시기를 더 포함하는 것을 특징으로 하는, 방법.
  8. 제7항에 있어서,
    상기 정렬 표시기는 복수의 센서에 결합되고 인체의 하나 이상의 표시와 정렬하도록 구성된 하나 이상의 맞춤 위치 그로밋을 포함하는 것을 특징으로 하는, 방법.
  9. 제6항에 있어서,
    상기 하나 이상의 생물학적 표시 또는 UV 표지을 식별하는 단계는 초음파 영상 장치를 사용하여 하나 이상의 표시를 식별하는 단계를 포함하는 것을 특징으로 하는, 방법.
  10. 제1항에 있어서,
    각각의 모션 의도 세트는 복수의 관절 각도로 변환되는 것을 특징으로 하는, 방법.
  11. 제1항에 있어서,
    각각의 모션 의도 세트는 가상 손(virtual hand)에 의해 수행된 모션 세트에 기초하고,wherein the recording of a first set of electric signals is performed when the human body is mimicking the set of motions performed by the virtual hand. 제1 전기 신호 세트의 기록은 인체가 가상 손에 의해 수행된 일련의 동작을 모방할 때 수행되는 것을 특징으로 하는, 방법.
  12. 제1항에 있어서,
    각각의 모션 의도 세트는 절단되지 않은 사지에 의해 수행된 모션 세트에 기초하고,절단된 사지가 절단되지 않은 사지에 의해 수행된 일련의 동작을 미러링할 때 제1 전기 신호 세트의 기록이 수행되는 것을 특징으로 하는, 방법.
  13. 제12항에 있어서,
    절단되지 않은 사지에 의해 수행된 일련의 동작이 이미징 장치에 의해 기록되는 것을 특징으로 하는, 방법.
  14. 제13항에 있어서,
    절단되지 않은 사지에 의해 수행되는 일련의 동작은 쉬고 있는 손 위치로부터 절단되지 않은 다리의 편차에 기초하여 정렬되는 것을 특징으로 하는, 방법.
  15. 제12항에 있어서,
    각각의 모션 의도 세트는 절단되지 않은 사지에 의해 작동되는 전자 장치의 출력에 기초하여 생성되는 것을 특징으로 하는, 방법.
  16. 제15항에 있어서,
    상기 전자 장치는 (1) 의지(prosthesis), (2) 키보드, (3) 게임 스틱, 또는 (4) 스위치 중 하나인 것을 특징으로 하는, 방법.
  17. 하나 이상의 프로세서; 및
    하나 이상의 프로세서에 의해 실행될 때 컴퓨터 실행 가능 명령어가 컴퓨팅 시스템을 다음과 같이 설정(configure)하도록 구성된 컴퓨터 실행 가능 명령어가 저장되어 있는 하나 이상의 컴퓨터 판독 가능 매체;를 포함하고,
    상기 설정(configure)은,
    인체로부터의 전기 신호를 감지하기 위해 인체 상의 복수의 특정 위치에 위치된 복수의 센서에 의해 연속적인 방식으로 생성된 제1 전기 신호 세트를 수신하고;
    신체 움직임의 제1 시퀀스와 연관된 제1 모션 의도 세트를 연속적인 방식으로 수신하고; 및
    기계 학습 신경망을 사용하여 인공 지능(AI) 회귀 모델을 훈련시키고:
    상기 AI 회귀 모델은 제1 전기 신호 세트를 제1 모션 의도 세트에 연속적으로 매핑하고; 및
    복수의 센서에 의해 생성된 제2 전기 신호 세트를 연속적인 방식으로 수신하는 것에 응답하여, AI 회귀 모델은 모션 의도를 예측하도록 구성되어, 전자 장치가 예측된 모션 의도와 연관된 동작을 수행하게 하는 것을 특징으로 하는, 컴퓨팅 시스템.
  18. 제17항에 있어서, 상기 컴퓨팅 시스템은,
    복수의 센서에 의해 생성된 제3전기 신호 세트를 연속적인 방식으로 수신하고;
    신체 움직임의 제2 시퀀스와 연관된 제2 모션 의도 세트를 연속적인 방식으로 수신하고; 및
    제3 전기 신호 세트와 제2 모션 의도 세트의 연속 매핑을 고려하도록 AI 회귀 모델을 업데이트하도록 추가적으로 구성되는 것을 특징으로 하는, 컴퓨팅 시스템.
  19. 제17항에 있어서,
    상기 전기 신호는 (1) 근전기 신호, (2) 신경 신호, (3) 힘줄의 움직임과 관련된 전기 노이즈, 또는 (4) 모션 의도와 관련된 전기 인공물 중 적어도 하나를 포함하는 것을 특징으로 하는, 컴퓨팅 시스템.
  20. 인체의 복수의 특정 위치에 위치하여 인체의 신경근 움직임을 감지하여 전기적 신호를 연속적으로 발생시키는 복수의 센서; 및
    인체의 하나 이상의 마커를 슬리브의 하나 이상의 마커와 정렬하도록 구성된 정렬 표시기;를 포함하고,
    상기 슬리브는 하나 이상의 프로세서 및 인공 지능(AI) 회귀 모델 및 컴퓨터 실행 가능 명령어가 저장된 하나 이상의 컴퓨터 판독 가능 매체와 통신하고,
    상기 AI 회귀 모델은 복수의 센서에 의해 생성된 전기 신호를 하나 이상의 모션 의도에 연속적인 방식으로 매핑하도록 설정되고, 상기 컴퓨터 실행 가능 명령어는 하나 이상의 프로세서에 의해 실행될 때, 상기 컴퓨터 실행 가능 명령어가 슬리브가 다음과 같이 설정하도록 구성되고, 상기 설정은:
    인체의 일련의 전기 신호를 연속적인 방식으로 감지하고;
    AI 회귀 모델을 사용하여 전기 신호 세트에 대한 응답으로 모션 의도를 예측하고; 및
    전자 장치가 예측된 모션 의도에 기초하여 동작을 수행하도록 하는 것을 특징으로 하는, 전자 장치에 연결된 슬리브.
KR1020227038921A 2020-04-17 2021-04-16 전기 신호 감지 시스템 KR20230006828A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063011713P 2020-04-17 2020-04-17
US63/011,713 2020-04-17
US17/230,446 US20210326704A1 (en) 2020-04-17 2021-04-14 System for detecting electric signals
US17/230,446 2021-04-14
PCT/US2021/070400 WO2021212143A1 (en) 2020-04-17 2021-04-16 System for detecting electric signals

Publications (1)

Publication Number Publication Date
KR20230006828A true KR20230006828A (ko) 2023-01-11

Family

ID=78082517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227038921A KR20230006828A (ko) 2020-04-17 2021-04-16 전기 신호 감지 시스템

Country Status (9)

Country Link
US (1) US20210326704A1 (ko)
EP (1) EP4118585A4 (ko)
JP (1) JP2023524640A (ko)
KR (1) KR20230006828A (ko)
CN (1) CN115803755A (ko)
AU (1) AU2021255824A1 (ko)
CA (1) CA3175212A1 (ko)
IL (1) IL297202A (ko)
WO (1) WO2021212143A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4498480A (en) * 1983-07-01 1985-02-12 Mortensen John L Adjustable probe belt assembly
EP1970005B1 (en) * 2007-03-15 2012-10-03 Xsens Holding B.V. A system and a method for motion tracking using a calibration unit
KR20120046539A (ko) * 2010-11-02 2012-05-10 삼성메디슨 주식회사 바디 마크를 제공하는 초음파 시스템 및 방법
US10796599B2 (en) * 2017-04-14 2020-10-06 Rehabilitation Institute Of Chicago Prosthetic virtual reality training interface and related methods

Also Published As

Publication number Publication date
WO2021212143A1 (en) 2021-10-21
IL297202A (en) 2022-12-01
EP4118585A1 (en) 2023-01-18
CA3175212A1 (en) 2021-10-21
US20210326704A1 (en) 2021-10-21
AU2021255824A1 (en) 2022-11-10
JP2023524640A (ja) 2023-06-13
EP4118585A4 (en) 2024-03-13
CN115803755A (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
Pan et al. Comparing EMG-based human-machine interfaces for estimating continuous, coordinated movements
Cipriani et al. Online myoelectric control of a dexterous hand prosthesis by transradial amputees
Patel et al. Multichannel electrotactile feedback for simultaneous and proportional myoelectric control
Yang et al. An EMG-based deep learning approach for multi-DOF wrist movement decoding
Das et al. A review on the advancements in the field of upper limb prosthesis
Saikia et al. Recent advancements in prosthetic hand technology
US11596339B2 (en) Determining intended user movement to control an external device
George et al. Inexpensive surface electromyography sleeve with consistent electrode placement enables dexterous and stable prosthetic control through deep learning
Ngeo et al. Estimation of continuous multi-DOF finger joint kinematics from surface EMG using a multi-output Gaussian process
Smith et al. Real-time myoelectric decoding of individual finger movements for a virtual target task
Dwivedi et al. Extraction of nonlinear synergies for proportional and simultaneous estimation of finger kinematics
Cutipa-Puma et al. A low-cost robotic hand prosthesis with apparent haptic sense controlled by electroencephalographic signals
TWI718762B (zh) 智慧型穿戴系統及其運作方法
Pan et al. A reliable multi-user EMG interface based on a generic-musculoskeletal model against loading weight changes
US20210326704A1 (en) System for detecting electric signals
Barron et al. Control of transhumeral prostheses based on electromyography pattern recognition: from amputees to deep learning
Barraza-Madrigal et al. A virtual upper limb prosthesis as a training system
Artal-Sevil et al. Control of a bionic hand based on neural networks and improved gesture recognition techniques using multiple EMG sensors
Kasuya et al. Analysis and optimization of novel post-processing method for myoelectric pattern recognition
Kang et al. Decoding of finger, hand and arm kinematics using switching linear dynamical systems with pre-motor cortical ensembles
Pilarski et al. Steps toward knowledgeable neuroprostheses
Gießer et al. Eit-based gesture recognition training with augmented reality
Wang et al. Deep Forest Model Combined with Neural Networks for Finger Joint Continuous Angle Decoding
Ngeo Proportional Myoelectric Control of High-DOF Finger Kinematics Using Synergistic Models
Akumalla Evaluating appropriateness of EMG and flex sensors for classifying hand gestures

Legal Events

Date Code Title Description
A201 Request for examination